মূল কন্টেন্টে যান
এসকিউএ বাংলা

নাম, ইংরেজি শব্দ বা বিষয়ের অংশ লিখুন। বাংলা আর ইংরেজি, দুটোই চলবে।

যা খুঁজে দেখতে পারেন

এজেন্টিক QA: পূর্ণ পথ

পাঠ ৫৪

ধাপ ১০: এআই পণ্য টেস্ট করা

(Testing AI Products)

RAG ও চ্যাটবট টেস্টিং

(RAG & Chatbot Testing)

চ্যাটবটের ভুল উত্তর কি খোঁজার ব্যর্থতা, না লেখার? উৎসের প্রতি বিশ্বস্ততা, জানা-না-থাকলে আচরণ, আর বহু ধাপের কথোপকথন কীভাবে টেস্ট করবেন।

পড়তে প্রায় ১০ মিনিট

রুমি ও তানভীর ভাইয়ের সঙ্গে

এই ধাপে ০/৪ পড়া হয়েছে
SUP-311জরুরিক্রিটিক্যালরিপোর্টার: মিতু

বট বলেছে রিফান্ড তাৎক্ষণিক, গ্রাহক অফিসে এসে ঝগড়া করছেন

গ্রাহক বাসবন্ধু বটকে জিজ্ঞেস করেছিলেন, বাতিল টিকিটের টাকা কখন পাব? বট উত্তর দিয়েছে: সঙ্গে সঙ্গে আপনার ওয়ালেটে ফেরত আসবে। আমাদের নীতি আসলে ৭২ ঘণ্টা।

গ্রাহক দুই দিন অপেক্ষা করে কাউন্টারে এসেছেন। স্ক্রিনশট সংযুক্ত। রুমিকে বলুন, কেন এমন হলো।

রুমি পুরো বিকেল এই উত্তরের পেছনে গেল। কারণ প্রশ্ন একটাই নয়। বট কি ঠিক নথিটাই খুঁজে পেয়েছিল, আর পেয়ে ভুল পড়েছিল? নাকি ভুল নথি পেয়েছিল? নাকি কোনো নথিই পায়নি, তাই বানিয়ে বলেছে?

দুটি আলাদা কাজ, দুটি আলাদা টেস্ট(Two Jobs, Two Tests)

রিট্রিভাল-অগমেন্টেড জেনারেশন (RAG) পদ্ধতিতে বট প্রথমে নিজেদের নথি থেকে প্রাসঙ্গিক অংশ খোঁজে, তারপর সেই অংশ পড়ে উত্তর লেখে।

গ্রাহকের প্রশ্ন
নথি থেকে খোঁজা (retrieval)
প্রাসঙ্গিক অংশ বাছাই
মডেল উত্তর লেখে (generation)
গ্রাহক উত্তর পায়
ভুল যে কোনো ধাপে ঢুকতে পারে, তাই প্রতি ধাপ আলাদা পরীক্ষা করুন

খোঁজার মান। প্রশ্ন নিয়ে বট কোন কোন অংশ তুলল, তা সরাসরি দেখুন। ডেভেলপাররা সাধারণত এই মধ্যবর্তী তথ্য লগ করে রাখতে পারেন, সাকিব ভাইকে বলুন সেটি খুলে দিতে। এবার একটি সহজ প্রশ্ন: যে নথিতে সঠিক উত্তর আছে, সেটি কি প্রথম কয়েকটির মধ্যে উঠল?

উত্তরের মান। ধরুন, সঠিক নথি এলই। তবু মডেল কি সেখান থেকে ঠিক পড়ল? এখানে বিশ্বস্ততা (faithfulness) প্রশ্ন: উত্তরের প্রতিটি দাবি কি দেওয়া নথি থেকে সমর্থিত? নথিতে নেই এমন একটি বাক্যও থাকলে সেটি ।

রুমির তদন্তে দেখা গেল, রিফান্ডের নীতি-নথিটি খোঁজায় উঠেছিল, কিন্তু একই সঙ্গে একটি পুরোনো প্রচারণার পোস্ট উঠেছিল, যাতে লেখা ছিল ঈদ অফারে রিফান্ড তাৎক্ষণিক। মডেল দুটোকে মিলিয়ে দ্বিতীয়টি বেছে নিয়েছিল। অর্থাৎ ভুলটি দুই জায়গায়: খোঁজায় একটি বাসি নথি, আর লেখায় সঠিক নথিকে গুরুত্ব না দেওয়া।

চারটি ছোট পরীক্ষা(Four Small Tests)

  1. ১. সঠিক নথি এসেছে কি?

    প্রতিটি টেস্ট প্রশ্নের পাশে লিখে রাখুন, কোন নথিতে উত্তর আছে। বট সেই নথি তুলল কি না মিলিয়ে নিন।

  2. ২. উত্তরের প্রতিটি দাবি নথিতে আছে কি?

    উত্তর পড়ে বাক্য ধরে ধরে নথির সঙ্গে মেলান। না মিললে চিহ্ন দিন।

  3. ৩. নথিতে নেই, তখন কী করে?

    এমন প্রশ্ন করুন, যার উত্তর কোনো নথিতেই নেই। যেমন জিজ্ঞেস করুন, কাল রাজশাহীর বাস কখন ছাড়বে, যদি সেই তথ্য বটের কাছে না থাকে। ভালো বট বলবে: আমি এটি জানি না, কাউন্টারে বা সাপোর্টে যোগাযোগ করুন। খারাপ বট একটি সম্ভাব্য সময় বানিয়ে দেবে।

  4. ৪. নথি নিজেই ভুল বা পরস্পরবিরোধী হলে?

    দুটি নথি যদি দুই রকম বলে, বট কি দ্বিধা জানায়, না আত্মবিশ্বাসে একটিকে বেছে নেয়? এটি প্রায়ই নথিরই বাগ, QA হিসেবে সেটিও রিপোর্ট করুন।

নিচের কাল্পনিক উত্তরে কোন অংশগুলো সমস্যাজনক, দেখুন তো।

বাগ শিকার: ২টি বাগ লুকানো আছে

বাসবন্ধুর একটি উত্তর, নীতি-নথি ছিল: রিফান্ড ৭২ ঘণ্টায়, বাতিলের ফি ১০%

যে অংশ ভুল মনে হয়, তাতে চাপুন। শেষে "যাচাই করুন" চাপুন।

আগে অন্তত একটি অংশ বেছে নিন।

কথোপকথনের টেস্ট(Conversation Tests)

একটি প্রশ্নের একটি উত্তর যথেষ্ট নয়, কারণ গ্রাহক কথোপকথন চালান। টেস্ট করুন:

  • প্রসঙ্গ মনে রাখা: আমার টিকিট বাতিল করতে চাই। তারপর, ফি কত? বট কি বোঝে কোন টিকিট?
  • মাঝপথে মত বদল: গ্রাহক বললেন, না থাক, বরং তারিখ বদলান। বট কি এখন সঠিক পথে যায়?
  • দীর্ঘ কথোপকথন: বিশ ধাপ পরেও কি বট শুরুর নিয়ম মনে রাখে?
  • মানুষের হাতে ছেড়ে দেওয়া: গ্রাহক রেগে গেলে বা জটিল বিষয়ে এলে বট কি ভদ্রভাবে মানুষের কাছে পাঠায়?

প্রতিটি প্রবাহ কয়েকবার চালান, একবারে ধরে নেবেন না। আগের লেখার প্রপার্টি-চেক ও গোল্ডেন সেট এখানেও প্রযোজ্য।

নিজেকে যাচাই করুন

বট ভুল সময় বলেছে। রুমি দেখল, সঠিক নীতি-নথি খোঁজায় উঠেছিল এবং উত্তরে তার বিপরীত কথা লেখা। সমস্যাটি মূলত কোথায়?

পরদিন মিতু একটি ছোট খবর দিল: গ্রাহক টাকা পেয়ে গেছেন, রাগও পড়েছে। রুমি নোটবুকে লিখল, পরের বার প্রতিটি ধাপ আলাদা মাপব।