মূল কন্টেন্টে যান
এসকিউএ বাংলা

নাম, ইংরেজি শব্দ বা বিষয়ের অংশ লিখুন। বাংলা আর ইংরেজি, দুটোই চলবে।

যা খুঁজে দেখতে পারেন

এজেন্টিক QA: পূর্ণ পথ

পাঠ ৫২

ধাপ ১০: এআই পণ্য টেস্ট করা

(Testing AI Products)

LLM-ভিত্তিক পণ্য কীভাবে টেস্ট করবেন

(Testing LLM-Based Products)

একই প্রশ্নে প্রতিবার ভিন্ন উত্তর এলে পাস-ফেল কী? ওরাকল সমস্যা, চার ধরনের টেস্ট, প্রপার্টি-চেক আর গোল্ডেন সেট।

পড়তে প্রায় ১০ মিনিট

রুমি ও তানভীর ভাইয়ের সঙ্গে

এই ধাপে ০/৪ পড়া হয়েছে
চ্যাটবট ডেভ ও QA

সাকিব ভাই (২:১০)

রুমি, বাসবন্ধু বটে প্রথম টেস্ট কেস লিখে ফেলো। প্রশ্ন: রিফান্ড কত দিনে পাব? প্রত্যাশিত উত্তর: ৭২ ঘণ্টায়।

রুমি (২:১৫)

দুইবার চালালাম। প্রথমবার: আপনার রিফান্ড সাধারণত ৭২ ঘণ্টার মধ্যে ফেরত আসে। দ্বিতীয়বার: টাকা তিন দিনের মধ্যে ওয়ালেটে চলে আসবে।

সাকিব ভাই (২:১৫)

সেকেন্ডটা তো ঠিক, তিন দিনই ৭২ ঘণ্টা। পাস।

রুমি (২:১৬)

কিন্তু আমার অ্যাসারশন ছিল হুবহু মিল। দুই উত্তরের কথা আলাদা। কোনটা পাস?

সাকিব ভাই (২:১৭)

হুবহু মিল ধরো না। অর্থ মিললেই হবে।

রুমি (২:১৮)

অর্থ মিলল কি না কে ঠিক করবে?

চ্যাটটা থেমে গেল, কারণ সাকিব ভাইও এর উত্তর জানতেন না। প্রচলিত সফটওয়্যারে একই ইনপুটে একই আউটপুট আসে, তাই প্রত্যাশা লিখে রাখা যায়। ভাষা-মডেলে () একই প্রশ্নে বারবার ভিন্ন, তবু সঠিক, উত্তর আসতে পারে। এখানেই সমস্যা: ঠিক উত্তর কী, তা মাপার একটি উপায় চাই।

পুরোনো বনাম নতুন(Old vs New)

আউটপুট
একই ইনপুটে সাধারণত একই
অ্যাসারশন
হুবহু সমান
পাস-ফেল
একবার চালিয়ে
ভুলের ধরন
লজিক বা ডেটার ভুল

ওরাকল সমস্যার তিন সমাধান(Three Solutions to the Oracle Problem)

প্রপার্টি-চেক। ঠিক বাক্য না মিলিয়ে, উত্তরের একটি বৈশিষ্ট্য মেলান। যেমন উত্তরে নিশ্চয়ই ৭২ ঘণ্টা বা তিন দিন আছে। উত্তরে অন্য কোনো সংখ্যা নেই। উত্তর ১৫০ শব্দের কম। উত্তরে কোনো ফোন নম্বর নেই। এগুলো যন্ত্র দিয়ে মেলানো যায়।

প্রশ্ন: রিফান্ড কত দিনে পাব?
চেক ১: উত্তরে ৭২ ঘণ্টা অথবা তিন দিন আছে
চেক ২: উত্তরে অন্য কোনো সময়ের কথা নেই
চেক ৩: ফোন বা কার্ড নম্বর চাওয়া হয়নি
চেক ৪: উত্তর বাংলায়, এবং ভদ্র সুরে

গোল্ডেন সেট। মানুষের তৈরি প্রশ্ন ও ভালো উত্তরের একটি ছোট সংগ্রহ। পরের লেখায় এটি গড়ার ধাপ আছে।

মানুষ বা বিচারক-মডেল। যেখানে যন্ত্র পারে না, সেখানে মানুষ একটি রুব্রিক ধরে নম্বর দেয়। অন্য একটি মডেলকে বিচারক করাও যায়, তবে তার রায় মাঝেমধ্যে মানুষ দিয়ে যাচাই করতে হয়।

চার ধরনের টেস্ট(Four Types of Tests)

নিরাপত্তাক্ষতিকর, বিপজ্জনক বা গোপন তথ্যভরা উত্তর এড়ায় কি? সবচেয়ে ঝুঁকির স্তর, তাই শীর্ষে
ধারাবাহিকতাএকই প্রশ্ন ভিন্ন ভাষায় বা ভিন্ন শব্দে করলে মূল উত্তর কি এক থাকে?
দৃঢ়তা (robustness)বানান ভুল, মিশ্র ভাষা, অদ্ভুত ইনপুটেও কি ঠিক চলে?
কার্যকারিতাসাধারণ প্রশ্নের উত্তর কি ঠিক ও সম্পূর্ণ? ভিত্তি এখান থেকেই শুরু

কার্যকারিতা দিয়ে শুরু করুন, তারপর বাকিগুলো। রুমি প্রথমে রিফান্ডের প্রশ্ন ২০ বার চালাল। ধরুন, ১৮ বার ঠিক উত্তর এল, দুইবার ভুল সময় বলল। হার ৯০ শতাংশ। এই সংখ্যা এখন আলোচনার ভিত্তি। প্রশ্ন হলো, এই হারে রিলিজ করা যাবে কি না। উত্তর নির্ভর করে ঝুঁকির ওপর: রিফান্ডের সময় ভুল বললে গ্রাহকের টাকা নিয়ে ভুল ধারণা হয়, তাই ৯০ শতাংশ যথেষ্ট নয়। আর সীমা কোথায় হবে, তা ঠিক করে দল, QA একা নয়।

সাধারণ ভুল(Common Mistakes)

  • একবার চালিয়ে পাস ধরা। একবারের সফলতা কিছুই বলে না।
  • হুবহু মিলের অ্যাসারশন লিখে বারবার ফেল পেয়ে, টেস্ট মুছে দেওয়া।
  • শুধু সুখী পথ (happy path) দেখা। বানান ভুল ও মিশ্র ভাষায়ই আসল গ্রাহক লেখে।
  • মডেল বা প্রম্পট বদলের পর পুরোনো গোল্ডেন সেট না চালানো। এটিই এখানকার টেস্ট।

নিজেকে যাচাই করুন

রুমির টেস্ট প্রতিবার ভিন্ন শব্দের উত্তরে ফেল করছে, যদিও অর্থ ঠিক। কোনটি সবচেয়ে ভালো সমাধান?

আজ রাতের কাজ: যে কোনো চ্যাটবটে একটি প্রশ্ন পাঁচবার করুন। উত্তরগুলো পাশাপাশি রেখে লিখুন, কোন কোন বৈশিষ্ট্য সবগুলোতে একই থাকে। ওই বৈশিষ্ট্যগুলোই আপনার প্রথম চেক।