সাকিব ভাই (২:১০)
রুমি (২:১৫)
সাকিব ভাই (২:১৫)
রুমি (২:১৬)
সাকিব ভাই (২:১৭)
রুমি (২:১৮)
চ্যাটটা থেমে গেল, কারণ সাকিব ভাইও এর উত্তর জানতেন না। প্রচলিত সফটওয়্যারে একই ইনপুটে একই আউটপুট আসে, তাই প্রত্যাশা লিখে রাখা যায়। ভাষা-মডেলে (ভাষা-মডেল (LLM) (Large Language Model)বিপুল লেখা থেকে শেখা মডেল, যা ভাষা বোঝে ও লেখা তৈরি করে। এজেন্টের 'মস্তিষ্ক' হিসেবে কাজ করে।শব্দকোষে দেখুন) একই প্রশ্নে বারবার ভিন্ন, তবু সঠিক, উত্তর আসতে পারে। এখানেই টেস্ট অরাকল (Test oracle)যে উৎস বলে দেয়, সঠিক ফলাফল কী হওয়া উচিত। যেমন স্পেসিফিকেশন বা আগের সঠিক আচরণ।শব্দকোষে দেখুন সমস্যা: ঠিক উত্তর কী, তা মাপার একটি উপায় চাই।
পুরোনো বনাম নতুন(Old vs New)
- আউটপুট
- একই ইনপুটে সাধারণত একই
- অ্যাসারশন
- হুবহু সমান
- পাস-ফেল
- একবার চালিয়ে
- ভুলের ধরন
- লজিক বা ডেটার ভুল
ওরাকল সমস্যার তিন সমাধান(Three Solutions to the Oracle Problem)
প্রপার্টি-চেক। ঠিক বাক্য না মিলিয়ে, উত্তরের একটি বৈশিষ্ট্য মেলান। যেমন উত্তরে নিশ্চয়ই ৭২ ঘণ্টা বা তিন দিন আছে। উত্তরে অন্য কোনো সংখ্যা নেই। উত্তর ১৫০ শব্দের কম। উত্তরে কোনো ফোন নম্বর নেই। এগুলো যন্ত্র দিয়ে মেলানো যায়।
প্রশ্ন: রিফান্ড কত দিনে পাব?
চেক ১: উত্তরে ৭২ ঘণ্টা অথবা তিন দিন আছে
চেক ২: উত্তরে অন্য কোনো সময়ের কথা নেই
চেক ৩: ফোন বা কার্ড নম্বর চাওয়া হয়নি
চেক ৪: উত্তর বাংলায়, এবং ভদ্র সুরে
গোল্ডেন সেট। মানুষের তৈরি প্রশ্ন ও ভালো উত্তরের একটি ছোট সংগ্রহ। পরের লেখায় এটি গড়ার ধাপ আছে।
মানুষ বা বিচারক-মডেল। যেখানে যন্ত্র পারে না, সেখানে মানুষ একটি রুব্রিক ধরে নম্বর দেয়। অন্য একটি মডেলকে বিচারক করাও যায়, তবে তার রায় মাঝেমধ্যে মানুষ দিয়ে যাচাই করতে হয়।
চার ধরনের টেস্ট(Four Types of Tests)
কার্যকারিতা দিয়ে শুরু করুন, তারপর বাকিগুলো। রুমি প্রথমে রিফান্ডের প্রশ্ন ২০ বার চালাল। ধরুন, ১৮ বার ঠিক উত্তর এল, দুইবার ভুল সময় বলল। হার ৯০ শতাংশ। এই সংখ্যা এখন আলোচনার ভিত্তি। প্রশ্ন হলো, এই হারে রিলিজ করা যাবে কি না। উত্তর নির্ভর করে ঝুঁকির ওপর: রিফান্ডের সময় ভুল বললে গ্রাহকের টাকা নিয়ে ভুল ধারণা হয়, তাই ৯০ শতাংশ যথেষ্ট নয়। আর সীমা কোথায় হবে, তা ঠিক করে দল, QA একা নয়।
সাধারণ ভুল(Common Mistakes)
- একবার চালিয়ে পাস ধরা। একবারের সফলতা কিছুই বলে না।
- হুবহু মিলের অ্যাসারশন লিখে বারবার ফেল পেয়ে, টেস্ট মুছে দেওয়া।
- শুধু সুখী পথ (happy path) দেখা। বানান ভুল ও মিশ্র ভাষায়ই আসল গ্রাহক লেখে।
- মডেল বা প্রম্পট বদলের পর পুরোনো গোল্ডেন সেট না চালানো। এটিই এখানকার রিগ্রেশন টেস্ট (Regression test)নতুন পরিবর্তনের পরও পুরোনো ফিচার ঠিক চলছে কি না, তা যাচাইয়ের টেস্ট।শব্দকোষে দেখুন টেস্ট।
নিজেকে যাচাই করুন
রুমির টেস্ট প্রতিবার ভিন্ন শব্দের উত্তরে ফেল করছে, যদিও অর্থ ঠিক। কোনটি সবচেয়ে ভালো সমাধান?
আজ রাতের কাজ: যে কোনো চ্যাটবটে একটি প্রশ্ন পাঁচবার করুন। উত্তরগুলো পাশাপাশি রেখে লিখুন, কোন কোন বৈশিষ্ট্য সবগুলোতে একই থাকে। ওই বৈশিষ্ট্যগুলোই আপনার প্রথম চেক।