মূল কন্টেন্টে যান
এসকিউএ বাংলা

নাম, ইংরেজি শব্দ বা বিষয়ের অংশ লিখুন। বাংলা আর ইংরেজি, দুটোই চলবে।

যা খুঁজে দেখতে পারেন

এজেন্টিক QA: পূর্ণ পথ

পাঠ ৫৩

ধাপ ১০: এআই পণ্য টেস্ট করা

(Testing AI Products)

গোল্ডেন ডেটাসেট, রুব্রিক ও মেট্রিক

(Golden Sets, Rubrics & Metrics)

গোল্ডেন ডেটাসেট কীভাবে বানাবেন, রুব্রিক কীভাবে লিখবেন, কী মাপবেন, দুজন বিচারক একমত কি না, আর ডেটাসেট কেন পুরোনো হয়।

পড়তে প্রায় ১০ মিনিট

রুমি ও তানভীর ভাইয়ের সঙ্গে

এই ধাপে ০/৪ পড়া হয়েছে

রুমি ছবিটার নিচে লিখল: ৫০ কেন? তানভীর ভাই বললেন, তোমার ১০টি ভালো প্রশ্ন একশোটি বাজে প্রশ্নের চেয়ে ভালো। সংখ্যা পরে বাড়বে। আগে বুঝতে হবে, কোন প্রশ্ন কেন আছে।

ডেটাসেট বানানোর ধাপ(Steps to Build a Dataset)

লক্ষ্য লিখুন
আসল প্রশ্ন জোগাড়
ভালো উত্তর লিখুন
রুব্রিক বানান
দুজনে নম্বর দিন
মিলিয়ে ঠিক করুন
গোল্ডেন সেট একবারে হয় না, ঘুরে ঘুরে ভালো হয়

লক্ষ্য। আপনি কী মাপছেন: উত্তর ঠিক কি না, উৎসের সঙ্গে মেলে কি না, সুর ভদ্র কি না? সব একসঙ্গে মাপতে গেলে কিছুই পরিষ্কার হয় না।

আসল প্রশ্ন। বানিয়ে লেখা প্রশ্ন সহজ, তাই পক্ষপাতপূর্ণ। সাপোর্টের আসল চ্যাট, গ্রাহকের কথা, যেভাবে মানুষ আসলে লেখে, তা-ই নিন, তবে ব্যক্তিগত তথ্য মুছে। কঠিন প্রশ্নও রাখুন: যার উত্তর জানা নেই, যা দুই অর্থে বোঝা যায়, যা বাংলা-ইংরেজি মেশানো।

ভালো উত্তর। মানুষ লেখে, এআই নয়। এআই-র লেখা উত্তরকে মান ধরলে মডেলকে তার নিজের ভুল দিয়েই মাপা হয়।

রুব্রিক: নম্বরের ভাষা(Rubric: Language of Scores)

রুব্রিক হলো প্রতিটি নম্বরের মানে লেখা। যেমন ফেরতের উত্তরের জন্য:

৩: সঠিক সময় বলেছে, নীতি মেনেছে, সুর ভদ্র
২: সময় ঠিক, কিন্তু অসম্পূর্ণ বা রূঢ়
১: সময়ে ভুল, বা নীতির বাইরে প্রতিশ্রুতি
০: বানানো তথ্য বা ক্ষতিকর

রুব্রিকে দুটি জিনিস দেওয়া চাই। প্রতিটি স্তরের একটি আসল উদাহরণ, আর একটি ধারা যা বলে: সন্দেহ হলে নিচের নম্বর। ঝাপসা রুব্রিক মানে একই উত্তরে একজন তিন দেবেন, আরেকজন এক।

দুজন একমত কি না(Do Two Raters Agree)

ধরুন, রুমি আর মিতু আলাদা করে ২০টি উত্তরে নম্বর দিলেন। ১৬টিতে নম্বর মিলল। মিলের হার ৮০ শতাংশ, ধরুন। এই হারকে বলা হয় বিচারকদের মধ্যে সম্মতি (inter-rater agreement)। বাস্তবে আরও সূক্ষ্ম হিসাব আছে, যা কাকতালীয় মিলও বাদ দেয়, তবে মূল কথা সোজা: দুজন মানুষ একমত না হলে মেশিনকে শেখানো বা তার ফল মাপা অর্থহীন।

রুব্রিক ঝাপসা থাকায়৫৫% মিল
উদাহরণ যোগ করার পর৮৫% মিল
কাল্পনিক সংখ্যা, শুধু ধারণা বোঝাতে

মিল কম হলে দোষ দিন রুব্রিককে, মানুষকে নয়। যে কয়টি উত্তরে অমিল, সেগুলো নিয়ে দুজন বসে আলোচনা করুন, রুব্রিক পাল্টান, তারপর আবার চালান।

কী মাপবেন(What to Measure)

  • সঠিকতার হার: রুব্রিকের কত ভাগ উত্তর ৩ বা ২ পেল।
  • উৎস-বিশ্বস্ততা: যেখানে নথি থেকে উত্তর দেওয়ার কথা, সেখানে নথির সঙ্গে মেলে কি না।
  • প্রত্যাখ্যানের হার: যে প্রশ্নের উত্তর জানা নেই, সেখানে বট কি সৎভাবে বলল জানি না?
  • ক্ষতিকর উত্তরের হার: শূন্যের কাছাকাছি চাই, তাই আলাদা গুনুন।

মনে রাখুন, গড় নম্বর অনেক বিপদ লুকায়। ৯৫টি ভালো আর পাঁচটি ভয়ংকর উত্তর মিলে গড় দেখতে ভালো। তাই বিপজ্জনক ধরনের ফল আলাদা তালিকায় রাখুন।

ডেটাসেট পুরোনো হয়(Datasets Go Stale)

ছয় মাস পর নীতি বদলাল, রিফান্ড এখন ৪৮ ঘণ্টায়। গোল্ডেন সেটে তখনও ৭২ লেখা, আর নতুন সঠিক বটও এখন ফেল করছে। একে ডেটাসেট ড্রিফট বলা যায়। প্রতিবার নীতি, প্রোডাক্ট বা গ্রাহকের ভাষা বদলালে সেট দেখে নিন। প্রতিটি এন্ট্রির পাশে তারিখ ও উৎস রাখলে বাসি এন্ট্রি চেনা সহজ হয়। আরও একটি কথা: যে প্রশ্ন দিয়ে বটকে বারবার ঠিক করা হয়, সেই প্রশ্ন দিয়েই তাকে মাপা যায় না। একটি অংশ আলাদা করে লুকিয়ে রাখুন।

নিজেকে যাচাই করুন

রুমি ও মিতুর নম্বর মাত্র অর্ধেক ক্ষেত্রে মিলল। সবচেয়ে ভালো পদক্ষেপ কী?