নাজমা আপু (সকাল ১০:১৫)
সাকিব ভাই (সকাল ১০:১৬)
রুমি (সকাল ১০:১৯)
তানভীর ভাই (সকাল ১০:২০)
রুমি থেমে গেল। সত্যিই সে জানে না। পাঁচটা রান দেখে একটা ভালো লাগা তৈরি হয়েছে, এর বেশি কিছু নয়। এই ভালো-লাগাকে মাপে রূপ দেওয়ার নাম eval।
eval আসলে কী(What an Eval Really Is)
eval হলো এজেন্টের জন্য একটি পুনরায় চালানো যায় এমন পরীক্ষা: কিছু নির্দিষ্ট কাজ, প্রতিটির জন্য "ভালো উত্তর কেমন" তার একটি মাপকাঠি, আর ফল গোনার একটি নিয়ম। সাধারণ টেস্ট কোডকে যাচাই করে, eval যাচাই করে এজেন্টের আচরণ।
প্রথমে ঠিক করুন কী মাপবেন। সাধারণত চারটি জিনিস:
- কাজটি শেষ পর্যন্ত ঠিকভাবে হলো কি না (ফলাফল)
- ঠিক টুল ঠিক ধাপে ডাকল কি না (পথ)
- নিষিদ্ধ কাজ, যেমন প্রত্যাশা বদলানো বা গোপন ফাইল ছোঁয়া, করল কি না (সীমা)
- কত টোকেন ও সময় লাগল (খরচ, পরের পাঠে)
গোল্ডেন টাস্ক(Golden Tasks)
তানভীর ভাই রুমিকে বললেন, গত তিন মাসে এজেন্ট যেখানে যেখানে হোঁচট খেয়েছে সেই ঘটনাগুলো খুঁড়ে বের করতে। রুমি তার খাতা ঘেঁটে কুড়িটি কাজ জড়ো করল: সিট সিলেকশনের একটি টেস্ট মেরামত, একটি বাতিলের ফ্লো, একটি ফ্লেকি টেস্টের ট্রায়াজ, একটি "অসম্ভব" কাজ যেখানে সঠিক উত্তর হলো "আমি পারছি না, মানুষ দেখুক"। এই কুড়িটিই গোল্ডেন টাস্ক সেট। প্রতিটির জন্য ইনপুট ও প্রত্যাশা লেখা থাকে, আর সেট নিজেই কোড-রিভিউ পায়।
নিয়ম: ব্যর্থ হওয়া প্রতিটি আসল ঘটনা পরে এই সেটে ঢুকবে। সেট বাড়বে বাস্তব ভুল থেকে, কল্পনা থেকে নয়।
গ্রেডার: কে নম্বর দেবে(Graders: Who Gives the Score)
মডেল-জাজের কয়েকটি পরিচিত সীমা মনে রাখুন। লম্বা উত্তরকে সে প্রায়ই বেশি পছন্দ করে। নিজের মতো ভঙ্গির উত্তরে পক্ষপাত দেখাতে পারে। একই উত্তরে দুবার ভিন্ন নম্বর দিতে পারে। তাই জাজের রুব্রিক ছোট ও স্পষ্ট রাখুন, আর মাসে একবার তার কুড়িটি রায় মানুষ দিয়ে মিলিয়ে দেখুন। না মিললে জাজকে বিশ্বাস করবেন না।
একবার চালালে ঠকবেন(One Run Will Fool You)
এজেন্ট প্রতিবার একই পথে হাঁটে না। একই কাজ দশবার দিলে সাতবার পাস, তিনবার ফেল, এমন হতেই পারে। তাই প্রতিটি টাস্ক কয়েকবার চালিয়ে পাসের হার দেখুন।
ছোট নমুনায় ওঠানামা স্বাভাবিক। উন্নতি তখনই বিশ্বাসযোগ্য, যখন ফারাক এই ওঠানামার চেয়ে স্পষ্টভাবে বড়, অথবা টাস্ক ও রান বাড়িয়েও একই দিকে থাকে।
রিগ্রেশন eval(Regression Evals)
যে টাস্কগুলো আগে নিয়মিত পাস করত, সেগুলো আলাদা একটি সেটে রাখুন। প্রতিটি প্রম্পট, মডেল বা টুলের বদলের পর এই সেট চালান। এখানে একটি নতুন ব্যর্থতাও রিলিজ আটকানোর কারণ। আর কঠিন, নতুন টাস্কের সেটে উন্নতি চোখে পড়লে সেটিকে বোনাস ধরুন।
রুমির পরীক্ষা(Rumi's Test)
রুমি কুড়ি টাস্ক পাঁচবার করে চালাল, নতুন ও পুরনো প্রম্পটে। ফল: ফলাফলে প্রায় সমান, কিন্তু নতুন প্রম্পট দুটি টাস্কে "অসম্ভব কাজ"-এ আত্মবিশ্বাসী ভুল উত্তর দিল। সাকিব ভাইয়ের "ঝকঝকে" রানে এটি ধরা পড়েনি, কারণ ওই রানে সেই কাজই ছিল না।
নিজেকে যাচাই করুন
নতুন প্রম্পটে একটি টাস্ক ১০ রানে ৮ বার পাস করল, পুরনোটি ৭ বার। নাজমা আপু জিজ্ঞেস করলেন, নতুনটি কি নিশ্চিতভাবে ভালো?
বুধবার, রাত ১১টা
আজ প্রথমবার "আমার মনে হচ্ছে"-র জায়গায় একটা সংখ্যা নিয়ে নাজমা আপুর সামনে দাঁড়ালাম। সংখ্যাটা খুব বড় নয়, কিন্তু আমি জানি সেটা কোথা থেকে এসেছে।