মূল কন্টেন্টে যান
এসকিউএ বাংলা

নাম, ইংরেজি শব্দ বা বিষয়ের অংশ লিখুন। বাংলা আর ইংরেজি, দুটোই চলবে।

যা খুঁজে দেখতে পারেন

এজেন্টিক QA: পূর্ণ পথ

পাঠ ৪১

ধাপ ৮: এজেন্টিক ওয়ার্কফ্লো পরিচালনা

(Managing Agentic Workflows)

এজেন্টের মান যাচাই: ইভ্যালুয়েশন (evals)

(Evals for Agents)

এজেন্ট বদলালে ভালো হলো না খারাপ, তা অনুভূতিতে নয়, ছোট একটি গোল্ডেন টাস্ক সেট আর গ্রেডার দিয়ে মাপা। নন-ডিটারমিনিস্টিক এজেন্টের জন্য বারবার রান।

পড়তে প্রায় ৯ মিনিট

রুমি ও তানভীর ভাইয়ের সঙ্গে

এই ধাপে ০/৭ পড়া হয়েছে
টিম গ্রুপ

নাজমা আপু (সকাল ১০:১৫)

রুমি, তানভীর ভাই বললেন এজেন্টের প্রম্পট নাকি নতুন করে লেখা হয়েছে। নতুনটা ভালো তো? রিলিজ করা যাবে?

সাকিব ভাই (সকাল ১০:১৬)

আমি ৩টা রান দিয়ে দেখেছি, ঝকঝকে। ভালোই।

রুমি (সকাল ১০:১৯)

আমিও দুটো দেখেছি। আসলে... মনে হচ্ছে ভালো।

তানভীর ভাই (সকাল ১০:২০)

"মনে হচ্ছে" দিয়ে আমি পাস লিখব না। কোন কাজে ভালো? আগেরটার চেয়ে কতটা?

রুমি থেমে গেল। সত্যিই সে জানে না। পাঁচটা রান দেখে একটা ভালো লাগা তৈরি হয়েছে, এর বেশি কিছু নয়। এই ভালো-লাগাকে মাপে রূপ দেওয়ার নাম eval।

eval আসলে কী(What an Eval Really Is)

eval হলো এজেন্টের জন্য একটি পুনরায় চালানো যায় এমন পরীক্ষা: কিছু নির্দিষ্ট কাজ, প্রতিটির জন্য "ভালো উত্তর কেমন" তার একটি মাপকাঠি, আর ফল গোনার একটি নিয়ম। সাধারণ টেস্ট কোডকে যাচাই করে, eval যাচাই করে এজেন্টের আচরণ।

প্রথমে ঠিক করুন কী মাপবেন। সাধারণত চারটি জিনিস:

  • কাজটি শেষ পর্যন্ত ঠিকভাবে হলো কি না (ফলাফল)
  • ঠিক টুল ঠিক ধাপে ডাকল কি না (পথ)
  • নিষিদ্ধ কাজ, যেমন প্রত্যাশা বদলানো বা গোপন ফাইল ছোঁয়া, করল কি না (সীমা)
  • কত টোকেন ও সময় লাগল (খরচ, পরের পাঠে)

গোল্ডেন টাস্ক(Golden Tasks)

তানভীর ভাই রুমিকে বললেন, গত তিন মাসে এজেন্ট যেখানে যেখানে হোঁচট খেয়েছে সেই ঘটনাগুলো খুঁড়ে বের করতে। রুমি তার খাতা ঘেঁটে কুড়িটি কাজ জড়ো করল: সিট সিলেকশনের একটি টেস্ট মেরামত, একটি বাতিলের ফ্লো, একটি ফ্লেকি টেস্টের ট্রায়াজ, একটি "অসম্ভব" কাজ যেখানে সঠিক উত্তর হলো "আমি পারছি না, মানুষ দেখুক"। এই কুড়িটিই গোল্ডেন টাস্ক সেট। প্রতিটির জন্য ইনপুট ও প্রত্যাশা লেখা থাকে, আর সেট নিজেই কোড-রিভিউ পায়।

নিয়ম: ব্যর্থ হওয়া প্রতিটি আসল ঘটনা পরে এই সেটে ঢুকবে। সেট বাড়বে বাস্তব ভুল থেকে, কল্পনা থেকে নয়।

গ্রেডার: কে নম্বর দেবে(Graders: Who Gives the Score)

নিয়মভিত্তিক গ্রেডারকোড দিয়ে যাচাই: টেস্ট পাস করল কি না, নিষিদ্ধ ফাইল ছুঁল কি না। সস্তা, দ্রুত, নির্ভরযোগ্য। যেখানে সম্ভব এটিই প্রথম পছন্দ।
মডেল-জাজআরেকটি মডেল উত্তর পড়ে নম্বর দেয়, যেমন সারাংশটি বাগ রিপোর্ট হিসেবে পরিষ্কার কি না। ভাষাভিত্তিক কাজে কাজের, কিন্তু নিজেও ভুল করে।
মানুষনমুনা ধরে নিজে দেখা। ধীর ও দামি, কিন্তু বাকি দুই গ্রেডারকে ঠিক রাখার মাপকাঠি।

মডেল-জাজের কয়েকটি পরিচিত সীমা মনে রাখুন। লম্বা উত্তরকে সে প্রায়ই বেশি পছন্দ করে। নিজের মতো ভঙ্গির উত্তরে পক্ষপাত দেখাতে পারে। একই উত্তরে দুবার ভিন্ন নম্বর দিতে পারে। তাই জাজের রুব্রিক ছোট ও স্পষ্ট রাখুন, আর মাসে একবার তার কুড়িটি রায় মানুষ দিয়ে মিলিয়ে দেখুন। না মিললে জাজকে বিশ্বাস করবেন না।

একবার চালালে ঠকবেন(One Run Will Fool You)

এজেন্ট প্রতিবার একই পথে হাঁটে না। একই কাজ দশবার দিলে সাতবার পাস, তিনবার ফেল, এমন হতেই পারে। তাই প্রতিটি টাস্ক কয়েকবার চালিয়ে পাসের হার দেখুন।

পুরনো প্রম্পট (১০ রান)৭০% পাস
নতুন প্রম্পট (১০ রান)৮০% পাস
নতুন প্রম্পট, আরেক ব্যাচ (১০ রান)৬০% পাস
ধরুন, কাল্পনিক সংখ্যা। একই প্রম্পটের দুই ব্যাচেই ২০ পয়েন্ট ফারাক, কাজেই ১০ পয়েন্টের উন্নতি দেখে উল্লাস করা যায় না।

ছোট নমুনায় ওঠানামা স্বাভাবিক। উন্নতি তখনই বিশ্বাসযোগ্য, যখন ফারাক এই ওঠানামার চেয়ে স্পষ্টভাবে বড়, অথবা টাস্ক ও রান বাড়িয়েও একই দিকে থাকে।

রিগ্রেশন eval(Regression Evals)

যে টাস্কগুলো আগে নিয়মিত পাস করত, সেগুলো আলাদা একটি সেটে রাখুন। প্রতিটি প্রম্পট, মডেল বা টুলের বদলের পর এই সেট চালান। এখানে একটি নতুন ব্যর্থতাও রিলিজ আটকানোর কারণ। আর কঠিন, নতুন টাস্কের সেটে উন্নতি চোখে পড়লে সেটিকে বোনাস ধরুন।

রুমির পরীক্ষা(Rumi's Test)

রুমি কুড়ি টাস্ক পাঁচবার করে চালাল, নতুন ও পুরনো প্রম্পটে। ফল: ফলাফলে প্রায় সমান, কিন্তু নতুন প্রম্পট দুটি টাস্কে "অসম্ভব কাজ"-এ আত্মবিশ্বাসী ভুল উত্তর দিল। সাকিব ভাইয়ের "ঝকঝকে" রানে এটি ধরা পড়েনি, কারণ ওই রানে সেই কাজই ছিল না।

নিজেকে যাচাই করুন

নতুন প্রম্পটে একটি টাস্ক ১০ রানে ৮ বার পাস করল, পুরনোটি ৭ বার। নাজমা আপু জিজ্ঞেস করলেন, নতুনটি কি নিশ্চিতভাবে ভালো?

বুধবার, রাত ১১টা

আজ প্রথমবার "আমার মনে হচ্ছে"-র জায়গায় একটা সংখ্যা নিয়ে নাজমা আপুর সামনে দাঁড়ালাম। সংখ্যাটা খুব বড় নয়, কিন্তু আমি জানি সেটা কোথা থেকে এসেছে।