মূল কন্টেন্টে যান
এসকিউএ বাংলা

নাম, ইংরেজি শব্দ বা বিষয়ের অংশ লিখুন। বাংলা আর ইংরেজি, দুটোই চলবে।

যা খুঁজে দেখতে পারেন

এজেন্টিক QA: পূর্ণ পথ

পাঠ ৪৭

ধাপ ৮: এজেন্টিক ওয়ার্কফ্লো পরিচালনা

(Managing Agentic Workflows)

কেপিআই: কী মাপবেন, কী মাপবেন না

(KPIs for Agentic QA)

এজেন্ট-সহায়ক QA-তে কোন সংখ্যা সত্যিই দিক দেখায়: সূত্র ও ছোট হিসাবসহ, আর কোন সংখ্যা মাপলে ভুল পথে হাঁটতে হয়।

পড়তে প্রায় ১০ মিনিট

রুমি ও তানভীর ভাইয়ের সঙ্গে

এই ধাপে ০/৭ পড়া হয়েছে

প্রেরক: নাজমা আপু

প্রাপক: তানভীর ভাই, রুমি

বিষয়: মাসিক রিপোর্টে একটাই সংখ্যা চাই

ওপরের মহলে আমাকে একটা সংখ্যা দিতে হবে: "এজেন্ট আসার পর QA কতটা ভালো হলো?" তোমরা বলছ টেস্ট দ্বিগুণ হয়েছে, ভালো কথা। কিন্তু সংখ্যাটা দেখলে কি রিলিজ নিরাপদ মনে হবে? আমি জানতে চাইছি, রিলিজ করা যাবে তো?

তানভীর ভাই মেইলটা রুমিকে দেখালেন, আর বললেন, "একটা সংখ্যা দেব না। কিন্তু কয়েকটা দিতে পারি, যেগুলো একসঙ্গে সত্যি কথা বলে।" রুমি জানতে চাইল, কেন একটি নয়? উত্তর এল প্রশ্নে: "দুটো রোগীকে একই জ্বরের পারদ দিয়ে মাপলে কি দুজনের অসুখ এক?"

পাঁচটি কাজের মাপ(Five Measures of Work)

নিচের সব সংখ্যা কাল্পনিক, কেবল হিসাব বোঝানোর জন্য। আপনার দলের সংখ্যা আসবে আপনার নিজের ডেটা থেকে।

১. ডিফেক্ট লিকেজ: প্রোডাকশনে ধরা পড়া বাগ, মোট বাগের কত অংশ।

সূত্র: লিকেজ = প্রোডাকশনে পাওয়া ÷ (রিলিজের আগে পাওয়া + প্রোডাকশনে পাওয়া)

ধরুন, রিলিজের আগে ৪৫টি, পরে ৫টি। লিকেজ = ৫ ÷ ৫০ = ১০%। কম হলে ভালো।

২. টেস্টের ধরার হার: পরিচিত বাগের কতটি আমাদের টেস্ট ধরেছিল।

সূত্র: ধরার হার = টেস্টে ধরা ÷ মোট পরিচিত বাগ

ধরুন, ৫০টির মধ্যে ৪০টি। হার = ৮০%।

৩. এজেন্টের কাজ গ্রহণযোগ্যতার হার: এজেন্টের তৈরি টেস্ট বা ট্রায়াজ রিভিউয়ে কত অংশ বিনা বদলে গৃহীত হলো।

সূত্র: গ্রহণযোগ্যতা = সরাসরি গৃহীত ÷ মোট জমা

ধরুন, ২০টি জমা, ১২টি সরাসরি গৃহীত, ৬টি বদলে, ২টি বাতিল। গ্রহণযোগ্যতা = ১২ ÷ ২০ = ৬০%। বাতিলের হারও আলাদা দেখুন।

৪. ROI ও রিভিউয়ের খরচ: এজেন্ট যে সময় বাঁচায়, আর যে সময় তার রিভিউ ও মেরামতে যায়।

সূত্র: ROI = (বাঁচানো সময় − মোট খরচ) ÷ মোট খরচ, যেখানে মোট খরচে রিভিউ, মেরামত ও টোকেনের খরচ ধরা

ধরুন, মাসে ১৫ ঘণ্টা বাঁচল, রিভিউ ও মেরামতে ১০ ঘণ্টা। ROI = (১৫ − ১০) ÷ ১০ = ০.৫। রিভিউয়ের সময় বাদ দিলে ফল হতো ১.০ এবং মিথ্যা।

৫. শনাক্তকরণে গড় সময়: বাগ ঢোকার পর কত দ্রুত টের পাই।

সূত্র: গড় = সময়গুলোর যোগফল ÷ বাগ সংখ্যা

ধরুন, তিনটি বাগ ধরা পড়ল ২, ৪ ও ৬ ঘণ্টায়। গড় = ১২ ÷ ৩ = ৪ ঘণ্টা। তিনটি বাগের গড় খুব নড়বড়ে, তাই সঙ্গে সর্বোচ্চ সময়টিও দেখুন।

লিকেজ১০%
ধরার হার৮০%
গ্রহণযোগ্যতা৬০%
ধরুন, কাল্পনিক সংখ্যা। তিনটি পাশাপাশি দেখলে গল্প মেলে: ধরার হার ভালো, কিন্তু এজেন্টের কাজের ৪০% বদল বা বাতিল লাগছে।

তিনটি একসঙ্গে বলে, দলের টেস্ট ভালো ধরছে, লিকেজ মধ্যম, আর এজেন্টের কাজের পেছনে মানুষের বেশ সময় যাচ্ছে। এক সংখ্যায় এই তিনটি কথা ধরা যেত না।

কী মাপবেন না(What Not to Measure)

পরিমাণ
মোট টেস্ট সংখ্যা, এজেন্ট কয়টি টেস্ট লিখল
সবুজ
পাসের হার ১০০%
ব্যক্তি
কে কত বাগ খুলল
গতি
এজেন্টের কত ঘণ্টা চলল

কোনো সংখ্যা লক্ষ্য হয়ে গেলে মানুষ ও এজেন্ট দুজনেই তাকে সাজাতে শুরু করে। "টেস্ট সংখ্যা বাড়াও" বললে এজেন্ট সহজ, দুর্বল টেস্ট বানাবে।

সাধারণ ভুল(Common Mistakes)

  • বেসলাইন না নিয়ে পরে "উন্নতি" দাবি।
  • ছোট নমুনায় বড় সিদ্ধান্ত।
  • মোট বাগ আসলে অনুমান, কারণ যা কেউ পায়নি তা গোনা যায় না। সংখ্যা প্রশ্ন করার সঙ্গী, রায় নয়।

নিজেকে যাচাই করুন

এজেন্ট এক মাসে টেস্ট সংখ্যা দ্বিগুণ করল, কিন্তু প্রোডাকশনে পাওয়া বাগ কমল না। কী বলা যায়?

নাজমা আপুকে উত্তর

তানভীর ভাই (বিকেল ৪:১০)

লিকেজ ১০%, গত মাসের চেয়ে একটু কম। ধরার হার আটকে আছে। এজেন্টের কাজে ৪০% বদল লাগছে, সেটা কমানোই এই মাসের লক্ষ্য।

নাজমা আপু (বিকেল ৪:১২)

এটা আমি বুঝতে পারছি। ধন্যবাদ।