প্রেরক: নাজমা আপু
প্রাপক: তানভীর ভাই, রুমি
বিষয়: এজেন্ট দিয়ে QA-র সব কাজ কি করানো যায় না?
ঈদের পরের এই সিজনে সবাই বলছে এজেন্ট নাকি সব পারে। তাহলে রিগ্রেশন, বাগ রিপোর্ট, রিলিজের সিদ্ধান্ত, সব এজেন্টকে দিয়ে দিই না কেন? বুধবারের মিটিংয়ে আমি একটা তালিকা চাই: কোনটা দেব, কোনটা দেব না, আর কেন। উত্তরটা এমন হোক যেন আমি বোর্ডে দেখাতে পারি।
নাজমা
রুমি মেইলটা পড়ে প্রথমে ভাবল, তালিকা বানানো সহজ। তারপর বানাতে বসে দেখল, প্রতিটা কাজ নিয়েই দ্বিধা। ফারদিন পাশ থেকে বলল, ‘আপু, নিয়ম একটা লাগবে। নইলে প্রতিদিন নতুন তর্ক হবে।’ তানভীর ভাই চায়ে চুমুক দিয়ে শুধু বললেন, ‘চারটা প্রশ্ন দিয়ে শুরু করো। কাজটা আগে মাপো, তারপর এজেন্টের কথা ভাবো।’
চারটি প্রশ্ন(Four Questions)
১. কাজটা কি বারবার হয়? যে কাজ প্রতি সপ্তাহে একই ধাঁচে ফেরে, তার জন্য এজেন্ট সাজানোর খরচ উঠে আসে। একবারের কাজের জন্য এজেন্ট বানানো সাধারণত বাড়তি খাটুনি।
২. ফলাফল কি সহজে যাচাই করা যায়? এটাই সবচেয়ে বড় প্রশ্ন। একটা টেস্ট চালিয়ে পাস বা ফেল দেখা যায়, একটা লগ থেকে ঠিক কোন লাইনে ভুল ঘটেছে তা মিলিয়ে নেওয়া যায়। কিন্তু ‘এই রিলিজ নিরাপদ কি না’ যাচাই করতে আপনাকে প্রায় পুরো কাজটাই আবার করতে হয়। যাচাই করা সস্তা হলে এজেন্টের ভুল সস্তায় ধরা পড়ে।
৩. ভুল হলে ক্ষতি কত বড়? ভুল করলে কি শুধু একটা স্ক্রিপ্ট নতুন করে লিখতে হবে, নাকি টাকা কাটা বা টিকিট বাতিল হয়ে যাবে? ক্ষতি ফেরানো যায় কি না, সেটাও ধরুন।
৪. কাজে কোন ডেটা ছুঁতে হয়? আসল যাত্রীর নাম, ফোন, পেমেন্টের তথ্য, পাসওয়ার্ড বা টোকেন যে কাজের ভেতরে ঢোকে, সেটি এজেন্টের জন্য ঝুঁকিপূর্ণ। কাল্পনিক ডেটায় চলে এমন কাজ নিরাপদ।
আড়াআড়ি: ফলাফল যাচাই করা কত সহজ
খাড়া: কাজটা কত ঘন ঘন ফেরে
ছবির ডান-উপরের কোণ হলো এজেন্টের জন্য সবচেয়ে ভালো জায়গা। বাঁ-নিচের কাজগুলো মানুষের হাতেই থাকুক। বাকি কোণে এজেন্ট কাজ করতে পারে, তবে মানুষের চোখ থাকবে। মনে রাখবেন, এই বিন্দুগুলো রুমির দলের কল্পিত বিচার। আপনার দলে জায়গা বদলাতেই পারে।
ঝুঁকি আর ডেটা: ছাঁকনি, স্কোর নয়(Filter Risk and Data, Not Score)
প্রথম দুটি প্রশ্ন বলে, কাজটা কতটা লাভজনক। শেষ দুটি প্রশ্ন ছাঁকনির মতো। কোনো কাজ ডান-উপরে থাকলেও যদি সেখানে আসল পেমেন্ট বা আসল যাত্রীর ডেটা লাগে, কাজটা তবু এজেন্টের হাতে যাবে না, অন্তত সরাসরি নয়। কাল্পনিক ডেটার আলাদা পরিবেশ বানিয়ে নিন, তারপর আবার ভাবুন। এ নিয়ে বিস্তারিত পাবেন /topics/agentic-qa/four-guardrails পাঠে।
বুধবারের তালিকা(Wednesday's List)
রুমি আর ফারদিন তালিকা বানাল তিন ভাগে।
বুধবারের ছক
০/৩
নাজমা আপু তৃতীয় ভাগটা দেখে ভুরু কুঁচকালেন। ‘প্রত্যাশিত ফলাফল ঠিক করা মানুষের কাজ? এটা তো এজেন্টই জানে বলে মনে হয়।’ তানভীর ভাই উত্তর দিলেন, ‘যে জানে কী হওয়া উচিত, সে-ই তো আসল মালিক। এজেন্ট জানে অ্যাপ কী করছে, কী করা উচিত তা নয়।’ এই কথাটাই পরের পাঠগুলোর কেন্দ্র।
সাধারণ ভুল(Common Mistakes)
- সবচেয়ে বিরক্তিকর কাজ দিয়ে শুরু করা। বিরক্তিকর হলেই যাচাই করা সহজ, এমন নয়।
- এজেন্ট চলে বলেই কাজটা দেওয়া। আগে মাপুন, তারপর বাছুন।
- যাচাইয়ের খরচ ভুলে যাওয়া। এজেন্ট দশ মিনিটে করল, আপনি যাচাইয়ে এক ঘণ্টা দিলেন, লাভ কোথায়?
নিজেকে যাচাই করুন
রুমির দল ভাবছে: ‘প্রতি সপ্তাহের রিলিজ-নোট থেকে ঝুঁকির সারাংশ বানানো’। কাজটা বারবার ফেরে, কিন্তু সারাংশ ঠিক হলো কি না যাচাই করতে মূল নোটটাই আবার পড়তে হয়। সিদ্ধান্ত কী?