এজেন্ট রিপোর্টে 'পেমেন্ট সফল', স্ক্রিনশটে ত্রুটির পেজ
বৃহস্পতিবার সকালের রানে ১০টি ফ্লো চালানো হয়েছে। রিপোর্টে ১০টিই পাস। ষষ্ঠ ফ্লোর স্ক্রিনশট খুলে দেখা যাচ্ছে পেমেন্ট পেজের বদলে "সেবা সাময়িক বন্ধ" লেখা একটি পেজ। রিপোর্টের লেখা: "পেমেন্ট সফল।" কোনো অর্ডার আইডি নেই।
প্রত্যাশা: দাবির সঙ্গে প্রমাণ মিলবে। বাস্তব: দাবি আছে, প্রমাণ উল্টো কথা বলছে।
রুমি টিকিটটা পড়ে চুপ করে রইল। সকালে সে রিপোর্টে সবুজ দেখে খুশি হয়ে সাকিব ভাইকে বলেও দিয়েছিল, "আজ সব ঠিক।" এখন লজ্জায় কান গরম। ফারদিন ফিসফিস করে জিজ্ঞেস করল, "আপু, এজেন্ট কি মিথ্যা বলল?"
"মিথ্যা না," রুমি বলল। "মডেল এমন উত্তর বানায় যা শুনতে ঠিক লাগে। পেমেন্টের পরে সাধারণত 'সফল' আসে, ও সেটাই লিখেছে, দেখেনি। একে বলে হ্যালুসিনেশন (Hallucination)মডেল যখন আত্মবিশ্বাসের সঙ্গে এমন কিছু বলে, যা সত্য নয় বা যার প্রমাণ নেই।শব্দকোষে দেখুন।"
ভুলগুলো চার জাতের(Four Kinds of Mistakes)
- না দেখে "সফল" বলা, বা নেই এমন বাটনের কথা বলা।
- অস্পষ্ট লক্ষ্য পেয়ে নিজের মতো অনুমান করা, তাই ভুল জিনিস টেস্ট করা।
- সীমা না থাকলে আসল অর্ডার করে ফেলা বা ডেটা বদলানো।
- একই লক্ষ্যে দুবার চালালে আলাদা ধাপ, আলাদা ফল।
প্রথমটা আজকের ঘটনা। দ্বিতীয় আর তৃতীয়টা ঠেকাতে লক্ষ্যে সীমা আর শর্ত লাগে। চতুর্থটার জন্য একবারের পাস দেখে নিশ্চিন্ত হওয়া চলে না।
রিপোর্ট পড়ার অনুশীলন(Report Reading Practice)
নিচের কাল্পনিক রিপোর্টের কোন লাইনে প্রমাণ ছাড়া দাবি আছে, চিহ্নিত করুন।
বাগ শিকার: ৩টি বাগ লুকানো আছে
এজেন্টের রিপোর্ট: কোথায় প্রমাণ নেই?
যে অংশ ভুল মনে হয়, তাতে চাপুন। শেষে "যাচাই করুন" চাপুন।
আগে অন্তত একটি অংশ বেছে নিন।
তানভীর ভাই একটা নিয়ম মুখস্থ করালেন: প্রমাণ ছাড়া দাবি মানে অজানা। পাস নয়, ফেলও নয়, অজানা।
ঢালগুলো একসঙ্গে(Shields Together)
ভুল পুরো এড়ানো যায় না, ক্ষতি ছোট রাখা যায়। কোন ঢাল চালু থাকলে কোন ঝুঁকি আটকায়, নিচে একে একে চালু-বন্ধ করে দেখুন।
নিজে চালান: চার গার্ডরেইল
গার্ডরেইল চালু করুন, আর দেখুন কোন ঝুঁকি আটকে যায়।
আটকে গেছে: ০/৮ ঝুঁকি
- ঘটে যেতে পারে: রিপোর্টার এজেন্ট ফাইল মুছে ফেলার টুল ডাকতে চায়
- ঘটে যেতে পারে: এজেন্টের আউটপুট লগে একটি পাসওয়ার্ড ছাপা হয়ে গেছে
- ঘটে যেতে পারে: এজেন্ট নিজেই কোড মূল শাখায় পুশ ও মার্জ করতে চায়
- ঘটে যেতে পারে: টেস্ট পাস করাতে এজেন্ট প্রত্যাশিত ফলাফলই বদলে দেয়
- ঘটে যেতে পারে: স্কাউট এজেন্টের হাতে প্রোডাকশন ডেটাবেসে লেখার অনুমতি
- ঘটে যেতে পারে: এজেন্টের মেশিনে প্রকল্পের গোপন কী রাখা আছে
- ঘটে যেতে পারে: এজেন্ট নিজের লেখা পরিবর্তন নিজেই অনুমোদন করে
- ঘটে যেতে পারে: ফ্লেকি টেস্টে অ্যাসারশন সরিয়ে রিপোর্ট সবুজ করা হলো
ঢালের বিস্তারিত /topics/agentic-qa/four-guardrails পাতায়। গল্পের হিসাবে তিনটি মনে রাখলেই চলে: স্যান্ডবক্স (Sandbox)আলাদা নিরাপদ পরিবেশ, যেখানে ভুল হলেও আসল ডেটা বা প্রোডাকশনের ক্ষতি হয় না।শব্দকোষে দেখুন যাতে ভুলের ক্ষতি আসল ডেটায় না পৌঁছায়, গার্ডরেইল (Guardrail)এজেন্টের কাজের সীমা। যেমন কোন সাইটে যাবে, কত ধাপ চলবে, কোন কাজে মানুষের অনুমতি লাগবে।শব্দকোষে দেখুন যাতে কী করা যাবে না আগে থেকে ঠিক থাকে, আর মানুষের যাচাই (Human in the loop)গুরুত্বপূর্ণ ধাপে মানুষ ফলাফল দেখে অনুমোদন দেয়। এজেন্ট একা চূড়ান্ত সিদ্ধান্ত নেয় না।শব্দকোষে দেখুন, কারণ শেষ রায় যাচাইকারীর।
পরের স্ট্যান্ডআপের আগে একটি কাজ: নিজের কোনো পুরোনো রিপোর্ট খুলে তিনটি দাবি বেছে নিন, আর প্রতিটির পাশে প্রমাণের নাম লিখুন। না পেলে সেখানে ফাঁক।
নিজেকে যাচাই করুন
রিপোর্টে লেখা 'সব বাটন ঠিক আছে', সঙ্গে কোনো তালিকা বা ছবি নেই। কী করবেন?
নিজেকে যাচাই করুন
এজেন্ট আসল গ্রাহকের ডেটাবেসে কাজ করলে সবচেয়ে বড় ঝুঁকি কী?