SMS টিকিটে ভুল সিট নম্বর, কিন্তু এজেন্টের রিপোর্টে সব সবুজ
একজন যাত্রী ফোন করে জানালেন, তাঁর SMS টিকিটে সিট লেখা ১৪, অ্যাপে ১২। গতকাল রাতের এজেন্ট-রানের রিপোর্টে এই ফ্লো "পাস"। যাত্রীর অভিযোগ আমি শুনেছি, কিন্তু রিপোর্টে কোনো প্রমাণ নেই কেন রান পাস দেখাল।
তানভীর ভাই টিকিট পড়ে রুমিকে একটাই প্রশ্ন করলেন: "রানটা কী করেছিল, দেখাতে পারো?" রুমি জানাল, আছে শুধু শেষ লাইনের সারাংশ: "বুকিং ফ্লো যাচাই সম্পন্ন।" ভেতরে কী হয়েছিল, কেউ জানে না। এজেন্টের ওপর পুরোপুরি ভরসা করার আগে তার কাজ দেখতে পাওয়া দরকার। এর নাম observability।
তিন স্তরের রেকর্ড(Three Layers of Records)
যে রান ফেল করে তার জন্য ট্রেস সবচেয়ে বেশি কাজে লাগে, কিন্তু যে রান ভুল করে পাস করে তার জন্যও। বুকিংয়ের ঘটনায় তাই-ই ঘটেছিল।
একটি ট্রেসের চেহারা(Anatomy of a Trace)
রুমি এবার নতুন ব্যবস্থায় একই রান আবার চালাল, আর ট্রেস খুলে দেখল: পঞ্চম ধাপে SMS টুলের আউটপুটে সিট ১৪, কিন্তু এজেন্ট শুধু "SMS এসেছে" যাচাই করে ফল সবুজ করে দিয়েছে, ভেতরের সংখ্যা মেলায়নি। সমস্যাটা প্রম্পটের একটি ঢিলে বাক্যে। ট্রেস ছাড়া এটি ধরা পড়ত না।
ফেলের ঘটনা আবার দেখা(Replaying a Failure)
রিপ্লে মানে হুবহু একই ইনপুট, একই সংস্করণে, আবার চালানো। এজেন্ট প্রতিবার ভিন্ন পথে চলে, তাই পুরো ঘটনা নয়, ট্রেসে রেকর্ড করা টুল-আউটপুটগুলো সংরক্ষিত ফল হিসেবে চালিয়ে দেখুন এজেন্ট ওই আউটপুট থেকে কী সিদ্ধান্ত নেয়। এতে বাইরের পরিবেশ বদলালেও আপনি সিদ্ধান্তের অংশটিকে আলাদা করে পরীক্ষা করতে পারেন। ঠিক হলে সেই ঘটনাকে গোল্ডেন টাস্কে (/topics/agentic-qa/evals-for-agents) তুলে নিন।
কী রাখবেন, কী কখনো নয়(What to Keep and What to Never Keep)
সাকিব ভাই উৎসাহে বললেন, "সব কিছু লগ করে ফেলি!" তানভীর ভাই মাথা নাড়লেন।
ট্রেসে যা রাখবেন
০/৫
যা কখনো রেকর্ড করবেন না
০/৪
লগ জমা হয় অনেকের নাগালে, আর বহুদিন থাকে। তাই রেকর্ডের আগে মুছে দেওয়ার (redact) ধাপ রাখুন, এবং কত দিন রাখবেন তা ঠিক করে রাখুন। গোপন কথা লগে ঢুকলে সেটি আর গোপন থাকে না, এমনকি এজেন্টের নিজের পরের রানের প্রম্পটেও ঢুকে পড়তে পারে।
সাধারণ ভুল(Common Mistakes)
- শুধু শেষ সারাংশ রাখা, ধাপ রাখা নয়।
- এত বেশি রাখা যে কেউ পড়ে না। ট্রেস পড়া সহজ না হলে কাজে আসে না।
- ট্রেসে সংস্করণ না রাখা, ফলে "কোন প্রম্পটে হয়েছিল" জানা যায় না।
- রিপোর্টের "পাস"-কে প্রমাণ ভাবা, ট্রেসের সঙ্গে না মিলিয়ে।
নিজেকে যাচাই করুন
একটি রান পাস দেখাল, কিন্তু পরে বোঝা গেল সে ভুল ফল যাচাই করেছিল। কোন রেকর্ড এখানে সবচেয়ে বেশি সাহায্য করে?