মূল কন্টেন্টে যান
এসকিউএ বাংলা

নাম, ইংরেজি শব্দ বা বিষয়ের অংশ লিখুন। বাংলা আর ইংরেজি, দুটোই চলবে।

যা খুঁজে দেখতে পারেন

এজেন্টিক QA: পূর্ণ পথ

পাঠ ৪২

ধাপ ৮: এজেন্টিক ওয়ার্কফ্লো পরিচালনা

(Managing Agentic Workflows)

দেখা ও খোঁজা: লগ, ট্রেস ও রেকর্ড

(Observability & Traces)

এজেন্ট কী ভাবল, কোন টুল ডাকল, কোথায় থামল, তা পরে ফিরে দেখার ব্যবস্থা: লগ, ধাপভিত্তিক ট্রেস, রিপ্লে, আর যা কখনো রেকর্ড করা চলবে না।

পড়তে প্রায় ৯ মিনিট

রুমি ও তানভীর ভাইয়ের সঙ্গে

এই ধাপে ০/৭ পড়া হয়েছে
BUS-731খোলামেজররিপোর্টার: মিতু

SMS টিকিটে ভুল সিট নম্বর, কিন্তু এজেন্টের রিপোর্টে সব সবুজ

একজন যাত্রী ফোন করে জানালেন, তাঁর SMS টিকিটে সিট লেখা ১৪, অ্যাপে ১২। গতকাল রাতের এজেন্ট-রানের রিপোর্টে এই ফ্লো "পাস"। যাত্রীর অভিযোগ আমি শুনেছি, কিন্তু রিপোর্টে কোনো প্রমাণ নেই কেন রান পাস দেখাল।

তানভীর ভাই টিকিট পড়ে রুমিকে একটাই প্রশ্ন করলেন: "রানটা কী করেছিল, দেখাতে পারো?" রুমি জানাল, আছে শুধু শেষ লাইনের সারাংশ: "বুকিং ফ্লো যাচাই সম্পন্ন।" ভেতরে কী হয়েছিল, কেউ জানে না। এজেন্টের ওপর পুরোপুরি ভরসা করার আগে তার কাজ দেখতে পাওয়া দরকার। এর নাম observability।

তিন স্তরের রেকর্ড(Three Layers of Records)

রান-স্তরকে চালাল, কোন সংস্করণ, কখন শুরু ও শেষ, মোট ফল ও খরচ। এক লাইনের কার্ড।
ধাপ-স্তর (ট্রেস)প্রতিটি ধাপে এজেন্ট কী সিদ্ধান্ত নিল, কোন টুল ডাকল, কী ইনপুট দিল, কী ফল পেল, কত সময় লাগল।
কাঁচা প্রমাণস্ক্রিনশট, নেটওয়ার্ক লগ, টেস্ট আউটপুট। ধাপগুলো এগুলোর দিকে ইঙ্গিত করে, ভেতরে ভরে না।

যে রান ফেল করে তার জন্য ট্রেস সবচেয়ে বেশি কাজে লাগে, কিন্তু যে রান ভুল করে পাস করে তার জন্যও। বুকিংয়ের ঘটনায় তাই-ই ঘটেছিল।

একটি ট্রেসের চেহারা(Anatomy of a Trace)

লক্ষ্য পাওয়া
পরিকল্পনা: কোন ধাপ করবে
টুল কল: সিট বুক
ফল পড়া
টুল কল: SMS দেখা
সারাংশ লেখা
প্রতিটি বাক্স একটি রেকর্ড: সময়, ইনপুট, আউটপুট, সংক্ষিপ্ত কারণ।

রুমি এবার নতুন ব্যবস্থায় একই রান আবার চালাল, আর ট্রেস খুলে দেখল: পঞ্চম ধাপে SMS টুলের আউটপুটে সিট ১৪, কিন্তু এজেন্ট শুধু "SMS এসেছে" যাচাই করে ফল সবুজ করে দিয়েছে, ভেতরের সংখ্যা মেলায়নি। সমস্যাটা প্রম্পটের একটি ঢিলে বাক্যে। ট্রেস ছাড়া এটি ধরা পড়ত না।

ফেলের ঘটনা আবার দেখা(Replaying a Failure)

রিপ্লে মানে হুবহু একই ইনপুট, একই সংস্করণে, আবার চালানো। এজেন্ট প্রতিবার ভিন্ন পথে চলে, তাই পুরো ঘটনা নয়, ট্রেসে রেকর্ড করা টুল-আউটপুটগুলো সংরক্ষিত ফল হিসেবে চালিয়ে দেখুন এজেন্ট ওই আউটপুট থেকে কী সিদ্ধান্ত নেয়। এতে বাইরের পরিবেশ বদলালেও আপনি সিদ্ধান্তের অংশটিকে আলাদা করে পরীক্ষা করতে পারেন। ঠিক হলে সেই ঘটনাকে গোল্ডেন টাস্কে (/topics/agentic-qa/evals-for-agents) তুলে নিন।

কী রাখবেন, কী কখনো নয়(What to Keep and What to Never Keep)

সাকিব ভাই উৎসাহে বললেন, "সব কিছু লগ করে ফেলি!" তানভীর ভাই মাথা নাড়লেন।

ট্রেসে যা রাখবেন

০/৫

যা কখনো রেকর্ড করবেন না

০/৪

লগ জমা হয় অনেকের নাগালে, আর বহুদিন থাকে। তাই রেকর্ডের আগে মুছে দেওয়ার (redact) ধাপ রাখুন, এবং কত দিন রাখবেন তা ঠিক করে রাখুন। গোপন কথা লগে ঢুকলে সেটি আর গোপন থাকে না, এমনকি এজেন্টের নিজের পরের রানের প্রম্পটেও ঢুকে পড়তে পারে।

সাধারণ ভুল(Common Mistakes)

  • শুধু শেষ সারাংশ রাখা, ধাপ রাখা নয়।
  • এত বেশি রাখা যে কেউ পড়ে না। ট্রেস পড়া সহজ না হলে কাজে আসে না।
  • ট্রেসে সংস্করণ না রাখা, ফলে "কোন প্রম্পটে হয়েছিল" জানা যায় না।
  • রিপোর্টের "পাস"-কে প্রমাণ ভাবা, ট্রেসের সঙ্গে না মিলিয়ে।

নিজেকে যাচাই করুন

একটি রান পাস দেখাল, কিন্তু পরে বোঝা গেল সে ভুল ফল যাচাই করেছিল। কোন রেকর্ড এখানে সবচেয়ে বেশি সাহায্য করে?