মূল কন্টেন্টে যান
এসকিউএ বাংলা

নাম, ইংরেজি শব্দ বা বিষয়ের অংশ লিখুন। বাংলা আর ইংরেজি, দুটোই চলবে।

যা খুঁজে দেখতে পারেন

এজেন্টিক QA: পূর্ণ পথ

পাঠ ৪৪

ধাপ ৮: এজেন্টিক ওয়ার্কফ্লো পরিচালনা

(Managing Agentic Workflows)

প্রম্পট ও এজেন্টের সংস্করণ, চেঞ্জ কন্ট্রোল

(Versioning & Change Control)

প্রম্পট ও এজেন্ট কনফিগ কোডের মতো রাখা: রিভিউ, সংস্করণ, রিলিজ নোট, শ্যাডো রান ও দ্রুত রোলব্যাক। কে কখন কী বদলাল, তা জানা।

পড়তে প্রায় ৯ মিনিট

রুমি ও তানভীর ভাইয়ের সঙ্গে

এই ধাপে ০/৭ পড়া হয়েছে
টিম গ্রুপ, রাত ১১:৪০

রুমি (১১:৪০)

কেউ কি এজেন্টের প্রম্পট বদলিয়েছে? আজ সকাল থেকে সে প্রতিটি ফেলে "সম্ভবত ফ্লেকি" লিখছে।

সাকিব ভাই (১১:৪১)

আমি একটা বাক্য ঠিক করেছি, বানান ভুল ছিল। ছোট বদল।

রুমি (১১:৪১)

কোথায় বদলালে? কোন ফাইলে?

সাকিব ভাই (১১:৪২)

মনে নেই, ওই কনফিগ প্যানেলে। পুরনোটা কপি করিনি।

তানভীর ভাই (১১:৪৩)

এই কারণেই আমি কাল সকালে আলাদা মিটিং ডাকছি।

একটি বানান-সংশোধন আসলে নির্দেশের অর্থ ঘুরিয়ে দিয়েছিল। "অজানা হলে ফেল করো" বাক্যের একটি শব্দ বদলে সেটি হয়ে গিয়েছিল "অজানা হলে ফ্লেকি ধরো"। এজেন্ট ঠিক সেটিই করেছে। পুরনো সংস্করণ কোথাও সংরক্ষিত নেই বলে মিলিয়ে দেখারও উপায় ছিল না।

প্রম্পট মানে কোড(Prompts Are Code)

এজেন্টের আচরণ ঠিক হয় কয়েকটি জিনিসের মিলনে: প্রম্পট, ব্যবহারযোগ্য টুলের তালিকা, মডেলের নাম, বাজেট ও সীমা। এগুলো সব এজেন্ট কনফিগ। এর যে কোনো একটি বদলালে আচরণ বদলাতে পারে, কখনো এমনভাবে যে কেউ টের পায় না। তাই এগুলোর সঙ্গে সাধারণ কোডের মতো আচরণ করুন:

  • রিপোজিটরিতে ফাইল হিসেবে থাকবে, কোনো প্যানেলের ভেতরের ঘরে নয়
  • বদলাতে হলে পুল রিকোয়েস্ট, আর অন্য একজনের রিভিউ
  • প্রতিটি বদলের পর সংস্করণ সংখ্যা
  • বদলের আগে ও পরে eval চলবে (/topics/agentic-qa/evals-for-agents)

বদল যেভাবে বাজারে যায়(How Changes Reach Production)

১. ফাইলে বদল ও PR
২. গোল্ডেন টাস্ক ও রিগ্রেশন eval
৩. শ্যাডো রান
৪. ছোট পরিসরে চালু
৫. পর্যবেক্ষণ ও রিলিজ নোট

শ্যাডো রান মানে নতুন সংস্করণকে সত্যিকারের কাজের পাশে চালানো, কিন্তু তার ফল কোথাও প্রয়োগ না করে। পুরনো এজেন্ট রিপোর্ট দেয়, নতুন এজেন্ট একই কাজে শুধু নিজের রিপোর্ট জমা রাখে। দুইয়ের ফারাক মানুষ পড়ে দেখে। এখানে ভুল হলে ক্ষতি নেই, তাই আচরণের আসল পরিবর্তন এখানেই ধরা পড়ে, যা কুড়ি টাস্কের eval-এ ধরা নাও পড়তে পারে।

রিলিজ নোট(Release Notes)

প্রতিটি সংস্করণের সঙ্গে ছোট একটি নোট। উদ্দেশ্য: আজ থেকে তিন মাস পরে কেউ জানতে চাইলে "কেন এমন করা হলো"।

agent: failure-triage   version: 14
changed: replaced 'unknown -> fail' with 'unknown -> ask human'
reason:  agent was marking real failures as flaky (see eval case T-17)
eval:    regression set unchanged; 2 new golden tasks added
rollback: set version back to 13
owner:   Rumi

নোটে "কেন" ও "কীভাবে ফেরাব" দুটোই থাকা চাই। বাকি তিনটি লাইন সহায়ক।

রোলব্যাক(Rollback)

নতুন সংস্করণে সমস্যা ধরা পড়লে ফিরে যাওয়ার পথ হতে হবে এক ধাপের কাজ। ভাবুন: রাত দুইটায় কেউ আপনার প্রম্পট ঠিক করছে, এমন নয়। ফিরতে হলে পুরনো সংস্করণ যেন অক্ষত থাকে, আর কোন সংস্করণ কোন সময়ে চলেছিল তা ট্রেসে (/topics/agentic-qa/observability-and-traces) লেখা থাকে। নইলে কোন সংস্করণ দায়ী, তা খুঁজতেই ঘণ্টা কাটবে।

মডেল বদলও বদল(Model Changes Are Changes Too)

আপনি কিছু বদলাননি, কিন্তু পরিষেবা-প্রদানকারী ব্যাকএন্ডে মডেল হালনাগাদ করেছে, এমন হতে পারে। সুবিধা হলো নির্দিষ্ট মডেল-সংস্করণ পিন করার বিকল্প থাকলে সেটি ব্যবহার করুন, আর বদলের খবর পেলে আপনার রিগ্রেশন eval আবার চালান। নিরাপদ ধরে নেবেন না।

সাধারণ ভুল(Common Mistakes)

  • "ছোট" বদল বলে রিভিউ ছাড়া সরাসরি প্যানেলে সম্পাদনা।
  • একসঙ্গে প্রম্পট, মডেল ও টুল তিনটিই বদলে ফেলা। ফল খারাপ হলে কোনটি দায়ী, বোঝার উপায় থাকে না। এক বারে এক বদল।
  • রিলিজ নোট না লেখা, কারণ "আমি তো জানিই"।

নিজেকে যাচাই করুন

একটি এজেন্টের নতুন প্রম্পট ও নতুন মডেল দুটি একসঙ্গে চালু হলো, এবং ফল খারাপ। সবচেয়ে বড় সমস্যা কী?

পরের সকালের মিটিং(The Next Morning Meeting)

তানভীর ভাই কোনো বকাঝকা করলেন না। সাকিব ভাইকে বললেন প্রম্পট ফাইলটি রিপোজিটরিতে তুলতে, আর রুমিকে বললেন প্রথম রিলিজ নোটটি লিখতে। সাকিব ভাই একটু অপ্রস্তুত হয়ে বললেন, "ছোট বদল বলে ভেবেছিলাম।" তানভীর ভাই হেসে বললেন, "আমিও একবার ছোট বদল ভেবে এক রাত জেগেছিলাম।"