মূল কন্টেন্টে যান
এসকিউএ বাংলা

নাম, ইংরেজি শব্দ বা বিষয়ের অংশ লিখুন। বাংলা আর ইংরেজি, দুটোই চলবে।

যা খুঁজে দেখতে পারেন

এজেন্টিক QA: পূর্ণ পথ

পাঠ ৪৩

ধাপ ৮: এজেন্টিক ওয়ার্কফ্লো পরিচালনা

(Managing Agentic Workflows)

খরচ, গতি ও টোকেন বাজেট

(Cost, Latency & Token Budgets)

এজেন্টের খরচ ও সময় মাপা এবং সীমা বেঁধে দেওয়া: টোকেন বাজেট, টাইমআউট, মডেলের স্তর, ঘুরপাক থামানো, আর কখন ক্যাশ করা যায়।

পড়তে প্রায় ৯ মিনিট

রুমি ও তানভীর ভাইয়ের সঙ্গে

এই ধাপে ০/৭ পড়া হয়েছে

প্রেরক: টিম লিড, প্ল্যাটফর্ম

প্রাপক: তানভীর ভাই, রুমি

বিষয়: এজেন্টের ব্যবহার: গত শুক্রবারের রাত

গত শুক্রবার রাতে একটি এজেন্ট-রান প্রায় চার ঘণ্টা চলেছে এবং সেই এক রানে সাধারণ রাতের কয়েকগুণ টোকেন খরচ হয়েছে (সংখ্যা এখানে বলছি না, ড্যাশবোর্ডে আছে)। রানটি একটি টেস্ট ঠিক করার চেষ্টা বারবার করছিল। কেউ দেখেনি। সোমবারের মধ্যে একটি সীমার ব্যবস্থা চাই।

রুমি ট্রেস খুলে দেখল, এজেন্ট একটি লোকেটর ঠিক করছে, টেস্ট ফেল, আবার ঠিক করছে, আবার ফেল। প্রতি ঘুরপাকে আগের সব লগ প্রম্পটে জুড়ে পাঠাচ্ছে, তাই প্রতিবার খরচও বাড়ছে। কারণটা নিছক বোকামি নয়: কেউ বলেই দেয়নি কখন থামতে হবে।

খরচ কোথা থেকে আসে(Where Cost Comes From)

এজেন্টের খরচ মোটামুটি তিনটি জিনিসের গুণফল: প্রতি ধাপে কত টোকেন, কত ধাপ, আর কোন মডেল। প্রম্পট যত লম্বা ও ধাপ যত বেশি, খরচ তত বাড়ে। আর সময়ও তেমনই: প্রতিটি মডেল-কল ও টুল-কলে অপেক্ষা জমে।

ছোট কাজ (স্মোক টেস্ট মেরামত)৪০ হাজার টোকেন
মাঝারি কাজ (ফ্লেকি টেস্ট ট্রায়াজ)১২০ হাজার টোকেন
শুক্রবারের রান (বাজেট ছাড়া ঘুরপাক)৯০০ হাজার টোকেন
ধরুন, কাল্পনিক সংখ্যা। আসল ঝুঁকি গড়ে নয়, লেজে: কয়েকটি রান পুরো বিল ভাসিয়ে দেয়।

চারটি সীমা(Four Limits)

  1. ১. টোকেন বাজেট

    প্রতি রানে সর্বোচ্চ কত টোকেন। ধরুন, মাঝারি কাজে বাজেট ২ লাখ। ৮০ শতাংশ ছুঁলে সতর্কতা, ১০০ শতাংশে রান থামিয়ে মানুষের কাছে হস্তান্তর।

  2. ২. ধাপ ও পুনঃচেষ্টার সীমা

    একই ধরনের মেরামত সর্বোচ্চ তিনবার। তিনবারেও না হলে "আমি পারছি না" বলে ট্রেসসহ থামা, চতুর্থবার নয়।

  3. ৩. টাইমআউট

    প্রতিটি টুল কলের জন্য আলাদা, আর পুরো রানের জন্য আলাদা। ধরুন, টুল কল ৩০ সেকেন্ড, পুরো রান ২০ মিনিট। ঝুলে থাকা রানের চেয়ে ব্যর্থ রান ভালো, কারণ ব্যর্থতা কেউ দেখে।

  4. ৪. থামার কারণ রেকর্ড

    বাজেটে থামলে সেটি পরিষ্কার লেখা থাকুক। নইলে সীমায় ঠেকা রানকে সাধারণ ব্যর্থতা ভেবে ভুল ট্রায়াজ হয়।

এই সীমাগুলো কনফিগে লেখা থাকে, প্রম্পটে "বেশি খরচ করো না" বলার ভরসায় নয়। প্রম্পটের অনুরোধ এজেন্ট ভুলে যেতে পারে, কনফিগের সীমা ভোলে না।

# illustrative config, not tied to any product
task_class: medium
max_tokens_per_run: 200000      # ধরুন
max_repair_attempts: 3
tool_call_timeout: 30s
run_timeout: 20m
on_limit: stop_and_hand_to_human

মডেলের স্তর(Model Tiers)

সব কাজে সবচেয়ে বড় মডেল লাগে না। লগ ঘাঁটা, ফরম্যাট ঠিক করা, সংক্ষেপ লেখার মতো সরল কাজ ছোট ও দ্রুত মডেলে চলতে পারে। জটিল ট্রায়াজ বা পরিকল্পনায় বড় মডেল। কোন কাজ কোন স্তরে যাবে তা অনুমানে ঠিক করবেন না: গোল্ডেন টাস্ক সেটে (/topics/agentic-qa/evals-for-agents) দুই স্তরে চালিয়ে মান ও খরচ পাশাপাশি দেখুন। ছোট মডেলে মান যথেষ্ট থাকলে সেটিই ব্যবহার করুন।

কখন ক্যাশ(When to Cache)

যে অংশ প্রতি রানে হুবহু এক, যেমন দীর্ঘ নির্দেশনা বা টুলের বিবরণ, সেটি ক্যাশ করা যেতে পারে, যদি আপনার সেবা সেই সুবিধা দেয় (সেবাভেদে নিয়ম আলাদা, তাদের নথি দেখুন)। কিন্তু যার ফল সময়ের সঙ্গে বদলায়, যেমন বর্তমান সিটের অবস্থা, তা ক্যাশ করলে পুরনো উত্তর নতুন বলে চলে যায়। পুরনো ফলে বানানো টেস্ট রিপোর্ট সবচেয়ে বিপজ্জনক ধরনের ভুল।

সাধারণ ভুল(Common Mistakes)

  • বাজেট শুধু মোট মাসিক বিলে, রানভিত্তিক নয়।
  • গড় দেখে নিশ্চিন্ত থাকা, সবচেয়ে ব্যয়বহুল দশটি রান না দেখে।
  • সীমায় থামাকে ব্যর্থতা না ভেবে সংকেত ভাবা: কাজটি হয়তো ভাগ করা দরকার।

নিজেকে যাচাই করুন

একটি রান বারবার একই মেরামত চেষ্টা করে যাচ্ছে এবং খরচ বাড়ছে। সবচেয়ে ভালো প্রতিরোধ কোনটি?