সাকিব ভাই (১০:০২)
রুমি (১০:০৩)
সাকিব ভাই (১০:০৩)
তানভীর ভাই (১০:০৫)
কোনো বাগ নেই, কোনো ভুল টেস্ট নেই। আছে দুটি রান, একটি পরিবেশ, একটি সিট। এজেন্ট এলে এই ধরনের সংঘর্ষ বাড়ে, কারণ এখন শুধু মানুষ নয়, এজেন্টরাও রাত-দিন রান দিচ্ছে।
এখন কারা চালাচ্ছে(Who Runs It Now)
গত কয়েক মাসে দল এজেন্টকে প্রতিদিনের কাজে ঢুকিয়েছে। তাই পরিবেশ আর কেবল "স্টেজিং সার্ভার" নয়। প্রশ্নগুলো এখন:
- কোন রান কোথায় চলবে, আর তার ডেটা কার?
- দ্রুত ফিডব্যাক কোথায় চাই, আর পূর্ণ নিশ্চয়তা কোথায়?
- ব্যর্থ হলে কী প্রমাণ থাকবে?
পাইপলাইনের গঠন(Pipeline Structure)
PR বিল্ড: শুধু প্রভাবিত টেস্ট আর ছোট একটি স্মোক সেট। লক্ষ্য কয়েক মিনিটের ফিডব্যাক, নইলে ডেভেলপাররা CI-কে এড়িয়ে চলবে।
নাইটলি: পুরো রিগ্রেশন সুইট, এবং এজেন্টের eval সেটও (/topics/agentic-qa/evals-for-agents)। সকালে ট্রায়াজ-সারাংশ মানুষের টেবিলে।
কনটেইনার: প্রতি রানে নতুন, পরিষ্কার পরিবেশ, শেষে ফেলে দেওয়া। এজেন্ট যা-ই করুক, হোস্ট ও আসল সিস্টেম নিরাপদ থাকে। গোপন মান ছবির ভেতরে নয়, CI-এর সুরক্ষিত ব্যবস্থা থেকে ঢুকবে।
ভাগ করা পরিবেশ: হয় রানপ্রতি আলাদা পরিবেশ ও ডেটা, নয়তো লক, যাতে একবারে একটি রান ঢোকে। সিট ১২-র ঘটনা ঠিক এখানেই ঘটেছিল।
ডায়াগনস্টিক: ফেলের সঙ্গে স্ক্রিনশট, ট্রেস, কনসোল ও নেটওয়ার্ক লগ। এগুলো ছাড়া কারণ খোঁজা অনুমানের খেলা (/topics/agentic-qa/observability-and-traces)।
একটি রূপরেখা(An Outline)
নিচেরটি ধারণা বোঝানোর জন্য, কোনো নির্দিষ্ট CI টুলের সিনট্যাক্স নয়।
# illustrative outline, not tied to any CI product
pull_request:
job: affected-tests
steps:
- detect changed files
- start fresh container, own test data namespace
- run affected tests + small smoke set
- agent steps run with budget limits and no secrets in image
- on failure: upload screenshots, traces, logs
nightly:
job: full-suite
concurrency: staging-lock # one run at a time
steps:
- run full regression + agent eval set (repeat each task a few times)
- publish report, send triage summary to a human
এজেন্টের জন্য বাড়তি(Extras for Agents)
সাধারণ টেস্ট রান আর এজেন্ট রানের মধ্যে ফারাক কয়েকটি জায়গায়:
- সীমা: এজেন্টের রানে টোকেন ও সময়ের বাজেট (/topics/agentic-qa/cost-latency-budgets), নইলে একটি আটকে-যাওয়া রান পুরো রাত দখল করে রাখে।
- অধিকার: এজেন্ট শুধু পরীক্ষার পরিবেশ ছুঁতে পারবে। প্রোডাকশন বা আসল পেমেন্ট নয়।
- মানুষের গেট: এজেন্ট কমিট বা মার্জ নিজে করবে না। রিপোর্ট দেখে মানুষ সিদ্ধান্ত নেবে।
- সংস্করণ: প্রতিটি রানের সঙ্গে এজেন্টের কনফিগ সংস্করণ লেখা, যাতে ফল ও বদল মেলানো যায়।
ক্রম মেলান(Match the Order)
সাজান: সঠিক ক্রম
একটি PR বিল্ডের সঠিক ক্রম
প্রতিটি ধাপের পাশের তীর বোতাম দিয়ে ওপরে বা নিচে নিন।
- ১.রিপোর্ট প্রকাশ করে মানুষকে জানানো
- ২.ফেল হলে স্ক্রিনশট ও লগ সংরক্ষণ
- ৩.প্রভাবিত টেস্ট ও স্মোক সেট চালানো
- ৪.পরিষ্কার কনটেইনার চালু করা
- ৫.PR-এ কোন ফাইল বদলেছে শনাক্ত করা
সাধারণ ভুল(Common Mistakes)
- প্রতিটি PR-এ পুরো সুইট, ফলে অপেক্ষা ঘণ্টার পর ঘণ্টা।
- লক বা আলাদা ডেটা ছাড়া ভাগ করা পরিবেশ।
- নাইটলির ফল কেউ না দেখা। যে রিপোর্ট কেউ পড়ে না, সে রিপোর্টের কোনো মূল্য নেই।
নিজেকে যাচাই করুন
সাকিব ভাইয়ের CI আর রুমির এজেন্ট একই স্টেজিংয়ে একই সিট বুক করতে গিয়ে ফেল করল। সবচেয়ে মূল সমাধান কোনটি?
সোমবার, রাত ১০টা
সিট ১২-র গল্প শেষ। কাল থেকে প্রতিটি রান নিজের নামে একটি নতুন ডেটা-ঘর পাবে। ফারদিনকে বললাম, "আগে জানো কে কোথায় বসছে, তারপর টেস্ট লেখো।" সে লিখে রাখল।