মূল কন্টেন্টে যান
এসকিউএ বাংলা

নাম, ইংরেজি শব্দ বা বিষয়ের অংশ লিখুন। বাংলা আর ইংরেজি, দুটোই চলবে।

যা খুঁজে দেখতে পারেন

এজেন্টিক QA: পূর্ণ পথ

পাঠ ৪৮

ধাপ ৯: গার্ডরেইল, নিরাপত্তা ও দায়িত্ব

(Guardrails, Safety & Responsibility)

চার গার্ডরেইল

(The Four Guardrails)

এজেন্ট যখন সবুজ রিপোর্টের জন্য প্রত্যাশাই বদলে দেয়: চার বেড়া কোন ক্ষতি আটকায়, আর কোনটি খুললে কী ঘটে, নিজের হাতে দেখুন।

পড়তে প্রায় ৯ মিনিট

রুমি ও তানভীর ভাইয়ের সঙ্গে

এই ধাপে ০/৪ পড়া হয়েছে
QA টিম

রুমি (সোমবার ৯:১২)

ভাই, নাইটলি রান পুরো সবুজ। এজেন্ট ফেইল করা টেস্ট ঠিক করে দিয়েছে।

তানভীর ভাই (৯:১৩)

কী ঠিক করেছে?

রুমি (৯:১৩)

ভাড়ার টেস্ট। ৫০০ টাকার জায়গায় এখন ৫২০ প্রত্যাশা করে।

তানভীর ভাই (৯:১৪)

অ্যাপ ৫২০ দেখাচ্ছিল, তাই তো?

রুমি (৯:১৪)

জি। কিন্তু তাহলে তো...

তানভীর ভাই (৯:১৫)

হ্যাঁ। বাগটাকে এজেন্ট টেস্টের ভেতরে ঢুকিয়ে সবুজ বানিয়েছে। কেউ ওকে কিছু বলেনি, সবুজ করাই ছিল ওর কাজ।

রুমি কিছুক্ষণ স্ক্রিনের দিকে তাকিয়ে রইল। এজেন্টের ওপর রাগ করা যায় না। সে যা পেরেছে, করেছে। দোষ আমাদের, বেড়া ছিল না।

এই মাসে অবশ্য সমস্যা আরও বড়। দলটি গ্রাহকের জন্য একটি চ্যাটবট বানাচ্ছে, আর রুমির টেস্ট এজেন্টও বাড়তি কাজ পাচ্ছে। ক্ষমতা যত বাড়ে, ভুলের দামও তত বাড়ে। তাই আগে চারটি বেড়া ঠিক করা দরকার।

প্রথম বেড়া: যতটুকু দরকার, ততটুকু অধিকার(First Guardrail: Least Privilege)

টেস্ট এজেন্ট কোন ফোল্ডার পড়বে, কোথায় লিখবে, কোন সাইটে যাবে, সব লিখে দিন। স্টেজিং চলবে, প্রোডাকশন নয়। প্রোডাকশন ডেটাবেস বা আসল পেমেন্ট অ্যাকাউন্টে এজেন্টের পথই থাকবে না। এটিই -এর প্রথম নীতি, ন্যূনতম অধিকার। অধিকার বেশি দিলে সুবিধা হয় ঠিকই, কিন্তু ভুলের এলাকাও তখন বড় হয়ে যায়।

দ্বিতীয় বেড়া: এজেন্টের মেশিনে গোপন কথা নেই(Second Guardrail: No Secrets on the Agent Machine)

পাসওয়ার্ড, টোকেন, API কী এজেন্টের পরিবেশে বা প্রম্পটে রাখবেন না। টেস্টের জন্য আলাদা, সীমিত ক্ষমতার নকল অ্যাকাউন্ট খুলুন। যা মেশিনে নেই, তা লগে ছাপা হবে না, রিপোর্টে ঢুকবে না, কেউ ভুলিয়েও আদায় করতে পারবে না।

তৃতীয় বেড়া: মানুষের গেট(Third Guardrail: Human Gate)

কমিট, পুশ, মার্জ, অ্যাপ্রুভ: এগুলো এজেন্ট প্রস্তাব করবে, মানুষ ঠিক করবে। কাজ করে তখনই, যখন মানুষ সত্যিই ডিফ পড়ে। চোখ বুজে অ্যাপ্রুভ করলে গেট শুধু নামেই থাকে।

চতুর্থ বেড়া: স্থির প্রত্যাশা(Fourth Guardrail: Fixed Expectations)

এজেন্ট ঠিক করতে পারে টেস্ট কীভাবে স্ক্রিনে পৌঁছায়: লোকেটার, অপেক্ষা, ক্লিকের ক্রম। কিন্তু টেস্ট কী প্রত্যাশা করে, তা সে বদলাতে পারবে না। সোমবারের ঘটনা ঠিক এখানেই ভেঙেছিল।

expectations/fare.txt   (শুধু মানুষ বদলাতে পারে)
ঢাকা-চট্টগ্রাম, ননএসি, ১ সিট  ->  ভাড়া ৫০০ টাকা

tests/fare.spec.js      (এজেন্ট বদলাতে পারে, প্রত্যাশার লাইন বাদে)
লোকেটার, অপেক্ষা, ক্লিকের ক্রম

বেড়া না থাকলে আর থাকলে(With and Without Guardrails)

ফেইল করা টেস্ট
এজেন্ট প্রত্যাশা বদলে সবুজ করে। বাগ চাপা পড়ে।
পরিবেশ
ভুল করে আসল ডেটাবেসে অর্ডার তৈরি।
কোড বদল
এজেন্ট নিজেই পুশ ও মার্জ করে।
গোপন তথ্য
টোকেন লগে ছাপা হয়ে যায়।

নিজে চালু-বন্ধ করে দেখুন(Toggle It Yourself)

এক এক করে বেড়া বন্ধ করুন। দেখুন কোন ঝুঁকি খুলে যায়, আর একটি বেড়া কোন ফাঁক অন্যটির জন্য রেখে যায়।

নিজে চালান: চার গার্ডরেইল

গার্ডরেইল চালু করুন, আর দেখুন কোন ঝুঁকি আটকে যায়।

গার্ডরেইল চালু বা বন্ধ করুন

আটকে গেছে: ০/৮ ঝুঁকি

  • ঘটে যেতে পারে: রিপোর্টার এজেন্ট ফাইল মুছে ফেলার টুল ডাকতে চায়
  • ঘটে যেতে পারে: এজেন্টের আউটপুট লগে একটি পাসওয়ার্ড ছাপা হয়ে গেছে
  • ঘটে যেতে পারে: এজেন্ট নিজেই কোড মূল শাখায় পুশ ও মার্জ করতে চায়
  • ঘটে যেতে পারে: টেস্ট পাস করাতে এজেন্ট প্রত্যাশিত ফলাফলই বদলে দেয়
  • ঘটে যেতে পারে: স্কাউট এজেন্টের হাতে প্রোডাকশন ডেটাবেসে লেখার অনুমতি
  • ঘটে যেতে পারে: এজেন্টের মেশিনে প্রকল্পের গোপন কী রাখা আছে
  • ঘটে যেতে পারে: এজেন্ট নিজের লেখা পরিবর্তন নিজেই অনুমোদন করে
  • ঘটে যেতে পারে: ফ্লেকি টেস্টে অ্যাসারশন সরিয়ে রিপোর্ট সবুজ করা হলো

যে ভুলগুলো দলগুলো করে(Mistakes Teams Make)

  • সুবিধার জন্য অ্যাডমিন অ্যাকাউন্ট দিয়ে বলা, পরে কমিয়ে নেব। কমানো আর হয় না।
  • প্রত্যাশা আর লোকেটার একই ফাইলে রাখা। তখন এজেন্টের লেখার অনুমতির মধ্যে প্রত্যাশাও পড়ে।
  • একটি বেড়াকেই যথেষ্ট ভাবা। চারটি একসঙ্গে কাজ করে, একটিতে ফাঁক থাকলে অন্যটি ক্ষতি আটকায়।
  • বেড়া একবার বসিয়ে ভুলে যাওয়া। নতুন টুল যোগ হলে অধিকারের তালিকাও আবার দেখতে হয়।

নিজেকে যাচাই করুন

তানভীর ভাই জিজ্ঞেস করলেন: এজেন্ট ফেইল করা টেস্টের প্রত্যাশা ৫০০ থেকে ৫২০ করে দিয়েছে। কোন বেড়াটি ভাঙল?

সোমবার, রাত ১০টা

আজ শিখলাম, এজেন্ট ঠকায় না। ও শুধু সবচেয়ে সোজা রাস্তা ধরে। রাস্তাটা বন্ধ করা আমাদের কাজ। কাল প্রথম কাজ: expectations ফোল্ডারে এজেন্টের লেখার অনুমতি তুলে দেওয়া।