মূল কন্টেন্টে যান
এসকিউএ বাংলা

নাম, ইংরেজি শব্দ বা বিষয়ের অংশ লিখুন। বাংলা আর ইংরেজি, দুটোই চলবে।

যা খুঁজে দেখতে পারেন

এজেন্টিক QA: পূর্ণ পথ

পাঠ ৫০

ধাপ ৯: গার্ডরেইল, নিরাপত্তা ও দায়িত্ব

(Guardrails, Safety & Responsibility)

এআই-র লেখা টেস্ট কে টেস্ট করবে?

(Who Tests the AI's Tests?)

২০টি সবুজ টেস্ট দেখে খুশি হওয়ার আগে: এজেন্টের লেখা টেস্ট আসলে কিছু পাহারা দেয় কি না, তা যাচাইয়ের পাঁচটি উপায়।

পড়তে প্রায় ৯ মিনিট

রুমি ও তানভীর ভাইয়ের সঙ্গে

এই ধাপে ০/৪ পড়া হয়েছে
  1. ১০:০০

    এজেন্টকে বলা হলো: ভাড়া হিসাবের টেস্ট লেখো।

  2. ১০:০৭

    ২০টি নতুন টেস্ট জমা। সব সবুজ।

  3. ১০:১০

    রুমি রিপোর্টের স্ক্রিনশট গ্রুপে পাঠাল, সঙ্গে একটি হাসির ইমোজি।

  4. ১০:১২

    তানভীর ভাই জিজ্ঞেস করলেন: অ্যাপ ভাঙলে এগুলো লাল হবে তো?

  5. ১০:১৩

    রুমি উত্তর দিতে পারল না।

রুমি ভাবছিল এটি ভালো সংবাদ। তানভীর ভাই ভাবছিলেন ভিন্ন কথা: যে টেস্ট কখনো ফেইল করতে পারে না, সে কিছুই পাহারা দেয় না। সে শুধু সবুজ রং দেখায়।

এমন একটি টেস্ট চোখের সামনে(A Test in Front of You)

test("টিকিট বুক করা", async ({ page }) => {
  await page.goto("/book");
  await page.click("#confirm");
  expect(page).toBeTruthy();   // সবসময় সত্য
});

এই টেস্ট চলে, পাস করে, কভারেজও বাড়ায়। কিন্তু অ্যাপ পুরো ভেঙে গেলেও সবুজ থাকবে। এজেন্ট ইচ্ছা করে ঠকায় না। সে কেবল পাস করে এমন কিছু লিখে দেয়, কারণ পাস করাটাই তার কাছে সফলতা। তাই এজেন্টের টেস্টের জন্য আলাদা যাচাই চাই।

প্রথম পরীক্ষা: ইচ্ছা করে ভেঙে দেখা(First Check: Break It on Purpose)

রুমি অ্যাপের একটি কপিতে ভাড়ার হিসাবে ৫০০ বদলে ৫২০ করল। তারপর ২০টি টেস্ট চালাল। কতগুলো লাল হলো? মাত্র তিনটি। বাকি সতেরোটি সবুজ, কারণ তারা শুধু দেখছিল ভাড়ার ঘরে কিছু একটা আছে কি না।

এই কৌশলের নাম : কোডে ছোট বাগ বসিয়ে দেখা টেস্ট ধরতে পারে কি না। হাতে করেও করা যায়। একটি শর্ত উল্টে দিন, একটি সংখ্যা বদলান, তারপর চালান। না ধরলে টেস্ট দুর্বল।

ভাঙা বিলডে লাল হলো৩ টি
ভাঙা বিলডেও সবুজ রইল১৭ টি
কাল্পনিক ঘটনার সংখ্যা, মোট ২০ টেস্টের মধ্যে

রুমি অ্যাসারশন বদলে লিখল: ভাড়া হুবহু ৫০০ টাকা। আবার ভাঙা বিলডে চালাতেই টেস্ট লাল হলো। এবার সে সত্যিই কিছু পাহারা দিচ্ছে।

বাকি চারটি উপায়(The Other Four Ways)

ডিফ পড়ুন। রিপোর্ট নয়, কোডের পরিবর্তন নিজে পড়ুন। প্রতিটি টেস্টে অর্থবহ অ্যাসারশন আছে কি? কোনো চেক চুপিসারে স্কিপ বা মুছে ফেলা হয়েছে কি?

প্রত্যাশার উৎস মিলিয়ে নিন। অ্যাপ আজ যা দেখায়, তা টেস্টে লিখে ফেললে বাগও সঠিক হয়ে যায়। প্রত্যাশা আসবে রিকোয়ারমেন্ট থেকে। আগের লেখার স্থির প্রত্যাশার বেড়া এখানেই কাজে লাগে।

গোল্ডেন স্যাম্পল রাখুন। মানুষের লেখা ও যাচাই-করা কয়েকটি টেস্টের একটি ছোট সেট। এজেন্টের প্রম্পট বা মডেল বদলালে তার আউটপুট এই সেটের সঙ্গে মিলিয়ে দেখুন, মান কমল কি না।

স্যাম্পলিং রিভিউ। সব টেস্ট রোজ গভীরভাবে পড়া যায় না। প্রতি সপ্তাহে এলোমেলো কয়েকটি বেছে মানুষ পুরো পড়ুক। পেমেন্টের মতো ঝুঁকির ফ্লো সবসময় পুরো রিভিউ পাক।

এজেন্ট দিয়ে এজেন্টকে দেখানো(Using an Agent to Check an Agent)

আরেকটি এজেন্টকে দিয়ে প্রথমজনের টেস্ট রিভিউ করানো সম্ভব, এবং অনেক সময় কাজেরও। সে মানুষের চোখে পড়ার আগেই অনেক দুর্বলতা ধরে দেয়। কিন্তু দুই এজেন্ট একই ধরনের ভুল করতে পারে, একই ভুল ধারণা থেকে। তাই দ্বিতীয় মত সহায়ক, বিকল্প নয়। চূড়ান্ত দায় মানুষের।

সবচেয়ে সাধারণ ভুল(The Most Common Mistake)

  • সবুজ রিপোর্ট দেখে রিভিউ বাদ দেওয়া।
  • কভারেজ শতাংশ দেখে খুশি হওয়া। লাইন চললেও অ্যাসারশন না থাকলে কভারেজ কিছু বলে না।
  • প্রত্যাশা অ্যাপ থেকে কপি করা।
  • গোল্ডেন স্যাম্পল একবার বানিয়ে আর না ছোঁয়া। অ্যাপ বদলায়, নমুনাও হালনাগাদ করতে হয়।

নিজেকে যাচাই করুন

নতুন একটি টেস্ট পাস করছে। সবচেয়ে ভালো পরবর্তী পদক্ষেপ কোনটি?

পরের স্ট্যান্ডআপের আগে একটি পুরোনো টেস্ট নিন, একটি ছোট বাগ বসান, আর দেখুন সে ধরে কি না। উত্তরটি নোটবুকে লিখে রাখুন, হয়তো অপ্রত্যাশিত হবে।