মূল কন্টেন্টে যান
এসকিউএ বাংলা

নাম, ইংরেজি শব্দ বা বিষয়ের অংশ লিখুন। বাংলা আর ইংরেজি, দুটোই চলবে।

যা খুঁজে দেখতে পারেন

এজেন্টিক QA: পূর্ণ পথ

পাঠ ১২

ধাপ ৩: এআই-র ভিত্তি, QA-র চোখে

(AI Foundations for QA)

LLM কীভাবে কাজ করে: QA-র জন্য যতটুকু দরকার

(LLM Basics for QA)

টোকেন, কনটেক্সট উইন্ডো, তাপমাত্রা, হ্যালুসিনেশন, নলেজ কাটঅফ আর খরচ: একজন টেস্টারের কাজে লাগার মতো করে এলএলএম-এর গড়ন।

পড়তে প্রায় ৮ মিনিট

রুমি ও তানভীর ভাইয়ের সঙ্গে

এই ধাপে ০/৪ পড়া হয়েছে

শনিবার, রাত ১০টা (ঈদের সেল শেষের তিন সপ্তাহ পর)

আজ একটা অদ্ভুত জিনিস দেখলাম। একই প্রশ্ন, একই শব্দ, চ্যাট-সহকারীকে দুইবার করলাম: লগইন পেজের কী কী টেস্ট হবে। প্রথমবার এল সাতটা কেস, দ্বিতীয়বার নয়টা, আর দুই তালিকায় মিল মাত্র পাঁচটার।

প্রথমে ভাবলাম আমি কিছু ভুল করেছি। পরে মনে হলো, আমি তো এই বাজে ব্যাপারটাই নিজের টেস্টে ধরি: একই ইনপুট, ভিন্ন আউটপুট। তাহলে এটা কি বাগ? নাকি এটাই এর স্বভাব? কাল তানভীর ভাইকে জিজ্ঞেস করব। না, আগে নিজে পড়ে নিই। উনি আবার উল্টো প্রশ্ন করবেন।

মডেল আসলে কী করে(What a Model Really Does)

এলএলএম (বড় ভাষা মডেল) মূলত একটা কাজই করে: এখন পর্যন্ত যা লেখা হয়েছে, তার পর সবচেয়ে মানানসই পরের টুকরোটা কী হবে, তার সম্ভাবনা হিসাব করে একটা বেছে নেয়। তারপর আবার, আবার। এভাবে উত্তর তৈরি হয়। সে "জানে" না, সে খুব ভালো অনুমান করে। এই একটা কথা মাথায় থাকলে বাকি সব আচরণের ব্যাখ্যা মেলে।

আপনার প্রম্পট
টোকেনে ভাঙা
মডেল সম্ভাবনা হিসাব করে
একটি টোকেন বাছে (এলোমেলোতা সহ)
আবার হিসাব, উত্তর শেষ না হওয়া পর্যন্ত
টোকেন জুড়ে উত্তর
একটি প্রম্পট থেকে উত্তর: প্রতিটি টোকেনের পিছনে একটি সম্ভাবনার পাশা

টোকেন(Tokens)

মডেল শব্দ পড়ে না, পড়ে টোকেন: শব্দের টুকরো, কখনো পুরো শব্দ, কখনো কয়েকটা অক্ষর। ইংরেজির তুলনায় বাংলা লেখায় একই অর্থ প্রকাশে সাধারণত বেশি টোকেন লাগতে পারে। এতে দুটো জিনিস বদলায়: কতটা লেখা ঢুকবে, আর কত খরচ হবে। নির্দিষ্ট হিসাব আপনার টুলের নিজস্ব টোকেন-কাউন্টার থেকে দেখে নিন, আন্দাজে নয়।

কনটেক্সট উইন্ডো(Context Window)

মডেল এক সময়ে সীমিত পরিমাণ টোকেন "সামনে" রাখতে পারে: আপনার প্রম্পট, আগের কথোপকথন, পেস্ট করা লগ আর তার নিজের উত্তর, সব মিলিয়ে। সীমা পেরোলে পুরনো অংশ বাদ পড়ে বা কেটে যায়, আর আপনি টেরও পান না। তিন হাজার লাইনের লগ পেস্ট করে শেষের প্রশ্নের উত্তর উল্টোপাল্টা আসার একটা কারণ এটা।

তাপমাত্রা ও অনিশ্চয়তা(Temperature and Uncertainty)

রুমির ডায়েরির ধাঁধার উত্তর এখানে। বেছে নেওয়ার সময় মডেল সবসময় সবচেয়ে সম্ভাব্য টোকেনটা নেয় না; কিছুটা এলোমেলোভাবে বাছে। কতটা এলোমেলো, তা নিয়ন্ত্রণ করে তাপমাত্রা নামের একটি সেটিং (সব টুল এটা খুলে দেয় না)। কম হলে উত্তর স্থির ও পুনরাবৃত্তিযোগ্য, বেশি হলে বৈচিত্র্যময়। কম রাখলেও সব সময় হুবহু একই উত্তরের নিশ্চয়তা নেই।

টেস্টারের জন্য এর মানে: মডেলের উত্তরকে কখনো এমন "অ্যাসারশন" ধরবেন না, যা প্রতিবার একই আসার কথা। আইডিয়া জোগাতে বৈচিত্র্য ভালো, প্রমাণ হিসেবে খারাপ।

রুমি ও তানভীর ভাই

রুমি (সকাল ১০:১২)

ভাই, একই প্রশ্নে দুই রকম উত্তর। এটা কি বাগ?

তানভীর ভাই (সকাল ১০:১৪)

কোন স্পেকে লেখা ছিল যে এক রকম আসবে?

রুমি (সকাল ১০:১৫)

...লেখা নেই।

তানভীর ভাই (সকাল ১০:১৫)

তাহলে আগে স্পেক ঠিক করো। তারপর বাগ ঠিক করো।

প্রশিক্ষণ বনাম প্রম্পট(Training vs Prompt)

প্রশিক্ষণ হয়েছে অনেক আগে, বিপুল লেখার ওপর; সেখান থেকে মডেল ভাষা আর সাধারণ জ্ঞানের ধাঁচ শিখেছে। আপনার প্রম্পট সেই মডেলকে বদলায় না। প্রম্পট শুধু এই একটি কথোপকথনের জন্য "সামনে রাখা কাগজ"। তাই টিকিটবাসের অভ্যন্তরীণ নিয়ম মডেল জানে না, যতক্ষণ না আপনি লিখে দেন। আর আপনি যা পেস্ট করছেন, তা কোথায় যায়, সেটা দলের নীতি ও টুলের শর্ত দেখে জানতে হবে।

নলেজ কাটঅফ ও হ্যালুসিনেশন(Knowledge Cutoff and Hallucination)

প্রশিক্ষণের তথ্য একটা নির্দিষ্ট সময়ে থেমে যায়, তার পরের খবর মডেল জানে না। নতুন লাইব্রেরির নতুন ফাংশন জিজ্ঞেস করলে পুরনো বা বানানো উত্তর পেতে পারেন। আর হ্যালুসিনেশন মানে: মডেল না জেনেও আত্মবিশ্বাসী সুরে এমন কিছু বলল যা ভুল বা বানানো, যেমন নেই এমন একটি এপিআই এন্ডপয়েন্ট বা অস্তিত্বহীন বোতাম। ভুল উত্তর আর সঠিক উত্তরের ভাষা সমান মসৃণ। সুরে ধরা যায় না, প্রমাণে ধরতে হয়।

খরচ(Cost)

ব্যবহারের ধরন অনুযায়ী সাধারণত টোকেন গুনে খরচ ধরা হয়: যা পাঠালেন আর যা ফেরত এল। তাই বিশাল লগ বারবার পেস্ট করা, লম্বা কথোপকথন টেনে চলা, আর ছোট কাজে বড় মডেল চালানো খরচ বাড়ায়। দাম প্রতিটি পরিষেবার নিজস্ব পাতায় দেখুন।

নিজেকে যাচাই করুন

রুমি একই প্রম্পটে দুইবার ভিন্ন তালিকা পেল। সবচেয়ে সঠিক ব্যাখ্যা কোনটি?

রুমি পরদিন খাতায় লিখে রাখল: মডেলের উত্তর আইডিয়ার খনি, রায় নয়।