নতুন রিলিজ কি ধীর?
ঈদের আগে একটি বড় আপডেট যাচ্ছে। সাকিব ভাই জিজ্ঞেস করলেন, আপডেটে কি অ্যাপ ধীর হয়ে গেল?
সাকিব ভাই (ডেভেলপার)
আমি নতুন ক্যাশ বসিয়েছি। আগের চেয়ে নিশ্চয়ই দ্রুত।
রুমি (জুনিয়র QA)
নিশ্চয়ই কিনা, তা বলতে আগের মাপ লাগে ভাই। আজ সকালে আমি সেটাই খুঁজছিলাম।
রুমি (জুনিয়র QA)
ভাই, এখন সার্চ কেমন লাগছে ঠিক বলতে পারছি না। আগেরটা কেমন ছিল, তার তো লিখিত হিসাব নেই।
তানভীর ভাই (সিনিয়র QA লিড)
এই জন্যই বেঞ্চমার্ক লাগে। রেফারেন্স না থাকলে তুলনা চলে না।
বেঞ্চমার্ক টেস্টিং কী(What Is Benchmark Testing)
বেঞ্চমার্ক টেস্টিংয়ে একটি পরিচিত, নিয়ন্ত্রিত পরিস্থিতিতে সিস্টেমের পারফরম্যান্স মেপে সেটিকে রেফারেন্স (বেসলাইন) হিসেবে রাখা হয়। পরে নতুন সংস্করণ, নতুন হার্ডওয়্যার বা অন্য প্রতিযোগী সমাধানের সঙ্গে তুলনা করা হয়।
বেসলাইন ও তুলনা(Baseline and Comparison)
- সার্চের ৯৫ পার্সেন্টাইল
- ধরুন, নির্দিষ্ট একটি মান
- পরিবেশ
- নথিভুক্ত, নির্দিষ্ট
- সিদ্ধান্ত
- রেফারেন্স
ন্যায্য তুলনার শর্ত(Conditions for a Fair Comparison)
বেঞ্চমার্ক নির্ভরযোগ্য রাখতে
০/৫
একবার চালিয়ে সিদ্ধান্ত নেবেন না। ছোট ওঠানামা স্বাভাবিক। কয়েকবার চালিয়ে প্রবণতা দেখুন।
কোথায় কাজে লাগে(Where It Is Used)
- প্রতিটি রিলিজের আগে-পরে তুলনায় ধীর হয়ে যাওয়া (পারফরম্যান্স রিগ্রেশন) ধরা।
- ডেটাবেস ইঞ্জিন বা ক্যাশ বদলানোর সিদ্ধান্তে প্রমাণ জোগানো।
- সার্ভার টাইপ বাছাইয়ে তুলনা।
বেসলাইন লেখার নমুনা(Baseline Writing Sample)
রুমি এক পাতার ফাইলে লিখে রাখে (সংখ্যাগুলো এখানে কল্পিত):
Benchmark: search by route and date
Build : 1.4.2 Server: staging-A (4 CPU, 8 GB)
Data : 200k trips, 1M bookings
Load : 50 virtual users, 10 minutes, 3 runs
Result (p95) : run1 410 ms, run2 395 ms, run3 420 ms
লক্ষ করুন, ফল শুধু সংখ্যা নয়, সঙ্গে বিল্ড, সার্ভার, ডেটার আকার ও লোডও লেখা। পরে নতুন ক্যাশসহ একই শর্তে মাপলে তুলনা ন্যায্য হয়। তিনটি রানের ওঠানামা দেখেই বোঝা যায়, কতটুকু তফাত সত্যিকারের উন্নতি আর কতটুকু শুধু আওয়াজ।
নিজে করুন (৫ মিনিট)(Try It Yourself, 5 Minutes)
আপনার কম্পিউটারে একটি সহজ কাজ বেছে নিন, যেমন একটি বড় ফাইল খোলা বা একটি ওয়েবসাইট লোড হওয়া। স্টপওয়াচ দিয়ে পাঁচবার মেপে সময়গুলো লিখুন, তারপর ব্রাউজারের ট্যাব বন্ধ করে আবার পাঁচবার। দুই সেটের ওঠানামা দেখে বলুন, তফাতটি কি আসল?
নিজেকে যাচাই করুন
বেঞ্চমার্ক টেস্টে তুলনা ন্যায্য রাখতে কী জরুরি?
পরের গল্পে প্রত্যাশিত ভিড়ের মধ্যে অ্যাপ লক্ষ্য মেনে চলছে কি না, লোড টেস্টে দেখব।