Part 12 / 21
Part 12 — Evaluation Metrics
সাফল্য মাপার সঠিক মাপকাঠি
Evaluation Metrics হলো — তুমি সাফল্য কীভাবে মাপছ, তার মাপকাঠি। ভুল metric বাছলে ভালো ফলও
বিভ্রান্তিকর হয়।
⚠️ Accuracy-ই যথেষ্ট নয় কেন?
ধরো ১০০টা website-এর মধ্যে ৯৫টা বৈধ, ৫টা phishing। একটা model যদি সবাইকে “বৈধ” বলে, তার accuracy ৯৫%!
অথচ সে একটাও phishing ধরেনি। তাই imbalanced সমস্যায় accuracy মিথ্যা বলে — Precision/Recall/F1 লাগে।
🔢 সাধারণ metric
| ধরন | Metric | কী মাপে |
|---|
| Classification | Accuracy | মোট কতটা ঠিক |
| Precision | যাকে phishing বলল, তার কতটা সত্যি phishing |
| Recall | আসল phishing-এর কতটা ধরা পড়ল |
| F1-score | Precision ও Recall-এর ভারসাম্য |
| ROC-AUC | class আলাদা করার সামগ্রিক ক্ষমতা |
| Regression | MAE | গড় পরম ত্রুটি |
| MSE | বর্গ ত্রুটির গড় |
| RMSE | MSE-এর বর্গমূল (একই এককে) |
| R² | কতটা variance ব্যাখ্যা করে |
Computer vision-এ IoU, mAP; security-তে detection rate, false positive rate ইত্যাদিও ব্যবহৃত হয়।
দুটো প্রশ্ন সবসময় আলাদা করো — “আমরা কী মাপছি?” আর “এই metric-টা এখানে উপযুক্ত কেন?” imbalanced
phishing সমস্যায় F1 ও AUC accuracy-র চেয়ে অর্থবহ।
🔎 আমাদের গল্পের গবেষণা (Running Example):
“A Machine Learning Approach for Detecting Phishing Websites”
Phishing dataset সাধারণত imbalanced, তাই আমরা accuracy-র বদলে মূলত F1-score ও ROC-AUC রিপোর্ট করব — কারণ আসল phishing ধরা (Recall) এখানে সবচেয়ে গুরুত্বপূর্ণ।
🎯 Mini Cheat Sheet
এক কথায় (What is it?): সাফল্য পরিমাপের মাপকাঠি।
মূল কাজ (Main job): ফলাফলকে objective ও তুলনাযোগ্যভাবে যাচাই করা।
যা অবশ্যই থাকবে (Must contain):- সমস্যার উপযুক্ত metric
- imbalanced হলে F1/AUC
- একাধিক metric
- কেন এই metric তার যুক্তি
যা থাকবে না (Should NOT contain):- শুধু accuracy (imbalanced-এ)
- metric-এর গণিত-পাঠ্যবই
- অপ্রাসঙ্গিক metric
Beginner mistake: Imbalanced সমস্যায় শুধু accuracy রিপোর্ট করা।
Quick formula: ‘কী মাপছি’ + ‘কেন এটা উপযুক্ত’
🧠 মনে রাখার এক লাইন: ভুল metric = ভালো ফলের মিথ্যা গল্প।
© 2025
Sheikh Thanbir Alam. All Rights Reserved.
thanbirtamim.github.ioএই লেখা মূল লেখকের সম্পত্তি — লিখিত অনুমতি ছাড়া কপি করে অন্য কোনো ওয়েবসাইট, ব্লগ, বই বা প্ল্যাটফর্মে প্রকাশ/বিতরণ করা কঠোরভাবে নিষিদ্ধ। Content may not be copied or republished without permission.