Part 09 / 21
Part 09 — Dataset / Data Collection
প্রমাণ কোথা থেকে এলো
Dataset / Data Collection অংশে বলা হয় — তোমার প্রমাণ (evidence) কোথা থেকে এলো, কেমন সেই data।
গবেষণার ফলাফল যতটা ভালো, তার data ততটাই ভালো হতে হবে।
📦 যা উল্লেখ করতে হয়
- Data-র উৎস (source)
- Public নাকি private
- Dataset-এর আকার (size)
- Feature/class সংখ্যা
- Data collection পদ্ধতি
- Inclusion/exclusion criteria (প্রাসঙ্গিক হলে)
- Train/validation/test split
- Data leakage এড়ানো হয়েছে কি না
- Ethical/privacy বিবেচনা (প্রাসঙ্গিক হলে)
📊 ছোট উদাহরণ টেবিল
| বৈশিষ্ট্য | মান |
| উৎস | Public phishing URL dataset |
| মোট নমুনা | 20,000 URL |
| Class | Phishing / Legitimate (2) |
| Feature | 30টি lexical feature |
| Split | 70% train / 15% val / 15% test |
Data leakage সতর্কতা: test data দিয়ে যেন কোনোভাবেই training না হয়
(যেমন split-এর আগে scaling করা)। leakage হলে ফলাফল অবাস্তব রকম ভালো দেখায়, বাস্তবে ভেঙে পড়ে।
🔎 আমাদের গল্পের গবেষণা (Running Example):
“A Machine Learning Approach for Detecting Phishing Websites”
আমরা একটি public dataset ব্যবহার করব (উৎস উল্লেখসহ), duplicate URL বাদ দেব (exclusion), এবং split-এর পর কেবল training set থেকে feature scaling শিখব — যাতে leakage না হয়।
🎯 Mini Cheat Sheet
এক কথায় (What is it?): গবেষণার প্রমাণ/data-এর উৎস ও বৈশিষ্ট্যের বর্ণনা।
মূল কাজ (Main job): কোন data-র ওপর দাবি দাঁড়িয়ে আছে তা স্বচ্ছ করা।
যা অবশ্যই থাকবে (Must contain):- উৎস (public/private)
- size, feature, class
- collection পদ্ধতি
- train/val/test split
- leakage এড়ানোর ব্যবস্থা
- ethics/privacy (প্রাসঙ্গিক হলে)
যা থাকবে না (Should NOT contain):- data ছাড়া দাবি
- test দিয়ে training
- উৎস গোপন রাখা
Beginner mistake: Split-এর আগে পুরো data-তে preprocessing করে data leakage ঘটানো।
Quick formula: Source → Size → Features → Split → No-Leakage → Ethics
🧠 মনে রাখার এক লাইন: খারাপ data = খারাপ গবেষণা; leakage = মিথ্যা সাফল্য।
© 2025
Sheikh Thanbir Alam. All Rights Reserved.
thanbirtamim.github.ioএই লেখা মূল লেখকের সম্পত্তি — লিখিত অনুমতি ছাড়া কপি করে অন্য কোনো ওয়েবসাইট, ব্লগ, বই বা প্ল্যাটফর্মে প্রকাশ/বিতরণ করা কঠোরভাবে নিষিদ্ধ। Content may not be copied or republished without permission.