মূল ধারণাটি।
রিডিংগুলো সাজিয়ে দুটি quartile বের করুন: Q1 ও Q3। এ দুটির মধ্যেকার ফাঁকই হলো
interquartile range — আপনার ডেটার মাঝের অর্ধেকের প্রস্থ:
IQR = Q3 − Q1 আর কোনো রিডিং অস্বাভাবিক যদি সেটি
Q1 − m × IQR-এর নিচে অথবা Q3 + m × IQR-এর উপরে পড়ে
লক্ষ করুন এর মধ্যে কী নেই: কোনো mean নেই, কোনো standard deviation নেই, কোনো bell curve
নেই। quartile হলো সাজানো তালিকার মধ্যে অবস্থান, তাই একটি চরম রিডিংকে আরও দূরে সরিয়ে
দিলেও সেগুলো এতটুকু নড়ে না। এই একটিমাত্র বৈশিষ্ট্যের জন্যই নিয়মটির অস্তিত্ব।
m = 1.5 হলো Tukey-র রীতি, আর 3.0 তাঁর “far out” বেড়া।
Fence
পরিচ্ছন্ন bell ডেটায় এটি যত পয়েন্ট চিহ্নিত করে
200টি রিডিংয়ে
1.0 × IQR
পুরোপুরি স্বাভাবিক পয়েন্টের 4.5%
আনুমানিক 9টি
1.5 × IQR
0.8%
2-এর কম
3.0 × IQR
কার্যত কিছুই নয়
0
যে তিনটি জিনিস চেষ্টা করে দেখার মতো:
1. Bell, Many, fence 1.5। কুড়িটি অস্বাভাবিক রিডিং, আর কুড়িটিই ধরা পড়ে,
প্রায় কোনো মিথ্যা সতর্কতা ছাড়াই। এবার z-score পাতাটি খুলে হুবহু একই পরিস্থিতি সাজান: সেখানে ধরা
পড়ে 20টির মধ্যে 7টির মতো। এই পার্থক্যটিই পুরো শিক্ষা। z-score মাপে σ-এর সাপেক্ষে,
যাকে outlier-রা ফুলিয়ে দেয়; এই নিয়ম মাপে quartile-এর সাপেক্ষে, যাদের তারা নড়াতে পারে না।
None ও Many-এর মধ্যে বদল করার সময় স্ট্যাটাস লাইনটি দেখুন: Q1 সরে প্রায়
1 আর Q3 প্রায় 4, অথচ z-score পাতায় ঠিক ওই কুড়িটি রিডিংই σ-কে প্রায়
15 থেকে 32-এ নিয়ে যায়।
2. Bell, Swamped, fence 1.5। 280টির মধ্যে আশিটি অস্বাভাবিক রিডিং — ডেটার
প্রায় 29% — আর এখন IQR-ও একটিকেও ধরতে পারে না। খারাপ পয়েন্টগুলো আপনার ডেটার প্রায়
এক-চতুর্থাংশে না পৌঁছানো পর্যন্ত quartile টিকে থাকে, তারপর সেগুলোও ভেঙে পড়ে। এই পাতা ও আগের
পাতার প্রতিটি নিয়ম একই জিনিস ধরে নেয়: anomaly বিরল। যখন সেগুলো আর বিরল থাকে না, তখন
সেগুলো anomaly থাকে না — সেগুলোই হয়ে ওঠে distribution।
3. Skewed, None, fence 1.5। এখানে একটিও অস্বাভাবিক রিডিং নেই, তবুও নমুনার পর
নমুনায় 8টির মতো পয়েন্ট চিহ্নিত হয় — সবগুলোই লম্বা ডান লেজে, আর এই আকৃতির জন্য
সবগুলোই পুরোপুরি স্বাভাবিক। IQR outlier-এর বিরুদ্ধে মজবুত; কিন্তু এটি skew-এর নিরাময় নয়।
অপেক্ষার সময়, আয় ও ফাইলের আকারের ক্ষেত্রে একদিকে হেলে থাকা লেজ স্বাভাবিক, আর এই নিয়ম প্রতিবারই
তা নিয়ে অভিযোগ করবে। fence বাড়িয়ে 3.0 করুন, তখন গোলমাল নেমে আসে 2-এর কাছাকাছি।