Bir haber okuyorsun: "Araştırmaya göre Türkiye'nin yüzde 64'ü şunu düşünüyor."
Altındaki yorumlarda hep aynı cümle: "Bana sormadılar ki." Ve haklısın, sana sormadılar. 85 milyon insanın büyük çoğunluğuna sormadılar. Muhtemelen 1000-1500 kişiyle konuştular.
Peki bu nasıl olur da bir ülkeyi temsil edebilir?
Cevap sezgilerimize aykırı ama matematiksel olarak sağlam. Üstelik asıl sürpriz şurada: bir araştırmanın güvenilirliğini belirleyen şey, çoğu insanın sandığı gibi kaç kişiye sorulduğu değil.
Çorba Örneği
Kocaman bir tencere çorba pişirdin. Tuzunu kontrol etmek istiyorsun. Ne yaparsın?
Tencerenin yarısını içmezsin. Bir kaşık alır, tadarsın.
Ama bir şartla: çorbayı önce iyice karıştırmış olman gerekir. Karıştırmadan üstten aldığın kaşık, dipteki tuzu hiç göstermez.
Araştırmadaki mantık birebir bu. Bir kaşık çorba tüm tencereyi temsil edebilir, yeter ki doğru yerden alınmış olsun. Örneklem dediğimiz şey o kaşık, karıştırma işlemi ise örneklem tasarımı.
Hata Payı Ne Demek?
Araştırma haberlerinde bazen şöyle bir not görürsün: "%95 güven düzeyinde ±3 puan hata payı ile."
Bu cümle şunu söylüyor: Araştırma sonucu yüzde 64 çıktıysa, gerçek değer büyük ihtimalle yüzde 61 ile 67 arasındadır. "%95 güven" ise şu anlama geliyor: aynı araştırma aynı yöntemle 100 kez tekrarlansa, 95'inde sonuç bu aralığın içinde kalır.
Yani hiçbir araştırma "tam olarak yüzde 64" demiyor. Bir aralık veriyor ve o aralığın ne kadar güvenilir olduğunu da açıkça söylüyor.
Örneklem Büyüdükçe Ne Oluyor?
İşin en şaşırtıcı kısmı burası. Örneklem büyüklüğüne göre hata payı şöyle değişiyor:
100 kişi: yaklaşık ±9,8 puan
400 kişi: yaklaşık ±4,9 puan
1000 kişi: yaklaşık ±3,1 puan
2000 kişi: yaklaşık ±2,2 puan
4000 kişi: yaklaşık ±1,6 puan
10.000 kişi: yaklaşık ±1,0 puan
Tabloya dikkatli bak. 100 kişiden 1000 kişiye çıkınca hata payı üçte bire iniyor — büyük kazanç. Ama 1000'den 4000'e çıkınca, yani örneklemi dört katına çıkarınca, hata payı sadece 3,1'den 1,6'ya düşüyor.
Maliyet dört katına çıkıyor, hassasiyet ise yalnızca 1,5 puan artıyor.
İşte 1000 sayısının sihri bu: azalan verim noktası. O noktadan sonra harcadığın her lira, giderek daha az bilgi satın alıyor. Bu yüzden ciddi araştırmalarda genelde 1000-2000 arası bir örneklem tercih edilir.
Bir de şu var: ülke nüfusunun 85 milyon mu 8 milyon mu olduğu bu hesabı neredeyse hiç etkilemiyor. Nüfus belli bir büyüklüğü aştıktan sonra, önemli olan tek şey örneklemin kendi büyüklüğü. Tencere ne kadar büyük olursa olsun, bir kaşık yine yeterlidir.
Peki Büyük Örneklem Her Zaman İyi mi?
Hayır. Ve bunun tarihteki en ünlü kanıtı 1936 yılında yaşandı.
Amerika'da Literary Digest adlı dergi, o dönemin en saygın yayınlarından biriydi ve 1920'den beri başkanlık seçimlerini doğru tahmin ediyordu. 1936 seçimi için tarihin en büyük anketlerinden birini yaptılar: 10 milyon kişiye posta yoluyla oy pusulası gönderdiler ve 2,4 milyon yanıt topladılar.
Sonuç: Landon yüzde 57, Roosevelt yüzde 43. Yani Roosevelt kaybedecekti.
Seçim sonucu ise şöyle oldu: Roosevelt yüzde 62, Landon yüzde 38. Roosevelt, 523'e 8 seçici oyla tarihin en büyük zaferlerinden birini kazandı. Dergi öyle büyük bir itibar kaybı yaşadı ki iki yıl içinde kapandı.
Aynı seçimde, o zamanlar pek tanınmayan George Gallup adlı bir isim yalnızca 50 bin kişiyle anket yaptı ve sonucu doğru tahmin etti.
2,4 milyon kişi yanıldı, 50 bin kişi doğru bildi.
Peki Ne Oldu?
Literary Digest, anket göndereceği isimleri telefon rehberlerinden, otomobil ruhsat kayıtlarından ve kulüp üyelik listelerinden derlemişti.
1936 Amerika'sını hatırlayalım: Büyük Buhran'ın ortası. O yıllarda telefonu ve otomobili olan, kulüplere üye olan insanlar, toplumun varlıklı kesimiydi. Yoksul seçmen bu listelerin hiçbirinde yoktu.
Yani dergi, milyonlarca kişiye sordu ama hepsi aynı kesimden insanlardı. Karıştırılmamış çorbanın üstünden alınmış kocaman bir kaşık.
İkinci bir sorun da vardı: ankete cevap verme oranı. Gönderilen 10 milyon pusuladan sadece 2,4 milyonu geri döndü. Cevap vermeyi tercih edenlerin profili, cevap vermeyenlerden sistematik olarak farklıydı.
Bu olay, araştırma tarihinin dönüm noktası sayılır. Alınan ders tek cümleyle şudur: örneklemin büyüklüğü, örneklemin bozukluğunu düzeltmez.
İyi Bir Örneklem Nasıl Kurulur?
Buradaki asıl iş, kaç kişiye ulaşıldığı değil, kimlere ulaşıldığı.
Kota kullanılır. Araştırmaya başlamadan önce her grup için hedef sayı belirlenir. Türkiye nüfusunun yaklaşık yarısı kadınsa, örneklemin de yaklaşık yarısı kadın olmalıdır. Aynı şey yaş grupları, bölgeler ve sosyoekonomik gruplar için de geçerlidir. Bir kota dolduğunda o gruptan yeni katılımcı alınmaz — ankete girip "kota doldu" mesajıyla elenmenin sebebi budur.
Seçim rastgele yapılır. Katılımcılar araştırmacının seçtiği kişiler değil, tanımlı bir evrenden rastgele belirlenmiş kişiler olmalıdır.
Ulaşım kanalı çeşitlendirilir. Sadece tek bir kanaldan katılımcı toplamak, o kanalı kullanmayan herkesi dışarıda bırakır. Bu, 1936'daki hatanın modern versiyonudur.
Ağırlıklandırma yapılır. Buna rağmen dağılım tam tutmazsa, analiz aşamasında gruplara farklı ağırlıklar verilerek düzeltme yapılır. Örneğin hedeflenenden az sayıda 55 yaş üstü katılımcı toplandıysa, o grubun cevapları hesaplamada biraz daha fazla ağırlık taşır.
Online Araştırmaların Kendine Özgü Riski
Online panellerin büyük avantajları var: hızlı, ekonomik ve geniş kitlelere ulaşabiliyorlar.
Ama bir riski de var. Bir online panel yalnızca internet kullanan, o platforma kayıtlı ve anket doldurmaya istekli insanlardan oluşur. Bu grubun profili, toplumun geneliyle birebir aynı olmayabilir.
Bu yüzden ciddi online araştırmalar kotayı ve ağırlıklandırmayı çok daha titiz uygular. Panel ne kadar çeşitli olursa, temsiliyet o kadar güçlenir. Farklı yaş gruplarından, farklı şehirlerden ve farklı yaşam koşullarından insanların katılması, araştırmanın kalitesini doğrudan yükseltir.
Bir Araştırmayı Okurken Neye Bakmalı?
Bir haberde araştırma sonucu gördüğünde şu beş soruyu sorabilirsin:
Kaç kişiyle yapılmış? Sayı yazmıyorsa bu bir uyarı işareti.
Kimlerle yapılmış? "Türkiye geneli" mi, yoksa "bir markanın kendi müşterileri" mi? İkincisi Türkiye hakkında bir şey söyleyemez.
Nasıl ulaşılmış? Yüz yüze mi, telefonla mı, online mı, yoksa sosyal medyada herkese açık bir oylama mı?
Kim yaptırmış? Sonuçtan çıkarı olan bir taraf finanse ettiyse, soruların nasıl sorulduğuna daha dikkatli bakmak gerekir.
Hata payı belirtilmiş mi? Belirtiliyorsa bu iyi bir işarettir; araştırmacı kendi sınırlarını açıkça söylüyor demektir.
Bu arada sosyal medyadaki "anketler" bu kategorinin tamamen dışında. Bir hesabın takipçilerine sorulan soru, o hesabın takipçilerini temsil eder; başka hiçbir şeyi değil.
Özetle
"Bana sormadılar" hissi çok anlaşılır ama araştırmanın mantığı da tam olarak bu: herkese sormak zorunda değil, doğru kişilere sorması yeterli.
1000 kişilik iyi kurgulanmış bir örneklem, 2 milyon kişilik bozuk bir örneklemden çok daha isabetli sonuç verir. 1936'da bunu çok pahalı bir şekilde öğrendik.
Bir de işin şu tarafı var: o 1000 kişilik örneklemin doğru kurulabilmesi için, her gruptan gerçek insanların katılması gerekiyor. Senin profilindeki biri katılmazsa, o grup araştırmada eksik kalır.
Gravis'te anketlere katılarak sen de araştırmaların temsil gücüne katkı sağlayabilir, ayırdığın zaman karşılığında GCoin kazanabilirsin.
