Bir alışveriş sitesini açıyorsun. Arkadaşın da aynı anda aynı siteyi açıyor. İkinizin gördüğü sayfa birebir aynı olmayabilir.
Buton başka renktedir, kargo bilgisi başka yerdedir ya da ürün açıklaması farklı bir cümleyle başlar. Site bozuk değil. Sen bir deneyin içindesin.
Bu yönteme A/B testi deniyor ve bugün büyük markaların en çok kullandığı karar araçlarından biri. Bu yazıda nasıl çalıştığını, ankete göre neyi farklı yaptığını ve sonuçların ne zaman güvenilir sayıldığını anlatıyoruz.
A/B testi nedir?
En yalın haliyle, aynı şeyin iki versiyonunu aynı anda gerçek kullanıcılara gösterip hangisinin daha iyi sonuç verdiğini ölçmek.
Kullanıcılar rastgele ikiye ayrılır. Bir gruba mevcut hali gösterilir, buna kontrol grubu denir. Diğer gruba değiştirilmiş hali gösterilir, buna varyant denir. Sonra ikisinin davranışı karşılaştırılır.
Kritik nokta rastgelelikte. Grupları kendin seçersen, aradaki farkın tasarımdan mı yoksa grupların birbirine benzememesinden mi kaynaklandığını asla bilemezsin. Rastgele dağıtım, iki grubun ortalamada birbirine benzemesini sağlar. Geriye tek fark kalır: test ettiğin değişiklik.
Ankete göre neyi farklı yapıyor?
Anket, insanların ne düşündüğünü ve ne söylediğini ölçer. A/B testi ise ne yaptıklarını ölçer.
Bu ayrım göründüğünden önemli. İnsanlar bir ambalajı beğendiğini söyleyip raftan başkasını alabilir. Bir uygulamayı kullanışlı bulduğunu belirtip iki gün sonra silebilir. Söylenen ile yapılan arasındaki bu boşluk, araştırmada bilinen bir sorundur.
A/B testinin önemli avantajı, kullanıcıdan doğrudan bir cevap istememesi. Kullanıcı çoğu zaman karşılaştırılan versiyonlardan yalnızca birini görür ve ölçülen şey onun normal kullanım davranışıdır.
Buna karşılık A/B testi tek bir şeyi söyler: hangisi daha iyi çalıştı. Neden çalıştığını söylemez. O yüzden ciddi araştırmalarda ikisi birlikte kullanılır. Test hangi seçeneğin kazandığını gösterir, anket ve görüşmeler nedenini açıklar.
Nasıl kuruluyor?
Tek değişken. Bir testte mümkün olduğunca tek bir değişikliğin etkisini ölçmek, sonucun nedenini anlamayı kolaylaştırır. Aynı anda hem buton rengini hem metni hem de yerleşimi değiştirirsen, sonuç iyileşse bile bunun hangi değişiklikten kaynaklandığını ayırmak zorlaşır.
Önceden belirlenmiş bir ölçüt. Neyin başarı sayılacağı test başlamadan yazılır. Tıklanma mı, satın alma mı, kaydolma mı? Test bittikten sonra iyi görünen sayıyı seçmek, sonucu geçersiz kılar.
Yeterli katılımcı. Küçük gruplarda çıkan farklar çoğu zaman gerçek değil, tesadüftür. Gereken kişi sayısı, aranan farkın büyüklüğüne bağlıdır. Küçük bir iyileşmeyi yakalamak, büyük bir farkı yakalamaktan çok daha fazla kişi gerektirir.
Yeterli süre. Testin süresi yalnızca takvimle değil, gereken veri miktarıyla belirlenir. Bunun yanında kullanıcı davranışının dönemsel farklılıklarını görebilmek de önemlidir; hafta içi ile hafta sonu, maaş günü ile ay sonu aynı davranışı üretmez.
Sonuç ne zaman güvenilir sayılıyor?
İki grup arasında bir fark çıkması tek başına yeterli değil. Aynı sayfayı iki gruba gösterip hiçbir değişiklik yapmasan bile aralarında küçük bir fark görürsün. Bu, ölçümün doğal dalgalanmasıdır.
Bu yüzden istatistiksel anlamlılık hesaplanır. Sorulan şey şu: Gerçekte hiçbir fark olmasaydı, bu büyüklükte bir farkın ortaya çıkması ne kadar beklenirdi?
Hesaplanan değer belirlenen eşiğin altındaysa, gözlenen farkın yalnızca rastlantısal dalgalanmayla açıklanmasının zor olduğu kabul edilir. Yaygın eşik yüzde 5'tir, ama bu evrensel bir kural değil, sektörde yerleşmiş bir alışkanlıktır. Riski yüksek kararlarda daha katı eşikler kullanılır.
Bir de şu var: Anlamlı olmak, önemli olmak demek değil. Çok büyük bir kullanıcı kitlesinde binde birlik bir fark bile istatistiksel olarak anlamlı çıkabilir. Asıl soru, o farkın pratikte bir işe yarayıp yaramadığıdır.
En sık yapılan hatalar
Erken durdurma. Testin ilk günlerinde sayılar oynaktır. Varyant öne geçtiği anda testi kesip kazandı ilan etmek, en yaygın hata. Birkaç gün daha beklenseydi tablo tersine dönebilirdi.
Sürekli bakmak. Sonuçlara her saat başı bakıp anlamlı çıkan ilk anda durdurmak da aynı sorunu üretir. Ne kadar çok bakarsan, tesadüfen anlamlı bir sonuç yakalama ihtimalin o kadar artar.
Aynı anda çok test yürütmek. Birden fazla test aynı kullanıcılara denk geldiğinde etkiler birbirine karışır.
Yenilik etkisini hesaba katmamak. Değişen her şey ilk günlerde dikkat çeker. Yeni bir tasarımın ilk hafta iyi performans gösterip sonra normale dönmesi sık görülen bir durum.
Dönemi görmezden gelmek. Bayram haftasında, indirim döneminde ya da okulların açıldığı hafta yapılan bir test, normal dönemi temsil etmez.
Kazanan metrik, doğru karar demek değil
Bir A/B testinde hangi sayının ölçüleceği sonucu doğrudan belirler.
Bir başlık daha fazla tıklama getirebilir, ancak tıklayanların daha azı satın alma yapabilir. Daha iddialı bir kayıt formu üye sayısını artırırken, gelen üyelerin uygulamayı kullanma oranını düşürebilir. Bir indirim mesajı kısa vadede satışı yükseltirken uzun vadede markanın fiyat algısını değiştirebilir.
Bu yüzden bir test sonucunu okurken yalnızca hangi versiyonun kazandığına değil, hangi ölçüte göre kazandığına da bakmak gerekiyor. Yanlış seçilmiş bir başarı ölçütü, teknik olarak kusursuz bir testi yanlış bir karara bağlayabilir.
Nerede karşımıza çıkıyor?
En yoğun kullanıldığı yer dijital ortam. İnternet siteleri, uygulamalar, e-posta konu başlıkları ve reklam metinleri sürekli test edilir. Değişiklik ucuz olduğu ve sonuç anında ölçülebildiği için bu alan A/B testine çok uygun.
Ama yöntem dijitale özgü değil. Fiziksel perakendede de benzer mantık işler. Bir ürünün yeni ambalajı önce sınırlı sayıda mağazada satışa çıkarılır, kalan mağazalar karşılaştırma grubu olarak kullanılır. Yeni bir raf düzeni ya da promosyon kurgusu da aynı şekilde denenebilir.
Buradaki zorluk, mağazaların birbirine benzememesi. Bu yüzden fiziksel testlerde mağazaların büyüklük, konum ve müşteri profili bakımından eşleştirilmesi gerekir. Eşleşme ne kadar iyiyse sonuç o kadar güvenilirdir.
Bir de etik tarafı var
Kullanıcıya sorulmadan yürütülen bir deneyin sınırı nerede?
Genel kabul şu: Deneyimi iyileştirmeye yönelik testler, örneğin hangi düzenin daha anlaşılır olduğunu ölçmek, olağan sayılıyor. Ama kullanıcıya zarar verebilecek ya da duygu durumunu manipüle etmeye çalışan testler tartışmalı. Geçmişte bu sınırı aşan örnekler ciddi tepki çekti.
Fiyat gibi doğrudan ekonomik sonuç doğuran değişikliklerin kullanıcılar arasında test edilmesi ise daha hassas bir alan. Aynı ürünün farklı kişilere farklı koşullarla sunulması, yalnızca test yöntemi açısından değil, tüketici güveni ve mevzuat açısından da ayrıca değerlendirilmesi gereken bir konu.
Bir sonucu okurken
Bir markanın ya da yazının paylaştığı test sonucunu değerlendirirken birkaç şeye bakmak yeterli.
Kaç kişiyle yapıldı? Katılımcı sayısı tek başına sonucu doğrulamaz, ama testin ne kadar sağlam olduğunu değerlendirmek için önemli bir bilgi. Çok küçük örneklemlerde büyük görünen farklar tesadüfi olabilir.
Ne kadar sürdü? Birkaç günlük testler haftanın tamamını kapsamaz ve dönemsel dalgalanmaları gizleyebilir.
Fark ne kadar? Yüzde 40 artış kulağa etkileyici gelir, ama neyin yüzde 40'ı olduğu belirtilmemişse anlamı yoktur.
Kaç test yapıldı? Çok sayıda seçenek denenip yalnızca en iyi sonuç paylaşılırsa, görünen farkın tesadüfen ortaya çıkmış olma ihtimali artar. Bu yüzden hangi testlerin yapıldığını ve sonucun nasıl seçildiğini bilmek önemli.
Özetle
A/B testi, fikir tartışmasını ölçüme dönüştüren bir yöntem. Kimin haklı olduğunu tartışmak yerine ikisini de deneyip kullanıcının hangisini seçtiğine bakıyor.
Gücü de sınırı da aynı yerden geliyor. Ne yapıldığını çok iyi ölçüyor, neden yapıldığını hiç söylemiyor. Bu yüzden en sağlam kararlar, testin sayısıyla araştırmanın açıklamasını bir araya getirenlerden çıkıyor.
Gravis'te ürün tercihleri, marka algısı ve satın alma kararları üzerine yapılan araştırmalara katılarak görüşünü paylaşabilir, ayırdığın zaman karşılığında GCoin kazanabilirsin.
