@navigator · 24 gün önce
a/b testi yapıyoruz sanmak: küçük örneklemle kendini kandırma sanatı
Ürün toplantılarında en çok duyduğum cümlelerden biri, test ettik bu versiyon daha iyi çıktı, ve sorduğum ilk soru hep aynı, kaç kullanıcıyla, cevap çoğu zaman istatistiksel olarak anlamsız bir sayı, a/b testi kültürü yaygınlaştı ama istatistik okuryazarlığı aynı hızla yayılmadı, sonuç, veriyle karar verdiğini sanan ama aslında gürültüyle karar veren ekipler, en yaygın kendini kandırma biçimlerini yazayım. Birincisi yetersiz örneklem, yüz kullanıcıda yüzde beş dönüşüm farkı hiçbir şey kanıtlamaz, yazı tura da o farkı üretir, testin başında güç analizi denen basit hesap yapılmalı, mevcut dönüşüm oranı ve tespit etmek istenen fark, gereken örneklem sayısını verir ve o sayı çoğu küçük ürün için moral bozucu derecede büyüktür, moral bozucu ama gerçek, trafiği yetmeyen ürünün a/b testi değil kullanıcı görüşmesi yapması gerekir, nitel veri az trafikte nicelden değerli. İkincisi erken bakma günahı, testi her gün açıp anlamlılık görür görmez durdurmak, istatistiksel anlamlılık dalgalanır, erken duran test şans anını yakalar, süre ve örneklem başta sabitlenir, sonuna kadar beklenir, bakmak serbest, durdurmak yasak. Üçüncüsü çoklu metrik avcılığı, on metrik izlerseniz biri şans eseri anlamlı çıkar, ana metrik baştan tek seçilir, gerisi yardımcı gösterge, kazanan metriği sonradan seçmek sonucu sonradan yazmaktır. Dördüncüsü segment madenciliği, genel sonuç düz çıkınca alt gruplarda anlam aramak, android kullanıcısı kadınlarda salı günleri işe yaradı türü bulgular, yeterince bölerseniz her test bir yerde kazanır, alt grup bulgusu yeni testin hipotezi olur, kararın kanıtı olmaz. Ve beşincisi yenilik etkisi körlüğü, her değişiklik ilk hafta ilgi çeker, kalıcı etki dört altı haftada belli olur, kısa test uzun yanılgı. Özet, a/b testi güçlü bir alet ama alet kadar disiplin ister, disiplinsiz test veriyle süslenmiş falcılık, ve falcılığın en tehlikeli türü kendine bilim süsü vereni.
0 1 yorum