**Evaluasyon Setleri Ve Statistiki Güç**
Machine learning projelerinde evaluasyon setleri, model performansı açısından kritik önem taşıyor. Ancak, bazen bu setler yeterince küçük olabileceğinden, gerçek değişimleri tespit edemiyoruz. Bu makalede, statitiki güçle ilgili kavramları ve evaluasyon setlerinin doğru ölçümünü nasıl yapabileceğimizi öğreneceğiz.
**Neden İyisi Değil?**
Bir eval seti, gerçek bir değişimi yakalayabilmemiz için yeterli güçlüğe sahip değilse, o zaman evaluasyon sonucunda elde edilen sonuçlar yalandır. İşte size örnek:
Dört ay önce, bir ekibin yeni bir komuttan sonra evaluasyon geçme oranı 87,5’den 90’a yükseldi. Ekip bu yeni komutu “önceki komut v3: +2pp” olarak kaydetti. Ancak bu eval seti yalnızca 40 örneğe sahipti.
Bu 40 örneği daha yakından incelersek, her sonuç 2,5 puan farklarla 35, 36 veya 37’ye kadar değişebilir. 87,5’den 90’a geçiş, 35 doğru cevap olan bir komuttan 36 doğru cevap olan bir komuta dönüşmekle alakalıydı. Yani, tek bir örnek değişti, daha farklı kodlanması halinde de geriye dönerek yeniden başarısız olabilir.
Ben bu durumun çok önemli olmadığına dikkati çektiğimde, neden bu komutu tekrar çalıştırmayaceği hakkında kimse net bir karşılık veremedi. Çünkü bu komutu yeniden çalışırmamıştı. Gerçekte ise, bir komut değişti ve bunu da “gelişme” olarak kaydettik.
Bu yalnızca bir ekip için değil, eval-driven geliştirme için varsayımlı başarısızlık modudur. İki sayı karşılaştırıldığında, farklılıkları görür gibi hissedilir ama gerçekçi bir sonuç yoktur.
**Ne Oluyor?**
Buna neden var? Basitçe, eval seti çok küçük olmasından kaynaklanmaktadır. Bu küçük set, gerçek bir değişimi yakalayamamaktadır. İşte gücün neden önemli olduğunu gösteren bir örnek:
Eğer eval setimizin gücü %80 ise, gerçek bir değişiklik olsun ya da olmasın, %95 güven aralığı ile yakalamamız gereken oran 0.85’den 0.90’a değişiyor. İşte bu noktada, gücü yakalayabilmek için gereken örnek sayısını hesaplayabiliriz. Bu durumda, gereken örnek sayısı 253’tür.
Daha fazla örnek toplanmasının kolay olmadığını varsayarsak, bu durumda neler yapacağız? İşte önerilerimize bakalım:
– İpucu değil, güven aralığı hesaplayın: Her evaluasyonun standard hatası ile sonuçlanacağı için, yakalanması gereken oran ile gerçek oran arasındaki farkı bildirmek yerine, bu aralığı da birlikte bildirmek çok daha iyidir.
– Gruplaştırmadan binary sonuçları tercih edin: Gruplaştırmalar, özellikle de ölçülen sonuçlar arasında anlaşmazlık çıkması durumlarında, çok fazla rahatsızlık vermektedir. Örneğin, 1-5 skala ile ölçüldüğünde bir sonuç 3 veya 4 skalası arasında değişmektedir. Bu durum, çok fazla noiseye yol açmaktadır. Oysaki binary ölçümler (eğer doğru ise True yoksa False) çok daha stabil bir ölçümdür.
– Gerçek bir etkisi ölçmeden önce, seti boyutunu doğru hesaplayın: Daha fazla örnekle daha kesin sonuçlar elde edin. Bu, daha fazla label ve zaman gerektiriyor. Ama uzun vadede, daha doğru olanı seçmenin önemi çok önemlidir.
**Peki, daha fazla label nasıl toplanacaktır?**
Bu durumda, bazı fikirlerimiz var:
– İki farklı ölçüsü karşılaştırma: İki farklı seti karşılaştırırak, daha doğru sonuçları elde edebilirsiniz. Ama tabii bu durum, iki farklı set için label gerektirecektir.
– Paired Design: Birden fazla set için aynı örnek setinden labels alınabilir. Ama bu da, setlerin değişkenliğinden dolayı çok doğru olmayabilir.