Veri Analizinde Uzmanlaşmak ( Excel) Ders 1

ROC Analizi

Eylül 1940' tan Mayıs 1941'e kadar , Blitz olarak adlandırılan Alman bombardıman uçakları 43.000'den fazla sivili öldürerek Londra şehrine saldırdı. Yıkımlar öyle feciydi ki Londra’nın çoğu şehri , savaştan 25 yıl sonra bile inşa edilmemiş haldeydi.

1940'lı yılların başına kadar, radar sistemi henüz geliştirilmekte olan çok gizli bir teknolojiydi. Ingiliz savaş komutanı , Alman bombardımanlarının bir kısmını ilkel radar sinyallerine dayanarak engellemeyi başardı. Radar sinyalindeki bir bulanıklık, Ingiliz Kanalı’ndan gelen bir bombardıman uçağı da olabilirdi, ya da belki martı belki de hiçbir şeydi.

Erken radar verilerine bakıp karar vermekte yükümlü olan komutanlar , askerler büyük bir zorlukla yüzleşmişlerdi. İkili sınıflandırmanın ( Binary Classification) en büyük problemlerinden birisiyle karşılaşıldı.

Radar verilerine yanlış yanıt verip itfaiye ve acil durum kaynaklarını tüketmek savaşta olan bir ülkeye büyük hasarlar verecekti. Boş yere tüketilen uçak yakıtları ve yorgun pilotlar onarılamaz hasarlara sebep olacaktı. Dolayısıyla radardaki her bulanıklığa cevap vermek olanaksızdı.

Diğer bir yandan, negatif yanıt vermenin de getireceği felaketlerden bahsetmeye gerek yok. Bu ilkel radar sistemini parlak zekalı birisi geliştirmeyi başardı. ROC adı verilen bir metadoloji gelişmişti, ROC’un açılımı Alıcı Karakteristik Eğrisidir.

Eğrinin kendisi karar vericilere, iki farklı hata türünün göreceli maliyetine ilişkin en iyi tahminlerine dayanarak uçaklarını kaldırmak için zaman seçmelerine izin verdi. Bu iki hata türü şunlardır; yanlış alarm veya yanlış pozitif, ve gerçek bir saldırıya tepki göstermeme, yanlış negatif.

ROC eğrisinin altında kalan alanı maksimize ederek, noise’leri ya da boş sinyalleri ayırabilmemiz kolaylaşır. ROC eğrisi ve alanını hesaplamak için şuan elimizde iki durum var; bombardıman ve martı. Bunların yanında da iki sınıflandırmamız olacaktır. Pozitifse bomba geliyor, negatifse tehlikeli bir durum yok. Bu verilerle 2x2' li durum ve sınıflandırma içeren kafes sistemi oluşturulur. Grafiğin solunda da gerçekleşen yani doğrulanan veriler girilir.

Tekrar yineleyelim;

True Positive = Bombardıman diye tahmin edildi ve gerçekten bombardımanlar geliyor.

False Positive= Bombardıman yok fakat bombardıman uçaklarının geldiği tahmin edildi.

True Negative=Martı ya da hiçlik diye tahmin edildi ve gerçekten de ortada bir şey yok

False Negative= Martı ya da hiçlik diye tahmin edildi fakat üzerimize gelen bir bombardıman uçağı var.

ROC eğimini hesaplarken;

1. Öncelikle radar görüntülerine sayısal değerler vererek işe başlayacağız.
2. Bu sayısal değerler ekranda görüntülenen bulanıklığın maximum alanına karşılık gelen değerlerdir. Her bulanıklığa bir sayı atfedilir.
3. Nihai durum , yani bulanıklığın bomba mı martıdan mı kaynaklandığı takip edilir. Bunların da 2'de bahsedildiği gibi maximum alanına karşılık gelen sayısal değerleri bulunur, takibi yapılır.
4. Tüm veriler toplandıktan sonra, 2 ve 3'ten toplanmış sayısal veriler büyükten küçüğe doğru sıralanır.

Not: Sayısal verilerin hepsini katarak sıralandırılma yapmalıyız.

Kırmızı ile yazılan 93, 83, 75 değerleri aslında bize şunu belirtiyor. TOPLAMDA 3 defa bomba gelişi gözlemlenmiş( tahmin değil) ve gözlenen bu bombaların radarda hesaplanan bulanıklık alanları 93, 83 ve 75'tir. 17 defa da martılar görülmüş. Total events= Kaç defa gözlem yapılmış? = 20= 17+3

• Scores sütünündeki veriler bize radara takılan bulanıklıkların alanlarını veriyor .
• Binary outocomes’da 1 radara takılanın bomba olduğunu, 0 değeri de radara takılanın martı olduğunu belirtiyor. Unutmayalım, pozitifliği gerçek durumda gelen bir bombanın varlığına göre alıyorduk.

TP/True Positive : Bomba var deniliyor. ( DOĞRU TAHMİN, BOMBA VAR)

FP/False Positive : Bomba var deniliyor. (YANLIŞ TAHMİN, BOMBA YOK)

Örnek verelim ; Alan 75'iken , Toplam False Positive eşiğini hesaplayalım.

!!!Caution !!! False Positive hesaplamak için Reversed Binary Outcomes’ tan veri toplanır. True positive için de Binary outcomes verilerini kullanıyoruz. Binary outcomes verilerinde 1'i 0'a, 0'ı da 1'e dönüştürerek Reversed Binary Outcomes elde ediyoruz !!!Caution!!!

Hesaplamaya dönelim : Alan 75'e denk gelinceye kadar, 8 tane ölçüm yaptık. Bu ölçümlerde 3 kez bomba olayı gerçek. Yani binary outcomes olarak 3 tane 1 puanımız var. Binary outcomes bomba yoksa geriye kalan ölçümlere 0 veriyordu. Reversed binary outcomes’da binary outcomes’ın tam tersiydi. Bomba olayı gerçekse sıfır, martılar gözlemlenmişse 1'ler veriyor. Şimdi 75 score’a gelene kadar reversed outcomes verdiği verileri inceleyelim sonra toplayalım; 97(1) 93(0) 90(1) 86(1) 83(0) 80(1) 77(1) 75(0)

1+0+1+1+0+1+1+0= 5 bu da bize toplam eşik FP değerini verir.

Aynı işlemleri True Positive için de gerçekleştirelim:

Alan 75'iken , Toplam True Positive eşiğini hesaplayalım.

Gene dikkat çekelim : True positive dediği için Binary Outcomes’ı kullanmak zorundayız.

Hesaplamaya dönelim : Alan 75'e denk gelinceye kadar, 8 tane ölçüm yapılmıştı. Bu ölçümlerde 3 kez bomba olayı gerçek. Yani binary outcomes olarak 3 tane 1 puanımız var. Şimdi 75 score’a gelene kadar reversed outcomes verdiği verileri inceleyelim sonra toplayalım;

97(0) 93(1) 90(0) 86(0) 83(1) 80(0) 77(0) 75(1)

0+1+0+0+1+0+0+1= 3 bu da bize toplam eşik TP değerini verir.

To be continued…