Bir izleme sistemi, açıklandığı andan itibaren işe yaramaz. Bu görünür bir çöküş değildir: sistem çalışır, bildirimler gelir, ekranda yeşil bir tik vardır. Sadece kimse bildirimleri açmaz.
O noktaya kadar geçen süre, sistemin kuruluşundan sonra geçen süre kadardır. Aynı zamanda sistemin ömrü için de geçerlidir: bildirimler açılmadığı an, sistemin varlığı kullanıcıya zarar vermeye başlar. Çünkü artık "izliyoruz" diyebiliyorsunuz ve bu doğru değil.
Alarm yorgunluğu tam olarak nedir?
Beklenen bildirimlerin, gerçekten eylem gerektirenlerin çok üzerine çıkması.
Sayısal bir tanım vermek mümkün değil — çünkü "fazla" kişiye ve sisteme göre değişir. Ama şu ölçüt işe yarar:
Bildirimlerin çoğunluğu için "bunun için bir şey yapmam gerekmiyor" diyorsanız, alarm yorgunluğu var.
Bu, sık yapılan bir hata: çoğu kişi "yanlış pozitif oranı %90" gibi bir sayı bekler. Oysa mesele oran değil. Tek bir yanlış pozitif bile, iki gerçek bildirimi görmenizi engelliyorsa sorun vardır.
Neden oluyor?
Dört neden, neredeyse bu sırayla:
1. Eşik çok gevşek. Varsayılan eşik, "bir şey değişti" eşiğidir. Renk tonundaki iki birimlik fark, bir pikselin kayması, yazı tipi yüklenmesindeki fark — hepsi "değişiklik" sayılır. Eşik gevşekse, sisteminiz metin değişikliği değil, piksel değişikliği izliyor demektir.
2. Yanlış bölgeler izleniyor. Siteye "şu sayfaları izle" denmemişse, sistem siteyi izliyor demektir — banner, reklam alanı, döngüsel carousel, "ilgili yazılar" bloğu dahil. Bunlar sürekli değişen bölgelerdir ve her taramada bildirim üretirler.
Bu, pratikte en sık görülen nedendir ve en sık gözden kaçandır. Bir site "izleniyor" görünüyor olabilir, ama izlenen kısım sitenin en çok değişen yeri.
3. Sürekli değişen içerik maskelenmemiş. Zaman, tarih, sayaç, stok durumu, hava durumu, "şu an görüntülenen ürünler". Bunlar gerçek değişikliklerdir ve düzelmesi gereken bir hata değildirler. Maskelenmemişlerse sistemin çıktısını tamamen doldururlar.
4. Bildirim tek tek gidiyor. Aynı bölgede beş küçük fark varsa, beş bildirim gelir. Tek bir değişiklik olarak gelseydi tek okuma yeterdi.
Nasıl kurtarılır? Üç müdahale, sırayla
1. Eşiği doğru ayarlayın
En etkili müdahale bu, ama neredeyse herkes en sona bırakıyor.
Doğru eşik şu yöntemle bulunur:
- Bildirimleri iki hafta boyunca kapatın, sadece kaydettirin.
- Gelen farklara bakın. Üç gruba ayırın: bana göre önemli, önemsiz ama sık, önemsiz ve seyrek.
- "Önemsiz ama sık" grubunu maskeleyin veya eşiği yükseltin.
- İki haftayı tekrarlayın.
Bu süre, sistemin sizin için ne ürettiğini öğrenmek için gereken asgari süre. Daha kısa sürede karar verirseniz eşiği tahminle ayarlarsınız ve sistem hâlâ gürültülü kalır.
Önemli olan şu: eşiği yükseltmek her zaman çözüm değildir. Sık geçen bir fark "önemsiz" görünse de, içinde gerçek bir kırılma saklanıyor olabilir. Sık geçen farkları maskelemeden önce bir kez bakın.
2. Doğru bölgeleri izleyin
Her site için, müşteriyle birlikte, izlenecek sayfaları tanımlayın. Sitenin tamamını değil.
Pratik kural: bir sayfayı izlemek için o sayfada sizin için değişmesi önemli bir şey olmalı. Olmayan sayfayı izlemek, gürültü üretir.
Bu, aracın ayarından çok süreç meselesidir. Müşteriyle konuşulması gerekir. Çünkü "önemli sayfa" müşterinin fikridir; sizin tahmininiz değil.
3. Değişiklikleri gruplayın
Aynı sayfadaki birden fazla fark, tek bildirim olarak gitmelidir.
Gruplamanın kazandırdığı şey net: aynı olayı beş kez okumak yerine bir kez okursunuz. Beş bildirim alan biri, çoğu zaman hepsini de okumaz — çünkü beşi de aynı görünür.
Sıralamanın önemi
Üç müdahaleyi bu sırayla yapın, başka sırayla değil.
Eşiği yükseltmeden önce hangi sayfaların izlendiğini düzeltin. Aksi hâlde kapatmak istediğiniz gürültünün bir kısmı, izlenmemesi gereken sayfalardan gelir ve eşik yükseltme onu çözmez. Doğru sayfaları izledikten sonra eşiğin ne olması gerektiği değişir, çünkü veri seti değişmiştir.
Bu yüzden yanlış sıra, gereğinden yüksek bir eşikle ve hâlâ gürültülü bir sistemle sonuçlanır.
Dönüşüm neden zordur?
Gürültülü bir sistem, altı haftada okunmaz hâle gelir. Ama altı hafta, sistemi kurtarmak için gereken süre değil. Kurtarma iki haftalık veri toplamayı gerektirir — ve o iki hafta boyunca bildirimler kapalı olmalıdır.
Burası zorluk: iki hafta boyunca hiçbir şey bildirmezsiniz. Sistem "çalışmıyor" gibi görünür. Ve tam bu dönemde gerçek bir kırılma olursa, onu kaçırırsınız.
Bu yüzden susturma yerine gruplamayı önce uygulayın. Gruplama, bildirimleri azaltır ama hiçbirini yok saymaz. Eşiği ancak ondan sonra yükseltin.
Bir ajans olarak ek bir katman
Ajansta izleme sisteminin çıktısı müşteriye gider. Bu, gürültüyü iki katmanlı hâle getirir: siz de filtrelemezseniz müşteri de filtrelemez.
Pratik sonuç: bir bildirimi müşteriye göndermeden önce kendiniz okuyun. Bu tek alışkanlık, müşterinin sisteminizi kapatmasını engelleyen en etkili şeydir. Onun için de sisteminizin eşiğini doğru ayarlamış olmanız gerekir.
Özet
- Alarm yorgunluğu bir sayı değil, bir davranıştır: bildirimlerin çoğu için "eylem gerekmiyor" diyorsanız vardır.
- Dört neden: gevşek eşik, yanlış bölgeler, maskelenmemiş dinamik içerik, gruplanmamış bildirimler.
- Üç müdahale, bu sırayla: sayfaları düzelt → eşiği öğren → grupla.
- İlk iş iki hafta bildirimleri kapatıp veri toplamaktır; bu dönemde gerçek bir kırılma kaçabilir, bu yüzden gruplama önce yapılır.
Sistemin neyi neden bildirdiğini anlamak için görsel regresyon testinin nasıl çalıştığına bakın. Bir aracın bildirimlerini nasıl süzüleceğini görmek için araç seçerken bakılacak yedi şey yazısını okuyun.