Erişim ve HTTPS
Yönlendirmeler takip edildikten sonra sayfa yanıt veriyor mu, güvenli bir adresten mi?
Adresi yazın. Sayfayı bir kez çeker ve bir ajansın suçlandığı şeyleri kontrol ederiz: sayfa açılıyor mu, Google dizine ekleyebilir mi, sertifikanın ya da alan adının süresi dolmak üzere mi, sayfanın başlık bölümü sağlam mı. Hiçbir şey kaydedilmez.
Her biri olduğu an sessizdir, fark edildiği an pahalıdır. Hepsi Crawlens'in sürekli izlediği sınıflardır.
Yönlendirmeler takip edildikten sonra sayfa yanıt veriyor mu, güvenli bir adresten mi?
Sayfanın başlık bölümünde ya da yanıt başlıklarında noindex ve tüm botları dışarıda bırakan bir robots.txt.
SSL sertifikası ve alan adı kaydı; TLS el sıkışmasından ve kayıt kuruluşunun RDAP kaydından okunur.
Başlık, meta açıklama, kanonik adres, ana başlık, formlar, ölçüm etiketleri ve yapılandırılmış veri.
Tek bir çekim değişiklik gösteremez; tarayıcı olmadan da sayfayı çizmez ya da ekran görüntülerini karşılaştırmaz. İzleme ürünü bunun için var.