Burp Suite 4: Spider

Bu yazıda Burp Suite'in Spider sekmesini inceleyeceğiz.

A Web crawler is an Internet bot which systematically browses the World Wide Web, typically for the purpose of Web indexing (web spidering). daha fazlası

Arama motoru botları web sitenizi ziyaret ederek tüm linkleri dolaşır ve indeksler. Bunun sonucunda da arama motoru sonuçlarnda bu sayfaların listelenmesini sağlarlar. Burp Suite Spider'ı ile de aynı işlemi yapıyoruz. Burp Suite spiderı başladıktan sonra scope içerisindeki domainleri gezmeye başlayacak ve bulduğu tüm linkleri dolaşacaktır.

Options

İlk önce Burp Suite spider seçeneklerine bir bakalım.

burp_spider

Crawler Settings

  • Check robots.txt

    robots.txt dosyaları arama motorları için klavuz niteliğinde olan dosyalardır. Arama motoru botları bu dosyaya bakarak bazı kararlar verirler(hangi sayfaların indekslenmemesi gerektiği gibi). Botların web sayfalarında hiç bir zaman denk gelemeyeceği linkler -admin sayfası gibi- robots.txt içerisinde olabilir. Bu seçenek işaretlendiğinde Burp Spider'ı robots.txt içeriğini okur.

  • Detect custom "not found" responses

    Web sitesi içerisind olmayan bir sayfa ziyaret edilmeye çalışıldığında genelde server 404 response kodu ile cevap döner. Ancak bazen olmayan bir sayfa için farklı bir kod ile (200 gibi) özel olarak tasarlanmış bir sayfa dönülebilir. Bu seçenek işaretlendiğinde Burp Spider'ı bir kaç olmayan sayfa denemesi ile tespit işlemini gerçekleştirir.

  • Ignore links to non-text content

    Bu seçenek işaretlendiğinde Burp Spider img tagi gibi non-text content(metin dışı içerikleri) takip etmicektir. Bu işlem zaman kazanmak için faydalı olabilir.

  • Request the root of all directories

    Bu seçenek işaretli ise Burp Spider tüm dizinlerin içeriğini talep edecektir. Eğer hedef sitede dizin indeksleme açık ise, bu seçenek kullanışlı olacaktır.

Passive Spidering

Burp Spider'ı proxy üzerinden tüm trafiği izleyerek scope haritasının sürekli güncellenmesini sağlar.

  • Passively spider as you browse

    Bu seçenek seçili ise Burp Spider Proxy üzerindeki tüm istek ve cavapları izler.

Form Submission

  • Individuate forms

    Bu seçenek formların neye göre unique(benzersiz) olması durumunu belirtir. Spider bir form ile karşılaştığı zaman bu formu yeni ise diğer form seçeneklerine göre işlemek üzere sıraya alır.

  • Don't submit forms

    Bu seçenek işaretli ise Spider herhangi bir formu submit etmez.

  • Prompt for guidance

    Seçili ise Spider her form ile karşılaştığında bizi uyaracaktır ve formun nasıl gönderilmesi gerektğini bize soracaktır.

burp_spider_form_submission

  • Automatically submit

    Seçili ise Spider tanımlı olan kurallara göre formu alanlarını doldurarak formu otomatik submit edecektir.

Application Login

Bu seçenek Spider'ın login formu ile karşılaştığında ne yapması gerektiğini belirler. Varsayılan olarak Prompt for guidance seçeneği seçilidir. Yani Spider bir login formu ile karşılaştığında ne yapması gerektiğini soracaktır.

  • Handle as ordinary forms

    Seçili ise Spider login formunu herhangi bir form olarak ele alır ve Form Submission sekmesindeki konfigurasyonlara göre işlem yapar.

  • Automatically submit these credentials

    Seçili ise Spider verilen username, password bilgileri ile formu doldurur ve submit eder.

Spider Engine

Spider ile ilgili konfigürasyonların yapıldığı sekmedir. Aynı anda kaç thread açılacağı, network hatası oluştuğunda kaç kere daha deneme yapılacağı gibi ayarlamalar yapılır.

Requests Headers

Spider'ın yaptığı her istekte gönderilecek olan HTTP Headerlarının belirlendiği kısımdır.

burp_spider_form_submission

Yukarıdaki ekran görüntüsünde görüldüğü gibi Spiderın yaptığı istekte ayarlar kısmında belirtilen Header bilgileri kullanılmıştır.

Spider Control

Spider Status

Status sekmesinden Spider'ın durumunu kontrol edebiliyoruz.

burp_spider_form_submission

Yukarıdaki ekran görüntüsünde gördüğünüz gibi Spider çalışmıyor ve 21 request ve 1 formu kuyruğu almış durumda.

burp_spider_form_submission

Spider'ı çalıştırdıktan sonra toplam 1,343 istek yaptı ve bu sırada 10,861,320 bytes data transferi gerçekleşti.Spider hala çalışıyor siz proxy aracılığı ile gezdiğiniz süre içerisinde keşfettiği linkleri gezmeye devam edecektir.

Spider Scope

Spider'ın scope alanını belirtir. Varsayılan olarak Target->Scope sekmesinde belirtileni kullanır. Özel olarak scope da belirtebilirsiniz.

Son olarak Spider'ı başlatmadan önce ve sonra sitemap sekmesini görelim.

burp_spider_form_submission

Yukarıdaki resimde ben sadece http: //192.168.1.27/bWAPP/login.php adresine istek attığım için sitemap kısmında o sayfada bulunanlar görünüyor.

burp_spider_form_submission

Spider'ı başlattıktan sonra ise Spider bizim için tüm sayfaları dolanarak Sitemap oluşturdu. Burp Suite Spider kullanımı bu kadar kullanışlı ve basit.

Sonraki yazıda görüşmek üzere kolay gelsin.