Web crawling , internet sitelerindeki sayfalarda dolaşılıp, istenen bilgilerin derlendiği bir programlama tekniği olarak özetlenebilir. Öncelikli olarak şunu belirtmek gerekir ki, API si olan bir web sitesine web crawling yapmak iyi bir fikir değildir. API yi kullanmakta hem site sahibi için hem de bu bilgilere erişmek isteyenler için büyük fayda vardır. Bu işin değişik aşamalarında kullanılan bir çok yazılım kütüphanesi ve çözüm bulunmakla birlikte, bu yazıdaki amacımız bu işin teknik altyapısını çok detaya girmeden verebilmektir. Başlangıç aşamasında, veri işlemesi için uygun, internette dolaşma konusunda yetenekli komutlar sunan, değişik sistemlerle entegre çalışabilen bir programlama diline ihtiyaç vardır. Bunun yanında bu işlem sırasında kullanılmak üzere bilgilerin kolayca saklanabildiği ve alınabildiği yüksek performanslı, mümkünse açık kaynak kodlu ücretsiz bir veritabanına da ihtiyaç duyulacaktır. Verilerin son haline getirildikten sonra saklanılacağı bir