Örümcek Nedir ?

ÖRÜMCEK : Google ,Yahoo ,Badiu gibi arama motorları tarafından çokça kullanılan bu yazılımlar web sayfaların içeriklerini okurlar ve indekslerler. 

Örümcekler tüm web sayfalarını okumak ve indekslemek yerine web sitesi hakkında bilgi verecek olan belirli bir yüzdedeki sayfaları incelerler. Bu yüzde değeri için oldukça karmaşık algoritmalar kullanılırlar.