İnternet üzerine yüklenmiş olan yazı, resim, video yada herhangi bir veriyi aramak istediğimiz kriterleri girerek bulmamızı sağlayan, kendi içinde önceden programlanmış olan bir yapay zekası olan ver girilen verilere göre kendini yeniden konumlandıran bir internet aracıdır.

İngilizce olarak Web Crawler, web spider yada bot olarak adlandırılan bu yazılımlar sürekli web sitelerini dolaşarak internet üzerinden veri toplarlar. Bu verileri topladıktan sonra bunları site haritası, kategori yada anahtar kelimeler gibi şekillerde değerlendirir ve kullanıcının isteklerine en kısa yoldan ulaşması için çalışırlar.

Bilinen ilk arama motoru bir öğrenci tarafından geliştirilmiştir

Bilinen ilk arama motoru 1990 yılında ABD’ de bir üniversitesi olan Alan Emtage isimli öğrenci tarafından geliştirildi. Archie isimli bu arama robotu İngilizce archive kelimesinden türetilmişti.İlerleyen yıllarda ABD’de bulunan 1993 yılında Massachusetts Teknoloji Enstitüsü’nden Matthew Gray wandex isimli ilk arama botunu üretti. Daha sonra bu bot ALİWEB isimli arama moturunda kullanılarak internet siteleri üzerinde arama yapmamızı sağlayan ilk arama robotu oldu.

Robotlar genellikle web sitelerini içerikleri, birbirlerine verilen bağlantıları kullanarak otomatik olarak gezerler ve sürekli olarak denetlerler. Buralarda bulunan her türlü veri indekslenerek daha sonra kullanılmak üzere ana sunucu adreslerine kaydedilir. Genellikle konuya göre girilen ilk içerik ilk olarak indekslenir ve arama robotu sonuçlarında ilk olarak öne çıkar.

Google şu anda dünyanın en büyük arama robotunu içerir.

2000 yılında kurulan Google şu anda dünyanın en büyük arama robotunu içerir. Kullanım şekli, kullanıcı sayısı yada indekslediği içerik sayısı olarak Google alanında rakipsiz ve uzun süre de elinde bu liderliği bulunduracak gibi görünmektedir.

Bugün Google dışında kullanılan diğer arama robotları Bing, Yandex, özellikle Çinde büyük bir kullanıcı kitlesi olan Bidu, eskiden popüler olan Altavista ve Özellikle ABD de kullanılan Yahoo’dur.