Arama motorlarının iki temel işlevi vardır :
– Tarama ve bir dizin oluşturma. (Crawling and indexing)
-Hesaplama yapmak ve sonuçları sunmak (Providing answer)
Yani Google ‘ın tanımını yaptığı gibi : “Bir sorgunun yolculuğu siz bir arama terimi yazmadan önce, trilyonlarca belgeden oluşan Web’in taranması ve dizine eklenmesiyle başlar.”
Arama motorları nasıl çalışır sorusunu sorunca karşımıza bir kaç kavram çıkıyor.Bunlardan ilki crawling. Crawling arama motorlarının web sitelerinde bulduklarını listelemesidir, arama motorlarının temel mantığını oluşturur. Sayfa başlıkları, anahtar kelimeler , resimler, diğer bağlantılar vs. bu listede yer alır. Öncelikle sayfa ziyaret edilir ve bağlantılardan diğer sayfalara ulaşılır, bulunan veriler dosyaya kaydedilip indexlenir .İndexleme işlemi arama motorlarının botları -robotları da diyebiliriz- tarafından gerçekleştirilir.( Bir örnekle açıklamak istersek “World Wide Web” i büyük bir şehirdeki metro ağı gibi düşünelim. Her istasyon bir belgedir.Arama motorlarının tüm şehri taraması ve tüm durakları bulması gerekmektedir. Bu yüzden en iyi bağlantıları kullanırlar.) Ayrıca crawling ‘in sonu yoktur . Belirli aralıklarla web siteleri tekrardan taranır ve var olan değişiklikler kaydedilir. İndexlemede de sayfanın içeriğine dair bilgiler tutulur.(Bunu da kütüphane sistemine benzetebiliriz.) Yani bir arama motorunun botu siteler üzerindeki her türlü veriyi toplayıp kaydeder. Sonrasında ise verilerin neye göre sıralanacağı ve kullanıcıya nasıl sunulacağı da arama motorları tarafından belirlenir.
İkinci adım olan providing answer ise puanlandırma yapıp bize sonuç döndürüyor. Bir arama esnasında bütün webin taranması yerine dizinden arama yapılır. Elbette bu esnada bir sıralama algoritması (ranking) devreye girerek bütüüüüüüüüüü…n sonuçları karşılaştırıp; en uygun sonuç arama motorlarınca bulunmaya çalışılıyor. Bu da demek oluyor ki internetteki bütün verileri düşündüğümüzde devasa bir veri merkezi ve olabildiğince hızlı çalışan arama motorları söz konusu.
Yukarıda temel arama motoru yapısından bahsetmiş olduk, bir de kullanıcının arama yaptığı kriterlere yani kullanıcı davranışına göre sonuçlar veren semantik web(anlamsal ağ) kavramı karşımıza çıkıyor. Bir nevi yarım akıllı arama diyebiliriz 🙂 Semantik web kavramı kullanıcı hakkında bilgi edinmeye, onun hangi sayfalarda ne üzerine vakit harcadığına dair bilgi edinip aynı ziyaretçinin bir sonraki aramasında daha alakalı sayfalara ulaşmasını hedef alan bir sistemdir.
Arama motorlarının arama mantığını incelemiş olduk. Kişisel veya kurumsal web sayfalarımızın arama sonuçlarında yer alabilmeleri açısından ana hatlara değinmiş olduk 🙂