Apa sih fungsi dari googlebot, atau crawler atau bot spider yang dimiliki google?. Googlebot atau crawler berfungsi sebagai robot yang terus merayap, bergerilya, bergentayangan, untuk terus menerus mencari data/berita/artikel terbaru berupa halaman website yang uptodate.
Maksudnya seperti apa?
Anggaplah seperti ini, Anda adalah googlebot, tugas Anda adalah mengecek semua website di dunia, apakah ada situs terbaru yang terdaftar, atau adakah pembaruan/update dari situs yang lama yang sudah masuk ke dalam database penyimpanan.
Kemudian Anda akan masuk ke dalam sebuah situs server dunia yang di mana terdapat nama-nama website/domain terbaru yang terdaftar, setelah itu Anda mengunjungi satu persatu websitenya, dan setiap halaman dari semua website itu Anda kunjungi pula, dan Anda simpan setiap halaman dari semua website itu ke dalam sebuah tempat penyimpanan data, anggaplah flashdisk. Tentunya Anda pun membuat semacam daftar halaman apa saja yang sudah disimpan, dan diambil di website mana, waktunya kapan?
Setelah Anda melakukan itu semua, maka di hari berikutnya Anda pun melakukan hal yang sama, di tambah dengan mengunjungi situs yang sebelumnya pernah dikunjungi, Anda mengecek apakah ada halaman yang baru, jika Ada maka Anda langsung kunjungi halaman tersebut dan menyimpannya kembali di dalam database penyimpanan, misalnya flashdisk.
Nah begitulah googlebot bekerja, robot internet ini bekerja layaknya manusia yang sudah saya jabarkan tadi. Cuma bedanya adalah ini semua dilakukan secara otomatis dan natural, natural di sini maksudnya manusia tidak ikut campur tangan, karena tidak ada operator sama sekali dalam kegiatan crawler yang dilakukan oleh google.
Semuanya dilakukan oleh mesin. Sehingga ketika kita masuk ke dalam www.google.com dan mengetikan suatu keyword misalkan belajar seo di google, maka Anda akan mendapati banyak sekali halaman-halaman website ditampilkan sesuai dengan keyword yang diketikkan di kotak pencarian. Halaman-halaman website ini di ambil oleh googlebot yang sebelumnya telah mengcrawl, mengunjungi halaman website tersebut dan menyimpannya di dalam database google, sehingga Anda bisa langsung melihat hasil dari setiap keyword yang Anda ketikkan di dalam kotak pencarian milik google.
Secara teknis cara kerja googlebot yang nyatanya adalah seperti ini :
- Pengecekan database submit url / pengecekan direktori web.
- Crawler mengecek web di direktori
- Masuk ke halaman depan web
- Mengecek ke satu persatu link di halaman depan sambil indexing
- Masuk ke dalam halaman, dan terus mengecek satu persatu link yang ada dalam halaman, sampai halaman tersebut tidak memiliki link keluar
- Dan begitu seterusnya…
Nah dari cara kerja google seperti inilah kemudian para master SEO mencari-cari celah agar halaman websitenya itu bisa muncul dihalaman depan google, google dipaksa untuk menampilkan halaman-halaman website yang diseokan untuk muncul pada halaman pertama. Ilmu tersebut bernama SEO, Search Engine Optimization.
Sehingga dari sini pula lah google mengeluarkan aturan-aturan yang mana aturan tersebut sebetulnya berfungsi untuk mengurangi kegiatan pemaksaan google agar memunculkan halaman yang diseokan itu muncul dihalaman pertama google.
Aturan-aturan tersebut adalah Google Panda, Google EMD, Google Penguin, Google Dinosaurus, dan banyak lagi hewan-hewan google lainnya. he he he
Diambil dari ebook Menaklukan RImba SEO
