Pengertian Web Crawler / Web Spider
Web Crawler atau biasa juga disebut web spider
memiliki tugas untuk meng-crawl (merayapi) seluruh informasi dari suatu
website. Spider akan menggali seluruh data dari suatu website termasuk
didalamnya komponen website seperti : meta data, keywords dan lain
sebagainya. Kemudian web spider akan mengumpulkan atau mengindeks
seluruh website ke dalam data base search engine. Sampai pada akhirnya
halaman website akan di tampilkan pada Search Engine Result Page (SERP). Sederhananya seperti ini
: Ketika Anda mengetikkan query atau kata kunci pada search engine,
mesin akan mencari database index dan memberikan daftar halaman web yang
sesuai dengan kriteria yang Anda cari.
Proses web crawler dalam mengunjungi setiap dokumen web disebut web crawling atau spidering.
Nah, jadi kalo blog Anda telah dipasang Meta Tag SEO Friendly,
judul artikel yang mengandung sebagian dari keywords (kata kunci) dan
memiliki konten yang berkualitas, maka tidak tertutup kemungkinan,
artikel Anda akan mejeng di halaman pertama Search Engine Result Page
(SERP).
Fungsi Web Crawler / Web Spider
1. Web crawler biasa digunakan untuk membuat salinan sebahagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat diproses lebih lanjut oleh system pengindeksan.
2. Web crawler dapat digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web.
3. Web crawler juga digunakan untuk memperoleh data yang khusus, seperti mengumpulkan alamat email.
Demikian artikel saya kali ini tentang pengertian dan fungsi web crawler / web spider. Semoga bermanfaat buat Anda semua.
Comments
Post a Comment