Bismillah... Pengertian Web Crawler / Web Spider Web Crawler atau biasa juga disebut web spider memiliki tugas untuk meng-crawl (merayapi) seluruh informasi dari suatu website. Spider akan menggali seluruh data dari suatu website termasuk didalamnya komponen website seperti : meta data, keywords dan lain sebagainya. Kemudian web spider akan mengumpulkan atau mengindeks seluruh website ke dalam data base search engine. Sampai pada akhirnya halaman website akan di tampilkan pada Search Engine Result Page (SERP). Sederhananya seperti ini : Ketika Anda mengetikkan query atau kata kunci pada search engine, mesin akan mencari database index dan memberikan daftar halaman web yang sesuai dengan kriteria yang Anda cari. Proses web crawler dalam mengunjungi setiap dokumen web disebut web crawling atau spidering. Nah, jadi kalo blog Anda telah dipasang Meta Tag SEO Friendly , judul artikel yang mengandung sebagian dari keywords (kata kunci) dan memiliki konten ya...