Mari kita belajar tentang bagaimana cara menggunakan robots testing tool dari Google. Fitur ini gratis dan mudah digunakan. Sebelum kamu upload file robots.txt, kamu bisa menentukan url mana saja yang memang mau di allow agar bisa di crawl oleh google, dan url mana-mana saja yang memang diijinkan. Yuk simak artikel ini sampai habis ya :)
Pengertian Robots Testing Tool
Agar website kita dapat dikenali oleh public, maka kita harus membuat website yg menarik beserta konten yang berkualitas. Konten artikel yang berkualitas akan menentukan posisi dimana ranking website kamu dimata search engine. Semakin banyak dan bagus artikel yang kamu buat, maka semakin tinggi juga score website kamu sehingga orang akan lebih mudah mengunjungi website kamu. Namun terkadang tidak semua halaman website perlu di deteksi oleh search engine. Seperti halaman private atau login mungkin tidak perlu sampai ketahuan oleh pihak search engine. Maka kita bisa manfaatkan robots.txt
Kami yakin bahwa kamu juga sudah familiar dengan apa itu robots serta penggunaan sederhanannya. Di sini kami hanya membahas tools yang bisa kita manfaatkan untuk menyusun robots.txt
Yuk kunjungi website resminya: https://www.google.com/webmasters/tools/robots-testing-tool
Penggunaan Robots Testing Tool
Kamu harus memiliki akun gmail dan login disana terlebih dahulu.
Berikut contoh sederhana robots.txt
Terlihat bahwa website Natanetwork menerima semua user agent, artinya semua search engine baik dari google, yahoo, bing, dll diijinkan untuk crawling. Maka jika kita lihat di bagian bawah ada tulisan "ALLOWED" hijau, artinya url apapun memang di ijinkan.
Lain kasusnya jika /info.php tidak ingin di crawling. Detail bisa dilihat gambar dibawah ini :
Terlihat status info.php adalah "BLOCKED".
Selain itu kamu juga bisa disallow spesifik tipe file
User-agent: *
Disallow: /*.html
Artinya semua file *.html di BLOCKED.
Kesimpulan
Silahkan membuat file robots.txt dan diletakan pada direktori root public_html/ sesuai dengan tutorial diatas. Sebelum kamu upload, silahkan di validasi terlebih dahulu menggunakan Robots Testing Tool (Robot Tester) dan pastikan sudah sesuai dengan keinginan.
Sekian artikel dari kami, semoga dapat menambah wawasan kamu.
