Fungsi Robots.txt

Fungsi Robots.txt - Robots txt adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter. wikipedia

Penggunaan robots.txt ini sangat penting sekali dalam penggunaan web, untuk mengatur apa saja yang boleh di index dan tidak boleh di index oleh mesin pencari. Banyak sekali keuntungan yang di dapat dari penggunaan robots.txt

Keuntungan Penggunaan Robots.txt:

1. Mencegah Duplicate content

Salah satu fungsi dari robots.txt adalah mencegah adanya duplicate content terhadap web/blog kita. Duplicate content biasa sering terjadi pada blog. Ini di sebabkan karena widget archive yang terpasang pada blog ikut terindex oleh mesin pencari. Sehingga mesin pencari menemukan dua alamat URL yang berbeda tetapi menuju pada satu file atau konten yang sama.

2. Menjaga kerahasian file atau data

Fungsi ini saya rasa lebih cocok ditujukan pada website yang menyimpan data-data seperti facebook, google, twitter, yahoo dll. Karena jika data-data penting terindex oleh mesin pencari maka otomatis semua data penting juga akan dilihat orang ketika menggunakan mesin pencari dan menampilkan data penting itu.

3. Bisa Mengoptimalkan SEO Blog

Ini sangat ampuh sekali untuk optimasi SEO blog kita, karena dengan memberikan perintah berupa script robots.txt maka mesin pencari tidak akan mengindex apa yang tidak di inginkan untuk menghindari Duplicate Content, Duplicate Title Tag.

Fungsi Perintah Script Robots.txt :

User-agent: Googlebot
Disallow: /*archive.html
User-agent: *
Disallow: /archive.html
Sitemap: http://aikonmedia.blogspot.com/feeds/posts/default?orderby=UPDATED

User-agent adalah perintah untuk nama robot apa saja yang boleh untuk mengindex. Beberapa nama robot mesin pencari: Google: Googlebot ; Google Image: Googlebot-image; MSN: msnbot; Yahoo: yahoo-slurp dan masih banyak lagi.
Disallow adalah perintah untuk mesin pencari tidak boleh mengindex pada direktori tertentu. Jika hanya menggunakan perintah Disallow saja maka mesin pencari tidak akan mengindex semua isi konten web blog kita.
Bintang (*) adalah perintah untuk semua robot mesin pencari boleh menggunakan perintah script tersebut termasuk Googlebot, Googlebot-image, msnbot dll.
Sitemap adalah peta situs yang digunakan web/blog tersebut untuk perintah sitemap yang akan di crawl.

Penggunaan robots.txt ini sangat penting sekali untuk optimasi web blog agar lebih seo friendly terhadap search engine seperti Google khusunya. Untuk menghindari adanya duplicate content, duplicate title tag yang sering terjadi ketika robots mesin pencari melakukan crawl. Penggunaan robots.txt juga harus didukung oleh pemasangan meta tag seo. Baca juga artikel saya mengenai Pemasangan Meta Tag SEO.

Sekian dulu postingan Fungsi Robots.txt, semoga artikel ini bermanfaat untuk sobat blogger dan menambah wawasan pembaca. Jika ada pertanyaan silahkan tulis di kolom komentar, dan bagikan ke teman-teman dengan mengklik tombol share di bawah ini.