Cara Setting Robots.txt Lengkap Supaya Blog Lebih SEO

Apa itu Robots.txt?

Sebelum melangkah lebih jauh, ada baiknya kita berkenalan dulu. Robots.txt adalah sebuah file yang berfungsi menyaring halaman apa saja yang kita ijinkan untuk ditelusuri oleh spider search engine.

Kenapa kita harus menyaringnya? Bukankah lebih bagus jika semua halaman bisa leluasa ditelusuri spider search engine? Alasannya karena setiap situs memiliki batasan jumlah halaman yang ditelusuri.

Saya kasih contoh kasarnya, misalkan ada 2 situs sebut saja (A) dan (B), keduanya memiliki jumlah artikel seo 40 buah, situs (A) menggunakan robots.txt untuk menyaring perayapan, sementara situs (B) tidak menggunakannya. Masing-masing mempunyai jatah perayapan 45 halaman, disini akan terlihat bahwa situs (A) lebih unggul. Kenapa demikian? Padahal jumlah artikelnya sama-sama 40 buah, dan masih dibawah jumlah batasan perayapan yakni 45 halaman. Karena situs (A) menyaring halaman tertentu untuk tidak ditelusuri, sehingga jatah kuota 45 halaman itu sudah lebih dari cukup untuk mengindex 40 artikel. Beda halnya dengan situs (B) karena spider search engine juga harus merayapi halaman lain selain artikel seperti label sehingga artikel yang ada tidak seluruhnya bisa dirayapi, hal ini akan menghambat proses index.

Langkah-Langkah Membuat Custom Robots.txt

Sudah pada tau 'kan apa manfaatnya menggunakan robots.txt, sekarang kita akan membahas cara membuatnya. Ingat gunakan dengan hati-hati, karena jika salah saat menulis kode nantinya bisa berakibat malah artikel kita yang tidak dirayapi oleh bot search engine.

1. Login ke blog masing-masing.
2. Pilih menu Setelan > Preferensi penelusuran. > robots.txt khusus > Edit.

3. Isi form yang muncul dengan kode di bawah,

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*_*_*_archive.html
Disallow: /*/*/*.html?showComment=*
Disallow: /delete-comment.g?blogID=

User-agent: *
Disallow: /search

Sitemap: http://innfotaimenkits.blogspot.com/feeds/posts/default?orderby=UPDATED

Keterangan: ganti tulisan berwarna merahsesuai dengan nama blog masing-masing.

4. Jika sudah klik Simpan perubahan.

Sampai sini kita sudah berhasil membuat setting robots.txt. Semoga dengan membaca artikel ini bisa membuat anda memahami apa itu robots.txt, manfaatnya, serta cara membuatnya. Sekian posting kali ini tentangcara setting robots.txt lengkap supaya blog lebih seo, mudah-mudahan bisa dipahami dengan baik. Terima kasih -