Cara Membuat dan Setting Robot.txt di Blogger

Cara membuat dan setting robot.txt di blogger - Melakukan hal ini merupakan salah satu teknik seo onpage yang dipercaya dapat membantu performa blog menjadi lebih optimal, tapi banyak juga yang mengingatkan bahwa membuat dan setting robot.txt harus benar-benar diperhatikan tidak boleh sembarangan. Sebelum melanjutkan pembahasan ada baiknya jika kita cari tahu terlebih dahulu apa itu robot.txt?

Apa itu robot.txt?

Robot.txt merupakan serangkaian kode sederhana yang memberikan perintah kepada web crawler ( robot mesin pencari ) untuk merayapi/ menelusuri halaman web dengan memberikan ketentuan halaman yang boleh dirayapi dan yang tidak boleh dirayapi.

Fungsi Robot.txt

Jadi robot.txt mampu memblokir halaman yang tidak kita inginkan, misalnya ada halaman web yang tidak akan ditampilkan pada publik atau tidak ingin ditelusuri oleh robot crawler maka robot.txt yang akan melakukan seluruh pem-blokiran tersebut.

Lalu bagaimana cara membuat dan setting robot.txt di blogger? Baik, mari kita lakukan

Cara Membuat Robot.txt

Secara default setiap blog sudah memiliki robot.txt, dan untuk penampakan kodenya sendiri seperti berikut :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Penjelasan dari kode tersebut :

User-agent: Mediapartners-Google   // User agent yang menjadi partner dari Google

Disallow:   // Tidak di ijinkan untuk menelusuri ( dalam hal ini kosong atau tidak ada )

User-agent: *   // User agent dari seluruh search engine

Disallow: /search   // Tidak di ijinkan untuk menelusuri ( dalam hal ini folder search beserta seluruh sub-nya )

Allow: /   // Memberikan ijin untuk seluruh halaman ditelusuri kecuali pada "disallow: /search"

Sitemap: http://example.blogspot.com/sitemap.xml ( Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED )  // Sitemap atau feed blog

Robot.txt diatas dapat digunakan seperti apa adanya saja, namun tidak menutup kemungkinan apabila akan digunakan sesuai dengan kebutuhan masing-masing blog. Lalu, bagaimana cara meletakkan kode tersebut di blogger?

Cara Setting Robot.txt di Blogger

Untuk meletakkan kode robot.txt tersebut, bisa dilakukan dengan langkah-langkah berikut ini :

1. Login ke Blogger
2. Pilih Setting > Search Preferences

3. Pilih custom robot.txt pada Crawler and Indexing > Custom Robot.txt

4. Klik Edit > Yes

5. Paste kode diatas kedalam area kotak, jangan lupa ganti teks dengan warna merah dengan alamat blog sobat

6. Klik "Save Change"

Sampai disini sobat telah selesai melakukan setting robot.txt di blogger dan membuat blog sobat satu langkah lebih SEO terutama pada SEO Onpage.

Yang perlu sobat perhatikan adalah jangan pernah memasukkan kode apapun yang tidak sobat mengerti fungsinya, karena jika hal tersebut sobat lakukan maka bisa jadi sobat malah membuat blog sobat diacuhkan oleh mesin pencari, bukannya jadi SEO friendly. Jadi harus benar-benar berhati-hati.

Demikian cara membuat dan setting robot.txt di blogger, semoga bermanfaat.