Cara Menambahkan File Robots.txt Kustom di Blogger

 Antarmuka Saat Ini oleh Blogger lebih ramah SEO. Ya, itu memiliki banyak fitur ramah Mesin Pencari dan di antaranya robot.txt adalah salah satu fitur ramah SEO baru di mana file Anda dapat disesuaikan dengan ini sesuai pilihan Anda. Sungguh robot.txt ini memainkan peran penting dalam proses optimasi mesin pencari blog Anda. Pada postingan kali ini mari kita bahas tentang  cara menambahkan file custom robot.txt di Blogspot Blog .

Apa yang dimaksud dengan Robot.txt?

Sebenarnya Robot.txt adalah file teks sederhana dengan kode sederhana yang digunakan oleh pemilik situs web untuk menulis perintah khusus untuk spider atau perayap mesin pencari. File-file ini menginstruksikan crawler tentang batasan mereka untuk mengindeks halaman tertentu. Izinkan saya menyoroti hal ini, ingat setiap kali perayap web merayapi situs web Anda sebelum mengindeks halaman web Anda, mereka terlebih dahulu mencari file robot.txt untuk memeriksa protokol pengecualian. Oleh karena itu Perayap Mesin Pencari mendapatkan ide tentang halaman web mana yang akan diindeks dan halaman mana yang tidak diindeks. Ini adalah alat yang hebat untuk meningkatkan peringkat blog Anda dan juga membantu Anda mendapatkan lebih banyak lalu lintas jika digunakan dengan benar. Mari kita gali lebih dalam dan pelajari tentang cara menambahkan file robot.txt khusus di blog Blogspot.

Cara menambahkan file robot.txt khusus di Blog blogger

1. Buka Blogger.com

2. Masuk ke Akun Anda

3. Pilih blog jika Anda memiliki banyak blog jika tidak, abaikan langkah ini

4. Sekarang buka menu Pengaturan / Setelan > Crawler dan pengindeksan > Aktifkan robots.txt kustom

5. Setelah itu buka dan isi robots.txt kustom dengan kode di bawah ini

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://bangwahidofficial.blogspot.com/feeds/posts/default?orderby=UPDATED

Ganti “bangwahidofficial.blogspot.com” dengan nama blog Anda.

6. Save

Penjelasan masing-masing kode

Sekarang Anda akan heran melihat ada banyak istilah seperti User-agent, Disallow, Disallow:/search,Allow, Sitemap jadi jika Anda tidak mengetahui istilah-istilah ini maka Anda memeriksa penjelasan saya untuk setiap kode.

User-agent: Mediapartners-Google

Kode ini untuk Google Adsense. Bot Adsense akan merayapi ini sehingga mereka dapat menayangkan iklan yang lebih baik untuk blog Anda. Jadi kode ini hanya untuk penggunaan goole Adsense. Jika Anda tidak menggunakan Google Adsense maka Anda cukup mengabaikan langkah ini

User-agent:*

Agen Pengguna yang ditandai dengan asterisk memungkinkan bot atau perayap dari semua mesin telusur, baik yahool atau bing, dll., untuk merayapi blog Anda.

Disallow:

Dengan menambahkan ini, Anda menginstruksikan perayap untuk tidak mengindeks halaman web Anda

Disallow:/search

Ini berarti Anda tidak mengizinkan hasil pencarian blog Anda secara default. Artinya, Anda tidak mengizinkan perayap merayapi direktori pencarian yang berada tepat di sebelah nama domain Anda. Ini akan terlihat seperti

http://situsanda.blogspot. com/search/label/yourlabel

Halaman ini tidak akan dirayapi dan tidak pernah diindeks

Allow

Seperti namanya, izinkan ini akan memungkinkan perayap merayapi beranda blog Anda

Sitemap

Kode ini merujuk ke peta situs blog kita. Ini membantu perayap untuk mengindeks semua halaman web yang dapat diakses. Perayap web akan selalu menemukan jalur ke peta situs karena ini membuat pekerjaan mereka lebih mudah karena peta situs memiliki semua tautan dari posting kita yang dipublikasikan.

Anda dapat menambahkan peta situs xml hingga 500 posting pertama saja

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Jika Anda memiliki lebih dari 500 posting katakanlah 1000 maka Anda dapat menambahkan dua peta situs seperti di bawah ini

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=1000