Cara Cepat Artikel Diindeks Meski Diblokir Oleh Robot.txt Pada Google Webmaster Tool atau Google Search Console vesi baru, Anda pasti pernah menemukan masalah peringatan diindeks tetapi diblokir oleh robots.txt yang menggunakan paltform blogger.com.
Masalah yang sering ditemukan ketika URL sudah diindeks meski diblokir oleh robot.txt merupakan semua halaman search khusunya laman search pada label dan halaman postingan lama dan menu navigasi.
Jika diperhatikan di bawah ini, untuk halaman yang diindeks meski diblokir oleh robot.txt, biasanya Anda menggunakan format robot.txt, karena bawaan blogger menggunakan robot.txt berikut:
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.domainkamu.com/sitemap.xml
Artinya pada robot.txt di atas pengindeksan dilakukan, dan kecuali pada halaman search untuk tidak diizinkan oleh crawl bot, tetapi halaman search dihubungkan di blog pada menu, widget label, menu, breadcrumb, navigasi next prev, maka tetap saja halam tersebut masih bisa dirayapi oleh bot.
Tentunya sangat menjengkelkan apabila Anda sering mendapatkan notifikasi tersebut, untuk mengatasi masalah robot.txt, alangkah baiknya halaman tersebut dirayapi bot dan bisa ditampilkan di halaman pencarian.
Anda bisa menggantinya dengan robot.txt di bawah ini:
User-agent: *
Disallow:
Sitemap: https://www.domainkamu.com/sitemap.xml
Sitemap: https://www.domainkamu.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.domainkamu.com/feeds/posts/default
Sitemap: https://www.domainkamu.com/sitemap-pages.xml
Silakan ganti kode yang menggunakan warna tersebut dengan domain blog Anda. Jika postingan blog di atas 500 maka bisa menggunakan kode di bawah:
Seterusnya postingan di atas 1000, maka bisa menggunakan kode di bawah:
Setelah memasang kode robot.txt di atas dengan benar, kemudian silakan simpan untuk kode meta tag nonindex di bawah ini pada bagian <head> yang berfungsi memblokir setiap halaman label, arsip, search, dan tidak ditampilkan di halaman pada halaman hasil pencarian Google.
<b:if cond='data:view.isArchive'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchQuery'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
<b:if cond='data:blog.searchLabel'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>
Setelah memasang kode di atas sebainya Anda tidak menggunakan widget arsip blogger. Setelah selesai memasang kode robot.txt, dan memasang meta tag, silakan submit robot.txt baru pada halaman robot.txt testing tool supaya Google membaca dan mengenali robot.txt yang baru. Setelah itu masuk ke Google Webmaster Tool untuk melakukan validasi pada warning diindeks meski diblokir robot txt, dan terus memantau search console.