-->

Iklan Atas Artikel

Cara Cepat Artikel Diindeks Meski Diblokir Oleh Robot.txt

Cara Cepat Artikel Diindeks Meski Diblokir Oleh Robot.txt Pada Google Webmaster Tool atau Google Search Console vesi baru, Anda pasti pernah menemukan masalah peringatan diindeks tetapi diblokir oleh robots.txt yang menggunakan paltform blogger.com. 


Cara Cepat Artikel Diindeks Meski Diblokir Oleh Robot.txt

Masalah yang sering ditemukan ketika URL sudah diindeks meski diblokir oleh robot.txt merupakan semua halaman search khusunya laman search pada label dan halaman postingan lama dan menu navigasi.

Jika diperhatikan di bawah ini, untuk halaman yang diindeks meski diblokir oleh robot.txt, biasanya Anda menggunakan format robot.txt, karena bawaan blogger menggunakan robot.txt berikut:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.domainkamu.com/sitemap.xml

Artinya pada robot.txt di atas pengindeksan dilakukan, dan kecuali pada halaman search untuk tidak diizinkan oleh crawl bot, tetapi halaman search dihubungkan di blog pada menu, widget label, menu, breadcrumb, navigasi next prev, maka tetap saja halam tersebut masih bisa dirayapi oleh bot.

Tentunya sangat menjengkelkan apabila Anda sering mendapatkan notifikasi tersebut, untuk mengatasi masalah robot.txt, alangkah baiknya halaman tersebut dirayapi bot dan bisa ditampilkan di halaman pencarian.

Anda bisa menggantinya dengan robot.txt di bawah ini:

User-agent: *

Disallow:

Sitemap: https://www.domainkamu.com/sitemap.xml

Sitemap: https://www.domainkamu.com/atom.xml?redirect=false&start-index=1&max-results=500

Sitemap: https://www.domainkamu.com/feeds/posts/default

Sitemap: https://www.domainkamu.com/sitemap-pages.xml

Silakan ganti kode yang menggunakan warna tersebut dengan domain blog Anda. Jika postingan blog di atas 500 maka bisa menggunakan kode di bawah:

Sitemap: https://www.domainkamu.com/atom.xml?redirect=false&start-index=501&max-results=500

Seterusnya postingan di atas 1000, maka bisa menggunakan kode di bawah:

Sitemap: https://www.domainkamu.com/atom.xml?redirect=false&start-index=1001&max-results=500

Setelah memasang kode robot.txt di atas dengan benar, kemudian silakan simpan untuk kode meta tag nonindex di bawah ini pada bagian <head> yang berfungsi memblokir setiap halaman label, arsip, search, dan tidak ditampilkan di halaman pada halaman hasil pencarian Google.

<b:if cond='data:view.isArchive'>

<meta content='noindex,noarchive' name='robots'/>

</b:if>

<b:if cond='data:blog.searchQuery'>

<meta content='noindex,noarchive' name='robots'/>

</b:if>

<b:if cond='data:blog.searchLabel'>

<meta content='noindex,noarchive' name='robots'/>

</b:if>

Setelah memasang kode di atas sebainya Anda tidak menggunakan widget arsip blogger. Setelah selesai memasang kode robot.txt, dan memasang meta tag, silakan submit robot.txt baru pada halaman robot.txt testing tool supaya Google membaca dan mengenali robot.txt yang baru. Setelah itu masuk ke Google Webmaster Tool untuk melakukan validasi pada warning diindeks meski diblokir robot txt, dan terus memantau search console.









LihatTutupKomentar

Iklan Tengah Artikel 2