Cara Mengoptimalkan Robot.txt Agar Mencegah Terjadinya Duplikat Konten

Bagi sobat yang belum tahu apa itu Robot.txt saya akan jelaskan sedikit apa itu Robot.txt ? Robot.txt adalah sebuah file text (.txt) di dalam sebuah halaman web yang berisi perintah-perintah halaman mana yang boleh di index dan mana yang tidak boleh diindex oleh spider/perayap mesin pencari.

Contoh penampakan file robots.txt tersebut kurang lebih seperti ini :

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://namablogmu.blogspot.com/feeds/posts/default?orderby=UPDATED

Disini saya akan memberikan sedikit Trik SEO untuk blog sobat sekalian. Robots.txt ini bisa kita optimalkan lebih bagus lagi untuk mencegah terjadinya duplikat konten oleh mesin pencari .

Caranya masuk ke Dashboard >  Setelan > Preferensi penelusuran > Klik “Edit” pada bagian “robots.txt khusus” setelah itu akan muncul pertanyaan “Aktifkan robots.txt khusus” pilih Ya. Selanjutnya tinggal sobat masukan kode robots.txt berikut dibawah ini:

User-agent: Mediapartners-Google

Disallow: 

User-agent: Googlebot

Disallow: /search

Disallow: /?m=1

Disallow: /?m=0

Disallow: /*?m=1

Disallow: /*?m=0

User-agent: *

Disallow: /search

Sitemap: http://namablogmu.blogspot.com/feeds/posts/default?orderby=UPDATED

Ganti http://namablogmu.blogspot.com dengan URL Blog kalian.

Kode robots.txt di atas bersisi perintah agar spider/perayap mesin pencari Google tidak mengindex halaman versi seluler yang dalam keadaan default, halaman versi seluler sering ikut terindex mesin pencari dan menyebabkan duplikat konten.

Mungkin itu saja yang bisa saya berikan Trik Cara Mengoptimalkan Robot.txt Agar Mencegah Terjadinya Duplikat Konten, semoga dengan setelah mengganti script robot.txt yang terbaru di atas bisa membuat blog sobat terjauh dari yang namanya duplikat konten yang bisa membuat blog sobat terkena sanksi oleh pihak Google. Jangan lupa share dan kommentnya jika ada kekurangan atau yang mau di tanyakan. Terimakasih sahabat malas berkreasi.


sumber : sugeng.id

Share this post