Cara Setting Robots.txt WordPress SEO Friendly

Cara Setting Robots.txt WordPress SEO Friendly
Spread the love
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

Cara Setting Robots.txt WordPress SEO Friendly, Aturan Lama Sudah Tidak Berlaku!

Cara Setting Robots.txt WordPress SEO Friendly. Robots.txt adalah sebuah file yang berisi pedoman atau aturan bagi Robot-crawler untuk bagaimana mereka akan merayapi dan mengindexs situs web atau blog sobat. Dengan robots.txt, kita bisa memblok folder atau files tertentu pada direktori blog agar tidak dirayapi oleh Google.

Banyak tutorial yang disajikan di internet tentang cara pengaturan robots.txt ini. Tapi tahukah kamu kebanyakan aturan itu sudah tidak berlaku lagi?

Beberapa tahun belakangan ini Google terus melakukan perubahan algoritma dalam hal perayapan dan pengindeksan pada blog atau website. Oleh karena itu, hal tata cara pengaturan file robots.txt yang selama ini kita pahami menjadi tidak berlaku lagi.

Berikut ini setting robots.txt pada WordPress yang kita ketahui :

sitemap: https://juraganblog.com/sitemap.xml
User-agent: *
# disallow all files in these directories
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /*?*
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/
Disallow: */trackback/
Disallow: /wp-*
Disallow: /*?*
User-agent:Mediapartners-Google*
Allow:/
User-agent:Googlebot-Image
Allow:/wp-content/uploads/
User-agent:Adsbot-Google
Allow:/
User-agent:Googlebot-Mobile
Allow:/

Mengapa pengaturan ini sudah tidak berlaku lagi?

Simak penjelasan berikut ini :

Sejak pembaharuan Google Panda versi 4.0, Google tak lagi hanya merender kode-kode HTML saja dan mengabaikan CSS dan Javascript dari blog kamu, tapi Google “harus” merender seluruh blog kamu termasuk file CSS dan Javascript ini.

Dengan pengaturan lama seperti di atas, artinya kamu tidak mengijinkan Googlebot untuk mengakses file CSS dan Javacsript dari blog.

Mengapa?

Karena file CSS dan Javascript ini berada pada folder wp-includes dan wp-content yang kamu blok dengan perintah Disallow: /wp-content/ Disallow: /wp-includes, dan Google membenci hal ini.

Akibatnya robot crawler tidak sepenuhnya mengerti bagaimana sebenarnya tampilan dari blog kamu.

Lihat gambar ini :

Bagaimana Cara Menguji Setting Robots.txt Sudah SEO Friendly?

Gambar sebelah kanan adalah bagaimana tampilan blog sebenarnya, gambar sebelah kiri adalah bagaimana Googlebot melihat blog kamu. Acak kadut ga jelas. Ini akibat dari file CSS dan Javascript diblok oleh Robots.txt

Setting Robots.txt Yang SEO Friendly, Aturan Lama Sudah Tidak Berlaku!

Pada gambar di atas terlihat file style.css, file .js diblokir oleh Robots.txt, dan tingkat kegawatan (Severity-nya) mulai dari High, Medium hingga Low. Ini berbahaya karena sangat berpengaruh terhadap SEO dan menjadi salah satu faktor yang mengakibatkan turunnya SERP.

Efek buruk berikutnya adalah, blog kamu bisa jadi dianggap tidak mobile-friendly.

Bagaimana Cara Setting Robots.txt SEO Friendly

Mengapa?

Karena yang mengatur agar tampilan blog menjadi mobile-friendly adalah file CSS dan Javascript ini. Ya sekali lagi, kamu memblok file-file ini.

Untuk menguji apakah blog kamu mobile-friendly atau tidak, kamu bisa menggunakan tools yang diberikan google ini Mobile-Friendly Test

Setting Robots.txt Yang SEO Friendly, Aturan Lama Sudah Tidak Berlaku!

Masukkan alamat blog kemudian RUN TEST. Tunggu beberapa saat hingga google selesai mem-fecthing halaman blog kamu.

Setting Robots.txt Yang SEO Friendly, Aturan Lama Sudah Tidak Berlaku!

Hasilnya, ada 15 sumber halaman yang tidak bisa diakses oleh Googlebot. Ini merupakan indikasi awal bahwa blog kamu dianggap tidak mobile-friendly oleh Google. Padahal kita ketahui bahwa sejak April 2015, Google telah meluncurkan algoritma terbarunya yaitu mobilegeddon, yang mengharuskan sebuah situs agar dioptimalkan dalam tampilan mobile atau mobile-friendly.

 

Kalau blog tidak mobile-friendly, maka blog kamu tidak akan muncul dalam halaman pencarian jika searching dilakukan menggunakan smartphone (ini berdasarkan pengalaman pribadi).

Google updated their webmaster guidelines in October 2014 and warned then that blocking CSS and JS can result in “suboptimal rankings.” Now Google is making sure to make that message loud and clear by using notifications via email and the Search Console. searchengineland.com

Menurut searchengineland.com, kalau kamu memblok CSS dan JS, maka akan mengakibatkan tidak optimalnya SERP.

Don’t block Googlebot from accessing your CSS and JS files. These files allow Google to decently render your website and get an idea of what it looks like. If they don’t know what it looks like, they won’t trust it, which won’t help your rankings. Yoast.com

Yoast.com mengatakan bahwa jika Googlebot tidak tahu tampilan blog kamu yang sebenarnya seperti apa, maka Googlebot tidak akan mempercayai situs-mu dan tidak akan membantumu di SERP.

Setelah peluncuran video Matt Cut tersebut, google membuat perubahan yang signifikan untuk pedoman webmaster mereka dengan menambahkan ke pedoman teknis mereka yaitu:

Melarang Googlebot untuk merayapi Javascript atau file CSS di robots.txt situs Anda secara langsung bisa merusak cara algoritma google dan indeks konten, hal ini tidak akan dapat menghasilkan peringkat sub optimal yang lebih baik untuk peringkat seo.

Lalu seperti apa setting robots.txt yang SEO Friendly?

Ini yang benar :

Sitemap: https://purwantoblog.com/sitemap.xml
Sitemap: https://purwantoblog.com/news-sitemap.xml
User-agent: *
Disallow : /wp-admin/
Allow: /wp-admin/admin-ajax.php

Ganti tulisan berwarna merah dengan alamat sitemap kamu.

Bahkan menurut Yoast.com, meletakkan kode sitemap.xml di Robots.txt hanya omong kosong belaka, tidak ada manfaatnya.

We’ve always felt linking to your XML sitemap from your robots.txt is a bit nonsense. Yoast.com

Yoast mengatur robots.txt mereka dengan tidak mengisi teks apapun di dalamnya atau sama sekali tidak menggunakan file robots.txt.

Menurut dokumentasinya Google, kamu tidak selalu memerlukan file robots.txt, tapi menurut saya jika ingin memblokir halaman tertentu, misalnya halaman Tentang Saya, Privacy Policy atau Kontak Saya tentu sah-sah saja. Ini setting robots.txt yang saya gunakan :

Sitemap: https://purwantoblog.com/sitemap.xml
Sitemap: https://purwantoblog.com/news-sitemap.xml
User-agent: *
Disallow: /wp-admin/
Disallow: /page/
Disallow: /about-us/
Allow: /wp-admin/admin-ajax.php

Bagaimana Cara Menguji Setting Robots.txt Sudah SEO Friendly?

Login ke Google Search Console, dari menu Perayapan » Ambil Sebagai Google

Setting Robots.txt Yang SEO Friendly, Aturan Lama Sudah Tidak Berlaku!

Biarkan URL kosong, kemudian pilik Dekstop dan Soluler: Ponsel Cerdas secara bergantian kemudian klik AMBIL DAN RENDER. Tunggu beberapa saat hingga selesai.

Setting Robots.txt Yang SEO Friendly, Aturan Lama Sudah Tidak Berlaku!

Jika sudah selesai, klik masing-masing pada Seluler: Ponsel Cerdas dan Dekstop.

Lihat hasilnya, jika Googlebot masih belum melihat pada tampilan yang seharusnya, berarti masih ada file CSS dan Javascript yang masih diblokir oleh Robots.txt.

Jika kamu sudah memperbaiki Robots.txt sesuai setting yang benar di atas tadi, lakukan submit ulang Robots.txt melalui Google Search Console melalui menu Perayapan » Penguji Robots.txt

Setting Robots.txt Yang SEO Friendly, Aturan Lama Sudah Tidak Berlaku!

Salin dan tempel teks robots.txt pada textarea yang tersedia, kemudian Kirim. Pilih opsi nomor 3 » Kirim.

Setting Robots.txt Yang SEO Friendly, Aturan Lama Sudah Tidak Berlaku

Tunggu hingga muncul notifikasi “Berhasil! Muat ulang laman Penguji dalam satu menit untuk mengonfirmasi stempel waktu.”

Jika sudah selesai, lakulan langkah Ambil Sebagai Google kembali agar Googlebot merayapi blog yang Robots.txt-nya sudah kamu perbaiki.

Uji kembali hingga hasil yang dilihat Googlebot sama dengan tampilan blog kamu yang seharusnya.


Spread the love
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •   
  •   
  •   
  •   
  •  

Leave a Reply

Your email address will not be published. Required fields are marked *