Cara Custom robots.txt di Blog

Cara Custom robots.txt di Blog - Tahukah anda Fungsi Robot.txt ? fungsi Robot.txt adalah  dapat membantu perayapan robot pada blog kita dan membantu indexing blog kita, maka dari itu menggunakan robot yang baik akan membantu index blog kita dan di google dapat melakukan berbagai macam kostumisasi perintah untuk mengizinkan/tidak mengizinkan robot crawler search engine melakukan

crawl terhadap direktori atau halaman tertentu.

Cara Custom robots.txt di Blog :

   1.Pergi ke dashboard > settings > search preferences > crawlers and indexing > custom robots.txt

   2.Lalu kemudian klik edit lalu klik yes

   3.Setalah itu isikan kode perintah robot.txt

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://boymsn-zein.blogspot.com/feeds/posts/default?orderby=updated

    4.Save !

Ganti kode yang berwarna hijau dengan kode URL blogmu !