Apa itu robot.txt dan Custom File robot.txt blogger (SEO Friendly)

Apa itu robot.txt ? apakah kalian ingin membuat sendiri robot.txt? saya disini akan memberikan contoh cara menambahkan file kustom robot.txt agar menghandari yang namanya auto visitor dan mengontrol halaman yang akan di indeks oleh mesin pencari seperti google, yahoo, dan bing.

Apa itu robot.txt?
robot.txt adalah sebuah file yang wajib dimiliki semua web di internet yang memiliki extension .txt,
file robots.txt berinteraksi dengan semua jenis crawler atau laba-laba seperti Googlebot, yang merupakan laba-laba mesin pencari Google. Mesin pencari selalu mengupdate konten web di internet sehingga mereka mengirim crawler atau spider untuk menangkap halaman baru yang akan ditampilkan di mesin pencari tersebut. Kita juga bisa mengantur halaman apa saja yang akan di indeks mesin pencari ini ada hubungannya dengan SEO.
 
Dimana file robots.txt terletak?
file robots.txt ditempatkan pada direktori root dari setiap website atau blog. Spider tidak ragu untuk mana harus pergi untuk menemukan file robots.txt. Jika Anda tidak memiliki file robots.txt ke dalam direktori root dari domain Anda maka crawler oleh crawl default dan indeks masing-masing halaman blog Anda.
Anda dapat mengakses file robots.txt Anda dengan menambahkan robots.txt ke direktori root dari blog atau website Anda. Jika URL domain website Anda adalah "www.domainanda.com" maka Anda harus mengakses file robots.txt Anda dengan "www.domainanda.com/robots.txt" URL.
 
Bagaimana cara menambahkan file kustom robot.txt?

Buka blogger anda  -> pilih blog  -> dashboard  -> Settings -> Search preferences
 
Berikut fungsi mengenai kode yang ada pada robot.txt :
User-agent: * Disallow: / =  Memblokir semua konten dari seluruh web crawler
User-agent: * Disallow: /search Disallow: /p  = Memblokir direktori dari semua web crawler 
User-agent: * Disallow: /p Allow: /p/about-us.html= Memungkinkan item ke direktori diblokir dari Googlebot
User-agent: * Disallow: Sitemap: http://blogname.blogspot.com/sitemap.xml  = Menampilkan sitemap di file robots.txt

SEO friendly robots.txt file di Blogger

User-agent: Mediapartners-Google
Disallow:

User-ageant: *
Disallow: /search
Allow: /
Sitemap: http://blogname.blogspot.com/sitemap.xml

Demikian informasi mengenail robot.txt , hati-hati dalam mengedit file ini karena sangat berpengaruh pada SEO, semoga bermanfaat.

Tweet

Apa itu robot.txt dan Custom File robot.txt blogger (SEO Friendly)

4/ 5

Oleh Unknown

Ditulis Unknown Pada 12:29:00 AM 10 Komentar