Cara Setting Robots.txt di Blogger / Blogspot
Kang Ismet
Untuk lebih memahami pengertian dan cara kerja robots.txt, supaya lebih difahami, akan saya buat soal jawab seperti pada artikel Seputar Algoritma Hummingbird.
Apa itu robots.txt?
Robots.txt adalah perintah bagi robot mesin pencari untuk menelusuri atau tidak menelusuri halaman pada blog kita. Boleh dikatakan robots.txt adalah filter blog kita dari mesin pencari.Apakah setiap blog mempunyai robots.txt?
Ya, semua blog sudah mempunyai robots.txt yang diberikan oleh blogger. Secara default robots.txt pada blog seperti ini :User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATEDApa arti dari kode-kode di atas?
User-agent: Mediapartners-GoogleRobot Google Adsense merayapi blog
Disallow:
Yang tidak diperbolehkan tidak ada
User-agent: *
Semua robot Search Engine / mesin pencari
Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...
Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED
sitemap atau alamat feed blog kita.
Kenapa label tidak dimasukan ke pencarian?
Dengan penulisan kode default Disallow: /search, artinya perayapan untuk label seperti alamat http://namablog.com/search/label/Tutorial, nantinya tidak akan dirayapi oleh mesin pencari karena Label bukan URL yang real menuju satu halaman tertentu.Bagaimana cara mencegah robot pada halaman tertentu?
Untuk mencegah google merayapi halaman tertentu di blog sobat, katakan sobat tidak ingin halaman about me diindex oleh mesin pencari. Untuk URL about me pada blog sobat misal : http://namablogsobat.blogspot.com/p/about.htmlMaka untuk robots.txt, silahkan copy kode defaut di atas, tambahakan halaman yang tidak diperbolehkan, hasilnya seperti ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATEDDimana cara edit robots.txt?
Untuk menambahkan atau editing robots.txt, masuk ke Setelan > Preferensi Penelusuran, pada Robots.txt klik Edit kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan > Simpan PerubahanSaya tidak pernah utak atik robots.txt, bagaimana?
Tidak apa-apa, blog sobat tetap akan dirayapi oleh robot-robot mesin pencari karena seperti saya sebutkan sebelumnya, setiap blog sudah mempunya robots.txt default.
Hati2 dengan penggunaan robots.txt, apabila salah penulisan bisa jadi blog sobat diabaikan oleh mesin pencari.
Pertamax diamankan..
request tea mang... :) candak we ka pom nya
yang ditunggu akhirnya datang juga, makasih kang ..
btw yang tag tajuk robot khusus apa kang ??
Kang ada 2 pertanyaan:
1. Kalo sitemap pakai: namablog.blogspot.com/sitemap.xml gimana?
2. post diatas kan soal robots.txt khusus, terus gimana sama Tag tajuk robot khusus?
Numpang kasih pendapat ah di komentar sobat yg ini. Menurut yg saya tau untuk pertanyaan pertama, justru itu lebih bagus lagi sob kalau sitemap blog udah pake yg sitemap.xml tapi masih bisa kok pake sitemap yg lain maksimal katanya 3 sitemap yg bisa kita kirimkan ke SE lewat WMT blog. Terus untuk pertanyaan yang kedua menurut saya, pengaturan lebih spesifik lagi dari yg kita udah tetapkan pada robot.txt khusus yaitu pada halamn depan, halaman posting blog dan halaman arsip blog. Sama halnya dengan pengaturan robot.txt khusus, kesalahan pengaturan pada bagian Tag tajuk robot khusus akan berakibat fatal juga terhadap blog. Selanjutnya saya serahkan pada Kang Ismet untuk menanggapi lebih jauh tentang ini.. :)
Mohon ijin, sekedar tambahan,
File robots.txt paling sederhana menggunakan dua aturan:
User-agent: robot yang diterapkan dengan aturan sbb :
Mediapartners-Google
Googlebot
Googlebot-Mobile
Googlebot-Image
Adsbot-Google
Disallow: URL yang ingin Anda blokir
Setiap bagian di file robots.txt terpisah dan tidak disusun dari bagian sebelumnya. Misalnya:
User-Agent: Googlebot
Disallow: /file/
User-agent: *
Disallow: /search
Pada contoh diatas hanya URL dengan /file/ yang tidak akan diizinkan oleh Googlebot, yang kedua semua halaman diizinkan/ditelusuri oleh mesin pencari , kecuali untuk perayapan label karena ada penambahan fungsi /search .perlu diketahui, tanpa penambahan fungsi /allow dikarenakan fungsi User-agent: * atau dengan penambahan tanda bintang itu mengintruksikan seluruh halaman untuk dapat ditelusuri robot
CONTOH
Untuk memblokir seluruh situs
Disallow: /
Untuk memblokir direktori dan segala yang ada di dalamnya
Disallow: /junk-directory/
Untuk memblokir halaman tertentu
Disallow: /private_file.html
…
Haturnuhun kang ngartos ayena mah :)
Kang saya mau tanya, blog saya kan masih baru. postinganya aja baru 50. Tapi kesalahan perayapanya ada ratusan url, Semuanya belum pernah saya posting,tp terindek.
Screenshot:
https://lh4.googleusercontent.com/-cNHttU_IBio/Uls5l1U0iII/AAAAAAAAB2Q/jJdjiF-Wzq4/w1044-h502-no/Kesalahan+perayapan.png
Di hapus saja mas Heri di webmasters tools masuk ke crawl errors dan hapus masing-masing di atas satu persatu. Dulu awal pertama tahu ada yang crawl errors saya juga sampai ratusan juga, tetapi sering cek di webmasters jadi minimal.
Mungkin Kang Ismet bisa membuat simpel caranya
naah ini baru lengkap + pengertian nya :)
jangan lupa tentang "Tag tajuk robot khusus" dibahas jg ya kang :)
Sobat Yori sebagai referensi dari saya tentang pengaturan "Tag tajuk robot khusus", sapa tau screenshot ini bisa membantu nanti
https://lh3.googleusercontent.com/-vwCRG8PtTHc/Ult5X9WAkxI/AAAAAAAAHkI/pZih1Dm1o0o/s710/Tag-Tajuk-Robot-Khusus.jpeg
Sayanyimak saja, soalnya takut ada apa-apa sama blog saya. terima kasih sudah berbagi ilmu.
di diemin juga ga masalah ko.. saya juga ga pernah utak atik ko
izin nyimak kang ismet!
- selamat idul adha 1434 H -
salam damai!
sama2 sob.. selamet lebaran ya...
wow lengkap banget penjelasannya tentang robots.txt..
setelah baca ini sekarang ane lebih paham...
makasih kang udah berbagi :D
sama2 sob..
aku cek robots.txt blogku (http://www.edynlaskar.com/robots.txt) hasilnya ghini,,
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Sitemap: http://edynlaskar09.blogspot.com/feeds/posts/default?orderby=updated
[ask] kok url sitemap masih ada embel-2 blogspotnya yah,,,?? kira-2 klo dirubah,, akan bermasalah gak kang ???
Ada yang lagi galau dengan kondisi sitemap blognya nih.. :D Tapi kayaknya udah kelar tuh coz saya coba cek tadi sitemap blognya udah nggak ada embel2 blogspotnya
Komentar ini telah dihapus oleh Unknown sebagai penulis.
Saya nyimak aja dulu mas, soalnya masih belum terlalu paham tentang robot.txt, nanti diutak atik malah rusak blogx mas.
masih proses belajar terus ni tentang optimasi blog dari kang ismet.
mending cari aman aja sob
baru2 ini saya baru faham mengenai robot text yang di share oleh mas adhy. untuk seorang blogger tentu hal ini perlu dipahami secara detail. mantap deh kang :-bd
aku jg perlu mengetahui engkau secara detail deh...eh!!!!
akhirnya ketemu juga,,sebenar banyak sihh yg sudah bahas ni artikel tapi saya kurang percaya,,hehehehe..kalau tutornya dari kang ismet sihh pasti percaya :-d
sama aja sob... :)
Hal penting tuh tapi harus extra hati-hati kang dengan yg namana robot ..sok hese diatur hehe
teu bisa diatur mah dagor we kang :)
Nice Share Kang Jadi Saya Udah Ngerti Robot.txt. Mau Nanya Sedikit Mas Itu Tombol Click Me Pada Header Gimana Cara Buatnya Mas ?
itu pake lightbox evulotion sob
ini yang saya cari" :D
emang nyarinya kemana? :D
izin nyimak kang :)
- absen dulu -
damai!
silahkan sob..
Untuk saat ini saya masih belom berani ngotak-atik robots.txt,, mending dibiarin aja yg penting gk diabaikan ama om google,, hehehhe...
sama sob.. saya juga ga pernah utak atik... biarin default aja lah
Punya saya sudah di setting kang :D
congrats deh sob... :-bd
Kalau saya biarkan saja Kang takut utak atik malah error atau de indeks sama googlenya :)
ga masalah sob. punya saya juga masih defailt ko
Merhaba blogun çok iyi benim sitemede beklerim :)
ziyaret ettiğiniz için teşekkür ederiz
thx son
http://duniagame7.blogspot.com/
Makin keren nih Kang Ismet blognya :D
Hehe gara-gara kemarin OFF beberapa hari, blog saya langsung banyak Error di WMT, dan Index di Google juga berubah :D
biasa aja sob.. gimana blognya sudah normal?
Penjelasana rinci pisan kang heheheeh :-bd
Wilujeng boboran ah... salam oge kanggo keluarga kang....
sami2 kang.. salam oge ka sadayana :)
waduh,, blog mas ini bner" bermanfaat.. rata" semua artikelnya sangat membantu.. :D thankssss...
hehehe mampir juga ya ke gubuk sederhana sya http://www.muamar-kurosaki.com/
maaf.. komentar sobat terblok otomatis oleh sistem
Komentar ini telah dihapus oleh Unknown sebagai penulis.
# diluar tema
[ask] kang gimana buat widget kayak gambar dibawah ini ?
http://i.imgur.com/C5KzDKl.png
nanti saya buat postingan khusus sob.. kalau dijelasin disini kepanjangan
mau tanya gan cara mengatasi Kesalahan: Missing required field "updated".
Kesalahan: Missing required hCard "author" saya sudah pake cara di blog agan masih gak berhasil tau gak caranya? saya cari digoogle juga gak bisa,,,plis gan bantu yg sesuai dengan blog syaa : www.bmaster23.blogspot.com ,,,makasih gan!
Coba cari code ini mas
<a class='timestamp-link' expr:href='data:post.url' rel='bookmark' title='permanent link'><abbr class='published' expr:title='data:post.timestampISO8601'><data:post.timestamp/></abbr></a>
Kalau gak salah kode seperti di atas ada 2 ganti semua dengan kode di bawah ini
<a class='updated' expr:href='data:post.url' rel='bookmark' title='permanent link'><abbr class='updated' expr:title='data:post.timestampISO8601'><data:post.timestamp/></abbr></a>
ini maksudnya apaan kang, belum ngerti saya tentang ini ?
nyuruh robot, memeriksa atau jangan memerikas blog kita. itu intinya
Untuk Masalah robotstxt....saya ngikut kang ismet..mending cari aman saja..
setuju mas... cari aman aja
Ijin ngintip heula, kang...sapa tau ada template iklan buat blog terbaru :D
Sukses terus untuk akang Ismet.
kade bintitan :)
Sama dengan mas Mahfid Mayanto saya maen aman aja mas, ndak pernah saya otak - atik robotstxt.
Tapi ada sedikit yang tanyakan mengenai masalah label yang tidak diarayapi oleh mesin pencari kang (emangnya kayu pake dirayapin segala) :D kebetulan link kategori atau label ini saya letakkan di navigasi menu. Ternyata ada yg janggal ketika saya coba search link url artikel di blog saya yakni kategori / label yang di navigasi menu tersebut ikut muncul di mesin pencari (rich snipped) contohnya :
http://1.bp.blogspot.com/-0BUBBDFB3cE/Ulwubp3nOzI/AAAAAAAABq0/JTck2F2ap1w/s1600/Untitled.png
Untuk saat ini sudah saya coba tambahkan atribut rel="nofollow" pada struktur link di nav menu saya niatnya biar ga kedetek mesin pencari. Pertanyaan saya, Apakah yang saya lakukan sudah bener atau barangkali mas ismet punya solusi lain?
Kalau menurut saya sob nda usah pake rel='nofollow' pada link label yang ada di menu navigasi blognya tapi pake aja rel='tag'. Berdasarkan saran dan pengalaman dari master seo juga sih.. :D
betul sob, coba paka rel="tag" kalau nofollow menyatakan link tidak dofollow
kang, kalau untuk mencegah robot mengindex url dr feed komentar nulisnya gimana....???
Kalau menurut saya, lakukan saja pengaturan tsb pada webmster tools blognya sob tepatnya di bagian parameter URL supaya url feed komentar misalnya seperti ini : http://blog.kangismet.net/2013/10/cara-setting-robotstxt-di-blogger.html?showComment=1381775338199#c8938640957461620488 tidak diindeks. Menurut pengalaman saya sih. Kalau menurut Kang Ismet, gmn??
Selamat Pagi Kang :)
Selamat Idul Adha 1434 H :)
saya juga kang, :)
- salam damai -
sipppp kang :-bd
Komentar ini telah dihapus oleh yudipr sebagai penulis.
Seandainya saya bisa ketemu dengan robot teks google
saya akan menanyakan tentang kerja ngeblog yang baik hhh
Terima kasih artikel nya Kang Ismet
Mantab (y) ijin nyoba kang :D
kang untuk url yang di cekal di web master ada pengaruhnya tidak buat blog ?
justru bagus, kalau emang yang dicekal itu membahayakan blog kita
makasih kang sangat bermanfaat :)
sangat bermanfaat terimakasih
Ijin nyimak gan.. http://www.nehandnews.com
Ini yang saya suka dari kang ismet jelas bagt artikel nya hehehe
Ini yang saya cari...makasih banyak infonya mas :)
oh ya mau nanya kenapa blog saya tidak terindex, padahal tidak pernah utak-atik robots.txt
cara mereset ulang pengaturan webmaster robot.txt gmn kang, robot.txt saya udah parah banget, artikel 1 pun gtak ada yg keindeks search engin
robot.txt-nya tidak pernah diutak-atik tapi kok dicekal ya kang waktu dicek di google webmaster?
kang kalo saya robots.txt khususnya [Dinonaktifkan] , apa harus di aktifkan kang? kaya cara di atas?
kalo robots.txt yang akan kaya gimana ?
kalo tag rajuk blogger gimana om?
untuk menampilkan iklan di search/label mohon diperjelas kang,......mksh
saya ga ngerti maksudnya
Blog saya banyak URL nya mengalami pencekalan robot txt. Makasih infonya Kang, moga terbebas dari pencekalan setelah praktik cara ini. Salam kenal Kang ?
Kunjungan perdana saya di blognya kang ismet :-bd soalnya baru punya semangat ngeblog di awal tahun baru. Saya punya masalah di webmaster tepatnya di kesalahan perayapan. Di tab ponsel cerdas banyak yang di blok, jumlah yang diblok sama dengan jumlah artikel yang sudah saya publikasikan. Saya menggunakan kode robots.txt seperti ini User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Menurut sumber itu untuk mencegah duplikat konten pada mobile.
Menurut kang ismet, ini berbahaya gak? saran kang ismet saya tetap menggunakan ini apa mendingan default aja.
munkin bisa menyebabkan error crowl pada tampilan smartphone
biar kebaca google berapa jymlah postingan kita bung??
Mau tanya kang
carana agar halaman posting,label,arsip dll blog tidak di index mesin telusur? tapi pada alamat webnya bisa di index mesin telusur?
jadi kalau ngetik di gugel site:namablog.blogspot.com
ntar hanya menampilkan index alamat blognya saja "namablog.blogspot.com", dan tidak menampilkan halaman posting,label,arsip dll yg ada di blog tersebut?
kira-kira perintahnya gimana kang?
kang kalau feeds/posts/default?orderby=UPDATED di ganti pakai ini feeds/posts/default?max-results=9999&alt=json-in-script&callback=loadtoc bisa pa ga
kang di wmt ada robots.txt tapi di settingan blogernya gak ada
hmmm di artikel sdha lumayan bagus car amnjelaskan nya .tapi msih kurang jelas cara mebuat semua kode yg harus dimasuka ke bolg kita spya ga salah ....
skr sy mau nanya aja , kan itu ada 3 poin / 3 kode
nha.. ketika itu masing2 cara membuatny agmna... krn setingan asli bloger itu di nonaktifkan,,, jd klo bru di aktifkan robot,txt masih kosong ... tolng beri pnjlsan yg detil n akurat mksih
membantu sekali tutornya ga,,
mari mampir blog sy
duh hatur nuhun kang.... by muizcyan-xp
check kang blog simkuring www.muizcyan.co.vu
bagus kang artikelnya :)
gampang gampang susah juga yaa bang klo kita bikin situs online itu khususnya website atau toko online pendidikan saya disini kurang mendalami yang saya dalami adalah prodak murah cari prodak murah untuk saya pasang di toko online saya ternyata kita harus bisa mengerti tentang seo dan para konco2 nya seo termasuk robots.tkt
lantas setinganya harus gmn ya bang agar bisa toko online saya bisa terdeteck oleh google
visite : www.herigrosir.com
Komentar ini telah dihapus oleh Unknown sebagai penulis.
ok kang makasih infonya oh ya jangan lupa mampir ke tempat kami
nambah tali silaturahmi www.aslipermata.com
BLOG BARU GAN
http://kecantikan-alatbantusexsurabaya.blogspot.com/
Menyimak dari mulai artikel dan semua komentar, alhamdulillah dapat ilmu tentang robots.txt. Makasih kang ismet dan semua sahabat lainnya.
ngiring nyimak nya...
Infonya sangat membantu sekali untuk saya yg newbie, trimakasih kang ismet. Mohon penjelasannya supaya cepet dapet backlink banyak
http://kebal-online.blogspot.com
ok kang ismet top lah.. tong hilap mampir kasaung abdi
kalo yang tag tajuk belum ngerti saya gan
Salam kenal kang, kalo ganti domain berarti harus juga dong URL di robot.txt nya ya kang?
ngiring nyimak nya kang kumplit sekali nih pembahasan nya sangat bermanfaat,
http://papaparpat78.blogspot.com
banyak pengaruh nggak sih url yang dicekal terhadap blog??
kyanya kok sma aja ya,g begitu ngaruh..
Ini informasi yang gamblang dan to the point, saya mudah memahaminya, terima kasih kang, salam.
Wah, ternyata resikonya berat juga ya kang kalo salah dalam settingan robot.txt
:-d sip gan terimakasih
http://gayakitakan.blogspot.com/
waah gan makasih nih tipsnya , btw ane juga sama seperti itu gan banyak kesalahan di webmaster tool nya -_- , oh iya gan , proses lamanya indexing oleh google setelah sitemap yg di submit ke webmaster berapa lama yah ?
Bagus nih Tipsnya gan.. Salam Kenal Gan Pendatang Baru nih.. Masih newbi http://multiglobalinfo.blogspot.com/
mantap kang ismed...
mampir juga di http://takgawekonteswae.blogspot.com untuk sekedar berkomen di blog pertama saya..hehehe baru belajar
Klo Sitemap diganti dengan Sitemap: http://namablog.blogspot.com/sitemap.xml bagaimana?? mohon pencerahannya mas.. :)
kang mau tanya nih..
saya kan daftar sitemap di webmaster tools cuma bukan pake sitemap.xml tp atom.xml karena blognya udah pake domain TLD.
Nah disitu jumlah yang terindeks dan terkirim berbeda.
Terkirim 107 terindex cuma 10. Gmn solusinya biar sama.
:)
ijin share kang.....
http://bukawww.blogspot.com/
permisi akang2 master...saya mau tanya :
1.bagaimana jika kita biarkan saja custom robot txt apa ada pengaruhnya.
2.jika kita melakukan perubahan pada custom dan tajuk robot apakah masih perlu melakukan pengeditan tag html templatenya.
3.seberapa pengaruh terhadapat terjadinya duplicate2 yg sering terjadi pada penyempurnaan html...
terimakasih sebelumnya dn maaf atas ketidak tahuan saya
kunjungan siang hari
Sip gan follow back ya
Komentar ini telah dihapus oleh Unknown sebagai penulis.
Salam kenal, mohon pencerahannya kang...
1. misalnya saya ingin memblokir link2 ini :
/2014/02/&target=facebook
/2013/03/&target=email
/2012/01/&target=buzz
salah tidak kalau di robot.txt saya tulis
Disallow: /*/*/&target=
2. salah tidak untuk memblokir semua page saya tulis
Disallow: /p
Kalau salah bagaimana yang benarnya?
Terima kasih
bgmn cara setting tag tajuk robot khusus bro
Thanks infonya gan sangat bermanfaat
Lanjutkan :)
Maksih banyak buat bagi-bagi ilmunya. Semoga berkah.
maaf saya mau tanya, klo settingan robot.txt di tumblr carinya di sebelah mana ya? tumblr saya tidak bisa di search di google. makasih.
klo untuk memansang sitemap.xml di robot txt khusus gimana caranya gan ?
mantap gan... alatipsehat.blogspot.com
ane dah mulai masukin tag diatas di scritp.. moga moga bisa page one
SIp gannn sangat membantu :) jgn lupa mampir yaa http://blogsensei-nathan.blogspot.com/
wah2 luar bisa artikelnya sangat membantu,,...
jangan lupa mampirya gan....http://medanlapasilla.blogspot.com/
Setelah membaca penjelasan kang ismet dan para top komentator, saya jadi takut untuk melakukan settingan ini. salah dikit akibatnya ngeri :D hehehehe