Sitemap di blogspot - masalah URL restricted by robots.txt

Setelah saya posting masalah cara memblokir duplikat konten, kemarin dan tadi buka email ada yg ngirm mail gini (sdh sy balas ke emailnya) :"Mas iwan, sy pasang meta tag untuk membokir duplikat konten dari artikel mas itu lalu saya lihat di google webmaster kok ada semacam warning pada URL restricted by robots.txt . tanggal warning itu terhitung saya habis memasang meta tag itu, padahal sebelumnya ngga ada. gimana nih ,apa brerbahaya buat seo blog saya " , gitu deh intinya saya singkat.

Jawab, gini aja sederhananya...:
- Untuk pengguna hosting gratis blogger/blogspot , memang halaman url http://blog-anda.blogspot.com/search/label/nama label , adalah emang dari sono-nya/default, tidak akan di indeks/crawl oleh search engine , karena pada direktori server blogger /search/label , emang tidak di ijinkan untuk di indeks mesin pencari manapun.

-Pesan "URL restricted by robots.txt" nongol jika memasang atritub meta tag yang mengandung "index" atau "follow" , pada suatu halaman spesifik , yg di artikan sebagai perintah kepada robot search engine untuk melakukan indeks ....nah, karena pada wilayah /search/label , itu tak bisa di indeks , maka muncul-lah pesan "URL restricted by robots.txt" , sebagai konfirmasi dari si robot bahwa halaman pada url itu tidak bisa di indeks.
- Robot.txt blogger/blogspot bisa dilihat pada url :http://blog-anda.blogspot.com/robots.txt , dan semuanya punya format kaya di bawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Sitemap: http://free-7a.blogspot.com/feeds/posts/default?orderby=updated

- Artinya emang wilayah search/label/ emang tak akan di crawl oleh searh engine, biar di tambahin script meta tag apapun ,dan pesan " URL restricted by robots.txt" hanyalah konfirmasi saja.

- Dan hubungannya dengan script cara meblokir duplikat konten adalah, script itu akan membuat efektivitas si crawl, yang mana tak akan mengindeks halaman2 archive yang tidak berhubungan dengan "query" yang di ketikan orang di search engine. jadi duplicate contents dari URL restricted by robots.txt , ini tidak di artikan sebagai duplikat konten dari suatu konten kita yang akan menurunkan kualitas SEO dari blog kita ( saya dah menerapakan teknik itu setahun lebih buat blog2 saya)

- Dan dari pihak google webmaster central sendiri sudah mengklarifikasi, bahwa "URL restricted by robots.txt" in blogger is no problem , dan cara memblokir konten biar lebih efektif seacara SEO itu adalah tetap baik jika di jalankan, kalau tidak ya tak apa2, karena banyak teknik optimasi seo dan oleh keyword yg bisa anda lakukan.

Jika anda ragu dengan seorang seo pemula kaya saya , di bahwa ini saya copy-paste sebuah cuplikan diskusi serta jawaban dari Contributor google Webmaster central yang berhubungan dengan masalah robot.txt di blogspot ini yg pernah saya dokumentasikan, url-nya dari diskusi ini saya lupa , coba cari aja sendiri ya, pasti ada, ini yg saya simpan di catatan lama saya dulu sebagai referensi belajar seo buat saya.
//
- visya
"Google was unable to crawl the URL due to a robots.txt restriction: your robots.txt file might prohibit the Googlebot entirely; it might prohibit access to the directory in which this URL is located; or it might prohibit access to the URL specifically. Often, this is not an error"
can anybody tell me how can i cancel the robots.txt restriction?

-Top Contributor Webmaster Help
Hey visya,
i guess we are dealing with your blog on blogger*com (blogspot*com)? If so you don't need to do anything about robots.txt restrictions.,

This is your robots.txt:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search -- si only restricts duplicated stuff that not even you want to have indexed
keep cool, see all URLs restricted have /search/ in their path as specified in your robots.txt?

They are restricted because they duplicate what is already seen in posts and on the homepage, for example here:

http://www.yoursite.com/search/label/wisata seo sadau
You recognize having seen all this before --> on your original posts which are not restricted and thus indexed ;-)

/search/ has to be restricted to avoid duplication in the index, and, as I said, you even want to restrict them for robots for your own sake. This restriction is done by default on blogspot*com (and domains that use blogger like yours, of course) and does not need to be resolved in any way, it's not an error (messages in webmastertools are diagnostic only here).
//
Memang masalah meta tag ini untuk para pemula dunia seo kaya saya bisa adi bilang tak susah juga tak gampang, karena kadang kalau salah juga bisa beresiko error tak karuan, bahkan bisa di tendang dari indeks search-engine. Dan salah satu kelebihan hosting sendiri adalah bisa mengatur penuh masalah robot.txt untuk keperluan indeks ini, sehingga bisa memaksimalkan setiap tags , tapi blogspot/blogger juga banyak punya kelebihan secara seo dari yg hosting sendiri, terutama yang mengacu pada seorang blogger, banyak dan sptnya sdh sering saya singgung di posting2 saya.