Apa Sih Robots.txt Itu -
Definisi Robots.txt - selamat siang ? malam -_______- okeh kali ini saya akan mempostingkan tentang
Apa Sih Robots.txt Itu. langsung saja ke pembahasannya aja :
Definisi robots.txt
menuruh saya sih tapi simple-simple aja ya :
Robots.txt protocol atau Robot Exclusion Standard ,juga dikenal sebagai Robots Exclusion Protocol , adalah sebuah Sistem Protokol Standar yang digunakan untuk membatasi Web Spider atau membolehkan crawler dan segala jenis web robot untuk mengakses bagian-bagian dari sebuah website atau blog. Robots ini digunakan oleh Search Engine untuk mengkategorikan dan mengumpulkan data dari sebuah website atau blog. Jika ingin lebih spesifik,, kamu bisa menggunakan robots.txt dengan menggunakan tool di dalam Google Webmaster account kamu. Caranya login ke account Google Webmaster tools,, klik domain yang kamu akan kelola, klik Tools dan klik Generate Robots.txt.
Di langkah satu pastikan kamu Allow All Robots,, kemudian pilih Action. Yang perlu dicatat adalah bahwa Allow itu mengijinkankan Search Engine.
itulah
Apa Sih Robots.txt Itu semoga bermanfaat informasi ini =))
