Nah untuk itulah kita menggunakan file yang bernama robots.txt yang berguna mencegah dan melindungi privasi kita 🙂
Bagaimana cara membuat file robots.txt?
Bentuk file robots.txt adalah text biasa jadi kita bisa membuatnya pake notepad atau text editor lainnya. Jadi kita tinggal bikin pake notepad lalu upload ke bagian root website kita misalnya di ahmadalimuddin.com/robots.txt, file robots.txt ini hanya berlaku untuk satu domain saja tidak berlaku untuk subdomain jadi file robots di ahmadalimuddin.com/robots.txt tidak berlaku untuk subdomain blog.ahmadalimuddin.com 😉
Apa isinya?
Ini isi dasar dari file robots.txt
Disallow: /
Ini berarti menghalangi semua robot (User-agent : *) mengindex semua yang ada website kita ( Dissallow: / )
Sekarang kita buat pengecualian. misalnya kita pengen google’s image bot mengcrawling tiap gambar yang ada diwebsite kita. maka isi robots.txt kita jadi seperti ini..
Disallow: /
Nah kalo kita pengen menghalangi semua bot mengindex halaman-halaman tertentu yang penting bagi kita misalnya konten /phpmyadmin/ atau direktori /admin/ maka kita isi file robots.txt kita jadi seperti ini…
Disallow: /phpmyadmin/
Disallow: /admin/
Kalo kita pengen ngizinin spider bot / crawler mengindex semua yang ada di website kita ya kita ga usah pake robots.txt atau kalo mau robots.txt nya isi dengan..
Disallow:
jadi Disallow: nya di kosongin aja.. ;D
Referensi :
en.wikipedia.org/wiki/Robots_Exclusion_Standard
www.javascriptkit.com/howto/robots.shtml