Membuat file robots.txt

robots.txt adalah file yang sangat penting jika suatu web ingin mudah di index oleh search engine, ketika search engine crawler datang di web kita, maka dia akan mencari file kusus yaitu file yang bernama robots.txt dan memberitahukan search engine spider bahwa halaman web tersebut harus di indek atau di abaikan

Penempatan file robots.txt
file robots.txt bukanlah file HTML, yang harus di tempatkan di root web misalnya http://www.jagadnet.com/robots.txt

Cara membuat file robots.txt
Isi sebuah file robots.txt hanyalah terdiri dari sebuah catatan, sebuah catatan yang memberikan informasi khusus untuk search engine, setiap catatannya terdiri dari dua bidang yaitu user agent untuk baris pertama dan catatan larangan atau disallow untuk baris ke dua

contoh:
User-agent: googlebot
Disallow: /cgi-bin/

yang di maksut user agen googlebot, hanya bot search engine google ajah yang di perbolehkan untuk mengambil setiap halaman dari web kecuali direktori /cgi-bin/ karena Disallow: /cgi-bin/ maka semua file yang berada di cgi-bin akan di abaikan oleh googlebot.

Disallow atau larangan yang mewakili semua direktori

Agar semua Search engine dapat meng-index halaman web
bila anda menginginkan semua search engine dapat mengindek web anda maka isilah user-agen:*

contoh:
User-agent: *
Disallow: /cgi-bin/

jika file robots.txt anda penulisannya salah maka web anda tidak akan diindex oleh search engine

Untuk mengecek valid dan tidaknya file robots.txt anda, bisa gunakan halaman web http://tool.motoricerca.info/robots-checker.phtml

sumber: jagadnet.com