Robot.txt: bagian penting dari manajemen web

robots.txt adalah file yang sangat penting jika suatu web ingin mudah di index oleh search engine, ketika search engine crawler datang di web kita, maka dia akan mencari file khusus yaitu file yang bernama robots.txt dan memberitahukan search engine spider bahwa halaman web tersebut harus di index atau di abaikan

file robots.txt adalah file text yang sederhana (bukan HTML), yang harus di tempatkan di root web misalnya

http://www.kadung.com/robots.txt

bagaimana membuat file robots.txt

seperti di sebutkan di atas bahwa robot.txt adalah file text sederhana, maka isi sebuah file robots.txt hanyalah terdiri dari sebuah catatan, sebuah catatan yang memberikan informasi khusus untuk search engine, setiap catatannya terdiri dari dua bidang yaitu user agent untuk baris pertama dan catatan larangan atau disallow untuk baris ke dua

contoh:

User-agent: googlebot
Disallow: /cgi-bin/

yang di maksut user agen googlebot, hanya bot search engine google ajah yang di perbolehkan untuk mengambil setiap halaman dari web kecuali direktori /cgi-bin/ karena Disallow: /cgi-bin/ maka semua file yang berada di cgi-bin akan di abaikan oleh googlebot.

Disallow atau larangan yang mewakili semua direktori

contoh:

User-agent: googlebot
Disallow: /software

maka semua direktori yang menggunakan awalan sofware tidak akan di indek oleh google misalnya /software-hp/index.html atau /software-linux/index.php bahkan /software/default.asp tidak akan di indek oleh google bot.

jika Disallow di kosongkan maka search engine dapat mengindek semua halaman yang ada di web anda

User-agent: googlebot

Disallow:

bila anda menginginkan semua search engine dapat mengindek web anda maka isilah user-agen:*

contoh:

User-agent: *

Disallow: /cgi-bin/

jika file robots.txt anda penulisannya salah maka web anda tidak akan diindex oleh search engine maka ada beberapa yang harus di hindari misalnya

1. jangan menggunakan command di robots.txt misalnya

#awal perintah

User-agent: *
Disallow: /cgi-bin/

#akir perintah

meskipun command diperbolehkan di robots.txt, kemungkinan akan dapat kerancuan pembacaan search engine spiders

2.jangan mengunakan spasi diawal baris

contoh:

User-agent: *
Disallow: /cgi-bin/

3.jangan mengubah urutan perintah

contoh:
Disallow: /cgi-bin/
User-agent: *

4.jangan mengunakan lebih dari satu direktori di Disallow

contoh:

User-agent: *
Disallow: /cgi-bin/ /sofware/ /picture/

karena spider bot tidak dapat memahami format, jika ingin melarang banyak direktori yang benar seperti ini

contoh:

User-agent: *
Disallow: /cgi-bin/
Disallow: /sofware/
Disallow: /picture/

5.pastikan penulisan direktori anda benar karena Case sensitive jika anda mempunyai direktory “software” tapi penulisan anda “SoftWare” maka direktori “software” akan tetap di index search engine

6.jangan mendaftar semua file dalam satu direktori, jika spider bot ingin mengabaikan file-file di dalam suatu direktori anda tidak perlu mendaftarkan semua file-filenya

contoh:

User-agent: *

Disallow: /sofware/handphone.html

Disallow: /sofware/komputer.html

Disallow: /sofware/driver.html

cukup dengan

User-agent: *
Disallow: /software/

7.jangan mengunakan perintah “allow” di dalam robots.txt, cukup di robot.txt hanya menggunakan “Disallow” saja untuk sebuah direktori atau halaman yang tidak ingin di index, sisanya semua otomatis akan di indek di web anda

Tips penggunaan robots.txt yang benar

1. lebih baik memperbolehkan semua search engine dan semua direktori ataupun halaman untuk mengindek web anda

User-agent: *

Disallow:

2.jika anda tidak ingin semua search engine mengindek web anda laranganlah root web anda Disallow: /

User-agent: *
Disallow: /

3.contohlah robots.txt web-web yang sudah besar jika anda ingin melihat contoh yang lebih komplek seperti

http://www.billinghotspot.com/robots.txt

http://www.microsoft.com/robots.txt

http://youtube.com/robots.txt

http://www.ebay.com/robots.txt

http://www.mcanerin.com/en/search-engine/robots-txt.asp

web anda haruslah memiliki sebuah file robot.txt yang tepat jika anda ingin web anda memiliki peringkat yang baik di search engine, jika search engine tahu apa yang ingin dilakukan dengan web anda, maka mereka akan memberikan peringkat di search engine lebih baik.

sumber : kadung.com