mengenal robot.txt

Robot.txt adalah sebuah teks (bukan html) file yang anda tempatkan pada situs anda untuk menginformasikan robot pencari (search robots) agar tidak mendatangi halaman tertentu. Namun begitu, Robot.txt bukanlah teks perintah bagi mesin pencari (search engines), hanya saja pada umumnya mesin pencari mentaatinya dengan tidak mengunjungi halaman yang dilarang. Penting untuk di ingat bahwa robot.txt bukan sebuah cara untuk menghalangi mesin pencari untuk meng-crawl situs anda (ia bukan firewall, atau semacam pelindung password), ilustrasinya begini jika anda menaruh robot.txt file pada situs anda maka teks tersebut akan terbaca seperti ini; "harap jangan memasuki pintu yang tidak terkunci". Dengan ini anda tidak akan berdaya untuk mencegah para pencuri cyber untuk memasukinya -- namun orang yang baik tidak akan memasukinya -- tapi hal ini beresiko. Yang saya coba katakan disini adalah, jika anda mempunyai data yang menurut anda sangat rahasia dan sensitif maka janganlah naif dengan mengandalkan robots.txt untuk melindunginya agar tidak terindex dan ditampilkan pada hasil pencarian (search results). Penempatan lokasi dari Robot.txt adalah hal yang sangat penting. Ia harus ada didalam direktori utama (main directory) karena jikalau para mesin pencari tidak menemukannya, maka mereka pun tidak akan mencarinya keseluruh situs anda demi menemukan file robot.txt. Singkatnya begini, disaat mesin pencari tiba disitus anda, maka ia akan langsung menuju direktori utama (main directory) (contoh; http://myname.com/robots.txt) dan jika search engine tidak menemukannya didalam main directory, maka mereka akan menyimpulkan bahwa situs anda tidak memiliki file robot.txt, kemudian para search engine akan mengindex semua yang ia temukan selama meng-crawl situs anda. Hal ini akan membuat anda menyeringai dan kaget, ketika anda melihat seluruh isi situs anda terindex dan ditampilkan pada search engine.

sumber : wss-id.org