Disaat yang lain sibuk membuat tulisan tentang bagaimana meningkatkan traffic, saya malah kebingungan bagaimana untuk menurunkan traffic. Beberapa hari yang lalu di awal bulan maret 2009, blog saya mengalami lonjakan traffic yang saya nilai tidak wajar. Bandwidth yang terpakai sangat tinggi tetapi pengunjung blog relatif tetap, bahkan cenderung menurun. Kemudian saya bandingkan statistik antara awstats dan google analytics. Dan saya menarik kesimpulan bahwa traffic yang tinggi berasal dari robot spider mesin pencari.
Seperti yang kita ketahui, robot/spider/bot atau apalah namanya itu bertugas membaca isi dari blog atau website kita agar blog kita bisa terindex ke mesin pencari darimana robot tersebut berasal. Sebenarnya robot itu sangat membantu kita agar blog kita bisa masuk ke mesin pencari. Tetapi kalo kebanyakan robot sok tahu yang meng-crawl halaman website kita, padahal jatah bandwidth kita terbatas akan menjadi masalah.
Salah satu cara mengatasainya adalah dengan menggunakan robots.txt. Untuk lebih mengenal tentang robot.txt bisa membaca tentang robot.txt disini atau bisa juga baca FAQ-nya di FAQ Robot.TXT. Karena saya tidak paham dengan Robots.Txt maka saya membuat robots.txt menggunakan Robots.Txt Generator, dan hasilnya menjadi seperti ini robot.txt saya. Dan sekarang traffic blog saya kembali normal.sumber: http://www.ardi.web.id
0 comments:
Post a Comment