« Prev ちょっとくわしくテイルズオブグレイセス2回目 Next »

検索ロボット対策

2009年12月18日(金) 23:14
Category : 雑記
Tag : 

■検索ロボット
前にサイト表示を早くするために構成を見直したことがありましたが、それには転送量を落とすという、もうひとつの目的が含まれてました。
でもなんかその効果は全然なくて、むしろ増えてたり・・・。
じゃあほかに原因があるのか、悩みに悩んでふとMTの管理画面でみれるログがなんか変だったというのを思い出した。
それで改めてよーく見てみると、異様といってもいいほど(うちとしては)の1日50回前後の頻度でタグ検索をされている状態だったんですよね。
しかも、検索されなさそうなものまで。
解析にゃそんな情報でてないし、何じゃこれと思って別の方法で調べてみたところ、
どうやら検索ロボットさんがデータ収集しにきてたみたい。
それでうちの検索cgiを叩くもんだから、ただでさえ検索は全文検索するのにその頻度のせいで転送量が増える原因になってたようです。

別に検索結果をインデックスしてもらわなくてもいいしってことで、robots.txtを作って対策しました。
うちの場合は検索cgiが「http://mkws.sakura.ne.jpmt/mt-search.cgi」にあるんでrobots.txtには以下のように記入。
User-agent: *
Disallow: /mt/mt-search.cgi

効果はURLにmt/mt-search.cgiを含むファイルは巡回を拒否します。
robots.txtに書かれていることに従うかは紳士協定みたいなものらしく、
100%効果があるわけじゃないみたいですが、相当減ったので効果は抜群!

Comments(0)
Trackback(0)

トラックバックURL : http://kinouroya.mints.ne.jp/mt/mt-tbjk.cgi/2038

Comment Form
Return to page top
Copyright (c) 2005 - 2012 Sasa Minase All Rights Reserved.