今日の戯言　by maa

_ 過剰アクセス...

最近、研究室の Webサーバに中国の検索大手 Baidu のクローラがコンテンツを物色にやってくる。クローラは検索用のデータベース作成のために、世の中の Web ページを片っ端から調べ上げているのだけど、ちょっと度が過ぎるような気がする。

もしかしたら、Google が中国から撤退することになって、Baidu がやる気だしたのかも知れないな。でも、Webサーバに負荷をかけるようなクローラを世に放っていると、みんなから村八分にされるんじゃないかな。

というわけで、取り急ぎ対処してみた。

SetEnvIf User-Agent "Baiduspider" deny_ua
SetEnvIf User-Agent "BaiduImagespider" deny_ua
SetEnvIf User-Agent "BaiduMobaider" deny_ua

<Directory />
 〜　略　〜
 Order allow,deny
 Allow from all
 Deny from env=deny_ua
</Directory>

あぁ... 国際問題にならなければいいけど (^^;