今日の戯言 by maa

基本的にただの独り言です。有益な情報を求めてはいけませんw



2010年03月31日 ちょっと春らしい日 [長年日記]

_ PCDebian 過剰アクセス...

最近、研究室の Webサーバに中国の検索大手 Baiduクローラがコンテンツを物色にやってくる。クローラは検索用のデータベース作成のために、世の中の Web ページを片っ端から調べ上げているのだけど、ちょっと度が過ぎるような気がする。

もしかしたら、Google が中国から撤退することになって、Baidu がやる気だしたのかも知れないな。でも、Webサーバに負荷をかけるようなクローラを世に放っていると、みんなから村八分にされるんじゃないかな。

というわけで、取り急ぎ対処してみた。

SetEnvIf User-Agent "Baiduspider" deny_ua
SetEnvIf User-Agent "BaiduImagespider" deny_ua
SetEnvIf User-Agent "BaiduMobaider" deny_ua

<Directory />
 〜 略 〜
 Order allow,deny
 Allow from all
 Deny from env=deny_ua
</Directory>

あぁ... 国際問題にならなければいいけど (^^;