netail.net

自作フリーソフトや，ゲームに関する雑記を公開してます．
日記はソフトウェア工学の論文ネタが中心です．

2005-02-06 古い日記からの変換データ [長年日記] ▲

OUCC部室にてFC版DQ3のカートリッジを分解したりして遊んでたら，web にアクセスできなくない（サーバの応答がない）ことが判明．

どうも Inktomi というところから Crawler が大量に（１秒に数回）存在しない URL にアクセスしてた様子．ありそうな CGI を総実行していくらしい．

Yahoo/Crawler/DoS あたりで検索してたらrobots.txt を無視するらしいとか，色々ろくでもない情報だけ見つかった．

ちょうど同じ時刻に cgi 動かしたり大量にデータ転送してたらしき人に嫌疑がかかったりもしたが，どうも Crawler が原因っぽい．１日１回くらい，集中的にアクセスに来るっぽいのであまり性質の良いものではなさそう．