Wieder einmal mußte ich feststellen, dass es „da draußen“ ziemlich asoziale Bot(betreiber) gibt. Heute hat id-search.org einen meiner Server ziemlich in die Knie gezwungen, um ein PhpBB Forum abzusaugen.
Dabei kamen bis zu zehn Anfragen pro Sekunde auf dem Server runter – robots.txt wurde „natürlich“ total ignoriert.
500 MB (reines HTML!) wurde auf diese Weise in kürzester Zeit abgesaugt.
Immerhin hat sich der bot identifiziert. Ich empfehle anderen möglicherweise Betroffenen den IP Block 74.52.0.0/15 und  66.90.64.0/18 zu sperrren. Der User-Agent ist
Mozilla/5.0 (compatible; IDBot/1.0; +http://www.id-search.org/bot.html

Man möchte garnicht wissen, wie es nach Version 1.0 mit dem Ding weiter geht.