Noch weit mehr als Google-Bot und der Yahoo Slurp Crawler zusammen hat der Host 209.249.11.3 bei mir Traffik gemacht. In den Statistiken habe ich erstmal nur die Traffiksumme gesehen und mich gefragt: Wer zum Henker…
Das Netz ist von Abovenet als Microsoft Research Subnetz mit 14 Hosts announced. Immerhin identifiziert sich der Bot auch im Useragent vernünftig:
209.249.11.3 – – [02/Nov/2007:23:31:36 +0100] „GET /resharper-jetbrains-bringt-resharper-30-fur-visualstudio-231/ HTTP/1.0“ 200 14213 „http://everflux.de/category/microsoft/“ „MSRBOT (http://research.microsoft.com/research/sv/msrbot/“ 0 everflux.de

Ich finde es schön, dass Microsoft forscht – ich sehne ein Such-Oligopol herbei, und noch vor Yahoo sehe ich bei Microsoft ein großes Potential. Was an dem Bot interessant ist: Er übermittelt ein Referrer! Damit könnte man sich einen interessanten Einblick verschaffen, wie der Bot crawlt. So haben alle was zum Forschen…