Wer den Contaxe Crawler identifizieren möchte, der kann es mit den folgenden Angaben versuchen (ohne Gewähr!).
Bei mir kommt der Crawler von der IP 217.24.217.120.
Der Contaxe Crawler hat bei mir folgenden UserAgent: “contaxe.com”
Sehr positiv fällt auf dass der Contaxe Spider offenbar gzip Kompression unterstützt – das spart Bandbreite.

  1. Slurp 3.0 – Yahoo hat neuen Crawler
  2. Contaxe: Vorher nachher
  3. Contaxe Erfahrungen
  4. WebAlta Crawler: Scraper + Harvester @ Leaseweb
  5. Eurobot 1.0: Ayell Euronet Crawler
  6. Der beste Packer zur Komprimierung – Klimaschutz auf kernel.org
  7. WordPress Seiten statisch cachen und Server entlasten
  8. Amazon Affiliate Bot identifizieren / Zugriff erlauben