Piwik ist übrigens eine interessante Alternative zu Google Analytics, es handelt sich um eine kostenlose OpenSource Software, die mittels JavaScript, PHP und MySQL Webseitenstatistiken erzeugt. Bei großen Projekten wird die Last auf der Datenbank allerdings deutlich spürbar – vielleicht ist eine relationale Datenbank für Webanalyse eben nicht so gut, wie BigTable (Google) oder andere NoSQL Systeme. Im Gegensatz zu Google Analytics liefert Piwik jedoch auch eine Backlink, Pagerank und Alexa Analyse direkt dazu.

Artikel von: everflux.de

Yahoo 1337 – Leet Backlinks

Ähnliche Beiträge:

1. Yahoo und Hadoop
2. Slurp 3.0 – Yahoo hat neuen Crawler
3. Yahoo steigt bei OpenID ein
4. Yahoo: Schneller Zugriff vs. Privacy

Natürlich habe ich versucht den Google  Adsense Support zu kontaktieren – war das früher schon schwer, scheint es mittlerweile unmöglich. (Vielleicht hat Google zu viele gute Mitarbeiter an Facebook abgegeben?)

Mit dem neuen Google Adsense Interface kann man sehr schön sehen, wie die Abdeckungsrate mit passender Werbung schlagartig einbricht: (Adblock User können hier klicken um das Bild zu sehen)

Sollte jemand gute Tipps haben, ich bin interessiert! (Und Google helfe ich natürlich auch gerne, sollte dort Interesse an einer Lösung bestehen.)

Artikel von: everflux.de

Google Adsense Oktober Update 2010

Ähnliche Beiträge:

1. Google Adsense: Google-Adsense-Blog Spam
2. Google Adsense Empfehlungen 2.0: Amango Spam
3. Google Adsense Error
4. Google Adsense: Neue Richtlinien verbieten bestimmtes Layout und Farben

Vor dem Sperren schaue ich mir in der Regel die betreffende Webseite an – in der Regel ist das dann eine “neue Suchmaschine” die mit SEO Mitteln versucht Adsense und dergleichen unters Volk zu jubeln, jedoch keinen oder geringen Nutzen bringt. Rivva sah dabei nicht schlecht aus, die About Seite klärte auf,  – und nach dem Blick auf den Namen des Autors war das grüne Licht dann an.

Noch besser wäre das Gefuehl natuerlich, wenn wirklich nur der Feed – und vielleicht auch das eine oder andere Mal die robots.txt abgerufen wuerde, statt die ganzen Seiten. Vielleicht hab ich das aber auch falsch verstanden.

Ein interessantes Projekt in jedem Fall, ich bin gespannt was daraus wird. Und ich werde in in den nächsten Wochen öfters mal drauf schauen auf den Fluss des Internets: rivva.de

Artikel von: everflux.de

Rivva – genehmigt.

Ähnliche Beiträge:

1. Wilder Amazon Bot
2. WebAlta Crawler: Scraper + Harvester @ Leaseweb
3. Slurp 3.0 – Yahoo hat neuen Crawler
4. Contaxe Crawler

Selbst nachdem ich die selbe Abfrage nochmals verwendete – hier darf man ja aller spätestens einen warmen Cache annehmen – kam das Resultat erst nach 3-4 Sekunden. Wer es nicht glaubt, ich habe echte Screenshots!

Hier nach dem mehrmaligem erneuten Aufrufen:

Und schliesslich die Suche nach “google slow” – erwartete Antwort wäre natürlich “0.00 Seconds: Google is fast….”

Artikel von: everflux.de

Google: Langsam, langsamer, toooo slow

Ähnliche Beiträge:

1. Firefox langsam und braucht viel Speicher?
2. Google Adsense: Google-Adsense-Blog Spam
3. Google: Einblick in die Konkurrenz
4. Google: Spam und Gegenspam

SEO ist also weniger eine technische als auch eine durch den Inhaltsersteller zu betreibende Disziplin – was sich im Negativen durch keywordlastige Überschriften, die mehr für Maschinen als die Leser gebastelt sind zeigen kann.Die Köln Messe ist dabei mit verschiedenen Präsenzen im Internet vertreten, und SEO wird hier gross geschrieben. Doch nicht immer klappt alles bei der Suchmaschinenoptimierung, wie es gedacht ist. Spielt einer nicht mit, können mitunter peinliche Dinge passieren, wie hier bei der “Orgatec” in den Suchergebnissen von Google zu sehen:

“Dringend auf Seiteninhalt anpassen zur SEO.” Ja, ein guter Rat, sollte auch befolgt werden. Doch die Köln Messe ist ja nicht alleine, wie eine Google Suche nach eben jenem Satz offenbart: ["dringend auf seiteninhalt anpassen zur seo"]

Kann ja mal passieren – vielleicht war keine Agentur beauftragt, sondern ein Fall von “ich kenn da wen” oder “mein Sohn macht sowas auch”.

Artikel von: everflux.de

SEO fail: Köln Messe “dringend anpassen zur SEO”

Ähnliche Beiträge:

1. Ubuntu: Fenster Größe anpassen
2. Google: Tote gibts bei ebay (fail)
3. SpringSource/Vmware: FAIL dank Google Analytics
4. FedEx: Fail

Am interessantesten dürfte dabei sein, dass 64bit Gäste in einer 32Bit Hostumgebung unterstützt werden, erste Schritte in Richtung hardware 3d Beschleunigung gemacht wurden, und verbesserter Support für die Netzwerkanbindung. (Das sollte dem etwas anstrengenden Gefummel mit Netzwerk-Bridges ein Ende bereiten – doch auch NAT soll wesentlich beschleunigt worden sein.)

VirtualBox kann nun auch mit Images von Vmware (VMDK, VHD) direkt arbeiten und unterstützt dabei auch die Snapshot Funktionalität. Weiterhin ist eine Enterprise Version und eine OpenSource Version kostenlos verfügbar.Wer eine Debian basierte Linux Distribution verwendet (z.B. Ubuntu Intrepid) und die von VirtualBox zur Verfügung gestellten Repositories nutzt, wird dabei nicht automatisch auf das neue VirtualBox 2.1 aktualisiert. Der Grund dafür ist, dass VirtualBox 2.1 ein “major update” ist, und das Paket nun “virtualbox-2.1″ heißt. Die Installation erfolgt dann also über den Ubuntu Paketmanager, in dem das neue Paket angewählt wird.

Artikel von: everflux.de

VirtualBox: Kostenloser Virtualisierer mit neuen Features

Ähnliche Beiträge:

1. Virtualbox 2.2 auf Ubuntu installieren
2. VirtualBox 3.0.2 – mit Linux “blackscreen” Fix
3. VirtualBox 3.1: Live Migration und Snapshot Komfort
4. Ubuntu: VirtualBox Module und Kernel Updates

Doch wer mag dahinter stecken? Ein Crawler? Ein Blick in die Zugriffslogs gibt natürlich etwas Aufschluß:

209.85.238.11 – - [17/Nov/2008:12:45:49 +0100] “GET /feed/ HTTP/1.1″ 200 4856 “-” “Feedfetcher-Google; (+http://www.google.com/feedfetcher.html;

Auch eine Google Suche nach der entsprechenden IP erweckt den Anschein, dass darüber Google sucht (“your ip: 209.85.238.11″ in den Suchergebnissen ist recht eindeutig). Letzte Sicherheit schafft dann eine Abfrage wem das zugehörige Subnetz zugeteilt ist:

NetRange:   209.85.128.0 – 209.85.255.255
CIDR:       209.85.128.0/17
NetName:    GOOGLE

Schade, dass Google hier nicht entsprechend der eigenen Hinweise handelt, die zum Verifizieren des Google Bots dienen. Und allem Anschein nach, ist es zum einen nicht nur der Feedfetcher – zum anderen, warum sollte das einen Unterschied machen?

Ach ich glaub ich mail da mal hin.

Artikel von: everflux.de

209.85.238.11 – Google Inkognito?

Ähnliche Beiträge:

1. Google gibt Feedstatistiken im User-Agent an
2. Google Adsense: Google-Adsense-Blog Spam
3. Google: Langsam, langsamer, toooo slow
4. Google Deutschland ausgefallen

Für Ressourcen, die nicht mehr verfügbar sind, gibt es ab HTTP 1.1 den Status Code 410 (Gone). Mit diesem Wissen gewappnet läßt sich eine Suchmaschine gut steuern.

Im Beispiel handelt es sich um ein Forum, in dem unerwünschte Beiträge nicht gelöscht werden sollen, sondern in einen Bereich verschoben werden, der öffentlich nicht verfügbar ist. (Das Forum ist PHPBB3 – hier kann leider nicht zwischen “eigentlich gelöscht” und in einem Beitrag nur für bestimmte Benutzer unterschieden werden.)

Kennt man die alte URL des Beitrags, so ist dieser zwar nicht mehr verfügbar, aber es erscheint eine “bitte melden Sie sich an” Seite. Nicht gerade das, was man sich wünscht um diesen Beitrag schnell aus dem Google Index verschwinden zu lassen.

Also kommt nun die Apache htaccess hinzu – leider geben sich Suchmaschinen gerne als HTTP 1.0 Browser aus, “echte” HTTP 1.0 Browser verstehen den HTTP Statuscode 410 jedoch nicht. Also kommt noch ein htaccess Trick hinzu: Ein HTTP 1.1 Browser nur kennt den “Host” Header, damit läßt sich eine hinreichende Differenzierung erreichen.

Zu guter letzt möchte man noch den Administratoren ermöglich in dem Bereich Beiträge zu sehen – hier gehe ich einfach mal davon aus, dass sich keine vernünftige Suchmaschine als “Firefox” User ausgeben würde, und die Administratoren seinerseits Firefox verwenden.

Zusammengebaut sieht das dann so aus:

#exclude archive pages from search engines, if http 1.1 capable (using host header check)
RewriteCond %{HTTP_HOST} .
#not for humans
RewriteCond %{HTTP_USER_AGENT} !Firefox [NC]
#else: gone
RewriteRule ^archiv/ - [G,L]


Artikel von: everflux.de

htaccess Trick um Bereiche für Suchmaschinen zu sperren

Ähnliche Beiträge:

1. Firefox 3.1 in Ubuntu
2. Firefox 3 und alte Plugins
3. Firefox 3.5 in Ubuntu (Jaunty)
4. All in one Gestures für Firefox 3

Der Ayell Eurobot identifiziert sich derzeit als

Eurobot/1.0 (http://www.ayell.eu)

Der Ayell bot ließt die robots.txt aus, und hat bisher auch keine dort für Bots gesperrten Seiten abgegriffen. Auch die Crawl Rate des “Eurobot” sieht freundlich aus. Nach Ansicht der Seite Ayell EU habe ich mich dennoch entschlossen den Bot auszusperren, da mir nicht klar ist, was mit den Daten passiert.

Die IPs des Ayell Eurobot sind wie folgt aufgzeichnet worden:
78.46.71.165
78.46.78.51

Beide IPs von denen der Ayell Eurobot kam gehören zum Hetzner IP Bereich. Was jedoch sehr unprofessionell wirkt, ist das kein reverse-DNS Eintrag angelegt wurde. Immerhin hat Ayell die Logos von Yahoo, MSN und Google von Ihrer Seite entfernt, die vor einigen Monaten dort noch prangerten. (Das sah für mich so aus, als wenn Ayell vom Image der Großen profitieren wollte – verlinkt waren die Logos mit nichts.) Ayell Euronet verbessert sich also – langsam, aber immerhin. Jeder hat ja mal klein angefangen. Vielleicht ist Ayell ja wirklich das nächste Google.

Artikel von: everflux.de

Eurobot 1.0: Ayell Euronet Crawler

Ähnliche Beiträge:

1. Ayell Suchmaschine
2. Slurp 3.0 – Yahoo hat neuen Crawler
3. WebAlta Crawler: Scraper + Harvester @ Leaseweb
4. Contaxe Crawler

Dann kann man sich eine Liste aller anderen Webseiten anschauen, auf denen diese Adsense Publisher ID auftaucht. (Man kann davon ausgehen, dass Google etwas ähnliches zur Hand hat ) Vielleicht für den einen oder anderen “nicht so schön”, und gefragt hat auch keiner.

Ich gehe aber davon aus, dass Adfire sich dabei an den robots exclusion Standard hält, und auch wenn das adshadow FAQ keine Antwort auf die Frage “wie kann ich meine Seiten von der Adsense Rückwärtssuche ausnehmen” bereithält, so habe ich darauf jedoch vermutlich eine Antwort.

Einfach den Adshadow Bot aussperren. Der User-Agent sieht so aus:

penthesilea 0.2.1

Damit sollte dann den Webmastern und auch Adshadow.de genüge getan sein. Ich finde das Tool interessant. Umso erfreulicher, dass es kostenlos zur Verfügung gestellt wird.

Ein Gedanke noch zu dem Thema Datenauswertung: Vielleicht macht sich nun auch der eine oder andere Gedanken darüber, was Vorratsdatenspeicherung bedeutet: Auswertungen, an die man vielleicht garnicht gedacht hat, sind später möglich. Terrorabwehr mag heute das “Argument” sein – aber was ist übermorgen? Daten, die einmal aus der Hand gegeben wurden, kann man nicht “zurückholen”.

Artikel von: everflux.de

Adsense Rückwärtssuche von Adfire (adshadow)

Ähnliche Beiträge:

1. Google Adsense: Google-Adsense-Blog Spam
2. Google Adsense Error
3. Google Adsense Oktober Update 2010
4. Google Adsense Empfehlungen 2.0: Amango Spam

Das erlaubt einem schon ganz gute Einblicke in den Markt. Auch gibt es einen kleinen Einblick in die Möglichkeiten, die Google oder andere Datensammler mit den erhobenen Daten bekommen.

Nachdenklich sollte Google Trends for Websites auch im Hinblick auf die Voratsdatenspeicherung machen: An viele Möglichkeiten der Auswertung denkt man zum Zeitpunkt der Erhebung nicht. Das gilt auch für “loyalty” Programme wir Miles and More oder Payback. Den üblichen Verweis auf Orwell erspare ich mir.

Hier die – wenigen – Daten zu diesem Blog: everflux.de Trends

Etwas aufschlußreicher ist ein Blick auf mein allseits geliebtes Lawblog: lawblog.de Trends
Der typische Lawblog Leser ist also ein grüner Taxi-interessierter der sich neben Rechtsthemen aber auch für andere top-blogs interessiert.

Nimmt man dann noch hinzu, dass Google bemüht ist, Suchabfragen einen “Sinn” zu geben (Google erkennt schwule und lesben), kann einem Angst und Bange werden.

Artikel von: everflux.de

Google: Einblick in die Konkurrenz

Ähnliche Beiträge:

1. Google: Schwule und Lesben erkannt
2. Ubuntu Aufstieg aus Sicht von Google-Trends
3. Google: Langsam, langsamer, toooo slow
4. 209.85.238.11 – Google Inkognito?

Dies ist kein unübliches Vorgehen, lediglich als Google seinen Crawler beigebracht hat, gzip Inhalte zu verstehen, oder die Crawler an einen gemeinsamen Cache angeschlossen hatte, um doppeltes Crawlen zu vermeiden, wurde dies publik gemacht. Bei Yahoo steht eine Umstellung auf Hadoop an – die Zukunft lautet bei Yahoo immer stärker OpenSource und Java. Sicherlich nicht schlecht für die Community, zudem zeigt es deutlich, dass Java alles andere als “langsam” ist. Nachdem Yahoo auf einigen Seiten für 20% und mehr des Traffiks verantwortlich war, da der Crawler wild auf content war, könnte dieses unerwünschte Phänomen mit dem Slurp 3.0 nun der Vergangenheit angehören.

Artikel von: everflux.de

Slurp 3.0 – Yahoo hat neuen Crawler

Ähnliche Beiträge:

1. Contaxe Crawler
2. Yahoo und Hadoop
3. Yahoo steigt bei OpenID ein
4. Yahoo: Schneller Zugriff vs. Privacy

77.177.40.254 - - [16/Feb/2008:11:27:59 +0100] "GET /eine-seite.html HTTP/1.1" 200
7284 "http://www.google.com/search?q=foobar+equalizer&ie=utf-8&oe=utf-8
&aq=t&rls=org.mozilla:de:official&client=firefox-a" "Mozilla/5.0 (Windows; U;
Windows NT 6.0; de; rv:1.8.1.12) Gecko/20080201 Firefox/2.0.0.12" 1 ein-host.de

Was mich dabei wundert ist, dass der erste Visit soweit ich in Erfahrung bringen konnte durchaus nach einem normalen Besucher aussah – abgesehen davon, dass kein Referrer vorhanden war. Aber Bilder wurden geladen, und im selben Rutsch auch gleich beide RSS Feeds der Seite. Das ist wohl eher ungewöhnlich.
Bei der IP 77.177.40.254 von der anschließend der Spam kam, handelt es sich um einen 1&1 Server. Sieht also auch nicht gerade nach Google aus.

Die IP 77.177.40.254 wird gesperrt und damit ist der Spuk hoffentlich auch zuende.

Artikel von: everflux.de

Referrer Spam – von Google?

Ähnliche Beiträge:

1. Vedens.de Referrer Spam
2. Google: Spam und Gegenspam
3. Google Adsense: Google-Adsense-Blog Spam
4. Google Adsense Empfehlungen 2.0: Amango Spam


78.46.45.99 - - [10/Jan/2008:21:28:46 +0100] "GET /feed/ HTTP/1.1" 200 15773 "http://www.newskraft.de" "Newskraft.de" 0 everflux.de
78.46.45.99 - - [10/Jan/2008:21:28:46 +0100] "GET /feed/rss/ HTTP/1.1" 200 9052 "http://www.newskraft.de" "Newskraft.de" 1 everflux.de
78.46.45.99 - - [10/Jan/2008:21:28:46 +0100] "GET /feed/atom/ HTTP/1.1" 200 15021 "http://www.newskraft.de" "Newskraft.de" 0 everflux.de
78.46.45.99 - - [10/Jan/2008:21:28:46 +0100] "GET /?p=470&akst_action=share-this HTTP/1.1" 200 4908 "http://www.newskraft.de" "Newskraft.de" 0 everflux.de
78.46.45.99 - - [10/Jan/2008:21:28:46 +0100] "GET /?p=469&akst_action=share-this HTTP/1.1" 200 5049 "http://www.newskraft.de" "Newskraft.de" 0 everflux.de
78.46.45.99 - - [10/Jan/2008:21:28:46 +0100] "GET /?p=468&akst_action=share-this HTTP/1.1" 200 4644 "http://www.newskraft.de" "Newskraft.de" 0 everflux.de
78.46.45.99 - - [10/Jan/2008:21:28:46 +0100] "GET /?p=467&akst_action=share-this HTTP/1.1" 200 4828 "http://www.newskraft.de" "Newskraft.de" 0 everflux.de
78.46.45.99 - - [10/Jan/2008:21:28:47 +0100] "GET /?p=465&akst_action=share-this HTTP/1.1" 200 6963 "http://www.newskraft.de" "Newskraft.de" 0 everflux.de
78.46.45.99 - - [10/Jan/2008:21:28:47 +0100] "GET /?p=464&akst_action=share-this HTTP/1.1" 200 5003 "http://www.newskraft.de" "Newskraft.de" 0 everflux.de
78.46.45.99 - - [10/Jan/2008:21:28:47 +0100] "GET /?p=462&akst_action=share-this HTTP/1.1" 200 4847 "http://www.newskraft.de" "Newskraft.de" 0 everflux.de
78.46.45.99 - - [10/Jan/2008:21:28:47 +0100] "GET /?p=461&akst_action=share-this HTTP/1.1" 200 7506 "http://www.newskraft.de" "Newskraft.de" 0 everflux.de
78.46.45.99 - - [10/Jan/2008:21:28:47 +0100] "GET /?p=463&akst_action=share-this HTTP/1.1" 200 9277 "http://www.newskraft.de" "Newskraft.de" 1 everflux.de

Man beachte die Zeiten, wann die Zugriffe stattfanden.
Und das war noch lange nicht das Ende. Also wenns denn schon ein Crawler sein soll, dann nicht mehr als einen Zugriff pro Sekunde.
Immerhin bei Newskraft lobenswert: robots.txt wird vorher geladen – wie sie genutzt wird, hab ich jedoch nicht ausprobieren wollen.

Artikel von: everflux.de

Warum ich Newskraft sperre

Ähnliche Beiträge:

1. Adsense Sperre wegen G..gle in der URL
2. Warum hat eine Karten PIN 4 Ziffern
3. Warum Thomas unten durch ist – der goldene Hammer
4. 209.85.238.11 – Google Inkognito?

“Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 1 subscribers; feed-id=18021914886172537744)”

Viellicht gehört das nicht unbedingt in den Useragent – aber in jedem Fall eine sehr innovative Idee.
Da muß ich nichtmal Feedburner oder ähnliches bemühen um herauszufinden dass ich einen ganzen Leser habe
Was ich nicht ganz verstehe, sind die weiteren Requests, die eine andere Feed-Id beeinhalten.

“Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 1 subscribers; feed-id=16484629274111537011)”

Aha, die antwort ist einfach: Wenn Google den Feed über verschiedene URLs kennt, so wird jedesmal eine eindeutige 64bit ID pro URL erzeugt.
Das bedeutet, man muss die Anzahl der Abbonennten zusammenzählen. Dann hab ich wohl 2.
Weitere Informationen zum Google Feedfetcher gibt es im Google Reader Help Bereich.

Artikel von: everflux.de

Google gibt Feedstatistiken im User-Agent an

Ähnliche Beiträge:

1. Google beobachtet… sich selbst und gibt Tips.
2. 209.85.238.11 – Google Inkognito?
3. Links von der Bundesregierung – das gibt Pagerank!
4. Neues google Feature in der Suche: Notieren