Der tolle (haha) Dienst “Mowser” (will ich hier nicht verlinken, sollte aber nicht schwer zu finden sein) mobilisiert Webseiten mehr oder weniger automatisch. Das extrem zweifelhafte Ergebnis dieser ersten Gehversuche im mobilen Internet ist nicht nur völlig unbrauchbar, sondern rankt auch gerne vor der eigenen Seite bei Google und Co. Mit 203,652 eingehenden Backlinks laut Yahoo steht die Seite nicht unbedingt schlecht da. Mieses Produkt, gutes Marketing!
So jedenfalls läuft man leicht Gefahr, dass mal irgendwo ein Link zur eigenen Seite durch Mowser gezogen auftaucht und das Teil plötzlich bei Google vor der Originalseite erscheint. Mir fallen besonders in den mobilen SERPs von Google immer wieder Treffer von Mowser auf der ersten Seite auf. Eventuell kann man so sogar Schabernack treiben, und einen Link auf die Mowser-Seite eines Konkurrenten setzen, um diesen zu verärgern.
Um dies zu umgehen, sollte man den User-Agent einfach aussperren und schon gibt’s für die Damen und Herren keinen Content mehr. z.B. durch folgenden Eintrag in der Apache Konfiguration:
SetEnvIf User-Agent mowser disallowed <Directory "/"> Deny from env=disallowed </Directory>
Oder für lighttpd:
$HTTP["useragent"] =~ "mowser" {
url.access-deny = ( "" )
}
Oder in PHP:
if( strpos( $_SERVER['HTTP_USER_AGENT'], 'mowser' ) !== false ) {
header ( 'HTTP/1.0 403 Forbidden' );
}
Hier übrigens die IP, über die die Seiten abgerufen werden: 69.93.195.26
Die zu sperren sollte um einiges effektiver sein, denn der User-agent läßt sich leicht ändern.
Ein schwungvolles
deny from 69.93.195.26
in der .htaccess reicht aus, für den gesamten Netz-Bereich kann auch
deny from 69.93.0.0/16
verwendet werden.
Nachtrag: Wenn der Proxy nach installierter Sperre einen 403-Error geliefert bekommt, wird ein 302-Redirect auf die Originalseite gemacht, um per Hijacking den Content von G* zugeordnet zu bekommen. Also alle ran an die Spam-Console!
Nachtrag 2: Dein PHP-Code zum Sperren ist fehlerhaft. Wenn das Wort mowser an erster Stelle im User-agent-String gefunden wird, wird 0 geliefert, was das if-Konstrukt als false auswertet und den Sperr-Header nicht sendet. Richtig wäre if(strpos(…)!== false) …
Danke für den Tipp – ich sollte meinen Code das nächste mal ausprobieren, bevor ich ihn veröffentliche
ist gefixt.
Den 302 kann ich nicht nachvollziehen, z.B.
http://www.mowser.com/web/http://seo-mobile.de/
Da kommt kein 302
Nunja, die IP des Crawlers ändern ist auch nicht schwieriger, als den UA zu ändern, muss man einfach drauf achten. Bei Änderungen werde ich natürlich ASAP berichten
Ich hab’ den Proxy bei mir über eine PHP-Lösung gesperrt, die als Fehlermeldung eine text/plain-Seite mit 403er ausgibt, da wird ein 302-Redirect auf die Originalseite gemacht. Hab’s dann gerade auch noch mal mit der htaccess-Version gegengecheckt, da kommt kein Redirect. Wird wohl am Content-Type liegen.
Hallo, habe den PHP-Code getestet und leider funktioniert das bei mir gar nicht. strpos(…) gibt bei mir 51 aus, aber der Header wird nicht gesetzt – woran könnte das liegen?
Kann es sein, dass Du den Code an einer Stelle hast, an der das Script bereits etwas ausgegeben hat? header() muss immer vor allen Ausgaben kommen, also echo, print etc. Sollte aber dann auch eine Fehlermeldung geben, sofern Du error_reporting nicht abgeschaltet hast.
Ich hab das Script vor eingebunden, davor gibt es keine Ausgabe. error_reporting dürfte aus sein, hab ich gar nicht dran gedacht, werde mal schauen – Danke für den Tipp!
In einem früheren Beitrag hatte ich mich über die Gefahren von Mowser ausgelassen. Glücklicherweise hat sich der Betreiber dazu entschlossen, den Dienst einzustellen. Er begründet es in einem Blog-Eintrag hauptsächlich damit, dass in seinen Augen das mobi
Interessant, diesen Dienst kannte ich noch gar nicht. Auf jeden Fall gut den User-Agent auszusperren.