|
|
|
|
|
|
|
rabby
Fachmann
Anmeldungsdatum: 14.07.2004
Beiträge: 408
|
 Verfasst am: Di 17 Okt, 2006 13:37 Titel: robots.txt: fremde Urls aussperren |
|
|
|
Hallo,
unglaublich, aber gemäß googles sitemap analyse versucht der googlebot viele viele seiten wie
| Code: | http://subbr.com/%22http://music.download.com/3640-8541-100341914-100909282....
http://www.subbr.com/%22http://www.epguides.de/hurrylove.htm%22
|
und viele andere mit anderen domains hinter subbr.com zu durchsuchen.
weiß nun wirklich nicht, wie es dazu kommt, doch es steht fest, dass der bot sich nicht freut, wenn er 404 als antwort bekommt.
also würde ich gerne alle seiten von der indizierung ausschließen, die mit % losgehen.
könnt Ihr mir bitte sagen, wie ich das in die robots.txt eintrage, denn ich will nicht herumexperimentieren, sodass u.u. auch noch "richtige" seiten rausfliegen 
danke für tipps
_________________
Kleidung günstig einkaufen Zune-Baby Shop |
|
| Nach oben |
|
|
nXplorer
Fachmann
Anmeldungsdatum: 17.07.2005
Beiträge: 146
|
|
| Nach oben |
|
|
rabby
Fachmann
Anmeldungsdatum: 14.07.2004
Beiträge: 408
|
| Verfasst am: Di 17 Okt, 2006 15:51 Titel: |
|
|
|
Du meinst disallow, oder? |
|
| Nach oben |
|
|
Order4you
Fachmann
Anmeldungsdatum: 27.09.2006
Beiträge: 119
|
| Verfasst am: Mi 18 Okt, 2006 11:33 Titel: |
|
|
|
na klar disallow du willst es ja unterbinden und nicht erlauben,
du solltest dir aber zeitgleich deine sitemap.xml mal anschauen, denn wenn du darin die links setzt und die im nachhinein wieder in der robots.txt aussperrst denke ich mal wird googl da auch nicht so glücklich drüber sein
_________________
immer auf der Suche nach einem guten Linktausch mehrer Domains im Angebot
Webkatalog
Webverzeichnis
Artikelverzeichnis |
|
| Nach oben |
|
|
rabby
Fachmann
Anmeldungsdatum: 14.07.2004
Beiträge: 408
|
| Verfasst am: Mi 18 Okt, 2006 12:23 Titel: |
|
|
|
danke. habs noch zur sicherheit mit dem robots.txt testtool von google (sitemaps) getestet.
dabei fiel mir noch eine andere frage ein:
meine sitemap.xml beinhaltet die urls der hauptkategorien.
tiefere ebenen sind nicht enthalten. werden diese dennoch gleichermaßen gecrawlt oder sind die irgendwie benachteiligt?
danke |
|
| Nach oben |
|
|
nXplorer
Fachmann
Anmeldungsdatum: 17.07.2005
Beiträge: 146
|
| Verfasst am: Mi 18 Okt, 2006 13:03 Titel: |
|
|
|
| rabby hat Folgendes geschrieben: | | Du meinst disallow, oder? |
Ja aber das war nicht mein Fehler, sondern der von Google.
Ich hab einfach nur copy&paste gemacht ohne hinzuschauen.
_________________
Kostenlose Webverzeichnisse mit PageRank-Vererbung |
|
| Nach oben |
|
|
Order4you
Fachmann
Anmeldungsdatum: 27.09.2006
Beiträge: 119
|
| Verfasst am: Mi 18 Okt, 2006 14:03 Titel: |
|
|
|
| rabby hat Folgendes geschrieben: | danke. habs noch zur sicherheit mit dem robots.txt testtool von google (sitemaps) getestet.
dabei fiel mir noch eine andere frage ein:
meine sitemap.xml beinhaltet die urls der hauptkategorien.
tiefere ebenen sind nicht enthalten. werden diese dennoch gleichermaßen gecrawlt oder sind die irgendwie benachteiligt?
danke |
also in meinen xml dateien sind alle urls drin, das liegt evtl an deinen programm/ script welches du verwendest für deine xml datei
normal sollten alle internen seiten dort auch drin erscheinen, diese datei soll ja google behilfich sein alle deine seiten schneller zu finden
_________________
immer auf der Suche nach einem guten Linktausch mehrer Domains im Angebot
Webkatalog
Webverzeichnis
Artikelverzeichnis |
|
| Nach oben |
|
|
rabby
Fachmann
Anmeldungsdatum: 14.07.2004
Beiträge: 408
|
| Verfasst am: Mi 18 Okt, 2006 14:13 Titel: |
|
|
|
| ist mein eigenes script. habe die unter-unterseiten etc. nicht mit ausgeben lassen, da dadurch die datei _sehr_ groß wird. sind nämlich extrem viele seiten. |
|
| Nach oben |
|
|
|
Du kannst keine Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum nicht antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.
|
|
|
