Geburtstag von robots.txt. Schon seit 20 Jahren hält die Datei einige Roboter von der Seite fern. Am 30.Juni 2014 feiert …
Google Spaß: robots.txt mal anders
Google Spaß: robots.txt mal anders: Suchroboter Terminator Aufgabe: soll die beiden Google Erfinder Brin & Page nicht töten. Wie wollten …
PageRank Vererbung trotz einer robots.txt
Die gesetzten Links auf die Hauptseite oder auf eine Unterseite vererben den Pagerank, selbst dann wenn sie duch robots.txt blockiert …