Ich habe zwei Websites, an denen ich gerade arbeite, nämlich einen Einkaufswagen und einen anderen Käufer. Beide sind also zum Beispiel unter dem gleichen Domainnamen
http://example.com/first_url
http://example.com/second_url
Unter diesen beiden URLs befinden sich unzählige Seiten
http://example.com/first_url/product1
http://example.com/first_url/product2
http://example.com/first_url/product3
http://example.com/second_url/product1
http://example.com/second_url/product2
http://example.com/second_url/product3
Wie kann ich die Haupt-URL /first_url
und /second_url
sowie alle Unterseiten und Unterverzeichnisse nicht zulassen? Ich habe mir so etwas überlegt, aber ich weiß nicht, ob das funktioniert oder nicht und ob es die richtige Syntax war
Disallow: /first_url/*/
Disallow: /second_url/*/
Sie brauchen den abschließenden Schrägstrich nicht, um diese Verzeichnisse zu blockieren. Das wird funktionieren:
Disallow: /first_url/*
Disallow: /second_url/*
Diese Google-Hilfeseite deckt dies recht gut ab.