Diese Testseite gehört zu meiner "meta robots"-Direktive SEO-Test-Reihe aus meinem SEO Blog seouxindianer.de/blog.
In diesem Setup gebe ich Googlebot Seiten, deren "meta robots"-Direktiven auf NOINDEX, follow stehen und prüfe nachher, ob Googlebot, die im Content befindlichen Links verfolgt.
In einem Tech-Talk über JavaScript Rendering meinte ein Google-Sprecher heute am 09.12.2019, dass er sich vorstellen kann, dass Googlebot die Seite nicht rendert, sobald sie auf NOINDEX steht. Der Crawler sollte die Links im Content dennoch finden und verfolgen, da das Crawling des DOM ja vor dem Rendern abgeschlossen sein muss und damit Links durchaus verfolgt werden sollten.
Im Publikum kam aber die Idee auf, dass Googlebot eventuell sagt, eine Seite, die nicht indexiert werden soll, ist auch unteressant und ihre ausgehenden Links sowie irgendwann sie selbst, werden nicht mehr gecrawled.
In diesem Text-Setup verlinke ich vier Seiten in einer Reihe, also hiermit die Seite noindexfollow-1-von-4.html und von dort die 2-4, und so weiter. Jede dieser Seiten steht auf NOINDEX, follow, bis zur letzten Seite der Reihe. Die darf indexiert werden. In wenigen Tagen prüfe ich, ob die NOINDEX Seiten gecrawled und die letzte Seite indexiert worden ist.
Dieser SEO-Test klärt letztendlich nicht, ob über Links auf NOINDEX-Seiten auch PageRank übermittelt wird. Der Googler meinte im Gespräch übrigens, es gäbe keinen PageRank mehr, aber sie hätten eine ähnliche Metrik. Doch das ist sowieso ein anderes Thema.
Sehen wir also, was sich in Sachen Crawling und Indexing tut, wenn wir eine tiefliegende Seite nur von NOINDEX-Dokumenten verlinken.
Das Testergebnis ist mir wichtig, weil ich in Onlineshops gerne die paginierten Seiten auf NOINDEX, follow setze. Damit möchte ich verhindern, dass zum Beispiel die Seite 8 in Google gefunden wird, der Nutzer dann aber auf die letzte Seite der Kategorie XY kommt und nur ein Produkt vorfindet. Außerdem: Duplicate Content! Gleichzeitig möchte ich aber, dass bis Seite 8 alle paginierten Seiten gecrawled werden, so dass die dort verlinkten Produktdetailseiten gefunden werden. Natürlich setze ich eine XML-Sitemap ein, aber ich nehme an, dass interne Verlinkung für die Bewertung der Wichtigkeit eines Dokuments relevant ist.