Inhaltsverzeichnis
Drei Werkzeuge bestimmen, welche Seiten Ihrer Website Google findet, crawlt und in den Index aufnimmt: die robots.txt, der Meta-Robots-Tag und die XML-Sitemap. Wer sie verwechselt oder falsch einsetzt, riskiert, dass wichtige Seiten unsichtbar bleiben oder unwichtige das Crawl-Budget verschwenden. Für Essener Unternehmen mit umfangreichen Websites – etwa vielen Leistungs- und Standortseiten im Ruhrgebiet – ist das ein realer Wettbewerbsfaktor. Dieser Leitfaden erklärt, warum jedes der drei Werkzeuge existiert und wann Sie welches einsetzen.
Das Wichtigste in Kürze
- robots.txt steuert das Crawlen, nicht das Indexieren – eine blockierte Seite kann trotzdem im Index landen.
- Der Meta-Robots-Tag (noindex) ist das richtige Werkzeug, um Seiten aus dem Index fernzuhalten.
- Die XML-Sitemap ist eine Einladung an Google, hilft aber nur bei korrekt verlinkten, indexierbaren Seiten.
- Crawl-Budget ist vor allem für große Websites relevant, etwa mit vielen Standortseiten im Ruhrgebiet.
Crawlen ist nicht Indexieren
Der wichtigste Denkfehler im technischen SEO lautet: „Ich blockiere die Seite in der robots.txt, dann erscheint sie nicht bei Google." Das ist falsch – und der Grund, warum so viele Seiten ungewollt im Index auftauchen.
Crawlen bedeutet, dass Google die Seite besucht und liest. Indexieren bedeutet, dass Google sie in seinen Suchindex aufnimmt. Die robots.txt steuert nur das Crawlen. Blockieren Sie eine Seite dort, kann Google sie zwar nicht mehr lesen – aber wenn andere Seiten auf sie verlinken, kann Google sie trotzdem indexieren, nur eben ohne Inhaltsbeschreibung. Das Ergebnis: ein nutzloser Eintrag im Index.
Die robots.txt richtig einsetzen
Die robots.txt liegt im Wurzelverzeichnis Ihrer Domain und sagt Suchmaschinen, welche Bereiche sie crawlen dürfen und welche nicht. Sinnvolle Einsatzgebiete:
- Crawl-Budget schonen: Bei großen Websites verhindern Sie, dass Google Ressourcen auf unwichtige Bereiche (etwa interne Suchergebnisse oder Filter-URLs) verschwendet.
- Sensible Verzeichnisse ausschließen: Admin- oder Staging-Bereiche gehören nicht ins Crawling.
Was die robots.txt nicht kann: vertrauliche Inhalte schützen (die Datei ist öffentlich einsehbar) oder Seiten aus dem Index entfernen.
Der Meta-Robots-Tag: Indexierung steuern
Der Meta-Robots-Tag steht im <head> der jeweiligen Seite und steuert die Indexierung präzise auf Seitenebene. Die wichtigsten Anweisungen:
| Anweisung | Wirkung | | --- | --- | | index, follow | Standard — Seite indexieren, Links folgen | | noindex | Seite nicht in den Index aufnehmen | | nofollow | Links auf dieser Seite nicht weiterverfolgen | | noindex, follow | Nicht indexieren, aber Links folgen |
noindex ist das richtige Werkzeug für Seiten, die Nutzer sehen dürfen, aber die nicht in der Suche erscheinen sollen – etwa Danke-Seiten nach einem Kontaktformular oder dünne Filterergebnisse.
Die drei Werkzeuge im Vergleich
| Werkzeug | Steuert | Ebene | Für Indexierung |
|---|---|---|---|
| robots.txt | Crawlen | Verzeichnis / Pfad | Nein |
| Meta-Robots (noindex) | Indexieren | Einzelne Seite | Ja |
| XML-Sitemap | Auffindbarkeit | Gesamte Website | Empfehlung |
Die XML-Sitemap: Google den Weg weisen
Die XML-Sitemap listet alle Seiten auf, die Google kennen und indexieren soll. Sie ersetzt keine gute interne Verlinkung, beschleunigt aber, dass Google neue und geänderte Seiten findet. Gerade für eine wachsende Website mit vielen Leistungs- und Standortseiten im Ruhrgebiet ist sie hilfreich.
Wichtig: In die Sitemap gehören nur indexierbare Seiten. Eine Seite mit noindex oder eine weitergeleitete URL in der Sitemap sendet widersprüchliche Signale. Reichen Sie die Sitemap in der Google Search Console ein, damit Google sie zuverlässig findet.
Häufige Fehler
- robots.txt zum Deindexieren nutzen. Funktioniert nicht — dafür ist noindex da.
- noindex-Seite zusätzlich blockieren. Dann kann Google die Anweisung nicht lesen und die Seite bleibt im Index.
- Pauschale Crawl-Verzögerung. Bremst gerade die Suchmaschinen aus, die Sie brauchen.
- noindex- oder Redirect-URLs in der Sitemap. Erzeugt widersprüchliche Signale.
- Sitemap nicht einreichen. Google findet neue Seiten dann nur langsam über die Verlinkung.
Häufig gestellte Fragen
Was ist der Unterschied zwischen robots.txt und noindex?
robots.txt steuert, ob Google eine Seite crawlt. noindex steuert, ob die Seite im Index erscheint. Zum Entfernen aus der Suche brauchen Sie noindex, nicht robots.txt.
Schützt die robots.txt vertrauliche Inhalte?
Nein. Die Datei ist öffentlich einsehbar und listet sogar die Pfade, die Sie verbergen wollen. Für echten Schutz brauchen Sie Passwortschutz oder Zugriffsbeschränkungen.
Brauche ich eine XML-Sitemap?
Empfehlenswert ist sie für jede Website. Bei größeren Seiten mit vielen Unterseiten — etwa Standortseiten im Ruhrgebiet — ist sie nahezu unverzichtbar.
Wo finde ich meine robots.txt?
Unter Ihrer Domain plus /robots.txt. Sie liegt immer im Wurzelverzeichnis und ist öffentlich abrufbar.
Fazit
robots.txt, Meta-Robots und Sitemap erfüllen drei verschiedene Aufgaben – und werden oft verwechselt. Die robots.txt steuert das Crawlen, der noindex-Tag die Indexierung, die Sitemap weist Google den Weg zu Ihren wichtigen Seiten. Wer diese Werkzeuge sauber trennt und gezielt einsetzt, sorgt dafür, dass Google genau die Seiten findet und rankt, die im Ruhrgebiet zählen.
Bereit für mehr Sichtbarkeit & echte Ergebnisse?
Kontaktieren Sie uns für ein unverbindliches Gespräch. Wir antworten persönlich und innerhalb von 24 Stunden.
Erstberatung 100% kostenlos und unverbindlich
Unser Versprechen an Sie:
- Erstberatung kostenlos
- Antwort in 24 Stunden
- Faire, transparente Preise
- Keine versteckten Kosten
Schlagworte
Wender Media
SEO-Experte & Geschäftsinhaber
Arnold Wender ist Gründer und Geschäftsinhaber der SEO-Agentur Wender Media. Mit über 19 Jahren Erfahrung in der Suchmaschinenoptimierung hilft er Unternehmen in Essen und dem Ruhrgebiet, ihre Online-Sichtbarkeit nachhaltig zu verbessern und mehr qualifizierte Anfragen zu generieren.
Profil anzeigen