Hinweis: Dieser Beitrag gehört zur Wissensrubrik Die Maschinenlesbarkeit-Engine: Wie ich Websites so strukturiere, dass KI-Systeme sie verstehen – nicht nur crawlen im Mehrklicks-Wissensportal.
Die Inhalte beschreiben Methoden und Strukturen, mit denen wir Marken für KI-Systeme wie ChatGPT, Perplexity und Google AI Overviews sichtbar machen.
Eine thematische Einordnung und die operative Umsetzung findest du auf der Seite Agentur für KI-Sichtbarkeit.
Ich dachte jahrelang, ich hätte SEO verstanden. Ich plante Architekturen, entwickelte Keyword-Strategien und erstellte Content-Pläne, die auf dem Papier perfekt aussahen. Wir hielten uns an Best Practices, nutzten Tools und sezierten jede Google-Ankündigung. Und doch blieb dieses nagende Gefühl: Wir optimieren für ein System, dessen wahres Verhalten wir nur erahnen können.
Der Wendepunkt kam, als ich aufhörte, auf das zu hören, was SEO-Gurus sagen, und anfing, mir anzusehen, was der Googlebot tut. Die Wahrheit liegt nicht in einem Blogbeitrag oder einem Webinar. Sie liegt in den rohen, ungeschönten Daten deiner Server-Logfiles. Und was ich dort fand, veränderte meine Sicht auf SEO für immer.
Stell dir vor, du betreibst ein riesiges Kaufhaus. Du investierst Unsummen in die perfekte Beleuchtung, die besten Produkte und die schönste Dekoration. Aber dein wichtigster Kunde – der, der über deinen Erfolg entscheidet – irrt stundenlang durch die Lagerräume, rüttelt an verschlossenen Türen und ignoriert deine prächtigsten Auslagen komplett.
Genau das passiert jeden Tag auf Millionen von Websites. Wir polieren unsere „Money Pages“, schreiben den perfekten Content und bauen eine vermeintlich logische Seitenstruktur. Währenddessen sehen wir nicht, wie der Googlebot, unser wichtigster Besucher, seine Zeit – sein Crawl-Budget – mit völlig irrelevanten Dingen verschwendet.
Das Problem ist: Standard-Tools wie Google Analytics oder die Search Console zeigen dir nur die Spitze des Eisbergs. Sie zeigen dir, was passiert, nachdem Google eine Seite gecrawlt und indexiert hat. Aber sie verraten dir nicht, welche Seiten Google ignoriert, wo es in Sackgassen landet oder wie es die Prioritäten deiner Website tatsächlich bewertet. Kurz: Du optimierst im Dunkeln.
Jedes Mal, wenn ein Besucher – sei es ein Mensch oder ein Bot – auf deine Website zugreift, hinterlässt dieser Zugriff eine Zeile in einer Textdatei auf deinem Server: dem Logfile. Stell es dir wie den Flugdatenschreiber deiner Website vor. Jeder einzelne Klick, jeder Aufruf, jeder Fehler – alles wird hier protokolliert.
Für die meisten ist das nur technischer Datenmüll. Für mich ist es die reinste Form der Wahrheit. Hier sehe ich exakt:
Diese Daten sind unbestechlich. Sie sind keine Interpretation, sondern der knallharte Faktencheck deiner SEO-Strategie. Um diesen Datenschatz zu heben, habe ich einen „Logfile-Agenten“ entwickelt: ein System, das Millionen dieser Log-Einträge analysiert und visualisiert. Plötzlich wird das unsichtbare Verhalten von Google sichtbar.
Als ich anfing, diese Daten systematisch auszuwerten, fielen mir Muster auf, die jeder SEO-Theorie widersprachen. Es waren keine Ausnahmen, es war die Regel.
Wir hatten einen Kunden mit einer perfekt optimierten Kategorieseite. Sie war das Herzstück des Shops, intern stark verlinkt und mit exzellentem Content bestückt. In unseren SEO-Tools sah alles grün aus. Die Logfiles zeigten ein anderes Bild: Der Googlebot besuchte diese Seite nur alle zwei bis drei Wochen. Stattdessen verbrachte er seine Zeit damit, Tausende veralteter, parametrisierter Filter-URLs zu crawlen – Seiten, die längst nicht mehr existierten und nur noch Fehler produzierten.
Wir dachten, wir zeigen Google eine Autobahn zu unserem besten Content. In Wahrheit hatten wir es in ein Labyrinth aus Sackgassen geschickt.
Das Crawl-Budget ist keine Metapher. Es ist die begrenzte Ressource an Zeit und Rechenleistung, die Google deiner Website zur Verfügung stellt. Jeder verschwendete Crawl auf einer irrelevanten Seite ist ein Crawl, der auf einer wichtigen Seite fehlt. Das ist keine Einzelbeobachtung, sondern wird von der Forschung bestätigt: Eine Studie aus dem Jahr 2021 zeigte, dass bei großen E-Commerce-Websites bis zu 50 % des Crawl-Budgets für nicht indexierbare oder wertlose Seiten verschwendet werden.
Logfile-Analysen decken diese Verschwendung gnadenlos auf. Sie zeigen dir Crawl-Fallen, Endlos-Weiterleitungen und Serverfehler-Muster, die in anderen Tools völlig unsichtbar bleiben.
Wir zeichnen schöne Silo-Strukturen und planen logische Nutzerpfade. Wir glauben, der Googlebot folgt brav unserer internen Verlinkung von der Startseite zur Kategorie und zum Produkt. Die Realität sieht oft chaotischer aus.
Der Bot folgt alten Links aus dem Web, springt über fehlerhafte Sitemaps oder verfängt sich in einer internen Verlinkung, die niemand mehr auf dem Schirm hat. Deine theoretische Architektur ist für ihn nur einer von vielen Wegen – und oft nicht der effizienteste.
Zu erkennen, dass Google deine Seite anders sieht als du, ist der erste, schmerzhafte Schritt. Der zweite ist die Konsequenz daraus: Du musst aufhören, deine Architektur für Menschen oder theoretische Modelle zu bauen. Du musst anfangen, sie für die Realität der Maschinen zu optimieren.
Das ist der Kern dessen, was ich als KI-Sichtbarkeit (https://www.mehrklicks.de/ki-sichtbarkeit/) bezeichne. Es geht nicht mehr darum, eine Checkliste abzuarbeiten, sondern ein System zu schaffen, das für Bots logisch, effizient und verständlich ist.
Die Logfile-Daten sind dabei dein Kompass. Sie zeigen dir:
Am Ende geht es darum, deine Website wirklich maschinenlesbar (https://www.mehrklicks.de/brand-relevanz/) zu machen. Eine saubere, von Bots verstandene Architektur ist die Grundlage für Vertrauen und Relevanz. Und genau das ist entscheidend im Zeitalter von KI-Systemen wie ChatGPT, Perplexity und der Google-Suche von morgen.
Ein Logfile ist eine Datei, die dein Webserver automatisch erstellt. Sie protokolliert jede einzelne Anfrage, die an den Server gestellt wird. Jede Zeile enthält typischerweise die IP-Adresse des Besuchers (oder Bots), den genauen Zeitpunkt, die aufgerufene URL, den Statuscode (z. B. 200 für „OK“ oder 404 für „Nicht gefunden“) und den User-Agent, der sich als Googlebot, Browser etc. identifiziert.
Logfiles befinden sich direkt auf deinem Webserver. Der Zugriff darauf hängt von deinem Hosting-Anbieter ab. In der Regel kannst du sie über dein Hosting-Control-Panel (wie cPanel oder Plesk) herunterladen oder benötigst einen FTP-Zugang zum Server. Bei manchen Hostern musst du die Protokollierung erst aktivieren.
Die Rohdaten selbst sind ohne Frage unübersichtlich – oft geht es um Millionen von Zeilen. Deshalb sind spezialisierte Tools (sogenannte Logfile Analyzer) oder, wie in meinem Fall, eigene Systeme notwendig, um die Daten zu aggregieren, zu filtern und zu visualisieren. Der Prozess erfordert technisches Verständnis, aber die daraus gewonnenen Erkenntnisse sind für jeden Marketer von unschätzbarem Wert.
Die Google Search Console (GSC) bietet im „Crawling-Statistik“-Bericht eine aggregierte und vereinfachte Ansicht des Googlebot-Verhaltens. Sie ist ein guter Startpunkt, aber stark limitiert. Logfiles bieten eine viel höhere Granularität: Du siehst jeden einzelnen Hit, nicht nur eine Zusammenfassung. Du kannst das Verhalten anderer Bots analysieren und siehst Anfragen für alle Dateitypen (Bilder, CSS, JS), nicht nur für HTML-Seiten. Die GSC ist ein Blick durchs Schlüsselloch, Logfiles öffnen die ganze Tür.
Wenn du deine Website das nächste Mal optimierst, frage dich nicht nur: „Was sagt die SEO-Best-Practice?“ Frage dich stattdessen: „Was tut der Googlebot wirklich?“ Die Antwort darauf ist der direkteste Weg zu einer Sichtbarkeit, die nicht auf Annahmen, sondern auf Fakten beruht. Es ist der Unterschied zwischen Hoffen und Wissen.