Bulk-Export von Google Search Console-Daten nach BigQuery – Einführung & Anleitung

Warum ist der Bulk-Export von GSC-Daten nützlich?

Die Google Search Console (GSC) liefert wertvolle Daten über die Performance deiner Website in der Google-Suche. Die meisten von euch werden die Google Search Console auch schon nutzen. 

Doch wer regelmäßig mit SEO-Daten arbeitet, stößt schnell an die Grenzen der standardmäßigen Exportfunktionen:

• Limitierte Zeiträume: In der GSC-Oberfläche sind nur 16 Monate an historischen Daten abrufbar.
• Maximale Zeilenbeschränkung: Beim manuellen CSV-Export sind maximal 1.000 Zeilen pro Abfrage enthalten. Dies ist für größere Websites völlig unzureichend und könnte eine Auswertung verfälschen.

Der Bulk-Export von Search Console-Daten nach Google BigQuery löst all diese Probleme. Er erlaubt es, alle Suchanfragen, URLs und Leistungsdaten vollständig und täglich in einer cloudbasierten Datenbank zu speichern. Dadurch kannst du:

• Langfristige Trends analysieren, auch über 16 Monate hinaus.
• Detaillierte Auswertungen ohne Zeilenbeschränkung durchführen.
• Individuelle SQL-Abfragen erstellen, um genau die Informationen zu erhalten, die du brauchst.
• Daten mit anderen Quellen kombinieren und eigene Tools bauen, um ein vollständiges Bild der SEO-Performance zu erhalten.

Hintergrund und Vergleich zu anderen Möglichkeiten

Google hat den Bulk-Export von Search Console-Daten nach BigQuery erst im Januar 2023 eingeführt. Vor dieser Neuerung waren SEOs auf die beschränkten Daten der GSC-Oberfläche oder die API angewiesen, die nur Stichproben aus den Suchdaten liefert.

Mit der Einführung des Bulk-Exports hat Google auf die wachsende Nachfrage nach Suchperformancedaten reagiert. Die wichtigsten Vorteile gegenüber der bisherigen API-Nutzung sind:

• Täglicher Export von mehr Suchanfragen und URLs.
• Kein API-Limit: Während die API maximal 50.000 Zeilen pro Property und Tag liefert, gibt es beim Export keine Begrenzung.
• Datenverlust vermeiden: Da BigQuery eine Cloud-Datenbank ist, können Daten langfristig gespeichert, analysiert und bspw. in SEO-Reportings verarbeitet werden.

Die Funktion steht allen Search Console-Usern kostenlos zur Verfügung, erfordert aber ein BigQuery-Projekt in der Google Cloud Platform (GCP).

Was ist die Google Cloud Plaform & Google Big Query?

Google Cloud Platform – Die Grundlage für BigQuery

Die Google Cloud Platform ist eine Sammlung von Cloud-Diensten von Google, die Unternehmen und Entwicklern leistungsstarke Infrastruktur für Hosting, Datenanalyse, KI, maschinelles Lernen und mehr bietet.

Für den Bulk-Export von Search Console-Daten nach BigQuery benötigst du ein GCP-Konto, da BigQuery als Data-Warehouse in dieser Plattform integriert ist. Die wichtigsten Vorteile der GCP für SEO-Analysen sind:

• Zentrale Datenhaltung: Alle wichtigen Daten (Search Console, Analytics, Ads) können in einer einzigen Umgebung gespeichert und verarbeitet werden.
• Skalierbarkeit: Egal, ob du eine kleine oder eine riesige Website betrachtest. Die GCP wächst mit deinen Anforderungen.
• Flexible Kostenstruktur: Du zahlst nur für das, was du nutzt, es gibt keine fixen Serverkosten.
• Zugriffskontrolle & Sicherheit: Detaillierte Berechtigungen ermöglichen es, Zugriffsrechte für verschiedene Teams oder Nutzer genau zu steuern.

Was ist Google BigQuery?

Google BigQuery ist ein serverloses, hochperformantes Data-Warehouse, das für die Verarbeitung großer Datenmengen optimiert ist. Es wurde entwickelt, um riesige Datenbanken blitzschnell zu durchsuchen. Zudem kann SQL als Abfragesprache für die Daten verwendet werden.

Wichtige Eigenschaften von BigQuery für SEO-Analysen:

• Kein Server-Management / Administration: Google übernimmt die Skalierung und Performance-Optimierung automatisch.
• Superschnelle SQL-Abfragen: Analysen von Zeilen laufen innerhalb von Sekunden durch.
• Kosteneffizienz: Abgerechnet wird nur, wenn Daten abgefragt werden. Es gibt keine Fixkosten für Speicherplatz.

Anleitung – Einrichtung des Bulk-Exports

Damit du den Bulk-Export der Google Search Console nach BigQuery nutzen kannst, müssen einige Voraussetzungen erfüllt sein.

Voraussetzungen für die Nutzung

Bevor du den Export einrichtest, stelle sicher, dass du folgende Punkte erfüllst:

• Google Search Console-Zugriff: Du musst Inhaber oder uneingeschränkter Nutzer der Search Console-Property sein, für die du den Export aktivieren möchtest. Ohne ausreichende Rechte kannst du die Funktion nicht einrichten.
• Google Cloud-Projekt mit BigQuery: Du benötigst ein Google Cloud Platform-Projekt, in dem BigQuery aktiviert ist. Falls du noch kein Projekt hast, musst du es als erstes anlegen.
• Abrechnung in der Google Cloud aktivieren: BigQuery ist zwar in kleinen Mengen kostenlos nutzbar, aber du musst eine Abrechnungsfunktion in der GCP aktivieren, um den Export einzurichten. Hierfür muss eine Zahlungsmethode (z. B. Kreditkarte) hinterlegt werden.
• BigQuery-Berechtigungen setzen: Dein GCP-Nutzer benötigt BigQuery Admin- und Editor-Rechte, um den Import der Daten zu verwalten. 

Einrichtung in der Google Cloud Platform

Bevor du den Bulk-Export aktivieren kannst, musst du ein Google Cloud-Projekt mit BigQuery einrichten. Falls du noch kein Projekt hast, gehe wie folgt vor:

1. Schritt: Google Cloud Console öffnen:
   • Rufe https://console.cloud.google.com/ auf und melde dich mit deinem Google-Konto an.
2. Neues Projekt erstellen (falls noch nicht vorhanden):
   • Klicke auf das Projektauswahl-Menü oben in der Leiste.
   • Wähle „Neues Projekt erstellen“ und gib einen Namen ein (z. B. “Name-search-console-export”). Achtung: Der Name kann später nicht mehr geändert werden.
   • Klicke auf den Button “Erstellen” und bestätige damit die Erstellung des neuen Projekts.
3. Abrechnung aktivieren:
   • Öffne die Abrechnungsverwaltung unter dem Punkt “Abrechnung”.
   • Falls noch nicht geschehen, erstelle eine neue Abrechnung und hinterlege eine Zahlungsmethode.
   • Hinweis: Ohne aktivierte Abrechnung funktioniert der Export nicht!
4. BigQuery API aktivieren:
   • Rufe den Bereich “APIs und Dienste” und “Aktivierte APIs und Dienste” auf:
   • Unter dem Punkt “APIS UND DIENSTE AKTIVIEREN” die BigQuery API aktivieren:
   • Es öffnet sich eine Übersichtsseite der API-Bibliothek, hier bitte nach “BigQuery API” suchen:
     • 
   • Klicke auf „Aktivieren“, um BigQuery für dein Projekt zu nutzen.
5. Berechtigungen prüfen:
   • Damit die Search Console Daten überhaupt an BigQuery weiterleiten kann, muss ihr die entsprechende Berechtigung für das Projekt erteilt werden.
   • Öffne IAM & Verwaltung:
     • 
   • Gewähre der Google Search Console nun Zugriff. Die E-Mail “search-console-data-export@system.gserviceaccount.com” muss den folgende Rollen zugeordnet werden:
     1. BigQuery-Dateneditor
     2. BigQuery-Jobnutzer
   • Am Endes muss es dann so aussehen:

Exportziel in der Google Search Console festlegen

Jetzt, da dein Cloud-Projekt vorbereitet ist, musst du in der Google Search Console das Ziel für den Export konfigurieren. So gehts:

• Google Search Console öffnen: Gehe auf search.google.com/search-console und wähle die gewünschte Property aus.
• Bulk-Export aktivieren: Öffne die „Einstellungen“ (Zahnradsymbol ganz unten links).
  • 

• Klicke dann auf den Punkt “Bulk-Datenexport”:
  • 
• Tabelle & Speicherort wählen:
  • ID des Cloud-Projekts: Die Projekt-ID wird auf der Google Cloud Platform mit den Projekteinstellungen angezeigt, verwende hier bitte nicht die Projektnummer.
  • Datasetname: Definiere einen Tabellennamen (z. B. searchconsole_daily).
  • Datasetort: Wähle eine BigQuery-Region.
  • 
• Klicke auf „Speichern“, um den Bulk-Export zu aktivieren.
  • Google beginnt nun automatisch, die Search Console-Daten täglich in deine BigQuery-Datenbank zu schreiben.
  • Wenn alles richtig ist, sieht das dann so aus:
    • 

Aufbau der exportierten Daten in BigQuery

Nachdem wir den Bulk-Export erfolgreich eingerichtet haben, beginnen nun die täglichen Exporte aus der Google Search Console in Google BigQuery. Doch was genau wird gespeichert, und wie sind die Daten strukturiert?

Überblick über die exportierten Tabellen

Google speichert die Daten in drei Haupttabellen innerhalb der BigQuery-Datenbank:

• searchdata_site_impression: Aggregierte Daten auf Property-Ebene
• searchdata_url_impression: Detaillierte Daten auf URL-Ebene
• searchdata_export_log: Protokoll der Exporte mit Statusinformationen

Was kann ich mit den Daten machen?

Der große Vorteil von BigQuery ist die Möglichkeit, beliebig große Datenmengen effizient abzufragen und zu analysieren. Das ermöglicht dir:

• Langfristige Trends erkennen: Auch über die 16-Monats-Grenze der GSC hinaus (wenn es erstmal ein paar Monate läuft und wir die “alten” Daten importiert haben)
• Detaillierte Keyword- und URL-Analysen: Ohne Zeilenbeschränkung oder aggregierte Stichproben
• Geräte- und Ländervergleiche: Wie unterscheiden sich Rankings und CTRs je nach Nutzerverhalten?
• Kombination mit anderen Datenquellen: Verknüpfe GSC-Daten mit Google Analytics, Logfiles oder externen SEO-Tools
• Automatisierte Berichte & Dashboards: BigQuery lässt sich mit Looker Studio oder Python für regelmäßige Reports verbinden