Die eigene Datenbasis: Marktdaten selbst erheben statt Berichte kaufen

In der Quartalsrunde liegt eine Folie auf dem Bildschirm. Der Markt wächst, das Preisniveau zieht an, zwei Segmente verlieren. Unten rechts steht die Quelle: ein Branchenreport, jährlich, gegen Rechnung. Niemand widerspricht den Zahlen, und das ist vernünftig, denn der Bericht ist sauber gemacht.

Er hat nur eine Eigenschaft, die in solchen Runden selten ausgesprochen wird: Ihre wichtigsten Wettbewerber haben ihn ebenfalls gekauft, in derselben Fassung, im selben Quartal. Was Sie daraus ableiten, leiten sie auch ab. Im günstigsten Fall treffen Sie damit eine Entscheidung, die genauso gut ist wie ihre.

Und die Frage, wegen der Sie den Bericht ursprünglich bestellt hatten, steht nicht darin.

Ein Bericht ist zur Verbreitung gemacht

Marktberichte sind nicht schlecht. Sie sind für einen anderen Zweck gebaut als für Ihren. Ihr Geschäftsmodell ist die Auflage: Je mehr Häuser denselben Band lesen, desto besser rechnet er sich. Das ist keine Schwäche des Herausgebers, sondern seine Konstruktion.

Dazu kommt die Flughöhe. Berichte schneiden Märkte in Segmente, die zur Systematik des Herausgebers passen, und sie erscheinen in Jahresscheiben. Ihre Entscheidungen laufen enger und schneller. Sie lauten selten „wie wächst der Markt“. Sie lauten: Was verlangen die Anbieter, gegen die ich in meinem Gebiet antrete, heute für genau die Leistung, die ich verkaufe? Was davon hat sich in den vergangenen Wochen bewegt? Wer hat seine Leistungsbeschreibung geändert, bevor er den Preis geändert hat?

Diese Fragen beantwortet kein Bericht. Die öffentlichen Seiten Ihrer Wettbewerber beantworten sie jeden Tag, nur eben unsortiert.

Das Problem war nie das Sammeln, sondern das Pflegen

Wer schon einmal versucht hat, Marktdaten selbst zu erheben, kennt die Stelle, an der solche Vorhaben sterben. Es ist nicht der erste Durchlauf. Der erste Durchlauf funktioniert fast immer. Es ist der vierte Monat, in dem drei der beobachteten Anbieter ihre Website umgebaut haben und die Auswertung seitdem leere Felder liefert, die niemandem auffallen.

Die Ursache ist immer dieselbe: Ein starres Sammelskript ist auf die Struktur einer Seite abgestimmt, und diese Struktur gehört jemand anderem. Der Aufwand lag nie im Sammeln. Er lag im Nachziehen.

Genau an dieser Stelle hat sich die Lage geändert. Das Muster, das heute trägt, hat drei Schritte: Ein Browser holt den Rohblock einer Seite, ein Sprachmodell liest diesen Block und füllt ein vorgegebenes Feldschema, zurück kommt ein strukturierter Datensatz statt eines Textes. Verschiebt der Anbieter seine Seitenstruktur, ändert sich der Rohblock, das Schema bleibt. Der Datensatz kommt weiter.

Wichtiger als diese Möglichkeit ist die Disziplin daneben. Wo die Struktur einer Seite stabil ist, holt eine feste Regel das Feld schneller und günstiger als jedes Modell. Das Modell gehört dorthin, wo die Struktur wechselt oder wo aus dem Text erst erschlossen werden muss, was nicht ausgeschrieben dasteht. Wer das Modell überall einsetzt, zahlt für Bequemlichkeit. Und wer der Auswertung aufgeräumten Text statt Roh-HTML übergibt, senkt die verarbeitete Textmenge deutlich und damit die laufenden Kosten. Die Werkzeuge dafür sind quelloffen und selbst betreibbar, eine Bindung an einen Anbieter entsteht nicht.

Jeder Wert bringt seine Herkunft mit

Der eigentliche Hebel ist unscheinbar. Er besteht darin, vor dem ersten Durchlauf festzulegen, welche Felder ein Datensatz haben muss, und diese Festlegung verbindlich zu machen, statt das Modell frei erzählen zu lassen:

leistung      Text          Pflichtfeld
preis_eur     Zahl          Pflichtfeld
stand         Datum         Pflichtfeld
quelle_url    Text          Pflichtfeld
konfidenz     0,1 bis 1,0   Pflichtfeld

Fünf Zeilen, aber sie entscheiden über die Brauchbarkeit der ganzen Erhebung.

Zwei Vorkehrungen darin sind Handwerk und schnell erzählt: Bei einer Erhebung steht die Erzeugungstemperatur auf null, damit zwei Durchläufe über dieselbe Seite nicht zwei Ergebnisse liefern. Und die letzte Zeile gibt dem Modell einen Ort für die eigene Unsicherheit, statt ihm nur die Wahl zwischen Wert und Lücke zu lassen. Beides gehört zur Grundausstattung, sobald jemand Extraktion ernsthaft betreibt.

Über die vierte Zeile wird selten gesprochen, und für eine eigene Datenbasis ist sie die wichtigste. Jeder Wert trägt die Adresse mit, an der er gefunden wurde, dazu das Datum, an dem er dort stand. Das klingt nach Buchhaltung und ist der Unterschied zwischen einer Datenbasis und einer Sammlung von Behauptungen.

Der Grund dafür zeigt sich nicht beim Erheben, sondern in dem Moment, in dem die Zahl gebraucht wird. Eine selbst erhobene Zahl hat keinen Verlagsnamen hinter sich, der für sie einsteht. Wenn Sie sie in eine Preisverhandlung tragen, in eine Vorlage für den Beirat oder in eine Pressemitteilung, wird jemand fragen, woher sie kommt. Beim gekauften Bericht ist die Antwort der Bericht. Bei einer eigenen Erhebung ist die Antwort die Quellzeile, oder es gibt keine.

Der zweite Grund zeigt sich erst nach Monaten. Ein Wert mit Adresse und Datum lässt sich nachschlagen, ein Wert ohne beides nur glauben. Fällt eine Zahl aus der Reihe, lautet die Frage in der Runde dann nicht mehr „stimmt das überhaupt“, sondern „schauen wir nach“. Erhebungen sterben selten an einer falschen Zahl. Sie sterben am zweiten Zweifel, den niemand mehr ausräumen kann.

Aus einem Schema wird ein Betrieb, sobald eine weitere Regel dazukommt: Das System fragt bei jedem Schritt nur noch nach den Feldern, die noch leer sind. Was bereits belegt ist, wird nicht erneut erhoben und nicht erneut bezahlt. Und erst wenn die naheliegende Quelle nichts mehr hergibt, geht die Suche in die Breite. Das trennt die Vorführung, die einmal beeindruckt, von der Erhebung, die im dritten Quartal noch läuft.

Die Grenze liegt vor dem Werkzeug, nicht dahinter

Mehrere Einschränkungen gehören an den Anfang eines solchen Vorhabens, nicht in die Fußnote.

Öffentlich zugänglich ist nicht dasselbe wie frei verwendbar. Nutzungsbedingungen, geschützte Bereiche hinter einer Anmeldung und Zugänge, die einem Dritten gehören, sind eine Frage für die Rechtsabteilung, bevor die erste Zeile gebaut wird, nicht danach.

Und sobald Personen erkennbar werden, ist es keine Marktbeobachtung mehr. Marktdaten sind Preise, Leistungen, Sortimente, Öffnungszeiten, Standorte. Alles, was einer einzelnen Person zurechenbar ist, folgt anderen Regeln und sollte in einem Erhebungsprojekt bewusst außen vor bleiben.

Die dritte Grenze ist technischer Natur und wird regelmäßig unterschätzt. Wer eine fremde Seite im Sekundentakt abruft, wird als das erkannt, was er ist, und belastet nebenbei ein System, das jemand anderem gehört. Eine Erhebung, die dauerhaft laufen soll, richtet sich nach dem Takt eines Menschen: Pausen zwischen den Abrufen, und eine Frequenz, die zur Frage passt. Preise, die sich monatlich ändern, brauchen keine stündliche Messung.

Die letzte Grenze ist keine äußere, sondern eine praktische: Eine automatisierte Erhebung verschiebt den Engpass. Sie schreiben nicht mehr wochenlang an einer Auswertung, Sie prüfen stattdessen Stichproben. Das ist ein guter Tausch, aber es ist ein Tausch, kein Wegfall.

Der Beleg aus der eigenen Arbeit

Als ich das Marketing für Restaurants aufgebaut habe, war das keine strategische Entscheidung, sondern eine Notlage. Für den Fachbestand, aus dem inzwischen über 500 veröffentlichte Artikel geworden sind, brauchte jede Aussage eine Quelle, die man nachschlagen kann. Die Zahlen, die ich dafür brauchte, standen in keinem einzelnen Bericht. Sie standen verstreut in Verbandsveröffentlichungen, Ämterstatistiken, Fachpublikationen und in dem, was Betriebe selbst öffentlich machen.

Aus dieser Notlage ist über Jahre eine eigene Datenbasis geworden: vier Erhebungs-Etappen, am 29. April 2026 zu einem einzigen Index zusammengeführt, rund 2.400 Einträge.

Die interessantere Hälfte dieses Belegs ist das, was dabei schiefging. Beim Zusammenführen der vier Etappen entstanden Dubletten in erheblicher Zahl, weil dieselbe Quelle in mehreren Etappen aufgetaucht war. Und zwei Zählweisen derselben Indexdatei kommen bis heute auf leicht verschiedene Gesamtzahlen, weshalb in diesem Text „rund“ steht und keine exakte Zahl.

Daraus folgt die Arbeitsregel, die den Wert der Sache überhaupt erst sichert: Der Index sagt, wo eine Zahl steht. Ob sie stimmt, sagt er nicht. Jede Zahl, die veröffentlicht wird, wird vorher in ihrer Quelldatei nachgelesen, nicht aus dem Index abgeschrieben.

Drei Übertragungen

Handel und Hersteller mit öffentlich ausgezeichneten Preisen sind der direkteste Fall. Ein Schema, eine Liste von Anbieterseiten, ein wöchentlicher Durchlauf, und aus der Frage „liegen wir im Markt“ wird eine Zeitreihe. Der Aufwand entsteht einmal, der Nutzen wiederholt sich mit jedem Lauf.

Zulieferer, Bauwesen und beratende Berufe arbeiten mit Angebots- und Leistungsverzeichnissen, die als Dokument vorliegen und nicht als Datensatz. Auch solche Dokumente lassen sich in ein Feldschema überführen. Der Kniff dabei ist eine eingebaute Prüfregel: Die Summe der Einzelpositionen muss dem ausgewiesenen Gesamtbetrag entsprechen. Stimmt das nicht, fällt der Datensatz auf, statt unbemerkt in die Auswertung zu wandern.

Wer viel Kundenfeedback in Textform bekommt, im Handel, im Gesundheitswesen, in der Bildung, kann jeden Text mit denselben Feldern versehen: Thema, Bewertung, Sicherheit der Einordnung. Danach lässt sich zählen, worüber sich die Beschwerden häufen, statt sie einzeln zu lesen und den Eindruck zu behalten, den die lauteste hinterlassen hat.

Die erste Frage ist nicht die nach dem Werkzeug

Der Fehler bei solchen Vorhaben ist fast immer, mit der Technik anzufangen. Die Werkzeuge sind austauschbar geworden, und sie werden es weiter sein.

Die Frage, die davor steht, lautet: Welche eine Zahl würde, wenn Sie sie hätten und Ihr Wettbewerb nicht, eine Ihrer nächsten Entscheidungen tatsächlich verändern? Wenn Sie darauf eine Antwort haben, ist der Rest Handwerk, und zwar ein überschaubares. Wenn Sie keine haben, ersparen Sie sich das Projekt.

Falls Sie eine solche Zahl im Kopf haben und der Weg dorthin unklar ist, schreiben Sie mir.