Wenig Traffic und A/B-Tests: Was du prüfen solltest, bevor du einen Gewinner suchst

Seit sechs Wochen laufen auf der Seite zwei Varianten. In der ersten verspricht die Überschrift ein verständliches Ergebnis, in der zweiten erklärt sie die Dienstleistung ausführlicher. In der Tabelle ist zu sehen: Variante B hat zwei Anfragen mehr. Jemand schlägt bereits vor, den Test zu beenden und den Rest der Website nach ihrem Vorbild umzuschreiben.

Doch morgen kann eine Anfrage bei der anderen Variante eingehen - und der “Sieg” verschwindet. Nicht, weil das Team etwas kaputt gemacht hat. Bei einer kleinen Zahl von Anfragen können die Daten von Fall zu Fall leicht schwanken. Wenn du eine solche Schwankung als Beweis bezeichnest, beginnt der Prozess, sich selbst zu steuern wie eine defekte Ampel: Alle schauen auf das Signal, aber dadurch wird das Fahren nicht sicherer.

Ein A/B-Test ist der Vergleich von zwei Versionen einer Seite oder eines Elements, die verschiedene Besucher zufällig sehen. Er prüft eine angenommene Ursache für eine Handlung, statt dir beim Raten zu helfen, welche Überschrift schöner aussieht.

Wenn es wenige Besucher und Anfragen gibt, ähneln sich die schlechtesten Extreme. Das erste ist, die Seite monatelang nicht anzufassen, weil “es für einen Test ohnehin zu wenig Daten gibt.” Das zweite ist, alles auf einmal zu ändern und jeder neuen Zahl zu glauben. In beiden Fällen erfährst du nicht, was genau geholfen oder gestört hat.

Der Weg vom Besuch zur Anfrage handelt nicht nur von Buttons. Führe den Weg der Person, ihre Suchanfragen, ein wichtiges Problem und aufeinanderfolgende Prüfungen zu einer einfachen Regel zusammen: Der Start eines Tests ist für sich genommen keine Entscheidung.

Beginne mit einem alltäglichen Satz: “Auf dieser Seite möchte ich, dass die Person genau das tut.” Im B2B kann das mehr sein als ein abgesendetes Formular. Eine Zielaktion ist ein konkreter Schritt, der ein Gespräch über die Zusammenarbeit wirklich näher bringt: eine Anfrage für eine Kalkulation, die Buchung einer Beratung, das Herunterladen einer technischen Beschreibung nach dem Hinterlassen von Kontaktdaten. Wenn das Team darüber streitet, was als Erfolg gilt, hat der Test schon keine einzige ehrliche Frage mehr.

Von einer Aktion im Bericht zu einer Aktion fürs Geschäft

Wichtig ist, eine für den Bericht bequeme Aktion nicht mit einer für das Geschäft nützlichen zu verwechseln. Ein Klick auf eine Telefonnummer kann eine wertvolle Beobachtung sein, bestätigt aber kein Gespräch. Der Aufruf einer Preisseite kann Interesse zeigen, ist aber nicht gleichbedeutend mit einer Anfrage. Definiere die Hauptaktion so, dass du nach dem Test erklären kannst, warum gerade sie zählt. Dann streitet das Team nicht über die Zahl, die einfach am schnellsten in der Tabelle erschien.

Angenommen, du verkaufst Dienstleistungen für Produktionsunternehmen. Wenn Menschen auf die Seite kommen, die einen Lieferanten suchen, das Formular aber ein Ereignis nach dem Klick auf den Button sendet und nicht nach erfolgreichem Absenden, misst du die Absicht zu klicken und keine echte Anfrage. Die Überschrift hat damit nichts zu tun: Korrigiere zuerst den Messpunkt.

Eine andere Situation: Eine Seite über eine komplexe Dienstleistung erhält wenige Anfragen, aber einige Menschen gehen weiter zu einem Anforderungskalkulator. Ein solches frühes Signal - eine Aktion, die der Hauptanfrage logisch vorausgeht - kannst du getrennt als unterstützenden Hinweis beobachten. Nenne es aber nicht den Sieg der Seite und ersetze die Anfragen nicht dadurch. Es zeigt nur, wo du genauer hinsehen solltest.

Eine Conversion ist eine erfasste Zielaktion eines Besuchers, zum Beispiel ein erfolgreich abgesendetes Formular. Sie existiert im Bericht nur dann, wenn die Website das Ereignis korrekt übertragen hat. Prüfe daher vor einem Schluss über die Seite die gesamte Kette: Die Person hat die Aktion ausgeführt, die Website hat sie erfasst und das Messsystem hat genau das Ereignis erhalten, das du erwartest.

Measurement Protocol ist eine Möglichkeit, ein Ereignis von einer Website oder einem Server an Google Analytics zu senden. Prüfe vor dem produktiven Start die Umsetzung und die Ereignisschlüssel, damit du kein schönes, aber falsches Diagramm erhältst.

Praktisch bedeutet das nicht: “Schau nach, ob es eine Zahl gibt.” Nimm eine echte Testanfrage und gleiche ihren Weg ab. Hat sich der Bildschirm nach dem erfolgreichen Absenden geändert? Wurde das benötigte Ereignis ausgelöst und nicht nur ein Button-Klick? Wird es nach dem Aktualisieren der Seite nicht zweimal gesendet? Stimmen sein Name und seine Parameter mit dem überein, was der Bericht zeigt? Wenn du auf diese Fragen keine klare Antwort hast, ist es zu früh, Varianten zu vergleichen.

Vergleiche nicht nur Ereignisse, sondern auch den Weg

Es ist auch sinnvoll zu prüfen, ob sich der Weg der Person zwischen den Varianten verändert hat. Zum Beispiel öffnet eine Variante das Formular auf der Seite, während die andere zu einem separaten Bildschirm führt. Stelle sicher, dass der erfolgreiche Abschluss in beiden Szenarien gleich erfasst wird. Sonst zeigt der Test keinen Unterschied in der Überzeugungskraft des Angebots, sondern in dem Punkt, an dem ein Ereignis verloren ging. Messung ist keine technische Kleinigkeit: du gibt dir das Recht, einen Schluss zu ziehen. Bei der Analytics-Dienstleistung kannst du sehen, warum eine Entscheidung mit dem beginnt, was tatsächlich erfasst wird. Und der Fall zur Wiederherstellung des Conversion-Trackings zeigt: Ein Dashboard mit Zahlen wird keine verlässliche Grundlage, solange Zielaktionen nicht korrekt gesammelt werden.

Schau dir auch an, wer auf die Seite kommt. Wenn eine Variante häufiger Menschen aus einer Preisanzeige sehen, während die andere Menschen sehen, die nach einer Leistungsbeschreibung suchen, vergleichst du nicht nur Seiten. Du vergleichst unterschiedliche Erwartungen. In einem Test sollten beide Zweige Besucher zufällig erhalten. Andernfalls kann der Unterschied eine Folge der Traffic-Quelle sein und nicht der Änderung auf der Seite.

Das ist kein Grund, auf Werbung zu verzichten oder die Seite bis zu einem “idealen” Zeitpunkt aufzuschieben. Prüfe vor dem Schluss einfach, ob in einem Test unterschiedliche Botschaften, Kampagnen oder Besuchergruppen vermischt wurden. Wenn ja, ziehe keinen Schluss über die Überschrift. Gleiche zuerst den Vergleich an oder benenne seine Einschränkung im Ergebnisprotokoll.

Eine Hypothese ist eine überprüfbare Annahme darüber, warum eine Person den gewünschten Schritt nicht tut und welche Änderung ihr helfen könnte. Nicht: “Machen wir den Button heller”, sondern zum Beispiel: “Die Person hinterlässt keine Anfrage, weil sie vor dem Formular nicht versteht, welche Informationen sie als Antwort erhält; wenn wir daneben kurz den Inhalt der Antwort nennen, wird sie das Absenden häufiger abschließen.”

Damit dieser Gedanke keine Vermutung aus einem Meeting bleibt, reduziere ihn in einem gewöhnlichen Dokument auf einige Felder:

• die Zielaktion, die du zählst;
• die Seite und Besuchergruppe, bei der du das Problem bemerkt hast;
• die Beobachtung: Wo die Person stehen bleibt oder was sie nicht versteht;
• eine Änderung, die du vorschlägst;
• die erwartete Richtung, aber ohne ein Ergebnis zu versprechen;
• eine Möglichkeit zu prüfen, dass das Ereignis korrekt erfasst wurde.

Diese Felder sind nicht nur für Papier nützlich. Sie trennen drei unterschiedliche Probleme, die oft vermischt werden. Erstens: Menschen erreichen die Seite nicht oder kommen mit der falschen Erwartung - dann prüfe die Botschaft in der Werbung und ob die Seite zur Suchanfrage passt. Zweitens: Die Person erreicht die Seite, versteht aber das Angebot oder den nächsten Schritt nicht - dann arbeite am Inhalt der Seite. Drittens: Die Aktion findet statt, gelangt aber nicht in die Daten - dann fasse die Überschrift nicht an, bis du die Messung korrigiert hast.

Es gibt auch eine vierte Situation: Die Hauptaktion ist so selten, dass der Test noch keinen verlässlichen Schluss liefern kann. Hier musst du nicht so tun, als würde eine neue Farbe das Problem lösen. Behalte das Hauptziel bei, berechne den benötigten Umfang für jeden Zweig und überlege, welcher frühe Schritt ihm wirklich vorausgeht. Ein frühes Signal hilft dir, etwas über den Weg der Person zu lernen, ersetzt aber nicht das Geschäftsergebnis.

Ein hypothetisches Beispiel: Du siehst, dass Besucher die Bedingungen der Dienstleistung lesen, aber nur selten zum Formular weitergehen. Das bedeutet noch nicht, dass der Text schlecht ist. Vielleicht fehlt vor dem Formular eine Erklärung, was nach der Anfrage passiert; vielleicht verspricht die Traffic-Quelle etwas anderes. Notiere, welche genaue Beobachtung du hast, und wähle nur eine Ursache zur Prüfung. Wenn du gleichzeitig Überschrift, Preis, Formular und Werbeanzeige umschreibst, wird die nächste Zahl dir nicht sagen, was funktioniert hat.

Es ist hilfreich, Beweis und Hinweis zu trennen. Eine Gesprächsaufzeichnung, die Antwort eines Managers oder die Beobachtung von Aktionen auf der Seite kann dir nahelegen, was du prüfen solltest. Sie beweisen nicht, dass die Änderung allein die Zahl der Anfragen erhöht hat. Ein Beweis für ein kausales Ergebnis verlangt einen ehrlichen Vergleich, bei dem du nicht gleichzeitig noch fünf andere Dinge geändert hast.

Eine Stichprobe ist die Zahl der Besucher oder erfassten Aktionen, auf deren Grundlage du einen Schluss ziehst. Für einen A/B-Test wird der benötigte Umfang vor dem Start getrennt für jeden Zweig berechnet. Er hängt vom aktuellen Anteil der Zielaktionen ab und davon, welchen Unterschied du erkennen können willst. Eine universelle Zahl, die zu jeder Website passt, gibt es nicht.

Das bedeutet nicht, dass du selbst komplizierte Formeln bauen musst. Wichtig ist, vor dem Start zwei Dinge festzuhalten: Welcher Umfang nach der gewählten Berechnung nötig ist und was du tust, wenn er sich nicht in einem für dein Geschäft akzeptablen Tempo erreicht. Du hältst den Test zum Beispiel nicht endlos nur deshalb offen, weil er bereits gestartet ist, sondern kehrst zur Qualität der Messung, zur Zielaktion oder zu einem früheren Signal zurück.

Der benötigte Umfang ist kein geplantes Enddatum. Er zeigt nur die Grenze, nach der die Daten einen stärkeren Schluss erlauben können. Wenn der Besucherstrom klein ist, kann die Bestimmung eines Gewinners tatsächlich länger dauern. Das ist kein defekter Test. Defekt wird es dann, wenn das Team die Regel an die Zahl anpasst, die ihm heute gefällt.

Statistische Signifikanz ist eine Einschätzung, wie sehr der beobachtete Unterschied Zufallsrauschen sein kann. Sie hilft dir, Zufall nicht mit einem Ergebnis zu verwechseln, gibt aber keine hundertprozentige Sicherheit. Formuliere deinen Schluss daher nach der Stärke der Daten. “Variante B hat ein ermutigendes frühes Signal, aber die Stichprobe reicht nicht aus” ist ehrlicher und nützlicher als “B hat gewonnen.” Ein solcher Eintrag bremst die Arbeit nicht: Er schützt die nächste Entscheidung vor einem selbstsicheren Fehler.

Höre nicht in dem Moment auf, in dem eine Zahl angenehm aussieht, und setze den Test nicht nur fort, weil sie heute unangenehm aussieht. Beide Entscheidungen sollten auf einer Regel beruhen, die du vor dem Lesen des Ergebnisses festgelegt hast. Sonst prüft der Test nicht die Hypothese, sondern die Geduld des Teams.

Ein A/B-Test ist sinnvoll, wenn du eine konkrete Änderung, eine korrekt erfasste Zielaktion, eine zufällige Verteilung der Besucher und eine Berechnung einer ausreichenden Stichprobe hast. Das garantiert nicht das gewünschte Ergebnis. Es schafft aber Bedingungen, unter denen die Antwort nicht wie eine Wettervorhersage aus dem Fenster wirkt.

Wenn der Test nicht die benötigten Daten gesammelt hat, ist auch das ein Ergebnis, aber weder Niederlage noch Sieg. Halte fest, was genau geprüft wurde, welche Daten sich sammeln konnten, ob die Messung funktionierte und welche Daten für einen starken Schluss fehlten. Wähle dann die nächste Aktion passend zur Ursache: Präzisiere die Hypothese, prüfe einen frühen Schritt, überprüfe die Traffic-Qualität oder verschiebe den Vergleich selbst. Unsicherheit musst du nicht ausschmücken - benenne sie so, dass die nächste Person im Team die Grenze der Daten versteht und eine Annahme nicht in eine “bewiesene Tatsache” verwandelt.

Der erste Schritt ist einfach: Öffne den aktuellen Test oder die Seite, die du testen wolltest, und notiere die Zielaktion in einem Satz. Prüfe sie dann bei einem echten Durchlauf vom Formular bis zum Bericht. Erst danach ergibt es Sinn, über den Gewinner zu streiten.