A/B-Test

Was ein A/B-Test leistet

Ein A/B-Test beantwortet genau eine Frage: Bringt Änderung X mehr als der bisherige Zustand? Er ersetzt die Diskussion im Team durch eine Messung — allerdings nur, wenn der Aufbau stimmt.

Fünf Punkte gehören vor den Start festgelegt:

1. Die Hypothese. Nicht „wir probieren mal einen anderen Button”, sondern: Wenn wir den Preisrahmen oberhalb des Formulars nennen, brechen weniger Besucher ab, weil die häufigste offene Frage vorher beantwortet ist.
2. Genau eine Variable. Ändern Sie Überschrift, Bild und Formular gleichzeitig, wissen Sie am Ende, dass sich etwas verändert hat — aber nicht, wodurch.
3. Eine Zielhandlung. Abgesendetes Formular, gebuchter Termin, Bestellung. Nebenmetriken dürfen mitlaufen, entscheiden aber nicht.
4. Zufällige Aufteilung im selben Zeitraum. Ein Vergleich „diese Woche gegen letzte Woche” ist kein A/B-Test, weil Wetter, Saison und Kampagnen dazwischenfunken.
5. Die nötige Stichprobe. Vorab ausgerechnet, nicht im Laufen geschätzt.

Üblich ist es, ein Ergebnis erst ab einem Signifikanzniveau von 95 Prozent zu akzeptieren. Diese Schwelle ist eine Konvention, keine Naturkonstante — sie schützt davor, Zufallsschwankungen als Erfolg zu verkaufen.

Vom A/B-Test zu unterscheiden sind zwei verwandte Verfahren: Der multivariate Test prüft mehrere Elemente in allen Kombinationen und braucht dafür ein Vielfaches an Daten — für die meisten mittelständischen Websites unrealistisch. Der schlichte Vorher-Nachher-Vergleich wiederum ist kein Test, sondern eine Beobachtung, weil Saison, Kampagnen und Wettbewerb dazwischen liegen.

Woran die meisten Tests scheitern

• Zu früh gestoppt. Wer täglich nachsieht und beim ersten Vorsprung abbricht, produziert Ergebnisse, die sich nicht wiederholen lassen.
• Zu wenig Conversions. Bei einer Handvoll Anfragen im Monat ist jeder Unterschied Rauschen. Dann ist ein A/B-Test das falsche Werkzeug, nicht die falsche Idee.
• Mehrere Änderungen gleichzeitig. Beliebt, weil es schneller wirkt, und wertlos, weil die Ursache unklar bleibt.
• Unsaubere Gruppen. Startet mitten im Test eine neue Kampagne, bekommt eine Variante plötzlich anderen Traffic.
• Falsches Ziel. Wer auf Klicks statt auf Anfragen optimiert, gewinnt Klicks — und verliert unter Umständen Aufträge.
• Kein Ergebnisprotokoll. Ohne Dokumentation testet das Team in zwei Jahren dieselbe Frage noch einmal.

Was sich zu testen lohnt

Beginnen Sie bei den großen Hebeln, nicht bei der Buttonfarbe. Je näher eine Änderung an der Entscheidung des Besuchers liegt, desto größer der mögliche Effekt — und desto schneller ist er messbar.

Welche Zahl Sie dabei überhaupt vergleichen, steht im Eintrag Conversion-Rate; der Aufbau der getesteten Seite selbst unter Landingpage.

Wenn die Datenmenge nicht reicht

Für die meisten mittelständischen Websites ist das der Normalfall, und es ist kein Grund zur Untätigkeit. Statt zu testen, setzen Sie in dieser Lage gesicherte Grundlagen um: verständliche Botschaft, kurzes Formular, sichtbare Kontaktmöglichkeit, schnelle Ladezeit. Zusätzlich helfen qualitative Verfahren — Heatmaps, Sitzungsaufzeichnungen und fünf echte Personen, die vor Ihren Augen versuchen, eine Anfrage zu stellen. Diese Verfahren liefern keine Prozentzahlen, dafür Ursachen.

Wir sind eine inhabergeführte Agentur, Tests plant und wertet Marek Stein selbst aus. Der einmalige Conversion-Audit kostet 390 € und prüft neun Dimensionen von Landingpage-Struktur bis Tracking. Laufende Betreuung mit Tests beginnt bei 199 € im Monat; die Stufe mit Heatmaps, Sitzungsaufzeichnungen und mehreren parallelen Tests liegt bei 399 € im Monat. Als Kleinunternehmer nach § 19 UStG weisen wir keine Umsatzsteuer aus — alle Pakete stehen unter Preise, eine unverbindliche Einschätzung gibt es über die Beratung.