A/B-Test im Online-Shop: wann Ergebnisse aussagekräftig sind

Ein kleiner Shop tauscht die Farbe des Kaufbuttons, schaut nach drei Tagen ins Tool und sieht: Variante B liegt 18 Prozent vorne. Der Button bleibt grün, der Test gilt als Erfolg. Vier Wochen später ist die Conversion-Rate genau da, wo sie vorher war. Das Ergebnis war Rauschen. Dieser Artikel erklärt, wann ein A/B-Test im Shop überhaupt eine Aussage liefern kann, wie du Mindestmenge und Dauer vorab festlegst, welche Fehler Ergebnisse unbrauchbar machen und was du tust, wenn dein Shop für echte Tests zu wenig Bestellungen hat.

Was ein A/B-Test ist – und was keiner ist

Ein A/B-Test zeigt zwei Gruppen von Besuchern gleichzeitig zwei Versionen einer Seite. Die Zuteilung ist zufällig, jeder Besucher bleibt in seiner Gruppe, und am Ende vergleichst du eine vorher festgelegte Kennzahl. Weil beide Gruppen dieselben Tage, dieselben Kampagnen und dasselbe Wetter erleben, ist der Unterschied zwischen ihnen die einzige Erklärung für einen Unterschied im Ergebnis.

Kein A/B-Test ist:

• eine Änderung am Montag und der Vergleich mit der Vorwoche
• eine Variante für Desktop und eine andere für Mobil
• ein Test, bei dem du nach drei Tagen die schlechtere Variante abschaltest
• ein Test mit einer Kennzahl, die du erst nach dem Ergebnis auswählst

Diese Varianten sind nicht wertlos, aber sie sind etwas anderes: Beobachtungen, die eine Hypothese stützen oder schwächen. Sie brauchen andere Vorsichtsmaßnahmen, dazu weiter unten.

Die Rechnung, die vor jedem Test steht

Ein Test kann nur Effekte erkennen, die größer sind als das zufällige Schwanken deiner Conversion-Rate. Je kleiner der Effekt, den du erkennen willst, desto mehr Bestellungen brauchst du je Variante. Das ist keine Frage der Meinung, sondern Statistik. Die genaue Zahl liefert ein Stichprobenrechner, den fast jedes Testing-Tool mitbringt; du gibst deine aktuelle Conversion-Rate und den kleinsten Effekt ein, der dich interessiert.

Zur Einordnung, ohne genaue Grenzwerte zu behaupten: Für einen Effekt von etwa 10 Prozent relativ (Conversion-Rate von 2,0 auf 2,2 Prozent) landest du je Variante bei mehreren tausend Bestellungen. Für einen groben Effekt von 30 oder 50 Prozent, wie er bei großen Änderungen am Checkout vorkommt, reichen einige hundert. Ein Shop mit 200 Bestellungen im Monat kann also kleine Effekte auf den Kauf schlicht nicht messen, egal wie lange er wartet.

Daraus folgt die wichtigste Entscheidung vor dem Test: Was ist deine Kennzahl?

Die Tabelle ist eine Orientierung aus der Praxis, keine Regel. Rechne mit dem Stichprobenrechner nach, bevor du startest.

Kennzahl wählen: nah an der Änderung, aber nicht blind

Je näher die Kennzahl an der geänderten Stelle liegt, desto mehr Fälle hat sie. Wer die Produktseite testet, hat pro Monat vielleicht 8.000 Produktaufrufe und 1.200 Warenkorb-Hinzufügungen, aber nur 300 Käufe. Ein Test auf add_to_cart wird also viel schneller aussagekräftig als einer auf purchase.

Der Haken: Mehr Warenkörbe sind nicht automatisch mehr Umsatz. Ein aggressiver Hinweis kann Warenkörbe füllen, die später abgebrochen werden. Deshalb gilt:

• Primäre Kennzahl: das Ereignis direkt nach der Änderung (für Produktseiten add_to_cart, für den Warenkorb begin_checkout).
• Kontrollkennzahl: der Kauf. Er muss nicht signifikant besser sein, darf aber nicht in die andere Richtung laufen.
• Ausschlusskriterium: Bestellwert und Retouren, wenn die Änderung den Preis oder das Produktbild betrifft.

Welche Ereignisse dafür sauber im Shop ankommen müssen, steht im Artikel zu den Schlüsselereignissen in GA4. Ohne vollständiges E-Commerce-Tracking ist jeder Test auf Kauf blind; prüfe das vorher mit der Anleitung GA4-E-Commerce-Tracking prüfen.

Testdauer: ganze Wochen, vorher festgelegt

Die Conversion-Rate schwankt nach Wochentag, Zahltag, Wetter und laufenden Anzeigen. Deshalb gelten drei Regeln für die Dauer:

1. Ganze Wochen. Mindestens zwei, besser drei oder vier. Ein Test von Mittwoch bis Dienstag ist zwar sieben Tage, hat aber kein sauberes Wochenendverhältnis, wenn er verlängert wird.
2. Vorher festlegen, dann durchhalten. Wer täglich ins Tool schaut und beim ersten „signifikanten“ Ergebnis stoppt, findet fast immer eins. Diese Zwischenstände sind der häufigste Grund für Scheinerfolge.
3. Keine Ausnahmezeiten. Nicht während einer Rabattaktion, nicht in der Woche vor Weihnachten, nicht während einer Kampagne, die das Besucherprofil verschiebt. Besucher aus einer Newsletter-Aktion verhalten sich anders als Besucher aus der organischen Suche.

Wenn der Rechner sagt, dass du acht Wochen brauchst, und in acht Wochen der Herbst kommt, ist das ein Grund, den Test anders zu schneiden, nicht ihn trotzdem zu laufen zu lassen.

Schritt für Schritt: ein Test, der ein Ergebnis liefert

1. Beobachtung festhalten. Woher kommt die Idee? Beispiel: Der Trichter zeigt einen großen Verlust zwischen Warenkorb und Checkout, und die interne Suche enthält viele Anfragen nach „Versandkosten“.
2. Hypothese in einem Satz. „Wenn wir die Versandregel auf der Produktseite beim Preis zeigen, steigt der Anteil der Besucher, die vom Warenkorb in den Checkout gehen.“ Wer das nicht in einem Satz formulieren kann, hat keine Hypothese, sondern eine Vorliebe.
3. Kennzahl und Kontrollkennzahl wählen. Hier: begin_checkout je Sitzung mit add_to_cart, Kontrolle purchase.
4. Mindestmenge und Dauer rechnen. Mit dem Stichprobenrechner des Tools; Ergebnis in ganzen Wochen aufrunden. Ins Testprotokoll schreiben.
5. Nur eine Sache ändern. Versandhinweis rein, sonst nichts. Wer gleichzeitig Bild, Text und Button ändert, weiß am Ende nicht, was gewirkt hat.
6. Aufteilung 50/50, Variante an GA4 übergeben. Das Testing-Tool oder die Shop-App übernimmt die Zuteilung. Lass die Variante als Ereignisparameter mitsenden und registriere ihn in GA4 als benutzerdefinierte Dimension, damit du den Trichter je Variante ansehen kannst.
7. Am ersten Tag technisch prüfen. Beide Varianten auf Handy und Desktop aufrufen, Ereignisse in der DebugView kontrollieren, Verteilung der Besucher auf beide Gruppen anschauen. Danach nicht mehr in die Ergebnisse schauen.
8. Nach Ablauf auswerten. Primäre Kennzahl, Kontrollkennzahl, Bestellwert. Segmente nach Gerät oder Kanal nur als Hinweis für den nächsten Test lesen, nicht als Ergebnis dieses Tests.
9. Dokumentieren, auch bei „kein Unterschied“. Ein sauberer Test ohne Effekt spart dir die Diskussion beim nächsten Mal.

Wenn A/B-Tests nicht gehen: Vorher-Nachher mit Kontrolle

Die meisten Shops mit wenigen hundert Bestellungen im Monat werden die Mindestmengen für Tests auf den Kauf nicht erreichen. Das heißt nicht, dass du blind änderst. Es heißt, dass du anders misst.

Vorher-Nachher mit Kontrollgruppe funktioniert so: Du vergleichst zwei volle Wochen vor der Änderung mit zwei vollen Wochen danach, und zwar nicht nur für die geänderte Stelle, sondern auch für eine Kontrolle, die du nicht verändert hast.

Als Kontrolle eignen sich:

• Eine unveränderte Kategorie. Wenn du die Produktseiten der Kategorie „Taschen“ umbaust und die Kategorie „Gürtel“ unangetastet lässt, zeigt Gürtel dir, wie sich der Shop ohne Änderung entwickelt hätte.
• Ein anderes Land oder eine andere Sprache, wenn die Änderung nur in einer Version live geht.
• Der gleiche Zeitraum im Vorjahr, mit Vorsicht, weil sich Sortiment und Werbung geändert haben.

Auswertung: Wenn die geänderte Kategorie um 15 Prozent besser wurde und die Kontrolle um 12 Prozent, war es der Markt, nicht deine Änderung. Wenn die Kontrolle stabil blieb, ist ein Effekt plausibel, aber nicht bewiesen. Für kleine Shops ist das die ehrliche Antwort, und sie reicht für Entscheidungen, wenn die Änderung ohnehin gut begründet war. ecomando zeigt dir dafür den Vergleich der 14 Tage vor und nach einer Änderung, sodass du die Kennzahlen nicht von Hand aus zwei Zeiträumen zusammensetzen musst.

Weitere Quellen, die ohne Mindestmenge funktionieren:

• Anfragen im Kundensupport vor und nach der Änderung
• Suchbegriffe der internen Suche („versandkosten“, „rückgabe“)
• Kurze Umfragen nach dem Kauf mit einer offenen Frage, was fast zum Abbruch geführt hätte
• Aufzeichnungen von Sitzungen, sofern du deren Einsatz mit deinem Datenschutzbeauftragten oder Anwalt geklärt hast

Die Reihenfolge der Hebel, die sich für solche Änderungen lohnen, steht im Leitfaden zur Conversion-Optimierung im Online-Shop. Für Produktseiten und Checkout gibt es eigene Anleitungen: Produktseite optimieren und Checkout optimieren.

Neun Fehler, die Tests unbrauchbar machen

1. Zu früh stoppen. Der Klassiker. Die Dauer stand fest, das Zwischenergebnis war verlockend.
2. Zu viele Varianten. Vier Varianten brauchen die vierfache Menge. Kleine Shops testen A gegen B, nicht A gegen B, C und D.
3. Kennzahl nachträglich wechseln. Wenn der Kauf keinen Unterschied zeigt, „aber die Klicks auf den Button“ – das ist kein Ergebnis, sondern Suchen bis etwas passt.
4. Ungleiche Gruppen. Wenn eine Variante nur Desktop-Besucher bekommt oder das Tool bei langsamer Verbindung die Kontrollversion ausliefert, ist der Vergleich hinfällig. Verteilung prüfen.
5. Flackern. Der Besucher sieht kurz das Original, dann die Variante. Das verzerrt die Variante nach unten und wird in Themes mit langsamer Ladezeit schnell zum Problem.
6. Änderungen parallel. Eine neue App, ein neues Theme-Update oder eine Kampagne während des Tests.
7. Zu kleine Änderungen. Buttonfarbe, Wortwahl im Kaufbutton, Abstand im Footer: Effekte, wenn überhaupt, so klein, dass sie in kleinen Shops nie messbar sind.
8. Ergebnisse in Segmenten „finden“. In zwölf Segmenten zeigt eins fast immer einen Unterschied. Das ist Zufall, kein Befund.
9. Nicht dokumentieren. Ohne Protokoll wird derselbe Test in einem Jahr noch einmal gemacht.

Checkliste vor dem Start

• Beobachtung aus Daten oder Kundenfeedback, die den Test begründet
• Hypothese in einem Satz, mit erwarteter Richtung
• Eine primäre Kennzahl, eine Kontrollkennzahl
• Mindestmenge mit Stichprobenrechner ermittelt, Dauer in ganzen Wochen festgelegt
• Zeitraum ohne Aktionen, Feiertage oder Kampagnenwechsel
• Nur eine Änderung zwischen A und B
• Variante wird als Parameter an GA4 übergeben und ist als Dimension registriert
• E-Commerce-Ereignisse vollständig und geprüft
• Technischer Test beider Varianten auf Handy und Desktop am ersten Tag
• Protokoll angelegt: Hypothese, Kennzahl, Start, Ende, Ergebnis

Wenn du beim Punkt „Mindestmenge“ feststellst, dass du sie in diesem Jahr nicht erreichst, ist das kein Scheitern. Dann ist der Vorher-Nachher-Vergleich mit Kontrolle dein Werkzeug, und die Frage lautet nicht mehr „Welche Variante gewinnt?“, sondern „Ist die Änderung gut genug begründet, um sie einfach zu machen?“ Bei Versandkosten auf der Produktseite oder einer Gastbestellung lautet die Antwort fast immer ja. Die Grundlagen dazu, wie du deine Conversion-Rate überhaupt sauber berechnest und einordnest, stehen im Artikel zur Conversion-Rate im Online-Shop.