Das ultimative A/B-Testing Video

In dem hier eingebundenen, fast einstündigen Video gibt der Gründer der AB-Testing-Software Optimizely, Dan Siroker, seine geballten Erfahrungen aus über 30.000 AB- und Multivariaten-Tests wieder.

Das Video gliedert sich dabei in die folgenden 10 Kapitel:

1. Vorstellung von Dan Siroker und Optimizely
http://www.youtube.com/watch?v=7xV7dlwMChc#t=27s

2. Nichts ist heilig – Hinterfrage Annahmen.
http://www.youtube.com/watch?v=7xV7dlwMChc#t=4m47s

3. Erforsche bevor Du verfeinerst
http://www.youtube.com/watch?v=7xV7dlwMChc#t=12m20s

4. Weniger ist mehr, reduziere die Auswahlmöglichkeiten
http://www.youtube.com/watch?v=7xV7dlwMChc#t=16m58s

5. Wörter sind wichtig – Achte auf Deinen Call-to-Action
http://www.youtube.com/watch?v=7xV7dlwMChc#t=18m36s

6. Scheitere schnell
http://www.youtube.com/watch?v=7xV7dlwMChc#t=22m33s

7. Starte heute
http://www.youtube.com/watch?v=7xV7dlwMChc#t=24m14s

8. Optimizely Live-Demo
http://www.youtube.com/watch?v=7xV7dlwMChc#t=25m16s

9. Zusammenfassung.
http://www.youtube.com/watch?v=7xV7dlwMChc#t=31m42s

10. Fragen & Antworten
http://www.youtube.com/watch?v=7xV7dlwMChc#t=32m22s

Unabhängig davon, ob man die sehr empfehlenswerte A/B-Testing-Software von Optimizely bereits einsetzt oder darüber nachdenkt sie zu nutzen, kann ich dieses Video grundsätzlich jedem ans Herz legen, der sich mit A/B-Tests oder auch Multivariaten-Tests beschäftigt, um seine Webseite zu optimieren.

Falls Du noch andere empfehlenswerte Videos zum Thema kennst, schreibe doch bitte einen Kommentar.

A/B-Testing à la Obama: 60 Millionen US$ mehr Spenden

Vor einigen Wochen hat Präsident Obama Palo Alto besucht um auf die gute, alte Art Spenden zu sammeln: Ein Fundraising-Abendessen, an dem jeder Platz 30.400 US$ kostet. Die Fundraisingtechnik ist bewährt und eine großartige Möglichkeit Geld zu sammeln, wenn man es schafft, den Präsidenten der Vereinigten Staaten für ein gemeinsames Abendessen zu begeistern. Wie aber kann man Geld sammeln, wenn niemand je von Dir gehört hat und alles was Du hast eine Webseite ist? Damals, 2007, als Obama sich für die Nominierung zum Präsidentschaftskandidat beworben hat und in den Umfragen zweistellig zurücklag, war das so ziemlich alles was, wir hatten.
AB-Testing mit Obama

Das Experiment

Als „Director of Analytics“ (Direktor der Analyse) der Obama Kampagne war es mein Job Daten auszuwerten, damit wir bessere Entscheidungen treffen konnten. Im Dezember 2007 haben wir mit einem einzigen, einfachen Experiment angefangen. Dieses Experiment lehrte uns, dass jeder Besucher unserer Webseite ein Chance darstellt und uns, wenn wir diese durch Webseitenoptimierung und A/B-Testing nutzten, helfen würde mehrere zehn Millionen US$ zu sammeln.

Das Experiment umfasste dabei zwei Teilbereiche unserer Splash-Page: Den „Media“ Bereich im oberen Teil der Seite und den Call-to-Action „Button“.

Die verschiedenen Bereiche der Webseite die getestet werden sollen

Wir haben vier Buttons und sechs verschiedene Medien-Elemente (drei Bilder und drei Videos) getestet. Dazu benutzten wir den Google Website Optimizer und einen voll-faktoriellen, multivariaten Test. Das ist lediglich eine extravagante Ausdrucksweise dafür, dass wir alle möglichen Kombinationen gleichzeitig gegeneinander getestet haben. Mit vier Buttons und sechs verschiedenen Medien-Elementen hatten wir also 24 (4×6) Kombinationen zu testen. Jedem Besucher der Splash Page wurde per Zufall eine dieser Variationen angezeigt und wir haben beobachtet, ob er sich angemeldet hat oder nicht. Bevor Du jetzt runterscrollst um die Ergebnisse zu betrachten, rate doch mal, welcher Button und welches Medien-Element am erfolgreichsten war:

Button Varianten
AB-Testing Button Variante Sign Up

AB-Testing Button Variante Learn More

AB-Testing Button Variante Join Us Now

AB-Testing Button Variante Sign Up Now

Variationen der Medien Elemente

Ergebnisse

Das Maß, an dem wir den Erfolg festmachten, war die Sign-Up-Rate (Anmelderate): Die Anzahl der Menschen, die sich angemeldet haben, geteilt durch die Zahl der Menschen, welche die spezifische Variante angezeigt bekommen haben. Insgesamt wurde die Splash Page im Laufe des Tests 310.382 Mal aufgerufen, also gut 13.000 Mal pro Kombination (310.382/13).

Hier sind die Anmelderaten, die wir für jede Variante beobachtet haben:
AB-Testing Obama Einzelergebnisse

Hier sind die Anmelderaten für die Kombinationen der verschiedenen Varianten:
AB-Testing Obama Kombinationsergebnisse

Der Gewinner

Die beste Performance eines Buttons mit einem Medien-Element war „Combination 11“ (Kombination 11), der „Learn More“ Button mit dem „Family Image“ (Familienbild):
AB-Testing Obama Beste Performance

Vor dem Experiment waren wir davon überzeugt, dass „Sam’s Video“ (das letzte in der obigen Slideshow) zu den besten Resultaten führen würde. Hätten wir das Experiment nicht gemacht, hätten wir wahrscheinlich dieses Video auf der Splash Page verwendet. Das wäre ein großer Fehler gewesen, da alle Videos zu schlechteren Ergebnissen geführt haben als die Bilder. Die beste Kombination führte zu einer Anmelderate von 11,6%. Die ursprüngliche Webseite hatte eine Anmelderate von 8,26%. Dies entspricht einer Steigerung von 40,6%. Was bedeutet eine Steigerung von 40,6%?

Nun, wenn man annimmt, dass diese Steigerung für den Rest der Kampagne konstant bliebe, dann können wir uns die Gesamtzahl am Ende der Kampagne anschauen und den Unterschied ermitteln, den dieses Experiment hatte. Ungefähr 10 Millionen Menschen haben sich während der Kampagne auf der Webseite angemeldet. Wenn wir das Experiment nicht durchgeführt hätten und bei der ursprünglichen Webseite geblieben wären, dann wäre diese Zahl näher an 7.120.000 Anmeldungen. Das ist ein Unterschied von 2.880.000 Emailadressen.

Eine Email an eine der Emailadressen, welche wir über unsere Splash Page generiert haben mit der Bitte um ehrenamtliche Unterstützung hat normaler Weise in 10% aller Fälle zum Erfolg geführt. 2.880.000 zusätzliche Emailadressen haben also zu 288.000 mehr Freiwilligen geführt. Jede Emailadresse welche auf der Splash Page eingegeben wurde führte im Durchschnitt zu 21 US$ Spenden während der gesamten Kampagne. Die 2.880.000 zusätzlichen Emailadressen auf unserer Liste führten also zu ca. 60 Millionen US$ zusätzlicher Spenden.

Lernerfahrungen

  1. Jeder Besucher Deiner Webseite stellt eine Chance dar. Nutze sie durch Optimierung Deiner Webseite und A/B-Testing.
  2. Stelle Annahmen in Frage. Jeder in der Kampagne hat die Videos geliebt, aber alle Videos führten zu schlechteren Ergebnissen als die Bilder. Wir hätten das niemals rausgefunden, wenn wir nicht unsere Erfahrungen in Frage gestellt hätten.
  3. Experimentiere früh und oft! Wir haben dieses Experiment im Dezember 2007 durchgeführt und die Früchte davon während der gesamten Kampagne geerntet. Da dieses erste Experiment so erfolgreich war, haben wir bis zum Ende dutzende weitere Experimente durchgeführt.

Warum Optimizely?

Optimizely kostenlos testenWir haben Optimizely entwickelt, da wir es einfacher machen wollten Experimente wie diese durchzuführen. Optimizely ist im Endeffekt das Produkt, von dem ich wünschte, wir hätten es während der Kampagne gehabt. Wir konnten nur einen kleinen Teil der Experimente realisieren, die wir durchführen wollten, da damals die Zeit und der Aufwand für solche Experimente zu groß waren. Wenn Du nach einem einfachen Weg suchst Deine Webseite zu testen, versuch es doch mal mit Optimizely.

Update: Wie inzwischen bekannt geworden ist nutzt auch die offizielle Kampagne zur Wiederwahl von Barack Obama in 2012 Optimizely. Deren Stellvertretender Direktor für neue Medien Josh Peck schreibt dazu „Die Verpflichtung zur Wahl Aufforderung Facebook App (Commit to Vote Challenge) war sehr effektiv darin Menschen in den Wahlprozess einzubinden, viele die es sonst nicht gemacht hätten. Es kam kurz nach der Einführung zu einer viralen Verbreitung und hat inzwischen mehr als 1 Million aktiver Nutzer auf Facebook. Dies wäre ohne die Verbesserung dir wir durch die Nutzung von Optimizely gemacht haben nicht möglich.“

Optimizely wird von der Kampagne aber nicht nur zur Verbreitung ihrer Facebook App genutzt. Wer technisch versiert ist sieht auch im Quelltext von www.barackobama.com, dass hier Optimizely eingebunden ist.

a

Die englische Originalversion dieses Artikels ist hier zu finden und wurde von Dan Siroker verfasst, einem der Gründer der A/B-Testing-Software Optimizely. Die hier zu lesende, deutsche Version wurde mit Zustimmung des Autors erstellt, das Update wurde selber verfasst.

23 A/B-Testing Ideen zur Landing-Page Optimierung

Falls Du auf der Suche nach Ideen bist, was für AB-Tests auf Deiner Landingpage Sinn machen könnten, findest Du hier 23 Anregungen zum Ausprobieren:

Teste Deine Überschrift:

  • Kurze & knackige Überschriften vs. Lange & beschreibende Überschriften
  • Keine Überschrift vs. Überschrift
  • Design/Schriftart 1 vs. Design/Schriftart 2
  • Kleine Schriftgröße vs. große Schriftgröße
  • Überschriftsposition 1 (z.B. links) vs. Überschriftsposition 2 (z.B. rechts)

Teste den „Call to Action“ (zentrale Handlungsaufforderung)

  • Buttontext 1 im Button (z.B. „Jetzt kaufen“) vs. Buttontext 2 (z.B. „In den Einkaufswagen“)
  • Buttonaufforderung 1 (z.B. „Video ansehen“) vs. Buttonaufforderung 2 (z.B. „Kostenlos testen“)
  • Form-/Farb-/Größenvariante 1 des Buttons vs. Form-/Farb-/Größenvariante 2 des Buttons
  • Buttonposition 1 (z.B. oben rechts) vs. Buttonposition 2 (z.B. unten links)
  • Mehrere „Call to Action“ Buttons vs. Einem „Call to Action Button“

Teste Layout und Design

  • Farbschema 1 (z.B. dunkel) vs. Farbschema 2 (z.B. hell)
  • Navigationsleiste links vs. Navigationsleiste rechts (oder oben vs. rechts etc.)
  • Voreingestellte (default) Schriftgröße/-art/-farbe 1 vs Voreingestellte Schriftgröße/-art/-farbe 2

Teste Deinen Text

  • Langer Text vs. Kurzer Text
  • Bullet Poinst vs. Keine Bullet Points
  • SEO opimierter Text vs. Für Menschen optimierter Text
  • Text vs. Kein Text

Teste Formulare

  • Langes Formular vs. Kurzes Formular
  • Formular auf einer Seite vs. Formular auf mehreren Seiten
  • Text über den auszufüllenden Feldern vs. Text neben den auszufüllenden Feldern

Weitere Testideen

  • Referenzen vs. Keine Referenzen (oder auch Textreferenz vs. Videoreferenz)
  • Kleines Bild vs. Großes Bild
  • 50€ vs. 49,99€

Das wie geschrieben nur als Anregung. Wenn Dir noch weitere Ideen einfallen, schreib doch bitte ein Kommentar und ich werde es gerne ergänzen.

Visual Website Optimizer

a
Die englische Originalversion dieses Artikels ist hier zu finden. Die hier zu lesende, deutsche Version wurde mit Zustimmung des Autors und Gründers des Visual Website Optimizer – Paras Chopra – erstellt.

a.

AB-Tests auf der Socialbar

Heute war ich zu Gast auf der Socialbar und habe dort die unten eingebundene Präsentation zum Thema A/B-Testing gehalten. Da diese nicht als stand-alone gedacht ist, empfehle ich für alle, die sich weiter informieren wollen, insbesondere den Artikel Was ist A/B-Testing.

Bei der vorgestellten Software handelt es sich um Optimizely. Ebenfalls empfehlen kann ich den Visual Website Optimizer. Dauerhaft kostenlos und in deutscher Sprache gibt es den Google Website Optimizer, wobei mir dieser persönlich zu umständlich und komplex in der Bedienung ist.

Falls jemand selber A/B-Tests durchführt oder spannende Beispiele kennt, würde ich mich sehr freuen diese hier auf der Seite vorzustellen zu können. Nehmt dazu einfach Kontakt mit mir auf. Weitere Fragen und Anregungen gerne in den Kommentaren.

Update: Hannes Jähnert hat im Rahmen seines Forschungsprojekts „Wissenstransfer aus der Socialbar“ den Vortrag aufgenommen und als MP3 zur Verfügung gestellt

Musikvideo: Adobe Flash Player (Version 9 oder höher) wird benötigt um dieses Musikvideo abzuspielen. Die aktuellste Version steht hier zum herunterladen bereit. Außerdem muss JavaScript in Ihrem Browser aktiviert sein.

A/B-Test führt zu 60% mehr Registrierungen

Es ist erstaunlich, wie sehr die Ergebnisse von A/B-Teste von dem abweichen, was man intuitiv annehmen würde. Eines der besten Beispiele hierfür ist ein A/B-Split-Test, der kürzlich von Venido, einem Anbieter für kostenlose E-Commerce-Shops, mit Hilfe der A/B-Testing-Software Visual Website Optimizer durchgeführt wurde. Ziel des Tests war es, auf einer speziellen Landing-Page zur Registrierung für die kostenlosen Shops die Registrierungs-Konversionsrate (Conversion-Rate) zu erhöhen

A/B-Test Details

Die ursprüngliche Landing-Page kombiniert Marketinginhalte und Registrierungsfelder mit der Absicht, die Anzahl der Klicks für eine erfolgreiche Registrierung zu minimieren. So sah die ursprüngliche Seite mit dem integrierten Registrierungsformular aus:

AB-Testing für mehr Registrierungen (ursprüngliche Version)

Eine solche direkte Einbindung des Registrierungsformulars in die Landing-Page gilt dabei eigentlich als „Best Practise“ (siehe z.B. Facebook). Aus diesem Grund hatte Venido die ursprüngliche Version der Landing-Page lange Zeit gleich gelassen. Denn man hatte angenommen, dass durch die Anzahl der zur Registrierung notwendigen Klicks die Konversionsrate (Conversion-Rate) erhöht würde. Tatsächlich war die Performance der Seite relativ gut, aber man wollte ganz sicher gehen, dass das eingebundene Registrierungsformular nicht zu aggressiv oder limitierend wirkte.

Die Variante der Webseite, welche im Rahmen des A/B-Tests getestet wurde, nutzte ähnliche Bilder und Inhalte. Aber man verzichtete auf jegliche Registrierungsfelder und verwendete ein etwas anderes Styling. Ein Klick auf den „Sign up Now“-Button führte den Besucher auf eine Seite mit Registrierungsformular. Es wurde dem Konversions-Trichter (Conversion-Funnel) also effektiv ein zusätzlicher Schritt hinzugefügt. Keine sehr clevere Idee, wie man glauben mag, oder? So sah die Variante aus:
AB-Testing führt zu mehr Registrierungen (neue Variante)

A/B-Test Ergebnisse

Erstaunlicher Weise war die Performance der Variante ohne eingebundene Registrierungsfelder und mit dem zusätzlichen Schritt deutlich besser. Um genau zu sein hat sich die Zahl der Registrierungen um 60% erhöht!

Vendio hatte dabei Folgendes zu Ergebnissen zu sagen: „Best Practices sind NICHT immer wahr! Es ist noch immer schwer zu glauben, aber die Zahlen lügen nicht.

Deshalb ist das die größte Lehre hier, und es lohnt sich diese zu wiederholen: „Best Practices sind NICHT immer wahr!“ Wenn Du Änderungen an Deiner Webseite oder Landing-Page ohne A/B-Testing durchführst, tappst Du im Endeffekt im Dunklen. Eine weitere Lehre besteht darin, dass es durchaus Sinn macht, extrem unterschiedliche Variante einer Webseite zu testen, selbst wenn dies auf den ersten Blick wenig sinnvoll erscheint (wie z.B. das eingebundene Registrierungsformular von der Landing-Page zu entfernen).

Referenz für den Visual Website Optimizer

Nach dem erfolgreichen Test hat sich Venido begeistert über den Visual Website Optimizer geäußert:

Der Visual Website Optimizer (VWO) war außerordentlich nützlich. Er war für uns deutlich einfacher als andere Lösungen (einige konnten wir nicht mal richtig zum Laufen bringen). Ohne den VWO würden auf all diese Registrierungen verzichten müssen, und wir erzielen ach wie vor großartige und überraschende Ergebnisse mit dem VWO.

Visual Website Optimizer

a
Die englische Originalversion dieses Artikels ist hier zu finden. Die hier zu lesende, deutsche Version wurde mit Zustimmung des Autors und Gründers des Visual Website Optimizer – Paras Chopra – erstellt.

a

+ 416% – A/B-Testing à la Wikipedia

Viele von Euch werden sich sicherlich noch an die Spendenaufrufe auf Wikipedia erinnern. Das kostenlose Online-Lexikon konnte so allein 2010 ca. 16 Millionen US$ an Spenden generieren. Weniger bekannt ist, dass im Rahmen dieser Fundraising-Aktion sehr intensiv mit A/B-Tests gearbeitet wurde. So wurden zahlreiche Banner mit zum Teil extrem unterschiedlichen Ergebnissen getestet. Mit Abstand am erfolgreichsten waren die persönlichen Aufrufe des Wikipedia-Gründers Jimmy Wales, insbesondere wenn ein Foto von ihm Bestandteil des Banners war.
AB-Testing-Ergebnisse Wikipedia

Die Ergebnisübersicht eine A/B-Tests von Wikipedia.

a

Besonders beeindruckend war ein A/B-Test am 26. Oktober. Das erfolgreichste Banner hat pro Einblendung zu 416% mehr Spenden geführt als das zweiterfolgreichste. Das lag zum einen an einer höheren Click-Through-Rate (CTR) und zum anderen an einer um ca. 50% höheren Durchschnittsspende.
AB-Testing Wikipedia - Erfolgreichstes Banner

Der mit Abstand erfolgreichste Banner

a
Im Vergleich zu dem am wenigsten erfolgreichen Banner konnte das Spendenvolumen pro Einblendung sogar um über 2500% gesteigert werden.
AB-Testing Wikipedia - Mittlere Performance

Dieser Banner hat schon weniger als 1/5 des besten eingespielt.

a
Wer bisher noch gezögert hat, sich mit A/B-Testing auseinander zu setzen, der sollte spätestens jetzt noch mal drüber nachdenken…
AB-Testing Wikipedia - Schlechteste Performance

Dieser Banner hat sogar weniger als 5% des besten eingespielt.

a
Wer mehr wissen will, dem sei die von Wikipedia bzw. der Wikimedia-Foundation öffentlich zugänglich gemachte Banner-Testing-Dokumentation ans Herz gelegt, wobei man hier in Sachen Übersichtlichkeit sicherlich noch Potential hat… Etwas verständlicher geht es in den „Updates from the Fundraising Team“ zu, aber auch diese liegen bisher leider nur in englischer Sprache vor.

a

Was ist A/B-Testing?

Beim A/B Testing erstellt man 2 (bei Multivariaten Tests auch mehr) verschiedene Versionen einer Webseite oder Landing Page, um zu testen, mit welcher Version man sein Ziel, also z.B. Produktverkäufe, Anmeldungen etc., besser erreicht. Sobald die verschiedenen Versionen erstellt sind, wird der Traffic (die Besucher der Webseite) über einen bestimmten Zeitraum per Zufall auf diese verteilt, um zu analysieren, welche zu der höheren Konversionsrate (Conversion-Rate) führt, also zu vergleichsweise mehr Verkäufen, einer niedrigeren Absprungrate… Die erfolgreichere Version wird dann dauerhaft implementiert um später eventuell erneut gegen eine weitere Variante getestet zu werden.

AB-Testing

Selbst scheinbar kleine Änderungen im Design und Aufbau einer Webseite können dabei zu großen Unterschieden und in Einzelfällen zu einer Steigerung z.B. der Conversion-Rate von über 100% führen. Ein weiterer Vorteil von A/B-Tests besteht darin, sich nicht mehr auf seinen subjektiven Geschmack verlassen zu müssen. Anstatt langer Diskussionen über persönliche Präferenzen, kann man die Entscheidung, mit welcher Landing Page man seine Ziele besser erreicht, anhand objektiver Zahlen treffen.

Was kann man testen?

Welche Änderungen man im Rahmen eines A/B-Tests auf der Webseite vornimmt, hängt natürlich von den eigenen Zielen ab. Will man beispielsweise die Zahl der Anmeldungen erhöhen, könnte man die Länge des Anmeldeformulars, die Art der Anmeldefelder, den „Anmelden-Button“, eine Verknüpfung mit Facebook, die Art wie die Datenschutzbestimmungen angezeigt werden etc. testen. Das Ziel von A/B-Testing wäre in diesem Fall herauszufinden, was die Besucher der Webseite davon abhält, sich anzumelden. Ist das Anmeldeformular zu lang, gibt es Bedenken bezüglich des Datenschutzes, oder wird für die Besucher einfach kein ausreichender Grund präsentiert, um sich anzumelden? All diese Fragen können eine nach der anderen beantwortet werden, indem man die entsprechenden Elemente der Webseite testet.

Einige der Dinge, die im Rahmen eines A/B-Tests am häufigsten getestet werden, sind die Folgenden: Wording, Länge, Farbe, Platzierung… des „call to action“, also der zentralen Handlungsaufforderung der Webseite (z.B. „Anmelde-Button“)

• Überschrift oder Produktbeschreibung
• Länge, Anzahl und Art von auszufüllenden Feldern
• Design und Layout
• Preise oder Rabatte
• Bilder, Grafiken oder Videos
• Die Menge des Textes (viel oder wenig).

Wie erstellt man einen A/B-Test?

Sobald man sich entschieden hat, was man testen will, geht es darum, sich für das richtige Tool zu entscheiden, um einen A/B-Test durchzuführen. Hier gibt es verschiedene Softwarelösungen. Eine der populärsten ist der Google Website Optimizer, der kostenlos genutzt werden kann, allerdings recht kompliziert in der Nutzung ist und zumindest fortgeschrittene Kenntnisse in HTML und möglichst auch JavaScript und CSS voraussetzt. Alternativ und deutlich einfacher in der Benutzung sind z.B. der Visual Website Optimizer oder Optimizely. Für beide sind fast keine Vorkenntnisse erforderlich, sie bieten viele zusätzliche Features und mit ihrer Hilfe lassen sich A/B-Tests sehr schnell erstellen. Nach einer kostenlosen Probephase sind diese Angebote allerdings kostenpflichtig (ab ca. 11 € / Monat).

Unabhängig davon, für welche Software man sich entscheidet, gibt es generell 2 Möglichkeiten, einen A/B-Test aufzusetzen:

Die zu testenden Elemente austauschen, bevor die Webseite geladen wird
Wenn man ein einzelne Elemente auf einer Webseite testet, z.B. den Anmeldebutton, dann muss mit seiner A/B-Testing-Software Variationen dieses Buttons erstellen. Sobald der Test aktiv ist, wird die Software per Zufall auswählen, welche Button-Variante dem Besucher der Webseite angezeigt wird.

Umleitung auf eine andere Seite
Wenn sich der A/B-Test auf die komplette Seite beziehen soll, wenn man z.B. blau und gelb als Grundfarben vergleichen will, dann muss man eine neue Seite erstellen und online stellen. Wenn die zu testende Seite beispielsweise unter http://example.com/landingpage.html zu erreichen ist, könnte man die Variation unter http://www.example.com/landingpage1.html online stellen. Sobald der Test aktiviert ist, würde die A/B-Testing-Software dann die Besucher per Zufall auf die beiden Variationen verteilen.

Als Nächstes muss man dann seine Ziele festlegen. Oftmals passiert dies, indem man einen Schnipsel JavaScript-Code in die Seite integriert, auf der ein Besucher landen würde, sobald er die gewünschte Aktion durchgeführt hat (z.B. auf der Seite „Danke für Ihre Anmeldung“). Bei den genannten Anbietern von A/B-Testing-Software wie Visual Website Optimizer oder Optimizely reicht es in der Regel, wenn man eine individuelle Codezeile einmalig in den Header des Webseitentemplates/Webseitenthemes einbaut. Es muss dann nicht extra auf jeder Zielseite neu integriert werden und ist im Endeffekt auch nicht schwerer z.B. ein Youtube-Video einzubinden.
Sobald ein Besucher dann auf einer bestimmten Zielseite landet, rechnet die A/B-Testing-Software dies der entsprechenden Webseitenvariante zu. Sobald eine ausreichende Zahl an Besuchern und erreichten Zielen (Conversions) in den Test einbezogen wurden, können die Ergebnisse ausgewertet und die erfolgreichere Variante der Webseite ermittelt werden. Das war’s, so einfach kann ein A/B-Test sein!

Empfehlungen und Fallstricke

Auch wenn A/B-Testing eigentlich ganz einfach ist, gilt es doch, einige Sachen zu beachten, um keine falschen Schlüsse aus seinen Ergebnissen zu ziehen.

Fallstricke:

• Teste die Varianten Deiner Webseite oder Landingpage niemals nacheinander, sondern immer gleichzeitig. Wenn man in der einen Woche die eine Variante anzeigt und in der nächsten Woche die andere, können die Ergebnisse durch eine Vielzahl externer Faktoren beeinflusst sein, daher teste die Varianten immer gleichzeitig (Split-Testing).

• Ziehe Schlussfolgerungen nicht zu früh! Damit die Ergebnisse wirklich aussagekräftig sind, müssen sie statistisch signifikant sein. Dabei geht es einfach darum zu verhindern, dass man schon nach den ersten Klicks entscheidet, welche Variante besser ist, obwohl hier der Zufall noch eine zu große Rolle spielt. Um auszurechnen, ob die Ergebnisse statistisch signifikant und damit brauchbar sind, kann man sich dieses kostenlosen Online Rechners bedienen, der speziell für A/B-Tests ausgelegt ist.

• Verwirre nicht die „Stammkunden“. Wenn man einen zentralen Bestandteil seiner Webseite testet (z.B. die Startseite), sollte man nur neue Besucher in den Test einbeziehen, um regelmäßige Nutzer des eigenen Webangebotes nicht zu irritieren, insbesondere da die getesteten Varianten ja eventuell gar nicht dauerhaft implementiert werden.

• Lass Dich nicht von Gefühlen übermannen. Manchmal gelangt man durch einen A/B-Test zu unerwarteten Ergebnissen und das nach subjektivem Empfinden „schlechtere“ Design führt zu mehr Anmeldungen, Verkäufen… Wenn Dein Ziel ist, eben diese zu erhöhen, dann lass Dich nicht von Deinem Geschmack davon abhalten auch das gefühlt hässlichere Design umzusetzen.

Empfehlungen:

• Überlege genau, wie lange Du einen Test laufen lässt. Wenn Du ihn zu früh abbrichst, sind Deine Ergebnisse eventuell noch nicht aussagekräftig. Wenn Du ihn zu lange laufen lässt, dann verpasst Du eventuell weitere Anmeldungen oder Verkäufe, weil die schlechter abschneidende Variante noch immer angezeigt wird. Um auszurechnen wie lange ein A/B-Test laufen muss, damit er valide (statistisch signifikant) ist, kannst Du diesen kostenlosen Online-Rechner benutzen.

• Zeige wiederkehrenden Besuchern stets die gleiche Variante, so beugst Du unnötiger Verwirrung vor, welche auch die Testergebnisse beeinträchtigen könnten.

• Sorge für Konsistenz auf Deiner Webseite! Wenn Du z.B. Farbe, Form oder Text des Anmeldebutton änderst, sorge dafür, dass dieser überall auf Deiner Webseite gleich angezeigt wird, sonst verwirrst Du Deine Nutzer und beeinträchtigst die Ergebnisse.

• Testen, testen, testen… (und an die User denken)! Nicht jeder A/B-Test führt zu riesigen Sprüngen in der Anmelderate etc. Lass Dich davon nicht entmutigen, sondern teste weiter, bis aus vielen kleinen Verbesserungen spürbare Ergebnissteigerungen hervorgehen.

Ein A/B-Testing –Beispiel, welches zu einer 400% höheren Conversion-Rate führte

Die Webseite iCouponBlog versucht, Gutscheine an den Mann (und die Frau) zu bringen. Mit Hilfe eines AB-Test wollte man herausfinden, ob es durch einen sehr prominent platzierten „Sicher“ (Secure) Banner auf der Landingpage möglich ist, die Klickzahlen auf den eigentlichen Gutschein-Button (Use Coupon) zu erhöhen.
AB-Test-BeispielEigentlich hatte man erwartet, dass dieses Banner das Vertrauen der Besucher der Webseite steigert und damit zu höheren Klickzahlen führen würde. Scheinbar hat das Banner aber eher abgelenkt und dazu geführt, dass die Conversion-Rate für die Version ohne Banner um 400% höher lag als für die Version mit Banner.

Der Test wurde mit der Hilfe des Visual Website Optimizers durchgeführt.

Tools & Software für A/B-Tests

Google Website Optimizer
Kostenlos, allerdings mit begrenztem Funktionsumfang und tendenziell komplizierter zu bedienen.

Visual Website Optimizer
Nach Ablauf der 30tägigen Testphase kostenpflichtig (ab ca. 39 € / Monat für 10.000 Webseitenbesucher), dafür sehr einfach in der Bedienung und mit vielen zusätzlichen Features ausgestattet (u.a. einem WYSIWYG-Editor, Heatmaps…).

Optimizely
Ebenfalls ein extrem einfach zu bedienendes A/B-Testing-Tool mit einem WYSIWYG-Editor, Echtzeitergebnissen… Nach Ablauf der „Probezeit“ allerdings ebenfalls kostenpflichtig (im Rahmen eines 2-Jahres-Vertrags ab 11 € / Monat, bei monatlicher Kündigung ab 14 € / Monat für 2.000 Webseitenbesucher).

Darüber hinaus gibt es natürlich noch zahlreiche weitere Anbieter wie Omniture, Optimost oder Sitespect die aber tendenziell deutlich teurer und komplexer zu bedienen sind, ohne zwangsweise einen größeren Funktionsumfang zu bieten.

Weitere Tipps, Tricks und Inspiration

Die meisten Informationen und Fallstudien zum Thema A/B-Testing sind leider nur in englischer Sprache erhältlich. Wen das nicht abschreckt, dem seien die folgenden Seiten empfohlen:

Which Test Won?
Hier wird jede Woche eine Fallstudie mit zwei verschiedenen Varianten einer Webseite präsentiert. Bevor man erfährt, welcher Test „gewonnen“ hat, kann man selber einen Tipp abgeben und danach sehen, ob man richtig lag.

A/B-Ideafox
Eine „Suchmaschine“ für A/B-Testing-Fallstudien

Beginner’s Guide to Landing Pages
Eine tolle Übersicht darüber, worauf man beim Erstellen von Landing Pages achten sollte (mit vielen Beispielen)

Effective A/B-Testing
Eine spannende Präsentation, die insbesondere noch mal auf das Problem der statistischen Signifikanz eingeht (wird in älteren Browsern eventuell nicht richtig angezeigt)