A/B-Testing à la Obama: 60 Millionen US$ mehr Spenden

Vor einigen Wochen hat Präsident Obama Palo Alto besucht um auf die gute, alte Art Spenden zu sammeln: Ein Fundraising-Abendessen, an dem jeder Platz 30.400 US$ kostet. Die Fundraisingtechnik ist bewährt und eine großartige Möglichkeit Geld zu sammeln, wenn man es schafft, den Präsidenten der Vereinigten Staaten für ein gemeinsames Abendessen zu begeistern. Wie aber kann man Geld sammeln, wenn niemand je von Dir gehört hat und alles was Du hast eine Webseite ist? Damals, 2007, als Obama sich für die Nominierung zum Präsidentschaftskandidat beworben hat und in den Umfragen zweistellig zurücklag, war das so ziemlich alles was, wir hatten.
AB-Testing mit Obama

Das Experiment

Als „Director of Analytics“ (Direktor der Analyse) der Obama Kampagne war es mein Job Daten auszuwerten, damit wir bessere Entscheidungen treffen konnten. Im Dezember 2007 haben wir mit einem einzigen, einfachen Experiment angefangen. Dieses Experiment lehrte uns, dass jeder Besucher unserer Webseite ein Chance darstellt und uns, wenn wir diese durch Webseitenoptimierung und A/B-Testing nutzten, helfen würde mehrere zehn Millionen US$ zu sammeln.

Das Experiment umfasste dabei zwei Teilbereiche unserer Splash-Page: Den „Media“ Bereich im oberen Teil der Seite und den Call-to-Action „Button“.

Die verschiedenen Bereiche der Webseite die getestet werden sollen

Wir haben vier Buttons und sechs verschiedene Medien-Elemente (drei Bilder und drei Videos) getestet. Dazu benutzten wir den Google Website Optimizer und einen voll-faktoriellen, multivariaten Test. Das ist lediglich eine extravagante Ausdrucksweise dafür, dass wir alle möglichen Kombinationen gleichzeitig gegeneinander getestet haben. Mit vier Buttons und sechs verschiedenen Medien-Elementen hatten wir also 24 (4×6) Kombinationen zu testen. Jedem Besucher der Splash Page wurde per Zufall eine dieser Variationen angezeigt und wir haben beobachtet, ob er sich angemeldet hat oder nicht. Bevor Du jetzt runterscrollst um die Ergebnisse zu betrachten, rate doch mal, welcher Button und welches Medien-Element am erfolgreichsten war:

Button Varianten
AB-Testing Button Variante Sign Up

AB-Testing Button Variante Learn More

AB-Testing Button Variante Join Us Now

AB-Testing Button Variante Sign Up Now

Variationen der Medien Elemente

Ergebnisse

Das Maß, an dem wir den Erfolg festmachten, war die Sign-Up-Rate (Anmelderate): Die Anzahl der Menschen, die sich angemeldet haben, geteilt durch die Zahl der Menschen, welche die spezifische Variante angezeigt bekommen haben. Insgesamt wurde die Splash Page im Laufe des Tests 310.382 Mal aufgerufen, also gut 13.000 Mal pro Kombination (310.382/13).

Hier sind die Anmelderaten, die wir für jede Variante beobachtet haben:
AB-Testing Obama Einzelergebnisse

Hier sind die Anmelderaten für die Kombinationen der verschiedenen Varianten:
AB-Testing Obama Kombinationsergebnisse

Der Gewinner

Die beste Performance eines Buttons mit einem Medien-Element war „Combination 11“ (Kombination 11), der „Learn More“ Button mit dem „Family Image“ (Familienbild):
AB-Testing Obama Beste Performance

Vor dem Experiment waren wir davon überzeugt, dass „Sam’s Video“ (das letzte in der obigen Slideshow) zu den besten Resultaten führen würde. Hätten wir das Experiment nicht gemacht, hätten wir wahrscheinlich dieses Video auf der Splash Page verwendet. Das wäre ein großer Fehler gewesen, da alle Videos zu schlechteren Ergebnissen geführt haben als die Bilder. Die beste Kombination führte zu einer Anmelderate von 11,6%. Die ursprüngliche Webseite hatte eine Anmelderate von 8,26%. Dies entspricht einer Steigerung von 40,6%. Was bedeutet eine Steigerung von 40,6%?

Nun, wenn man annimmt, dass diese Steigerung für den Rest der Kampagne konstant bliebe, dann können wir uns die Gesamtzahl am Ende der Kampagne anschauen und den Unterschied ermitteln, den dieses Experiment hatte. Ungefähr 10 Millionen Menschen haben sich während der Kampagne auf der Webseite angemeldet. Wenn wir das Experiment nicht durchgeführt hätten und bei der ursprünglichen Webseite geblieben wären, dann wäre diese Zahl näher an 7.120.000 Anmeldungen. Das ist ein Unterschied von 2.880.000 Emailadressen.

Eine Email an eine der Emailadressen, welche wir über unsere Splash Page generiert haben mit der Bitte um ehrenamtliche Unterstützung hat normaler Weise in 10% aller Fälle zum Erfolg geführt. 2.880.000 zusätzliche Emailadressen haben also zu 288.000 mehr Freiwilligen geführt. Jede Emailadresse welche auf der Splash Page eingegeben wurde führte im Durchschnitt zu 21 US$ Spenden während der gesamten Kampagne. Die 2.880.000 zusätzlichen Emailadressen auf unserer Liste führten also zu ca. 60 Millionen US$ zusätzlicher Spenden.

Lernerfahrungen

  1. Jeder Besucher Deiner Webseite stellt eine Chance dar. Nutze sie durch Optimierung Deiner Webseite und A/B-Testing.
  2. Stelle Annahmen in Frage. Jeder in der Kampagne hat die Videos geliebt, aber alle Videos führten zu schlechteren Ergebnissen als die Bilder. Wir hätten das niemals rausgefunden, wenn wir nicht unsere Erfahrungen in Frage gestellt hätten.
  3. Experimentiere früh und oft! Wir haben dieses Experiment im Dezember 2007 durchgeführt und die Früchte davon während der gesamten Kampagne geerntet. Da dieses erste Experiment so erfolgreich war, haben wir bis zum Ende dutzende weitere Experimente durchgeführt.

Warum Optimizely?

Optimizely kostenlos testenWir haben Optimizely entwickelt, da wir es einfacher machen wollten Experimente wie diese durchzuführen. Optimizely ist im Endeffekt das Produkt, von dem ich wünschte, wir hätten es während der Kampagne gehabt. Wir konnten nur einen kleinen Teil der Experimente realisieren, die wir durchführen wollten, da damals die Zeit und der Aufwand für solche Experimente zu groß waren. Wenn Du nach einem einfachen Weg suchst Deine Webseite zu testen, versuch es doch mal mit Optimizely.

Update: Wie inzwischen bekannt geworden ist nutzt auch die offizielle Kampagne zur Wiederwahl von Barack Obama in 2012 Optimizely. Deren Stellvertretender Direktor für neue Medien Josh Peck schreibt dazu „Die Verpflichtung zur Wahl Aufforderung Facebook App (Commit to Vote Challenge) war sehr effektiv darin Menschen in den Wahlprozess einzubinden, viele die es sonst nicht gemacht hätten. Es kam kurz nach der Einführung zu einer viralen Verbreitung und hat inzwischen mehr als 1 Million aktiver Nutzer auf Facebook. Dies wäre ohne die Verbesserung dir wir durch die Nutzung von Optimizely gemacht haben nicht möglich.“

Optimizely wird von der Kampagne aber nicht nur zur Verbreitung ihrer Facebook App genutzt. Wer technisch versiert ist sieht auch im Quelltext von www.barackobama.com, dass hier Optimizely eingebunden ist.

a

Die englische Originalversion dieses Artikels ist hier zu finden und wurde von Dan Siroker verfasst, einem der Gründer der A/B-Testing-Software Optimizely. Die hier zu lesende, deutsche Version wurde mit Zustimmung des Autors erstellt, das Update wurde selber verfasst.

Weitere Artikel die Dich interessieren könnten:

Eine Antwort auf „A/B-Testing à la Obama: 60 Millionen US$ mehr Spenden“

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.