Peak Experiments

Wie lege ich mein erstes Experiment an?

Beschreib in einem Satz, was ihr verbessern wollt. Peak macht daraus einen Entwurf mit Hypothese, Hauptmetrik und Leitplanken und nennt, was noch offen ist. Danach wählst du „Einfach starten“ oder „Sorgfältig planen“. Gespeichert wird erst, wenn du speicherst, und gestartet erst, wenn du startest.

1. 01Öffne Peak Experiments und wähle „+ Experiment“.
2. 02Schreib, was ihr verbessern wollt, und warum ihr glaubt, dass eine Änderung hilft.
3. 03Prüf den Entwurf und beantworte die offenen Fragen.
4. 04Trag Baseline, Volumen pro Woche und Erfolgsschwelle ein.
5. 05Starte, sobald die Kritik nichts Kritisches mehr zeigt.

Wie trage ich das Ergebnis eines Experiments ein?

Nach dem Lauf mit „Beenden und auswerten“. Du trägst entweder beide Gruppen ein (Einheiten und Erfolge oder Mittelwert) oder nur die Veränderung der Hauptmetrik in Prozent. Ohne Gruppengrößen ist die Evidenz höchstens C.

1. 01Öffne das Experiment und wähl „Beenden und auswerten“.
2. 02Wähl „Gruppen eintragen“ oder „Nur Veränderung eintragen“.
3. 03Trag die Werte für Kontrolle und Variante ein, dazu die Leitplanken in %.
4. 04Optional unter „Segmente, Datenqualität und Störfaktoren“: Segmente, Datenprobleme und was gleichzeitig passierte.
5. 05„Als Zwischenstand speichern“ oder „Endergebnis speichern“. Danach steht die Entscheidung an.

Wie entscheide ich nach einem Experiment?

Nach dem Endergebnis wählst du eine Entscheidung: Ausrollen, Weiterentwickeln, Erneut testen, Zurücknehmen, Abwarten, Nicht weiterverfolgen oder Ohne klares Ergebnis. Peak markiert eine als „empfohlen“. Du schreibst kurz, warum. Die Entscheidung steht danach auch in Peak Log.

1. 01Speichere zuerst das Endergebnis.
2. 02Wähl die Entscheidung und schreib unter „Warum?“ die Begründung.
3. 03Bei „Ausrollen“ legst du optional Verantwortlich, „Rollout bis“ und eine Aufgabe für Peak Work fest. Leer lassen, wenn es keine Aufgabe braucht.
4. 04Speichern.

Wie halte ich fest, was ein ausgerolltes Experiment wirklich gebracht hat?

Nach der Entscheidung „Ausrollen“ trägst du am Experiment die gemessene Veränderung nach dem Rollout in Prozent ein. So siehst du später, ob die Wirkung im Alltag hält. Vor „Ausrollen“ gibt es dieses Feld nicht.

1. 01Öffne das ausgerollte Experiment.
2. 02Trag unter „Veränderung nach Rollout (%)“ den gemessenen Wert ein, optional den „Wert pro Monat (€, optional)“.
3. 03Speichern.

Wie sammle ich Ideen und mache die beste zum Experiment?

Unter „Ideen“ hältst du eine Idee in einem Satz fest. Jede Idee bekommt einen PEAK-Score von 0 bis 100 aus Potenzial, Evidenz, Ausrichtung und Einfachheit. Die besten machst du zum Experiment. Peak schlägt auch Ideen aus offenen Fragen eurer Learnings vor.

1. 01Öffne „Ideen“ und schreib unter „Neue Idee“ einen Satz, zum Beispiel „Was wäre, wenn wir den Versand ab 50 € kostenlos machen?“.
2. 02Klick auf „Idee festhalten“.
3. 03Mit „Bewerten“ passt du die vier Werte an.
4. 04„Zum Experiment machen“ legt einen Entwurf an. „Verwerfen“ nimmt die Idee raus.

Was bedeutet die Evidenzstufe A bis E?

Sie sagt, wie belastbar ein Ergebnis methodisch ist, nicht wie sicher du dich fühlst. Das Design setzt die Obergrenze: randomisiert höchstens A, quasi-experimentell B, Vorher/Nachher C, qualitativ D. Jede Einschränkung senkt um eine Stufe: zu kleine Stichprobe, vorzeitig beendet, Datenprobleme, Störfaktoren, akzeptierte Überschneidungen oder Änderungen an Hypothese, Metrik oder Schwelle nach dem Start. Unter „Für Fortgeschrittene“ steht jeder Grund.

Wie rechnet Peak Stichprobe und Dauer?

Aus Baseline, Erfolgsschwelle und Volumen pro Woche, mit 5 % Signifikanz und 80 % Power, zweiseitig. Bei Durchschnittswerten ohne bekannte Streuung nimmt Peak eine Standardabweichung in Höhe des Mittelwerts an und sagt das dazu. Braucht ein klassischer Test mehr als acht Wochen, schlägt der Low-Traffic-Modus Alternativen vor: größere Änderung, sequenziell, Switchback, Vergleichszeitraum oder Gespräche.

Wo bleiben die Learnings, und was heißt „widersprochen“?

Jedes Learning steht in der Bibliothek, mit Geltungsbereich, Wirkung, Evidenz und den Experimenten dahinter. Du kannst Learnings verbinden: stützt, widerspricht oder löst ab. Widersprochene und abgelöste Learnings bleiben sichtbar, und nach einem Jahr oder am Prüfdatum steht ein Learning auf „Prüfen“. Peak erfindet keine Widersprüche.

Kann ich ein laufendes Experiment pausieren oder abbrechen?

Ja. Am Experiment stehen je nach Stand „Pausieren“, „Fortsetzen“, „Beenden und auswerten“, „Als blockiert markieren“, „Als ungültig markieren“, „Zurück in den Entwurf“, „Abbrechen“ und „Archivieren“. Beim Start friert Peak Hypothese, Metrik, Schwelle, Leitplanken und Design ein, damit das Ergebnis später belastbar bleibt. Passt ein Schritt nicht zum Stand, sagt Peak das.

Was zeigen die Insights in Peak Experiments?

Tempo, Ergebnisse, Evidenz und Wirkung über alle Experimente: was gerade läuft, was entschieden werden muss, die Verteilung der Ergebnisse, was realisiert ist und was noch brach liegt, jeweils pro Monat. Dazu ein Wochenrückblick („Fünf Minuten für die Woche“). Jede Aussage nennt, worauf sie beruht. Insights entstehen, sobald die ersten Experimente laufen und entschieden sind.

Warum kann ich mein Experiment nicht starten?

Die Kritik zeigt noch kritische Punkte. Solange ein kritischer Punkt offen ist, bleibt „Starten“ gesperrt. Überschneidet sich dein Experiment mit einem anderen, kannst du die Überschneidung bewusst akzeptieren; das senkt die Evidenz um eine Stufe.

1. 01Lies die Liste über dem Startknopf. Unten steht, wie viele Punkte den Start blockieren.
2. 02Behebe die Punkte im Plan, etwa fehlende Metrik oder Schwelle.
3. 03Bei einer Überschneidung: Grund unter „Überschneidung bewusst in Kauf nehmen, weil …“ eintragen und „Akzeptieren“.
4. 04Steht „Keine offenen Punkte. Der Plan ist startklar.“, klick auf „Starten“. Liegt der Starttag in der Zukunft, heißt der Knopf „Einplanen“.