Peak Experiments

¿Cómo creo mi primer experimento?

Describe en una frase lo que quieres mejorar. Peak lo convierte en un borrador con una hipótesis, una métrica principal y métricas de protección, e indica lo que sigue pendiente. Después eliges «Empezar de forma sencilla» o «Planificar con cuidado». No se guarda nada hasta que guardas, y no empieza nada hasta que lo inicias.

1. 01Abre Peak Experiments y elige «+ Experimento».
2. 02Escribe lo que quieres mejorar y por qué crees que un cambio ayudará.
3. 03Revisa el borrador y responde a las preguntas pendientes.
4. 04Introduce el valor de referencia, el volumen por semana y el umbral de éxito.
5. 05Inícialo en cuanto la revisión ya no muestre nada crítico.

¿Cómo introduzco el resultado de un experimento?

Después de la ejecución, con «Terminar y evaluar». Introduces los dos grupos (unidades y éxitos, o media) o solo el cambio en la métrica principal en porcentaje. Sin tamaños de grupo, la evidencia es como mucho C.

1. 01Abre el experimento y elige «Terminar y evaluar».
2. 02Elige «Introducir grupos» o «Introducir solo el cambio».
3. 03Introduce los valores del grupo de control y de la variante, y las métricas de protección en %.
4. 04Opcional, en «Segmentos, calidad de datos y factores de confusión»: segmentos, problemas de datos y lo que ocurrió al mismo tiempo.
5. 05«Guardar como resultado provisional» o «Guardar resultado final». Después toca decidir.

¿Cómo decido después de un experimento?

Tras el resultado final, eliges una decisión: Implantar, Iterar, Repetir la prueba, Revertir, Esperar, No seguir o Sin resultado claro. Peak marca una como «recomendada». Escribes brevemente por qué. La decisión aparece también en Peak Log.

1. 01Guarda primero el resultado final.
2. 02Elige la decisión y escribe la justificación en «¿Por qué?».
3. 03Con «Implantar» puedes fijar, si quieres, un responsable, «Implantar antes del» y una tarea para Peak Work. Déjalo vacío si no hace falta ninguna tarea.
4. 04Guarda.

¿Cómo registro lo que ha aportado de verdad un experimento implantado?

Tras la decisión «Implantar», introduces en el experimento el cambio medido después de la implantación, en porcentaje. Así ves más adelante si el efecto se mantiene en el día a día. Antes de «Implantar», este campo no existe.

1. 01Abre el experimento implantado.
2. 02En «Cambio tras la implantación (%)», introduce el valor medido y, si quieres, el «Valor al mes (€, opcional)».
3. 03Guarda.

¿Cómo reúno ideas y convierto la mejor en un experimento?

En «Ideas», anotas una idea en una frase. Cada idea recibe una puntuación PEAK de 0 a 100 según el potencial, la evidencia, el encaje y la facilidad. Las mejores las conviertes en experimentos. Peak también propone ideas a partir de preguntas abiertas en tus aprendizajes.

1. 01Abre «Ideas» y escribe una frase en «Nueva idea», por ejemplo «¿Y si el envío fuera gratis a partir de 50 €?».
2. 02Haz clic en «Guardar idea».
3. 03Con «Valorar» ajustas los cuatro valores.
4. 04«Convertir en experimento» crea un borrador. «Descartar» elimina la idea.

¿Qué significa el nivel de evidencia de la A a la E?

Indica lo sólido que es un resultado desde el punto de vista metodológico, no lo seguro que te sientes. El diseño fija el límite superior: aleatorizado, como mucho A; cuasiexperimental, B; antes/después, C; cualitativo, D. Cada limitación lo baja un nivel: muestra demasiado pequeña, parada anticipada, problemas de datos, factores de confusión, solapamientos aceptados o cambios en la hipótesis, la métrica o el umbral después del inicio. En «Avanzado» aparece cada motivo.

¿Cómo calcula Peak el tamaño de la muestra y la duración?

A partir del valor de referencia, el umbral de éxito y el volumen por semana, con un 5 % de significación y un 80 % de potencia, bilateral. Para medias sin dispersión conocida, Peak supone una desviación típica igual a la media y lo indica. Si una prueba clásica necesita más de ocho semanas, el modo de poco tráfico sugiere alternativas: un cambio mayor, pruebas secuenciales, switchback, un periodo de comparación o entrevistas.

¿Adónde van los aprendizajes y qué significa «contradicho»?

Cada aprendizaje está en la biblioteca, con su alcance, su efecto, su evidencia y los experimentos que hay detrás. Puedes vincular aprendizajes: respalda, contradice o sustituye. Los aprendizajes contradichos y sustituidos siguen visibles, y al cabo de un año o en la fecha de revisión un aprendizaje pasa a «Revisar». Peak no se inventa contradicciones.

¿Puedo pausar o cancelar un experimento en marcha?

Sí. Según su estado, el experimento ofrece «Pausar», «Reanudar», «Terminar y evaluar», «Marcar como bloqueado», «Marcar como no válido», «Volver a borrador», «Cancelar» y «Archivar». Al iniciar, Peak congela la hipótesis, la métrica, el umbral, las métricas de protección y el diseño, para que el resultado siga siendo fiable después. Si un paso no encaja con el estado actual, Peak te lo dice.

¿Qué muestran los Insights de Peak Experiments?

Ritmo, resultados, evidencia e impacto de todos los experimentos: qué está en marcha, qué hay que decidir, la distribución de resultados, qué se ha materializado y qué sigue sin aprovechar, cada cosa por mes. Además, una revisión semanal («Cinco minutos para la semana»). Cada afirmación indica en qué se basa. Los Insights aparecen cuando los primeros experimentos se han ejecutado y decidido.

¿Por qué no puedo iniciar mi experimento?

La revisión todavía muestra problemas críticos. Mientras haya un problema crítico abierto, «Iniciar» sigue bloqueado. Si tu experimento se solapa con otro, puedes aceptar el solapamiento de forma consciente; eso baja la evidencia un nivel.

1. 01Lee la lista que hay encima del botón de inicio. Abajo pone cuántos problemas bloquean el inicio.
2. 02Corrige los problemas en el plan, como una métrica o un umbral que falta.
3. 03Si hay un solapamiento: escribe un motivo en «Acepto el solapamiento de forma consciente porque…» y haz clic en «Aceptar».
4. 04Cuando ponga «No hay problemas abiertos. El plan está listo para empezar.», haz clic en «Iniciar». Si el día de inicio es futuro, el botón se llama «Programar».