Peak Experiments

ฉันจะสร้างการทดลองแรกได้อย่างไร

อธิบายในหนึ่งประโยคว่าคุณต้องการปรับปรุงอะไร Peak จะสร้างฉบับร่างพร้อมสมมติฐาน ตัวชี้วัดหลัก และตัวชี้วัดป้องกัน และบอกว่ายังมีอะไรค้างอยู่ จากนั้นคุณเลือก “เริ่มแบบง่าย” หรือ “วางแผนอย่างละเอียด” ไม่มีอะไรถูกบันทึกจนกว่าคุณจะบันทึก และไม่มีอะไรเริ่มจนกว่าคุณจะเริ่ม

1. 01เปิด Peak Experiments แล้วเลือก “+ การทดลอง”
2. 02เขียนว่าคุณต้องการปรับปรุงอะไร และทำไมคุณเชื่อว่าการเปลี่ยนแปลงจะช่วยได้
3. 03ตรวจสอบฉบับร่างและตอบคำถามที่ค้างอยู่
4. 04กรอกค่าฐาน ปริมาณต่อสัปดาห์ และเกณฑ์ความสำเร็จ
5. 05เริ่มเมื่อบทวิจารณ์ไม่แสดงสิ่งที่วิกฤตแล้ว

ฉันจะใส่ผลลัพธ์ของการทดลองได้อย่างไร

หลังการรัน ด้วย “สิ้นสุดและประเมินผล” คุณใส่ทั้งสองกลุ่ม (หน่วยและความสำเร็จ หรือค่าเฉลี่ย) หรือใส่เพียงการเปลี่ยนแปลงของตัวชี้วัดหลักเป็นเปอร์เซ็นต์ หากไม่มีขนาดกลุ่ม หลักฐานจะอยู่ที่ระดับ C สูงสุด

1. 01เปิดการทดลองแล้วเลือก “สิ้นสุดและประเมินผล”
2. 02เลือก “ใส่กลุ่ม” หรือ “ใส่เฉพาะการเปลี่ยนแปลง”
3. 03ใส่ค่าของกลุ่มควบคุมและกลุ่มทดลอง และแนวกั้นเป็น %
4. 04ไม่บังคับ ใต้ “กลุ่มย่อย คุณภาพข้อมูล และปัจจัยรบกวน”: กลุ่มย่อย ปัญหาข้อมูล และสิ่งที่เกิดขึ้นในเวลาเดียวกัน
5. 05“บันทึกเป็นผลลัพธ์ระหว่างทาง” หรือ “บันทึกผลลัพธ์สุดท้าย” จากนั้นถึงเวลาตัดสินใจ

ฉันจะตัดสินใจหลังการทดลองได้อย่างไร

หลังผลลัพธ์สุดท้าย คุณเลือกการตัดสินใจ: นำไปใช้ ปรับปรุงต่อ ทดสอบใหม่ ย้อนกลับ รอ ไม่ดำเนินการต่อ หรือไม่มีผลลัพธ์ที่ชัดเจน Peak ทำเครื่องหมายหนึ่งรายการว่า “แนะนำ” คุณเขียนเหตุผลสั้น ๆ จากนั้นการตัดสินใจจะปรากฏใน Peak Log ด้วย

1. 01บันทึกผลลัพธ์สุดท้ายก่อน
2. 02เลือกการตัดสินใจแล้วเขียนเหตุผลใน “ทำไม”
3. 03สำหรับ “นำไปใช้” คุณกำหนดผู้รับผิดชอบ “นำไปใช้ภายใน” และงานสำหรับ Peak Work ได้หากต้องการ เว้นว่างไว้หากไม่ต้องการงาน
4. 04บันทึก

ฉันจะบันทึกสิ่งที่การทดลองที่นำไปใช้แล้วให้ผลจริงได้อย่างไร

หลังการตัดสินใจ “นำไปใช้” คุณใส่การเปลี่ยนแปลงที่วัดได้หลังนำไปใช้เป็นเปอร์เซ็นต์ที่การทดลอง ด้วยวิธีนี้คุณจะเห็นภายหลังว่าผลยังคงอยู่ในการดำเนินงานประจำวันหรือไม่ ก่อน “นำไปใช้” ช่องนี้จะไม่มี

1. 01เปิดการทดลองที่นำไปใช้แล้ว
2. 02ใน “การเปลี่ยนแปลงหลังนำไปใช้ (%)” ใส่ค่าที่วัดได้ และ “มูลค่าต่อเดือน (€, ไม่บังคับ)” หากต้องการ
3. 03บันทึก

ฉันจะรวบรวมไอเดียและเปลี่ยนไอเดียที่ดีที่สุดเป็นการทดลองได้อย่างไร

ใน “ไอเดีย” คุณจดไอเดียในหนึ่งประโยค แต่ละไอเดียได้คะแนน PEAK จาก 0 ถึง 100 ตามศักยภาพ หลักฐาน ความสอดคล้อง และความง่าย คุณเปลี่ยนไอเดียที่ดีที่สุดเป็นการทดลอง Peak ยังเสนอไอเดียจากคำถามที่ค้างอยู่ในสิ่งที่คุณได้เรียนรู้ด้วย

1. 01เปิด “ไอเดีย” แล้วเขียนหนึ่งประโยคใน “ไอเดียใหม่” เช่น “ถ้าเราให้จัดส่งฟรีตั้งแต่ €50 ล่ะ”
2. 02คลิก “จดไอเดีย”
3. 03ใช้ “ให้คะแนน” เพื่อปรับค่าทั้งสี่
4. 04“เปลี่ยนเป็นการทดลอง” จะสร้างฉบับร่าง “ทิ้ง” จะนำไอเดียออก

ระดับหลักฐาน A ถึง E หมายความว่าอะไร

บอกว่าผลลัพธ์แข็งแรงเพียงใดในเชิงระเบียบวิธี ไม่ใช่ว่าคุณรู้สึกมั่นใจแค่ไหน การออกแบบกำหนดเพดาน แบบสุ่มสูงสุด A แบบกึ่งทดลอง B แบบก่อน/หลัง C แบบเชิงคุณภาพ D ทุกข้อจำกัดจะลดลงหนึ่งระดับ ได้แก่ กลุ่มตัวอย่างเล็กเกินไป หยุดก่อนกำหนด ปัญหาข้อมูล ปัจจัยรบกวน การยอมรับการทับซ้อน หรือการเปลี่ยนสมมติฐาน ตัวชี้วัด หรือเกณฑ์หลังเริ่ม ใน “ขั้นสูง” จะแสดงเหตุผลทุกข้อ

Peak คำนวณขนาดกลุ่มตัวอย่างและระยะเวลาอย่างไร

จากค่าฐาน เกณฑ์ความสำเร็จ และปริมาณต่อสัปดาห์ ด้วยระดับนัยสำคัญ 5% และกำลังการทดสอบ 80% แบบสองทาง สำหรับค่าเฉลี่ยที่ไม่ทราบการกระจาย Peak จะสมมติให้ส่วนเบี่ยงเบนมาตรฐานเท่ากับค่าเฉลี่ยและแจ้งให้ทราบ หากการทดสอบแบบดั้งเดิมต้องใช้เวลามากกว่าแปดสัปดาห์ โหมดทราฟฟิกต่ำจะแนะนำทางเลือก ได้แก่ การเปลี่ยนแปลงที่ใหญ่ขึ้น การทดสอบแบบลำดับ switchback ช่วงเวลาเปรียบเทียบ หรือการสัมภาษณ์

บทเรียนไปอยู่ที่ไหน และ “ถูกขัดแย้ง” หมายความว่าอะไร

บทเรียนทุกข้ออยู่ในคลัง พร้อมขอบเขต ผลกระทบ หลักฐาน และการทดลองที่อยู่เบื้องหลัง คุณเชื่อมโยงบทเรียนได้ว่า สนับสนุน ขัดแย้ง หรือแทนที่ บทเรียนที่ถูกขัดแย้งหรือถูกแทนที่ยังมองเห็นได้ และหลังผ่านไปหนึ่งปีหรือเมื่อถึงวันทบทวน บทเรียนจะถูกตั้งเป็น “ทบทวน” Peak ไม่สร้างความขัดแย้งขึ้นมาเอง

ฉันหยุดชั่วคราวหรือยกเลิกการทดลองที่กำลังทำงานอยู่ได้หรือไม่

ได้ ขึ้นอยู่กับสถานะ การทดลองจะมี “หยุดชั่วคราว” “ดำเนินการต่อ” “สิ้นสุดและประเมินผล” “ทำเครื่องหมายว่าถูกบล็อก” “ทำเครื่องหมายว่าไม่ถูกต้อง” “กลับเป็นฉบับร่าง” “ยกเลิก” และ “เก็บถาวร” เมื่อเริ่ม Peak จะตรึงสมมติฐาน ตัวชี้วัด เกณฑ์ แนวกั้น และการออกแบบไว้ เพื่อให้ผลลัพธ์ยังน่าเชื่อถือในภายหลัง หากขั้นตอนใดไม่เข้ากับสถานะปัจจุบัน Peak จะแจ้งไว้

ข้อมูลเชิงลึกใน Peak Experiments แสดงอะไร

ความเร็ว ผลลัพธ์ หลักฐาน และผลกระทบของการทดลองทั้งหมด: อะไรกำลังทำงาน อะไรต้องตัดสินใจ การกระจายของผลลัพธ์ อะไรที่เกิดผลแล้ว และอะไรที่ยังไม่ได้ใช้ประโยชน์ แยกตามเดือน รวมถึงการทบทวนรายสัปดาห์ (“ห้านาทีสำหรับสัปดาห์นี้”) ทุกข้อความระบุว่าอ้างอิงจากอะไร ข้อมูลเชิงลึกจะแสดงเมื่อการทดลองแรกได้ทำงานและตัดสินใจแล้ว

ทำไมฉันเริ่มการทดลองไม่ได้

การตรวจสอบยังแสดงปัญหาร้ายแรงอยู่ ตราบใดที่ยังมีปัญหาร้ายแรงค้างอยู่ “เริ่ม” จะยังถูกล็อก หากการทดลองของคุณทับซ้อนกับการทดลองอื่น คุณยอมรับการทับซ้อนโดยเจตนาได้ ซึ่งจะลดหลักฐานลงหนึ่งระดับ

1. 01อ่านรายการเหนือปุ่มเริ่ม ด้านล่างจะบอกว่ามีปัญหากี่ข้อที่บล็อกการเริ่ม
2. 02แก้ไขปัญหาในแผน เช่น ไม่มีตัวชี้วัดหรือเกณฑ์
3. 03สำหรับการทับซ้อน: ใส่เหตุผลใน “ยอมรับการทับซ้อนโดยเจตนาเพราะ …” แล้วคลิก “ยอมรับ”
4. 04เมื่อแสดง “ไม่มีปัญหาที่ค้างอยู่ แผนพร้อมเริ่มแล้ว” ให้คลิก “เริ่ม” หากวันเริ่มอยู่ในอนาคต ปุ่มจะชื่อ “ตั้งเวลา”