Тагнуулын үүлийг оновчтой болгох: A/B -ийг илүү ухаалаг, илүү хурдан туршихын тулд статистик хөдөлгүүрийг хэрхэн ашиглах талаар

Статистик хөдөлгүүр ба A/B тестийн стратегийг оновчтой болгох

Хэрэв та бизнесээ туршиж үзэх, сурахад туслах туршилтын програм ажиллуулах гэж байгаа бол үүнийг ашиглаж магадгүй юм Тагнуулын үүлийг оновчтой болгох - эсвэл та ядаж харсан байх. Optimizely бол тоглоомын хамгийн хүчирхэг хэрэгслүүдийн нэг боловч иймэрхүү хэрэгслийн нэгэн адил хэрэв та үүнийг хэрхэн ажилладагийг ойлгохгүй байвал буруу ашиглаж магадгүй юм. 

Optimizly -ийг юу ийм хүчирхэг болгодог вэ? Онцлог шинж чанаруудын гол цөм нь гуравдагч талын хэрэгсэл дэх хамгийн мэдээлэлтэй, зөн совингийн статистик хөдөлгүүр бөгөөд энэ нь танд чухал ач холбогдолтой туршилтуудыг шууд дамжуулахад илүү их анхаарал хандуулах боломжийг олгодог бөгөөд та үр дүнг буруу тайлбарлаж байна гэж санаа зовох хэрэггүй болно. 

Анагаах ухааны уламжлалт сохор судалгаа шиг. A / B шинжилгээ өөр өөрийг санамсаргүй байдлаар харуулах болно эмчилгээ Эмчилгээний үр дүнг харьцуулахын тулд сайтаа өөр өөр хэрэглэгчид ашиглана уу. 

Статистикууд нь эмчилгээ нь урт хугацаанд хэр үр дүнтэй болох талаар дүгнэлт хийхэд тусалдаг. 

Ихэнх A/B тестийн хэрэгслүүд нь статистикийн хоёр төрлийн дүгнэлтийн аль нэгэнд тулгуурладаг: Давтамжтай эсвэл Байесийн статистик. Сургууль бүр янз бүрийн давуу болон сул талуудтай байдаг - Давтамжтай статистик нь туршилтыг явуулахын өмнө түүврийн хэмжээг тогтоох шаардлагатай байдаг бөгөөд Байесийн статистик тоо баримт нь нөлөөллийн талаар ганц тоо хэлэхээс илүүтэй сайн чиглэлтэй шийдвэр гаргахад гол анхаарлаа хандуулдаг. Optimizly -ийн супер хүч бол өнөөгийн зах зээл дээрх цорын ганц хэрэгсэл юм дэлхийн аль аль нь хамгийн сайн арга барил.

Эцсийн үр дүн? Оновчтой болгох нь хэрэглэгчдэд туршилтыг илүү хурдан, илүү найдвартай, илүү хялбар хийх боломжийг олгодог.

Үүнийг бүрэн дүүрэн ашиглахын тулд хөшигний ард юу болж байгааг ойлгох нь чухал юм. Optimizely -ийн чадварыг мэргэжлийн хүн шиг ашиглах 5 ойлголт, стратеги энд байна.

Стратеги #1: Бүх хэмжигдэхүүн тэгш биш гэдгийг ойлгох хэрэгтэй

Ихэнх туршилтын хэрэгслүүдийн хувьд нийтлэг орхигдуулдаг асуудал бол тестийнхээ нэг хэсэг болгон хэмжих хэмжүүрийг илүү их оруулах тусам санамсаргүй тохиолдлоос болж буруу дүгнэлтийг харах магадлал өндөр байдаг (статистикт үүнийг "олон туршилтын асуудал гэж нэрлэдэг. ”). Үр дүнг найдвартай байлгахын тулд Optimizely нь тохиолдож буй магадлалыг аль болох бага байлгахын тулд хэд хэдэн хяналт, залруулга ашигладаг. 

Эдгээр хяналт, залруулга нь Optimizely дээр тест тохируулахаар явахдаа хоёр үр дагавартай байдаг. Нэгдүгээрт, таны тодорхойлсон хэмжигдэхүүн Анхдагч хэмжигдэхүүн статистикийн ач холбогдлыг хамгийн хурдан, бусад бүх зүйлийг тогтмол авах болно. Хоёрдугаарт, туршилтанд илүү олон хэмжигдэхүүн нэмэх тусам таны сүүлчийн хэмжигдэхүүнүүд статистикийн ач холбогдлыг олж авахад удаан хугацаа шаардагдах болно.

Туршилт төлөвлөхдөө Шийдвэр гаргах явцад таны жинхэнэ Хойд хэмжигдэхүүн нь ямар хэмжигдэхүүн болохыг мэдэж байгаа эсэхээ шалгаарай. Дараа нь бусад хэмжигдэхүүний жагсаалтыг хэтэрхий хэтрүүлсэн эсвэл тангенциаль зүйлээс хасч байгаарай.

Стратеги #2: Өөрийн хувийн зан чанарыг бий болгох

Optimizely нь туршилтын үр дүнг сегментлэх хэд хэдэн сонирхолтой, тустай аргуудыг танд өгөхөд маш сайн юм. Жишээлбэл, та тодорхой эмчилгээг ширээний болон гар утсан дээр илүү сайн гүйцэтгэж байгаа эсэхийг шалгаж болно, эсвэл замын хөдөлгөөний эх үүсвэрүүдийн ялгааг ажиглаж болно. Таны туршилтын хөтөлбөр дуусах тусам та шинэ сегментүүдийг хурдан авахыг хүсэх болно.Энэ нь таны хэрэглээний онцлогтой холбоотой байж магадгүй, тухайлбал нэг удаагийн захиалгын худалдан авалтын сегмент эсвэл "шинэ ба буцаж ирсэн зочид" гэх мэт. Үнэнийг хэлэхэд, яагаад үүнийг хайрцгаас гаргаагүй болохыг бид одоо хүртэл олж чадахгүй байна.)

Сайн мэдээ бол Optimizely -ийн төслийн Javascript талбараар дамжуулан Optimizely -ийг мэддэг инженерүүд зочдод хуваарилах, сегментлэх боломжтой олон тооны сонирхолтой зан чанарыг бий болгож чаддаг явдал юм. Cro Metrics дээр бид бүх үйлчлүүлэгчдэдээ өөрсдийн төслийн Javascript -ээр дамжуулан суулгадаг хэд хэдэн хувьцааны модулийг ("шинэ ба буцаж ирсэн зочид" гэх мэт) бүтээсэн. Энэхүү чадварыг ашиглах нь гүйцэтгэх ажилд нь туслах техникийн зөв эх сурвалжтай боловсон хүчнүүд болон туршилтын боломжоо бүрэн дүүрэн хэрэгжүүлэхийн төлөө тэмцэж буй багуудын хоорондох гол ялгаа юм.

Стратеги #3: Optimizely -ийн статистик хурдасгуурыг судлаарай

Туршилтын явцад туршилтын явцад таны урсгалыг хуваарилах газар динамикаар өөрчлөгдөж байдаг "олон зэвсэгт дээрэмчид" -ийг ашиглах чадвар нь туршилтын явцад олон зочин илгээх чадвартай байдаг. аль болох олон янз байдал. Олон гартай дээрэмчдийн асуудал бол тэдний үр дүн нь урт хугацааны гүйцэтгэлийн найдвартай үзүүлэлт биш тул ийм төрлийн туршилтын хэрэглээний тохиолдол нь борлуулалтын урамшуулал гэх мэт цаг хугацааны мэдрэмжтэй тохиолдлуудаар хязгаарлагддаг.

Хамгийн оновчтой байдлаар, илүү өндөр төлөвлөгөөнд байгаа хэрэглэгчдэд зориулагдсан өөр төрлийн дээрэмчдийн алгоритм байдаг - Stats Accelerator (одоо дээрэмчдийн дунд "Сургалтыг хурдасгах" гэж нэрлэдэг). Энэхүү тохиргоонд траффикийг хамгийн өндөр гүйцэтгэлтэй хувилбараар динамикаар хуваарилах гэж оролдохын оронд статистик ач холбогдлыг хамгийн хурдан олж авах магадлалтай хувилбаруудад урсгалыг динамикаар хуваарилдаг. Ингэснээр та илүү хурдан сурч, уламжлалт A/B тестийн үр дүнгийн хуулбарыг хадгалах боломжтой болно.

Стратеги #4: Метрик нэрэндээ эможи нэмэх

Эхлээд харахад энэ санаа нь утгагүй мэт санагдаж магадгүй юм. Гэсэн хэдий ч туршилтын зөв үр дүнг уншиж байгаа эсэхийг шалгах гол тал нь үзэгчид энэ асуултыг ойлгож чадна гэдэгт итгэлтэй байхаас эхэлдэг. 

Заримдаа бид хичнээн их хичээсэн ч гэсэн хэмжүүрийн нэрс ойлгомжгүй болдог (хүлээгээрэй - захиалга хүлээн авахад, эсвэл хэрэглэгч талархлын хуудас руу ороход хэмжигдэхүүн гарч ирдэг үү?), Эсвэл туршилт нь үр дүнг дээш доош гүйлгэж харуулдаг маш олон хэмжигдэхүүнтэй байдаг. хуудас нь танин мэдэхүйн хэт ачаалалд хүргэдэг.

Өөрийн хэмжүүрийн нэрэнд эможи нэмэх (зорилтот, ногоон тэмдэг, том мөнгөний цүнх ч гэсэн ажиллах боломжтой) нь илүү сканнердах боломжтой хуудсуудыг үүсгэж болзошгүй юм. 

Бидэнд итгээрэй - үр дүнг унших нь илүү хялбар болно.

Стратеги #5: Статистикийн ач холбогдлын түвшинг дахин анхаарч үзээрэй

Үр дүнг Optimizly -ийн туршилтын хүрээнд хүрч ирсний дараа эцсийн байдлаар тооцно статистикийн ач холбогдол. Статистикийн ач холбогдол нь математикийн хатуу нэр томъёо боловч үндсэндээ энэ нь таны ажиглалт нь зөвхөн тохиолдлын тохиолдлоос бус харин хоёр хүн амын хоорондох бодит ялгааны үр дүн юм. 

Optimizely -ийн мэдээлсэн статистикийн ач холбогдлын түвшин нь математик ойлголтын ачаар "үргэлж хүчинтэй" байдаг дараалсан туршилт - энэ нь үнэн хэрэгтээ хэрэв та тэдгээрийг удахгүй уншвал бүх төрлийн "хайх" асуудалд өртөмтгий байдаг бусад туршилтын хэрэгслүүдээс хамаагүй илүү найдвартай болгодог.

Таны туршилтын хөтөлбөрт статистикийн ач холбогдол ямар түвшинд байгааг анхаарч үзэх нь зүйтэй юм. Шинжлэх ухааны нийгэмлэгийн 95% нь уламжлал боловч бид вакцин биш харин вэбсайтын өөрчлөлтийг туршиж үздэг. Туршилтын ертөнцөд өөр нэг түгээмэл сонголт: 90%. Гэхдээ та туршилтаа хурдан хийж, илүү олон санааг туршиж үзэхийн тулд бага зэрэг тодорхойгүй байдлыг хүлээж авахад бэлэн байна уу? Та статистикийн ач холбогдлын 85% эсвэл бүр 80% -ийг ашиглаж болох уу? Эрсдэл, урамшууллын тэнцлийн талаар санаатай байх нь цаг хугацааны явцад экспоненциал ногдол ашиг өгөх боломжтой тул үүнийг сайтар бодож үзээрэй.

Optimizly Intelligence Cloud -ийн талаар дэлгэрэнгүй уншина уу

Эдгээр таван хурдан зарчим, ойлголт нь Optimizely -ийг ашиглахдаа санаж байх нь гайхалтай тустай байх болно. Аливаа хэрэгслийн нэгэн адил хөшигний ард байгаа бүх тохиргооны талаар сайн ойлголттой болохын тулд энэ хэрэгслийг үр дүнтэй, үр дүнтэй ашиглаж байгаа эсэхээ шалгаарай. Эдгээр ойлголтын тусламжтайгаар та хүссэн үедээ найдвартай үр дүнг авах боломжтой болно. 

Чи юу гэж бодож байна?

Энэ сайт нь спамыг багасгахын тулд Akismet-ийг ашигладаг. Таны өгөгдлийг хэрхэн боловсруулдаг талаар суралц.