Facebook поможет устраивать a/b-тестирование по науке

Facebook опубликовала исходные коды фреймворка PlanOut, что был создан и используется данной компанией с целью проведения A/B-тестирований. Он включает в себя специальный язык программирования, упрощающий организацию сложных опытов, средство автоматической фиксации результатов и инструменты, помогающие проводить серии взаимосвязанных опытов.

A/B-тестирование – способ проверки действенности тех либо иных интерфейсных ответов, что часто используют интернет-компании. Чтобы узнать, какой эффект произведут трансформации на сайте, его визитёров случайным образом дробят на пара групп. Участники каждой из них видят разные предположения сайта. Дабы выбрать оптимальную версию, достаточно сравнить показатели этих групп.

В некоторых случаях это разрешает не допустить трансформации, каковые имели возможность бы привести к катастрофическим последствиям – скажем, сократить доходы вебмагазина либо ускорить оттекание пользователей. В других – напротив, улучшить, причём за счёт малых на первый взгляд трансформаций. Влияние мелочей – к примеру, верного оттенка либо подходящих слов – обычно оказывается весьма важным.

Facebook каждый день проводит тысячи аналогичных опытов. Инженеры компании отлично привычны с подводными камнями, каковые подстерегают тех, кто берётся за A/B-тестирование без умения. Допустить неточность, которая абсолютно лишит смысла полученные на протяжении опыта результаты, несложнее несложного.

Приставить к каждому программисту специалиста согласно данным статистики что будет следить, дабы к тестам было нереально придраться, – через чур дорого кроме того по меркам Facebook. Но к проблеме возможно подойти иначе – заложить знания специалистов в программный продукт.

PlanOut есть реализацией этой идеи. Он даёт готовую платформу с целью проведения A/B-тестирований, которая разрешает избежать если не всех, то многих распространённых неточностей. Наряду с этим он спроектирован так, дабы поощрять подход к опытам, принятый у психологов и когнитивистов. Помимо этого, в него заложена возможность проведения не одного, а серии последовательных опытов.

Код PlanOut размещён на GitHub, а краткое объяснение возможно отыскать в блоге Facebook. Тех, кого интересуют подробности, направляют к научной работе “внедрение и Планирование сетевых полевых опытов“. Создатели PlanOut собираются представить её на конференции WWW 2014, которую проводит авторитетная интернациональная организация Ассоциация вычислительной техники (ACM).

Случайное видео:


Интересные записи: