Optimizely Intelligence Cloud : comment utiliser le moteur de statistiques pour effectuer des tests A/B plus intelligemment et plus rapidement

Moteur de statistiques Optimizely et stratégies de test A/B

Si vous cherchez à exécuter un programme d'expérimentation pour aider votre entreprise à tester et à apprendre, il y a de fortes chances que vous utilisiez Cloud d'intelligence optimisée – ou vous l'avez au moins regardé. Optimizely est l'un des outils les plus puissants du jeu, mais comme tout outil de ce type, vous pourriez l'utiliser mal si vous ne comprenez pas comment il fonctionne. 

Qu'est-ce qui rend Optimizely si puissant ? Au cœur de son ensemble de fonctionnalités se trouve le moteur de statistiques le plus informé et le plus intuitif dans un outil tiers, vous permettant de vous concentrer davantage sur la mise en ligne de tests importants - sans avoir à vous soucier d'une mauvaise interprétation de vos résultats. 

Tout comme une étude traditionnelle à l'aveugle en médecine, Le test A / B affichera au hasard différents traitements de votre site à différents utilisateurs pour ensuite comparer l'efficacité de chaque traitement. 

Les statistiques nous aident ensuite à faire des déductions sur l'efficacité de ce traitement à long terme. 

La plupart des outils de test A/B reposent sur l'un des deux types d'inférence statistique : les statistiques fréquentistes ou bayésiennes. Chaque école a divers avantages et inconvénients – les statistiques fréquentistes nécessitent qu'une taille d'échantillon soit fixée avant de mener une expérience, et les statistiques bayésiennes se soucient principalement de prendre de bonnes décisions directionnelles plutôt que de spécifier un seul chiffre pour l'impact, pour ne citer que deux exemples. La superpuissance d'Optimizely est que c'est le seul outil sur le marché aujourd'hui pour prendre une le meilleur des deux mondes approche.

Le résultat final ? Optimizely permet aux utilisateurs d'exécuter des expériences plus rapidement, de manière plus fiable et plus intuitive.

Afin d'en profiter pleinement, cependant, il est important de comprendre ce qui se passe dans les coulisses. Voici 5 idées et stratégies qui vous permettront d'utiliser les capacités d'Optimizely comme un pro.

Stratégie n ° 1: Comprenez que toutes les métriques ne sont pas égales

Dans la plupart des outils de test, un problème souvent négligé est que plus vous ajoutez et suivez de métriques dans le cadre de votre test, plus vous avez de chances de voir des conclusions incorrectes en raison du hasard (dans les statistiques, cela s'appelle le "problème de test multiple »). Afin de garantir la fiabilité de ses résultats, Optimizely utilise une série de contrôles et de corrections pour réduire au maximum les chances que cela se produise. 

Ces contrôles et corrections ont deux implications lorsque vous configurez des tests dans Optimizely. Premièrement, la métrique que vous désignez comme votre Mesure principale atteindra la signification statistique le plus rapidement, toutes les autres choses étant constantes. Deuxièmement, plus vous ajoutez de métriques à un test, plus vos métriques ultérieures mettront de temps à atteindre une signification statistique.

Lors de la planification d'une expérience, assurez-vous de savoir quelle métrique sera votre vrai nord dans votre processus de prise de décision, faites-en votre métrique principale. Ensuite, gardez le reste de votre liste de métriques maigre en supprimant tout ce qui est trop superflu ou tangentiel.

Stratégie n ° 2: Créez vos propres attributs personnalisés

Optimizely vous offre plusieurs manières intéressantes et utiles de segmenter les résultats de vos tests. Par exemple, vous pouvez examiner si certains traitements fonctionnent mieux sur ordinateur de bureau que sur mobile, ou observer des différences entre les sources de trafic. Au fur et à mesure que votre programme d'expérimentation arrivera à maturité, vous souhaiterez rapidement de nouveaux segments - ceux-ci peuvent être spécifiques à votre cas d'utilisation, comme des segments pour les achats ponctuels par rapport aux abonnements, ou aussi généraux que « nouveaux visiteurs par rapport aux visiteurs connus » (qui, franchement, nous ne pouvons toujours pas comprendre pourquoi cela n'est pas fourni par défaut).

La bonne nouvelle est que via le champ Project Javascript d'Optimizely, les ingénieurs familiarisés avec Optimizely peuvent créer un certain nombre d'attributs personnalisés intéressants auxquels les visiteurs peuvent être attribués et segmentés. Chez Cro Metrics, nous avons construit un certain nombre de modules de stock (comme « nouveaux visiteurs par rapport aux visiteurs connus ») que nous installons pour tous nos clients via leur projet Javascript. Tirer parti de cette capacité est un différenciateur clé entre les équipes matures qui disposent des ressources techniques appropriées pour les aider à exécuter, et les équipes qui luttent pour réaliser le plein potentiel de l'expérimentation.

Stratégie n ° 3: Explorez l'accélérateur de statistiques d'Optimizely

Une fonctionnalité d'outil de test souvent surestimée est la possibilité d'utiliser des « bandits à plusieurs bras », un type d'algorithme d'apprentissage automatique qui modifie dynamiquement l'endroit où votre trafic est alloué au cours d'une expérience, pour envoyer autant de visiteurs vers le « gagnant » variantes possibles. Le problème avec les bandits à plusieurs bras est que leurs résultats ne sont pas des indicateurs fiables de performances à long terme, de sorte que le cas d'utilisation de ces types d'expériences est limité aux cas urgents comme les promotions des ventes.

Optimizely, cependant, dispose d'un autre type d'algorithme de bandit disponible pour les utilisateurs sur des plans supérieurs - Stats Accelerator (maintenant connu sous le nom d'option "Accélérer les apprentissages" dans Bandits). Dans cette configuration, au lieu d'essayer d'allouer dynamiquement le trafic à la variation la plus performante, Optimizely alloue dynamiquement le trafic aux variations les plus susceptibles d'atteindre la signification statistique le plus rapidement. De cette façon, vous pouvez apprendre plus rapidement et conserver la réplicabilité des résultats des tests A/B traditionnels.

Stratégie n°4 : ajoutez des émoticônes à vos noms de métriques

À première vue, cette idée semble probablement déplacée, voire insensée. Cependant, un aspect clé pour s'assurer que vous lisez les bons résultats d'expérience commence par s'assurer que votre public peut comprendre la question. 

Parfois, malgré tous nos efforts, les noms des métriques peuvent prêter à confusion (attendez, cette métrique se déclenche-t-elle lorsque la commande est acceptée ou lorsque l'utilisateur accède à la page de remerciement ?), ou un test comporte tellement de métriques que les résultats défilent de haut en bas page conduit à une surcharge cognitive totale.

L'ajout d'emojis aux noms de vos métriques (cibles, coches vertes, même le gros sac d'argent pourrait fonctionner) peut entraîner des pages beaucoup plus numérisables. 

Faites-nous confiance - la lecture des résultats sera beaucoup plus facile.

Stratégie n ° 5: Reconsidérez votre niveau de signification statistique

Les résultats sont jugés concluants dans le cadre d'un test Optimizely lorsqu'ils ont atteint signification statistique. La signification statistique est un terme mathématique difficile, mais il s'agit essentiellement de la probabilité que vos observations soient le résultat d'une réelle différence entre deux populations, et pas seulement du hasard. 

Les niveaux de signification statistique rapportés par Optimizely sont « toujours valides » grâce à un concept mathématique appelé test séquentiel – cela les rend en fait beaucoup plus fiables que ceux d'autres outils de test, qui sont sujets à toutes sortes de problèmes de « coup d'œil » si vous les lisez trop tôt.

Cela vaut la peine de considérer le niveau de signification statistique que vous jugez important pour votre programme de test. Alors que 95% est la convention dans la communauté scientifique, nous testons les modifications du site Web, pas les vaccins. Autre choix courant dans le monde expérimental : 90 %. Mais êtes-vous prêt à accepter un peu plus d'incertitude afin de mener des expériences plus rapidement et de tester plus d'idées ? Pourriez-vous utiliser une signification statistique de 85 % ou même de 80 % ? Être intentionnel au sujet de votre équilibre risque-rendement peut rapporter des dividendes exponentiels au fil du temps, alors réfléchissez bien à cela.

En savoir plus sur Optimizely Intelligence Cloud

Ces cinq principes et informations rapides seront extrêmement utiles à garder à l'esprit lors de l'utilisation d'Optimizely. Comme pour tout outil, il s'agit de s'assurer que vous avez une bonne compréhension de toutes les personnalisations en coulisses, afin que vous puissiez vous assurer que vous utilisez l'outil de manière efficace et efficiente. Avec ces connaissances, vous pouvez obtenir les résultats fiables que vous recherchez, quand vous en avez besoin. 

Que pensez-vous?

Ce site utilise Akismet pour réduire les spams. Découvrez comment sont traitées les données de vos commentaires..