Si correlación no implica causalidad y si todos tenemos opiniones y ninguna tiene por qué ser mejor que las demás, ¿cómo podemos aprender de forma fiable sobre nuestro mercado y no naufragar en el intento? Mediante experimentos controlados aleatorizados, conocidos como A/B tests en nuestro mundillo.

Y precisamente, para poder hablar de este tema desde múltiples puntos de vista a su alrededor en este episodio hemos contado con los siguiente contertulios:

• Mario Alberich, Senior Data Analyst en letgo, la persona adecuada para planificar tu próximo A/B test con garantías.

• Luca Cerone, científico de datos en letgo, siempre llega al fondo de todos los asuntos, siempre tiene una pregunta que te dejará pensando y es la persona que matiene una página en la wiki de tu empresa con todos los gotchas de la plataforma de A/B testing.

• Pierre Malafosse, ingeniero de datos en letgo y curtido en mil batallas con los datos, que no siempre se dejan explotar sin ofrecer resistencia.

• Sebastián Ortega, el pesado de siempre que resulta que también es ingeniero de datos en letgo y además ha trabajado en servidios de backend altamente A/B testeados.

Casualmente todos somos empleados de letgo pero en este episodio no hablamos en calidad de empleados sino que manifestamos nuestras opiniones particulares. En todo caso agradecemos a letgo que nos cediese una sala para la grabación.

La dedicatoria de este capítulo es para Muriel Bristol, una psicóloga que rechazó una taza de té ofrecido por Ronald Fisher por haber añadido la leche al té en lugar de hacer lo contrario. El común de los mortales lo habrían dejado aquí como una anécdota graciosa pero ellos decidieron ponerlo a prueba mediante un test aleatorizado. Muriel fue capaz de determinar correctamente cómo se habían preparado suficientes tazas de té como para rechazar acertase al azar y como resultado se comenzó a abrir paso a la teoría estadística para analizar experimentos.

Enlaces/referencias:

• Metodología:
  • Statistical Inference (libro)
  • Terminología de diseño de experimentos
  • A/B testing at scale workshop (Kohavi)
  • Antiguo sitio de la Plataforma de Experimentación de Microsoft
• Videos:
  • Analytics and experimentation tech talk: AirBnB
  • A/B Testing at Pinterest
  • Netflix experimentation platform
  • Presentación bastante rompedora con el tono habitual: Experiments: The good the bad and the ugly
• Software:
  • Facebook PlanOut
  • Wasabi
  • Optimizely en Github
  • SDK de Javascript como ejemplo