Para la lista de variables, debe esperar que ninguna de ellas difiera de forma estadísticamente significativa al 5%. Interpretación de los resultados:

→ En el ejemplo anterior, puede ver en la sección de valores p que los grupos no difieren para wa_messages y email_messages, porque el valor p es superior a 0,05. Esto es lo que buscamos.

→ Sin embargo, para compras_28d, podemos ver que el valor p es inferior al 5%, lo que indica que difieren. En las dos primeras tablas puede verse que la media de compras en el grupo de control es de 3 y en el grupo de prueba es de 9, lo que es muy diferente.
→ En este caso, parece que los grupos no estaban muy bien aleatorizados, por lo que recomendamos volver a ejecutar la aleatorización y realizar la prueba de nuevo, hasta que todas las variables muestren valores p > 0,05.

Una vez que obtenga grupos equilibrados con valores p > 0,05 para todas las variables, puede avanzar con el paso de análisis de datos.

Análisis de datos

El análisis de los datos se realiza en función del tipo de diseño de investigación seleccionado. En resumen, cada tipo de análisis se centra en una métrica diferente se compara con los grupos de control (holdout) y de prueba:

1 Incrementalidad de los mensajes de marketing (Tipo A): en este tipo de análisis, lase centra en la comparación de los índices de conversión entre el grupo de retención y el grupo de prueba mediante una prueba de proporciones.prueba de proporciones. El resultado de este análisis son los intervalos de confianza de los índices de conversión (CVR) de cada grupo, así como un p-valor. de cada grupo, así como un valor p para la diferencia de proporciones. La prueba se ejecuta mediante una solución analítica y se presenta a continuación con un ejemplo.

2 Comparación de los mensajes de marketing con otros canales (Tipo B): en este tipo de análisis, la atención se centra en la comparación de los mensajes de marketing con otros canales tipo de análisis, el objetivo es comparar el coste por acción (CPA), donde la acción es el evento de conversión, entre canales. El resultado de este análisis son los intervalos de confianza CPA de cada grupo, así como un valor p para la diferencia de CPA.
La prueba se ejecuta mediante simulaciones a partir de los datos experimentales con los siguientes pasos:

a. Simular 10.000 conversiones para cada grupo de tratamiento utilizando una distribución binomial en la que los parámetros incluidos en la función de simulación son número de mensajes enviados y tasa de conversión (conversiones/mensajes enviados).
b. Calcular el coste por acción CPA (conversión) para cada simulación.
c. Tome los intervalos de confianza para los CPA utilizando los percentiles
2,5% y 97,5% en cada grupo de tratamiento.
d. Calcular el delta entre los CPA de cada grupo para cada simulación.
e. Calcule el valor p utilizando la proporción de casos en los que delta > 0.

Las secciones siguientes proporcionan ejemplos sobre cómo realizar el análisis de datos en R.

Análisis de datos para la incrementalidad de los mensajes de marketing (Tipo A)

Para este ejemplo, supongamos que utilizamos el ejemplo de cálculo de potencia anterior y que un experimento con 32.000 clientes en los dos grupos de retención/prueba. El grupo de retención, en el que no se envió el mensaje, tuvo 1.430 conversiones, y el grupo de prueba, en el que sí se envió el mensaje, obtuvo 1.705 conversiones. Suponiendo un coste de 0,05 USD por mensaje enviado, tenemos el siguiente código: