Estadística desde cero

Hola! Este es el libro de estadística 🌸

Empieza con una reunión que he visto muchísimas veces: alguien proyecta "las ventas subieron 3% este mes" y se va una hora entera en explicar por qué. Nadie pregunta cuánto se mueven las ventas normalmente.

En el capítulo 1 lo medimos sobre ventas de verdad y sale 14,41%. O sea que ese 3% es de los meses más planos que existen, y la reunión entera sobraba.

Ese es el libro: ¿esto que estoy viendo es real, o es lo que varía normalmente? Todo lo demás son herramientas para contestarla.

Cómo está hecho

Todo el código de este libro se ejecuta. Cada bloque corre sobre el mismo archivo de ventas y su salida se compara con la publicada, en una prueba automática. Los números que vas a leer no son estimaciones: si el valor p es 0,0155 es porque salió 0,0155 🔍

Y eso trae una consecuencia bonita: hay hallazgos que contradicen lo que yo esperaba y se quedaron publicados, con la explicación al lado.

Qué vas a encontrar

• 📏 Que la media del monto es 803,76 soles y el 65,93% de las ventas está por debajo de ese "promedio".
• 🎭 Que los 32 atípicos que encuentra el método clásico son, los 32, clientes de un mismo segmento.
• 🚨 Que un detector con 99% de acierto sobre algo que pasa el 0,70% de las veces se equivoca el 59% de las veces que suena.
• 💥 Que copiando los mismos datos diez veces el valor p se derrumba de 0,0118 a 0,0000000000000016 y el tamaño del efecto no se mueve.
• 📉 Que vender más unidades no da más dinero: la correlación es 0,0178.

Los dieciséis capítulos

Los seis primeros describen lo que tienes. Del 7 al 13, la inferencia, que es afirmar cosas sobre lo que no mediste. El 14 son los errores que invalidan un análisis entero, y el 15 un proyecto de punta a punta.

Cada capítulo trae seis ejercicios resueltos y al menos un error de verdad, ejecutado, con su mensaje tal como sale en pantalla. Los errores que no dan error son los que hacen daño, y de esos hay varios 🕳️

Antes de empezar

Hace falta Python básico: leer un CSV, filtrar y agrupar. Si eso te suena lejos, el libro de Python va antes y usa este mismo archivo.

Y si lo que te falta es sacar los datos de una base antes de analizarlos, eso es SQL desde cero.

El mapa de los dieciséis capítulos

Cada capítulo enlaza al post que desarrolla su idea suelta, por si quieres la versión corta antes de meterte en el libro 🗺️

1. ¿Es real o es ruido? Para qué sirve todo esto: qué es la estadística.
2. Cada columna es de un tipo. Nominal, ordinal, discreta y continua, y qué se puede calcular con cada una.
3. Media, mediana y moda. Cuál reportar: media, mediana y moda.
4. La dispersión. Desviación, IQR y coeficiente de variación: estadística descriptiva.
5. La campana. Y cuándo no aplica: la distribución normal.
6. Los atípicos. Tres métodos que no se ponen de acuerdo.
7. Probabilidad. Condicional, independencia y Bayes: probabilidad y estadística.
8. Tres distribuciones. Binomial, Poisson y el teorema central del límite.
9. El margen de error. Intervalos de confianza y bootstrap: estadística inferencial.
10. La prueba de hipótesis. El valor p calculado a mano: prueba de hipótesis y valor p.
11. ¿Qué prueba uso? t, ji cuadrado, ANOVA y las no paramétricas.
12. Significativo no es importante. Tamaño del efecto y potencia.
13. Correlación. Pearson, Spearman y la frase en voz alta: correlación.
14. Los errores que invalidan un análisis. Simpson, regresión a la media y p-hacking.
15. Proyecto final. De la pregunta al informe.
16. Referencias. Qué leer después.

La trampa, antes de empezar

Esta sale entera en el capítulo 14, y quiero que la veas ahora para que la reconozcas cuando llegues 🪤

for variable in las_veinte_variables:
    p = prueba_de_hipotesis(variable, ventas)
    if p < 0.05:
        print('¡Encontramos algo!', variable)

Una pregunta para calentar

Qué medida usar, en una tabla

Preguntas frecuentes sobre estadística para datos

El cuaderno: ¿es real o es ruido?

Nueve bloques que responden la única pregunta que importa al mirar datos. Todo con el mismo archivo, así que los números que te salen son los que se comentan aquí.

Lo que vas a hacer:

1. Ver la media (S/812) contra la mediana (S/536) en una variable con cola larga.
2. Comparar la dispersión entre segmentos con el coeficiente de variación.
3. Comprobar la regla del 68 y el 95 sobre tus datos, y descubrir que no se cumple.
4. Contrastar dos canales de venta con una prueba t y leer el valor p correctamente.
5. Calcular el intervalo de confianza de la diferencia y ver que cruza el cero.
6. Correr veinte pruebas sobre datos sin ninguna relación y ver cuántas salen "significativas".

Para abrirlo: descarga el cuaderno, entra a Google Colab, elige Subir y arrástralo. El CSV lo lee solo desde internet, así que no hace falta descargarlo salvo que quieras mirarlo en Excel.

Qué sigue después de estadística

El paso natural es machine learning, que es estadística puesta a predecir. Todo lo de aquí reaparece allá: la dispersión se vuelve varianza del modelo, la inferencia se vuelve validación y la correlación se vuelve el riesgo de aprender una relación que no existe.

Y en una empresa, esto mismo aplicado a decidir con evidencia en vez de con la sensación del que habla más fuerte es consultoría de negocios con datos.