Frase que se oye en todas las empresas: "nuestro ticket promedio es de 803 soles".
Vamos a ver si es verdad, y sobre todo si sirve para algo 🧐
import pandas as pd
import numpy as np
URL = 'https://missyera.com/static/datasets/ventas-miss-yera.csv'
def carga_limpia(url):
"""La misma del capítulo 2."""
v = pd.read_csv(url).drop_duplicates()
v['ciudad'] = (v['ciudad'].str.strip().str.lower()
.str.normalize('NFKD')
.str.encode('ascii', 'ignore').str.decode('utf-8'))
v['monto'] = pd.to_numeric(v['monto'].str.replace(',', '.'))
for col in ['fecha', 'fecha_ultima_compra']:
f = pd.to_datetime(v[col], format='%Y-%m-%d', errors='coerce')
falta = f.isna() & v[col].notna()
f[falta] = pd.to_datetime(v.loc[falta, col], format='%d/%m/%Y',
errors='coerce')
v[col] = f
return v
v = carga_limpia(URL)
print('media %.2f' % v['monto'].mean())
print('mediana %.2f' % v['monto'].median())
print('moda %.2f' % v['monto'].mode()[0])
media 803.76 mediana 533.63 moda 204.47
Tres medidas del mismo centro y tres respuestas distintas: 803, 533 y 204. Y cada una tiene su significado 👇
- ➕ La media es lo que sale de sumar todo y repartirlo en partes iguales. Contesta "si todas las ventas hubieran sido iguales, ¿de cuánto serían?".
- 🎯 La mediana es el valor de en medio cuando las ordenas. La mitad de las ventas está por debajo y la mitad por encima.
- 🔁 La moda es el valor que más se repite.
Y ahora la pregunta del millón: ¿cuál llevo a la reunión?
sumas todos los datos y los repartes en partes iguales entre cuántos hay
El dato que decide
debajo = (v['monto'] < v['monto'].mean()).mean()
print('ventas por debajo de la media: %.2f%%' % (100 * debajo))
print('asimetria: %.4f' % v['monto'].skew())
ventas por debajo de la media: 65.93% asimetria: 1.3405
Ahí está 💥
El 65,93% de las ventas está por debajo del "promedio".
O sea que si sales de la reunión pensando "una venta típica es de 803 soles", sales pensando algo que le pasa a una minoría. Dos de cada tres ventas son más chicas que eso.
Esa asimetría de 1,3405 es el número que lo explica. Cuando es positiva quiere decir que hay cola por la derecha: muchas ventas chicas y unas pocas enormes que empujan la media hacia arriba. La mediana ni se entera, porque a ella solo le importa quién está en el medio de la fila, no cuánto pesa el último 🧘
Un solo dato, y mira lo que pasa
Esto es lo que más me gusta enseñar de este capítulo, porque se ve en dos segundos. Voy a añadir una sola venta de medio millón:
con_una_mas = pd.concat([v['monto'], pd.Series([500000.0])])
print('media antes %.2f -> despues %.2f' % (v['monto'].mean(), con_una_mas.mean()))
print('mediana antes %.2f -> despues %.2f' % (v['monto'].median(), con_una_mas.median()))
media antes 803.76 -> despues 970.10 mediana antes 533.63 -> despues 534.02
Una fila entre tres mil, y la media sube 166 soles. La mediana se mueve 39 céntimos.
Eso es lo que quiere decir que la mediana sea robusta: para moverla hay que mover a la gente de en medio, y un dato extremo no lo consigue por muy extremo que sea 💪
La media recortada, que es el término medio
Hay una opción intermedia que se usa poco y está muy bien: quitar un porcentaje de cada punta y promediar el resto.
from scipy import stats
for recorte in [0, 0.05, 0.10, 0.25]:
print('recortando %2.0f%% de cada lado: %.2f'
% (100 * recorte, stats.trim_mean(v['monto'], recorte)))
recortando 0% de cada lado: 803.76 recortando 5% de cada lado: 735.70 recortando 10% de cada lado: 679.65 recortando 25% de cada lado: 570.44
Mira la escalera: cuanto más recortas, más se acerca a la mediana. Con el 25% de cada lado sale 570,44, ya casi la mediana de 533,63.
Y tiene sentido: si recortaras el 50% de cada lado no quedaría nadie salvo el de en medio, o sea la mediana. De hecho probemos a pasarnos:
stats.trim_mean(v['monto'], 0.6)
ValueError: Proportion too big.
Ese error es correcto y hasta bonito 😄 No puedes recortar el 60% de cada lado porque no queda nada que promediar.
La media recortada es la que usan las competiciones deportivas cuando quitan la nota más alta y la más baja de los jueces. Sirve cuando sospechas de errores de captura en los extremos, pero quieres seguir usando toda la información del medio.
Y ahora el hallazgo que no me esperaba
Hasta aquí todo iba según el manual:
- Media 803
- Mediana 533
- Cola larga
- Usa la mediana
Pero se me ocurrió mirar lo mismo dentro de cada segmento y me llevé una sorpresa 👀
print(v.groupby('segmento')['monto'].agg(['mean', 'median', 'count']).round(2))
mean median count segmento Bodega 178.70 183.26 707 Horeca 755.18 743.00 742 Mayorista 1856.34 1869.26 750 Minimarket 414.92 413.74 801
Léelo despacio porque es importante: dentro de cada segmento, la media y la mediana son casi iguales.
Bodega: 178,70 y 183,26. Minimarket: 414,92 y 413,74. Mayorista: 1.856,34 y 1.869,26. En ninguno hay cola larga.
Y sin embargo en el total se separan 270 soles 🤯
Entonces, ¿de dónde salía la asimetría? No de las ventas: de la mezcla. Hay cuatro poblaciones muy distintas metidas en el mismo archivo, una que vende a 178 soles y otra que vende a 1.856. Al juntarlas, el montón se ve deforme aunque cada trozo sea simétrico.
print(v.groupby('segmento')['monto']
.apply(lambda s: (s < s.mean()).mean()).round(4))
segmento Bodega 0.4611 Horeca 0.5189 Mayorista 0.4853 Minimarket 0.5031 Name: monto, dtype: float64
Confirmado: dentro de cada segmento, alrededor del 50% de las ventas está por debajo de su media, que es lo que pasa cuando no hay cola. El 65,93% del total era un espejismo de la mezcla.
Esto cambia la recomendación práctica y me parece lo más útil del capítulo: antes de discutir si media o mediana, pregúntate si estás promediando cosas que no se parecen. Aquí el "ticket promedio de la empresa" no existe: existen cuatro tickets promedio y son cuatro negocios distintos 🏪
Esta idea, la de que un número global puede contar una historia que ningún grupo confirma, tiene nombre propio y su versión más salvaje sale en el capítulo 14: la paradoja de Simpson.
La media de las medias
Otra trampa clásica, y esta la he visto en informes que iban a directorio. Cuando ya tienes una media por grupo, es tentador promediar esas medias:
por_segmento = v.groupby('segmento')['monto'].agg(['mean', 'count'])
print('media de las medias: %.2f' % por_segmento['mean'].mean())
print('media de verdad: %.2f' % v['monto'].mean())
media de las medias: 801.28 media de verdad: 803.76
Aquí la diferencia es chica, 2,48 soles, y te voy a decir exactamente por qué: porque los cuatro segmentos tienen casi el mismo número de filas (707, 742, 750, 801).
La media de las medias trata a los cuatro grupos como si pesaran lo mismo. Si Bodega tuviera 50 ventas y Mayorista 2.500, ese cálculo le daría a las 50 el mismo peso que a las 2.500 y el resultado sería un disparate.
Lo correcto cuando los grupos son de tamaños distintos es la media ponderada, que le da a cada grupo el peso que le toca:
cada grupo aporta a la media según cuántas filas tiene, y no uno por grupo
ponderada = np.average(por_segmento['mean'], weights=por_segmento['count'])
print('media ponderada: %.4f' % ponderada)
print('media de verdad: %.4f' % v['monto'].mean())
media ponderada: 803.7613 media de verdad: 803.7613
Idénticas hasta el último decimal, como tenía que ser ✅
El error más caro del capítulo
Y llegamos al que de verdad hace daño, porque este sí cambia decisiones de plata 💸
En el capítulo 1 calculamos cuánto cambia la venta mensual, y salió que la media de los cambios era +0,31%. Suena a que el negocio crece despacito. Vamos a comprobarlo:
mes = v.groupby(v['fecha'].dt.to_period('M'))['monto'].sum()
r = mes.pct_change().dropna()
print('media de los cambios mensuales: %+.4f%%' % (100 * r.mean()))
print('cambio real del primer al ultimo mes: %+.4f%%'
% (100 * (mes.iloc[-1] / mes.iloc[0] - 1)))
media de los cambios mensuales: +0.3079% cambio real del primer al ultimo mes: -19.6635%
La media dice +0,31% al mes. La realidad es que el negocio cayó 19,66% 😱
Y no hay ningún error de cálculo. La media aritmética de los porcentajes está bien calculada. Lo que pasa es que los porcentajes no se promedian sumando.
Piénsalo con un ejemplo de cabeza: si algo sube 50% y luego baja 50%, la media aritmética dice 0%. Pero 100 sube a 150 y luego baja a 75. Perdiste el 25%. Las subidas y las bajadas no son simétricas porque se aplican sobre bases distintas.
Lo que hay que usar es la media geométrica: multiplicar en vez de sumar, y sacar la raíz.
multiplicas todos los factores de crecimiento y sacas la raíz enésima, en vez de sumarlos y dividir
geometrica = np.prod(1 + r) ** (1 / len(r)) - 1
print('media geometrica: %+.4f%%' % (100 * geometrica))
print()
print('primer mes: %.2f' % mes.iloc[0])
print('proyectando con la aritmetica: %.2f' % (mes.iloc[0] * (1 + r.mean()) ** len(r)))
print('proyectando con la geometrica: %.2f' % (mes.iloc[0] * (1 + geometrica) ** len(r)))
print('lo que pasó de verdad: %.2f' % mes.iloc[-1])
media geometrica: -1.2797% primer mes: 128800.46 proyectando con la aritmetica: 135711.18 proyectando con la geometrica: 103473.73 lo que pasó de verdad: 103473.73
La media geométrica reproduce el resultado real al céntimo. La aritmética se equivoca en 32.237 soles 📉
La regla, corta y para toda la vida: si lo que promedias son tasas, porcentajes o factores de crecimiento, la media es geométrica. Si son cantidades sueltas (soles, unidades, minutos), es aritmética.
Cuál reportar, en una tabla
| Situación | Qué usar | Por qué |
|---|---|---|
| Datos simétricos, sin extremos | Media | Usa toda la información |
| Cola larga o valores extremos | Mediana | No se mueve con un dato raro |
| Sospecha de errores en las puntas | Media recortada | Tira las puntas y conserva el medio |
| Grupos de tamaños distintos | Media ponderada | Cada grupo pesa lo que le toca |
| Tasas y crecimientos | Media geométrica | Los porcentajes se multiplican |
| Categorías | Moda | Es la única que existe |
Y una recomendación que vale más que la tabla: reporta las dos, media y mediana, siempre. Cuando se parecen, no pasa nada y quedas bien. Cuando se separan, esa separación es en sí misma el hallazgo 🌟
Practica 💪
1. El ticket promedio de verdad
Calcula el ticket promedio como lo querría oír el negocio: solo sobre las ventas que se cerraron. Da media y mediana.
cerradas = v.loc[v['compro'] == 1, 'monto_final_facturado']
print('ventas cerradas: %d' % len(cerradas))
print('media %.2f' % cerradas.mean())
print('mediana %.2f' % cerradas.median())
ventas cerradas: 1733 media 833.10 mediana 570.61
833,10 de media y 570,61 de mediana, sobre 1.733 ventas cerradas.
Y la separación entre las dos sigue ahí, que ya sabemos por qué: la mezcla de segmentos. Si tuvieras que poner un solo número en un informe, yo pondría la mediana con la media al lado: "la venta típica cerrada es de 571 soles; el promedio es 833 porque unos pocos mayoristas compran mucho".
Esa frase de una línea es exactamente lo que hace que alguien te crea 🙌
2. La moda sobre una variable continua
Sacamos la moda de monto al principio y salió
204,47. ¿Cuántas veces aparece ese valor? ¿Sirve de algo?
moda = v['monto'].mode()[0]
print('la moda es %.2f y aparece %d veces de %d'
% (moda, (v['monto'] == moda).sum(), len(v)))
la moda es 204.47 y aparece 3 veces de 3000
Tres veces. De tres mil 😅
La moda de una variable continua no significa nada. Con decimales, casi ningún valor se repite, así que gana el que por casualidad salió tres veces en vez de dos.
La moda sirve para categorías, donde sí hay repetición de verdad:
print('segmento mas frecuente:', v['segmento'].mode()[0],
'con', (v['segmento'] == v['segmento'].mode()[0]).sum(), 'ventas')
segmento mas frecuente: Minimarket con 801 ventas
Eso sí es información. Y fíjate que aquí la moda es la única de las tres medidas que existe: no hay media ni mediana de "Minimarket".
Si de verdad quieres una moda de algo continuo, primero lo agrupas en tramos. Eso es un histograma y es todo el capítulo 5 📊
3. La media ponderada que devuelve nada
Calcula el descuento medio ponderado por unidades, o sea dándole más peso a las ventas grandes. Mira bien el resultado.
print(np.average(v['descuento'], weights=v['unidades']))
nan
nan. Sin error, sin aviso, sin nada 🫥
Y esto es un cambio de comportamiento que hay que tener grabado:
mean() de pandas ignora los nulos, pero
np.average de numpy los propaga. Un solo nulo entre
tres mil, y todo el resultado es nulo.
Sinceramente prefiero el de numpy. Que te devuelva nan es feo
pero es honesto: te obliga a decidir qué haces con los huecos. El de pandas
decide por ti y no te lo cuenta.
Se arregla quitando las filas sin descuento, que es asumir que el vacío es "no sé" y no "cero":
con_dato = v.dropna(subset=['descuento'])
print('ponderada por unidades: %.6f'
% np.average(con_dato['descuento'], weights=con_dato['unidades']))
print('simple: %.6f' % con_dato['descuento'].mean())
ponderada por unidades: 0.124926 simple: 0.125202
12,49% contra 12,52%. Prácticamente igual, y eso también es un resultado: las ventas grandes no reciben más descuento que las chicas.
Si el descuento fuera por volumen, la ponderada saldría claramente más alta. No sale. O sea que aquí los descuentos se dan por otra cosa 🤔
4. ¿Y si los grupos fueran desiguales?
Vimos que la media de las medias fallaba por poco porque los segmentos son parecidos de tamaño. Fabrica el caso desigual: quédate con todas las ventas de Bodega y solo 50 de Mayorista, y compara otra vez.
truncado = pd.concat([
v[v['segmento'] == 'Bodega'],
v[v['segmento'] == 'Mayorista'].head(50),
])
medias = truncado.groupby('segmento')['monto'].agg(['mean', 'count'])
print(medias.round(2))
print()
print('media de las medias: %.2f' % medias['mean'].mean())
print('media de verdad: %.2f' % truncado['monto'].mean())
mean count segmento Bodega 178.70 707 Mayorista 1988.51 50 media de las medias: 1083.61 media de verdad: 298.24
1.083,61 contra 298,24. Se equivoca en más del triple 😵
Y se ve por qué de un vistazo: la media de las medias le da a los 50 mayoristas el mismo peso que a las 707 bodegas. Cada mayorista pesa catorce veces más que una bodega.
Esto no es un caso de laboratorio, pasa todo el tiempo: promedias la satisfacción de tus cinco sucursales y una atiende a diez clientes y otra a mil. Si alguien te pasa medias ya calculadas, la primera pregunta es "¿sobre cuántos casos?". Sin el tamaño, una media no se puede combinar con otra 🚫
5. Media geométrica en algo que sí crece
El negocio del archivo cae. Fabrica una serie que crezca de verdad (100 que sube 20%, luego 30% y luego baja 40%) y comprueba con las dos medias cuál reconstruye el final.
tasas = np.array([0.20, 0.30, -0.40])
inicio = 100.0
final_real = inicio * np.prod(1 + tasas)
aritmetica = tasas.mean()
geometrica = np.prod(1 + tasas) ** (1 / len(tasas)) - 1
print('final real: %.2f' % final_real)
print('con la aritmetica (%+.2f%%): %.2f'
% (100 * aritmetica, inicio * (1 + aritmetica) ** len(tasas)))
print('con la geometrica (%+.2f%%): %.2f'
% (100 * geometrica, inicio * (1 + geometrica) ** len(tasas)))
final real: 93.60 con la aritmetica (+3.33%): 110.34 con la geometrica (-2.18%): 93.60
La aritmética dice que creciste 3,33% al mes y que acabaste en 110. La realidad es que acabaste en 93,60, o sea perdiendo 🙃
Dos subidas fuertes y una bajada, y la media aritmética se queda con la sensación de las subidas. La geométrica clava el resultado, otra vez.
Fíjate en el detalle: los signos ni siquiera coinciden. Una dice +3,33% y la otra -2,18%. No es que una sea más precisa: es que la aritmética responde a otra pregunta, la de "cuánto sube en promedio cada mes por separado", que no es la que nadie quiere saber.
6. La mediana también se puede romper
Llevamos medio capítulo diciendo que la mediana es
robusta. Encuentra el caso en que no sirve: calcula media y mediana de
compro y de satisfaccion.
print('compro -> media %.4f | mediana %.1f'
% (v['compro'].mean(), v['compro'].median()))
print('satisfaccion -> media %.4f | mediana %.1f'
% (v['satisfaccion'].mean(), v['satisfaccion'].median()))
compro -> media 0.5777 | mediana 1.0 satisfaccion -> media 3.0098 | mediana 3.0
La mediana de compro es 1,0. O sea: "la venta
típica compró" 🤨
Es verdad y es inútil. Ordena las 3.000 filas: primero los 1.267 ceros y luego los 1.733 unos. La de en medio, la 1.500, cae dentro del bloque de unos, y la mediana devuelve 1. Habría devuelto 1 igual si el reparto fuera 49% contra 51%, y también con 1% contra 99%.
La mediana de una variable binaria solo tiene dos respuestas posibles, así que no puede decirte cuánto. La buena aquí es la media, 0,5777, porque en una columna 0/1 la media es la proporción, como vimos en el capítulo 2.
Moraleja: no hay una medida que gane siempre. Robusta no quiere decir correcta, quiere decir que no se mueve con los extremos. Para elegir bien hay que saber qué representa la columna, que es justo lo del capítulo 2 😌
7. Tu resumen de dos líneas
Escribe una función que reciba una columna y devuelva la frase que pondrías en un informe.
def resume(serie, nombre):
media, mediana = serie.mean(), serie.median()
brecha = 100 * (media - mediana) / mediana
if abs(brecha) < 10:
return ('%s: %.2f de promedio, y la mediana casi igual (%.2f). '
'Reporta la media.' % (nombre, media, mediana))
return ('%s: la típica es %.2f, pero el promedio sube a %.2f (%+.0f%%) '
'por la cola de arriba. Reporta la mediana.'
% (nombre, mediana, media, brecha))
print(resume(v['monto'], 'monto'))
print()
print(resume(v.loc[v['segmento'] == 'Bodega', 'monto'], 'monto en Bodega'))
monto: la típica es 533.63, pero el promedio sube a 803.76 (+51%) por la cola de arriba. Reporta la mediana. monto en Bodega: 178.70 de promedio, y la mediana casi igual (183.26). Reporta la media.
La misma columna, dos veredictos distintos, y los dos correctos 🎯
Ese 10% del umbral es mío y lo puedes mover. Lo importante no es el número sino que la decisión esté escrita en algún sitio y no dependa de cómo te levantaste ese día.
Comprueba que lo tienes
Dentro de cada segmento la media y la mediana coinciden, y en el total se separan 270 soles. ¿Qué está pasando?
- Estamos promediando cuatro negocios que venden a niveles distintos
- Hay ventas atípicas que estiran la media del total
- La mediana del total está mal calculada
- Falta limpiar los datos
Lo que te llevas
- 📊 Media 803,76, mediana 533,63, y el 65,93% de las ventas por debajo del "promedio". Ese porcentaje es el que hay que mirar para saber si la media engaña.
- 🪨 Una sola venta de medio millón mueve la media 166 soles y la mediana 39 céntimos. Eso es ser robusta.
- 🧩 Dentro de cada segmento la media y la mediana coinciden. La asimetría del total no venía de las ventas, venía de mezclar cuatro negocios distintos.
- ⚖️ La media de las medias solo funciona si los grupos son del mismo tamaño. Con 707 bodegas y 50 mayoristas se equivocó en más del triple.
- 📉 Para tasas y crecimientos, media geométrica. La aritmética proyectaba +0,31% mensual en un negocio que cayó 19,66%.
- 🕳️
np.averagedevuelvenansi hay un solo nulo.mean()de pandas los ignora sin decírtelo. - ✌️ Reporta siempre las dos. Si se parecen, bien; si se separan, esa separación es el hallazgo.
Qué viene ahora
El centro es media historia. En el capítulo 4 vamos a la otra mitad: cuánto se separan los datos de ese centro. Y ahí sale por qué dos negocios con el mismo promedio pueden ser completamente distintos 📏