Lexicon Redes Neuronales

Cuando las probabilidades del modelo reflejan la realidad

La calibración de probabilidades mide qué tan bien las probabilidades predichas por un modelo coinciden con las probabilidades reales observadas.

👉 Un modelo bien calibrado no solo acierta, sino que sabe cuándo tiene razón.

Definición corta

La calibración evalúa si una probabilidad predicha corresponde a la frecuencia real de ocurrencia.

🧠 Intuición

Un modelo está bien calibrado si:

👉 “Cuando predice 70%, acierta aproximadamente el 70% de las veces”

Predicción: 0.7  ↓  Realidad: ~70% ocurre  ↓  Modelo calibrado

📊 Ejemplo simple

100 predicciones con probabilidad 0.8  ↓  ≈80 correctas → bien calibrado  ≈60 correctas → mal calibrado

🔄 Diferencia con precisión

👉 un modelo puede ser preciso pero mal calibrado.

📊 Ejemplo conceptual

Alta precisión  ↓  Mala calibración  ↓  Confianza incorrecta

🧠 Curva de calibración (reliability curve)

• eje X → probabilidad predicha
• eje Y → frecuencia real

👉 ideal: línea diagonal.

📊 Interpretación

Línea diagonal → perfecto  Debajo → sobreconfianza  Encima → subconfianza

🧠 Tipos de errores

🔹 Sobreconfianza

• predicciones muy seguras pero incorrectas

🔹 Subconfianza

• predicciones poco seguras aunque correctas

📊 Ejemplo conceptual

Modelo dice 0.9  ↓  Solo acierta 0.6  ↓  Sobreconfianza

🧠 Métricas de calibración

🔹 Error de calibración esperado (ECE)

$ECE=\sum_{m} \frac{|B_m|}{n} |acc(B_m)-conf(B_m)|$

👉 mide la diferencia entre confianza y precisión.

🧠 Uso en machine learning

La calibración es crítica en:

• sistemas médicos
• vehículos autónomos
• detección de fraude
• modelos de riesgo

📊 Ejemplo conceptual

Predicción  ↓  Confianza  ↓  Decisión crítica

🧠 Métodos de calibración

• Platt scaling
• Isotonic regression
• Temperature scaling

📊 Ejemplo conceptual

Modelo sin calibrar  ↓  Ajuste  ↓  Probabilidades fiables

🧠 Relación con Softmax

• Softmax puede producir probabilidades mal calibradas
• especialmente en redes profundas

📊 Ejemplo conceptual

Softmax  ↓  Probabilidades  ↓  Necesitan calibración

📊 Ejemplo en Python (conceptual)

from sklearn.calibration import calibration_curve
# y_true y y_prob deben estar definidos
prob_true, prob_pred = calibration_curve(y_true, y_prob, n_bins=5)
print(prob_true, prob_pred)

🧠 Qué muestra este ejemplo

• comparación entre predicción y realidad
• evaluación de calibración
• ajuste del modelo

⚠️ Errores comunes

Pensar que alta precisión implica buena calibración

No necesariamente.

Ignorar calibración en sistemas críticos

Puede ser peligroso.

No evaluar probabilidades

Clave en modelos probabilísticos.

📊 Ejemplo conceptual en ML

Modelo  ↓  Probabilidades  ↓  Calibración  ↓  Decisión fiable

🧠 Interpretación profunda

La calibración refleja un principio clave:

👉 No basta con predecir, hay que saber cuán seguro estás

Permite:

• tomar mejores decisiones
• evaluar riesgo
• construir sistemas confiables

Conclusión

La calibración de probabilidades asegura que las probabilidades predichas reflejen la realidad, siendo esencial para sistemas confiables.

👉 Es clave cuando la confianza del modelo importa tanto como la predicción.

Related Concepts

• Softmax
• Cross-entropy
• Redes neuronales probabilísticas
• Inferencia
• Evaluación de modelos