Lexicon Redes Neuronales

Entropía

Midiendo la incertidumbre de una distribución

La entropía es una medida que cuantifica la incertidumbre o desorden en una distribución de probabilidad.

👉 Es un concepto central en teoría de la información y machine learning.

Definición corta

La entropía mide cuán impredecible es una variable aleatoria.

Definición matemática

H(X)=−∑xP(x)log⁡P(x)H(X) = -\sum_x P(x) \log P(x)

👉 donde P(x)P(x)P(x) es la probabilidad de cada evento.

🧠 Intuición

La entropía responde:

👉 “¿Qué tan difícil es predecir el resultado?”

Alta incertidumbre → alta entropía  Baja incertidumbre → baja entropía

📊 Ejemplo simple

🔹 Caso determinista

P = [1, 0, 0]  Entropía = 0

🔹 Caso uniforme

P = [0.33, 0.33, 0.33]  Entropía = máxima

📊 Interpretación

  • entropía baja → sistema predecible
  • entropía alta → sistema incierto

🧠 Propiedades clave

  • siempre ≥ 0
  • máxima en distribución uniforme
  • mínima cuando un evento es seguro

📊 Ejemplo conceptual

Eventos equiprobables  ↓  Máxima incertidumbre  ↓  Alta entropía

🧠 Interpretación en términos de información

−log⁡P(x)-\log P(x)

👉 mide la “sorpresa” de un evento.

📊 Ejemplo conceptual

Evento raro  ↓  Alta sorpresa  ↓  Mayor contribución a entropía

🧠 Uso en machine learning

La entropía se utiliza en:

  • funciones de pérdida
  • árboles de decisión
  • selección de características
  • modelos probabilísticos

📊 Ejemplo conceptual

Datos  ↓  Entropía  ↓  Medir incertidumbre  ↓  Optimizar modelo

🧠 Entropía en árboles de decisión

  • mide pureza de nodos
  • menor entropía → mejor separación

📊 Ejemplo conceptual

Nodo mezclado → alta entropía  Nodo puro → baja entropía

🧠 Relación con entropía cruzada

  • entropía → incertidumbre real
  • entropía cruzada → error del modelo

🧠 Relación con divergencia KL

  • mide diferencia entre distribuciones

📊 Ejemplo conceptual

Entropía → incertidumbre  KL → diferencia  Cross-entropy → combinación

📊 Ejemplo en Python

import numpy as np
p = np.array([0.5, 0.5])
entropy = -np.sum(p * np.log(p))
print(entropy)

🧠 Qué muestra este ejemplo

  • cálculo directo
  • incertidumbre
  • distribución

⚠️ Errores comunes

Pensar que entropía = desorden físico

Aquí es información.

Confundir con error

Mide incertidumbre, no fallo.

Ignorar distribución

Es clave.

📊 Ejemplo conceptual en ML

Distribución  ↓  Entropía  ↓  Incertidumbre  ↓  Decisión

🧠 Interpretación profunda

La entropía refleja un principio fundamental:

👉 Cuanto más impredecible es un sistema, más información contiene

Permite:

  • medir incertidumbre
  • comparar distribuciones
  • optimizar modelos

Conclusión

La entropía mide la incertidumbre de una distribución y es uno de los conceptos más fundamentales en teoría de la información y machine learning.

👉 Es la base para entender modelos probabilísticos y funciones de pérdida.

Related Concepts