Lexicon Redes Neuronales

Modelos que aprenden con incertidumbre explícita

Las redes neuronales bayesianas son redes neuronales que tratan sus pesos como variables aleatorias, en lugar de valores fijos, permitiendo modelar la incertidumbre en las predicciones.

👉 Representan una combinación poderosa entre deep learning e inferencia bayesiana.

Definición corta

Las redes neuronales bayesianas estiman una distribución sobre los pesos en lugar de un único valor.

📐 Fundamento matemático

$P(w \mid D)=\frac{P(D \mid w)P(w)}{P(D)}$

👉 donde:

• $w$: pesos de la red
• $D$: datos
• $P(w)$: distribución previa
• $P(w|D)$: distribución posterior

🧠 Intuición

Una red neuronal bayesiana responde:

👉 “No sé exactamente cuáles son los pesos, pero sé cómo se distribuyen”

Pesos  ↓  Distribución  ↓  Múltiples modelos posibles

🔄 Diferencia con redes neuronales clásicas

📊 Ejemplo conceptual

Red clásica → una predicción  Red bayesiana → rango de predicciones

🧠 Predicción bayesiana

$P(y \mid x)=\int P(y \mid x,w)P(w \mid D)\,dw$

👉 promedio sobre todos los posibles modelos.

📊 Interpretación

Muchos modelos  ↓  Promedio  ↓  Predicción final

🧠 Propiedad clave: incertidumbre

Tipos de incertidumbre:

🔹 Epistémica (modelo)

• falta de conocimiento
• reducible con más datos

🔹 Aleatoria (datos)

• ruido inherente
• no reducible

📊 Ejemplo conceptual

Pocos datos → alta incertidumbre  Muchos datos → menor incertidumbre

🧠 Uso en machine learning

Las redes neuronales bayesianas se usan en:

• sistemas críticos (medicina, conducción autónoma)
• detección de anomalías
• modelos con pocos datos
• aprendizaje robusto

📊 Ejemplo conceptual

Entrada  ↓  Modelo probabilístico  ↓  Predicción + incertidumbre

🧠 Ventajas

• cuantifican incertidumbre
• más robustas
• mejor generalización en algunos casos

🧠 Desventajas

• computacionalmente costosas
• difíciles de entrenar
• requieren aproximaciones

🧠 Métodos de aproximación

• Inferencia variacional
• Monte Carlo
• Dropout como aproximación bayesiana

📊 Ejemplo conceptual

Posterior compleja  ↓  Aproximación  ↓  Entrenamiento práctico

📊 Ejemplo en Python (conceptual)

# ejemplo conceptual con muestreo de pesos
import numpy as np
def predict(x):
    weights = np.random.normal(0, 1, size=5)
    return np.dot(x, weights)
x = np.ones(5)
predictions = [predict(x) for _ in range(100)]
print(np.mean(predictions), np.std(predictions))

🧠 Qué muestra este ejemplo

• múltiples modelos
• variabilidad en predicción
• incertidumbre

⚠️ Errores comunes

Pensar que reemplazan todas las redes

No siempre es necesario.

Ignorar el costo computacional

Puede ser alto.

Confundir incertidumbre con error

Son conceptos distintos.

📊 Ejemplo conceptual en ML

Datos  ↓  Red bayesiana  ↓  Distribución de salida  ↓  Decisión informada

🧠 Interpretación profunda

Las redes neuronales bayesianas reflejan un principio clave:

👉 Un modelo no debería solo predecir, sino también saber qué tan seguro está

Permiten:

• decisiones más informadas
• sistemas más seguros
• aprendizaje con incertidumbre

Conclusión

Las redes neuronales bayesianas incorporan incertidumbre en el aprendizaje, proporcionando predicciones probabilísticas más robustas.

👉 Son una extensión avanzada del deep learning hacia modelos más fiables.

Related Concepts

• Inferencia bayesiana
• Regla de Bayes
• Probabilidad condicional
• Modelos probabilísticos
• Dropout