Lexicon Redes Neuronales

Sesgo y varianza

Definición breve

El sesgo y la varianza son dos conceptos fundamentales en aprendizaje automático que describen los errores de un modelo y su capacidad para generalizar a nuevos datos.

Explicación del concepto

En el aprendizaje automático, los errores de un modelo pueden analizarse en términos de sesgo y varianza.

  • El sesgo mide cuánto se alejan las predicciones del modelo de los valores reales debido a supuestos demasiado simples.
  • La varianza mide cuánto varían las predicciones del modelo cuando se entrena con diferentes conjuntos de datos.

Existe un equilibrio importante entre ambos conceptos conocido como el trade-off entre sesgo y varianza.

Un modelo con alto sesgo suele ser demasiado simple y no captura bien los patrones de los datos, mientras que un modelo con alta varianza tiende a ajustarse demasiado a los datos de entrenamiento.

Cómo funciona

El comportamiento de un modelo puede clasificarse de la siguiente manera:

  • Alto sesgo
    El modelo es demasiado simple → produce errores sistemáticos → subajuste
  • Alta varianza
    El modelo es demasiado complejo → se ajusta al ruido → sobreajuste

El objetivo es encontrar un equilibrio donde el modelo tenga suficiente complejidad para aprender patrones reales, pero no tanta como para memorizar los datos.

Por qué es importante

El equilibrio entre sesgo y varianza es clave para construir modelos que funcionen bien en situaciones reales.

Comprender este concepto permite:

  • diagnosticar problemas de subajuste y sobreajuste
  • seleccionar modelos adecuados
  • ajustar hiperparámetros
  • mejorar la generalización del modelo

Este análisis es fundamental en el diseño de sistemas de aprendizaje automático.

Ejemplo conceptual

Supongamos que se intenta ajustar una curva a un conjunto de datos.

  • Un modelo muy simple (línea recta) tendrá alto sesgo y no capturará bien la tendencia.
  • Un modelo muy complejo (curva muy irregular) tendrá alta varianza y se ajustará al ruido.

El mejor modelo será aquel que capture la tendencia general sin sobreajustarse.

Ejemplo en PyTorch

El sesgo y la varianza no se calculan directamente en PyTorch, pero pueden observarse comparando el rendimiento en entrenamiento y validación.

train_loss = 0.10
validation_loss = 0.45

Una gran diferencia entre ambas métricas puede indicar alta varianza (sobreajuste).

Conceptos relacionados

Resumen

El sesgo y la varianza son dos componentes clave del error en modelos de aprendizaje automático. El sesgo refleja la simplicidad del modelo, mientras que la varianza indica su sensibilidad a los datos. Encontrar un equilibrio entre ambos es esencial para construir modelos que generalicen correctamente y funcionen bien en datos nuevos.