Regularización L2

Definición breve

La regularización L2 es una técnica de aprendizaje automático que reduce el sobreajuste penalizando la suma de los cuadrados de los pesos del modelo durante el entrenamiento.

Explicación del concepto

Durante el entrenamiento de un modelo, los pesos pueden crecer demasiado, lo que hace que el modelo se ajuste en exceso a los datos de entrenamiento. Esto reduce su capacidad para generalizar a nuevos datos.

La regularización L2 añade un término de penalización a la función de pérdida basado en el cuadrado de los pesos del modelo.

A diferencia de la regularización L1, que puede llevar algunos pesos a cero, la regularización L2 tiende a reducir todos los pesos de manera uniforme, evitando valores extremadamente grandes.

Esta técnica también se conoce como weight decay, ya que hace que los pesos “disminuyan” progresivamente durante el entrenamiento.

Cómo funciona

Durante el entrenamiento, la función de pérdida se modifica añadiendo un término adicional:

el error de predicción del modelo
una penalización proporcional al cuadrado de los pesos

Este término adicional obliga al modelo a mantener pesos pequeños.

Como resultado:

los pesos grandes se penalizan más fuertemente
el modelo se vuelve más estable
se reduce el riesgo de sobreajuste

Por qué es importante

La regularización L2 es una de las técnicas más utilizadas para mejorar la generalización de los modelos de aprendizaje profundo.

Sus principales beneficios incluyen:

reducción del sobreajuste
mayor estabilidad durante el entrenamiento
modelos más suaves y menos sensibles al ruido

A diferencia de la regularización L1, la L2 no elimina completamente pesos, sino que los ajusta para mantener un equilibrio en el modelo.

Ejemplo conceptual

Supongamos que un modelo intenta ajustar una curva a un conjunto de datos.

Sin regularización, el modelo podría crear una curva muy compleja que pase por todos los puntos. Con regularización L2, el modelo tiende a producir una curva más suave que captura la tendencia general de los datos.

Ejemplo en PyTorch

En PyTorch, la regularización L2 se implementa comúnmente utilizando el parámetro weight_decay en el optimizador.

			
import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001, weight_decay=0.01)

Este parámetro aplica automáticamente la penalización L2 durante el entrenamiento.

Conceptos relacionados

Resumen

La regularización L2 es una técnica que penaliza los pesos grandes mediante la suma de sus cuadrados, ayudando a reducir el sobreajuste y a mejorar la estabilidad del modelo. También conocida como weight decay, esta técnica es ampliamente utilizada en el entrenamiento de redes neuronales para lograr modelos más robustos y generalizables.