Definición breve
La inicialización de pesos es el proceso de asignar valores iniciales a los parámetros de una red neuronal antes del entrenamiento.
Explicación del concepto
Una inicialización incorrecta puede causar problemas de entrenamiento como gradientes desvanecientes o explosivos.
Cómo funciona
Métodos comunes incluyen:
- Xavier initialization
- He initialization
Por qué es importante
Una buena inicialización facilita un entrenamiento estable.
Ejemplo conceptual
Inicializar todos los pesos en cero impediría que la red aprenda correctamente.
Ejemplo en PyTorch
import torch.nn as nnlayer = nn.Linear(10, 5)nn.init.xavier_uniform_(layer.weight)Conceptos relacionados
- Gradientes
- Entrenamiento de redes neuronales
- Vanishing gradients
Resumen
La inicialización de pesos influye significativamente en la estabilidad y velocidad del entrenamiento.
Lexicon Redes Neuronales 