Lexicon Redes Neuronales

Definición breve

Existen tres variantes principales del descenso de gradiente según la cantidad de datos utilizados en cada actualización:

• Descenso de gradiente por lote completo → usa todo el dataset
• Descenso de gradiente por mini-lotes → usa subconjuntos del dataset
• Descenso de gradiente estocástico → usa un solo ejemplo

Definición detallada

El descenso de gradiente es el algoritmo base para entrenar modelos, pero su comportamiento cambia significativamente según cuántos datos se utilizan para calcular el gradiente.

Estas tres variantes representan un trade-off entre estabilidad, velocidad y eficiencia computacional.

Los tres enfoques

🔹 1. Descenso de gradiente por lote completo

• Usa todos los datos en cada actualización
• Calcula el gradiente exacto

Ventajas:

• Muy estable
• Convergencia suave

Desventajas:

• Computacionalmente costoso
• Lento en datasets grandes

2. Descenso de gradiente por mini-lotes

• Usa pequeños subconjuntos del dataset
• Es el estándar en deep learning

Ventajas:

• Buen equilibrio entre estabilidad y velocidad
• Aprovecha GPU/TPU

Desventajas:

• Requiere ajustar el tamaño de lote

3. Descenso de gradiente estocástico

• Usa un solo ejemplo por actualización

Ventajas:

• Muy rápido
• Puede escapar de mínimos locales

Desventajas:

• Muy ruidoso
• Convergencia inestable

Comparación directa

Trade-offs clave

🔹 Estabilidad vs velocidad

• Lote completo → más estable
• Estocástico → más rápido pero ruidoso
• Mini-lotes → equilibrio

Precisión del gradiente

• Lote completo → exacto
• Mini-lotes → aproximado
• Estocástico → muy ruidoso

Uso de hardware

• Mini-lotes → mejor uso de GPU
• Lote completo → ineficiente en grandes datasets

Insight clave

👉 No se trata de cuál es “mejor”, sino de qué necesitas optimizar:

• Precisión → lote completo
• Velocidad → estocástico
• Equilibrio → mini-lotes

Relación con otros conceptos

Este tema se conecta directamente con:

• Tamaño de lote
• Tasa de aprendizaje
• Convergencia
• Optimización

Ejemplo conceptual en PyTorch

# Ejemplo simplificado del tamaño de lote
batch_size = 1      # Estocástico
batch_size = 32     # Mini-lotes
batch_size = 10000  # Lote completo (todo el dataset)

👉 Cambiar el tamaño de lote cambia el tipo de descenso de gradiente.

Errores comunes

🔹 Pensar que más datos siempre es mejor

• Lote completo puede ser demasiado lento

Usar batch size inadecuado

• Muy pequeño → ruido
• Muy grande → mala generalización

Impacto en el entrenamiento

Elegir el método correcto afecta:

• Velocidad de entrenamiento
• Estabilidad
• Generalización
• Uso de recursos

Conceptos relacionados

• Descenso de gradiente por mini-lotes
• Tamaño de lote
• Tasa de aprendizaje
• Convergencia

Conclusión

Las tres variantes representan diferentes estrategias:

• Lote completo → precisión
• Estocástico → velocidad
• Mini-lotes → equilibrio (el estándar moderno)

Elegir correctamente es clave para un entrenamiento eficiente.