Lexicon Redes Neuronales

La estructura matemática que da forma al aprendizaje profundo

El álgebra lineal es el lenguaje fundamental de las redes neuronales. Cada entrada de datos, cada peso y cada transformación dentro de un modelo se representa mediante vectores, matrices o tensores.

Sin álgebra lineal, no existirían operaciones como el forward pass, la propagación de activaciones ni el ajuste de pesos durante el entrenamiento.

Este sub-hub reúne todos los conceptos esenciales que necesitas dominar para entender cómo fluye la información dentro de una red neuronal.

¿Por qué es clave el álgebra lineal?

En una red neuronal:

• Los datos de entrada se representan como vectores
• Los pesos se organizan en matrices
• Las capas realizan multiplicaciones matriciales
• Las transformaciones son operaciones lineales en espacios de alta dimensión

👉 En esencia: una red neuronal es una cadena de transformaciones lineales + funciones no lineales.

Conceptos fundamentales

🔹 Escalar

Un valor único (por ejemplo, un número real).
👉 Representa la unidad más básica de información.

🔹 Vector

Un conjunto ordenado de números.

Ejemplo:

x = [1.2, 0.7, -3.1]

👉 En redes neuronales, un vector puede representar:

• Una entrada (features)
• Una activación
• Un embedding

🔹 Matriz

Una estructura bidimensional de números.

Ejemplo:

W = [
  [0.2, -0.5],
  [1.0,  0.3]
]

👉 Se usa para representar:

• Pesos entre capas
• Transformaciones lineales

🔹 Tensor

Generalización de vectores y matrices a múltiples dimensiones.

👉 Ejemplos:

• Imagen → tensor 3D (alto × ancho × canales)
• Batch de datos → tensor 4D

👉 Es la estructura principal en frameworks como PyTorch o TensorFlow.

Operaciones clave

🔹 Producto escalar

Multiplica dos vectores y devuelve un escalar.

👉 Mide similitud entre vectores.

🔹 Multiplicación matricial

Combina matrices o matriz × vector.

👉 Es la operación central del forward pass:$$z = W \cdot x + b$$z=W⋅x+b

👉 Aquí es donde ocurre la transformación de datos en cada capa.

🔹 Producto elemento a elemento (Hadamard)

Multiplicación posición por posición.

👉 Usado en:

• Redes recurrentes
• Mecanismos de atención

🔹 Transposición de matrices

Intercambia filas por columnas.

👉 Importante en:

• Backpropagation
• Ajuste de dimensiones

Medidas y propiedades

🔹 Norma

Mide la magnitud de un vector.

• Norma L1 → suma de valores absolutos
• Norma L2 → distancia euclidiana

👉 Usada en regularización.

🔹 Distancia

Mide qué tan diferentes son dos vectores.

• Euclidiana
• Manhattan

👉 Clave para clustering y embeddings.

🔹 Ortogonalidad

Dos vectores son ortogonales si son independientes (producto escalar = 0).

👉 Importante en:

• Inicialización de pesos
• Estabilidad numérica

Transformaciones avanzadas

🔹 Valores propios (Eigenvalores)

Escala de transformación de un vector especial.

🔹 Vectores propios (Eigenvectores)

Vectores que no cambian de dirección bajo una transformación.

👉 Clave en:

• Análisis de datos
• Reducción de dimensionalidad

🔹 Descomposición en valores singulares (SVD)

Factoriza una matriz en componentes más simples.

👉 Aplicaciones:

• Compresión
• Reducción de ruido
• Análisis de representaciones

Espacios vectoriales

🔹 Espacio vectorial

Conjunto de vectores donde se pueden aplicar operaciones lineales.

🔹 Base

Conjunto mínimo de vectores que generan el espacio.

🔹 Dimensionalidad

Número de componentes necesarios para representar un espacio.

👉 En deep learning:

• Alta dimensionalidad = mayor capacidad de representación

🔹 Subespacio

Parte de un espacio vectorial más grande.

👉 Las redes neuronales aprenden a mapear datos a subespacios útiles.

Estabilidad y eficiencia

🔹 Número de condición

Indica si una matriz es estable o propensa a errores numéricos.

🔹 Rango de una matriz

Número de dimensiones independientes.

👉 Importante para:

• Detectar redundancia
• Evaluar capacidad de representación

Conexión con redes neuronales

El álgebra lineal aparece en cada paso:

Componente	Concepto matemático
Entrada	Vector
Pesos	Matriz
Capa	Multiplicación matricial
Activación	Transformación
Embedding	Vector en espacio latente

Ruta recomendada dentro de este sub-hub

Para aprender progresivamente:

1. Escalar → Vector → Matriz
2. Multiplicación matricial
3. Norma y distancia
4. Espacios vectoriales
5. Eigenvalores y SVD

---

Entradas del diccionario en esta sección

Puedes explorar cada concepto en profundidad:

• Escalar
• Vector
• Matriz
• Tensor
• Producto escalar
• Multiplicación matricial
• Producto Hadamard
• Transposición
• Norma
• Distancia
• Ortogonalidad
• Espacio vectorial
• Base
• Subespacio
• Dimensionalidad
• Valores propios
• Vectores propios
• SVD
• Rango de matriz
• Número de condición

👉 Cada entrada incluye definición, intuición y aplicación en redes neuronales.

Conclusión

El álgebra lineal no es solo una herramienta técnica:
es la infraestructura matemática completa sobre la que se construyen las redes neuronales.

Comprender estos conceptos te permitirá:

• Interpretar modelos
• Diseñar arquitecturas
• Diagnosticar problemas
• Optimizar rendimiento

Siguiente paso

Después de dominar este sub-hub, continúa con:

👉 Cálculo Diferencial — donde aprenderás cómo las redes neuronales realmente aprenden.