Lexicon Redes Neuronales

Midiendo la magnitud de vectores en redes neuronales

La norma es una medida matemática que indica el tamaño o longitud de un vector. En redes neuronales, las normas son fundamentales para regularización, cálculo de distancias, estabilidad numérica y análisis de modelos.

Las dos normas más importantes en deep learning son:

• Norma L1
• Norma L2 (norma euclidiana)

Definición corta

Una norma es una función que mide la magnitud de un vector.

Definición detallada

Dado un vector:$$x = [x_1, x_2, …, x_n]$$x=[x1​,x2​,…,xn​]

🔹 Norma L1

$$||x||_1 = |x_1| + |x_2| + \cdots + |x_n|$$∣∣x∣∣1​=∣x1​∣+∣x2​∣+⋯+∣xn​∣

👉 Suma de valores absolutos.

🔹 Norma L2

$$||x||_2 = \sqrt{x_1^2 + x_2^2 + \cdots + x_n^2}$$∣∣x∣∣2​=x12​+x22​+⋯+xn2​​

👉 Distancia euclidiana (la más común).

Intuición

La norma mide qué tan grande es un vector.

Ejemplo:$$x = [3, 4]$$

• Norma L1 → $3 + 4 = 7$3+4=7
• Norma L2 → $\sqrt{9 + 16} = 5$9+16​=5

👉 La L2 representa la distancia real en el espacio.

Interpretación geométrica

Norma L2

Es la distancia desde el origen:

👉 Como medir la longitud de una flecha en el espacio.

Norma L1

Es la distancia “por ejes”:

👉 Como moverse en una cuadrícula (tipo Manhattan).

Comparación L1 vs L2

Normas en redes neuronales

🔹 1. Regularización

L1 (Lasso)

$$\lambda ||w||_1$$λ∣∣w∣∣1​

👉 Promueve:

• Pesos exactamente cero
• Modelos más simples

L2 (Ridge)

$$\lambda ||w||_2^2$$λ∣∣w∣∣22​

👉 Promueve:

• Pesos pequeños
• Estabilidad

🔹 2. Control de magnitud

Evita que los pesos crezcan demasiado.

🔹 3. Cálculo de distancias

Usado en:

• KNN
• Clustering
• Embeddings

🔹 4. Normalización

Escalar vectores para estabilidad:$$x_{norm} = \frac{x}{||x||}$$

Ejemplo paso a paso

$$x = [1, -2, 3]$$

L1

$$||x||_1 = 1 + 2 + 3 = 6$$

L2

$$||x||_2 = \sqrt{1 + 4 + 9} = \sqrt{14} \approx 3.74$$

Relación con otros conceptos

• Distancia
• Regularización
• Gradiente
• Optimización
• Espacio vectorial

Ejemplo en Python