Ortogonalidad

Independencia perfecta entre vectores

La ortogonalidad es un concepto fundamental del álgebra lineal que describe cuando dos vectores son perpendiculares entre sí, es decir, no comparten ninguna dirección.

👉 En machine learning, la ortogonalidad está estrechamente relacionada con la independencia, decorrelación y estabilidad numérica

Definición corta

Dos vectores son ortogonales si su producto escalar es igual a cero

Definición detallada

Dados dos vectores $x$ x y $y$ y: $x \cdot y = 0$

👉 Entonces: $x \perp y$

Intuición

La ortogonalidad significa:

👉 “Estos vectores no tienen nada en común en términos de dirección”

Ejemplo

$x = [1, 0], \quad y = [0, 1]$ $x \cdot y = 0$

👉 Son completamente independientes.

Interpretación geométrica

Ángulo entre vectores = 90°
No hay proyección entre ellos
No comparten información

👉 Visualmente:

   y
   |
   |
   |
---+---- x

Relación con otros conceptos

Producto escalar
Coseno de similitud
Base ortogonal
PCA

Propiedades importantes

🔹 Producto escalar nulo

$x \cdot y = 0$

🔹 Coseno de similitud

$\cos(\theta) = 0$ cos(θ)=0

👉 $\theta = 90^\circ$ θ=90∘

🔹 Independencia (aproximada)

En datos:

👉 ortogonalidad ≈ decorrelació

Ortogonalidad en redes neuronales

🔹 1. Inicialización de pesos

Matrices ortogonales:

👉 ayudan a mantener estabilidad del gradiente

🔹 2. PCA

Los componentes principales son:

👉 ortogonales entre sí

🔹 3. Embeddings

Vectores ortogonales:

👉 representan conceptos independientes

🔹 4. Regularización

Se busca:

👉 evitar redundancia en representaciones

Ejemplo paso a paso

$x = [1, 2]$ x=[1,2] $y = [2, -1]$ y=[2,−1]

Producto escalar: $1×2 + 2×(-1) = 2 – 2 = 0$

👉 Son ortogonales.

Ortogonalidad vs independencia

Concepto	Tipo
Ortogonalidad	geométrica
Independencia	estadística

👉 Están relacionadas pero no son lo mismo.

📊 Base ortogonal

Un conjunto de vectores: $v_1, v_2, …, v_n$

👉 es ortogonal si: $v_i \cdot v_j = 0 \quad (i \neq j)$

👉 Permite representar datos sin redundancia.

Ejemplo en Python

			
import numpy as np
x = np.array([1, 2])
y = np.array([2, -1])
dot = np.dot(x, y)
print("Producto escalar:", dot)

		

Ejemplo en NumPy

			
import numpy as np
x = np.array([1, 0])
y = np.array([0, 1])
is_orthogonal = np.dot(x, y) == 0
print("Ortogonales:", is_orthogonal)

		

Ejemplo en PyTorch

			
import torch
x = torch.tensor([1.0, 2.0])
y = torch.tensor([2.0, -1.0])
dot = torch.dot(x, y)
print("Producto escalar:", dot.item())

		

Ejemplo en PCA

			
import numpy as np
# Componentes principales simulados
v1 = np.array([1, 0])
v2 = np.array([0, 1])
print("Dot:", np.dot(v1, v2))

		

Ejemplo en inicialización ortogonal

			
import torch
W = torch.empty(3, 3)
torch.nn.init.orthogonal_(W)
print("Matriz ortogonal:\n", W)

Qué muestra este ejemplo

Producto escalar = 0
Independencia geométrica
Uso en inicialización

Errores comunes

Confundir con independencia estadística

No siempre equivalentes.

Asumir ortogonalidad automáticamente

Debe verificarse.

Ignorar normalización

Vectores ortogonales no necesariamente unitarios.

Ejemplo conceptual en ML

Feature 1: ingresos  
Feature 2: temperatura  👉 Pueden ser ortogonales (no relacionadas)

Interpretación profunda

La ortogonalidad permite:

eliminar redundancia
mejorar estabilidad
construir representaciones eficientes
entender geometría del espacio

👉 Es clave para estructuras limpias y eficientes en modelos.

Conclusión

La ortogonalidad describe independencia perfecta entre vectores y es fundamental para entender la geometría del espacio en machine learning. Se utiliza en PCA, inicialización de redes y representación de datos.

👉 Es uno de los conceptos clave para construir modelos estables y eficientes.

Related Concepts

Producto escalar
Coseno de similitud
PCA
Norma
Base ortogonal

Si quieres, seguimos con: Base ortonormal o avanzamos a Espacio vectorial para consolidar toda la estructura matemática.