Sigmoid (Logística)

La función que transforma valores en probabilidades

La Sigmoid es una función de activación que transforma cualquier valor real en un rango entre 0 y 1, lo que permite interpretarlo como una probabilidad.

👉 Fue una de las funciones más utilizadas en las primeras redes neuronales.

Definición corta

La Sigmoid convierte valores en probabilidades entre 0 y 1.

Definición matemática

$\sigma(x)=\frac{1}{1+e^{-x}}$

👉 tiene forma de “S” (curva sigmoide).

Intuición

Sigmoid responde:

👉 “Cuanto mayor es el valor, más probable es que sea 1”

Valores negativos → cerca de 0  
Valores positivos → cerca de 1

Interpretación geométrica

curva suave en forma de S
transición continua entre 0 y 1

Ejemplo conceptual

-∞ → 0  
0 → 0.5  
+∞ → 1

Relación con otros conceptos

Softmax
Tanh
Entropía cruzada
Clasificación binaria

🧠 Propiedades clave

🔹 1. Rango acotado

$0 < \sigma(x) < 1$

🔹 2. Diferenciable

Derivada: $\sigma'(x) = \sigma(x)(1 – \sigma(x))$

👉 fácil de usar en backpropagation.

🔹 3. No centrada en cero

Salida siempre positiva.

📊 Ejemplo conceptual

Media > 0  
↓  
Gradiente sesgado  
↓  
Aprendizaje más lento

🧠 Problema principal: saturación

Para valores grandes:

$x \gg 0$ x≫0 → salida ≈ 1
$x \ll 0$ x≪0 → salida ≈ 0

👉 gradiente ≈ 0

📊 Ejemplo conceptual

Entrada grande  
↓  
Salida constante  
↓  
Gradiente ≈ 0

🧠 Impacto en el aprendizaje

desvanecimiento del gradiente
entrenamiento lento
capas profundas afectadas

Uso en machine learning

🔹 1. Clasificación binaria

$P(y=1)$

🔹 2. Salida de redes

probabilidad de una clase

🔹 3. Modelos probabilísticos

regresión logística

Ejemplo conceptual

Salida del modelo  
↓  
Sigmoid  
↓  
Probabilidad

Sigmoid vs otras activaciones

vs Tanh → no centrada
vs ReLU → saturación
vs Softmax → no normaliza múltiples clases

Ejemplo en Python

Python

			
import numpy as np
def sigmoid(x):
    return 1 / (1 + np.exp(-x))
x = np.array([-2, -1, 0, 1, 2])
print(sigmoid(x))

		

Ejemplo en PyTorch

			
import torch
import torch.nn as nn
sigmoid = nn.Sigmoid()
x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])
print(sigmoid(x))

		

Ejemplo en modelo

			
import torch.nn as nn
model = nn.Sequential(
    nn.Linear(10, 1),
    nn.Sigmoid()
)

		

Qué muestra este ejemplo

salida probabilística
uso en clasificación
transformación no lineal

Errores comunes

Usarla en capas profundas

Provoca gradientes débiles.

Confundirla con Softmax

No normaliza múltiples clases.

Ignorar saturación

Limita el aprendizaje.

Ejemplo conceptual en ML

Logits  
↓  
Sigmoid  
↓  
Probabilidad binaria

Interpretación profunda

La Sigmoid representa un concepto clave:

👉 Conectar valores continuos con probabilidades

Fue fundamental en:

redes neuronales clásicas
regresión logística
modelos probabilísticos

Conclusión

La Sigmoid es una función de activación que transforma valores en probabilidades, siendo esencial en clasificación binaria, aunque limitada en redes profundas modernas.

👉 Es clave para entender la evolución de las funciones de activación.

Related Concepts

Softmax
Tanh
ReLU
Entropía cruzada
Clasificación binaria