Lexicon Redes Neuronales

Clasificación probabilística usando una función logística

La regresión logística es un modelo de clasificación que estima la probabilidad de que una observación pertenezca a una clase determinada.

👉 Aunque contiene la palabra “regresión”, se utiliza principalmente para clasificación.

Definición corta

La regresión logística modela probabilidades utilizando una combinación lineal seguida de una función Sigmoid.

Definición matemática

🔹 Modelo lineal

$z = w_0 + w_1x_1 + w_2x_2 + \cdots + w_nx_n$

🔹 Función logística (Sigmoid)

$\sigma(z)=\frac{1}{1+e^{-z}}$σ(z)=1+e−z1​

🔹 Probabilidad final

$$P(y=1|x)=\sigma(z)$$P(y=1∣x)=σ(z)

🧠 Intuición

La regresión logística responde:

👉 “¿Cuál es la probabilidad de que este ejemplo pertenezca a la clase positiva?”

Entrada X  ↓  Modelo lineal  ↓  Sigmoid  ↓  Probabilidad

📊 Rango de salida

La función Sigmoid produce valores entre:$$0 \le P(y=1|x) \le 1$$0≤P(y=1∣x)≤1

👉 ideal para probabilidades.

📊 Ejemplo simple

Clasificación de spam:

Entrada → email  ↓  Modelo  ↓  Probabilidad de spam

🔄 Decisión de clasificación

Usualmente:

P ≥ 0.5 → clase positiva  P < 0.5 → clase negativa

🧠 Frontera de decisión

La regresión logística crea una frontera lineal:$$w^Tx + b = 0$$wTx+b=0

👉 separa clases.

📊 Ejemplo conceptual

Datos  ↓  Línea de separación  ↓  Clasificación

🧠 Función de pérdida

Usa típicamente entropía cruzada binaria.

$L = -[y\log(p)+(1-y)\log(1-p)]$L=−[ylog(p)+(1−y)log(1−p)]

👉 penaliza probabilidades incorrectas.

🧠 Uso en machine learning

La regresión logística se usa en:

• clasificación binaria
• detección de fraude
• diagnóstico médico
• análisis de riesgo

📊 Ejemplo conceptual

Datos  ↓  Probabilidad  ↓  Clasificación

🧠 Ventajas

• simple y rápida
• interpretable
• produce probabilidades

🧠 Desventajas

• frontera lineal
• limitada en relaciones complejas
• sensible a outliers

🧠 Relación con redes neuronales

Una neurona con:

• combinación lineal
• activación Sigmoid

👉 equivale a regresión logística.

📊 Ejemplo conceptual

Neurona simple  ↓  Sigmoid  ↓  Clasificador logístico

📊 Ejemplo en Python

from sklearn.linear_model import LogisticRegression
import numpy as np
X = np.array([[1], [2], [3], [4]])
y = np.array([0, 0, 1, 1])
model = LogisticRegression()
model.fit(X, y)
print(model.predict([[2.5]]))

Ejemplo en PyTorch

import torch
import torch.nn as nn
model = nn.Sequential(
    nn.Linear(1, 1),
    nn.Sigmoid()
)
x = torch.tensor([[2.0]])
print(model(x))

🧠 Qué muestra este ejemplo

• clasificación probabilística
• salida Sigmoid
• frontera de decisión

Errores comunes

Pensar que es regresión tradicional

Realmente es clasificación.

Usar para relaciones muy no lineales

Puede fallar.

Interpretar probabilidades sin calibración

Pueden estar mal calibradas.

Ejemplo conceptual en ML

Entrada  ↓  Probabilidad  ↓  Decisión binaria

Interpretación profunda

La regresión logística refleja un principio clave:

👉 Clasificar puede verse como estimar probabilidades

Es un puente entre:

• estadística
• probabilidad
• redes neuronales

Conclusión

La regresión logística es un modelo fundamental para clasificación binaria basado en probabilidades y la función Sigmoid.

👉 Es uno de los algoritmos más importantes en machine learning clásico.

Related Concepts

• Sigmoid
• Entropía cruzada
• Clasificación binaria
• Regresión lineal
• Probabilidad condicional

Ejemplo en Python

Este concepto incluye un ejemplo práctico en Python para ayudarte a entenderlo mejor:

👉 Ver código en GitHub