Lexicon Redes Neuronales

Generalizando la binomial a múltiples clases

La distribución multinomial modela el número de ocurrencias de cada categoría en una serie de ensayos independientes, donde cada ensayo puede tener más de dos posibles resultados.

👉 Es la extensión natural de la binomial a escenarios multiclase.

Definición corta

La distribución multinomial describe cómo se distribuyen los conteos de varias categorías en $n$n ensayos.

📐 Definición matemática

$P(X_1,\dots,X_k)=\frac{n!}{x_1!\cdots x_k!}p_1^{x_1}\cdots p_k^{x_k}$

👉 donde:

• $k$: número de categorías
• $x_i$​: número de veces que ocurre la categoría $i$i
• $p_i$: probabilidad de la categoría $i$i
• $\sum x_i = n$, $\sum p_i = 1$

🧠 Intuición

La multinomial responde:

👉 “¿Cuántas veces aparece cada categoría tras muchos ensayos?”

Ensayos repetidos  ↓  Múltiples resultados posibles  ↓  Conteo por categoría

📊 Ejemplo simple

Lanzar un dado 10 veces:

Categorías: {1,2,3,4,5,6}  Resultado: conteo de cada número

👉 obtenemos un vector como:

[2, 1, 3, 0, 2, 2]

🔄 Relación con otras distribuciones

👉 multinomial = generalización.

Propiedades clave

🔹 Media

$$\mathbb{E}[X_i] = n p_i$$

🔹 Varianza

$$\text{Var}(X_i) = n p_i (1 – p_i)$$

🔹 Covarianza

$$\text{Cov}(X_i, X_j) = -n p_i p_j$$

👉 las categorías compiten entre sí.

📊 Interpretación

Más en una categoría  ↓  Menos en otras

🧠 Propiedad clave: dependencia

Aunque los ensayos son independientes:

👉 los conteos finales están relacionados.

📊 Ejemplo conceptual

Total fijo (n)  ↓  Distribución entre categorías  ↓  Dependencia

🧠 Uso en machine learning

La multinomial aparece en:

• clasificación multiclase
• modelos de lenguaje (conteo de palabras)
• modelos generativos
• softmax outputs

📊 Ejemplo conceptual

Texto  ↓  Conteo de palabras  ↓  Distribución multinomial

🧠 Relación con Softmax

• Softmax → probabilidades $p_i$
• Multinomial → conteos $x_i$xi​

👉 conectan predicción y datos.

📊 Ejemplo conceptual

Modelo → probabilidades  ↓  Datos → conteos  ↓  Comparación

📊 Ejemplo en Python

import numpy as np
# multinomial con 3 categorías
samples = np.random.multinomial(10, [0.2, 0.5, 0.3])
print(samples)

Ejemplo en PyTorch

🧠 Qué muestra este ejemplo

• múltiples categorías
• conteo de eventos
• distribución probabilística

⚠️ Errores comunes

Pensar que categorías son independientes

No lo son en el conteo final.

No normalizar probabilidades

Deben sumar 1.

Confundir con binomial

Binomial → solo dos categorías.

📊 Ejemplo conceptual en ML

Datos multiclase  ↓  Conteo  ↓  Distribución multinomial  ↓  Modelo

🧠 Interpretación profunda

La distribución multinomial refleja un principio clave:

👉 Los sistemas multiclase son extensiones naturales de decisiones binarias

Permite:

• modelar múltiples resultados
• trabajar con datos categóricos
• conectar teoría con modelos modernos

Conclusión

La distribución multinomial modela el número de ocurrencias de múltiples categorías en ensayos repetidos, siendo fundamental en clasificación multiclase y modelos probabilísticos.

👉 Es la generalización de la distribución binomial.

Related Concepts

• Distribución binomial
• Distribución Bernoulli
• Softmax
• Clasificación multiclase
• Probabilidad