Lexicon Redes Neuronales

Redes densamente conectadas

Definición breve

Las redes densamente conectadas son redes neuronales en las que cada neurona de una capa está conectada con todas las neuronas de la capa siguiente.

Explicación del concepto

En una red densamente conectada (también llamada fully connected o densa), cada capa transmite toda su información a la siguiente.

Esto significa que:

no hay conexiones parciales
cada neurona influye en todas las neuronas de la siguiente capa

Este tipo de arquitectura es la base del perceptrón multicapa (MLP).

Cómo funciona

El proceso incluye:

Entrada de datos
Se introduce un vector de características.
Multiplicación por pesos
Cada neurona combina todas las entradas.
Suma con sesgo
Se añade un término de sesgo.
Función de activación
Se aplica una transformación no lineal.

Fórmula conceptual

$y = \sigma(Wx + b)$

$w$

$b$ b-10-8-6-4-2246810-0.4-0.20.20.40.60.81

Donde:

$x$ x es la entrada
$W$ W es la matriz de pesos
$b$ b es el sesgo
$\\sigma$ sigma es la función de activación

Características principales

conexiones completas entre capas
alta capacidad de representación
fácil de implementar
computacionalmente costoso en grandes dimensiones

Ventajas

simplicidad estructural
capacidad para modelar relaciones complejas
base de muchas arquitecturas

Limitaciones

gran número de parámetros
riesgo de sobreajuste
no aprovecha estructura espacial (como imágenes)

Ejemplo conceptual

Cada neurona en una capa recibe información de todas las neuronas de la capa anterior, combinándolas para generar una nueva representación.

Ejemplo en PyTorch

Capa densamente conectada:

			
import torch.nn as nn
layer = nn.Linear(in_features=10, out_features=5)

Conceptos relacionados

Resumen

Las redes densamente conectadas son una arquitectura fundamental en el aprendizaje profundo donde cada neurona está completamente conectada con la siguiente capa. Aunque son simples y potentes, pueden ser costosas y menos eficientes para ciertos tipos de datos como imágenes.