Lexicon Redes Neuronales

Arquitecturas Modernas para Procesamiento de Lenguaje

Los transformers han revolucionado el campo de la inteligencia artificial, especialmente en el área del procesamiento de lenguaje natural.

Esta arquitectura permite que los modelos analicen relaciones complejas dentro de secuencias de datos y ha impulsado el desarrollo de los modelos de lenguaje modernos utilizados en aplicaciones generativas.

Los transformers constituyen la base de muchos sistemas actuales de inteligencia artificial generativa.

Conceptos incluidos

• Transformers
• Tokenización
• Modelos de lenguaje
• Modelos de lenguaje grandes
• Atención en redes neuronales
• Auto-atención
• Atención multi-cabeza
• Codificación posicional
• Tokens de texto
• Modelos generativos
• Preentrenamiento de modelos
• Ajuste fino de modelos
• Ajuste por instrucciones
• Aprendizaje en contexto
• Aprendizaje de pocos ejemplos
• Aprendizaje sin ejemplos