Definición breve
La ventana de contexto es la cantidad máxima de tokens que un modelo de lenguaje puede procesar simultáneamente.
Explicación del concepto
Los modelos de lenguaje no pueden considerar una cantidad ilimitada de texto. Cada modelo tiene un límite de tokens que puede manejar en una sola interacción.
Cómo funciona
Si el texto excede la ventana de contexto:
- el modelo puede truncar el contenido
- o ignorar partes anteriores de la conversación
Por qué es importante
Una ventana de contexto más grande permite manejar documentos más largos y conversaciones extensas.
Ejemplo conceptual
Un modelo con una ventana de 8k tokens puede procesar aproximadamente 6,000 palabras de texto.
Ejemplo en Python
Python
max_tokens = 8000
Conceptos relacionados
Resumen
La ventana de contexto define cuánto texto puede analizar un modelo de lenguaje al mismo tiempo.
Lexicon Redes Neuronales 