@Lagrange Official #lagrange Tanto la entrada como la salida consumen tokens.
Los modelos tienen límites máximos de tokens—por ejemplo, GPT‑3.5 Turbo maneja hasta 4,096 tokens, GPT‑4 hasta 8,192 o 32,768, y GPT‑4 Turbo puede manejar hasta 128k tokens
Comunidad de OpenAI
+5
Wikipedia
+5
+5
tokencalculator.online
.
Por qué importan los tokens
Costo: La facturación es por token. (por ejemplo, GPT‑4 Turbo cuesta $0.01/1k tokens de entrada y $0.03/1k tokens de salida)
+4
tokencalculator.online
+4
+4
.
Memoria: Una vez que la conversación excede el límite de tokens, los mensajes anteriores se “olvidan.”
Verificación del uso de tokens
Utiliza la herramienta Tokenizer de OpenAI para ver cómo se divide tu texto en tokens: ingresa tu texto en platform.openai.com/tokenizer
+3
+3
+3
+6
Centro de Ayuda de OpenAI
+6
Blog de ChatGPT Plus
+6
.
Programáticamente, usa la biblioteca Tiktoken para contar tokens en el código
+3
Centro de Ayuda de OpenAI
+3
Blog de ChatGPT Plus
+3
.
Tabla TL;DR
Concepto Aproximación
1 token ≈ 4 caracteres en texto en inglés
1 token ≈ ¾ palabra
100 tokens ≈ 75 palabras