Was ist Context Length / Context Window?
Die Context Length (auch Context Window) beschreibt, wie viel Text ein Modell in einer einzigen Anfrage verarbeiten kann, gemessen in Tokens.
Größenordnungen
Abschnitt betitelt „Größenordnungen“| Größenordnung | Beispiel | Typischer Anwendungsfall |
|---|---|---|
| 8K bis 32K | ~6.000 bis 24.000 Wörter | Kurze Chat-Anfragen, Klassifikation |
| 128K bis 256K | ~96.000 bis 192.000 Wörter | RAG mit mehreren Dokumenten, lange Code-Dateien |
| 1M+ | ~750.000+ Wörter | Ganze Code-Repositories, Bücher |
Warum ist das wichtig?
Abschnitt betitelt „Warum ist das wichtig?“Ein größerer Context bedeutet mehr Input Tokens und damit höhere Kosten sowie längere Latenz. Die Context Length ist also kein „je mehr desto besser”, sondern ein bewusster Kosten-/Latenz-Kompromiss.
Empfehlung
Abschnitt betitelt „Empfehlung“Den tatsächlichen Bedarf klar klären. Die meisten Anwendungsfälle benötigen keine 1M Token Context. Lieber gezielt RAG einsetzen, als blind maximales Context Window wählen.