Was sind Rate Limits und Quotas?

Rate Limits dienen Ihrem persönlichen Schutz: Sie verhindern, dass eine Fehlbedienung der API zu unkontrollierten Kosten führt. Zugleich schützen sie die Infrastruktur und sorgen für eine faire Ressourcenverteilung.

Definitionen

Limit	Bedeutung
RPM (Requests per Minute)	Maximale API-Aufrufe pro Minute
TPM (Tokens per Minute)	Maximale Tokens pro Minute (Input + Output)

Staffelung

• Basis-Limits: für PoCs und kleinere Projekte, ohne Commitment
• Erhöhte Limits: mit Commitment, skalierbar nach Bedarf

Wenn Sie ein Limit erreichen, ist das kein Fehler, sondern der Schutzmechanismus greift. Für höhere Limits sprechen Sie einfach mit Ihrer Ansprechperson bei noris.

Quotas auf AI-Punkte-Ebene

RPM und TPM begrenzen die Last. Wer den Verbrauch und damit die Kosten begrenzen will, kann zusätzlich Quotas auf Ebene der AI-Punkte einrichten lassen:

• je Virtual Key, etwa um einzelne Anwendungen oder Teams getrennt zu deckeln
• je Kunde, als Gesamtgrenze über alle Virtual Keys hinweg

Die Einrichtung erfolgt auf Wunsch. Sprechen Sie dazu Ihre Ansprechperson bei noris an.