Smart Router

Der Smart Router ist ein virtueller Modellname (smart_router), der eingehende Anfragen automatisch nach Komplexität klassifiziert und an das geeignete Zielmodell weiterleitet. Sie brauchen keine Modellauswahl in Ihrer Anwendung, sondern senden alle Anfragen an denselben Modellnamen.

Funktionsweise

Der Smart Router analysiert die letzte Nutzernachricht anhand von fünf Dimensionen:

Dimension	Gewichtung	Misst
Code	30 %	Code, Debugging, Programmierbegriffe
Reasoning	25 %	Analytische und mehrstufige Denkprozesse
Technische Begriffe	25 %	Architektur, Infrastruktur, Betrieb
Wortanzahl	10 %	Länge des Prompts
Einfache Indikatoren	-5 %	Begrüßungen, Definitionen, einfache Fragen

Aus dem gewichteten Score ergibt sich ein Komplexitäts-Tier:

Tier	Score-Bereich	Typische Anfragen
Simple	< 0,15	Begrüßungen, einfache Lookups
Medium	0,15 bis 0,35	Allgemeine Fragen, kurze Erklärungen
Complex	0,35 bis 0,60	Technische Fragen, Code-Hilfe, mehrstufige Aufgaben
Reasoning	>= 0,60	Analysen, Architekturentscheidungen, Ursachenanalyse

Ein Reasoning-Override greift, wenn zwei oder mehr Reasoning-Keywords in der letzten Nutzernachricht erkannt werden: Das Tier wird unabhängig vom numerischen Score auf Reasoning gesetzt.

Routing-Zielmodelle

Jedes Tier ist fest mit einem Zielmodell verknüpft:

Tier	Zielmodell
Simple	Gemma 4 31B
Medium	Gemma 4 31B
Complex	GPT-OSS 120B
Reasoning	GLM 5.2

Einfache und mittelkomplexe Anfragen bedient das schnelle Gemma-4-Modell. Komplexe Anfragen mit Code- und Techniksignalen gehen an das größere GPT-OSS-120B. Bei tiefgreifendem Reasoning oder bei explizitem Überschreiben durch Reasoning-Keywords kommt GLM 5.2 zum Einsatz, das Chain-of-Thought-Zwischenschritte generiert.

Verwendung

Senden Sie smart_router als Modellname in Ihrer API-Anfrage:

{
  "model": "smart_router",
  "messages": [
    { "role": "user", "content": "Hallo, wie geht es dir?" }
  ]
}

Die Antwort enthält in extra_fields.routing_info das tatsächlich verwendete Modell, sodass Sie nachvollziehen können, wohin geroutet wurde:

{
  "extra_fields": {
    "routing_info": {
      "provider": "vllm",
      "model": "release/gemma-4-31b-it",
      "key": "gemma-4-31b-it [0]"
    },
    "resolved_model_used": "release/gemma-4-31b-it"
  }
}

Mehrsprachige Klassifizierung

Die Keyword-Listen des Smart Routers sind deutsch und englisch gepflegt. Deutsche Prompts wie “Schritt für Schritt beweisen” oder “Ursachenanalyse” werden genauso erkannt wie die englischen Entsprechungen (“step by step”, “root cause analysis”). Die Klassifizierung arbeitet deterministisch in-process mit einer Latenz von unter 1 Millisekunde und ohne externe API-Aufrufe.

Tipps

Einfache Prompts (Begrüßungen, kurze Fragen) werden automatisch an das günstige Gemma-4-Modell geroutet.
Code- und Architekturfragen mit ausreichend technischen Signalen erreichen das GPT-OSS-120B-Modell.
Explizite Reasoning-Phrasen wie “Schritt für Schritt”, “beweise”, “Ursachenanalyse” oder “erkläre deine Überlegungen” triggern das Reasoning-Tier und damit GLM 5.2.
Kurzprompts ohne Code-, Technik- oder Reasoning-Signale bleiben auf dem Simple- oder Medium-Tier, selbst wenn die Aufgabe inhaltlich anspruchsvoll ist. Ergänzen Sie bei Bedarf relevante Schlüsselwörter im Prompt.

Impressum Datenschutz AGB