Field Notes

Entscheidungsmodelle für Centbeträge, Grok 4.6 in Bedrock, und KI für Aktenprüfung

Heute bekommst du günstige Klassifikation ohne Textausgabe, ein großes Modell in Bedrock und einen belastbaren Claims-Workflow.

Wichtige KI-Nachrichten

Jev macht aus Texten Zahlenentscheidungen, sehr günstig

TypeSafe AI hat Jev veröffentlicht: Du sendest Text oder Felder, zurück kommen Zahlen für Ja/Nein, Auswahl oder Skalen, plus Confidence. Keine Textausgabe. Abgerechnet wird nur der Input: 0,042 US-Dollar pro Million Tokens, Output ist frei. Du kannst viele Fragen parallel zu einem Dokument stellen, die Laufzeit bleibt ähnlich. Geeignet für Klassifikation, Label-Vorschläge, Priorisierung oder Reranking von Suchtreffern. Beachte den Black-Box-Charakter und evaluiere Bias systematisch, denn Erklärtexte gibt es nicht.1

Grok 4.6 ist in Amazon Bedrock verfügbar

xAI Grok 4.6 läuft seit 18. August in Bedrock. Es bietet ein 500.000-Token Kontextfenster und vier Reasoning-Stufen: low, medium, high, xhigh. Neu sind Unterstützung für bedrock-runtime neben bedrock-mantle, die Converse API mit Streaming sowie Cross-Region-Inferenzprofile. Benchmarks und Sicherheitsangaben stammen vom Anbieter und Partnern wie Artificial Analysis, eine unabhängige Prüfung liegt hier nicht vor. Wenn du bereits Bedrock nutzt, erreichst du Grok 4.6 über die gewohnten SDKs und kannst lange Dokumente und Agentenläufe einfacher streamen.2

AWS-Fallstudie: EXL automatisiert die medizinische Claims-Prüfung

EXL bündelt IDP und ein domänenspezifisches LLM auf AWS, um hunderte Seiten medizinischer Akten zu extrahieren, zu strukturieren und per LLM zu prüfen. Ausgangslage laut AWS: über 100 Minuten manuelle Sichtung pro Fall. Die Lösung nutzt u. a. Textract, Step Functions, SageMaker für das EXL Insurance LLM und Bedrock für General-Purpose-Modelle, abgesichert via IAM, alles in einer Region. Konkrete Zeitgewinne über die Fallstudie hinaus sind nicht belegt. Wenn du Claims oder Underwriting bearbeitest, zeigt die Architektur einen gangbaren Weg für skalierbare, prüfbare Ausgaben.3

Highlights für deinen Arbeitsalltag

  • Entscheidungslogik ohne Chattext. Nutze Jev-artige Fragen für Support-Tickets: Ja/Nein für Spam, Auswahl für Routing, Score für Dringlichkeit. Eine feste Schwelle plus Confidence macht Entscheidungen auditierbar und billig. Für Reranking: Vorfilter mit BM25, dann 100 Kandidaten von Jev bewerten lassen.1
  • Grok 4.6 in Bedrock praktisch einsetzen. Converse API mit Streaming vereinfacht Integrationen. Setze reasoning_effort nur dort hoch, wo es zählt, sonst frisst es Tokens. Das große Kontextfenster trägt Agenten über längere Aufgaben und Codebasen.2
  • Kostenabweichungen erkennen wie BMW. Täglich Forecasts je Konto-Service mit 365 Tagen Historie, Prophet-Baseline, Abweichung außerhalb Konfidenzintervall plus Filter: mindestens 40 % Abweichung und ein Mindest-Dollar-Impact je Cluster. Orchestrierung mit Step Functions und Lambda hielt BMWs Laufzeitkosten bei rund 50 US-Dollar pro Monat für 14.000 Konten.4

Tools und Updates

  • Cloudflare Python Workers GA. Python läuft jetzt offiziell auf Workers via Pyodide in WebAssembly. Gut für leichte Edge-APIs und Trigger, aber ohne Threads und Multiprocessing. Lokales Dev mit pywrangler simuliert die Laufzeit.5
  • Günstige Bild-Abfragen mit Logit-Read. Ein offener 4B-VLM liefert Ja/Nein per Logit-Read rund ein Drittel schneller und bis zu 85 % günstiger als JSON-Ausgabe, bei ähnlicher Genauigkeit laut Messung des Autors. Paket: glance-vlm. Anbieterangaben.6
  • Open WebUI v0.11.4. Deutlich kleinere Images, Terminal-Skills direkt im Chat, automatische Skill-Entdeckung, Datei-Diffs und EU-Websuche. Nützlich für schlanke Agent-Workflows on-prem.7
  • llm-keys-ui 0.1. Kleines Tool, um API-Keys sicher per Weboberfläche auf eine Maschine zu bringen, ohne sie in eine Agent-Session zu pasten. Praktisch bei Remote-Coding-Agents.8

In fünf Minuten ausprobieren

1) Öffne deinen KI-Chat und kopiere diese Aufgabe: „Analysiere drei Support-Tickets. Gib nur JSON zurück: Für jedes Ticket spam_prob (0..1), urgency_score (0..1), route aus ["Billing","Tech","Sales"], plus confidence für route. Tickets: 1) 'Rechnung doppelt abgebucht, bitte Erstattung' 2) 'Klick hier für Gratis-Gutschein http://…' 3) 'Demo-Termin nächste Woche, technische Fragen zu API Limits'.“1 2) Prüfe das JSON. Liegen spam_prob und urgency_score zwischen 0 und 1 und ist route eine der drei Optionen. Wenn nicht, bitte um Korrektur.1 3) Setze Entscheidungen: Markiere Spam bei spam_prob ≥ 0,8. Eskaliere bei urgency_score ≥ 0,7. Notiere die Schwellen in deinem Ticket-Runbook. Erwartetes Ergebnis: Eine valide JSON-Liste mit drei Objekten und klaren Routen. Prüfkriterium: Keine Route außerhalb der erlaubten Werte.1

Ein guter Fund

AI-Security als Ingenieurarbeit. Sichere Agenten brauchen harte Grenzen außerhalb des Prompts: Identität je Agent, minimale Rechte, Netzwerk- und Dateipfade als Policy, nachvollziehbare Logs von Tool-Calls. Teste vor dem Go-Live, ob Datenabfluss oder Rechteausweitung blockiert werden, und wiederhole Tests nach Änderungen. Open-Tools wie NVIDIA OpenShell setzen Policies durch, Partner wie DefenseClaw und JFrog ergänzen Governance und Skill-Prüfung.9

Quellen

  1. Jev introduces a new shape of LLM - System One, aka Decision Models (simonwillison.net)
  2. xAI’s Grok 4.6 is now available in Amazon Bedrock (aws.amazon.com)
  3. Reducing medical claims review time with AI on AWS: The EXL Medical IDP solution (aws.amazon.com)
  4. How BMW Group detects cost anomalies across 14,000 cloud accounts (aws.amazon.com)
  5. Cloudflare Python Workers are now generally available (simonwillison.net)
  6. @yoheinakajima: Jev-style logit read on a 4B open VLM, measured: https://t.co/bvA3ijRgkU 👀

vs the same model writing JSON: ⏳ ~1/3 less time for a yes/no on a full photo 🤑 up to ~85% less GPU cost (x.com) 7. Open WebUI v0.11.4 (github.com) 8. llm-keys-ui 0.1 (simonwillison.net) 9. AI Security Is an Engineering Problem — How to Solve It at Every Layer of the Agent Stack (blogs.nvidia.com)