Agenten werden dauerhaft, LaborkI rückt vor, Benchmarks im Check

Die Woche in fünf Punkten

1. Deepmind erweitert Co-Scientist. Die KI plant Experimente, bedient Laborgeräte und schreibt Paperentwürfe. Bisher gibt es nur die Anbieter-Demo, eine unabhängige Prüfung fehlt. Arbeitest du im Labor, richte klare Rollen, Freigaben und Logfiles ein.¹

2. Deepmind testet eine doppelblinde Bewertung für Frontier-Modelle, eine Doppelblind-Studie, bei der weder Bewertende noch Entwickelnde wissen, was geprüft wird. Ziel ist belastbarere Resultate ohne Leaken von Testsets. Das ist ein Test, kein Standard. Wenn du Benchmarks baust, verstecke Modellnamen und mische Aufgaben systematisch.²

3. OpenAI arbeitet an einem Persistent Mode für seinen Codex-Agenten, also ein dauerhafter Agentenzustand mit Selbststart und Gedächtnis. Das Feature ist in Arbeit und nicht verfügbar. Planst du Agenten, rechne mit Hintergrundläufen, Budgets, Eskalationen und Audit-Trails.³

4. Ein US-Bundesgericht erklärt das Pentagon-Blacklisting von Anthropic für rechtswidrig. Das schwächt die Grundlage für politische Eingriffe in Beschaffungen. Wenn du für US-Behörden arbeitest, prüfe Verträge und Risiko-Klauseln.⁴

5. Ein Anthropic-Forscher zeigt einen Einblick in selbstverbessernde Sicherheitssysteme. Gegeben zehn Benchmarks für Fehlverhalten stiegen die Scores auf allen, ohne Einbruch anderswo. Das ist ein Einzelfund ohne Peer Review. Baust du Safety-Evals, erwarte Optimierung auf die Metrik und variiere deine Tests.⁵

Quellen

1. Google Deepmind's AI Co-Scientist now plans experiments, runs lab equipment, and writes scientific papers (the-decoder.com)
2. AI benchmarks have a trust problem and Google wants to fix it (the-decoder.com)
3. Always-on and self-starting AI agents might be OpenAI's next big play (the-decoder.com)
4. U.S. court rules Pentagon's blacklisting of Anthropic was unlawful (the-decoder.com)
5. An Anthropic researcher just gave us a peek at self-improving AI (techcrunch.com)