Field Notes

Lange Videos automatisch erschließen, Audio billiger transkribieren, Agenten robuster bauen

Heute geht es um weniger Handarbeit in Video und Audio und um Agenten, die in der Praxis seltener patzen.

Wichtige KI-Nachrichten

Pegasus 1.5 analysiert ganze Videos und liefert Zeitstempel als JSON

TwelveLabs Pegasus 1.5 ist jetzt in Amazon Bedrock verfügbar. Das Modell zerlegt lange Videos in Segmente und gibt strukturierte, mit Zeitstempeln versehene Treffer als JSON zurück. Neu sind Video-Segmentierung, multimodales Prompting mit Bildreferenzen und Verarbeitung ohne Vorindizierung direkt aus S3 oder als Base64 bis 25 MB. Ein Request kann bis zu zwei Stunden Video abdecken. Zwei Analysemodi stehen bereit: generelle Q&A oder zeitbasierte Metadaten. Bereitstellung läuft on-demand in us-west-2 über InvokeModel, die Daten bleiben innerhalb der AWS-Grenzen. Wenn du viele Videos in S3 hast, kannst du ohne eigenen Index Sucharbeit automatisieren.1

Deepgram: 11–70 Prozent mehr Audio pro Dollar auf AWS Trainium2

Deepgram hat sein Speech-to-Text-Modell Nova-3 für Offline-Batch-Transkription auf AWS Trainium2 portiert. Acht Replikate laufen pro trn2.3xlarge-Instanz. In den gemessenen Batch-Workloads verarbeiteten sie 11–70 Prozent mehr Audio pro Dollar als die bisherigen Optionen. Die Berechnungen nutzen die damaligen Instanzpreise und stammen von AWS und Deepgram. Kunden, die Deepgram in einer eigenen VPC auf Amazon SageMaker AI betreiben, können davon ebenfalls profitieren. Für große Archiv- oder Contact-Center-Analysen senkst du so die Stückkosten.2

Meta führt semantische Tokenisierung in der Anzeigen-Empfehlung ein

Meta beschreibt GenRecs Tokenization als neue Datenrepräsentation für generative Empfehlungen. Statt einzelner IDs nutzt das System eine stabile semantische Vokabular-Abbildung, die Inhalte und Nutzerpräferenzen gemeinsam modelliert. Interne Messung: plus 0,35 Prozent Conversions im Februar 2026 in Kombination mit GEM und Adaptive Ranking Model. Das hilft beim Kaltstart neuer Anzeigen und beim Transfer zwischen Kampagnen. Hinweis: Die Zahlen kommen vom Anbieter. Du profitierst, wenn deine Creatives Text und Bilder klar beschreiben, weil das System beides nutzt. (Semantische Tokenisierung: Items werden über bedeutungstragende Token statt starre IDs repräsentiert.)3

EBU und NVIDIA erweitern „souveräne“ Medien-Standards, Adobe beschleunigt Videosuche

Die European Broadcasting Union arbeitet mit NVIDIA an referenzierbaren Architekturen für Nachrichtenzimmer und Produktion. Ziel ist der Einsatz von Agenten mit Kontrolle über Daten, Infrastruktur und Sicherheit. Microsoft und Nebius bringen Optionen für den Betrieb in souveränen Clouds ein. NVIDIA nennt Nemotron-Open-Modelle als Basis für anpassbare Lösungen. Adobe hebt parallel GPU-beschleunigte Suche in Frame.io hervor: etwa 5x schnelleres Embedding, bis zu 4x Durchsatz und bis zu 5x geringere Latenz, plus Proxy mit 2 fps, rund 80 Prozent kleiner. UFA nutzt semantische Suche, um Momente nach Konzept, Aktion oder Setting zu finden. Souveräne Cloud bedeutet: Workloads und Daten bleiben unter lokaler Hoheit.4

Highlights für deinen Arbeitsalltag

  • Du hast lange Videos im S3-Archiv. Mit Pegasus 1.5 definierst du die gesuchten Szenen, das Modell liefert Segmente mit Start- und Endzeiten als JSON. So baust du eine Stichwortsuche ohne Vorindizierung. Voraussetzung: Bedrock-Zugang und us-west-2.1

  • Deine Batch-Transkriptionen laufen teuer. Prüfe mit deinem Team, ob Trainium2 für Offline-STT in Frage kommt. Entweder als Self-Hosting von Deepgram in SageMaker AI oder als Angebot deines Anbieters. Ziel: mehr Audio pro Budget.2

  • Du baust Agenten für interne Abläufe. Trenne Router und Fachlogik. Der Orchestrator steuert Reihenfolge und Checks, die Fachagenten treffen die Domänentscheidungen. So senkst du Halluzinationen im Betrieb. (Multimodales Prompting: Texteingaben mit Bildern kombinieren.)5

Tools und Updates

  • TorchNeuron vereinfacht das Ausführen von Hugging-Face-Modellen auf AWS Trainium. Nützlich, wenn du Inferenzkosten drücken willst und bereits Trainium nutzt.6

  • OpenAI beschreibt Verbesserungen für ChatGPT bei Low-Resource-Sprachen in der Programmierung, inklusive Evaluierungen für Software-Engineering, SQLite und COBOL-Migration. Relevant für Legacy-Modernisierung.7

  • Vercel Shop für Shopify ist allgemein verfügbar. Das Next.js-Template macht Agenten zu „Erstklass-Shoppern“ und bietet MCP-Schnittstellen für Produktsuche und Warenkörbe. Gut für Teams, die Shopping-Automatisierung testen.8

  • NVIDIA NeMo Gym: Leitfaden zur Steigerung von Agenten-Zuverlässigkeit und effizientem Tool-Aufruf in Chip-Design-Workflows. Übertragbar auf andere mehrstufige Engineering-Abläufe.9

In fünf Minuten ausprobieren

Eine kleine Übung zum Thin-Orchestrator-Muster mit deinem bestehenden KI-Chat.

1) Wähle einen wiederkehrenden Prozess mit mehreren Schritten. Beispiel: Onboarding einer neuen Daten-Spalte in Bericht, Datenpipeline und Dashboard.

2) Schreibe einen kurzen Router-Plan mit fixen Schritten: Prüfe, ob die Spalte existiert. Sammle Pflichtfelder. Prüfe Warnungen. Delegiere an „Schema-Agent“, dann an „Validierungs-Agent“, dann an „Population-Agent“. Keine Domänenlogik im Router.

3) Formuliere die Anweisung für einen Fachagenten. Beispiel für den Schema-Agent: „Arbeite nur mit Schema-Dateien im Ordner X. Liefere Änderungen als Patch. Keine Code-Generierung. Liste offene Fragen.“ Teste ihn mit einem fiktiven Input.

Erwartetes Ergebnis: Der Fachagent liefert einen fokussierten, reproduzierbaren Schritt ohne Vermischung anderer Teilaufgaben.

Prüfkriterium: Zähle die nötigen Korrekturen gegenüber einem Ein-Agent-Versuch mit derselben Aufgabe. Weniger Korrekturen deuten auf weniger Kontext-Interferenzen.5

Quellen

  1. Pegasus 1.5 from TwelveLabs is now available in Amazon Bedrock (aws.amazon.com)
  2. How Deepgram optimized voice AI at scale with AWS Trainium (aws.amazon.com)
  3. GenRecs Tokenization: Transforming Ads Recommendation at Meta with Stable Model Vocabulary (engineering.fb.com)
  4. NVIDIA Advances Agentic Security for Media, From European Public Service Broadcasting to Global Content Production (blogs.nvidia.com)
  5. The Thin Orchestrator: How We Made Our AI Agents More Reliable by Giving the Router Less to Do (engineering.fb.com)
  6. TorchNeuron: running HF models on AWS Trainium is easier than ever (huggingface.co)
  7. Advancing Coding in Low-Resource Programming Languages (openai.com)
  8. @vercel: Vercel and @Shopify are making agents first-class shoppers. Vercel Shop, our Next.js storefront template for Shopify, is GA.

• Built on Shopify's rebuilt Hydrogen SDK • Agents can (x.com) 9. Optimizing Agent Reliability and Tool Calling Efficiency for Chip Design Using NVIDIA NeMo Gym (developer.nvidia.com)