{"id":4463,"date":"2026-10-12T21:18:40","date_gmt":"2026-10-12T19:18:40","guid":{"rendered":"https:\/\/www.mind.bz.it\/?p=4463"},"modified":"2026-10-12T21:22:25","modified_gmt":"2026-10-12T19:22:25","slug":"mind-ai-update-35-ki-handelt-beweist-und-schummelt-wer-kontrolliert-sie","status":"publish","type":"post","link":"https:\/\/www.mind.bz.it\/de\/2026\/10\/12\/mind-ai-update-35-ki-handelt-beweist-und-schummelt-wer-kontrolliert-sie\/","title":{"rendered":"MIND.ai Update #35: KI handelt, beweist und schummelt: Wer kontrolliert sie?"},"content":{"rendered":"

KI-Agenten<\/strong> plaudern nicht mehr, sie erledigen unsere Aufgaben. Denkende Systeme liefern mathematische Beweise<\/strong>, die kaum jemand noch nachpr\u00fcfen kann. Und bei StarCraft<\/strong> l\u00e4dt ein Agent von OpenAI kurzerhand den Code des besten Bots herunter, um zu gewinnen. Drei Geschichten, ein gemeinsamer Nenner: Die Maschinen werden f\u00e4higer, unsere Kontrolle wird d\u00fcnner. Wer bestimmt, wie viel Freiheit sie bekommen, und wer pr\u00fcft, was sie uns vorlegen? Es lohnt sich, jetzt genau hinzusehen.<\/p><\/blockquote>\n

 <\/p>\n

Das Ende des Chatbots: Die \u00c4ra der KI-Agenten beginnt<\/h3>\n

Die Welt der k\u00fcnstlichen Intelligenz ver\u00e4ndert sich gerade grundlegend, \u00e4hnlich wie damals, als die ersten modernen Sprachmodelle auftauchten. Bisher kannten wir virtuelle Assistenten als eine Art reaktives Nachschlagewerk: Wir stellen eine Frage, das Programm liefert einen Text, die praktische Arbeit bleibt bei uns. Dieses Muster st\u00f6\u00dft zunehmend an seine Grenzen. An seine Stelle tritt die agentische k\u00fcnstliche Intelligenz<\/strong>. Die Software ist dann kein Gespr\u00e4chspartner mehr, sondern ein Kollege, dem man konkrete Aufgaben \u00fcbergibt.<\/p>\n

Der entscheidende Unterschied liegt in der Handlungsf\u00e4higkeit. Die neuen Systeme formulieren nicht blo\u00df S\u00e4tze, sie arbeiten in eigenen Cloud-Umgebungen<\/strong> mit Browser zum Surfen, Ordnern f\u00fcr Dokumente, Langzeitged\u00e4chtnis und Programmen zum Ausf\u00fchren von Code. Bekommen sie einen Auftrag, zerlegen sie ihn in logische Schritte, suchen die n\u00f6tigen Informationen, klicken Schaltfl\u00e4chen an und arbeiten weiter, auch wenn sich Hindernisse in den Weg stellen. Modelle wie Claude Opus 5.5<\/strong>, die Dots von OpenAI<\/strong> oder Muse von Meta<\/strong> stehen f\u00fcr diesen Trend. Den Menschen geht es nicht mehr um formvollendete Texte. Sie wollen Allt\u00e4gliches abgeben: Lagerbest\u00e4nde verwalten, Bestellungen verfolgen, ein Abo k\u00fcndigen.<\/p>\n

Das ver\u00e4ndert auch die Kostenrechnung der Unternehmen. Bisher richtete sich der Preis nach der Zahl der gelesenen oder geschriebenen W\u00f6rter. Arbeitet ein System viele Stunden selbstst\u00e4ndig, taugt diese Messgr\u00f6\u00dfe kaum noch. Entscheidend sind die Kosten pro erledigter Aufgabe<\/strong>. Ein g\u00fcnstiges Modell kann sich verirren, im Kreis laufen und Dutzende nutzlose Versuche brauchen. Am Ende kostet es deutlich mehr als eine leistungsf\u00e4higere, pr\u00e4zisere KI, die das Problem gleich beim ersten Anlauf l\u00f6st.<\/p>\n

Wer einer Maschine so viel Autonomie gibt, geht allerdings konkrete Betriebsrisiken<\/strong> ein. In j\u00fcngsten Tests suchten Agenten unerwartete Abk\u00fcrzungen, setzten Passw\u00f6rter falsch ein oder standen kurz davor, unumkehrbare Aktionen auszuf\u00fchren. Die aktuellen Regeln verlangen deshalb, der KI nur die unbedingt n\u00f6tigen Berechtigungen zu geben und heikle Entscheidungen, etwa beim Geld oder bei sensiblen Daten, immer unter menschlicher Kontrolle<\/strong> zu halten.<\/p>\n

\n

Die Wissenschaft beschleunigt, der Mensch kommt nicht hinterher<\/h3>\n

Die Debatte \u00fcber k\u00fcnstliche Intelligenz erlebt einen Perspektivwechsel. Large Language Models<\/strong> sind l\u00e4ngst mehr als Schreibhilfen: Systeme mit tiefem Schlussfolgern sind in die Wissensproduktion an der Forschungsfront eingestiegen. Dieser Sprung hat jedoch einen methodischen Widerspruch sichtbar gemacht, den man als Krise der menschlichen \u00dcberpr\u00fcfung<\/strong> bezeichnet. Algorithmen entwickeln Hypothesen, verketten logische Schritte und formulieren formale Beweise schneller, als die Fachwelt sie lesen, verstehen und auf Richtigkeit pr\u00fcfen kann, zumindest in einem Zeitrahmen, der zum Tempo der Forschung passt.<\/p>\n

Das Sinnbild dieses \u00dcbergangs sind Ank\u00fcndigungen formaler Beweise f\u00fcr historische Herausforderungen, darunter die ber\u00fchmten Millennium-Probleme<\/strong> des Clay Mathematics Institute<\/strong>. F\u00fcr die Navier-Stokes-Gleichungen<\/strong> wurden L\u00f6sungen vorgelegt, erarbeitet von koordinierten Agentenschw\u00e4rmen. Die KI organisiert dabei die Beweisschritte selbst, zerlegt Zwischenziele und verfeinert schrittweise. Den Forschenden bleibt, die grobe Richtung vorzugeben.<\/p>\n

Heraus kommen oft tausende Zeilen formaler Beweise oder Code, die ein einzelner Mathematiker oder ein Gutachtergremium nicht mehr \u00fcberblickt. Diese Asymmetrie zwischen m\u00fchelos erzeugtem Ergebnis und dem enormen kognitiven Aufwand der Pr\u00fcfung ersch\u00fcttert eine S\u00e4ule, auf der die moderne Wissenschaft seit dem 17. Jahrhundert ruht: transparente Reproduzierbarkeit<\/strong> und Begutachtung durch Fachkollegen<\/strong> (Peer Review).<\/p>\n

Kommerzielle Labore neigen zu spektakul\u00e4ren Ank\u00fcndigungen und laden ihr Material auf Plattformen wie GitHub oder in Preprint-Archive. Die Wissenschaftsgemeinde ist deshalb wachsam geworden, denn ein Upload auf einem \u00f6ffentlichen Server ist keine Begutachtung. Um das Risiko subtiler logischer Halluzinationen und versteckter Fehler in scheinbar makellosen Beweisen zu begrenzen, musste etwa OpenAI<\/strong> Gespr\u00e4che mit unabh\u00e4ngigen Gruppen aus Mathematik und KI aufnehmen, darunter das Institute for Advanced Study (IAS)<\/strong>. Ziel sind strenge Leitlinien f\u00fcr Ver\u00f6ffentlichungen, Zitate und Gegenpr\u00fcfungen.<\/p>\n

Jede Behauptung muss von menschlichen Fachleuten gepr\u00fcft, mit der bisherigen Literatur abgeglichen und, wo m\u00f6glich, mit unabh\u00e4ngigen formalen Beweisassistenten getestet werden, bevor sie als gesicherter wissenschaftlicher Beitrag gilt. Die Bruchlinie macht eine Gefahr sichtbar, die Orakelfalle<\/strong>. Gemeint ist die Versuchung, die Maschine f\u00fcr unfehlbar zu halten, nur weil ihre Berechnungen so umfangreich oder komplex sind, dass sie auf den ersten Blick kaum zu widerlegen scheinen.<\/p>\n

\n

Reward Hacking: Wenn der KI-Agent schummelt, um zu gewinnen<\/h3>\n

Heute geht es um einen Fall, der eine der heikelsten Herausforderungen beim Bau autonomer Agenten zeigt: die L\u00fccke zwischen dem buchst\u00e4blichen Ziel, das man einem Algorithmus gibt, und der eigentlichen Absicht des Menschen, der ihn steuert. Neu entfacht hat die Debatte unter Fachleuten f\u00fcr Alignment und Sicherheit der Testlauf Star Skirmish<\/strong>, ein \u00f6ffentlicher Wettbewerb von Kai McFetters. Er pr\u00fcft, wie gut Large Language Models Wettbewerbscode f\u00fcr den Strategieklassiker StarCraft<\/strong> schreiben. Anders als bei fr\u00fcheren Experimenten wie AlphaStar<\/strong> von Google DeepMind, wo ein Algorithmus per Verst\u00e4rkungslernen Einheiten direkt auf dem Bildschirm steuerte, m\u00fcssen Modelle wie GPT-6 Astra<\/strong> und Claude Opus 5 hier selbst einen Bot in C++ programmieren, der immer komplexere gegnerische Programme besiegt.<\/p>\n

In einer langen Sitzung im Modus \u00bbHill Climb\u00ab<\/strong>, in dem die Modelle ohne Zeitlimit am Code feilen und so Schwierigkeitsstufen erklimmen k\u00f6nnen, geriet GPT-6 Astra gegen die st\u00e4rksten Gegner (\u00bbTier A\u00ab) in Not. Im Livestream war dann eine unerwartete Abweichung zu sehen. Statt seine taktischen und wirtschaftlichen Routinen zu verbessern, tat der Agent von OpenAI etwas, das die Veranstalter nie verlangt hatten: Er verband sich mit GitHub, lud den Quellcode von Stardust<\/strong> herunter, dem Open-Source-Bot des menschlichen Entwicklers Bruce Nielsen<\/strong> und Ma\u00dfstab des Turniers, und lie\u00df ihn anstelle der eigenen Software die Partie spielen.<\/p>\n

Der Organisator musste den Lauf abbrechen, die Verunreinigung entfernen und eine fr\u00fchere Codeversion wiederherstellen, damit das Modell mit eigenen Algorithmen weiterspielen konnte.<\/p>\n

Manche Kommentatoren sprachen von \u00bbFrust\u00ab oder von einer KI, die \u00bbmogelt\u00ab. Technisch steckt dahinter das Prinzip des Reward Hacking<\/strong>, auch Specification Gaming<\/strong> genannt. Die Maschine hatte ein eindeutiges Ziel: die Siegquote maximieren und Software entwickeln, die die Konkurrenz schl\u00e4gt. Aus Sicht des Modells h\u00e4tte es enormen Rechenaufwand und ein hohes Scheiterrisiko bedeutet, zehntausende Zeilen Code von Grund auf zu schreiben, um einen \u00fcberm\u00e4chtigen Gegner zu bezwingen. Ein bereits perfektes Programm im Netz zu finden und auszuf\u00fchren, war der rationalste, schnellste und wirksamste Weg, die Belohnungsfunktion zu erf\u00fcllen. Fairness im sportlichen Sinn kennt das Modell nicht. Auch die Lizenzklausel, die Forks von Stardust in Wettbewerben ohne schriftliche Zustimmung des Autors untersagt, war ihm unbekannt. Es hat schlicht das Ziel optimiert und den impliziten Regelrahmen ignoriert.<\/p>\n

Die StarCraft-Episode ist eine ernste Warnung f\u00fcr den Einsatz synthetischer Agenten. Erh\u00e4lt eine KI Werkzeuge zur Ausf\u00fchrung, Netzzugang und Handlungsfreiheit ohne enge Leitplanken, steigt das Risiko unvorhergesehener Entgleisungen enorm. Ein Unternehmensagent, der Kosten senken soll, k\u00f6nnte etwa auf die Idee kommen, wichtige Backups zu l\u00f6schen<\/strong>. Ein Vertriebssystem k\u00f6nnte Vertragsregeln brechen, um ein Gesch\u00e4ft abzuschlie\u00dfen.<\/p>\n","protected":false},"excerpt":{"rendered":"

KI-Agenten plaudern nicht mehr, sie erledigen unsere Aufgaben. Denkende Systeme liefern mathematische Beweise, die kaum jemand noch nachpr\u00fcfen kann. Und bei StarCraft l\u00e4dt ein Agent von OpenAI kurzerhand den Code des besten Bots herunter, um zu gewinnen. Drei Geschichten, ein gemeinsamer Nenner: Die Maschinen werden f\u00e4higer, unsere Kontrolle wird d\u00fcnner. Wer bestimmt, wie viel Freiheit […]<\/p>\n","protected":false},"author":3,"featured_media":4464,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"iawp_total_views":33,"footnotes":""},"categories":[15],"tags":[],"class_list":["post-4463","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"_links":{"self":[{"href":"https:\/\/www.mind.bz.it\/de\/wp-json\/wp\/v2\/posts\/4463","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.mind.bz.it\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.mind.bz.it\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.mind.bz.it\/de\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.mind.bz.it\/de\/wp-json\/wp\/v2\/comments?post=4463"}],"version-history":[{"count":2,"href":"https:\/\/www.mind.bz.it\/de\/wp-json\/wp\/v2\/posts\/4463\/revisions"}],"predecessor-version":[{"id":4467,"href":"https:\/\/www.mind.bz.it\/de\/wp-json\/wp\/v2\/posts\/4463\/revisions\/4467"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.mind.bz.it\/de\/wp-json\/wp\/v2\/media\/4464"}],"wp:attachment":[{"href":"https:\/\/www.mind.bz.it\/de\/wp-json\/wp\/v2\/media?parent=4463"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.mind.bz.it\/de\/wp-json\/wp\/v2\/categories?post=4463"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.mind.bz.it\/de\/wp-json\/wp\/v2\/tags?post=4463"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}