Constanze Kurz — Stochastischer Papagei, Chatkontrolle und Palantir

Worum es geht

CCC-Sprecherin Constanze Kurz entmythologisiert generative KI als stochastischen Papagei — und verwebt das mit dem größeren Bild: Dieselbe Überwachungslogik, die hinter Palantir Gotham steckt, treibt auch Chatkontrolle, Vorratsdatenspeicherung und die UN-Cybercrime-Konvention an. Das Gespräch mit Tilo Jung (Jung & Naiv, Folge 827) ist ein Masterclass in techno-politischer Nüchternheit: keine Panik, keine Naivität — sondern das Seziermesser einer Informatikerin, die seit 30 Jahren Machtstrukturen in Code liest.

Quelle: Constanze Kurz (Chaos Computer Club) über Palantir & KI-Modelle — Jung & Naiv: Folge 827 · 21. Mai 2026

Wer spricht?

Constanze Kurz (geb. 1974, Berlin) ist promovierte Informatikerin, Redakteurin bei netzpolitik.org und seit zwei Jahrzehnten Sprecherin des Chaos Computer Clubs (CCC). Sie hat als technische Sachverständige vor dem Bundesverfassungsgericht zu Wahlcomputern, Vorratsdatenspeicherung, Staatstrojanern und dem BND-Gesetz ausgesagt — und ist eine der schärfsten Stimmen zur Kontrolle digitaler Machtstrukturen in Deutschland. Ihr Maßstab: nicht Empörung, sondern technische Präzision als Grundlage für Grundrechtsschutz.

Das Interview führt Tilo Jung (Jung & Naiv), Kurz ist zum siebten Mal Gast — seit Folge 106 im Jahr 2013.

→ DenkerVita

Der stochastische Papagei — was generative KI wirklich kann

▶ 22:06 — Kurz beginnt mit einer Demontage: Was gerade als KI-Durchbruch gilt, ist nach ihrer Einschätzung „zum allergrößten Teil Marketing”. Large Language Models, die eine bestimmte Größe überschreiten, entwickeln andere Fähigkeiten als kleinere — aber die Behauptungen der Konzerne gehen weit darüber hinaus.

Das Kernbild ist das des stochastischen Papageis — ein Begriff aus einem Grundlagenaufsatz von Bender et al. (2021): Sprachmodelle geben auf Basis von Wahrscheinlichkeiten wieder, was große Mengen menschlicher Texte statistisch nahelegen. Sie simulieren Sprache und Denken, ohne zu verstehen, was Sätze bedeuten.

„Das alte Schlagwort vom stochastischen Papagei ist true, also aus einer technischen Perspektive ist es sehr wahr.”

▶ 16:48 — Dass Modelle Stile imitieren können — „den Stil kriegen die gut hin” — bestätigt das Bild eher als das es widerlegt: Was aussieht wie Verständnis, ist Muster-Fortsetzung. Kurz illustriert das am Beispiel eines Sicherheitsprojekts (Mythos), das Schwachstellen in Quellcode finden soll:

„Am Ende ist auch ein Projekt wie Mythos ein stochastischer Papagei. Das heißt, er nimmt große Mengen Quellcode auf und kann daraus lernen. Das ist ja nicht so anders als bei Textgenerierung.”

Was das praktisch bedeutet: Die Menge generierter Schwachstellenberichte steigt dramatisch — mit einem Anteil, der schlicht Unsinn ist. Jemand muss priorisieren, filtern, fixen. Die Arbeit verschiebt sich, sie verschwindet nicht.

Weitergedacht

Wenn KI-Systeme Stile und Muster imitieren, ohne zu verstehen — ab wann wird Simulation gefährlich, weil wir aufhören zu prüfen, ob dahinter Substanz steckt?

KI als Marketingbegriff — und seine militärische Herkunft

▶ 20:34 — KI ist kein neuer Begriff. Kurz erinnert: Die Disziplin wurde in den 1960ern erfunden, um Drittmittel einzuwerben — ein Akademiker-Marketingbegriff von Anfang an. Informatiker lachten jahrzehntelang über die zyklischen Versprechungen: „Wenn man [das Ziel] erreicht hat, dann haben wir den Durchbruch.”

Und: KI war schon immer auch militärisch. „Das war schon immer auch eine Kritik daran, dass die Gelder von allen genommen haben.” Forschungsgelder flossen historisch über Militärbehörden, die akademische Distanz zur Rüstung war immer dünn — aber heute, nach dem Ukrainekrieg, erodieren selbst Zivilklauseln an deutschen Universitäten spürbar.

▶ 34:24 — Beim Anthropic-Pentagon-Fall zeigt Kurz eine nüchterne Perspektive: Als Anthropic sich weigerte, seine Modelle ohne Einschränkungen für das US-Militär freizugeben, wurde das breit als ethische Haltung gefeiert. Kurz bremst:

„Letztlich sind die ganzen großen Techkonzerne ja schon in den letzten zwei Jahren Vertragspartner geworden [von US-Militär und Geheimdiensten]. Mir scheint, dass die alte Debatte, wie man Software militärisch nutzen kann, zu selten geführt wird.”

Die PR-Geschichte „Anthropic lehnt ab” lenkt ab vom Grundproblem: Alle großen Anbieter sind längst tief im militärischen Komplex verankert. Ein Nein in einer Vertragsklausel ist kein struktureller Widerstand.

KI in Kriegen: Automation Bias und die Dehumanisierung des Tötens

▶ 47:24 — Militärs integrieren Technologie, das war immer so. Was sich verändert: Konzerne brüsten sich jetzt damit, Kurz nennt das einen kulturellen Wandel.

„Der für mich ist der große Unterschied, dass sich die Konzerne, die Ausrüster sind, damit jetzt brüsten. Die sagen: Wir optimieren den Krieg, wir beschleunigen den Krieg, wir optimieren die Zielauswahl. Und das war früher eigentlich eher sowas, was man nicht so gesagt hat.”

▶ 116:07 — Das Kernproblem in Kriegsszenarien benennt Kurz mit dem Begriff Automation Bias: Menschen neigen dazu, maschinellen Ergebnissen zu stark zu vertrauen — zu wenig Skepsis gegenüber Algorithmus-Outputs. Wenn Zielpersonen durch Software markiert werden, sinkt die kognitive Hürde, sie anzugreifen.

Dazu kommt die physische Distanz: Drohnenkrieg und automatisierte Zielerkennung entkoppeln den Akteur vom Akt. Die moralische Schwere des Tötens wird durch Interface und Algorithmus gefiltert.

Weitergedacht

Wenn Automation Bias dazu führt, dass Computerergebnisse unkritisch übernommen werden — wer trägt dann die Verantwortung, wenn ein Algorithmus eine Hochzeitsgesellschaft als Ziel markiert?

UN-Cybercrime-Konvention: Ein russischer Vorschlag als globaler Überwachungsvertrag

▶ 56:32 — Kaum bekannt, aber erheblich: Die UN-Cybercrime-Konvention war ein russischer Vorschlag — „darüber redet nie jemand gern”. Sie wurde von Demokratien lange kritisiert, schließlich aber nicht blockiert.

Das Problem: Sie verpflichtet alle Unterzeichnerstaaten, bei Cybercrime-Ermittlungen Daten herauszugeben — auch an Länder ohne demokratischen Rechtsrahmen. Ein russischer oder saudi-arabischer Geheimdienst kann also Anfragen an europäische Provider stellen, wenn ein Vorfall auf dem Papier unter „Cybercrime” fällt.

„Es ist ein riesengroßer Überwachungsvertrag.”

Das Gegenbild ist die Budapester Konvention — ein Datenaustausch-Abkommen unter demokratischen Ländern, mit Richtervorbehalten und ähnlichen Rechtsstandards. Die UN-Konvention dehnt dieses Modell auf Länder aus, die genau diese Standards nicht teilen. Verhandelt wird das in der Regel von Strafverfolgern — für die Grundrechtsüberlegungen „nicht so nah” sind.

EU-Chatkontrolle: Drei Jahre Stillstand, kein Ende in Sicht

▶ 62:40 — Fünf EU-Ratspräsidentschaften sind bereits daran gescheitert, die verpflichtende Chatkontrolle durchzusetzen. Gleichzeitig existiert eine freiwillige Variante: US-Konzerne scannen bereits heute Nachrichten auf strafbare Inhalte — legal, weil sie eine Ausnahme von der DSGVO erhalten haben.

Die verpflichtende Form würde bedeuten: Alle Messenger, einschließlich Ende-zu-Ende-verschlüsselter wie Signal, müssten gescannt werden. Technisch ginge das nur als Client-Side-Scanning — auf dem Gerät selbst, bevor die Verschlüsselung greift. Das ist de facto das Ende von Verschlüsselung als Grundrechtsschutz.

Kurz ist vorsichtig optimistisch, dass die verpflichtende Form scheitert — aber eindeutig:

„Vom Tisch ist die verpflichtende Chatkontrolle auch nicht.”

Weitergedacht

Wenn Behörden Client-Side-Scanning fordern, um Verschlüsselung zu umgehen — wird damit nicht genau die Infrastruktur gebaut, die autoritäre Regierungen für politische Verfolgung brauchen?

Vorratsdatenspeicherung: 20 Jahre alter Zombie, neue Bundesregierung

▶ 67:57 — Kurz macht eine Beobachtung, die ihresgleichen sucht: Sie arbeitet seit 13 Jahren in Berlin, und jede neue Bundesregierung versucht die Vorratsdatenspeicherung wieder einzuführen — obwohl Bundesverfassungsgericht und EuGH anlasslose Massenspeicherung für grundrechtswidrig erklärt haben.

Der neue Anlauf: IP-Adressen mit Begleitdaten, begrenzte Dauer. Der EuGH hat im Hadopi-Fall eine winzige Tür geöffnet — keine Profilierung, beschränkt auf das Notwendige. Diese Tür will die neue Regierung jetzt eintreten.

Kurz ist skeptisch, dass der aktuelle Entwurf EU-konform ist. Auffällig: Auch Telekommunikationsunternehmen (Telekom, Vodafone) widersprechen — nicht aus Grundrechtsliebe, sondern weil sie die Kosten tragen sollen. Die Koalition aus Grundrechtsschwärmern, Technikern und Wirtschaft gegen Überwachungsgesetze ist selten, aber real.

Biometrische Gesichtserkennung: Was sich verändert hat — und was fehlt

▶ 71:47 — Der Südkreuz-Test 2018 war ein “absoluter Failure”. Seitdem haben sich die Erkennungsraten für menschliche (westliche, weiße) Gesichter drastisch verbessert. Kurz bestätigt: Die Technologie funktioniert heute erheblich besser — insbesondere wenn der Bereich zwischen Augen und Nasenrücken sichtbar ist.

Was sich verändert hat, ist nicht nur die Technik. Es ist das Evaluationsregime:

„Das letzte Mal, dass das Bundesinnenministerium einen echten Evaluationsbericht veröffentlicht hat, war damals beim Südkreuztest. Jetzt lassen wir einfach sein.”

Tests in Mannheim und Hamburg werden intern evaluiert oder gar nicht ausgewertet. Die öffentliche Kontrolle fehlt. Das macht Kritik schwieriger — und ist vermutlich Absicht.

Palantir Gotham: 15.000 Zugriffe, Alltag statt Terror

▶ 75:37 — Palantir bewirbt seine Polizeiprodukte mit militärischer Ästhetik: Werbevideos „wie First-Person-Shooter”, KI-generiert, offensichtlich artifiziell. „Ich finde es völlig affig” — aber es kommt bei den Entscheidungsträgern an.

Gotham läuft in Bayern, NRW, Hessen und Baden-Württemberg. Das Versprechen: heterogene Polizeidaten zusammenführen, durchsuchbar und analysierbar machen. Was tatsächlich drin ist: Fallbearbeitungssysteme, Kriminalakten, Terrordatenbanken, Abrufwarten, Geheimdienst-Meldungen, teils auch Externaldaten aus dem Internet.

▶ 79:28 — Das Kernproblem ist die Zweckbindung. Wenn jemand Anzeige erstattet (Fahrraddiebstahl, Nachbarschaftsstreit), entstehen dabei Daten für einen spezifischen Zweck. Palantir Gotham analysiert diese Daten quer über alle Fälle und Datenquellen — das durchbricht die Zweckbindung systematisch.

▶ 89:21 — Die Zahlen sind beunruhigend nüchtern: In Hessen allein gibt es ca. 15.000 Zugriffe pro Jahr — das sind ~55 Anfragen an jedem Werktag. Journalistische Recherchen zeigen: Die meisten haben wenig mit Terrorabwehr oder schweren Gefahrenlagen zu tun. Es ist alltägliche Polizeiarbeit — für die das System ursprünglich nicht gedacht war.

„Sie verlassen sich auf dieses Produkt, sie sehen keine Alternative. Das muss man natürlich unterbinden.”

▶ 90:53 — Und paradoxerweise hat das BVerfG-Urteil 2023 (das Grenzen setzen sollte) eine Gesetzgebungsrallye ausgelöst: Sachsen-Anhalt, Thüringen, Berlin, Sachsen — alle beschließen oder planen gerade automatisierte Datenanalyse-Gesetze. Manche, sagt Kurz, „lesen nicht mal mehr das Urteil.”

Weitergedacht

Wenn der Vendor Lock-in so stark ist, dass Polizeibehörden erklären, sie könnten ohne Palantir nicht mehr arbeiten — hat der Staat dann seine technologische Souveränität bereits abgegeben?

Vibe-Coding: Wenn Simulation mit Programmieren verwechselt wird

▶ 107:43 — Vibe-Coding — Code generieren, ohne zu verstehen was rauskommt — ist für Kurz symptomatisch: “Du glaubst, dass Code generieren Coden ist. Dann hast du natürlich ein Problem in der Ausbildung.”

Softwareentwicklung ist Problemlösen. Ein stochastischer Papagei, der keine Semantik versteht, kann das simulieren — aber wer garantiert die Korrektheit? Senior Developer, die den generierten Code aufräumen, sind Kurz zufolge gerade überall. Das Handwerk stirbt nicht, aber es wandert: vom Schreiben zum Prüfen.

Die eigentliche Sorge richtet sich an junge Informatiker: „Die glauben, dass generieren dasselbe ist wie programmieren.” Wenn eine Generation Entwickler aufwächst, die nicht mehr weiß, was Algorithmen eigentlich tun — wer prüft dann die Systeme, die über Leben und Freiheit entscheiden?

Faktencheck

Bestätigt — Palantir Gotham in vier Bundesländern

Bayern, NRW, Hessen und Baden-Württemberg nutzen Palantir Gotham aktiv. Quelle: Die Abkehr von Palantir hat begonnen — correctiv.org

Bestätigt — UN-Cybercrime-Konvention: russischer Ursprung

Die UN-Cybercrime-Konvention wurde 2019 auf russische Initiative hin beim UN-Ausschuss eingebracht. Quelle: UN Adopts Controversial Cybercrime Treaty — Lawfare

Bestätigt — 15.000 Palantir-Zugriffe in Hessen

Laut Landtag-Anfragen wurden 2023 über 15.000 Datenbankabfragen über Hessendata (Palantir) durchgeführt. Quelle: Hessendata: 15.000 Zugriffe im Jahr — netzpolitik.org

Bestätigt — stochastischer Papagei: Bender et al. 2021

Der Begriff stammt aus: Bender et al. (2021), „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”, FAccT ‘21. Quelle: ACM Digital Library

Vereinfacht — EU-Chatkontrolle: fünf Ratspräsidentschaften gescheitert

Kurz sagt „fünf” — die genaue Zahl der gescheiterten Versuche variiert je nach Zählung (Trilog-Runden vs. Ratspräsidentschaften). Der Kern stimmt: Seit 2022 scheitern Einigungsversuche wiederholt. Quelle: Chatkontrolle: Der Stand im Mai 2026 — netzpolitik.org

Vereinfacht — Vorratsdatenspeicherung: EuGH-Hadopi-Urteil

Kurz beschreibt ein EuGH-Urteil im „Hadopi-Fall” als jüngste Tür-Öffnung für IP-Adressen-Speicherung. Das Bezugsurteil ist EuGH C-470/21 (La Quadrature du Net, 2024) — Hadopi war Teil des Kontexts, aber nicht der alleinige Fallname. Quelle: EuGH C-470/21 — Kurzanalyse

Weiterführende Quellen

Aus der Video-Beschreibung:

• Jung & Naiv Forum — Diskussion zur Folge

Im Gespräch erwähnte Quellen und Konzepte:

• Bender et al. (2021): On the Dangers of Stochastic Parrots — das Paper, das den Begriff stochastischer Papagei prägte
• Hessendata — erneute Verfassungsbeschwerde (GFF/netzpolitik.org) — zweite GFF-Klage gegen das neue Hessen-Gesetz
• UN Cybercrime Treaty — Analyse (Lawfare) — kritische Einordnung der Konvention
• EU KI-Verordnung: Hochrisiko-Einstufung (European Parliament) — Grundlage für Palantir-Einstufung als Hochrisiko

Verbindungen

→ Kurz und Goerlitz — Palantir und die deutsche Polizei

Direkte Fortführung: Der re:publica-Vortrag mit Franziska Görlitz (Mai 2026) brachte die technisch-juridische Tiefenanalyse von Palantir Gotham. Das Jung & Naiv-Gespräch bettet denselben Komplex in einen breiteren KI-Kritik-Rahmen ein — stochastischer Papagei, militärische KI, Chatkontrolle — und macht deutlich, dass Palantir kein Einzelfall ist, sondern Symptom einer umfassenderen Überwachungslogik.

→ Rainer Mühlhoff — Künstliche Intelligenz und der neue Faschismus

Mühlhoffs Konzept der Kybernetik als Machtstruktur ist der theoretische Hintergrund für Kurz’ technische Beobachtungen: Der stochastische Papagei ist für Mühlhoff kein Missverständnis, sondern Funktion — Systeme, die Entscheidungen aus menschlichen Händen nehmen, ohne Verantwortung zu übernehmen.

→ Anna-Verena Nosthoff — Kybernetik und die Macht der Tech-Eliten (scobel)

Nosthoff zeigt die historische Genealogie kybernetischer Steuerungslogik — Wieners Antiaircraft-Predictor als Vorläufer heutiger Targeting-Systeme. Kurz’ Hinweis, dass militärische KI nie neu war, sondern der Begriff sich geändert hat, deckt sich mit Nosthoffs Befund: Die Logik ist dieselbe, die Sprache wechselt.

→ Ronen Steinke — Meinungsfreiheit Voelkermord und Verfassungsschutz

Steinke analysiert den Chilling-Effekt geheimdienstlicher Beobachtung auf legales Verhalten. Kurz beschreibt denselben Mechanismus bei Palantir Gotham und der Chatkontrolle — zwei Instrumente, eine Pathologie: Verhaltensveränderung durch die bloße Existenz des Netzes, nicht erst durch konkrete Eingriffe.

→ Dahlmann und Kuhle — Senkt KI die Hemmschwelle zum Krieg

Dieselbe Palantir-Infrastruktur am anderen Ende: Was Kurz als zivile Überwachungslogik freilegt, nutzt die NATO als Maven Smart System für die Kill Chain — die re:publica-Debatte diskutiert, wer diese Systeme kontrolliert und wer für sie haftet.

→ Catrin Misselhorn — Grundfragen der Maschinenethik

Dieselbe Entmythologisierung philosophisch statt technisch: Wo Kurz den stochastischen Papagei zeigt, erklärt Misselhorn über das chinesische Zimmer, warum Syntax nie Semantik wird — und warum die Vermenschlichung trotz besseren Wissens wirkt (Empathie als Illusion).

Weiterdenken

Was Sokrates vielleicht gefragt hätte

• Wenn generative KI nur simuliert zu verstehen — warum bauen wir darauf Systeme, die über Verdacht, Gefährdung und Zielauswahl entscheiden?
• Kurz nennt Automation Bias als Kernproblem: Menschen vertrauen Algorithmen zu stark. Aber wäre weniger Vertrauen auch gefährlich — würde dann niemand mehr die Ergebnisse nutzen, selbst wenn sie helfen?
• Die UN-Cybercrime-Konvention wurde von Russland vorgeschlagen und von Demokratien mitbeschlossen. Was sagt das über das Verhältnis von Strafverfolgungsinteressen und Grundrechten, wenn globale Institutionen entscheiden?
• Wenn Polizeidaten für einen Zweck erhoben werden, aber für andere genutzt werden dürfen — was bleibt dann von der informationellen Selbstbestimmung als Recht, nicht als Versprechen?
• Vibe-Coding und der stochastische Papagei: Wenn eine Generation aufwächst, die glaubt, Generieren sei Denken — wer trägt dann die Verantwortung für die Systeme, die so entstehen?

→ Koshi Politik — ICE, Palantir und der Überwachungsstaat

Palantir als globales Instrument: Was Kurz für Deutschland beschreibt (Zweckbindungsbruch, 15.000 Zugriffe, alltägliche Polizeiarbeit statt Terrorbekämpfung), vollzieht sich in den USA bei ICE als direkte Abschiebungsinfrastruktur — inkl. Gesichtserkennung mit dokumentierten Rassismus-Bias und Datenkauf bei Brokern um Supreme-Court-Urteile zu umgehen. Dieselbe Firma, dieselbe Logik, verschiedene staatliche Zwecke.

→ Adam Tooze — Pentagon vs. Anthropic

Kurz bremst explizit das Anthropic-Lob: Ein Nein in einer Vertragsklausel sei kein struktureller Widerstand, alle großen Anbieter sind längst tief im Militärkomplex. Tooze liefert die politökonomische Theorie dazu: der Staat (Hegseth/Pentagon) zwingt Tech-Unternehmen zur militärischen Kooperation und bestraft Widerstand mit Blacklist-Drohungen — womit er auch Kurz’ Nüchternheit gegenüber dem Anthropic-Narrativ erklärt.

→ Neitzel und Iltisberger — Hype Is a System

Neitzel/Iltisberger zeigen, dass nüchterne Contrarian-Stimmen im Hype-System strukturell nicht gehört werden — weil das Attention System Zuspitzung und Gewissheitsbehauptungen bevorzugt. Kurz’ stochastischer Papagei ist exakt dieser Typus: präzise, technisch, ohne Panik. Die systemische Frage lautet, warum eine CCC-Sprecherin mit 30 Jahren Expertise zum KI-Hype kaum Gegengewicht bildet.

→ Katharina Nocun — Wie KI-Content das politische Vorfeld der extremen Rechten praegt

Nocun zeigt, was passiert, wenn stochastische Papageien auf Propagandazwecke treffen: KI-Slop skaliert Great-Replacement-Bildwelten algorithmisch, ohne dass jemand lügt — es wird nur wahrscheinlichkeitsbasiert fortgesetzt. Kurz’ technische Kritik an LLMs und Nocuns politische Analyse der KI-Propaganda sind zwei Seiten derselben Architektur: Was auf der Technikebene Muster-Fortsetzung ist, ist auf der politischen Ebene Faktizitätserschöpfung.