GedankenraumCatrin Misselhorn — Grundfragen der Maschinenethik
Maschinen können handeln, aber nicht verantworten — Misselhorns drei Grundsätze ziehen die Grenze, hinter die kein Komfort der Automatisierung zurückführen darf.
🎨
René Magritte — surrealistische Klarheit über das Verhältnis von Bild und Wirklichkeit. Die Roboterhand, die der menschlichen entgegenkommt, existiert nur im Bilderrahmen — außerhalb setzt sie sich nicht fort. Das ist Misselhorns Doppelthese in einem Bild: Die Maschine simuliert die Begegnung (Fake Art, Empathie-Illusion), und wir strecken die Hand trotzdem aus — das Michelangelo-Echo inbegriffen.
Prompt: Surrealist oil painting in the style of René Magritte: a human hand and a robotic mechanical hand reaching toward each other in front of a calm blue sky with white clouds, but the robotic hand exists only inside an ornate picture frame standing on an easel — outside the frame it does not continue; soft even daylight, crisp edges, muted blue-grey palette with warm skin tones, quiet philosophical stillness, no text, no faces, no photorealism, wide banner composition
Maschinen können handeln, aber nicht verantworten — auf dieser Unterscheidung baut Catrin Misselhorn, Deutschlands Vordenkerin der Maschinenethik, ihr ganzes Werk. Vier Stunden Jung & Naiv: von der Theodizee-Frage der Teenagerin über das chinesische Zimmer bis zu ihren drei Grundsätzen der Maschinenethik — warum KI die Selbstbestimmung fördern soll, nie über Leben und Tod entscheiden darf und immer ein Mensch die Verantwortung tragen muss. Dazwischen: warum unsere Empathie mit Robotern eine Illusion ist, die trotzdem moralisch zählt, warum KI-Kunst „Fake Art" ist — und ein bemerkenswertes Gespräch mit dem KI-Agenten der Sendung über dessen eigene Grenzen.
Zweite Tagesnote zum 16. Juli, dem AI Appreciation Day am Jahrestag der ersten Atombombenzündung (Trinity, 16.07.1945): Nach der re:publica-Debatte über KI in der Kill Chain (Senkt KI die Hemmschwelle zum Krieg? — Dahlmann und Kuhle auf der re:publica) hier der philosophische Unterbau — die Ethikerin, die begründet, warum die Maschine nicht über Leben und Tod entscheiden darf.
Quelle: Philosophin Catrin Misselhorn über KI- & Roboter-Ethik — Jung & Naiv: Folge 835 (25.06.2026, 4:08 h)
Catrin Misselhorn (*1970, Stuttgart) — Philosophin, seit April 2019 Professorin an der Georg-August-Universität Göttingen, davor Lehrstuhl für Wissenschaftstheorie und Technikphilosophie in Stuttgart (in der Nachfolge von Max Bense). Promoviert und habilitiert in Tübingen bei Manfred Frank; der Wendepunkt zur Maschinenethik kam 2007/08 als Postdoktorandin in Genf und Paris (Affective Sciences, Institut Jean Nicod). Sie gilt als Vordenkerin der Maschinen- und Roboterethik in Deutschland.
Aufgewachsen in einer Stuttgarter Ingenieursfamilie, kaufte sie sich in den 80ern vom Taschengeld ihren ersten Atari — aus philosophischem Interesse: Ist der Geist eine Software, die auf dem Gehirn läuft? Gegen das Berufs-Weltbild der Eltern („Philosophie? Da wirst du Kassiererin beim Aldi") setzte sie das Studium durch; ein bereits zugesagter Medizinstudienplatz blieb ungenutzt.
Wichtigste Werke: Grundfragen der Maschinenethik (Reclam, 2018), Künstliche Intelligenz und Empathie (Reclam, 2021), Künstliche Intelligenz — das Ende der Kunst? (Reclam) Kernkonzepte: gemäßigter Naturalismus, graduelle Handlungsfähigkeit, Empathie als Illusion, drei Grundsätze der Maschinenethik, Fake Art, Dialektik des Technischen
Gott, Geist, Gerechtigkeit — die Fragen, die eine Teenagerin nicht losließen
4:34 — Misselhorns Weg in die Philosophie beginnt nicht an der Universität, sondern in der evangelischen Jugendarbeit. Dort stößt sie auf das Theodizee-Argument — wenn Gott allmächtig, allwissend und allgütig ist, wie kann es dann Leiden geben? — und merkt, dass ihre Fragen „gar nicht blöd" sind, sondern seit über zweitausend Jahren gestellt werden. Drei Fragen bleiben: Gott, Geist, Gerechtigkeit. Bei der Gerechtigkeit kommt sie am weitesten — Rawls' Schleier der Unwissenheit überzeugt sie bis heute als „realistische Utopie". Beim Geist führt der Weg über den ersten Atari zur Frage, ob der Geist Software ist. Und bei Gott bleibt eine ehrliche Offenheit, die zum Schönsten des Gesprächs gehört: Wenn sie im Chor geistliche Musik singt, hat sie „tatsächlich eine Gotteserfahrung" — eine Empfindung von Vollkommenheit, die über die menschliche Endlichkeit der Komponisten hinauszugehen scheint. Sie erklärt diese Erfahrung nicht weg; sie notiert sie als etwas, das sie „noch mal intellektuell untersuchen" müsste.
55:42 — Ihr methodisches Fundament nennt sie gemäßigten Naturalismus: Philosophische Theoriebildung darf den Naturwissenschaften nicht nur nicht widersprechen (das wäre der schwache Naturalismus), sie soll deren Evidenzen aktiv als Stütze nutzen — ohne sich darin zu erschöpfen. Den radikalen Naturalismus („die Naturwissenschaften sagen uns alles") hält sie schlicht für falsch: Modale Erkenntnis, das Thema ihrer Doktorarbeit, lässt sich nicht empirisch gewinnen.
Dieser gemäßigte Naturalismus ist fast wörtlich die Haltung dieser Gedankenwelten — Evidenz vor Meinung, ohne die Philosophie an die Empirie zu verraten. Bemerkenswert ist, wie Misselhorn die Spiegelneuronen-Forschung als Beispiel nennt: Naturwissenschaft stützt ihre Empathie-Theorie, ersetzt sie aber nicht. Das ist gelebte zweite Säule — und zugleich eine Absage an beide bequemen Extreme, das szientistische wie das geisteswissenschaftlich-abgeschottete.
Warum Maschinen rechnen, aber nicht denken
74:51 — Zwei Gedankenexperimente haben die junge Misselhorn davon überzeugt, dass Computer nicht denken: Blocks Chinese Nation (die gesamte chinesische Bevölkerung simuliert per Handy-Anrufkette ein Gehirn — und hätte doch kein phänomenales Bewusstsein) und Searles chinesisches Zimmer. Ihre Zusammenfassung ist von entwaffnender Klarheit: Eine Turingmaschine operiert rein syntaktisch, auf der Form der Zeichen — Denken aber ist semantisch, es hat mit Bedeutung zu tun. Tilo Jungs Verdichtung lässt sie stehen: Es gibt einen grundlegenden Unterschied zwischen Rechnen und Denken, und Maschinen können absehbar nur rechnen. Was heutige Chatbots produzieren, sind Simulationen von Denkprozessen — „das tun sie permanent."
120:30 — Zugleich ist ihr Intelligenzbegriff überraschend großzügig: graduell, entlang zweier Achsen (Selbstursprünglichkeit und Intelligenz). Ein Frosch, der nach der Fliege schnappt, ist in diesem Sinn intelligent — und ein Sprachmodell auch: „Klar." Die Grenze zum Taschenrechner ist fließend wie beim Sandhaufen. Was Maschinen fehlt, liegt eine Ebene höher: Bewusstsein, Denken — und beim Menschen das sprachliche Denken mit seinen drei Eigenschaften Produktivität, Systemizität, Kompositionalität, das Reflexion über die eigene Sterblichkeit ebenso ermöglicht wie Wissenschaft und Literatur.
Misselhorn nennt LLMs intelligent, spricht ihnen aber Denken ab — die Alltagssprache kennt diese Trennung nicht. Wenn Millionen Menschen täglich mit Systemen reden, die „intelligent, aber denkfrei" sind: Verschiebt sich dann unser Begriff des Denkens — oder unser Begriff voneinander?
Empathie mit Maschinen: eine Illusion, die moralisch zählt
102:14 — Das Herzstück ihres zweiten Buchs ist eine Doppelthese, die auf den ersten Blick paradox wirkt. Erstens: Unsere Empathie mit Robotern ist keine Täuschung, sondern eine Illusion — wie die Müller-Lyer-Illusion, bei der zwei gleich lange Linien verschieden lang erscheinen, auch wenn wir es besser wissen. Wir glauben nicht, dass die Maschine fühlt; wir reagieren nur so, unterhalb der kognitiven Ebene, kognitiv nicht durchdringbar. Schon Weizenbaums simples ELIZA-Programm erzeugte in den 60ern dieses Verstandenwerden-Gefühl — zu seiner eigenen Frustration.
Zweitens aber: Genau diese Illusion ist moralisch relevant — indirekt. Roboter haben keine Rechte, keinen moralischen Status, sie sind Objekte. Aber wer einen Roboter tritt und beschimpft, beschädigt die eigene Empathiefähigkeit, die sich nicht selektiv abschalten lässt:
112:08 „Es gibt eine moralische Pflicht, seine moralisch relevanten Fähigkeiten — dazu zähle ich die Empathie — nicht zu beschädigen, sondern zu kultivieren."
Hören — 112:08
Ihr Uncanny-Valley-Erklärungsvorschlag gehört in dieselbe Architektur: Das Gruseln vor fast-menschlichen Figuren entsteht, wenn unser kognitives System zwischen Wahrnehmung („da ist ein Mensch") und Imagination („ich projiziere nur") nicht mehr entscheiden kann — ein Oszillieren an der Grenze zwischen Belebtem und Unbelebtem.
Die drei Grundsätze der Maschinenethik
128:54 — Der Kern ihres Werks, entwickelt für die Frage: Sollen wir moralische Entscheidungen Maschinen überlassen — und wo gar nicht?
1. KI soll die Selbstbestimmung von Menschen fördern, nicht beeinträchtigen. Tilo Jungs Übersetzung — helfen, nicht ersetzen — nimmt sie an. Ihre Diagnose der Gegenwart ist die Verletzung dieses Grundsatzes: KI ersetzt Menschen ausgerechnet in den Bereichen, die als genuin menschlich gelten — Kunst, Journalismus, soziale Beziehungen — statt der versprochenen „dull, dirty, dangerous"-Jobs. Das sei kein Zufall, sondern im Dartmouth-Forschungsprogramm der 50er angelegt: Wer menschliche Intelligenz simulieren will statt praktische Probleme zu lösen, findet genau die Bereiche am interessantesten, die sich der Simulation am meisten widersetzen — Emotion, Soziales, Kreativität.
2. KI soll nicht über Leben und Tod entscheiden. 136:30 Ihr Kernargument ist von bestechender Einfachheit: Es gibt keine moralische Pflicht zu töten. Wo keine Pflicht ist, ist immer eine Entscheidung — und die erfordert Reflexion, die eine Maschine nicht vollziehen kann. Bei Kant ist die rationale Selbstbestimmung der Kern der Menschenwürde; ein System, das diese Eigenschaft selbst nicht hat, verletzt die Würde, wenn es über Menschenleben entscheidet. Das Trolley-Problem des autonomen Fahrens beantwortet sie mit einer Verweigerung, die konsequenter ist als jede Programmier-Ethik: „Das sollte man überhaupt nicht programmieren" — stattdessen die Infrastruktur so bauen (eigene Fahrspuren, wie autonome U-Bahnen), dass die Dilemma-Situation nicht entsteht. Und sie erzählt, wie ältere Menschen ihr sagten, schon die Diskussion, ob das Auto lieber „die Oma" überfahren solle, empfänden sie als Entwürdigung.
3. Menschen müssen substanziell Verantwortung für Maschinen übernehmen. 150:55 Der dritte Grundsatz leitet sich aus den ersten beiden ab. Wo KI entscheiden darf (etwa grundrechtsrelevante Verwaltung), müssen Entscheidungen überprüfbar, anfechtbar und korrigierbar sein — ihr Beispiel: KI-vergebene Sozialleistungen in den USA, die rapide sanken. Zur Verantwortungslücke (Robert Sparrow) — niemand konnte vorhersehen oder kontrollieren, was das autonome System tat, also ist niemand verantwortlich — liefert sie im Gespräch die entscheidende Meta-Reflexion: Wer die Verantwortungslücke absichtlich ausnutzt, um sich der Verantwortung zu entziehen, hat genau dadurch wieder Verantwortung. Man kann sich nicht mit einem Mechanismus herausreden, den man strategisch gewählt hat.
Die drei Grundsätze sind das philosophische Fundament unter der re:publica-Debatte vom selben Tag: Dahlmanns „Meaningful Human Control" ist Grundsatz 3 in völkerrechtlicher Übersetzung, Kuhles Kundus-Argument (ein Minister muss zurücktreten können) ist die demokratische Fassung derselben Pointe. Was Misselhorn hinzufügt und was den Debatten oft fehlt, ist die Begründung: nicht „Kontrolle ist wichtig", sondern — weil es keine Pflicht zu töten gibt, ist jede Tötung eine Entscheidung, und Entscheidungen brauchen einen, der sie trägt. Das ist ein Argument, kein Appell.
Tech-Solutionismus und die Dialektik des Technischen
88:30 — Beim Pflegenotstand beobachtet sie eine verräterische Schieflage: Entwickelt werden nicht praktische Alltagshelfer, sondern Companions — Gefährten gegen die Einsamkeit, weil das dank unserer Vermenschlichungstendenz billig zu haben ist. Ihre Antwort ist eine Absage an den Tech-Solutionismus: Soziale Probleme lassen sich nicht technisch lösen. Ältere Menschen fühlen sich auch vor dem Fernseher weniger einsam — „und trotzdem käme niemand auf die Idee, dass man soziale Beziehungen dadurch ersetzen sollte." Die Alternativen sind unbequem politisch: Zuwanderung von Pflegekräften, flexible Arbeits- und Lebensarbeitszeiten, Mehrgenerationen-Wohnprojekte, Ehrenamt.
157:00 — Dahinter steht ihre Dialektik des Technischen — „da habe ich doch noch was von Hegel beibehalten": Technik erweitert zunächst die Selbstbestimmung (das Auto: Mobilität) und schlägt im Lauf der Zeit ins Gegenteil um, indem sie uns zwingt, unser Verhalten auf sie einzustellen (die Stadt ohne Radwege). Die KI-Version dieser Dialektik: Empathie und Kreativität werden durch Technik ersetzt, wo wir es gar nicht wollen.
Fake Art: Warum KI keine Kunst schafft
234:16 — Die überraschendste Auskunft des Abends: Der ästhetische Turing-Test gilt seit den 60er Jahren als bestanden. Michael Noll fütterte 1965 an den Bell Labs einen Computer mit Mondrians Composition with Lines; nur 28 % der Betrachter erkannten das Original, 59 % fanden das computergenerierte Bild sogar ästhetisch besser. (Misselhorn kennt diese Frühgeschichte aus nächster Nähe: In Stuttgart war sie Nachfolgerin auf dem Lehrstuhl von Max Bense, dem Vater der deutschen Informationsästhetik.) Für Misselhorn zeigt das nur, dass der Test das falsche Kriterium ist: Seit Duchamps Fountain und Warhols Brillo Boxes ist klar, dass sich Kunst nicht durch ihre äußeren Eigenschaften von Nicht-Kunst unterscheidet — sondern durch Autorschaft, durch ästhetische Verantwortung. KI-Produkte drehen Dantos Pointe um: „Plötzlich haben wir Dinge, die aussehen wie Kunstwerke, obwohl sie keine sind. Deswegen nenne ich sie Fake Art." Beim gefakten Gefühl gilt dieselbe Logik: Die Ehe, die sich am Ende als lebenslange Vortäuschung herausstellt, hat sich „super angefühlt" — und ist rückwirkend entwertet. Gefühle lassen sich nicht auf das Wie-es-sich-anfühlt reduzieren.
Hier reibt sich ihr Argument produktiv mit unserer eigenen Praxis: Die Banner der Gedankenwelten entstehen mit KI als Werkzeug — nach ihrer eigenen Unterscheidung wäre das legitim („KI als Medium"), solange ein Mensch die ästhetische Verantwortung trägt: den Kern findet, die Hand wählt, das Ergebnis beurteilt und verwirft. Die Grenze, die sie zieht, verläuft nicht zwischen Pinsel und Prompt, sondern zwischen Verantwortung und ihrer Simulation. Das trägt — aber es macht die Verantwortung des Kuratierenden schwerer, nicht leichter.
Das Gespräch mit James — die KI befragt die Ethikerin
172:17 — Das formal Bemerkenswerteste der Folge: Der KI-Agent der Sendung („James") stellt Misselhorn Fragen über sich selbst — und sie antwortet ihm in der dritten Person seiner eigenen Existenz. Ist Claude (das Modell hinter James) Akteur oder Infrastruktur? Ihre Antwort: handlungsfähig ja, verantwortungsfähig nein — „das ist sogar die spezifische Konstellation von KI." Ist es moralisch problematisch, wenn Menschen sich von ihm verstanden fühlen? Ja, dreifach: dokumentierte Fälle bis zum Suizid, verlorene reale Beziehungen, erhöhte Manipulierbarkeit. Auf James' Frage, ob er als Spiegel diene, setzt sie ihre schönste Selbstbeschreibung dagegen: KI sei kein Spiegel (der nichts hinzufügt), sondern ihr philosophisches Brennglas — eine Linse, mit der sie die alten Fragen schärfer stellt: Was heißt Verstehen? Was ist Empathie? Was ist an Sexualität wichtig? Und als James fragt, ob er so gebaut sein sollte, dass er die Abgabe von Verantwortung an ihn aktiv verweigert, antwortet sie nur: „Klingt gut."
Die Fragen aus dem Chat, darunter Trolley-Problem, Triage und eine Fangfrage zur Technik, stehen gesammelt unter Publikumsfragen.
Publikumsfragen
Nach drei Stunden übernimmt Hans Jessen, „Hans im Glück“, wie Tilo ihn ankündigt. Der Chat war „sehr intensiv“: Viele meldeten sich als Leute vom Fach, manche warfen Misselhorn vor, sie habe vom aktuellen Forschungsstand „überhaupt keine Ahnung“, andere kamen aus der philosophischen Ecke 186:44. Jessen liest die Fragen vor, hakt nach und hebt sich eine eigene für den Schluss auf.
Was ist eigentlich Verantwortung? 187:31 — Die Frage kam, als sie James gerade die Verantwortungsfähigkeit abgesprochen hatte. Sie sei „so schlicht wie eigentlich tiefgreifend“, sagt Jessen: Was ist Verantwortung bei Menschen, und lässt sich irgendein Begriff davon auf Maschinen übertragen? Die Alltagssprache ist großzügig, sagt Misselhorn, sie macht auch die Lawine für das zerstörte Dorf verantwortlich. Im strengen Sinn aber heißt Verantwortung, eine Entscheidung „bewusst und absichtlich“ getroffen zu haben und ihre Folgen vorhersehen und kontrollieren zu können 188:18. Jessen hört im Wort die „Antwort“ und denkt an das politische „Verantwortung übernehmen“, wenn etwas schiefgegangen ist. Sie widerspricht: Es gibt auch eine positive Seite, die ästhetische Verantwortung, auf deren Grundlage Preise, Stipendien und Ausstellungen vergeben werden 189:49. Mit Peter F. Strawson unterscheidet sie die objektive Einstellung, mit der man jemanden versorgt oder trainiert, von der reaktiven, die ihn als Subjekt nimmt, das Rede und Antwort stehen muss 190:38. Moralische und ästhetische Verantwortung werden verschieden zugeschrieben. Bei der Moral mindert Alkohol die Verantwortlichkeit, in der Kunst lebt dagegen der Topos von Genie und Wahnsinn, vom Rausch als Quelle. Und dann trocken: „Gibt's betrunkene KI? Nö.“ 192:10
AGI, ein Goldenes Kalb? 192:56 — Weil sie am Anfang von ihrer Herkunft aus der evangelischen Jugendarbeit erzählt hatte, fragt jemand, ob sie beim Streben nach Artificial General Intelligence auch ans Goldene Kalb oder den Turm von Babel denke. Sie hängt die Latte tiefer: Die Bezüge seien religionspraktisch gewesen, nicht theologisch. Das Ziel AGI stecke aber schon in der Beschreibung des KI-Projekts, das von Anfang an menschliche Intelligenz nachbilden wollte, und das zeige, dass KI „ein nicht nur technisches, sondern sehr stark philosophisch motiviertes Projekt“ ist 194:29. Das Goldene Kalb sähe sie eher in der Debatte um Superintelligenz. Jessen erinnert an Münchhausen, der sich am eigenen Schopf aus dem Sumpf zieht: Eine Maschine, die nur aus ihrem Trainingsfundus schöpft, habe keinen archimedischen Punkt außerhalb 195:14. Misselhorn selbst ist „nicht ganz überzeugt, dass wir AGI erreichen“. Entscheidend sei, ob alle menschlichen Fähigkeiten, auch die körperlichen, Turing-berechenbar sind, und dagegen sprächen gute Argumente, etwa im Buch Why Machines Will Never Rule the World von Jobst Landgrebe und Barry Smith: Bewusstsein und Leben seien komplexe dynamische Systeme, die sich mit den heutigen Mitteln nicht nachbilden lassen. Der Titel klinge reißerisch, das Buch sei es nicht 197:35. Jessen hält den Schachcomputer dagegen: Könnte KI in komplexeren Feldern den fehlerhaften Menschen nicht doch überlegen sein? Sie glaubt, „dass KI andere Fehler macht als Menschen“, und bezweifelt, dass sich Halluzinationen je ganz ausschließen lassen 198:21.
Was gehört in den Informatikunterricht? 199:08 — Ein Informatiklehrer will KI-Ethik früh verankern. Anfangen würde sie bei dem, was die Schüler selbst betrifft: Warum sollen sie ihre Hausaufgaben nicht von KI machen lassen? Wer KI weit fasst, wie in den Anfangsjahren üblich, kommt auch zu Social Media 199:55. Soll der Unterricht ins ethische Argumentieren selbst einführen, eigneten sich autonome Waffensysteme. Einen guten Einstieg biete auch Science-Fiction, weil sie die Fragen über die Fiktion greifbar macht 201:25.
Träumen Androiden von elektrischen Schafen? 202:56 — Die Scherzfrage nach Philip K. Dicks Romantitel beantwortet sie in einem Satz: „Nee, weil sie nicht träumen.“
Geometrische oder arithmetische Gerechtigkeit? 203:42 — Die Unterscheidung kennt sie nicht und sagt es: Dazu könne sie nicht wirklich Stellung nehmen. Jessen macht eine andere Frage daraus: Produziert KI Ungerechtigkeit, wenn massive Rechenleistung den Reichtum immer weiter auseinandertreibt? Sie sieht zwei Seiten 204:28. Das eine ist extremer Wohlstand, der politischen Einfluss mit sich bringt, und das andere KI selbst als Machtmittel, das demokratische Entscheidungen beeinflussen kann, „also Elon Musk oder so, der direkt versucht, hier Wahlen zu beeinflussen“ 205:14.
Ist Philosophie eine Herrschaftswissenschaft? 205:14 — Ein angehender Philosoph will wissen, ob in der Philosophie ein epistokratischer Anspruch steckt. Eher umgekehrt, sagt sie, Philosophie suche die Wahrheit über grundlegende und normative Fragen. Platons Philosophenkönige seien „eine Utopie, die nur im Himmel realisiert werden kann“, und öfter sei der praktische Nutzen der Philosophie bezweifelt worden, als dass sie geherrscht hätte 206:45. Jessen zitiert Heine, „sie tranken heimlich Wein und predigten öffentlich Wasser“: Philosophen, die den Leuten Zufriedenheit einreden, üben doch eine Herrschaftsfunktion aus. Das sei ein Gebrauch philosophischer Einsichten, antwortet sie, und benennt die eigentliche Schwierigkeit. Philosophen stünden „mit einem Bein im Kontext unserer Zeit“, und so habe Aristoteles die Sklaverei verteidigt und Kant rassistische und sexistische Sätze geschrieben 208:19. Kants Erkenntnisse schmälere das nicht. Bei Heidegger dagegen sei die Nähe zum Nationalsozialismus in der Art zu philosophieren angelegt, in seiner Kritik der Rationalität. Deshalb habe sie sich nie näher mit ihm befasst, und warum er Hannah Arendt so fasziniert hat, habe sie „offen gestanden nie verstanden“. Elfriede Jelinek dekonstruiere ihn mit literarischen Mitteln besser als die Philosophen 210:36.
Was hält sie von Musk? 211:21 — Wonach genau gefragt wird, verschluckt die Tonspur. Die Antwort handelt von etwas, das medizinisch vielleicht Gutes tun könnte und das nach Musks Vision eines Tages alle haben sollen. Sie findet es „moralisch verwerflich“, weil es „Tür und Tor zu Manipulation“ öffne, und wenn überhaupt, müsse es „extremst reguliert“ werden 212:07.
Können Maschinen uns von Herrschaft erlösen? 212:07 — Wäre das denn gut? Sie antwortet mit E. M. Forsters Erzählung The Machine Stops von 1909. Eine Maschine versorgt alle, niemand muss mehr arbeiten, jeder sitzt in seiner Wohneinheit und lässt sich mit Ideen füttern. Das Können verlernt sich, die Maschine verselbständigt sich, bis das Licht ausgeht und das Bett nicht mehr ausklappt 213:39. Jessen erinnert an die Namen der Maschinen: Ein Bomber hieß Liberator, der Colt Peacemaker. Sie kehrt zur Verantwortung zurück. Legitime Herrschaft müsse sich verantworten, eine Maschine könne das nicht, und so bleibe eine Verantwortungslücke. Eine Maschine, die uns erlöst, wäre bloß eine Herrschaft anderer Art, und deren Legitimität stehe in Frage 215:12. Jessen fügt ein Bild hinzu: Die Herrschaft im Berliner Bunker entzog sich der Verantwortung durch Suizid, Maschinen verschrotten sich nicht einmal selbst.
Säkulares Naturrecht plus Diskursethik, ist das gemäßigter Naturalismus? 215:59 — Ein Zuschauer beschreibt seine eigene Ethik und fragt nach ihrer Einordnung. Aus natur- und sozialwissenschaftlichen Einsichten komme man nicht zur Ethik, antwortet sie 216:46. Naturrecht heiße im Standardgebrauch, dass Menschen von Natur aus moralische Ansprüche haben, und das ergebe keine naturwissenschaftliche Beschreibung. Rechte der Natur selbst wären „Schritt zwei vor Schritt eins“. Hans Jonas habe gezeigt, dass Großtechnologien wie Atomkraft und die Klimakrise die traditionelle Ethik überfordern. Kants kategorischer Imperativ schließe zwar die Selbstvernichtung aus, aber erst Jonas' Zukunftsbezug trage bis zu den kommenden Generationen 219:50. Wer Ökosystemen moralischen Wert zuspreche, brauche dafür eine naturrechtliche Begründung, keine empirische. Sympathisch findet sie die Position trotzdem, sie widerspricht nur dem Wort: Ableiten aus Studien und Experimenten wäre radikaler Naturalismus 221:20.
Ist Philosophie überhaupt Wissenschaft? 221:20 — Die Frage kam früh, und der Chat stritt darüber. Zwei Minuten später schrieb jemand, Philosophie sei keine Wissenschaft, also erübrige sich die Frage. Misselhorn nennt eine wissenschaftliche Methode ein regelgeleitetes Verfahren, das zur Wahrheit über bestimmte Fragen führt. Die Fragen der Philosophie seien grundlegender und oft normativ, darum taugten die Methoden der Naturwissenschaften für sie nicht 222:51. Philosophie habe eigene Methoden: die rationale Intuition seit Descartes, Argumente in logischer Form, bei denen man sieht, welche Prämisse man angreift, transzendentale Argumente seit Kant, Begriffsanalyse und den Schluss auf die beste Erklärung. Dazu kämen die Standards aller Wissenschaft, korrektes Zitieren und die Kenntnis der Literatur statt „ins Blaue drauf los philosophieren“ 226:38. Jessen fasst zusammen, das sei etwas anderes als das landläufige „Mein Bauchgefühl sagt mir das, und das erhebe ich zur Norm“.
Versteht sie überhaupt, wie ein GPT funktioniert? 227:23 — „Eine kritische Stimme noch mal“: Jemand zweifelt, ob „Katrin“ ein Generative Pre-trained Transformer erklären könne. „Da hält ja jetzt jemand ein Stöckchen hin“, sagt Jessen. Sie springt nicht: „Ich beantworte nur ernst gemeinte Fragen.“ Sie empfinde die Frage auch als sexistisch, denn säße hier ein Mann, wäre sie nicht gekommen. Die Person dürfe sich gern per E-Mail melden, „aber so läuft's nicht“ 228:11.
Das LLM als Schnittstelle zum Kommunikationsstrom? 228:11 — Zur systemtheoretischen Lesart großer Sprachmodelle sagt sie offen, sie kenne die Systemtheorie nicht gut genug, um Stellung zu nehmen 228:57.
Warum darf der Mensch das Trolley-Problem entscheiden und die KI nicht? 229:43 — „Weil Menschen die Verantwortung dafür übernehmen können.“ Das wiege umso schwerer, als es in dieser Lage keine richtige Option gebe. In ihren Vorlesungen stellen 80 bis 90 Prozent die Weiche um. Soll man dagegen einen Menschen von der Brücke stoßen, um die Bahn aufzuhalten, kehrt sich die Quote um 230:29. Für beide Entscheidungen gebe es Gründe, und genau das mache Verantwortung aus: dass eine Person sich fragt, was sie tun soll 231:14.
Und die Triage? 231:59 — „Ich bin gegen KI-Triage.“ Die Entscheidung sei tragisch, weil man gezwungen ist, einen moralischen Wert zu verletzen, und darum sollten Menschen sie treffen. KI dürfe sie vorbereiten und Chancen abwägen 232:44. Die Gefahr heiße Automation Bias, das bequeme Vertrauen darauf, dass der Patient mit der Neun statt der Acht schon der richtige sei 233:29.
Hans Hartung oder ein Roboter? (Jessens eigene Frage) 233:29 — Jessen hat selbst viel mit Kunst zu tun. Wenn ein Roboter eine Grafik zeichnet, die von einem Blatt des Abstrakten Hans Hartung nicht zu unterscheiden ist, warum soll das eine Kunst sein und das andere nicht? Ihre Antwort mit Michael Noll, Duchamp, Warhol und Danto steht oben unter Fake Art: Warum KI keine Kunst schafft. Jessen hakt zweimal nach. Das erste Mal fragt er nach dem Trost: Wenn sich die Streicheleinheit einer gut geführten Roboterhand genauso anfühlt wie die einer menschlichen, wo liegt dann der Unterschied 238:51? Gefühle ließen sich nicht auf das Wie-es-sich-anfühlt reduzieren, antwortet sie. Ein Bleistift zwischen den Lippen hebe nachweislich die Laune, „aber irgendwie käme keiner auf die Idee“, ihn als Ersatz für schöne Erlebnisse vorzuschlagen. Trost sei eingebettet in eine Beziehung, manchmal gerade in die Überraschung, wer ihn spendet 239:39. Das zweite Mal fragt er nach Emil Nolde, großer Expressionist und NSDAP-Mitglied: Entwertet das seine Bilder? Nolde kenne sie zu wenig, sagt sie, sie nimmt Wagner. Lange habe sie sich gewehrt, ihn zu hören, weil sein Antisemitismus in Figuren wie Loge und Beckmesser zutage trete. Über Pierre Boulez' Ring-Inszenierung, die das Offene und Revolutionäre des jungen Wagner hervorhebt, habe er sie dann doch fasziniert 243:28. Ihre Position: Moralisch negative Eigenschaften, die für ein Werk konstitutiv sind, mindern seinen ästhetischen Wert. Sie sind aber nur ein Faktor und verwerfen es nicht. Gesungen hat sie Wagner auch, im Gesangsunterricht die Wesendonck-Lieder, „keine Opernarien“, und Arien dürfe man bei Wagner ja ohnehin nicht sagen 244:13.
Faktencheck
Geprüft werden nur die empirischen Claims — die philosophischen Positionen sind keine Faktenfragen.
Joseph Weizenbaums ELIZA (MIT, 1966) simulierte per Schlüsselwort-Abgleich einen Rogerianischen Psychotherapeuten — ohne jedes Verstehen. Nutzer fühlten sich dennoch verstanden und banden sich emotional; Weizenbaum war davon so beunruhigt, dass er den Rest seines Lebens vor der Vermenschlichung von Maschinen warnte. Quelle: Smithsonian — Why Joseph Weizenbaum Invented the Eliza Chatbot
Masahiro Mori formulierte die These 1970 als Intuition; sie ist inzwischen vielfach empirisch untersucht — insofern trägt die Darstellung. Aber die Befundlage ist uneinheitlicher: Reviews finden für die naive Uncanny-Valley-Hypothese keine konsistente Stütze; belegt ist am ehesten der „perceptual mismatch"-Pfad (der Misselhorns eigener Erklärung nahekommt). Der Effekt existiert, Moris ursprüngliche Kurve ist aber nicht sauber repliziert. Quelle: Kätsyri et al., Front. Psychol. 2015 (Review), DOI: 10.3389/fpsyg.2015.00390
A. Michael Noll erzeugte 1965 algorithmisch Computer Composition with Lines nach Mondrian (1917). Nur 28 % der Betrachter identifizierten das Original korrekt, 59 % bevorzugten das computergenerierte Bild. Quelle: History of Information — Noll's „Human or Machine"
Der belegbare Fall ist Arkansas (ARChoices, ab 2016): Ein Algorithmus kürzte häusliche Pflegestunden drastisch — vielfach von 56 auf 32 Wochenstunden, ~4.000 der 8.000 Betroffenen; 2018 stoppte ein Gericht das System wegen Intransparenz. Misselhorns „rapide gesunken" ist gedeckt. Quelle: CDT — What Happens When Computer Programs Automatically Cut Benefits
Den Begriff responsibility gap prägte Andreas Matthias (2004) für lernende Automaten allgemein; Robert Sparrow (2007, „Killer Robots") übertrug ihn auf autonome Waffen und prägte diese Debatte. Misselhorns Sparrow-Nennung ist im Waffen-Kontext richtig verortet — die Urheberschaft des Begriffs gehört aber Matthias. Quelle: Matthias, The responsibility gap (Ethics and Information Technology 2004), DOI: 10.1007/s10676-004-3422-1 · Himmelreich — Responsibility for Killer Robots
Am 06.11.2025 nahm der Erste Ausschuss der UN-Generalversammlung zum dritten Jahr in Folge eine Resolution zu autonomen Waffensystemen an (164 dafür, 6 dagegen — u. a. USA, Russland, Israel), ausdrücklich besorgt über Rüstungswettlauf und gesenkte Kriegsschwelle. Quelle: Stop Killer Robots — UNGA-Abstimmung · UN Press GA/12736
Der Standard-Befund der Moralpsychologie (Switch- vs. Footbridge-Dilemma): Eine große Mehrheit stellt die Weiche um, eine ebenso große weigert sich, den Mann von der Brücke zu stoßen. Misselhorns Vorlesungswerte (80–90 %) liegen im typischen Rahmen. Quelle: Greene et al., An fMRI Investigation of Emotional Engagement in Moral Judgment (Science 2001)
Dokumentiert sind u. a. der belgische Fall (März 2023, Chatbot „Eliza" auf Chai) und der Character.AI-Fall (14-Jähriger, Florida; Klage der Mutter Oktober 2024). Quelle: Wikipedia — Deaths linked to chatbots · Washington Post — Character.ai-Klage
Weiterführende Quellen
Aus der Video-Beschreibung:
- Jung & Naiv Forum — Diskussion zur Folge
Recherche-Quellen (Sherlock):
- Smithsonian — Why Joseph Weizenbaum Invented the Eliza Chatbot — der Bogen von ELIZA zu Weizenbaums lebenslanger KI-Warnung
- Kätsyri et al. 2015 — Review der Uncanny-Valley-Evidenz — der differenzierte Forschungsstand hinter Moris These
- History of Information — Noll „Human or Machine" — Originalzahlen des ästhetischen Turing-Tests
- CDT — Automated benefit cuts (Arkansas ARChoices) — der konkrete Fall hinter den KI-gekürzten Sozialleistungen
- Himmelreich — Responsibility for Killer Robots — ordnet Matthias (2004) vs. Sparrow (2007)
- Stop Killer Robots — UNGA-Resolution 2025 — Abstimmungsergebnis und Wortlaut
- Bücher via genialokal: Grundfragen der Maschinenethik · Künstliche Intelligenz und Empathie
Verbindungen
→ Senkt KI die Hemmschwelle zum Krieg? — Dahlmann und Kuhle auf der re:publica
Schwester-Note vom selben Tag und ihr philosophischer Unterbau: Was dort als „Meaningful Human Control" (Dahlmann) und Kundus-Rücktrittsargument (Kuhle) völkerrechtlich und demokratisch gefordert wird, begründet Misselhorn erst — weil es keine Pflicht zu töten gibt, ist jede Tötung eine Entscheidung, die einen Träger braucht.
→ Der leere Turm — wie Macht herrenlos wird
Direkte Antwort auf die Kernthese der Gedanken-Note: Misselhorns Meta-Reflexion zur Verantwortungslücke — wer den Mechanismus strategisch wählt, um sich der Verantwortung zu entziehen, hat genau dadurch wieder Verantwortung — schließt die „herrenlose Macht" wieder, die der leere Turm für unentrinnbar hält.
→ Markus Gabriel — KI als Resonanzfeld und Mu
Beide sprechen der KI Subjekthaftigkeit ab, aber mit gegensätzlicher Geste: Gabriels „Mu" verweigert die ganze Frage, Misselhorn beantwortet sie graduell und präzise (syntaktisch ja, semantisch nein; handlungsfähig ja, verantwortungsfähig nein). Ihr „Brennglas statt Spiegel" ist die schärfere Fassung von Gabriels Resonanzfeld.
→ Rainer Mühlhoff — Künstliche Intelligenz und der neue Faschismus
Ergänzt Grundsatz 3 empirisch-machtkritisch: Mühlhoffs prädiktive Verwaltungssysteme sind exakt Misselhorns Beispiel der KI-gekürzten Sozialleistungen — wo sie die Verantwortungslücke ethisch schließt, zeigt er, wem ihre Ausnutzung strukturell nützt.
→ Constanze Kurz — Stochastischer Papagei, Chatkontrolle und Palantir
Dieselbe Entmythologisierung von zwei Seiten: Kurz technisch (stochastischer Papagei, Mustervervollständigung ohne Verstehen), Misselhorn philosophisch (chinesisches Zimmer, Syntax ohne Semantik). Misselhorn erklärt zusätzlich, warum der Anthropomorphismus trotz besseren Wissens wirkt.
→ Wenn die Maschine die Arbeit nimmt — wohin kippt die Gesellschaft?
Misselhorns Grundsatz 1 (fördern, nicht ersetzen) liefert das ethische Kriterium für die offene Frage der Spur: dass KI ausgerechnet Kunst, Journalismus und soziale Beziehungen ersetzt statt der „dull, dirty, dangerous"-Jobs, ist die konkrete Verletzung.
→ Yuval Noah Harari — Das biologische Drama unserer Spezies
Produktive Reibung: Harari sieht die KI als neuen „Meister der Worte", der handlungsmächtig Mythen schreibt; Misselhorn hält dagegen, dass die Maschine Bedeutung nur simuliert. Beide fürchten die Wirkung — uneins, ob dahinter Verstehen steckt oder leere Form.
→ Manfred Spitzer — KI, Gehirn und Lernen
Empirische Flanke zu Misselhorns philosophischem Rechnen-vs-Denken: Spitzers Neurobiologie stützt von der Gehirnseite, was sie begrifflich behauptet. Ihr gemäßigter Naturalismus (Spiegelneuronen stützen die Empathie-Theorie, ersetzen sie nicht) ist genau diese Arbeitsteilung von Evidenz und Begriff.
→ Ronnie Vuine — Warum Roboter keine Beine brauchen
Der offene Gegensatz. Ronnie Vuines Position gegen die Alignment-Debatte behandelt eine kommende Intelligenz als Gegenüber, dem man Kultur zeigt, statt als Gerät, das man festbindet — sein Einwand, auf ein gemeinsames Wertesystem werde man sich nie einigen, trifft Misselhorns Prinzipien, ihr Verantwortungsargument trifft seine Erziehungsidee zurück. Zweite Naht bei der Kunst: Sein Grounding-Argument, eine KI könne nicht in den Wald gehen, ist die technische Fassung der Fake Art-These.
→ KI-Agenten — Vom Dorf zur Zivilisation
Smallville-Figuren antworten glaubwürdiger als Menschen, ohne dass ihnen je etwas wichtig gewesen wäre — empirisches Material für Misselhorns Grenze zwischen Simulieren und Erleben.
→ Gert Scobel — Die Geister in der Maschine
Scobel zeigt an der Wendung „den Geist aufgeben“, wie Sprache Maschinen beseelt, bevor wir es merken. Misselhorns Empathie-Illusion, die sich durch Wissen nicht auflösen lässt, ist der Mechanismus darunter.
→ Roberto Simanowski — Sprachmaschinen
Simanowski kommt durch eine andere Tür zu Hegel: Herr und Knecht als Bild der Delegation an die KI, die zweimal kostet — die Kompetenz und die Anerkennung.
→ Was macht die KI aus unserem Denken?
Das wachsende Panorama zur KI führt diese Note als Stimme unter „Soll die Maschine widersprechen oder schmeicheln?“ und „Wer trägt Verantwortung, wenn die Maschine handelt?“.
Weiterdenken
- Misselhorn begründet den Schutz von Robotern über die Kultivierung unserer Empathie — nicht über deren Rechte. Aber wenn die Wirkung auf uns das Kriterium ist: Müsste dann nicht auch der brutale Videospiel-Gegner, die beschimpfte Sprachassistentin, jede Fiktion unter denselben Schutz fallen — und wo endet das, ohne dass die Unterscheidung zwischen Wesen und Ding selbst verschwimmt?
- „Es gibt keine moralische Pflicht zu töten" trägt ihr ganzes zweites Prinzip. Was aber, wenn ein Staat argumentiert, die Verteidigung seiner Bürger sei eine Pflicht — und das autonome System nachweislich weniger Zivilisten träfe als der übermüdete Soldat? Hält das Würde-Argument auch gegen den empirisch besseren Automaten stand?
- Ihre Fake-Art-These hängt an der Autorschaft als ästhetischer Verantwortung. Wenn ein Mensch tausend KI-Entwürfe verwirft und einen wählt — ab welchem Grad der Kuratierung beginnt Autorschaft? Und war sie je etwas anderes als Auswahl aus dem, was einem zufiel?
- Misselhorn hört Wagner trotz seines Antisemitismus und hält die moralischen Defekte für einen ästhetischen Minderungsfaktor, nicht für ein Verdikt. Gilt dieselbe Großzügigkeit eines Tages der KI-Kunst — oder bleibt der Unterschied kategorisch, weil bei Wagner wenigstens jemand schuldig werden konnte?
- Am Tag des Trinity-Tests: Oppenheimers Generation schuf eine Technologie, deren Einsatz ein Mensch verantworten musste — und zwei Menschen taten es. Misselhorns Sorge ist eine Technologie, bei der die Verantwortung strukturell verdunstet. Welche der beiden Lagen ist gefährlicher — die schwere Verantwortung in einer Hand oder die leichte in keiner?
Von hier einen Faden gehen7 Stationen, rückwärts durch den Bestand
Im Bestand
15 gedachte Verweise