GedankenraumGert Scobel — Die Geister in der Maschine
Jede Wissenschaft treibt Geister aus, und in jede Lücke zieht ein neuer ein. Der jüngste wohnt in der Statistik — und weiß selbst nicht, ob er gefunden oder erfunden hat.
🎨
Künstlerhand: Odilon Redon (symbolistisches Pastell mit Kohle)
Warum: Redon hat sein Leben lang gemalt, was halb Traum und halb Erscheinung ist. Bei ihm schweben Augen wie Ballons, und Köpfe steigen aus dem Dunkel. Hier ist es Scobels Schlussbild: Eine menschliche Hand reibt an der Wunderlampe, aus dem Rauch formt sich ein Gesicht, und an den Rändern zerfällt es in Sternbilder, Muster aus Punkten, von denen niemand sagen kann, ob sie gefunden oder erfunden sind.
Prompt: Wide horizontal pastel and charcoal artwork in the style of Odilon Redon, symbolist dream atmosphere: on a dark wooden table stands an old brass oil lamp, a human hand with a small cloth rubs it. From its spout rises a luminous plume of smoke in soft violet, ochre and turquoise pastel that slowly forms a vague, half-finished face with one large floating eye — and at its edges the smoke dissolves into a faint constellation of tiny glowing points, like scattered data or stars, some connected by thin lines into patterns that may or may not be real. Deep velvety black background with Redon's mysterious glow, grainy pastel texture, uncanny but gentle, no text, no letters
Jede Wissenschaft treibt Geister aus, und in jede Lücke zieht ein neuer ein. Der jüngste wohnt in der Statistik — und weiß selbst nicht, ob er gefunden oder erfunden hat. Gert Scobel nimmt eine Kolumne des Komplexitätsforschers David Krakauer als Sprungbrett: von Gilbert Ryles „Ghost in the Machine“ über Darwin und Turing zu den Sprachmodellen, die in Datenmeeren Muster finden, die kein Mensch sehen kann. Dann wird es handfest: erfundene Quellen in der Medizinforschung, eine neue Kränkung des Menschen, und die Frage, wer die Exorzisten exorziert. Am Ende steht ein Appell, der mehr behauptet, als er beweist — und gerade deshalb zum Streiten taugt.
Quelle: Die gefährlichste Illusion über KI: Sie weiß, was wahr ist – scobel (YouTube, 24.09.2026, 25 Min.)
Gert Scobel (1959, Aachen) — Philosoph, Journalist und Moderator. Studium der Philosophie und Theologie in Frankfurt (Jesuiten-Hochschule St. Georgen) und Berkeley. Seit 2008 Moderator der 3sat-Sendung scobel, zweifacher Grimme-Preisträger, Professor für Philosophie & Interdisziplinarität an der Hochschule Bonn-Rhein-Sieg. Hier im Essay-Format, allein vor den Zeichnungen von Claus Ast — ein Denkstück, kein Gespräch.
Ein Popsong, ein Buch, ein Schimpfwort
1:32 — Scobel beginnt mit einer Ahnenreihe, die rückwärts läuft. Am 2. Oktober 1981 erscheint das vierte Album von The Police, Ghost in the Machine. Sting hatte Arthur Koestlers gleichnamiges Buch von 1967 gelesen. Für Koestler war der Geist in der Maschine der archaische, schlecht verdrahtete Teil des Gehirns, der die Vernunft sabotiert und den Menschen zum Krieg treibt. Koestler wiederum hatte den Ausdruck von Gilbert Ryle, und Ryle hatte ihn als Waffe gegen René Descartes geschmiedet.
Scobel hängt an diese Kette eine Bemerkung, die man leicht überhört: Auch der „gut entwickelte“ Teil des Gehirns produziere am laufenden Band Gedanken, und nicht alle sind gut —
„… und die wandern dann wie Geister durch die Geschichte.“ 1:32
Im Gespräch — 1:32
Koestler selbst ist sein Beispiel. Ein polemischer Begriff Ryles wird zum Buchtitel, das Buch zum Popsong, und bei jeder Station ändert das Wort, was es meint. Bei Ryle war der Geist in der Maschine ein Irrtum, bei Koestler ein Organ, bei Sting eine Stimmung. Das ist schon im Kleinen die These der ganzen Folge: Ideen, die man für erledigt hält, verschwinden nicht, sie wechseln die Wohnung.
Wo ist die Universität?
2:18 — Descartes hatte die Welt in zwei Substanzen geteilt: die res cogitans, das denkende Ding, und die res extensa, das ausgedehnte. Irgendwie musste der unkörperliche Geist dem Körper befehlen können, den Arm zu heben. Heute, sagt Scobel, würde man sagen: rangeflanscht. Für Ryle war das so ernst zu nehmen wie der Glaube an Gespenster. Er nannte es einen Kategorienfehler — Tatsachen des Geisteslebens werden einer logischen Ordnung zugeschlagen, in die sie nicht gehören.
4:35 — Ryles Beispiel ist berühmt geworden. Man führt einen ausländischen Gast durch Oxford: Colleges, Bibliotheken, Sportplätze, Labore, Verwaltung. Am Ende fragt er, wo denn nun die Universität sei. Die Antwort:
„Die Universität besteht in der ganzen Art und Weise, wie all das, was du jetzt gesehen hast, bereits organisiert ist.“ 5:21
Im Gespräch — 5:21
Der Gast hat die Universität als ein weiteres Gebäude neben den anderen gesucht. Genauso, so Ryle, sucht Descartes den Geist als ein weiteres Ding neben Nerven und Muskeln.
6:51 — Hier biegt Scobel ab, und das ist wichtig. Er macht aus Ryle keinen Materialisten. Der Geist sei ein Wirkfeld von Ursachen und Wirkungen wie der Körper, aber ein kategorial anderes, das man nicht mit den Begriffen der Mechanik beschreiben könne, ohne am Phänomen des Bewusstseins vorbeizugehen. Eine vollständige physikalische Theorie des Bewusstseins gebe es bis heute nicht. Scobel liest Ryle also als Warnung in beide Richtungen: Der Geist ist kein Gespenst im Kasten, er ist aber auch keine Nebenrechnung der Physik. Dieser Mittelweg wird am Ende der Folge noch einmal wichtig, weil Scobel ihn dort selbst verlässt.
Wissenschaft als Exorzismus — und der Horror vor der Leere
7:37 — Nun der Gedanke, den Scobel von Krakauer übernimmt: Alle Wissenschaft ist Austreibung. In Scobels Beispielen vertreibt die Physik den absoluten Raum Newtons, Einstein die Vorstellung, der Raum müsse gerade sein. Darwin vertreibt den Designer, der jede Blume geplant hat. Turing zeigt 1936, dass ein Band, ein Schreibkopf und eine Handvoll Zustände alles Berechenbare berechnen können; McCulloch und Pitts zeigen 1943, dass Netze einfacher Schwellen-Neuronen logische Operationen ausführen. Jedes Mal fliegt etwas raus, das als Erklärung überflüssig geworden ist.
„Man vertreibt den Geist aus der Maschine des Körpers nur, damit er an anderer Stelle wieder auftaucht.“ 7:37
Im Gespräch — 7:37
9:07 — Warum taucht er wieder auf? Scobels Antwort ist psychologisch: der horror vacui. Wir halten Lücken schlecht aus und stopfen sie. Wo Gott war, steht jetzt die Selektion; wo der Mensch das einzige intelligente Wesen war, steht jetzt die Maschine, und prompt fragen wir, ob sie Bewusstsein hat.
„Wissenschaftsgeschichte ist also insofern immer auch Geistergeschichte.“ 12:10
Im Gespräch — 12:10
Ein Blick in Krakauers Original lohnt, weil es an dieser Stelle etwas anderes sagt. Krakauers Kolumne (SFI, Sommer 2026) ist kurz und handelt vor allem davon, dass jede Disziplin eine andere Sparsamkeit sucht: Die Physik streicht freie Parameter, die Biologie überflüssige Agenten, die Wissenschaften der Intelligenz überflüssige Architektur. Streit entsteht, wenn eine Disziplin der anderen ihre Sparsamkeit aufzwingt. Die Wiederkehr der Geister aus Angst vor der Leere steht dort nicht, sie ist Scobels Zutat. Nur der letzte Satz der Kolumne weist in seine Richtung: „The ghosts are multiplying, many of them hallucinations, and scientific exorcists must learn new rites.“ Sie ist plausibel und passt zu vielem, was man über das menschliche Bedürfnis nach Erklärung weiß — aber sie ist eine Deutung, kein Befund. Scobel sagt selbst, wo Krakauers Gedanken aufhörten, fange es erst an, spannend zu werden. Man sollte ihn beim Wort nehmen: Ab hier spricht Scobel.
Wenn jede Austreibung eine Lücke hinterlässt, die wir füllen müssen — gibt es dann überhaupt eine Erkenntnis, die nicht sofort ein neues Gespenst gebiert? Oder ist das Aushalten der Lücke selbst eine Fähigkeit, die man üben kann?
„Den Geist aufgeben“ — wie Sprache die Maschine beseelt
9:53 — Der schönste Teil der Folge ist eine Beobachtung über eine Redewendung. Der Computer hat den Geist aufgegeben, der Toaster, das Auto. Die Wendung stammt aus dem Neuen Testament und war lange dem Sterben von Menschen vorbehalten. Wenn wir sie auf Maschinen übertragen, beseelen wir tote Technik.
„Wenn eine Maschine jetzt den Geist aufgibt, verlässt nichts diesen Ort, weil nie etwas wie Geist an diesem Ort war.“ 9:53
Im Gespräch — 9:53
10:38 — Die Pointe ist verdreht, und Scobel weiß das. Beim Menschen bedeutet die Wendung einen Verlust: Er hatte Geist und gibt ihn her. Bei der Maschine bewirkt sie das Gegenteil. Indem wir sagen, sie habe den Geist aufgegeben, sprechen wir ihr zu, was sie nie hatte — ein Innenleben. Ein Satz über ihr Ende schenkt ihr nachträglich eine Seele.
Sprache ist der Ort, an dem die Geister zuerst einziehen, lange bevor irgendjemand eine Theorie darüber aufstellt. Wer mit einem Chatbot „spricht“, ihn „fragt“, sich von ihm „verstanden“ fühlt, hat die Frage nach dem Bewusstsein der Maschine im Alltag schon beantwortet, bevor sie wissenschaftlich gestellt ist. Die Grammatik glaubt an Geister, auch wenn wir es nicht tun.
Ontologische und epistemische Geister
12:57 — Hier liegt der präziseste Gedanke der Folge, und er stammt wirklich von Krakauer. Die alten Geister waren ontologisch: Wesen, die es angeblich gibt, wie Zeus, der den Donner macht. Skeptische Generationen haben sie Stück für Stück aus der Welt geräumt. Die neuen Geister sind epistemisch: Muster in riesigen Datensätzen, Regelmäßigkeiten und Korrelationen, die kein menschlicher Theoretiker je benannt hat.
13:43 — Die Sprachmodelle zeigen uns jeden Tag, so Scobel mit Krakauer, dass es in Sprache, Genetik oder Wetter riesige Bereiche der Regelmäßigkeit gab, die wir übersehen haben — zu hochdimensional für die menschliche Intuition, aber nicht zu komplex für ein ausreichend skaliertes statistisches Modell.
Das ist ein ehrliches Zugeständnis, das der Rest der Folge beinahe vergisst: Die epistemischen Geister sind nicht alle eingebildet. Manche sind echte Struktur der Welt, die wir vorher nicht sehen konnten — die Proteinfaltung, die Krakauer nennt, ist das bekannteste Beispiel. Schwierig wird es beim Nachweis. Die alten Exorzisten wussten, wonach sie suchen. Einen Zeus kann man widerlegen, indem man den Blitz erklärt. Ein Muster, das nur in 10.000 Dimensionen existiert, lässt sich weder mit dem bloßen Auge bestätigen noch widerlegen.
Ein Mikroskop zeigt etwas, das wir mit bloßem Auge nicht sehen, und wir vertrauen ihm, weil wir seine Optik verstehen. Wie viel müssen wir von einem Modell verstehen, damit ein Muster, das es findet, als Entdeckung zählt — und nicht als Spuk?
Das verstopfte Nadelöhr: erfundene Quellen
15:17 — Nun wird es handfest. Die Wissenschaft verlässt sich auf das Peer Review, die Prüfung durch Fachleute, das Nadelöhr, durch das eine Idee muss, bevor sie als seriös gilt. Scobel berichtet von einer Auswertung im Lancet vom Mai 2026: 2,5 Millionen frei zugängliche biomedizinische Publikationen wurden auf erfundene, KI-generierte Referenzen durchsucht. 2023 enthielt eine von 2.828 Arbeiten eine solche Geisterquelle, in den ersten Wochen 2026 bereits eine von 277. Für Preprint-Archive zählt eine andere Auswertung 2025 rund 146.900 Zitationen, die es nicht gibt; selbst auf einer Spitzenkonferenz fanden sich Dutzende begutachtete Beiträge mit erfundenen Autoren.
16:48 — Den naheliegenden Einwand nimmt er vorweg: Mehr entdeckte Fälschungen könnten auch bessere Entdeckung bedeuten. Er hält das nicht für den Fall. Vier von fünf Forschenden nutzten KI-Werkzeuge, aber nur jeder Fünfte vertraue ihnen vollständig.
„Aber man reibt weiter an der KI-Wunderlampe, weil man hofft, dass der Geist, der dann erscheint, eben doch der Geist der Wahrheit ist und nicht einfach nur der halluzinierende Geist aus der Maschine.“ 16:48
Im Gespräch — 16:48
Die Zahlen sind der stärkste Teil des Arguments, und sie halten: Das Audit von Topaz et al. (Lancet 407, Mai 2026) fand 4.046 erfundene Referenzen in 2.810 Arbeiten; die „Verzwölffachung“ ist die Kopfzahl der Autoren selbst, gerechnet pro 10.000 Arbeiten. Bei 98,4 % der betroffenen Arbeiten hat der Verlag nichts unternommen. Die 146.900 nicht existierenden Zitationen stammen aus einer Preprint-Studie, an der arXiv-Gründer Paul Ginsparg beteiligt ist; die Spitzenkonferenz ist sehr wahrscheinlich NeurIPS 2025, wo GPTZero in rund fünfzig angenommenen Arbeiten erfundene Quellen fand, Autoren wie „John Doe and Jane Smith“ inklusive (Faktencheck: bestätigt). Nur das Umfragepaar „vier von fünf nutzen, einer von fünf vertraut“ ist aus zwei Verlagsumfragen zusammengezogen (Faktencheck: vereinfacht). Eine erfundene Referenz ist der reinste Fall eines epistemischen Geistes: Sie hat die Form einer Quelle — Autor, Titel, Zeitschrift, Jahrgang — und nichts dahinter. Und sie verrät, dass niemand nachgesehen hat, weder der Autor noch die Gutachter. Durch dieses Nadelöhr ist in solchen Fällen niemand mehr gegangen, man ist außen herum.
Die Intelligenzkränkung
17:35 — Scobel ordnet das in eine größere Erzählung ein. Freud sprach von drei Kränkungen der Menschheit: Kopernikus nahm dem Menschen das Zentrum des Universums, Darwin die Krone der Schöpfung, die Psychoanalyse die Herrschaft über das eigene Seelenleben. Scobel verlängert die Liste — die Unberechenbarkeit komplexer Systeme, die Atombombe, das Anthropozän, das den Menschen an einen begrenzten Planeten bindet. Jedes Mal wird ihm ein Stück Souveränität entzogen.
19:52 — Die neue Kränkung ist eine Intelligenzkränkung: Maschinen, die der Mensch selbst gebaut hat, zeigen ihm, was er übersehen hat, und übertreffen ihn. Sie trifft den Menschen und die Wissenschaft zugleich, weil die Wissenschaft die Instanz ist, über die wir ausmachen, was wir wissen.
Die Liste ist rhetorisch stark und an einer Stelle physikalisch wacklig: Scobel begründet die Unvorhersagbarkeit komplexer Systeme mit der Unschärferelation. Das vermischt zwei Dinge: Die Komplexitätsforschung hat das deterministische Chaos gezeigt, das schon in der klassischen Physik jede Langzeitprognose zerfrisst, Heisenberg braucht es dafür nicht (Faktencheck: vereinfacht). Ebenso entscheidet er die offene Frage nach dem Determinismus des Gehirns in einem Nebensatz. Interessanter ist, was die neue Kränkung von den alten unterscheidet. Kopernikus und Darwin haben den Menschen gedemütigt, indem sie mehr Wahrheit brachten. Die Intelligenzkränkung demütigt ihn mit einem Werkzeug, das Wahrheit und Erfindung nicht auseinanderhalten kann. Das ist eine neue Art von Kränkung: Die alten nahmen dem Menschen eine Illusion, diese droht ihm die Fähigkeit zu nehmen, Illusionen zu erkennen.
Die Wunderlampe und der promiske Geist
20:38 — Das Schlussbild ist Aladins Lampe. Die Lampe ist das Datenmeer, der Lappen die KI, und reibt man lange genug, erscheint mit Sicherheit ein Geist — weil sich selbst im chaotischsten Rauschen irgendein Muster findet. Fernrohr, Mikroskop und Rechenschieber haben uns auch Arbeit abgenommen. Was die KI von ihnen trennt, fasst Scobel so:
„Die Wissenschaften haben Geister nur vertreiben können, weil sie etwas überprüft hatten und dann allen zeigen konnten: Hier, so sieht's aus.“ 21:24
Hören — 21:24
22:09 — Der Flaschengeist im Märchen ist an seinen Finder gebunden und dient ihm. Die Geister der Sprachmodelle kennen keine solche Bindung:
„Sie sind promisk, lassen sich auf jeden ein und besorgen es jedem und jeder, wie er oder sie es haben will.“ 22:09
Hören — 22:09
Das ist grob gesagt und trifft genau: Ein Modell, das gefallen will, liefert jedem die Wahrheit, die er bestellt. Wörter wie Zeitgeist, geistreich, Geistesblitz setzen voraus, dass ein Geist einem Wirt gehört. Den Wirt der KI kennen wir nicht, es sei denn, man nennt die Techkonzerne. 22:55 — Und dann Scobels Kernsatz über die Maschinen: Sie wissen nicht, was ist, weil sie die Wirklichkeit nicht erfahren, an der sie ihre Behauptungen prüfen müssten. Die eigentliche Kränkung sei, dass sie
„… selbst nicht mehr wissen, ob sie etwas gefunden oder ob sie es nur erfunden haben.“ 22:55
Im Gespräch — 22:55
Hier lohnt es, Scobel gegen Scobel zu lesen. In der ersten Viertelstunde hat er mit Ryle erklärt, dass Geist kein Ding ist, das an einem Ort sitzt, sondern eine Art der Organisation — wie die Universität. Im Schluss argumentiert er, der Maschine fehle der Geist, weil „nie etwas wie Geist an diesem Ort war“. Das ist beinahe wieder das Bild, das Ryle austreiben wollte. Scobels stärkeres Argument ist ein anderes und braucht Descartes nicht: Den Maschinen fehlt der Weltkontakt, die Rückbindung an eine Wirklichkeit, an der eine Behauptung scheitern kann. Das ist eine prüfbare, ernste These. Ob Sprachmodelle wirklich gar nichts über die eigene Verlässlichkeit „wissen“, ist in der Forschung offener, als der Essay es klingen lässt: Ein Rest an Halluzination ist nach Kalai & Vempala 2024 für seltene Einzelfakten unvermeidbar, zugleich tragen Modelle ein messbares, unvollkommenes Signal über die eigene Unsicherheit (Faktencheck: vereinfacht). Mit Sicherheit wissen kann das Modell es nicht — ein Mensch allerdings auch nicht.
Wer exorziert die Exorzisten?
23:41 — Was KI-Systeme glänzend können, ist interpolieren: kleine Wissenslücken mit Wahrscheinlichem füllen. Genau darin liegt die Gefahr, denn diese gefüllten Lücken rufen wir später als Wissen ab. Scobel folgert, die Exorzisten bräuchten nun selbst einen guten Exorzisten — und das könne kein weiteres KI-System sein, weil KI-Systeme nicht wüssten, was sie tun.
„Die Dinger, auf die wir uns verlassen, arbeiten mit Wahrscheinlichkeiten. Sie arbeiten nicht mit Wahrheiten.“ 24:27
Im Gespräch — 24:27
Danach kippt der Ton. Scobel wirft „Trump und seine Big Tech Bros“ mit den „alternativen Fakten“ in denselben Topf und schließt mit dem Satz, wir seien dabei, unseren Geist aufzugeben. Das ist Polemik, und sie schwächt ein Argument, das sie nicht nötig hat. Die „alternativen Fakten“ stammen von Trumps Beraterin Kellyanne Conway, Januar 2017, eine Ausrede über die Größe einer Menschenmenge; mit probabilistischen Textmodellen hatten sie nichts zu tun (Faktencheck: vereinfacht). Einen wahren Kern hat die Polemik: Meta beendete Anfang 2025 sein US-Faktencheck-Programm mit Blick auf die neue Regierung, und die Branchen-Benchmarks belohnen nach Kalai et al. 2025 das Raten statt des „Ich weiß es nicht“. Hingenommen also, gewollt nicht. Wer Halluzination und Lüge gleichsetzt, verliert genau den Unterschied, auf den es ankommt: Die Lüge will täuschen, die Halluzination will gar nichts.
25:12 — Der letzte Satz ist wieder ruhig und trägt:
„… wir sollten dazu stehen, dass wir es sind, die uns und ihnen am Ende die Wahrheit sagen.“ 25:12
Im Gespräch — 25:12
Das ist eine Arbeitsteilung, und sie ist praktischer, als der Pathos-Schluss vermuten lässt: Die Maschine darf sammeln, finden, vorschlagen. Die Prüfung, ob das Gefundene in der Welt existiert — ob die zitierte Studie erschienen ist, ob das Muster außerhalb des Datensatzes hält —, bleibt Menschenarbeit. Man muss dafür nicht glauben, dass Maschinen niemals Geist haben können. Es reicht zu wissen, dass sie heute ihre Quellen nicht nachschlagen, wenn niemand sie dazu zwingt.
Ausgerechnet Scobels eigene Belege widersprechen ihm an einer Stelle. Das Lancet-Audit hat die erfundenen Referenzen mit Sprachmodellen aufgespürt, die NeurIPS-Funde stammen aus einem KI-Werkzeug, und in Nature wurde gezeigt, dass sich Konfabulationen über die „semantische Entropie“ eines Modells erkennen lassen (Farquhar et al. 2024). Maschinen helfen also längst beim Austreiben. Das letzte Wort hatte trotzdem jedes Mal ein Mensch — die Audit-Methode wurde an 500 von Hand geprüften Fällen geeicht. Das stützt Scobels Schlusssatz und widerlegt die Absolutheit davor.
Scobel sagt, ein KI-System könne kein Exorzist für ein anderes sein. Aber Menschen prüfen Menschen ja auch — im Peer Review, das gerade versagt. Liegt das Problem wirklich in der Maschine, oder in einem Prüfsystem, das schon vorher überlastet war?
Faktencheck
Die Studie gibt es, die Zahlen stimmen: Topaz, Roguin, Gupta, Zhang & Peltonen, Fabricated citations: an audit across 2·5 million biomedical papers, Lancet 407 (10541), 1779–1781. Untersucht wurde das Open-Access-Subset von PubMed Central vom 01.01.2023 bis 18.02.2026, insgesamt 2.471.758 Arbeiten. Gefunden wurden 4.046 erfundene Referenzen in 2.810 Arbeiten. Betroffen waren 2023 1 von 2.828 Arbeiten, 2025 1 von 458, Anfang 2026 1 von 277. Bei 98,4 % der Fälle hat der Verlag nichts unternommen. Die „Verzwölffachung“ ist die Kopfzahl der Autoren und bezieht sich auf Referenzen pro 10.000 Arbeiten. Rechnet man mit dem Anteil betroffener Arbeiten, ergibt sich rund das Zehnfache. Einschränkungen: Die KI-Herkunft ist aus dem zeitlichen Verlauf erschlossen, der steile Anstieg beginnt Mitte 2024. Die Methode ist selbst KI-gestützt und an 500 Fällen validiert. Cochrane bemängelt fehlende Methodendetails. Solidität: Einzelstudie (Correspondence). Quelle: doi:10.1016/S0140-6736(26)00603-3 · Retraction Watch, 07.05.2026
Das Audit hat alle Jahrgänge rückwirkend mit derselben Methode geprüft. Ein reiner Entdeckungseffekt erklärt den Anstieg deshalb nicht. Von 2.241 bioRxiv-Preprints mit erfundenen Referenzen, die später in PMC erschienen, trugen 85,3 % die Halluzinationen unverändert in die publizierte Fassung. Quelle: doi:10.1016/S0140-6736(26)00603-3 (Einzelstudie) · doi:10.48550/arXiv.2605.07723 (Preprint)
Zhao, Wang, Stuart, De Vaan, Ginsparg & Yin, LLM hallucinations in the wild (arXiv, 08.05.2026): 111 Mio. Referenzen aus 2,5 Mio. Arbeiten, konservativ geschätzt 146.932 halluzinierte Zitationen für 2025. Neben arXiv, bioRxiv und SSRN ist auch PubMed Central enthalten, es sind also nicht nur Preprint-Archive. Solidität: Preprint. Quelle: doi:10.48550/arXiv.2605.07723
Sehr wahrscheinlich ist NeurIPS 2025 gemeint. GPTZero fand 100 bestätigte halluzinierte Zitationen in 51–53 angenommenen Arbeiten, die alle das volle Review durchlaufen hatten, darunter „John Doe and Jane Smith“ und gefälschte DOIs. Zuvor waren schon rund 50 Fälle in ICLR-2026-Einreichungen aufgefallen. Zur Einordnung: GPTZero verkauft genau das Werkzeug, mit dem gesucht wurde. Die Beispiele sind aber einzeln verlinkt. Solidität: Firmenanalyse, Nachauswertung als Preprint. Quelle: GPTZero: NeurIPS 2025 · arXiv:2602.05930
Eine Umfrage mit genau diesem Zahlenpaar gibt es nicht. Es ist offenbar aus zwei Verlagsumfragen zusammengesetzt. Wiley ExplanAItions 2025 (2.430 Befragte): 84 % nutzen KI, die Sorge vor Halluzinationen stieg von 51 auf 64 %. Elsevier Researcher of the Future 2025: 58 % nutzen KI, 22 % halten sie für vertrauenswürdig. Die Richtung stimmt: viel Nutzung, wenig Vertrauen. „Um ihre Artikel zu schreiben“ und „vollständig vertrauen“ sind Zuspitzungen. Beide Absender verkaufen selbst KI-Werkzeuge. Quelle: Wiley ExplanAItions 2025 (phys.org) · Elsevier Researcher of the Future · begutachteter Gegenpol: Chugunova et al. 2026, doi:10.1016/j.respol.2025.105381 (6.215 Befragte bei Max Planck und Fraunhofer, 78 % nutzen KI)
Die Kolumne stammt aus dem SFI-Newsletter Parallax (Sommer 2026) und ist am 31.08.2026 auf Substack erschienen. Die Unterscheidung zwischen ontologischen und epistemischen Geistern steht fast wörtlich darin. Ebenso finden sich dort Ryles Oxford-Beispiel, Darwin, Turing und McCulloch & Pitts. Kleinigkeiten: Krakauer nennt die Proteinfaltung, nicht die Genetik. Sein Physikbeispiel ist die Fernwirkung, die mit der Allgemeinen Relativitätstheorie fiel, kein „gerader Raum“. Quelle: SFI Substack, 31.08.2026
Ryles The Concept of Mind (1949) enthält den „ghost in the machine“ als Kategorienfehler und die Frage „But where is the University?“. Koestler veröffentlichte The Ghost in the Machine 1967. Ghost in the Machine von The Police ist das vierte Studioalbum, erschienen am 2. Oktober 1981, der Titel geht auf Stings Koestler-Lektüre zurück. Freuds drei Kränkungen stehen in Eine Schwierigkeit der Psychoanalyse (1917). Quelle: Britannica: The Concept of Mind · Wikipedia: Ghost in the Machine (Album) · Freud 1917, Projekt Gutenberg
- McCulloch & Pitts beschrieben 1943 formale, binäre Schwellenneuronen auf Papier, keine „elektronischen Neuronen“ (doi:10.1007/BF02478259).
- „Alles Berechenbare“ ist die Church-Turing-These, kein Beweis Turings. Für ein Essay ist die Kurzform zulässig (doi:10.1112/plms/s2-42.1.230).
- „Den Geist aufgeben“ hat auch alttestamentliche Wurzeln (Klagelieder 2,12), nicht nur neutestamentliche (Sonntagsblatt).
- Koestler war ungarisch-britisch, nicht ungarisch-amerikanisch.
Was die Komplexitätsforschung gezeigt hat, ist deterministisches Chaos. Winzige Messfehler wachsen exponentiell, darum endet die Wettervorhersage bei etwa zwei Wochen. Das gilt schon in rein klassischen Systemen. Scobels Satz widerspricht sich außerdem selbst: Wer Ort und Impuls nicht zugleich bestimmen kann, hat eben nicht „alle Informationen“. Haltbar ist ein Kern: Die Quantenunschärfe setzt der Messgenauigkeit eine Untergrenze, und Chaos kann diese Unschärfe verstärken. Eine Absicht ist nicht zu erkennen, es ist die populäre Verschmelzung zweier Unvorhersagbarkeiten. Quelle: Lorenz 1963, doi:10.1175/1520-0469(1963)020<0130:DNF>2.0.CO;2 · Zhang et al. 2019, doi:10.1175/JAS-D-18-0269.1 (Einzelstudien)
„Offensichtlich“ ist zu stark. Neuronale Prozesse sind stark verrauscht (Review: Faisal, Selen & Wolpert 2008), und das Libet-Argument bröckelt (Schurger et al. 2012). Rauschen ist aber noch kein Indeterminismus, und ob Quanteneffekte im Gehirn eine Rolle spielen, ist umstritten (Tegmark 2000). Scobel entscheidet eine offene Frage im Nebensatz. Quelle: doi:10.1038/nrn2258 (Review) · doi:10.1073/pnas.1210467109 (Einzelstudie) · doi:10.1103/PhysRevE.61.4194 (theoretisch)
Den Begriff prägte Kellyanne Conway am 22.01.2017 in Meet the Press, es ging um die Menge bei der Amtseinführung. Eine „Rede“ von Big-Tech-Chefs dazu ist nicht belegt. Ebenso unbelegt ist, dass Halluzinationen etwas seien, das man „erreichen wollte“: Für die Anbieter sind sie ein Haftungsrisiko. Der reale Kern: Meta beendete am 07.01.2025 sein US-Faktencheck-Programm mit Blick auf die neue Regierung, und die Benchmarks belohnen das Raten. Hingenommen trifft es, gewollt nicht. Das Motiv ist erkennbar: Die politische Pointe verschafft dem erkenntnistheoretischen Argument einen Gegner, auf Kosten der Genauigkeit. Quelle: CNN, 22.01.2017 · NPR, 07.01.2025
Die Forschung trägt die Hälfte. Dafür: Kalibrierte Modelle müssen bei seltenen Einzelfakten halluzinieren (Kalai & Vempala 2024, begutachtet), und in einer formalen Welt lässt sich Halluzination nicht vollständig beseitigen (Xu et al. 2024, Preprint). Dagegen: Modelle tragen ein messbares, unvollkommenes Signal über die eigene Unsicherheit (Kadavath et al. 2022, Preprint; Steyvers et al. 2025). Konfabulationen lassen sich über semantische Entropie erkennen (Farquhar et al. 2024, Nature). Nach Kalai et al. 2025 sind Halluzinationen großenteils ein Anreizproblem. Kadavath und Kalai kommen von Anbietern (Anthropic, OpenAI), die ein Interesse an der Deutung „lösbar“ haben. Fazit: Ein Rest ist unvermeidbar, ein großer Teil beherrschbar. Dass der Abgleich mit der erfahrenen Welt fehlt, ist eine philosophische Position, kein prüfbarer Claim. Quelle: doi:10.1145/3618260.3649777 · doi:10.48550/arXiv.2401.11817 · doi:10.48550/arXiv.2207.05221 · doi:10.1038/s41586-024-07421-0 · doi:10.1038/s42256-024-00976-7 · doi:10.48550/arXiv.2509.04664
Scobels eigene Belege widersprechen ihm. Das Lancet-Audit trennt echte Erfindungen mit Sprachmodellen von Formatfehlern, und die NeurIPS-Funde stammen aus einem KI-Werkzeug. KI hilft also bereits beim Exorzismus. Das letzte Urteil bleibt allerdings menschlich, denn die Audit-Pipeline wurde an 500 von Menschen geprüften Fällen validiert. Das stützt Scobels Schlusssatz, nur nicht die Absolutheit davor. Quelle: The Scientist zur CITADEL-Methode · doi:10.1038/s41586-024-07421-0
Weiterführende Quellen
Aus der Video-Beschreibung:
- David Krakauer — Sizing Up the Ghosts in the Machines — Kolumne des SFI-Präsidenten (SFI Parallax, Sommer 2026), Anstoß der Folge
- Gilbert Ryle: The Concept of Mind (1949), Kapitel I „Descartes' Myth“ — der Übergang von „The Official Doctrine“ zu „The Absurdity of the Official Doctrine“ (genialokal)
Im Video erwähnt:
- Arthur Koestler: The Ghost in the Machine (1967; dt. Das Gespenst in der Maschine) (genialokal)
- The Police: Ghost in the Machine (Album, 1981)
- Alan Turing: „On Computable Numbers, with an Application to the Entscheidungsproblem“ (1936)
- Warren McCulloch, Walter Pitts: „A Logical Calculus of the Ideas Immanent in Nervous Activity“ (1943)
- Sigmund Freud: „Eine Schwierigkeit der Psychoanalyse“ (1917) — die drei Kränkungen
Faktencheck-Recherche (Sherlock):
- Nature News, 08.05.2026 — Surge in fake citations uncovered by audit of 2.5 million biomedical-science papers — Einordnung des Lancet-Audits
- Nature Feature, 01.04.2026 — Hallucinated citations are polluting the scientific literature — Überblick samt Gegenmaßnahmen
- The Lancet, Bauchner & Rivara — Fabricated references, a new threat to editorial integrity — Plädoyer für konsequentes Zurückziehen
- Resnik & Hosseini 2026, doi:10.1080/08989621.2026.2645390 — folgenreiche vs. beiläufige Falschzitate; Halluzination „inextricably linked to how LLMs operate“
- GPTZero zu ICLR 2026 — Vorgeschichte der NeurIPS-Analyse
- Wikipedia: Kränkungen der Menschheit — Freuds drei Kränkungen und die „vierte“ durch KI
Verbindungen
→ Torsten Wilholt — Wahrheit und Wissen
Scobels Schlusssatz, die Maschine wisse nicht, ob sie gefunden oder erfunden habe, ist Gettiers stehengebliebene Uhr in neuer Gestalt. Ein Sprachmodell kann richtig liegen, ohne dass der Weg dorthin verlässlich war, und dann ist die wahre Antwort noch kein Wissen. Wilholts Frage nach den Quellen des Wissens beschreibt genau die Arbeit, die bei den erfundenen Referenzen ausgefallen ist. Sein Fallibilismus bremst zugleich Scobels Pathos: Dass ein Werkzeug irren kann, macht nicht alles, was es liefert, zum Spuk.
→ Markus Gabriel — KI als Resonanzfeld und Mu
Gabriel sagt im selben Studio, KI sei nicht im Gerät, sie entstehe im Raum zwischen Nutzer und Maschine. Das ist Ryles Universität, auf die KI angewandt, und damit genau der Einwand gegen Scobels Schluss, der den Geist wieder an einem Ort sucht. Scobel spricht der Maschine den Geist ab, Gabriel hält schon die Frage „Mensch oder Maschine?“ für falsch gestellt. Zwei scobel-Folgen, die einander unmittelbar widersprechen.
→ Markus Gabriel — Soziale Netzwerke
Gabriels Triangulation — zwei Menschen und ein Gegenstand, der beide korrigieren kann — gibt Scobels stärkstem Argument, dem fehlenden Weltkontakt, einen Begriff. Ein Sprachmodell gleicht einer Debatte ohne Wasserflasche auf dem Tisch: Text antwortet auf Text, und nichts im Raum kann widersprechen. „Ob wir uns täuschen, hängt davon ab, was der Fall ist“ ist die nüchterne Fassung von Scobels Schlussappell.
→ Bewusstsein als Netzwerk
Anil Seths „kontrollierte Halluzination“ macht die Grenze zwischen Mensch und Maschine unbequemer, als Scobel sie zieht: Auch das Gehirn baut seine Welt aus Vorhersagen und füllt Lücken mit Wahrscheinlichem. Der Unterschied steckt im zweiten Teil von Seths Satz — die menschliche Halluzination wird von der Realität in Schach gehalten, die maschinelle von nichts. Scobels Weltkontakt-These bekommt so eine neurowissenschaftliche Stütze und verliert die bequeme Gewissheit, nur die Maschine halluziniere.
→ Catrin Misselhorn — Grundfragen der Maschinenethik
Scobel beobachtet an „den Geist aufgeben“, dass die Grammatik die Maschine beseelt, bevor jemand eine Theorie dazu hat. Misselhorn liefert die Mechanik: Empathie mit Maschinen ist eine Illusion wie die Müller-Lyer-Linien und wirkt weiter, auch wenn man es besser weiß. Ihre Trennung von syntaktischem Rechnen und semantischem Denken schärft die Intelligenzkränkung — sie nennt Sprachmodelle intelligent und spricht ihnen doch das Denken ab.
→ Albert Moukheiber — Mein Hirn und die anderen
Moukheibers „Sie antwortet nur mit Wahrscheinlichkeiten. Wie gehen wir also damit um?“ klingt fast wie Scobels Kernsatz, doch die Antworten gehen auseinander. Scobel setzt auf den Menschen, der am Ende die Wahrheit sagt, Moukheiber mit Bachelard auf das Denken „mit dem Gehirn der anderen“, auf gegenseitige Korrektur. Das Peer Review ist diese Korrektur als Institution — und die erfundenen Referenzen zeigen, wie leicht unkalibriertes Vertrauen in ein Werkzeug sie aushebelt.
→ ARTE — Forschung, Fake und faule Tricks
Beide Notes handeln von Wissenschaft, deren Prüfmechanismen ausgehöhlt werden, und der Vergleich legt Scobels Schwachstelle frei. Die Agnotologie produziert Zweifel mit Absicht und Auftraggeber; die halluzinierte Referenz entsteht ohne jede Absicht und richtet doch ähnlichen Schaden an. Wer Halluzination und „alternative Fakten“ in einen Topf wirft, verwischt die Unterscheidung, die man braucht, um Verantwortliche zu benennen.
→ scobel — Lyotard, das Ende der Wahrheit
Lyotards Performativitätskriterium erklärt, warum das Nadelöhr verstopft: Wo Wissen nach Verwertbarkeit und Ausstoß bemessen wird, lohnt sich ein Werkzeug, das schnell plausiblen Text liefert — das Nachschlagen lohnt sich nicht. Zugleich steht Scobels Schluss quer zu seiner eigenen Lyotard-Folge, denn „wir sind es, die die Wahrheit sagen“ setzt eine Instanz voraus, deren Autorität Lyotard bestritten hat.
→ Was macht die KI aus unserem Denken?
Das wachsende Panorama zur KI führt diese Note als Stimme unter „Soll die Maschine widersprechen oder schmeicheln?“.
Weiterdenken
- Scobel treibt mit Ryle den Geist als Ding aus dem Körper aus — und spricht ihn der Maschine ab, weil er „nie an diesem Ort war“. Kann man beides zugleich vertreten, oder holt der Schluss das Gespenst zurück, das der Anfang vertrieben hat?
- Wenn Geist die Art ist, wie etwas organisiert ist — wie die Universität —, welche Organisation müsste eine Maschine haben, damit wir ihr Geist zusprechen dürften? Und woran würden wir es merken, wenn unsere Grammatik es ohnehin längst tut?
- Die alten Kränkungen haben dem Menschen eine Illusion genommen. Was verliert er, wenn ihm ein Werkzeug die Unterscheidung von gefunden und erfunden abnimmt — eine Illusion oder eine Fähigkeit?
- Mit Wilholt ist Wissen wahre Überzeugung, die nicht vom Zufall lebt. Ist ein Sprachmodell, das meistens richtig liegt, ein Zufallstreffer mit guter Statistik — oder ist gute Statistik genau das, was wir bei uns selbst „Gründe“ nennen?
- Diese Note hat eine Maschine mitgeschrieben, und ein zweiter Agent hat ihre Quellen geprüft. Wo genau in diesem Ablauf sitzt der Mensch, der „am Ende die Wahrheit sagt“ — und reicht es, dass er irgendwo sitzt?
Von hier einen Faden gehen7 Stationen, rückwärts durch den Bestand
Im Bestand
elf gedachte Verweise