Die Schnittstelle zwischen Menschen und Maschinen wird in den Rechtssystemen neu definiert. Im Bereich des Rechts können wir erwarten, dass die Unterstützung unserer Arbeit durch KI-Systeme so selbstverständlich wird wie die Benutzung eines Taschenrechners. Anders als bisher werden wir aber die Grenze zwischen uns und unseren Werkzeugen nicht immer verlässlich ziehen können.

Zu diesem Problem gibt es ein beeindruckendes Interview von Thomas Metzinger in der Süddeutschen Zeitung. Ins Zentrum stellt er das Problem, dass wir – wohlwissend dass Maschinen Maschinen sind – uns trotzdem so an sie gewöhnen, als stammten ihre Interventionen von anderen Menschen. Früher haben wir solche Effekte als »Bio-Feedback« bezeichnet, heute stammen sie nicht von lebenden Wesen.

Die Wechselwirkung maschineller Unterstützung der menschlichen Kreativität wird derzeit vielfältig untersucht. Das Max-Planck-Institut für Bildungsforschung in Berlin hat kürzlich ein Projekt »Zur Evolution menschlich-maschineller Kultur« aufgelegt: https://www.mpib-berlin.mpg.de/1689151/project051-human-machine-cultural.... Jüngere Studien zeigen, dass Dialoge mit ChatGPT-Systemen psychologisch beruhigend wirken: Qiyang Zhang; Renwen Zhang; Yiying Xiong; Yuan Sui; Chang Tong; Fu-Hung Lin: Generative AI Mental Health Chatbots as Therapeutic Tools: Systematic Review and Meta-Analysis of Their Role in Reducing Mental Health Issues, Journal of Medical Internet Research, Vol 27 (2025), v. 16.12.2025, https://www.jmir.org/2025/1/e78238. Das kann jedenfalls im Umfeld psychoanalytischer Therapien von Bedeutung werden, wenn dort – wir wissen – starke personelle Engpässe bestehen. Yuval Harari hat das als „Hybride kulturelle Evolution“ bezeichnet.

Thomas Metzinger äußert sich kritisch zu dieser Entwicklung:

»Ich nenne es auch ›Menschen-Fracking‹, es zerrüttet unsere Gesellschaft. Aber es läuft längst etwas anderes: die intimacy economy. Das Ziel ist jetzt: Vertrauen zur Maschine herstellen. Die KI lernt den Mechanismus, mit dem wir emotionale Bindungen entwickeln… Ich sehe noch ein Problem: Menschen haben evolutionär ein überempfindliches System zur Erkennung von intelligenten Akteuren, das lieber zehnmal falsch anschlägt, als einmal ein Raubtier zu übersehen. Moderne KI-Systeme mit fotorealistischen Avataren könnten genau diesen Trigger aktivieren und das täuschend echte, leiblich verankerte Gefühl erzeugen, ›dass da jemand drin ist‹. Das könnte zu einer Epidemie sozialer Halluzinationen führen. Millionen Menschen hätten das feste Bauchgefühl, KI sei bewusst oder beseelt. Das wäre politisch kaum mehr steuerbar.« (Interview mit Thomas Kirchner, Süddeutsche Zeitung vom 1. August 2026)

Diese Schwierigkeiten wirken unmittelbar auf unseren Umgang mit Systemen der künstlichen Intelligenz ein. Wir werden davon ausgehen können, dass die Halluzinations-Rate von Computersystemen in absehbarer Zeit unter die Fehlerquote sinkt, die wir selbst unvermeidlich verursachen. Wir werden dann den Antworten, die wir an die Systeme stellen, genauso vertrauen wie unseren Taschenrechnern.

Unsere bisherigen Erfahrungen zeigen uns allerdings auch, dass die Systeme die Fragen, die wir stellen müssen, nicht von sich aus definieren können. Sie hängen nämlich in erster Linie von den Tatsachen ab. In zahllosen Standardfällen wird man die Systeme allerdings auch in dieser Hinsicht wirksam trainieren können (z.B. Schadensersatz bei Flugzeugverspätungen; triviale Versicherungsfälle). Komplexere Fälle wird man durch Checklisten strukturieren können (systematisch aufgebaute Gesetze sind nichts anderes), die Erfahrung zeigt uns aber, dass selbst »einfach« erscheinende Fälle in hohem Maße von Standards abweichen können.

Das zentrale Problem ist die Frage: Wie können wir die Grenze zwischen uns und unseren Werkzeugen so ausgestalten, dass wir sie immer mit hinreichend erforderlicher Klarheit erkennen können? Das ist auch ein berufsethisches Problem, das Eingang in die Diskussion über unser Berufsrecht führen muss. (Die Recherche zu diesem Beitrag wurde von Copilot unterstützt).