*Zwischen März 2023 und Oktober 2023 habe ich ChatGPT (OpenAI) dreimal auf seine Leistungsfähigkeit im Bereich rechtlicher Recherchen untersucht und bin dabei auf einige Grundlagenprobleme gestoßen, die unten im Abschnitt Testversuche näher dargestellt sind. 2024 hat Beck online mit »Frag den Grüneberg« das BGB mit einer KI-Suchfunktion ausgestattet. Die Ergebnisse der ersten Tests sind sehr viel besser als in den Testversuchen von einem Jahr, weil die KI anhand des Werkes trainiert worden ist.1 Hervorzuheben ist, dass hier auch Quellen und Querverweise angegeben werden, die – von Ausnahmefällen abgesehen – richtig sind. Man wird sie immer noch zusätzlich überprüfen müssen, aber das war auch bisher schon so. Wenn auch weitere Rechtsgebiete auf diesem Niveau trainiert werden, hätten wir endlich bessere Datenbanken für die juristische Arbeit. Was nichts an der Tatsache ändert, dass die Grundlagenprobleme bleiben.

Klassische juristische Datenbanken sind konstruiert wie eine Bibliothek: Jeder Bruchteil einer Information, vor allem aber die Rechtsquellen, auf die sie sich beziehen, können genau beschrieben und identifiziert werden. Bei künstlichen neuronalen Netzen (KNN) und/oder Selbstlernenden Systemen mit der GPT-Technologie (einschließlich ChatBots) ist das nicht mehr möglich. Sie trainieren Computer darauf, Informationen aus den unendlichen Beständen herauszufiltern, die sie speichern können. Eine verlässliche Information entsteht unter diesen Bedingungen nur, wenn die Systeme mit hohem Kostenaufwand auf enge Anwendungsbereiche trainiert werden. Der vor einem Jahr veröffentlichte Aufsatz sieht die Entwicklungen im Bereich des Rechts sehr zurückhaltend. Im Bereich rechtlicher Datenbanken gibt es heute aber erste erfolgversprechende Versuche (wie bei Beck-online »Frag den Grüneberg«).

»Eine Welt – eine Welt, ein Koloss aus Dummheit
und an einer Wimper hängt wie Staub ein Traum.«2

1. Die Verfahren der Rechtsgewinnung

Das Recht ordnet unsere soziale Wirklichkeit. Es entsteht durch den Erlass von Gesetzen, ihrer Durchführung in der Exekutive und ihrer Prüfung vor den Gerichten. In jedem dieser Bereiche durchlaufen wir drei Phasen eines Verfahrens der Rechtsgewinnung3, in denen Norm und Wirklichkeit miteinander in Verbindung gebracht werden. Auch der Einzelrichter steht mitten in kommunikativen Prozessen:

• Zunächst werden die Tatsachen festgestellt; bei der Entstehung von Gesetzen ist das Aufgabe derjenigen, die einen Gesetzesantrag einbringen sowie der oppositionellen Kräfte, die deren Relevanz auf die Probe stellen werden. Wenn die Exekutive diese Gesetze später anwendet, oder die Gerichte sie überprüfen, ist die erste Frage, von welchen Tatsachen der Fall bestimmt wird.
• Sodann wird das Recht durch Erlass oder im Parlament geschaffen und später von der Exekutive und/oder den Gerichten angewendet; dabei prüfen wir die Frage, ob die Tatsachen zu den relevanten Normen passen. Am Anfang: Wird das Gesetz mit seinen Mitteln die Ziele erreichen? In der Exekutive: Ist dieses Gesetz auf diesen Fall anwendbar? Vor den Gerichten: Wie ist es richtig anzuwenden? Dabei verwenden wir die klassischen erkenntnistheoretischen Mittel wie die Induktion, die Deduktion und die Abduktion4.
• Im dritten Stadium steht die Analogie im Zentrum unserer Werkzeuge, denn wir müssen vergleichen, ob der »Normfall« (Fritjof Haft), den das Gesetz im Auge hat, auf den konkreten Fall zutrifft, oder nicht.

In jeder dieser Phasen kommunizieren wir mit anderen Menschen und treffen zahllose Entscheidungen. Dabei nutzen wir nicht nur den Verstand, sondern folgen unseren Gefühlen, wir schwanken zwischen Gewalt und Mitgefühl und werden unbewusst durch zahllose Einflüsse, darunter auch spieltheoretische5 Szenarien beeinflusst. Im Bereich der Tatsachenermittlung müssen wir nicht nur fremde Meinungen, sondern auch eigene Vorurteile ausschalten (soweit sie uns bewusstwerden können). In jeder Phase können alle Informationen aus der mehrdimensionalen Welt, in der wir leben, relevant werden. Am Ende regeln wir die Konflikte durch Verhandlung und Entscheidung und stoßen dabei auf zahllose Einzelfragen, wie etwa: Halten die Gesetze verfassungsrechtlicher Prüfung stand? Unter welchen Bedingungen dürfen wir Gesetzeslücken schließen? Sollen wir dem Zeugen glauben? Dahinter stecken sehr komplexe Bewertungsfragen, die nicht mehr allein logisch abgebildet werden können: »Wenn Logik gegen eine starke Analogie anzutreten hat, dann gewinnt die ›Analogik‹«6. Bei unserer Arbeit müssen wir nicht nur Gesetzestexte interpretieren, sondern auch die Tatsachen und die Sprachen, in denen über sie gesprochen wird. So vor allem unsere Umgangssprache einschließlich aller Dialekte (Zeugenbeweis), den Fachjargon der Sachverständigen, die Sprache der Wissenschaft usw7.

All diese Informationen bestehen aus »kontinuierlichen Funktionen«, die zwischen uns analog durch Sprache, Schrift, Bilder, Melodien, Zeichen, Modelle, Kunstgegenstände usw. erfasst und beschrieben werden.

Wenn wir über den Einsatz Künstlicher Intelligenz (KI – englisch: AI) in den Verfahren der Rechtsgewinnung nachdenken, müssen wir zunächst verstanden haben, wie diese Technologie funktioniert. Dann stehen wir vor der Frage, was sie zur Unterstützung unserer Arbeit beitragen kann,8 und in welchem der drei Phasen der Rechtsgewinnung wir sie einsetzen können und/oder wollen.

2. Was ist Intelligenz?

Dieser Frage widmen sich Forschungsprojekte in zahllosen Disziplinen, ohne bisher eine allseits befriedigende Antwort gefunden zu haben9. Die Fähigkeit, Informationen wirksam zu verarbeiten und kausale Verknüpfung zwischen Tatsachen herzustellen, bilden unbestritten den Kern der Intelligenz. Aus ihnen ergeben sich zwei Fähigkeiten, die zwar nicht das ganze Spektrum dessen abdecken, was wir als intelligent bezeichnen, die aber für den Vergleich zwischen Mensch und Maschine relevant sind:

• Wir bezeichnen andere als intelligent, wenn sie Probleme lösen können, die weit oberhalb des Standards liegen, den wir von anderen Menschen im Alltag erfahren. Wir sind beeindruckt von der geistigen Arbeit, die jemand uns zeigt, ohne zu wissen, wie das funktioniert. Solche Fähigkeiten lassen sich in gewissem – und im Einzelfall sehr umstrittenen – Umfang mit Intelligenzquotienten messen10.
• Intelligenz bezeichnet darüber hinaus die Fähigkeit, beim Versuch der Lösung von Problemen Informationen, die auf den ersten Blick nicht zusammengehören, miteinander zu verbinden. So können wir auf die Veränderungen der Welt, mit denen wir uns ständig auseinandersetzen müssen, auf geeignete Weise reagieren, also flüchten oder standhalten, uns anzupassen oder durchzusetzen usw. Charles Darwin11 und Herbert Spencer12 haben das biologisch und soziologisch nachgewiesen.

Wer keine Probleme lösen kann oder will, wer uns das dialektisch unverzichtbare Gegenstück zu beiden Eigenschaften zeigt, wird umgangssprachlich als dumm bezeichnet, ein Begriff, der auch in zahllosen anderen Zusammenhängen negativ bewertet wird. Das ist falsch: Die Ablehnung von Informationen oder die fehlende Fähigkeit, disparate Gegenstände miteinander zu verknüpfen, verhindern – vor allem in hierarchisch aufgebauten Sozialstrukturen (Bürokratie) ausuferndes Wissen und risikoreiche Änderungswünsche. Intelligente Menschen bringen Unruhe in die bestehenden Strukturen, sie fordern ihre Änderung, und tragen ihre Erkenntnisse oft auf eine Art und Weise vor, die kommunikativ irritierend ist: »Intelligenz schafft mehr Probleme, als sie zu lösen imstande ist«13. Wer dagegen hält, reduziert Komplexität, sorgt für stabile und verstandene Verhältnisse und wehrt Anpassungsversuche ab, die exzentrisch und aussichtslos erscheinen. Poetisch ausgedrückt: Manche Menschen wirken auf uns »vor Dummheit leuchtend wie Safran«14 – und das kann sehr beeindrucken! Allerdings: Wären die Menschen nicht überwiegend intelligent, hätten sie unter den stets wechselnden Rahmenbedingungen, denen sie sich anpassen mussten, nicht überleben können.

»Intelligent« und »dumm« sind Begriffe, die wie viele andere immer auch moralisch konnotiert sind. Anpassung kann nicht nur in Diktaturen unmoralisch sein, die Ablehnung von Informationen ebenfalls. Das darf uns jetzt noch nicht verwirren, obwohl auch die Künstliche Intelligenz zahllose moralische Probleme aufwerfen kann. Noch aber bewegen wir uns nicht auf diesem Feld.

Wissen und Nichtwissen sind mit Intelligenz und Dummheit nur indirekt verbunden. Es gibt sehr intelligente Menschen, die wenig wissen, sich aber in unbekannten Situationen gut zurechtfinden. Und es gibt Menschen mit geradezu enzyklopädischem Wissen, die außerhalb ihres Elfenbeinturms nichts zuwege bringen. Auch im Nichtwissen kann man poetische Qualitäten erkennen:

»Was bringt die das intensive Vergnügen hervor, etwas nicht zu wissen? Ein Gefühl der Unabhängigkeit, der Kraft, die daraus entsteht, eine eigene Welt durch den Sinn für die Möglichkeiten zu erschaffen« (John Keats).

»Wissen und Nichtwissen im Keats‘schen Sinn sollte man dabei nicht als Gegensätze, sondern als komplementäre seelische Funktionen sehen. Beide dienen der Orientierung in der Realität.«15

In beiden Fällen ist Intelligenz nicht identisch mit Wissen. Zwar werden im Rahmen von Intelligenztests immer auch Wissensinhalte abgefragt, aber genau darin liegt auch ihre Schwäche. Es kommt auf die Fähigkeit an, Probleme besser lösen zu können als andere. Manchmal gelingt das mit verstärktem Wissen, manchmal ist eine sichere instinktive Reaktion erfolgreicher. Solche Fähigkeiten zur Lösung beliebiger Probleme hat man überwiegend im Verstand gesehen, die jüngere biologisch/psychologische Forschung zeigt uns aber, dass die logischen Fähigkeiten des Verstandes das Feld bei weitem nicht abdecken. Viele Menschen entwickeln ihre Intelligenz nur unter hohem Druck, andere brauchen Stressfreiheit; Mathematiker entwickeln sie in jungen Jahren, Juristen erst in späteren. Wir kennen jetzt emotionale16 und soziale Intelligenz und weitere Unterformen. In allen Fällen schreiben wir uns Qualitäten zu, die wir der Materie und den Maschinen absprechen17.

In den Verfahren der Rechtsgewinnung benötigen wir Wissen und Intelligenz, um eine Entscheidung vorzubereiten. Aber die Entscheidungen werden nicht allein gestützt auf unsere Intelligenz getroffen, sie sind das Ergebnis der kommunikativen Prozesse, die in den Verfahren entstehen. Sie laufen nach biologisch/psychologischen Regelwerken ab und werden durch zahllose Faktoren, darunter die Gruppendynamik, die Gefühle und die Ziele der Beteiligten beeinflusst.

3. Digitale Datenverarbeitung: Die Welt wird auf zwei Zustände reduziert

Wenn wir den Begriff der Intelligenz auf Leistungen von Computern anwenden, entsteht oberflächlich der Eindruck, wir meinten damit das gesamte Spektrum, das wir auch bei Menschen als intelligent bezeichnen. Tatsächlich sprechen wir aber über »Maschinenintelligenz«, also Eigenschaften, die einen bestimmten Computertyp von einem anderen unterscheiden. Hier sagen wir: Intelligenz ist die Fähigkeit, Modelle zu erzeugen18. »Modelle« sind Verfahren zur Datenverarbeitung. In der klassischen Technologie können Computer sie nur anwenden, jetzt aber sind sie fähig, sie auch zu erzeugen. Diese Modelle bestehen nicht nur aus logischen Abläufen, sondern erzeugen mithilfe der Wahrscheinlichkeitsrechnung bestimmte Muster und vergleichen sie mit der auf ein Muster reduzierten Wirklichkeit. Typisch bei der Gesichtserkennung: Ist dieses Gesicht der Fotografie ähnlich oder nicht? Dabei reduzieren sie unsere analoge Welt auf die »Verständnismöglichkeiten« der digitalen Maschinen, die nur über zwei Zeichen verfügen (0 und 1). Mit deren Hilfe können alle denkbaren »Zustände« des Systems beschrieben werden: Wir geben in die Hardware, gesteuert durch geeignete und definierte Schnittstellen mit ihr verbundene Software die Sprache, die Schrift, die Bilder usw. analog ein und übersetzen sie dann (teils von Hand, teils maschinell) in – für den jeweiligen Zweck geeignete19 – Maschinensprachen, die von der Maschine verarbeitet werden können (von-Neumann-Architektur, 1945). Diese Systeme haben eine jahrhundertealte Vorgeschichte, die wir seit Pascals, Leibniz‘, Zuses, von Neumanns und mancher anderen Rechenmaschinen bis in die Antike zurückverfolgen können20.

Wenn wir etwas anderes meinen, sollten wir davon sprechen, ob Maschinen »menschenähnlich« sind oder nicht. Diese Idee schwebt auf dem Hintergrund aller Diskussionen über das Thema und konfrontiert uns – bewusst und unbewusst – mit zahllosen philosophischen, ethischen und verfassungsrechtlichen Problemen. Ich werde zum Schluss darauf noch näher eingehen.

Digital arbeitende Computersysteme, vor allem aber Datenbanken sind konstruiert wie eine Bibliothek: Jede Information wird in einzelnen durchnummerierten Zeilen (lines of code) des Softwareprogramms mit ihrem Standort beschrieben (»Reihe 18, Regal 5, Platz 44«) und das Programm führt mit seinen Rechenregeln jeden, der nach der Information sucht, durch alle notwendigen Schritte, um die so beschriebene Information abzurufen: »Wenn der Begriff ›BVerfG‹ eingegeben wird, suche alle Zeilen, in denen er vorkommt«21. Komplexe Programme können Millionen solcher Zeilen umfassen und trotzdem kann man auf diese Weise Fehler genau lokalisieren: Wir können jede Reihe, jedes Regal und jeden Platz überprüfen (wenn man die Zeit und/oder die Werkzeuge hat, um sie zu finden).

Das Endergebnis dieser Rechenoperationen können wir verstehen, wenn die Computersysteme das Ergebnis mithilfe anderer Algorithmen22 am Ende in analoge Daten verwandeln, die unseren Sinnen unmittelbar durch Sprache, Schrift, Bilder usw. meist auf Bildschirmen und/oder oder in Druckern zugänglich sind.

Wer in einer so konstruierten Datenbank recherchiert, muss Schlüsselbegriffe eingeben, die eine mehr oder weniger hohe Treffergenauigkeit haben. Wer in den von Juristen üblicherweise benutzten Datenbanken (juris, Beck online, dejure.org, WoltersKluwer, Otto Schmidt etc.23) arbeitet, weiß, wie beschränkt die Ergebnisse auch heute noch sind. LexisNexis, Westlaw und andere aus dem angloamerikanischen Rechtskreis erscheinen leistungsfähiger. Das mag aber auch daran liegen, dass in Deutschland die Sachverhalte der wiedergegebenen Urteile nicht oder nur stark verkürzt gespeichert werden und viele Informationen anonymisiert werden (Datenschutz!24), sodass Einzelfälle schwer aufzufinden sind. Oft sind sie auf den ersten Blick völlig irrelevant. In anderen Fällen müssen wir versuchen, aus anderen Wissensquellen heraus zu beurteilen, ob die Ergebnisse richtig oder falsch sind, oder wir können es nicht und vertrauen dann mehr oder weniger stark auf die Ergebnisse.

Sind diese Systeme schon intelligent? Tatsächlich dürfen Softwareprogramme klassischer Art, wie sie oben beschrieben worden sind, nicht intelligent sein, sie dürfen sich nicht anpassen, sie müssen immer genau das tun, was ihnen befohlen wird, sonst leidet ihre Stabilität. Auch eine Bibliothek darf sich nicht verändern, wenn man in ihr die Bücher wiederfinden will. Deshalb sind die Leistungen klassischer Datenbanksysteme nicht intelligent, teils gerade wegen ihrer Überlegenheit, teils wegen ihrer Unterlegenheit. Softwaresysteme dieser Art sind uns nur durch die Fähigkeit überlegen, unvorstellbar große Datenmengen in Sekundenschnelle zu verarbeiten, aber darin gleichen sie zahllosen anderen unintelligenten Werkzeugen, die wir benutzen, um unsere Kräfte zu verstärken (Hebel, Teleskope, Mikroskope). Unterlegen sind sie uns in der Fähigkeit, die Informationen und das, was mit ihnen geschieht, zu interpretieren, zu verändern und anzupassen. Aber gerade das dürfen sie nicht können, weil wir uns sonst auf die Ergebnisse nicht mehr verlassen würden. Ihre »Dummheit« ist ein Sicherheitsfaktor.

4. Künstliche neuronale Netze (KNN) und Tiefes Lernen (deep learning)

Um 1960 begreifen die Softwareentwickler, dass die Entwicklung von Algorithmen und die Kontrolle dessen, was innerhalb des Softwaresystems geschieht, ihre Grenzen hat. Etwa 20 Jahre später war die Hardware so weit entwickelt, dass sie sehr viel größere Datenmengen verarbeiten konnte als zuvor. Aus deren statistischer Analyse und der Wahrscheinlichkeit des Auftretens sich wiederholender Strukturen ergaben sich Wahrscheinlichkeitsmuster, deren Analyse durch geeignete Algorithmen an den Computer selbst delegiert werden konnte: Heute definiert man nur noch die Art und Weise, wie die Daten auf zahllosen Ebenen zu speichern und zu verarbeiten sind, schreibt aber nicht immer lines of Code für das, was dann geschehen sollte25. Jetzt befinden wir uns teilweise nicht mehr nur in einer Bibliothek, sondern auf offenem Meer: Wir fangen Informationen wie die Fischer mit Künstlichen neuronalen Netzen (KNN = ANN (artificial neural network,)) deren Maschen auf verschiedenen Ebenen (layers) auf deren Größe, Qualität usw. abgestimmt sind. Allerdings können sie nur Informationen aufgreifen, die innerhalb der Reichweite der Netze zur Verfügung stehen. In den deep-learning-Architekturen beschreiben die Algorithmen nur das Netz den Input und die Regeln, wie das System sich verhalten soll. Was dann aber tief unten im Inneren der Systeme geschieht, wissen wir nicht (wir können keine Bibliothek mehr betreten) und deshalb nennen die Entwickler das Innere ihrer Systeme »Blackbox«. Die Qualität dessen, was dort geschieht, kann nur an den Ergebnissen kontrolliert werden26.

Selbstlernende Systeme kommen der Arbeitsweise des menschlichen Gehirns näher als bisher bekannte Software. Wir versuchen, mithilfe künstlicher Neuronen die Arbeit des menschlichen Gehirns widerzuspiegeln27: Wenn wir uns mit anderen Menschen austauschen, wissen wir auch nicht, wie der andere zu seinen Informationen gekommen ist, geschweige denn, wie er sie »versteht«. Auch der andere Mensch ist für uns eine »Blackbox«. Wir müssen seine Äußerungen, seiner Körpersprache, die Sprechsituationen usw. interpretieren und können nur seine Argumente mit unseren eigenen vergleichen und entweder akzeptieren oder nicht. Die Metapher der »Netze« zeigt, dass der Mensch nur noch das Werkzeug herstellt, die Verarbeitung der Daten aber nicht mehr von ihm gesteuert oder gar kontrolliert werden kann – »alles fließt« (Heraklit).

Geht es allein um die Rechenleistung nach definierten Regeln sind selbstlernende Computer uns beim Schach, beim Go oder anderen Spielen uneinholbar überlegen28 weil sie die uns möglichen Gedächtnisleistungen und Fähigkeiten, Muster zu vergleichen bei weitem übertreffen. Die ungeheure Datenmenge, die diesen Systemen zur Verfügung steht, bewährt sich auch in Übersetzungsprogrammen29, in Klimamodellen, bei der Interpretation von Börsenbewegungen, der Bildanalyse und vor allem der Robotics30.

Die größte Leistung der KNN-Systeme besteht in ihrer Fähigkeit, zu lernen wie man die Ergebnisse, die sie erreichen, verbessern und Fehler beseitigen kann. Anders als die wie eine Bibliothek konstruierte Software müssen sie sich anpassen, sie sind also nicht in vergleichbarer Weise stabil – wenn sie aber richtig und lange genug trainiert werden, lernen sie nicht nur Fehler zu beseitigen, sie lernen auch zu lernen! Das kann man nicht nur als Ansammlung von Wissen, sondern auch als kreativ bezeichnen. Da sie große Wissensmengen akkumulieren und diese nicht nur in bestimmten Standards, sondern oft in unerwarteter Gestalt präsentieren, vor allem aber, weil sie fähig sind, selbst Datenmodelle zu erzeugen und nicht nur abzuarbeiten, ist es berechtigt, diese Leistung als »schwache Intelligenz« zu bezeichnen.

In den juristischen Datenbanken findet man sie derzeit noch nicht. Zweifellos kann man deren Leistung durch KNN-Systeme erheblich verbessern, zum einen durch das Aussondern irrelevanter Informationen, zum anderen durch die Schwarmintelligenz, über die diese Systeme verfügen: Grundsatzurteile höchster Gerichte kann man allein dadurch identifizieren, dass sie von vielen Benutzern gesucht werden usw.. Sie werden uns aber in den Verfahren der Rechtsgewinnung nicht bei der Kommunikation mit anderen Beteiligten helfen, sie können keine Interessenkonflikte lösen.

5. Ein Quantensprung: ChatGPT (Generative Pre-trained Transformer)

Seit 2017 wird an neuen Systemen geforscht (ChatGPT (Generative Pre-trained Transformer)), die Anfang 2023 in ihrer 3. Generation (seit Mitte März 2023: GPT4) von openAI – einem Forschungsinstitut, das von US-Investoren finanziert wird – vorgestellt wurden31. Sie haben die Technologie der künstlichen neuronalen Netze, die ihre technische Voraussetzung bildet, erstaunlich weiterentwickelt. Diese Systeme können jede natürliche (analoge) Sprache verstehen und ihre Ergebnisse in analog verstehbarer Sprache wiedergeben, sie können auf uns antworten »wie ein Mensch«, der zahllose Informationen schneller und verständlicher darstellen kann, als dies die meisten Menschen können. Wir können nur in sehr begrenztem Umfang mehrere Aufgaben gleichzeitig erledigen (multitasking), wir arbeiten die Probleme, vor denen wir uns sehen, in der Regel sequenziell ab. Diese Systeme hingegen arbeiten gleichzeitig auf vielen Ebenen. Wir verlassen teilweise die deterministische Welt und bewegen uns an ihren Rändern in der Welt des Zufalls32.

Das geschieht mithilfe von Sprachmodellen (chat-bots):

»Wir haben GPT-3 vor simple Aufgaben aus der Psychologie gestellt, die uns verraten, wie Menschen lernen und Entscheidungen fällen. Bei Künstlicher Intelligenz weiß man manchmal nicht, ob sie klug antwortet, weil eine Frage schon Teil ihres Trainings war oder ob das System wirklich Neues generiert. Aber manche dieser Aufgaben hatte GTP-3 zu hundert Prozent nie zuvor gesehen. Trotzdem konnte es einige recht gut lösen. Das zeigt, dass hier schon eine kleinere Form der Intelligenz vorliegt (aber)…. Künstliche Intelligenz ist nicht neugierig, sie exploriert nicht.«33

OpenAI hat sein neues System weltweit öffentlich zugänglich gemacht. Wissenschaftler und Anwender haben sich sofort darauf gestürzt und seitdem wird der Begriff »Künstliche Intelligenz« geradezu inflationär gebraucht. Das liegt auch an der hin und wieder hysterischen Kommunikation, mit der einzelne Investoren (Elon Musk!) über das Thema sprechen, nicht zuletzt in der durchsichtigen Absicht, erhebliche staatliche Subventionen zu erhalten. Durch diese neue Technologie werden nicht nur die schon bekannten, auf künstlichen neuronalen Netzen beruhenden Systeme sehr viel leistungsstärker, es entstehen auch zahllose neue Anwendungen34.

So wird z. B. die herkömmliche Art, Software zu schreiben dadurch massiv erleichtert, dass das System schon bekannte Open Source Lösungen unterstützt und der Softwareentwickler selbst nur die Grundzüge zu definieren hat35. Basierend auf Vorgängermodellen hat man errechnet, dass ChatGPT auf diese Weise zwischen 30 % und 70 % des Aufwandes sparen können, den man bisher durch Konstruktion und Anwendung von Software gehabt hat36. Software kann heute auf so winzigen Chips untergebracht werden, dass man sich durchaus vorstellen kann, eine nahezu unendliche Zahl von Funktionen auf begrenztem Raum unterbringen zu können.

Man spricht über eine sich anbahnende »Superintelligenz«37. Diese Medienstrategie erinnert an den Aufruhr, der 1769 um den »Schachtürken« entstand, eine Maschine, die vorgab, Schach spielen zu können, während in Wirklichkeit ein Mensch in ihr versteckt war38.

6. Testversuche

Die juristische Welt hat auf die Vorstellung von ChatGPT stark reagiert. Es ist schwieriger denn je, auch nur das geltende Recht zu ermitteln, das immer mehr von europäischen und anderen internationalen Normen überlagert wird. Fast unmöglich erscheint es, zu Einzelfragen einen belastbaren Meinungsstand zu ermitteln, nicht zuletzt deshalb, weil er sich jeden Tag ändern kann. Gesetze werden rückwirkend angewendet, längst erloschene Systeme (altes DDR-Recht, altes EU-Recht39) wirken in die Gegenwart. Viel Hoffnung knüpft sich an die Idee, diese Komplexität durch neue Technologie reduziert zu sehen, auch wenn die Mehrheit der Stimmen noch sehr zurückhaltend klingt.

Die Ergebnisse in deutscher Sprache sind allerdings nicht ermutigend. Ich habe Mitte März 2023 an mehreren Tagen die Frage gestellt: »Welche Urteile des Bundesgerichtshofs gibt es zu Softwarefehlern?« Jedes Mal wurden vier unterschiedliche Urteile mit Datum und Aktenzeichen genannt und in kurzen Inhaltsangaben beschrieben. Hier zwei Beispiele:

»BGH, Urteil vom 12. Mai 2004 - VIII ZR 375/02: In diesem Fall ging es um den Kauf eines Computers mit vorinstallierter Software, die nicht funktioniert hat. Der BGH entschied, dass der Käufer einen Anspruch auf Nacherfüllung hat, wenn die Software die vereinbarte Beschaffenheit nicht aufweist.
BGH, Urteil vom 7. Mai 2009 - I ZR 114/06: Hier wurde ein Schadensersatzanspruch wegen eines Softwarefehlers in einem Computerspiel verhandelt, der dazu führte, dass Spielstände verloren gingen. Der BGH entschied, dass der Hersteller der Software für den Schaden haftet, wenn der Fehler auf eine unsachgemäße Programmierung zurückzuführen ist.«

Tatsächlich hat der Bundesgerichtshof unter dem Az. III ZR 375/02 ein Urteil gesprochen, allerdings am 08.01.2004 und es handelt von der ärztlichen Aufklärungspflicht über Inhalt und Kosten von Wahlleistungen. Ähnlich im zweiten Fall: Es gibt das Aktenzeichen, das Urteil stammt aber vom 11.03.2009 und beschäftigt sich mit Schutzrechtsverletzungen bei eBay. Auch in den anderen Fällen passte das Datum nicht mit dem Aktenzeichen zusammen und das Aktenzeichen wiederum hatte mit der Inhaltsangabe nichts zu tun. Ein erneuter Versuch mit der gleichen Frage erbrachte am 05.07.2023 11:28 Uhr nur noch ein (ebenso falsches) Urteil, immerhin aber den Hinweis auf die Datenbank des BGH, der zuvor fehlte. Bei einem letzten Versuch vom 15.10.2023 gab das System gar keine Urteile mehr an, offenbar weil man erkannt hatte, dass Quellen nicht sicher dargestellt werden können. Richtig (aber in jeder Hinsicht unvollständig) wurde nur erwähnt, dass der BGH-Urteile zur Gewährleistung und Mängelhaftung bei Softwareverträgen, zur Haftung für Schäden durch Softwarefehler und zur Beweislast bei Softwarefehlern erlassen hat.

Auch anderen Benutzern ist aufgefallen, dass die Antworten der Systeme sich teilweise nicht verbessern, sondern sogar verschlechtern40. Dafür kann es verschiedene Gründe geben. Was die juristischen Systeme betrifft, dürften die Systeme durch die Reaktion der Benutzer gelernt haben, dass die Quellenangaben völlig fehlerhaft sind und lernen daher, solche Angaben zu unterlassen und auch die Informationstexte allgemeiner zu formulieren – wodurch sie natürlich wertloser werden. Das Auseinanderfallen dieser drei notwendig miteinander verbundenen Informationen zeigt: Das System hat nicht in einer Bibliothek gesucht! Deshalb waren die Ergebnisse wertlos.

Der Grund: GPT 3 ist ein Sprachmodell und kein Wissensspeicher. Es enthält zwar Informationen, ist aber nicht – wie ein Lexikon – so konstruiert, dass es Wissen vermitteln will. Es setzt seine Informationen auf eine Art und Weise zusammen, wie es nach der Logik des Systems sprachlich (nicht: inhaltlich!) wahrscheinlich sein sollte – aber oft nicht so ist. Der Benutzer muss also jede Auskunft mit einer individuellen Fehlerrecherche überprüfen und das ist aufwendiger als in klassischen Datenbanken. Diese Probleme können aber durch intensives und hochspezifisches Training in sehr engen Segmenten überwunden werden können. Nur ist nicht zu erwarten, dass in der juristischen Welt solche Training stattfinden, weil sie sehr kostenintensiv sind und Juristen ihrer Ergebnisse normalerweise auf eigene Recherchen stützen, die Formulierung durch allgemeine Sprachen brauchen sie im Grunde nicht.

Christoph Burchardt (Goethe Universität Frankfurt) hat jüngst über seine eigenen Versuche berichtet41. Er hatte den interessanten Einfall, die Software mit sich selbst ein Streitgespräch über die Fähigkeiten intelligenter Maschinen und ihre Grenzen führen zu lassen. Die eine Seite wird durch einen fiktiven Rechtsprofessor (»Richard Bachgrund«) vertreten, die Seite der Industrie durch den fiktiven »Lonk Nesum« (Anagramm für Elon Musk). Beide führen das Gespräch auf einer unerwartet hoch abstrakten Ebene:

»Richard Bachgrund: Wenden wir uns nun der Rechtstheorie zu. Stellt der Einsatz von Chatbots in Rechtspraxis und Rechtsdogmatik das Konzept „Recht als Argumentation“ in Frage?
Lonk Nesum: Das glaube ich nicht. Im Gegenteil, Chatbots unterstützen und verbessern unsere Argumentation, indem sie uns helfen, relevante Gesetze und Präzedenzfälle schneller und effizienter zu finden und zu analysieren. Sie ermöglichen es uns auch, Entscheidungen auf der Grundlage von Daten und Fakten zu treffen und nicht auf der Grundlage subjektiver Meinungen oder Gefühle.«

Dieser Text, der sich noch länger hinzieht, ist beeindruckend. Man muss nicht nur viele Testversuche machen, sondern auch die Ergebnisse sehr genau untersuchen, wenn man ihre Schwachstellen analysieren will. Wenn man nach einiger Zeit die Strategien kennenlernt, die ein Chatbot entwickelt (sie werden ihm von den Softwareentwicklern, die ihn trainieren, beigebracht!), erkennt man, dass die Systeme die Texte, die sie zusammenstellen, nur aus anderen Texten kompilieren. Da sie nicht verstehen können, worum es geht, stellen sie ihre Antworten aus Bruchstücken von Texten zusammen, in denen ein Wort mit statistisch hoher Wahrscheinlichkeit auf ein anderes Wort folgt. Im Beispiel: »Richard Bachgrund« spricht von dem »Konzept: »Recht als Argumentation««, ein Konzept, das die Maschine nicht kennen oder deren Bedeutung verstehen kann. Die Antwort greift daher nur den Begriff »Argumentation« auf, der offenbar statistisch häufig mit den danach verwendeten Begriffen korreliert. Die dann folgende Behauptung, bei Argumenten sollten möglichst subjektive Meinungen und Gefühle ausgeschaltet werden, ist offensichtlich Unsinn, denn Logik ist nicht unsere stärkste Seite, wenn wir argumentieren. Jede Rechtsposition wird von Gefühlen und sturem Willen beeinflusst und wird vom Recht auch ernst genommen. Die Verfahren der Rechtsgewinnung sorgen zwar dafür, dass sie sich auf bestimmte Ziele richten, regelt ein bestimmtes Verhalten und bestimmte Prioritäten usw., aber unterdrückt sie nicht (Das letzte Wort!).

Welchen Wert haben angesichts der oben beschriebenen Fehler dieser Testversuche die ChatGPT-Systeme für die Verfahren der Rechtsgewinnung?

Zweifellos ist ChatGPT intelligenter als die früheren Systeme. In der Zukunft werden wir leistungsfähigere Werkzeuge erhalten, als wir sie bisher kennen. Bisher sehen wir nur den Kern eines Systems, das die Entwickler einem großen Publikum in einer Betaversion42 zur Verfügung stellen, die noch weit von den Möglichkeiten entfernt ist, die sich bei weiteren Entwicklungen ergeben. Auch die Anfänge der klassischen Datenbanksysteme waren nicht unbedingt überzeugend. Es ist nicht unwahrscheinlich, dass sich – ähnlich wie bei den Smartphones – um die Kerntechnologie herum eine Vielzahl von Applikationen entwickeln wird. Für juristische Anwendungen müssten sie von Verlagen oder anderen interessierten Anbietern lizensiert, und gezielt trainiert werden. Allerdings: Solange ChatGPT oder andere Pre-trained Transformer nicht – wie in der juristischen Welt üblich – die Quellen offenlegt, auf die es sich bezieht und zitierfähig wird, solange auch die Ergebnisse so unzuverlässig sind und nicht mit zumutbarem Aufwand korrigiert werden können, wird es keinen praktischen Nutzen haben. Die Korrektur dieser Fehler könnte nur gelingen, wenn die Entwickler bereit sind, die Art und Weise, wie sie ihre Netze im Meer der Informationen auslegen, offenzulegen.

Ein weiteres Problem ergibt sich daraus, dass die Systeme im Zuge des jeweiligen Trainings lernen, »problematische Inhalte« auszusondern. Was problematisch ist, wird letztlich von politischen und kulturellen Grundeinstellungen bestimmt und auch diese Regeln müssten offengelegt werden, sonst schaffen wir hinter dem Rücken der Verfassung eine Vorzensur ein, deren Vorstellungen von dem, was politisch korrekt ist, wir nicht kontrollieren können.

Wenn Systeme der künstlichen Intelligenz speziell auf juristische Inhalte trainiert und mit den Quellen verbunden werden, werden sie sehr viel effizienter sein als die jetzt vorhandenen Werkzeuge, wie erste Versuche in dieser Richtung zeigen43. Das gilt für die Feststellung von Tatsachen, für die rechtliche Recherche der Literatur und relevanter Urteile, für den Einsatz im Rahmen der formalen Erstellung von Gesetzen, Verordnungen usw., als Vertragsgenerator, aber auch im Bereich der juristischen Ausbildung44. Vorbilder aus anderen Branchen, vor allem aus der Medizin werden auf die juristische Welt übertragen lassen. Die Systeme werden anwenderfreundlicher werden und die Netzwerke der Benutzer werden sie stark fördern45.

Es ist eher unwahrscheinlich, dass ChatGPT oberhalb einer gedachten Werkzeugebene – z. B. in Form eines Entscheidungsvorschlages – sinnvoll eingesetzt werden könnte46. Die größte Gefahr von ChatGPT besteht in der Scheinsicherheit, mit der das System seine Ergebnisse in einer uns gewohnten Sprache präsentiert47. Das System äußert sich so, als habe es etwas verstanden, tatsächlich aber versteht es nichts, sondern vergleicht statistisch ermittelte Muster mit anderen Mustern. In einer Welt, die nur aus zwei Zahlen besteht, kann Bedeutung nicht erkannt, sondern nur – wie von einem guten Schauspieler – simuliert werden. Anders als wir Juristen steht ein Computer nie vor einer tragischen Wahl48, er kann nur so tun als ob. Derzeit wird auch über andere Forschungsansätze diskutiert, die darauf herauslaufen, dass Maschinen

lernen sollen zu denken wie Menschen49. Ob diese Arbeiten zu Ergebnissen führen werden, ist unklar.

Und schließlich: in unseren Verfahren kommt es – wie oben gezeigt – nicht allein auf Intelligenz an. Wir brauchen auch Beharrungsvermögen: das Recht kann sich nur in bestimmten verfassungsrechtlich definierten Wegen ändern, man muss sich auf die ständige Rechtsprechung verlassen können. Die Entscheidung unter mehreren juristischen Lösungen wird von unserem Gerechtigkeitssinn gesteuert, einer moralischen Intuition, die zu großen Teilen aus dem Unterbewusstsein gespeist wird50.

Dem könnte man entgegenhalten, dass die zur Verfügung stehenden Datenmassen genügend Vergleichsfälle liefern werden, die letztlich das Produkt einer menschlichen Entscheidung gewesen sind. Dazu aber müssten wir genau wissen, dass der gespeicherte Fall demjenigen in jeder Hinsicht ähnlich oder unähnlich ist, über den wir jetzt entscheiden müssen. Das ist aus zwei Gründen ausgeschlossen: Bereits die Schilderung des Tatbestandes wird von der getroffenen Entscheidung beeinflusst, die Urteilsgründe stützen die Entscheidung, aber nicht ihr Gegenteil und so fehlen uns unvermeidlich zu einem Vergleich mit dem aktuell zu entscheidenden Fall wichtige Informationen.

7. Das Problem der Fehler

Die Testversuche haben gezeigt, wie fehlerhaft die Beta-Versionen der neuen Systeme sind. Sie sind neu, nicht ausgereift und erst seit sehr kurzer Zeit im Einsatz: Wir brauchen »ein tiefergehendes Verständnis über die Funktionsweise der Netze«51. Es fehlt an belastbaren mathematischen Theorien, vieles was jetzt erreicht wurde, beruht auf Versuch und Irrtum. Aber auch die weiteren Versionen werden Fehler haben: Es gibt keine fehlerfreie Software, denn auf jedem Schritt der Datenverarbeitung treten unvermeidlich Fehler auf, teils, weil Menschen niemals fehlerfrei arbeiten können, teils weil die Systeme selbst bei den zahllosen Vorgängen des Komprimierens, Kopierens, Speicherns usw. technisch unvermeidbare Fehler entstehen. Ein Satz aus den frühesten Anfängen der Computertechnik: »Softwareprogramme arbeiten ungestört, wenn sie kurz und lange im Einsatz sind«52. Das bedeutet aber nicht, dass sie fehlerfrei arbeiten. Wir leben mit dem »Fehlersumpf«, der sich in jeder Software unvermeidlich ausbildet, solange die Fehler die Funktionalität nicht grundsätzlich beeinträchtigen, oder von jedem Anwender mit einfachen Mitteln sofort zu beseitigen sind (wie jeder aus Erfahrung weiß)53.

Die Gefahr der Fehler ist in künstlichen neuronalen Netzen (KNN) erheblich größer als in klassischen Datenbanken, wobei zwei Problemzonen in den Vordergrund treten: Die Größe der Datenbestände und die Unmöglichkeit, die Bedeutung einer Information auf digitalem Weg richtig zu verstehen. Künstliche neuronalen Netze sind umso leistungsfähiger, je größer sie sind. Umso herausfordernder ist die Aufgabe, diese Informationsmengen zu komprimieren54. Ein Beispiel: das Hebräische und das Altarabische verzichten in der Schrift auf Vokale und man kann einen Begriff wie »Verkehrsgeltung« in dieser Form geschrieben (Vrkhsgltng) mühelos rekonstruieren, wenn man daran gewöhnt ist. Komprimiert man jedoch den Begriff »suisse romande« auf »sss rmnd«, würde man ihn nur interpretieren können, wenn sich im Umfeld Hinweise auf die französische Schweiz finden. Weitere Beispiele kennt jeder Jurist aus dem Grüneberg.

Das zweite Fehlerproblem entsteht daraus, dass die GPT-Systeme nur statistisch erzeugte Muster mit Muster vergleichen können, nicht aber die in ihnen gespeicherten Informationen mit der analogen Welt, die sie umgibt. Das ist bei den ChatGPT Systemen (oder anderen Pre-trained Transformern) umso problematischer, als sie mit uns zu kommunizieren scheinen. Es ist weniger das Problem, dass dabei Fehler entstehen, sondern dass sie auf künstliche Weise verschleiert werden. Das sehen wir an den oben skizzierten Testversuchen. Zwar können sie solche Fehler korrigieren, aber nicht anhand der Wirklichkeit, sondern nur durch Veränderung der Muster, mit denen sie arbeiten. Das können sogar unsere Haustiere besser, sofern sie trainierbar sind55. Der Grund: Wir teilen mit ihnen wesentliche Teile der gleichen analogen Welt, auch wenn sie aus der von ihren Instinkten beschriebenen Welt nicht aussteigen können.

Die Fehlerquellen werden innerhalb von KNN-Systemen durch die Fähigkeit ausgeglichen, sie durch Bildung von Wahrscheinlichkeitsmustern korrigieren zu können. Die inhaltliche Richtigkeit der Ergebnisse, die sie uns am Ende liefern, können wir nur mit unserem eigenen Wissensstand vergleichen und sie schwankt abhängig von der Richtigkeit und der Qualität der uns zur Verfügung stehenden Informationen. Die Beurteilung darüber hängt von – oft genug unbewussten – Prämissen und Vorurteilen ab, die wir auch in der Kommunikation mit Menschen analysieren müssen. So zeigte sich etwa, dass ein Softwaremodell, das mit der Eingabe bewusst unsicher gehaltener Informationen trainiert wird, zu vorsichtigeren Schlüssen kommt, als wenn es nur über »selbstbewusste« Informationen verfügt56. Das entspricht unserer allgemeinen Erfahrung, dass unsere Anpassungsfähigkeit (und damit die Intelligenz) steigt, wenn wir nicht davon ausgehen, Informationen und Ergebnisse stark kontrollieren zu können (das Selbstbewusstsein der Dummen, der Dunning-Kruger-Effekt57).

Können Computer die Fähigkeiten, die wir in den Verfahren der Rechtsgewinnung brauchen, ebenfalls erlernen?58 Die GPT-4-Systeme lernen dadurch, dass sie ihre Fehler selbstständig beseitigen können (wenn sie sie als Fehler erkennen, was das wirkliche Problem ist). Ich sage hier bewusst, dass die Computer es selbst lernen müssen, nicht, dass wir sie in herkömmlicher Weise auf jedem Schritt kontrollierbar konstruieren könnten. Daraus entsteht ein tieferliegendes psychologisches Problem: Die Systeme wirken leistungsfähiger als sie sind59. Bei den klassischen Datenbanken, die wir als Juristen benutzen müssen wir immer die Spreu vom Weizen trennen, wir sind an ungenaue Trefferquoten gewöhnt, die Unsicherheit ist uns bewusst. Und es ist uns auch klar, dass manche unserer Entscheidungen anders ausgefallen wären, wenn wir bessere Informationen gehabt hätten.

In der juristischen Welt sind in den letzten fünf Jahren Überlegungen über die rechtlichen Auswirkungen von KNN-Systemen in zahllosen Branchenanwendungen veröffentlicht worden60 (z. B. für selbstfahrende Kfz), obwohl es noch keine Anwendungsfälle gibt61. Die gesetzlichen Vorschriften über Sachmängelhaftung, Produkthaftung usw.62, werden in einem neuen Licht gesehen werden müssen, wenn wir bei Softwareprogrammen, die auf Künstlichen neuronalen Netzen beruhen, keine Möglichkeit haben, zu überprüfen, ob eine Funktionsstörung auf einem Fehler beruht und wer für ihn verantwortlich ist. Wahrscheinlich wird der rechtliche Schwerpunkt künftig auf der Verantwortung und nicht auf der Schuld beruhen63.

8. René Descartes und Alan Turing testen die Künstliche Intelligenz

Damit sind wir bei der Frage angekommen, ob wir mit dieser Software demnächst eine Künstliche Intelligenz vor uns sehen, bei deren Problemlösungen wir – jedenfalls auf den ersten Blick – nicht mehr unterscheiden können, ob sie von Menschen oder Maschinen entwickelt worden sind. Zum einen zeigen uns diese Netzwerke ein großes Präsenzwissen, zum anderen entziehen sie sich der Planung. Wie menschliche Leistungen wirken sie auf unser eigenes Denken, Fühlen und Handeln zurück (Biofeedback)64, und zwar auch dann, wenn sie unsere Intelligenz nicht einmal annähernd erreichen: Wir fühlen uns schuldig, wenn wir die Hinweise der von uns selbst geschaffenen Maschine nicht ernst nehmen.

Mensch und Maschine sind in Netzwerken sozial miteinander verbunden und diese Verbindung wird mit Sicherheit immer enger werden, je mehr die Maschinen an unsere Leistungsebenen heranreichen: Es entsteht »eine kontinuierliche Hybridisierung zwischen sozialisierten Objekten und Gesellschaften, denen durch die Vermehrung nichtmenschlicher Wesen mehr Festigkeit verliehen wird.«65 Das war schon in der Steinzeit so: Der Mensch, der das erste Steinwerkzeug entwickelt hat, ist von dessen Möglichkeiten auf zahllose Anwendungen gestoßen worden, die er bei der Entwicklung mit Sicherheit nicht hat voraussehen können. Der Austausch solcher Informationen entspricht dem Geben und Nehmen, das wir als eines der Grundprinzipien menschlichen Sozialverhaltens kennen66.

Alan M. Turing hatte 1950 die Frage aufgeworfen, ob Mensch und Maschine als identisch betrachtet werden müssten, wenn eine Maschine sinnvolle Antworten auf Fragen gäbe, die man von jenen nicht unterscheiden könne, die ein Mensch gegeben hätte67. Mit dieser Frage hat sich 300 Jahre früher schon René Descartes beschäftigt und zwei Kriterien benannt, von denen das erste den Turingtest beschreibt68:

»Wenn es Maschinen mit den Organen und der Gestalt eines Affen oder eines anderen vernunftlose Tieres gebe, so hätten wir gar kein Mittel, das uns nur den geringsten Unterschied erkennen ließe zwischen dem Mechanismus dieser Maschinen und dem Lebensprinzip dieser Tiere; gäbe es dagegen Maschinen, die unseren Leibern ähnelten und unsere Handlungen insoweit nachgeahmten, wie dies für Maschinen wahrscheinlich möglich ist, so hätten wir immer zwei ganz sichere Mittel zu der Erkenntnis, dass sie deswegen keineswegs wahre Menschen sind.
Erstens könnten sie nämlich niemals Worte oder andere Zeichen dadurch gebrauchen, dass sie sie zusammenstellen, wie wir es tun, um anderen unsere Gedanken bekanntzumachen. Denn man kann sich zwar vorstellen, dass eine Maschine so konstruiert ist, dass sie Worte und manche Worte sogar bei Gelegenheit körperlicher Einwirkungen hervorbringt, die gewisse Veränderungen in ihren Organen hervorrufen, wie z. B., dass sie, berührt man sie an irgendeiner Stelle, gerade nach dem fragt, was man ihr antworten will, dass sie, berührt man sie an einer anderen Stelle, schreit, man täte ihr weh und ähnliches; aber man kann sich nicht vorstellen, dass sie die Worte auf verschiedene Weisen zusammen ordnet, um auf die Bedeutung alles dessen, was in Ihrer Gegenwart laut werden mag, zu antworten, wie es der stumpfsinnigste Mensch kann.«

Alan Turing nannte seinen Text »imitation game«, er inszenierte ein Spiel, in dem die Maschine in ihrer äußeren Gestalt nicht erkennbar war und ging von der Prämisse aus, dass Maschinen »intelligent« sind, wenn wir mit Ihnen sprachlich kommunizieren und sie dabei nicht von Menschen unterscheiden können. Das Problem dieser Konstruktion besteht darin, dass die wesentliche Fähigkeit der Maschine darin bestehen muss, uns ihre wahre Existenz zu verschleiern. Wäre sie ein Mensch, würde man das Lüge nennen, aber davon kann man nur sprechen, wenn man weiß, dass eine andere Wahrheit gibt. Die Maschine weiß das nicht. Dessen war Turing sich bewusst:

»I do not wish to give the impression that I think there is no mystery about consciousness. There is, for instance, something of a paradox connected with any attempt to localise it. But I do not think these mysteries necessarily need to be solved before we can answer the question with which we are concerned in this paper.69«

Ein Computer wird vielleicht sogar emotionale Intelligenz darstellen können. Darstellung allerdings ist eine schauspielerische Qualität, sie ist ein irritierendes Spiel zwischen Sein und Schein. Gefühle gehören in die vieldimensionale analoge Welt, in der digitalen Welt können sie nur mit 0/1 eindimensional wiedergegeben werden. Und trotzdem äußern sich Computer gestützt auf die Texte, mit denen sie trainiert wurden, überzeugend zu ihren »Gefühlen«. Das kann sehr überzeugend wirken, sodass wir aufgrund eines Biofeedback-Effekts zögern könnten, ihnen den Strom abzuschalten70.

Nicht nur in den von Christoph Burchardt vorgestellten Texten, auch in zahllosen anderen Versuchen erweist sich: ChatGPT hat das erste Kriterium des Turingtests bestanden. Aber der Testansatz, den Descartes und Turing entwickelt haben, um die Identität zwischen Mensch, Tier und/oder Maschine nachzuweisen, hält – wie schon früher festgestellt wurde71 – einer genaueren Kritik nicht stand. Der Turingtest beweist nicht die Intelligenz einer Maschine, sie öffnet nicht das System, auf das sie beschränkt ist, sondern beweist nur die Grenzen unserer Fähigkeiten, Täuschungen aufzudecken, die wir die Maschine gelehrt haben!72.

So bleibt uns noch das zweite Kriterium, das René Descartes entwickelt hat und folgendermaßen beschreibt:

»Das zweite Mittel ist dies: Sollten diese Maschinen auch manches ebenso gut oder vielleicht besser verrichten als irgendeiner von uns, so würden sie doch zweifellos bei vielem anderen versagen, wodurch offen zutage tritt, dass sie nicht aus Einsicht handeln, sondern nur zufolge der Einrichtung ihrer Organe. Denn die Vernunft ist ein Universalinstrument, das bei allen Gelegenheiten zu Diensten steht, während diese Organe für jede besondere Handlung einer besonderen Einrichtung bedürfen; was es unwahrscheinlich macht, dass es in einer einzigen Maschine genügend verschiedene Organe gibt, die sie in allen Lebensfällen so handeln ließen, wie uns unsere Vernunft handeln lässt.«

Noch weitergehend hat Thomas Metzinger vorgeschlagen73:

»Ein wesentlich interessanteres Kriterium für das Vorhandensein geistiger Eigenschaften in einem starken Sinn (ist) nicht der Turing-Test für Intelligenz sondern der Metzinger-Test für Bewusstsein - ein Test, der verlangt, dass ein nicht-biologisches System mit eigenen Argumenten in die Diskussion um Künstliches Bewusstsein eingreift und überzeugend für seine eigene Theorie des Bewusstseins argumentiert.«

Wenn man den Dialog, den Christoph Burchardt inszeniert hat, unbefangen liest, hat man den Eindruck, dass System habe auch den Metzinger Test bestanden. Tatsächlich ist das nicht der Fall, denn die Antworten bestehen aus zusammengesetzten Zitaten, deren Bedeutung das System nicht verstehen kann. Ein System steht jedenfalls erst dann an der Grenze zur Intelligenz:

»… wenn es sich selbst programmieren kann, wenn es sich selbst ausdenken kann, welche Kriterien für die Auswahl eines Handlungsschrittes jeweils verwendet werden sollten, wenn es sich ausdenken kann, wie man vorwärts – und rückwärts planen richtig kombinieren kann, wenn es er ständig auf die Idee kommen kann, dass man auch rückwärts planen kann.74«

Davon kann hier keine Rede sein. Und trotzdem werden diese Systeme einen unkalkulierbaren Einfluss auf unser kulturelles Verständnis von uns selbst haben. Das hat Friedrich Kittler schon 1982 ganz am Anfang der digitalen Revolution vorausgesagt: »Unter technologischen Bedingungen verschwindet die Literatur … im Untod ihres endlosen Verendens.«75

9. Verfahren der Rechtsgewinnung sind offene Systeme: Das »harte Problem«

Unser Bewusstsein besteht nicht allein aus der Ansammlung von unendlich viel Wissen und der Möglichkeit, dieses Wissen wirkungsvoll (aber nicht nachvollziehbar) zu verarbeiten. Es besteht aus einem ständigen Zusammenspiel zwischen Logik, Gefühlen und Entscheidungen, einem Zusammenspiel, das sich vor allem in Situationen bewähren muss, die wir noch nicht kennen, die wir bisher noch sehr ungenügend verstehen und auf digitale Weise nicht nachahmen, sondern nur imitieren können76.

»Zu den leichten Problemen der Bewußtseinsforschung zähle ich die Fragen: Wie unterscheidet das Gehirn Information, die es aus der Umgebung erhält? Wie wird diese Information verarbeitet und so integriert, daß das Gehirn Verhalten steuern kann? Natürlich haben solche Fragen mit Bewußtsein zu tun, und die Neurobiologen konzentrieren sich nicht ohne Grund auf solche Vorgänge. Doch was ich als hartes Problem bezeichne, läßt sich damit nicht erklären: Warum gehen diese Bewußtseinsfunktionen mit einem subjektiven Innenleben einher? Warum funktioniert das Gehirn nicht auch ohne diese Empfindungen und Gefühle?«77

Auf der Werkzeugebene können wir ChatGPT oder andere Pre-trained Transformer auf hohem Niveau dazu einsetzen, das juristische Denken zu unterstützen78, aber sie können auch durch Systeme mit denkbar starker KI keinen Juristen ersetzen, wenn sie nicht dessen bisher nur bei Menschen beobachteten Eigenschaften aufweisen. Das haben schon ganz zu Beginn der Debatte um das Thema Mitte der Siebzigerjahre des letzten Jahrhunderts Wolfgang Kilian79 und Fritjof Haft80 herausgefunden. Im Verfahren der Rechtsgewinnung werden zahllose Fragen relevant, die nicht nur auf Logik aufgebaut sind. Wenn die Normen nicht so ganz passen, müssen wir sie überprüfen, auslegen, ergänzen und all diese Entscheidungen werden von Faktoren beeinflusst, die nicht allein von der Logik, sondern von anderen Faktoren gesteuert werden und uns teilweise nicht bewusst sind. Wir arbeiten zwar unter definierten Rahmenbedingungen, aber nicht – wie die Computer – in geschlossenen, sondern in offenen Systemen81. Deshalb können Computersysteme – welcher Art auch immer – nur wie gute Schauspieler das logische Denken darstellen, sie können Sätze aussprechen, die Gefühle imitieren (und daher den Turingtest bestehen), aber dabei läuft es ihnen nicht kalt den Rücken herunter.

Nun könnte man sagen, dass ein Computer jedenfalls keinen Interessenkonflikten ausgesetzt ist. Wir übersehen dabei aber, dass selbstlernende Systeme nach Regeln trainiert werden, die Menschen definiert haben, die solchen Konflikten nie ausweichen können. Diese Konflikte schlagen sich in dem Such – und Darstellungsverhalten des Computers nieder, wie wir z. B. in China beobachten können82.

Leistungsfähige Roboter werden allerdings bereits jetzt darauf trainiert, innerhalb des Regelwerks, das sie befolgen, auf bisher unbekannte Situationen richtig zu reagieren. Diese Fähigkeit entspricht nur teilweise der Anforderung an die menschliche Intelligenz, denn sie können sich nicht selbstständig aus dem Regelwerk heraus bewegen und neue Regeln für ihnen bisher unbekannte Situationen entwickeln (Allgemeine Künstliche Intelligenz – AKI): »Natürlich kann ich meinem Schachcomputer nicht mehr schlagen, aber er kann mir auch kein Bier holen.83« Das zeigt sich vor allem, wenn ChatGPT oder andere Pre-trained Transformer vor die Aufgabe gestellt werden, psychologische Probleme zu lösen, die ähnlich wie juristische Problemlösungen nicht nur ständig von Analogien durchzogen werden, sondern auch empathische Einfühlung verlangen.84

Julian Nida-Rümelin85 weist darauf hin, bereits die Gödelschen Unvollständigkeitssätze zeigten die Unmöglichkeit, die analoge Welt in einer nur aus Zahlen bestehenden Welt lückenlos zu erfassen, weil mathematische Systeme entweder widersprüchlich oder unvollständig sind: »Die höheren Wesen sind durch Analogie, nicht durch Komposition mit den anderen Wesen verbunden«86. Mathematische Paradoxa können nur mit Erkenntnissen außerhalb der Mathematik – also in einem offenen System – aufgelöst werden. GPT-Systeme können nur unsere Erkenntnisse spiegeln und diese stammen notwendig aus der Vergangenheit. Sie können die Welt nicht vollkommener machen, als sie ist. Aber sie zeigt uns immerhin die Art und Weise, in der wir selbst versucht haben, dieses Scheitern praktisch (und nicht logisch) zu überwinden. Allerdings: In die Zukunft kann sie nicht blicken.

Die Fähigkeiten der ChatGPT-Systeme sind kein Nachweis eines Bewusstseins oder Selbstbewusstseins. Das könnte man nur annehmen, wenn der Computer die ihm gegebenen Regeln für die Blackbox selbst ändern und weiter entwickeln könnte. Der Sturm der Diskussionen über die ChatGPT-Systeme verdeckt diese Beschränkungen, weil in den künstlichen neuronalen Netzen schon seit längerer Zeit auch »Agenten« (bots) unterwegs sind, die dort selbstständig einzelne Aufgaben erledigen, ohne von einem Menschen im Einzelfall gesteuert zu werden. Sie müssen den allgemeinen Auftrag, den sie erhalten, im Einzelfall richtig interpretieren und sie werden vermutlich in absehbarer Zeit auch zutreffende Quellenangaben enthalten und damit vor allem für juristische Anwendungen eine wesentliche Schwachstelle beseitigen, die sie derzeit aufweisen. So wird mit hoher Wahrscheinlichkeit im Internet der Dinge87 eine Schwarmintelligenz entstehen, die sich von den kreativen Leistungen der Menschen abkoppelt. Diese und zahllose andere Weiterentwicklungen können wir nicht aufhalten, auch wenn wir darin nicht nur ethische, sondern auch politische Gefahren sehen88. Sie ergeben sich vor allem daraus, dass ChatGPT-Systeme nur das wiedergeben können, womit sie trainiert worden sind und über die Inhalte, die dafür verwendet werden, entscheiden Menschen mit bestimmten Urteilen und Vorurteilen, die sich in den Antworten der Systeme wiederfinden89.

Die Forschung an Maschinen, die Künstliche Intelligenz entwickeln können, dient nicht zuletzt auch dem Verständnis der Chancen und Risiken unserer eigenen Intelligenzleistungen. Schon jetzt zeigt uns die Forschung, dass Menschen berechenbarer sind, als wir es für möglich halten: »Der Mensch ist ja Mensch, weil jede Programmierung an ihm scheitert. Die Unberechenbarkeit ist das Wesen des Menschen«90 – diese Sicht auf die Dinge würde man heute als naiv betrachten, denn Menschen handeln in hohem Maße irrational, weil das Unterbewusstsein nicht bewusstwerden kann. Die Intelligenz der Maschine arbeitet in geschlossenen Systemen, die Realität hingegen ist ein offenes System, das man nur mit einer Vielzahl kleiner – der Situation angepasster – Eingriffe steuern kann91.

Die Menschen, die in ein paar hundert Jahren leben, werden biologisch/psychologisch nicht mehr vollständig mit uns identisch sein. Sie werden viele – mikroskopisch kleine – technische Ersatzteile tragen und hybride Wesen92 darstellen, die mit den Computern, die sie umgeben, viel selbstverständlicher kommunizieren, als es uns möglich ist93. Vielleicht wird Künstliche Intelligenz einen Teil unseres irrationalen Wesens ausschalten, ohne dass wir wissen könnten, ob darin ein Vorteil zu sehen ist. Vielleicht ist es uns eines Tages gleichgültig, ob die Computer weder sich noch uns verstehen, wenn sie nur das leisten, was wir von ihnen erwarten. Endlich hätten wir Sklaven, ohne uns unmoralisch zu fühlen.

Es kann aber auch ganz anders kommen: Wenn Künstliche Intelligenz in der Zukunft fähig wird, aus ihrem geschlossenen System auszusteigen und ihre statistisch errechneten Muster mit der Wirklichkeit abzugleichen, hätten diese Computer zwar immer noch ein nur zweidimensionales Bild der Realität, es könnte aber so wirken, als wären sie unseren Perspektiven gleichwertig. Solange wir Computersysteme als Werkzeuge einsetzen, diese Werkzeuge beherrschen und die Ergebnisse, die sie uns liefern, mit dem Blick auf die Wirklichkeit beurteilen und wie bisher eigene Entscheidungen treffen können, werden sie uns dienen. Aber die Selbstsicherheit, die die neuen GPT-Systeme ausstrahlen, könnten unsere Entscheidungen so stark beeinflussen, dass wir unsere Freiheit verlieren. Das ist das zentrale Problem der künstlichen Intelligenz.94

Wir müssen damit rechnen, dass jede bedeutende technologische Weiterentwicklung unvorhersehbare Wirkungen nach allen Seiten haben kann (technological spillover effects)95. Tief im Hintergrund schweben eine Vielzahl rechtsphilosophischer96, ethischer97, aber auch verfassungsrechtlicher98 Fragen, die an das Problem der Vergleichbarkeit menschlicher und maschineller Entscheidungen anknüpfen. Wir werden wir sie lösen können? Wenn wir die heutige Science-Fiction Literatur lesen, halten wir vieles für unwahrscheinlich, aber am Ende darf man die Fantasie nie unterschätzen. Es ist verblüffend, wie absolut unwahrscheinliche Visionen am Ende doch Wirklichkeit werden können. Roger Bacon schrieb um 126099:

»Es werden Maschinen gebaut werden, mit denen die größten Schiffe, von einem einzigen Menschen gesteuert, schneller fahren werden, als wenn sie mit Ruderern vollgestopft wären; es werden Wagen gebaut werden, die sich ohne die Hilfe von Zugtieren mit unglaublicher Geschwindigkeit bewegen werden; Flugmaschinen werden gebaut werden, mit denen ein Mensch die Luft beherrschen wird wie ein Vogel; Maschinen werden es erlauben, auf dem Grund von Meeren und Flüssen zu gelangen«.

Dietrich Dörner hat sich gefragt, wie ein Computer beschaffen sein müsse, der auf die Welt ähnlich reagiere, wie wir es tun. Er sieht den wesentlichen Unterschied nicht in abstrakten Intelligenzleistungen, sondern in der Fähigkeit, sich selbst beim Denken zu betrachten und zu kommentieren (Selbstgespräche)100. Goethe meinte: Wenn die Affen es dahin bringen könnten, Langeweile zu haben, so könnten sie Menschen werden.«101 Kann man sich eine Maschine vorstellen, der es langweilig ist? Man könnte noch weitergehend sagen: Ein Computer, der nicht fähig ist, Suizid zu begehen, ist nicht intelligent, weil er seine Existenz nicht infrage stellen kann.

10. Zusammenfassung

Die klassische Datenbanktechnologie wie sie derzeit auch für juristische Datenbanken verwendet wird, ist konstruiert wie eine Bibliothek. Jeder Suchschritt kann auf jeder Ebene nachvollzogen werden, wenn man den Aufwand nicht scheut. Die Qualität der Recherche ist verglichen etwa mit Google Algorithmen relativ gering, die Treffgenauigkeit schwach, aber es gelingt doch mit zumutbarem Aufwand, die Spreu vom Weizen zu trennen. Diese Systeme können nicht der künstlichen Intelligenz zugerechnet werden.

Künstliche neuronale Netze (KNN) und/oder Selbstlernende Systeme mit der GPT – Technologie (einschließlich ChatBots) trainieren Computer darauf, Informationen aus den unendlichen Beständen herauszufiltern, die sie speichern können. Die Verarbeitung kann nicht mit zumutbarem Aufwand in jedem einzelnen Schritt nachvollzogen werden (Blackbox), die Qualität der Ergebnisse ist nur am vorhandenen Wissen messbar. Die Gefahr unkontrollierbarer Fehler steigt. Beck-online hat den BGB-Kommentar Grünberg im Jahr 2024 mit einer KI Funktion ausgestattet (»Frag den Grünberg«), die es erlaubt, den Erfolg solcher Systeme im Bereich des Rechts zu testen und künftig zu verbessern.

Man bezeichnet diese Technologie als »Schwache Künstliche Intelligenz«, weil die Systeme fähig sind, in geschlossenen Systemen Teile der menschlichen Verstandesleistung anhand von ähnlichen Strukturen und Mustern nachzuahmen, die anhand von dokumentierten Inhalten trainiert werden können, die von Menschenhand stammen. Sie lernen zwar, die Regeln auf immer höheren Qualitätsstufen richtig zu interpretieren, aber sie können die Regeln, nach denen sie arbeiten, nicht verändern oder brechen.

Für eine »starke« Künstliche Intelligenz wäre es erforderlich, dass ein Computer in einem offenen System arbeitend, Aufgaben zu lösen imstande wäre, die er noch nicht gelöst hat und die nicht trainiert worden sind. Wir werden alle Systeme der künstlichen Intelligenz als Werkzeuge akzeptieren, sobald sie uns die Arbeit wirklich erleichtern. Auch mit solchen Systemen könnte allerdings die Komplexität menschlichen Entscheidungsverhaltens nicht abgebildet werden, wie wir sie in den Verfahren der Rechtsgewinnung verwenden.

Gleichwohl könnten Systeme der Künstlichen Intelligenz, vor allem dann, wenn sie sprachlich auf uns reagieren, den Eindruck erwecken, dass sie als unsere Werkzeuge bessere und sicherere Recherchen zustandebringen, als wir selbst dazu fähig sind. Ob und wie wir solche Eindrücke durch unseren Blick auf die Wirklichkeit korrigieren und als fehlerhaft erkennen können, ist das zentrale Problem der Künstlichen Intelligenz.

• *. Erstveröffentlichung: RPhZ (Zeitschrift für die Grundlagen des Rechts) IV/2023, aktualisiert im Februar 2025. Ich danke Herrn Dr. Eric Schulz, Max-Planck-Institut für biologische Kybernetik (Tübingen) für technologische Informationen Im Interview vom 20.02.2023; ferner Simón Maturana für eine kritische Durchsicht der Schlussfassung und seine Anregungen.
• 1. Michael Beurskens: Wer dumme Fragen stellt, bekommt auch dumme Ant­worten, LTO, 13.12.2024; Carsten Schier: Hil­f­reich, aber aus­bau­fähig, LTO, 08.01.2025.
• 2. Gottfried Benn: Brief vom 11.10.1935, Briefe an F.W. Oelze Klett Cotta 1977, S. 79.
• 3. Arthur Kaufmann, Das Verfahren der Rechtsgewinnung – eine rationale Analyse, C.H. Beck 1999.
• 4. Arthur Kaufmann siehe FN 3.
• 5. Christian Rieck, Einführung in die Spieltheorie, Rieck, 14. Aufl. 2015; Gregor Berz, Spieltheoretische Verhandlungs-und Auktionsstrategien, Schäffer Poeschel 2007.
• 6. Hofstadter/ Sander, Die Analogie – das Herz des Denkens, Klett Cotta 2013, S. 351, 415 ff.
• 7. Benno Heussen, Technische und juristische Sprachebenen im Prozeß - Thesen zu einem Kommunikationsmodell, in: Bartsch/Hildebrand (Hrsg), Der EDV-Sachverständige, Vieweg & Teubner, 1987.
• 8. Überblick über die jetzt erkennbaren Probleme bei technischen Anwendungen, in denen Künstliche Intelligenz eingesetzt wird und zu rechtlichen Problemen führt: Chibanguza/Kuß/Steege, Künstliche Intelligenz, Nomos, 1. Auflage 2022. Teil2: Branchendarstellung.
• 9. Heinz Martin Süß, H.-M., & Beauducel, A. (2011). Intelligenztests und ihre Bezüge zu Intelligenztheorien. In L. F. Hornke, M. Amelang, & M. Kersting (Hrsg.), Enzyklopädie der Psychologie, Band. 3: Serie Psychologische Diagnostik: Leistungs-, Intelligenz- und Verhaltensdiagnostik, S. 97–234, Göttingen: Hogrefe, ISBN 978-3-8017-1526-7.
• 10. Countries by IQ - Average IQ by Country 2023 (worldpopulationreview.com).
• 11. Der Ursprung der Arten: durch natürliche Selektion eBook: Darwin, Charles, Schönfeld, Eike: Amazon.de: Kindle-Shop.
• 12. Die ersten Prinzipien der Philosophie (1860-1862), Jolandos 2004.
• 13. Jurek Becker, Amanda Herzlos, Suhrkamp 1992, S. 25.
• 14. Boris Pasternak, Geleitbrief (1931), S. Fischer 1986, S. 34.
• 15. Viveka Böök, „Negative Capability“ bei Keats und bei Bion, Jahrbuch der Psychoanalyse 44 (2002), frommann-holzboog S. 230.
• 16. Daniel Goleman: Emotionale Intelligenz. Hanser, München 1996; dtv, München 2011.
• 17. Bis vor relativ kurzer Zeit hat man Tieren und Pflanzen keine Intelligenz zugesprochen, aber die jüngere biologisch/psychologische Forschung hat Eigenschaften und Verhalten von Tieren aufgedeckt, die die Grenze zu Menschen nicht mehr so deutlich markiert, wie man es früher für richtig gehalten hat: Benno Heussen, Urgrammatik des Rechts, mit der dort zitierten naturwissenschaftlichen Literatur, RPhZ 3/2018, 294 - 322. Zur Intelligenz von Pflanzen: Stefano Manusco, Alessandra Viola, Kunstmann 2015. Das Max-Planck-Institut für chemische Ökologie in Jena forscht auf diesem Gebiet: Physiologie der Pflanzlichen Verteidigung | Max-Planck-Institut für chemische Ökologie (mpg.de).
• 18. Dr. Eric Schulz im Interview: Revision von Datenmodell vom Mo., 19.02.2018 - 13:18 • Definition | Gabler Wirtschaftslexikon.
• 19. Für betriebswirtschaftliche Systeme z. B. Cobol, für mathematische Probleme Fortran, für Datenbanken SQL, für das Internet HTML usw.
• 20. Anschaulich: Historische Entwicklung der Rechenmaschinen (lehrerfortbildung-bw.de).
• 21. Stephan Meder in: Chibanguza/Kuß/Steege, Künstliche Intelligenz Nomos, 1. Auflage 2022, 2. Teil, § 8 D. Zur Vorgeschichte automatisierter Systeme im Recht: Vom Subsumtionsautomaten zu lernfähigen Systemen und künstlicher Intelligenz.
• 22. Algorithmus - Duden Informatik (hsg-kl.de).
• 23. Sehr häufig zeigt uns Google bessere Ergebnisse als diese Datenbanken. Der Grund: Die dort entwickelten Algorithmen sind sehr viel leistungsfähiger als die Architektur der herkömmlichen juristischen Datenbanken, die zum Teil Jahrzehnte alt ist.
• 24. Benno Heussen, Konstruktionsfehler im Datenschutz; in: Verbindungslinien im Recht, Festschrift für Christoph Paulus, C.H. Beck 2022, S. 331-343.
• 25. Weitere technische Informationen: Ebers, StichwortKommentar Legal Tech, Nomos 1. Auflage 2023, Rn. 1-64; Hornung in: Schoch/Schneider, Verwaltungsrecht VwVfG § 35a Vollständig automatisierter Erlass eines Verwaltungsaktes, Werkstand: 3. EL August 2022, Rn. 28-34.
• 26. Wie funktioniert Textgenerierung mit GPT-3, GPT-4, Gemini, Llama 2 und Co.?.
• 27. paper0045.pdf (ceur-ws.org).
• 28. Vor der WM 2023 hat der führende russische Spieler Nepomnjaschtschi einen Elo-Wert von 2795, Ding Liren aus China kommt auf einen Wert von 2788. Schachcomputer erreichen eine Elo-Zahl von 3600.
• 29. Hier kann man sie testen: DeepL Translate – Der präziseste Übersetzer der Welt; Google Übersetzer.
• 30. Unbedingt ansehen: Boston Dynamics | Changing Your Idea of What Robots Can Do.
• 31. Zu zahllosen technischen, linguistischen und psychologischen Fragen in diesem Zusammenhang findet man Anregungen bei Scott J. Aaronson, University of Texas at Austin, Shtetl-Optimized (scottaaronson.blog); kritisch u.a.: Noam Chomsky Noam Chomsky on ChatGPT: It's "Basically High-Tech Plagiarism" and "a Way of Avoiding Learning" | Open Culture.
• 32. Poetisch gesprochen: Wir lassen die Gutenberg-Galaxis (1400-2000) hinter uns und öffnen die Tür zum Wassermann-Zeitalter.
• 33. Eric Schulz: Künstliche Intelligenz ist nicht neugierig | Max-Planck-Gesellschaft (mpg.de).
• 34. Hans Uszkoreit, dfki.de, Berater der Bundesregierung, schildert die globalen Möglichkeiten: Large AI Models in a Global Perspective | Rise of AI Conference 2022; Christoph Rieck in seinem Blog: https://youtu.be/3ANjeVI8j38 .
• 35. CodePilot.ai; zu den Rechtsproblemen: Siglmüller/Gassner: Softwareentwicklung durch Open-Source-trainierte KI – Schutz und HaftungRDi 2023, 124.
• 36. 2302.06590.pdf (arxiv.org). Ethan Mollik weist in seinem interessanten blog zur KI darauf hin: Ethan Mollick | Substack.
• 37. Nick Bostrom, Superintelligenz, Suhrkamp 2016. Elon Musk bezieht sich ausdrücklich auf die dort beschriebenen Szenarien.
• 38. HNF - Frühe Automaten – Faszination Schachtürke.
• 39. Ein Beispiel aus dem DDR-Recht: BSG (5. Senat), Urteil vom 09.12.2020 – B 5 RS 3/20 R, BeckRS 2020, 43857; Zur Geltung des EGKS-Kartellrechts und die Verfolgung von Alt-Fällen durch die EU-Kommission: EuGH Urt. v. 29.3.2011, Rs C-352/09 P, Slg. 2011, I-2359 ff. – ThyssenKrupp Nirosta/Komm.
• 40. Ruth Fulterer, Chat-GPT wird immer dümmer. Was ist da los? NZZ 31.07.2023.
• 41. Das Pro und Contra für Chatbots in Rechtspraxis und Rechtsdogmatik, Computer und Recht 2/2023, S. 132 ff. Siehe auch weitere Erfahrungsberichte aus der juristischen Welt: MMR-Aktuell 2023, 455537 - beck-online, darunter vor allem die von Christoph Johannisbauer vorgestellten Beispiele.
• 42. Das sind Versionen, die die Funktionalität auf der Anwenderebene darstellen können, aber noch zahllose Fehler enthalten, die erst durch Anwendertests erkannt werden können. Ihre Vorläufer sind »Alphaversionen«, die auf der Werkbank des Entwicklers entstehen.
• 43. Chatbots wie ChatGPT stellen Anwaltskanzleien und Rechtsabteilungen auf den Kopf (nzz.ch) – NZZ v. 30.07.2023.
• 44. Die Mitte März 2023 vorgestellte Version GPT 4 kann nach entsprechendem Training das amerikanische Anwaltsexamen (multiple choice) bestehen: GPT-4 (openai.com).
• 45. Hier ein Beispiel für ein solches Netzwerk: Über uns - recode.law.
• 46. Zu den Grundfragen: Dieter Krimphove, Künstliche Intelligenz: Utopie oder Dystopie, Rechtstheorie 51 (2020), 461–483.
• 47. OpenAI. Hier kann man die Fähigkeiten dieser Maschine testen: https://chat.openai.com/chat
• 48. Guido Calabresi/Philip Bobbitt, Tragic choices, W.W.Norton 1978.
• 49. Yann LeCun (KI-Chef von Meta (Facebook), NZZ vom 23.06.2023: »Maschinelles Lernen ist im Vergleich zu den Fähigkeiten von Menschen und Tieren Mist!»
• 50. Norbert Bischof, Moral, Böhlau 2012 S. 275 ff. (Die Ontogenese des moralischen Urteils); Arthur Kaufmann: Das Verfahren der Rechtsgewinnung CH Beck 1999 S. 8; Gustav Radbruch: Über das Rechtsgefühl (1914), Gesamtausgabe C.F. Müller, 1987, Bd. 1 Seite 423.
• 51. Guido Montúfar, Max-Planck-Institut für Mathematik in den Naturwissenschaften (Leipzig) in: Thomas Brandstetter, Intelligenz mit Plan, Max Planck Forschung Heft 01/2023 S. 59 ff. (60). MPF 1/23 | Max Planck Forschung (pressmatrix.com).
• 52. Noch heute wird das jahrzehntealte Programm COBOL z. B. in Kartenlesegeräten an Geldautomaten eingesetzt, weil man sich auf seine Stabilität gut verlassen kann. Von wegen von Gestern: So wurde COBOL zum Dauerbrenner (it-finanzmagazin.de).
• 53. Benno Heussen, Technische und rechtliche Besonderheiten von Mängeln bei Computerleistungen, Computer und Recht 1988, S. 894 et seq. und S. 986; Unvermeidliche Softwarefehler – Neue Entlastungsmöglichkeiten für Hersteller, Computer und Recht 1/2004, 1-10.
• 54. Die Trainingsdaten für GPT-3 hatten wohl eine Größe von 45 TB (= 45.000 GB).Das fertige Modell hat eine Größe von 800 GB. Das Modell ist also 56 mal kleiner als die Daten, die es zum Lernen erhalten hat. Herkömmliche Komprimierungstools (wie zB GnuZip ), die man einsetzt, um Daten vor dem Speichern (oder Transportieren) verlustfrei zu verkleinern, haben eine Kompressionsrate von vielleicht 20. OpenAI GPT-3: Everything You Need to Know (springboard.com).
• 55. Norbert Sachser, Der Mensch im Tier: Warum Tiere uns im Denken, Fühlen und Verhalten oft so ähnlich sind, Rowohlt 4. Aufl. 2018.
• 56. Interview mit Dr. Schulz s. FN 1.
• 57. Stephan Harbarth, Empirieprägung von Verfassungsrecht, JZ 2022, 157.
• 58. Mielke/Wolff, Künstliche Intelligenz und Large Language Models in der Rechtsprechung, LRZ 2023, Rn. 560,
• 59. Benno Heussen, Fiat justitia – pereat mundus, Über die tödlichen Gefahren falscher Übersetzungen, ZRP - Zeitschrift für Rechtspolitik, C.H.Beck München und Frankfurt a.M., Heft 8/2011, S. 251 f.
• 60. Staehelin: Begriff und Wesen der Künstlichen Intelligenz, GRUR 2022, 1569; Jakl: Das Recht der Künstlichen Intelligenz, MMR 2019, 711 und viele mehr.
• 61. Europäische Regulierungsversuche: Europäische Kommission, Vorschlag für eine VERORDNUNG DES EUROPÄISCHEN PARLAMENTS UND DES RATES ZUR FESTLEGUNG HARMONISIERTER VORSCHRIFTEN FÜR KÜNSTLICHE INTELLIGENZ, Brüssel, 21.4.2021, COM (2021) 206 final, abrufbar unter https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX:52021PC02....
• 62. BGH, Urteil vom 22. 12. 1999 - VIII ZR 299/98 (KG), NJW 2000, 1415; Wagner Münchener Kommentar zum BGB ProdHaftG § 2, 8. Auflage 2020, Rn. 21-27.
• 63. Luna Rösinger: Autonome Maschinen als „Normadressaten“? ZfDR 2021, 147; Lorenz Kähler: Unterlassungsansprüche gegen algorithmische Fehlentscheidungen NJW 2020, 113.
• 64. Hoffmann-Riem, Verhaltenssteuerung durch Algorithmen AöR 2017, 1–42, 17. Vortrag Verhaltenssteuerung durch Algorithmen 10.07.2017 CK-1 (bmj.de).
• 65. Bruno Latour, Wir sind nie modern gewesen, Suhrkamp, 5. Aufl. 2015, S. 159; zur Akteur-Netzwerktheorie: Eine neue Soziologie für eine neue Gesellschaft: Einführung in die Akteur-Netzwerk-Theorie, Suhrkamp, 6. Aufl. 2010.
• 66. Eckart Voland Soziobiologie – die Evolution von Kooperation und Konkurrenz, Springer 4. Aufl. 2013 S. 23 ff.; Marcel Mauss, Die Gabe, Suhrkamp 1990; The Struggle To Be Human - by Ian Leslie - The Ruffian.
• 67. A.M. Turing, Computing Machinery and Intelligence, MIND, Volume LIX, Issue 236, October 1950, Pages 433–460, [PDF] Computing Machinery and Intelligence A.M. Turing | Semantic Scholar.
• 68. René Descartes, Discours de la Méthode (1637), Felix Meiner, 1997 Kap. 5.10, S. 92 ff.
• 69. Mind, New Serdieies, Vol. 59, No. 236 (Oct., 1950), p. 445 – 447.
• 70. Der Software-Spezialist Blake Lemoine (Google) wurde im Juli 2022 entlassen, weil er sich davon überzeugt zeigte, der Software ein eigenes Bewusstsein verschafft zu haben. Er hatte sich wie Pygmalion in sein Werk verliebt. Künstliche Intelligenz: Hast du ein Bewusstsein? Ich denke schon, antwortet der Rechner | ZEIT ONLINE.
• 71. Er öffnet nicht das System, in dem die Maschine arbeitet, John Searle: The Rediscovery of the Mind. M.I.T. Press, Cambridge MA 1992. 10.1.1.83.5248.pdf (southampton.ac.uk).
• 72. How to Get an AI to Lie to You in Three Simple Steps (substack.com).
• 73. Postbiotisches Bewusstsein: Wie man ein Künstliches Subjekt baut – und warum wir es nicht tun sollten, HNF - Metzinger.
• 74. Dietrich Dörner, Die Mechanik des Seelenwagens, Hans Huber 2002, S. 358.
• 75. cit.n. Guido Graf, Silos systematisch aufbrechen, Gespräch über Friedrich Kittlers Aufsatz »Draculas Vermächtnis«, Merkur Nr. 887 vom April 2023.
• 76. Christoph Koch: Bewusstsein – warum es weit verbreitet ist, aber nicht digitalisiert werden kann, Springer 2020, S. 137 ff.
• 77. David Chalmers, Interview: „Ich fühle also bin ich" – Das „harte" Problem - wissenschaft.de. Ders.: Explaining Consciousness: The Hard Problem. in: Jonathan Shear (Hrsg. MIT Press, Cambridge, MA. 1997.
• 78. Beispiele aus der Anwaltswelt: Legal Tech: Wie Anwaltskanzleien neue Chancen nutzen (legal-tech.de).
• 79. Kilian, Wolfgang, Juristische Entscheidung und elektronische Datenverarbeitung, Methodenorientierte Vorstudie (Habilitation), Frankfurt am Main 1974.
• 80. Fritjof Haft, Elektronische Datenverarbeitung im Recht: EDV und Recht, Schweitzer 1970.Reprint 2020; Rechtsprechungslehre 1992, S. 589-597 (dort zum Lex-Projekt ).
• 81. Stephan Meder in: Chibanguza/Kuß/Steege, Künstliche Intelligenz Nomos, 1. Auflage 2022, 2. Teil, § 8 D.RN 31 ff.
• 82. China: Totalüberwachung - Weltspiegel - ARD | Das Erste.
• 83. Dr. Eric Schulz Max-Planck-Institut für biologische Kybernetik, Tübingen., „Künstliche Intelligenz ist nicht neugierig“ | Max-Planck-Gesellschaft (mpg.de).
• 84. Dr. Eric Schulz Max-Planck-Institut für biologische Kybernetik, Tübingen, MPF_2023_2.pdf (mpg.de), Heft 2_2023 S. 73-76 : Künstliche Intelligenz auf der Couch.
• 85. Julian Nida-Rümelin in: Chibanguza/Kuß/Steege, Künstliche Intelligenz | 1.Teil: §1 A. Digitaler Humanismus – philosophische Aspekte Künstlicher Intelligenz Rn. 22-26 - beck-online dort (RN 27 ff).
• 86. cit.n. Stephen Budiansky, Reise zu den Grenzen der Vernunft, Kurt Gödel und die schwerste Krise der Mathematik, Propyläen 2021, S. 332.
• 87. Was ist das Internet der Dinge | IoT | Funktionen & Vorteile | SAP. Typisch sind Programme, die Cyberangriffe abwehren, logistische Pläne zusammenstellen, in jüngerer Zeit vor allem: Das Internet der Dinge automatisch miteinander verbinden. Zur »verteilten künstlichen Intelligenz (VKI)« von Computersystemen: Das verteilte Trainieren Künstlicher Intelligenz steckt noch in den Kinderschuhen (datacenter-insider.de). Führung im Wandel: Herausforderungen und Chancen durch KI (Whitepaper) - acatech.
• 88. Jürgen Habermas, Ein neuer Strukturwandel der Öffentlichkeit und die deliberative Politik, Suhrkamp 2022.
• 89. Roberto Simanowski, (Distinguished Fellow of Global Literary Studies am Excellence-Cluster «Temporal Communities» der Freien Universität Berlin), NZZ 22.08.2023, »Chat-GPT hat Moralvorstellungen«.
• 90. George Arthur Goldschmidt – Schwarzfahrer des Lebens, S. Fischer 2013, Seite 144.
• 91. Zusammenfassung der Forschungsergebnisse von Dietrich Dörner, Die Logik des Misslingens – strategisches Denken in komplexen Situationen – Rowohlt 1995, S. 290 ff.
• 92. § 7 Embryonenschutzgesetz verbietet biologische Änderungen, aber nicht die Ergänzung durch Maschinenteile.
• 93. Jürgen Habermas, Ulrich H. J. Körtner, Hubert Christian Ehalt, Peter Kampits: Biologie und Biotechnologie – Diskurse über eine Optimierung des Menschen, Wien: Picus 2013
• 94. Interview mit Geoffrey Hinton, einem der Väter von GPT-Systemen, NZZ 03.05.2023 Geoffrey Hinton: Der «Godfather» der KI warnt vor den Gefahren (nzz.ch).
• 95. Adam B. Jaffe, Technological Opportunity and Spillovers of R&D: Evidence from Firms’ Patents, Profits, and Market Value, 76 Am. Econ. Rev. 984 (1986).
• 96. Julian Nida-Rümelin, Digitaler Humanismus – philosophische Aspekte Künstlicher Intelligenz, in: Chibanguza/Kuß/Steege, Künstliche Intelligenz, Nomos 1. Auflage 2022, §§ 1A und 1E.
• 97. Florian Möslein: Die normative Kraft des Ethischen, RDi 2020, 34. In der öffentlichen Debatte werden wir einen »moralischen Terrorismus« (Immanuel Kant, Streit der Fakultäten, AA VII, 2. Abschnitt, Ziff.3.) zu der Frage erleben, in welchem Umfang intelligente Systeme im menschlichen Umfeld eingesetzt werden sollten.
• 98. BVerfG (1. Senat), Urteil vom 16.02.2023 – 1 BvR 1547/19, 1 BvR 2634/20, BeckRS 2023, 1828; Schliesky: Digitalisierung – Herausforderung für den demokratischen Verfassungsstaat, NVwZ 2019, 693.
• 99. cit.n. Lynn White jr, Die mittelalterliche Technik und der Wandel der Gesellschaft, Heinz Moos 1968, S. 107.
• 100. Die Mechanik des Seelenwagens – eine neuronale Theorie der Handlungsregulation, Hans Huber 2002, S. 341 ff.
• 101. Maximen und Reflexionen Nr. 1296, Hamburger Ausgabe 1982, Bd. 12, C.H. Beck S. 538.