Rein beruflich beschäftige ich mich intensiv mit dem Thema KI. Denn, wenn ich zu KI beraten will, muss ich schließlich verstehen, worum es denn da eigentlich geht. Um so erstaunter bin ich, welche Art der Diskussionen zu KI geführt werden. Insbesondere auf LinkedIn. Und als mir dann Gary Marcus am Wochenende noch einen ganz frischen Aufsatz (nebst weiteren, fast genauso frischen) zu den Grenzen von LLM und LRM in den Postkasten spülte, nahm ich das zum Anlass einen kurzen Artikel eben dazu eben auf LinkedIn zu verfassen.

Artikel auf LinkedIn? Ja, weil es hier „eigentlich“ nicht so recht passt. Sind es doch keine rechtlichen Gedanken, mehr allgemeine Denkanstöße zum Thema KI. Doch da mich einerseits meine geneigte Followerschaft an anderen Orten (bluesky) darum bat, den Artikel doch noch einmal außerhalb LinkedIns zu veröffentlichen und andererseits LinkedIn natürlich LinkedIn-Dinge tut und meinen Artikel im Nirvana verschwinden lässt* veröffentliche ich nun meine Gedanken hier auch noch einmal.

_________________________________________________________________________

*Ich könnte einen eigenen Post nur darüber schreiben, warum ich LinkedIn inzwischen für die 8. Vorhölle halte, da es nur noch um füttere den Algorithmus mit  „Wie sehr Dich der Spaziergang mit Hund im Regen beruflich und persönlich vorangebracht hat, hier 10 Punkte“-Engagement-Artikeln geht. Aber… das ist wohl ein anderes Thema. 😀

__________________________________________________________________________

Also, auf geht es.

These:

KI ist eine disruptive Technologie und zeitgleich ein Hype. Klären wir diesen (scheinbaren) Widerspruch, in dem wir endlich die richtigen Fragen stellen und auf Basis der Diskussion derselben weiterarbeiten.

Auf LinkedIn wird das Thema „AI“ hoch und runter quer durch alle Professionen diskutiert. Ich lese interessiert, schmunzelnd, sarkastisch auflachend und sehr oft verwundert mit. Verwundert? Ja, verwundert. Warum? Weil die meisten Diskussionen meines Erachtens völlig am Kern der wichtigsten Fragestellungen in Sachen KI vorbeigehen.

Die Fragen, die auf Linkedin gestellt werden, sind solche wie „Wie lerne ich richtiges Prompten als Anwalt?“, „Wie bringst Du Dein Business mit KI voran?“, „Kann bald mit KI erbrachte (anwaltliche) Leistung noch abgerechnet werden?“ oder „Wie setze ich KI im Recruiting ein?“. All dies suggeriert, KI sei schon so weit fortgeschritten ist, dass mehr oder weniger fehlerfrei Aufgaben, auch komplexerer Art, von dieser übernommen werden könnten und es nur eine Frage, des „Handlings“ sei, wie Unternehmen, Kanzleien, Freiberufler diese gewinnbringend für sich einsetzen können.

Aber die wichtigste Frage, nein die wichtigsten Fragen lauten meines Erachtens „Was ist KI eigentlich? Was kann KI? Wo sind ihre Grenzen?“. Diese Fragen werden viel zu wenig gestellt und schon gar nicht diskutiert. Möchte jemand diese Fragen diskutieren wird er oder sie abgewürgt mit „Du verstehst das nur nicht!“, „Du musst nur richtig prompten!“ und/oder „Du musst nur eine KI mit eigener Datenbasis anlegen und trainieren.“ Was jedoch LLM (Large Language Modells) oder – we all love new hypes!  – LRM (Large Reasoning Modells), d.h, die „neuen Generationen“ von LLM können oder besser nicht können und wo deren Grenzen liegen, wird regelmäßig nicht verstanden oder (bewusst?) nicht hinterfragt. Im Zweifel wird gesagt „Die Entwicklung geht so schnell! Die Probleme der Halluzination oder falschen Ergebnissen werden bald beseitigt sein!“ Ich frage mich immer, auf welcher Datengrundlage die Ausrufer dieser Claims zu diesen kommen.

Liest man Fachaufsätze zum Stand beziehungsweise den „Flaws“ von LLM und insbesondere LRM wird relativ schnell klar, dass der große Hype vor allem auf Illusionen und großen Marketingversprechen und nicht auf irgendwelchen Durchbrüchen in der Entwicklung basiert (verschiedene Quellen und Fachaufsätze am Ende dieses Beitrags). Das Ziel ist, natürlich, der KI das „Denken“, „Argumentation“ also „Thinking“ und „Reasoning“ beizubringen. Und wenn schon das Ziel der AGI, der Artificial General Intelligence, also der Intelligenz einer Maschine mit der Fähigkeit intellektuelle Fragestellungen wie ein Mensch zu verstehen und zu lösen, nicht erreicht wird, dann doch wenigstens ein „LRM“. Also ein LLM, dass mehr kann als statistisch berechnend Wörter aneinander zu reihen. Das Problem: Sie scheitern. Egal wie oft ein „AI Influencer“ Open AI o3 zur AGI hochschreiben möchte (zB. Tyler Cowen). Weder o3 noch Cloud 3.7 noch sonst irgendetwas erfüllt die Heilsversprechen – und es scheint nicht absehbar, dass diese Probleme beseitigt werden können. Nachstehen im Bild ein Auszug aus The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity, der den Stand der Dinge gut zusammenfasst.

Es ist wird Zeit, damit aufzuhören, immer weitere den Hype zu bedienen. Viel hilfreicher, vor allem langfristig, wäre es, sich mit den realen technischen Gegebenheiten und deren Bedeutung für den Anwendungsfall auseinanderzusetzen. Halluzinationen, Bias, alternative Informationen, falsche Ableitungen, zu lange Rechenzeiten. All dies sind Probleme von LLM und LRM. Probleme, die – wohl auf absehbare Zeit – nur sehr bedingt durch Prompting oder eine bessere Datenbasis gelöst werden können.

Dies bedeutet auch zu hinterfragen, ob „KI“ im angedachten Anwendungsfall wirklich weiterhilft oder der gute, alte, klassische Algorithmus das Problem nicht viel effizienter lösen kann. (Ich erinnere freundlich an den Blockchain-Hype. Ja, ja,der der Vergleich hinkt, aber der Gartner Hype Cycle ist auch hier gerade in vollem Schwung.)

Ich würde dazu die Frage stellen wollen: Macht eine KI die Arbeit tatsächlich schneller und besser, wenn erst mühsam der richtige Prompt formuliert werden muss und anschließend die Arbeit auf Halluzinationen, Bias und sonstige Fehler geprüft werden muss? Hilft es etwa dem Anwalt, wenn eine KI den Sachverhalt zusammenfasst, aber leider, leider die streitentscheidende Tatsache nicht aufgenommen hat? Ergo, die Zusammenfassung zwingend noch einmal komplett geprüft werden muss?

Last but not least, nein ich bin kein AI Gegner. Im Gegenteil. Ich halte AI für ein disruptive Technologie, die die Arbeit wieder einmal revolutionieren wird. Repetitive Tätigkeiten und Unterstützungsleistungen, die 0-1 Abwägungen erfordern, können und werden damit zunehmend durch diese Form der KI automatisiert werden (es sei denn, die Rechenleistung ist zu teuer und einfache Algorithmen erledigen dies effizienter). Aber ich halte es für imminent wichtig, realistisch auf diese Technologie zu blicken.

Das gilt im übrigen auch und gerade (!) für die rechtliche Betrachtung von KI.

In diesem Sinne,

vergesst nicht, über die Grenzen von KI nachzudenken!

Lesenswerte (Fach-)Artikel:

• Shojaee, Horton, Mirzadeh, Bengio, Alizadeh, Farajtabar, The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity, https://ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdf
• Stechly, Valmeekam, Kamhampati, Chain of Thoughtlessness? – An Analysis of CoT in Planning, März 2025, https://arxiv.org/pdf/2405.04776
• Stechly, Valmeekam, Kamhampati, Gundawar, A Systematic Evaluation of the Planning and Scheduling Abilities of the Reasoning Model o1, First Publishing Dezember 2024, https://openreview.net/pdf?id=FkKBxp0FhR
• Marcus, A knockout blow for LLMs?, https://garymarcus.substack.com/p/a-knockout-blow-for-llms