Rein beruflich beschäftige ich mich intensiv mit dem Thema KI. Denn, wenn ich zu KI beraten will, muss ich schließlich verstehen, worum es denn da eigentlich geht. Um so erstaunter bin ich, welche Art der Diskussionen zu KI geführt werden. Insbesondere auf LinkedIn. Und als mir dann Gary Marcus am Wochenende noch einen ganz frischen Aufsatz (nebst weiteren, fast genauso frischen) zu den Grenzen von LLM und LRM in den Postkasten spülte, nahm ich das zum Anlass einen kurzen Artikel eben dazu eben auf LinkedIn zu verfassen.

Artikel auf LinkedIn? Ja, weil es hier „eigentlich“ nicht so recht passt. Sind es doch keine rechtlichen Gedanken, mehr allgemeine Denkanstöße zum Thema KI. Doch da mich einerseits meine geneigte Followerschaft an anderen Orten (bluesky) darum bat, den Artikel doch noch einmal außerhalb LinkedIns zu veröffentlichen und andererseits LinkedIn natürlich LinkedIn-Dinge tut und meinen Artikel im Nirvana verschwinden lässt* veröffentliche ich nun meine Gedanken hier auch noch einmal.

_________________________________________________________________________

*Ich könnte einen eigenen Post nur darüber schreiben, warum ich LinkedIn inzwischen für die 8. Vorhölle halte, da es nur noch um füttere den Algorithmus mit  „Wie sehr Dich der Spaziergang mit Hund im Regen beruflich und persönlich vorangebracht hat, hier 10 Punkte“-Engagement-Artikeln geht. Aber… das ist wohl ein anderes Thema. 😀

__________________________________________________________________________

Also, auf geht es.

These:

KI ist eine disruptive Technologie und zeitgleich ein Hype. Klären wir diesen (scheinbaren) Widerspruch, in dem wir endlich die richtigen Fragen stellen und auf Basis der Diskussion derselben weiterarbeiten.

Auf LinkedIn wird das Thema „AI“ hoch und runter quer durch alle Professionen diskutiert. Ich lese interessiert, schmunzelnd, sarkastisch auflachend und sehr oft verwundert mit. Verwundert? Ja, verwundert. Warum? Weil die meisten Diskussionen meines Erachtens völlig am Kern der wichtigsten Fragestellungen in Sachen KI vorbeigehen.

Die Fragen, die auf Linkedin gestellt werden, sind solche wie „Wie lerne ich richtiges Prompten als Anwalt?“, „Wie bringst Du Dein Business mit KI voran?“, „Kann bald mit KI erbrachte (anwaltliche) Leistung noch abgerechnet werden?“ oder „Wie setze ich KI im Recruiting ein?“. All dies suggeriert, KI sei schon so weit fortgeschritten ist, dass mehr oder weniger fehlerfrei Aufgaben, auch komplexerer Art, von dieser übernommen werden könnten und es nur eine Frage, des „Handlings“ sei, wie Unternehmen, Kanzleien, Freiberufler diese gewinnbringend für sich einsetzen können.

Aber die wichtigste Frage, nein die wichtigsten Fragen lauten meines Erachtens „Was ist KI eigentlich? Was kann KI? Wo sind ihre Grenzen?“. Diese Fragen werden viel zu wenig gestellt und schon gar nicht diskutiert. Möchte jemand diese Fragen diskutieren wird er oder sie abgewürgt mit „Du verstehst das nur nicht!“, „Du musst nur richtig prompten!“ und/oder „Du musst nur eine KI mit eigener Datenbasis anlegen und trainieren.“ Was jedoch LLM (Large Language Modells) oder – we all love new hypes!  – LRM (Large Reasoning Modells), d.h, die „neuen Generationen“ von LLM können oder besser nicht können und wo deren Grenzen liegen, wird regelmäßig nicht verstanden oder (bewusst?) nicht hinterfragt. Im Zweifel wird gesagt „Die Entwicklung geht so schnell! Die Probleme der Halluzination oder falschen Ergebnissen werden bald beseitigt sein!“ Ich frage mich immer, auf welcher Datengrundlage die Ausrufer dieser Claims zu diesen kommen.

Liest man Fachaufsätze zum Stand beziehungsweise den „Flaws“ von LLM und insbesondere LRM wird relativ schnell klar, dass der große Hype vor allem auf Illusionen und großen Marketingversprechen und nicht auf irgendwelchen Durchbrüchen in der Entwicklung basiert (verschiedene Quellen und Fachaufsätze am Ende dieses Beitrags). Das Ziel ist, natürlich, der KI das „Denken“, „Argumentation“ also „Thinking“ und „Reasoning“ beizubringen. Und wenn schon das Ziel der AGI, der Artificial General Intelligence, also der Intelligenz einer Maschine mit der Fähigkeit intellektuelle Fragestellungen wie ein Mensch zu verstehen und zu lösen, nicht erreicht wird, dann doch wenigstens ein „LRM“. Also ein LLM, dass mehr kann als statistisch berechnend Wörter aneinander zu reihen. Das Problem: Sie scheitern. Egal wie oft ein „AI Influencer“ Open AI o3 zur AGI hochschreiben möchte (zB. Tyler Cowen). Weder o3 noch Cloud 3.7 noch sonst irgendetwas erfüllt die Heilsversprechen – und es scheint nicht absehbar, dass diese Probleme beseitigt werden können. Nachstehen im Bild ein Auszug aus The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity, der den Stand der Dinge gut zusammenfasst.

Es ist wird Zeit, damit aufzuhören, immer weitere den Hype zu bedienen. Viel hilfreicher, vor allem langfristig, wäre es, sich mit den realen technischen Gegebenheiten und deren Bedeutung für den Anwendungsfall auseinanderzusetzen. Halluzinationen, Bias, alternative Informationen, falsche Ableitungen, zu lange Rechenzeiten. All dies sind Probleme von LLM und LRM. Probleme, die – wohl auf absehbare Zeit – nur sehr bedingt durch Prompting oder eine bessere Datenbasis gelöst werden können.

Dies bedeutet auch zu hinterfragen, ob „KI“ im angedachten Anwendungsfall wirklich weiterhilft oder der gute, alte, klassische Algorithmus das Problem nicht viel effizienter lösen kann. (Ich erinnere freundlich an den Blockchain-Hype. Ja, ja,der der Vergleich hinkt, aber der Gartner Hype Cycle ist auch hier gerade in vollem Schwung.)

Ich würde dazu die Frage stellen wollen: Macht eine KI die Arbeit tatsächlich schneller und besser, wenn erst mühsam der richtige Prompt formuliert werden muss und anschließend die Arbeit auf Halluzinationen, Bias und sonstige Fehler geprüft werden muss? Hilft es etwa dem Anwalt, wenn eine KI den Sachverhalt zusammenfasst, aber leider, leider die streitentscheidende Tatsache nicht aufgenommen hat? Ergo, die Zusammenfassung zwingend noch einmal komplett geprüft werden muss?

Last but not least, nein ich bin kein AI Gegner. Im Gegenteil. Ich halte AI für ein disruptive Technologie, die die Arbeit wieder einmal revolutionieren wird. Repetitive Tätigkeiten und Unterstützungsleistungen, die 0-1 Abwägungen erfordern, können und werden damit zunehmend durch diese Form der KI automatisiert werden (es sei denn, die Rechenleistung ist zu teuer und einfache Algorithmen erledigen dies effizienter). Aber ich halte es für imminent wichtig, realistisch auf diese Technologie zu blicken.

Das gilt im übrigen auch und gerade (!) für die rechtliche Betrachtung von KI.

In diesem Sinne,

vergesst nicht, über die Grenzen von KI nachzudenken!

Lesenswerte (Fach-)Artikel:

• Shojaee, Horton, Mirzadeh, Bengio, Alizadeh, Farajtabar, The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity, https://ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdf
• Stechly, Valmeekam, Kamhampati, Chain of Thoughtlessness? – An Analysis of CoT in Planning, März 2025, https://arxiv.org/pdf/2405.04776
• Stechly, Valmeekam, Kamhampati, Gundawar, A Systematic Evaluation of the Planning and Scheduling Abilities of the Reasoning Model o1, First Publishing Dezember 2024, https://openreview.net/pdf?id=FkKBxp0FhR
• Marcus, A knockout blow for LLMs?, https://garymarcus.substack.com/p/a-knockout-blow-for-llms

Egal, was man liest und hört: ständig stolpert man/frau derzeit über das Wort „KI“. Dabei wird der Begriff offenbar gerne verwendet, ohne überhaupt zu wissen, was eine KI ist oder sein soll oder was diese ausmacht. Denn nicht überall, wo „KI“ drauf steht, ist KI drin. (Spoiler: ob eine echte „KI“ bereits existiert, ist mehr als nur fragwürdig).

Aber beginnen wir vorne und fassen damit sogleich den Artikel KI im Personalwesen – Was sagt die KI-Verordnung dazu?, der in der BvD-News Ausgabe 01/2024 erschien, zusammen:

KI im Personalwesen – Was sagt die KI-Verordnung dazu?

Gerade im Personalbereich wird viel mit dem Schlagwort „KI“ geworben, z.B. werden Stellenanzeigen mithilfe „Künstlicher Intelligenz“ ausgeschrieben oder Ergebnisse von Einstellungstests mithilfe dieser analysiert. Das klingt gut, allerdings verbergen sich hinter diesen „KI“ regelmäßig nichts weiter als Anwendungen, die Technologien des maschinellen Lernens (ML), ein Teilgebiet der KI, beinhalten. ML-Systeme verfügen über Algorithmen, mit denen Muster erkannt  (Ja, genau wie ChatGPT, Midjourney & Co.) und auf Basis der vorgebenen (!) Algorithmen auch gewisse Ableitungen getroffen werden können. Das ist gut. Das kann außerordentlich hilfreich sein. Zumal die Rechenkapazitäten immer größer und schneller werden. Nach wie vor laufen diese Algorithmen aber auch in falsche Richtungen, da sie eben keine inhaltlichen Bewertungen vornehmen, sondern nur Muster erkennen können. Und so klingen ChatGPT Texte stets gut, sind inhaltlich aber dennoch oft voller Fehler. Und MidJourney wirft hübscheste Fotografien aus und kriegt doch das Problem mit diesen menschlichen Fingern, die nun mal fünf und nicht sechs oder vier sind, nicht in den Griff.

Eben deswegen ist all das keine KI. Jedenfalls nicht nach der KI-Verordnung, die das EU-Parlament am 13.03.2024 verabschiedet hat. (Eine finale Fassung liegt bislang noch nicht vor, der Arbeitsentwurf der KI-Verordnung, der inhaltlich abgestimmt ist und nur noch redaktionell im Rahmen des sog. Berichtigungsverfahrens überarbeitet wird, ist, wie er vom Parlament angenommen wurde, hier nachzulesen. Nach meinem Verständnis der KI-Verordnung muss eine KI „mehr“ sein, als Machine Learning oder wissens- und logikgestützte Konzepte. Eine KI muss eigenständig Schlussfolgerungen auf Basis der Informationen, die sie erhalten hat, mit Hilfe von Machine Learning und/oder wissens- und logikgestützten Konzepten ziehen können. Das kann nach meinem Kenntnisstand bislang keine „KI“.

Wer nach dieser These mehr zur Frage „Was ist KI  nach der KI-Verordnung?“und dazu, wie die KI-Verordnung den Einsatz von KI im Personalbereich (Stichworte: Hochrisiko-System, Geldbußen etc.) betrachtet, wissen möchte (bzw. als Personalverantwortlicher, der solche Systeme einsetzt, wissen muss), der kann all das dezidiert in dem Artikel

Diercks, KI im Personalwesen, BvD-News Ausgabe 1/24

nachlesen.

Nach dem derzeitigen Stand soll die KI-Verordnung im Frühsommer in Kraft treten. Grundsätzlich erlangt das europäische Gesetz dann 24 Monate später Geltung. Jedoch – anders als sonst – mit etlichen Sonderregeln nach oben und unten:

• das Verbot von KI-Systemen, die unannehmbare Risiken darstellen (also des Teufels Kindes sind), wird sechs Monate nach Inkrafttreten gelten;
• die Verhaltenskodizes werden neun Monate nach Inkrafttreten gelten;
• Vorschriften für KI-Systeme mit allgemeinem Verwendungszweck, die den Transparenzanforderungen genügen müssen, gelten zwölf Monate nach Inkrafttreten.
• die Vorschriften für Hochrisiko-Systeme (u.a. KI für den Personalbereich) gelten nach 36 Monaten.

Das vermag jetzt für Personalverantwortliche so klingen, als ob noch ewig Zeit vorhanden wäre. Ganz so einfach ist es jedoch nicht (wie ein Blick in den Artikel vertieft erläutern würde). Es sind Fragen zu klären. Nämlich:

1. Haben wir hier eine KI-Anwendung nach der KI-Verordnung?
2. Unterfällt diese KI-Anwendung den Ausnahmen von für Hochrisiko-System?
3. Liegt hier ein Hochrisiko-System vor? Werden die – umfangreichen – Anforderungen und Pflichten beim Betrieb von Hochrisiko-Systemen erfüllt?

Selbst wenn eine Personal-KI-Anwendung unter die Ausnahmetatbestände fällt, so dass kein Hochrisiko-System anzunehmen ist, müssen die Personalverantwortlichen dies genauestens dokumentieren und diese Dokumentation auf Anforderung den Behörden aushändigen. Die Prüfung müssen daher unbedingt vor Anschaffung und Verwendung von KI-Systemen erfolgen.

Alle Einzelheiten sind, wie gesagt, in dem Artikel „KI Im Personalwesen“, zuerst erschienen in BvD-News 1/24, nachzulesen. Wer gerne die gesamten Zeitschriften der BvD einsehen möchte, kann das hier tun.

In diesem Sinne,

es bleibt alles spannend!