Daniel, zahlreiche Unternehmen planen derzeit, KI-Projekte umzusetzen. Wo liegen Deiner Meinung nach die Pain Points?

Insbesondere dort, wo KI nicht offiziell jedem zur Verfügung steht. Derzeit bringen circa 78 Prozent der Beschäftigten ihre eigene KI mit zur Arbeit. So wie die meisten Mitarbeitenden einen Zugang zum Internet haben sollten, sollte auch allen ein KI-Zugang gewährt werden. Wir müssen lernen, den Umgang mit KI zu meistern und spezifische Einsatzgebiete zu finden. Erst danach macht es Sinn, individuelle KI-Projekte im eigenen Haus zu starten, da vorher keiner genau weiß, was wirklich im eigenen Prozess funktioniert. Zudem sollte das Thema Schulung gestärkt werden. Unternehmen bieten derzeit Kommunikationskurse und andere Weiterbildungsmaßnahmen an, daher ist es auch sinnvoll, sich einmal mit einem Experten für zwei bis drei Stunden intensiv mit KI auseinanderzusetzen und den Mitarbeitenden zu zeigen, wie ein effektiver Prompt aufgebaut wird und was gut funktioniert und was nicht.

Ihr habt mit nele.ai ein Modell entwickelt, über das die User auf die unterschiedlichsten Large Language Modelle zugreifen können. Warum ist das sinnvoll?

Erstmal sollte die Autonomie immer beim Kunden bleiben. Unsere Kunden können entscheiden, ob sie Anthropic, Microsoft Azure, OpenAI, Mistral oder ein dediziertes Open-Source-Modell wie Llama 3.1 verwenden wollen. Das hängt damit zusammen, dass jedes Unternehmen unterschiedliche Richtlinien hinsichtlich externer Anbieter und letztlich verschiedene Vorlieben hat. Beispielsweise haben einige Kunden bereits Microsoft im Einsatz und möchten dann Azure OpenAI GPT-4o nutzen, da die Server in der EU stehen und der Anbieter schon Lieferant ist. Dabei entscheiden sich Kunden jedoch oft aus Kostengründen gegen eine nutzerbasierte Lizenz und bevorzugen ein fixes Volumen für alle Mitarbeitenden, was eine Menge Geld spart. Andere vertrauen dem Data Privacy Framework und nutzen auch amerikanische Anbieter.

Welche Unterschiede gibt es?

Die Modelle selbst unterscheiden sich in der Menge, die sie gleichzeitig verarbeiten können, was man als Kontextgröße bezeichnet. Dies hat auch unterschiedliche Verbrauchskosten zur Folge. Die meisten unserer Kunden entscheiden sich für zwei Modelle: eines, das sehr schnell und kostengünstig für Standardaufgaben ist, und ein komplexes Modell für anspruchsvollere Aufgaben. Zudem haben sie die Sicherheit, dass wenn ein Anbieter nicht funktioniert, sei es aufgrund geänderter Nutzungsbedingungen oder anderer Gründe, wir diesen Anbieter flexibel rausnehmen können und nur mit Anbietern arbeiten, bei denen kein Training mit den eingegebenen Daten erfolgt.

Mehr als 1.000 Kunden, darunter auch Handwerker

Wie wird abgerechnet?

Wir berechnen die Leistungen auf der Basis eines monatlichen KI-Volumens. Das Unternehmen kauft eine feste Anzahl von Credits zu einem monatlichen Festpreis, die dann von allen Mitarbeitenden genutzt werden können. In der Regel verwenden in einer Organisation nicht alle Mitarbeitenden Künstliche Intelligenz im gleichen Maß. Daher lohnt sich ein nutzerlizenzbasiertes Geschäftsmodell oft nicht, obwohl ein Bedarf vorhanden ist. Zum Vergleich: Wettbewerbsprodukte kosten im Durchschnitt 30 Euro pro Nutzer und Monat. Bei zehn Mitarbeitenden entstehen somit bereits monatliche Kosten von 300 Euro. Das kleinste Paket beginnt bei 1.000 Credits und kostet monatlich 10 Euro netto für alle Mitarbeitenden. Mit 1.000 Credits lassen sich ungefähr 3.333.000 Wörter mit Haiku oder etwa 166.500 Wörter mit ChatGPT-4o verarbeiten. Kunden können jederzeit zusätzliches KI-Volumen freischalten und am Ende des Abrechnungszeitraums auf ein geringeres Volumen wechseln.

Wie viele Kunden konntet Ihr damit gewinnen?

Wir haben mehr als 1.000 Kunden gewinnen können, darunter Banken, Stadtwerke, Kommunen, Kanzleien, Marketingagenturen, Maschinenbauer, Verbände sowie selbständige wie beispielsweise Handwerker.

Sind das vornehmlich Mittelständler?

Was ist schon Mittelstand? 99 Prozent aller Unternehmen? Nein, im Ernst: Es sind besonders Unternehmen, die nicht 30 Euro oder mehr für einen Nutzerzugang ausgeben wollen und dennoch nicht auf Enterprise-Features wie eine Wissensdatenbank oder Single-Sign-On verzichten wollen und dabei hohen Wert auf Datensicherheit und Datenschutz legen. Ich denke, das klingt nach Mittelstand.

Welche Projekte setzen die Unternehmen um? Was sind typische Use Cases?

Wir schulen derzeit viele Organisationen im Umgang mit Künstlicher Intelligenz und unseren Funktionen. Dabei ist nele.ai nicht nur ein KI-System, das Zugriff auf große KI-Modelle bietet, sondern auch eine umfassende KI-Plattform. Wir stellen APIs/Schnittstellen zur Verfügung, unterstützt durch ein integriertes Berechtigungssystem und Zugriff auf eine Wissensdatenbank. Dies ermöglicht unseren Kunden die Nutzung von KI in individuellen Anwendungen oder in der Prozessautomatisierung. Beispiele hierfür sind Anwendungen, die die Corporate Language des Unternehmens anwenden und dem Nutzer erklären, warum bestimmte Änderungen vorgenommen wurden, oder die Erstellung von vorbereiteten E-Mail-Antworten im Kundenservice. Ferner setzen viele Unternehmen unser Tool zur Unterstützung ihres Marketingteams ein, beispielsweise für Social-Media, SEO oder Konzeptionen. Auch die Bearbeitung von Anfragen zu bestehenden Prozessen im Unternehmen wird mit unseren Wissensdatenbanken vereinfacht, etwa: "Wie beantrage ich Urlaub?" oder die automatische Berichtserstellung.

"Ein Jurist wird mit KI zum Turbo-Juristen"

Datensicherheit ist ein großes Thema. Wie stellt Ihr sicher, dass die Daten aus den eigenen Unternehmen nicht zu Trainingszwecken der LLMs verwendet werden?

Unser Datenschutz-Team sorgt dafür, dass die Daten durch strenge Zugangskontrollen und regelmäßige Prüfungen geschützt sind. Wir garantieren Datensicherheit durch modernste Verschlüsselung, Pseudonymisierung und die sichere Speicherung auf EU-Servern. Wir führen außerdem regelmäßige Überprüfungen der Bedingungen unserer Lieferanten durch, um den sicheren Einsatz aller KI-Modelle sicherzustellen. Personenbezogene Daten des Auftraggebers werden logisch getrennt verarbeitet und vor unbefugtem Zugriff geschützt. Zudem führen wir systematische Schwachstellenscans durch und implementieren starke Passwortrichtlinien sowie die Zwei-Faktor-Authentifizierung, um den Zugriff auf Datenverarbeitungssysteme abzusichern. Alle sensiblen Daten werden mit AES-256 verschlüsselt und die Übertragung durch TLS 1.3 geschützt. Wir garantieren auch, dass alle verfügbaren KI-Modelle vertraglich zusichern, dass Ihre Daten nicht für das Training zukünftiger Modelle verwendet werden. Zusätzlich bieten wir unseren Kunden eine Datenschutzfolgeabschätzung, welche bereits auf die KI-VO angepasst wurde.

Auf Eurer Plattform finden sich auch vorgefertigte Prompts. Wieso ist das sinnvoll?

Wir bieten eine Prompt-Bibliothek an, die einen einfachen Einstieg ermöglicht, da unerfahrene Nutzer mit einem Klick einen evaluierten Prompt ausführen können. Darüber hinaus können Nutzer die erstellen Prompts sehen und lernen, wie man gute Prompts formuliert. Die Bibliothek ermöglicht es auch, hausinterne oder private Prompts zu erstellen und mit einem Klick abrufbar zu machen. Beispielsweise könnte ein Ticketstandard als Prompt definiert werden, den alle Mitarbeitenden dann verwenden können. Ein weiterer Vorteil ist, dass die Intelligenz in der KI des Prompts steckt und somit in den Mitarbeitenden. Ein nicht-juristischer Nutzer wird mit KI nicht zum Juristen, jedoch wird ein Jurist mit KI zum Turbo-Juristen. Wir haben direkte Prompts, die mit einem Klick ausgeführt werden, sowie Assistenten-Prompts, die den Nutzer durch den Prozess führen und dann eine Antwort generieren, wenn alle Informationen vorliegen. Weiterhin bieten wir Generatoren für die Prompterstellung an.

nele.ai: Kunden entscheiden, welche LLM sie nutzen

Ist es eigentlich möglich, Halluzinationen weitgehend auszuschließen?

Eine hundertprozentige Ausschlussgarantie gibt es derzeit nicht. Es besteht jedoch die Möglichkeit, ausschließlich mit unseren Wissensdatenbanken zu arbeiten. Beispielsweise können Sie alle Qualitätsmanagement-Handbücher oder Arbeitsanweisungen sowie andere Unternehmensinformationen in großer Menge in unsere Wissensdatenbank laden. Nutzer mit Zugriff auf diese Wissensdatenbank können dann Fragen stellen wie "Wie kann ich meine Hotelkosten erstatten lassen?", "Darf ich mit dem Kunden essen gehen?" oder "Haben wir Produkte bis 300 Grad?". Wenn die Antworten in den Dokumenten gespeichert sind, liefert nele.ai eine Antwort inklusive der Quellenangabe. Wenn die Frage nicht in der Wissensdatenbank enthalten ist, erhalten Sie die Rückmeldung, dass keine Informationen verfügbar sind.

Du hast über Eure Plattform den Überblick über alle gängigen LLMs: Welches ist gerade weit vorne?

Aus meiner persönlichen Sicht sind OpenAI GPT-4o und Anthropic Sonnet 3.5 derzeit führend. Allerdings ändert sich das mit der regelmäßigen Einführung neuer Modelle. Mit uns hat man jedoch immer Zugriff auf die besten Modelle, sofern die Daten nicht für Trainingszwecke verwendet werden und alle erforderlichen Formalitäten, wie technische und organisatorische Maßnahmen, eingehalten werden.

Interview: Helmut van Rinsum

Daniel Gal ist Gründer der Agentur GAL Digital, mit der er seit 2004 Unternehmen bei ihren Digitalisierungsvorhaben unterstützt. 2023 hat er sich generativen KI-Lösungen zugewandt und betrachtet dabei besonders die Sicherheitsaspekte von Open AI-Produkten. Er hat nele.ai gegründet, eine Plattform zur Integration von KI in tägliche Geschäftsprozesse.