Der Einsatz von KI in Unternehmen und das Datenschutzrecht stehen in einem gewissen Spannungsverhältnis. Darauf weist Tina Gausling, Fachanwältin für IT-Recht, im Interview mit ki-marketing hin. Deshalb sollte es in Firmen unbedingt eine Datenschutzstrategie geben. Ein Gespräch über sensible Anwendungsbereiche von KI, rechtliche Grauzonen und Fehler, die man tunlichst vermeiden sollte.
Frau Gausling, ganz grundsätzlich: An welchen rechtlichen Vorgaben sollten sich Unternehmen orientieren, wenn sie KI einsetzen?
Tina Gausling: Sowohl für die Generierung als auch den Einsatz von KI besteht bisher kein spezieller Rechtsrahmen. Beides richtet sich daher nach den allgemeinen gesetzlichen Regelungen. Dabei bestehen keine Einschränkungen hinsichtlich der Rechtsgebiete, die tangiert sein können. Welche rechtlichen Vorgaben beachtet werden müssen, hängt vielmehr von der konkreten Ausgestaltung der jeweiligen KI-Applikation ab. Den meisten KI-Programmen ist jedoch gemein, dass sie auf Basis personenbezogener Trainingsdaten geschaffen werden und somit den strengen Anforderungen der Datenschutzgrundverordnung unterfallen. Angesichts der Höhe möglicher Geldbußen werden daher gegenwärtig vor allem datenschutzrechtliche Aspekte diskutiert.
Insbesondere sollten sich Unternehmen, die KI entwickeln oder einsetzen, darüber im Klaren sein, dass KI-Entwicklung und Datenschutzrecht zunächst in einem gewissen Spannungsverhältnis stehen. Die Qualität von KI-Programmen ist eng mit der Menge der verfügbaren Trainingsdaten verknüpft. Konkrete Einsatzzwecke des KI-Programms können oftmals erst zu einem späteren Zeitpunkt definiert werden. Dies steht zunächst einmal in einem Widerspruch zu den datenschutzrechtlichen Grundsätzen der Zweckbindung und der Datenminimierung. Vor diesem Hintergrund sollte am Anfang von KI-Entwicklung und -Einsatz eine Datenschutzstrategie stehen, die genau diese Aspekte berücksichtigt. Zielsetzung sollte es dabei sein, das unternehmerische Interesse an der KI-Entwicklung und die Anforderungen der DSGVO bestmöglich zum Ausgleich zu bringen und dies entsprechend zu dokumentieren. Dies ist vor allem deshalb wichtig, um Bußgelder und spätere kostenintensive Anpassungen der Entwicklung von Vornherein zu vermeiden.
Welche Anwendungsbereiche von KI gelten rechtlich als besonders sensibel?
Gausling: Sobald KI-Systeme sogenannte „besondere Kategorien personenbezogener Daten“ verarbeiten, gelten deutlich strengere datenschutzrechtliche Anforderungen. Dies betrifft vor allem Gesundheitsdaten. Der Einsatz von KI im Gesundheitswesen und Digital-Health-Sektor bedarf daher der Beachtung entsprechender Vorgaben und des wirksamen Schutzes der betroffenen Gesundheitsdaten schon in der Entwicklungsphase. Gerade aufgrund der erhöhten rechtlichen Anforderungen sind Gegenstand der wirtschaftlichen Debatte gegenwärtig vor allem Möglichkeiten zur Anonymisierung betroffener personenbezogener Daten. Dies hat den Vorteil, dass die DSGVO und deren Anforderungen nicht anwendbar sind und das rechtliche Risiko insofern entsprechend herabgesetzt ist. Auch die Verarbeitung von Standortdaten ist nur in engen Grenzen möglich. Dieser Aspekt wurde jüngst im Zusammenhang mit der Analyse von Bewegungsdaten zur Bekämpfung der Corona-Krise wieder diskutiert.
Zahlreiche Unternehmen haben inzwischen Chatbots im Einsatz. Welche rechtlichen Aspekte sollten beachtet werden, bevor ich mit einem Bot on air gehe?
Gausling: Dies hängt primär von dem genauen Einsatzbereich des Bots ab. Chatbots erfüllen jedenfalls gegenwärtig noch bestimmte Funktionen, beispielsweise im Bereich des Customer Service. Auch wenn es sich hier nicht um KI im engeren Sinne handelt, das heißt um ein System, das autonom Entscheidungen trifft, sind auch hier insbesondere datenschutzrechtliche Aspekte zu beachten. So werden auch im Rahmen des Chats und der Serviceanfragen des Kunden in der Regel personenbezogene Daten verarbeitet. Es empfiehlt sich daher, entsprechende Datenschutzbestimmungen bereits zu Beginn des Chats zum Beispiel via Link verfügbar zu machen. Daneben sind auch wettbewerbsrechtliche Aspekte relevant. So muss der kommerzielle Zweck der Ansprache über einen Chatbot entsprechend gekennzeichnet werden. Werden Verträge zwischen einem Unternehmer und einem Verbraucher über einen Chatbot geschlossen, handelt es sich zudem um einen Fernabsatzvertrag, sodass insbesondere die aus dem E-Commerce bekannten fernabsatzrechtlichen Informationspflichten beachtet werden müssen. Daneben kommen je nach Funktionalität des Bots weitere Rechtsvorschriften in Betracht, zum Beispiel im Hinblick auf mögliche Haftungsszenarien für fehlerhafte Auskünfte.
Für KI-Systeme gelten auch die Vorgaben der DSGVO. Ist das allen Unternehmen klar?
Gausling: Gerade seit Inkrafttreten der DSGVO ist das Bewusstsein für datenschutzrechtliche Belange deutlich gestiegen. Auch die zunehmende Sanktionierung von Verstößen durch die Datenschutzbehörden hat sicherlich dazu beigetragen. Die Situation ist meines Erachtens vergleichbar mit derjenigen vor der Einführung der DSGVO. Während hier insbesondere große Konzerne bereits gut aufgestellt waren, gab es auf der anderen Seite Unternehmen, die das Thema unterschätzt hatten und sich dann zeitlich komprimierter damit befassen mussten. Auch soweit es KI-Systeme betrifft, sind einige Unternehmen sich im Klaren über die datenschutzrechtlichen Herausforderungen, während andere diese – auch in Ermangelung spezialgesetzlicher Vorgaben – noch nicht im notwendigen Maße erfasst haben. Insbesondere wird oftmals fehlerhaft von einer Anonymität der Daten ausgegangen, mit denen die KI trainiert wird. In diesem Fall wäre die DSGVO nicht anwendbar. Tatsächlich lässt sich – jedenfalls derzeit – in den meisten Fällen ein Personenbezug herstellen und müssen daher auch datenschutzrechtlichen Anforderungen erfüllt werden.
In der Hambacher Erklärung der Datenschutzaufsichtsbehörden steht, dass KI den Menschen nicht zum Objekt machen darf. Was ist damit gemeint?
Gausling: Die Datenschutzbehörden führen in ihrer Erklärung dazu aus, dass automatisierte Entscheidungen oder Profiling durch KI-Systeme nur unter engen Voraussetzungen möglich sein sollen. Insbesondere Entscheidungen mit rechtlicher Wirkung oder ähnlicher erheblicher Beeinträchtigung dürfen demnach nicht allein dem KI-System überlassen werden. Eine finale Entscheidung soll also niemals allein durch das KI-System ausgegeben werden, sondern immer unter dem Vorbehalt einer menschlichen Intervention stehen. Gesetzlich ist dieser Gedanke in Art. 22 DSGVO verankert, der damit für KI-Projekte in höchstem Maße relevant ist.
Gibt es hier eine juristische Grauzone?
Gausling: Eine juristische Grauzone besteht sicherlich insoweit, als nicht hinreichend klar ist, wann eine Entscheidung „ähnlich erheblich“ beeinträchtigend ist, wie eine solche mit rechtlicher Wirkung. Zwar existieren dazu Guidelines des Europäischen Datenschutzausschusses. Diese nennen jedoch lediglich Beispiele – zum Beispiel Entscheidungen über die Kreditwürdigkeit einer Person oder Hochschulzulassungen. Letztlich obliegt die Entscheidung, ob der Anwendungsbereich des Artikel 22 DSGVO überhaupt eröffnet ist, einmal mehr dem Rechtsanwender selbst.
Daneben stellt sich die Frage, ob der menschliche Entscheider nicht regelmäßig ohnehin dem vom KI-System ausgegebenen Ergebnis folgen wird und damit den eigentlichen Zweck der Vorschrift konterkariert. Darüber hinaus liegt Artikel 22 DSGVO die Vorstellung zugrunde, dass es sich bei dem Menschen um eine diskriminierungsfreie Instanz handelt, die die Ergebnisse der KI entsprechend korrigieren kann. Tatsächlich muss man sich jedoch die Frage stellen, ob ein KI-System, das auf Grundlage eines geeigneten Datensatzes trainiert wurde, nicht vorurteilsfreier als eine mit der Entscheidung befasste Person agiert. Andererseits ist es nicht immer leicht, KI auf Basis passender Trainingsdaten zu entwickeln. Dies zeigen Beispiele aus der Praxis, wie zum Beispiel das selbstlernende Chatprogramm Tay, das mittels regulärer Chatverläufe trainiert wurde und dennoch auf dieser Basis anstößige und beleidigende Tweets absetzte, woraufhin es von seinen Entwicklern vom Netz genommen wurde.
Welche Rechte kann der User im Zweifel geltend machen? Muss das Unternehmen belegen können, warum die KI ihn zum Beispiel als besonders interessanten Kunden identifiziert hat?
Gausling: Der User kann auch im Zusammenhang mit KI-Systemen seine datenschutzrechtlichen Betroffenenrechte geltend machen. Dies betrifft etwa seinen Auskunftsanspruch. Dieser sieht vor, dass er unter anderem über die von ihm verarbeiteten personenbezogenen Daten, Verarbeitungszwecke, Empfänger und Speicherdauer informiert wird. Damit spiegelt der Auskunftsanspruch die Informationen, über die ein Unternehmen den Nutzer bereits vorab in seinen Datenschutzbestimmungen informieren muss. Das Unternehmen muss dem Nutzer darin darlegen, zu welchen Zwecken und auf welcher Rechtsgrundlage die vom Nutzer erhobenen personenbezogenen Daten verarbeitet werden. Dies betrifft auch die Datenverarbeitungsvorgänge, die letztlich zur Identifikation des Kunden und eine individualisierte Ansprache des Kunden führen. Im Fall von Profiling-Maßnahmen ist das Unternehmen auch verpflichtet, „aussagekräftige Informationen über die involvierte Logik“ zur Verfügung zu stellen, zum Beispiel über Merkmale, die bei der Entscheidungsfindung berücksichtigt wurden. Es ist jedoch umstritten, inwieweit diese Informationspflicht auch für den Bereich des Online-Marketing gilt. Jedenfalls besteht keine Verpflichtung zur Offenlegung des eingesetzten Algorithmus.
Unternehmen sind gleichzeitig gesetzlich verpflichtet, ein Verzeichnis ihrer Verarbeitungstätigkeiten zu führen und dies auf Anfrage einer Behörde zur Verfügung zu stellen. Dies umfasst auch die Datenverarbeitung zur Herstellung oder im Rahmen des Einsatzes von KI-Programmen.
Welche Fehler sollten Unternehmen tunlichst vermeiden, wenn sie KI im Marketing einsetzen?
Gausling: Neben den beschriebenen Informationspflichten, die das Unternehmen bei der Verarbeitung personenbezogener Daten für die Herstellung oder den Einsatz des KI-Programms treffen, sollten Unternehmen wissen, dass hier mit hoher Wahrscheinlichkeit eine mitunter zeitaufwändige Datenschutzfolgenabschätzung durchgeführt werden muss. Diese ist gemäß DSGVO dann zwingend, wenn „eine Form der Verarbeitung, insbesondere bei Verwendung neuer Technologien, aufgrund der Art, des Umfangs, der Umstände und der Zwecke der Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat.“ Eine solche Konstellation liegt gemäß der Konferenz der unabhängigen Datenschutzbehörden des Bundes und der Länder unter anderem im Falle eines KI-Einsatzes zur Bewertung persönlicher Aspekte des Betroffenen vor. Dies schließt die Nutzung von KI im Marketing ein. Das verantwortliche Unternehmen muss dann eine Abschätzung der Folgen der geplanten Datenverarbeitung für den Schutz der betroffenen personenbezogenen Daten durchführen.
Ein Problem beim Einsatz von KI sind diskriminierende Entscheidungen, beispielsweise bei der Auswahl von Bewerbern. Was muss hier beachtet werden?
Gausling: Wichtig ist hier, ein besonderes Augenmerk auf die Auswahl der Daten zu legen, mit denen die KI trainiert wird. Dies zeigen Fälle aus der Praxis. So wurde in einem Fall eine Software zur Auswahl von Bewerbern mit Daten trainiert, die auf erfolgreichen Bewerbungen der Vergangenheit basierten. Da sich jedoch überwiegend männliche Bewerber für Positionen in dem betroffenen Unternehmen beworben hatten und infolgedessen die meisten erfolgreichen Bewerbungen auf männliche Personen zurückgingen, zog die KI daraus den Schluss, dass männliche Bewerber gegenüber weiblichen Kandidatinnen zu bevorzugen seien, und traf eine entsprechende Auswahl. Dieses Beispiel veranschaulicht, welche Auswirkungen die einmal zugrunde gelegte Trainingsbasis haben kann. Die Schwierigkeit liegt demzufolge in der Ermittlung der „richtigen“ Trainingsdaten.
Noch ein kurzer Ausblick: Wo vermuten Sie künftig verstärkt juristische Auseinandersetzungen im Zusammenhang mit dem Einsatz von Künstlicher Intelligenz?
Gausling: Zwar sind KI-Systeme – auch wegen vieler ungeklärter Rechtsfragen – bisher noch nicht in das Zentrum der Bußgeldpraxis von Datenschutzbehörden gelangt. Jedoch ist davon auszugehen, dass es über kurz oder lang dazu kommen wird. Daher liegen juristische Auseinandersetzungen gerade im datenschutzrechtlichen Bereich sehr nahe. Sollte sich irgendwann die Entwicklung in Richtung „starker“ KI intensivieren und trifft tatsächlich die KI selbst Entscheidungen, knüpfen sich daran natürlich ebenfalls rechtliche Überlegungen. So stellt sich im Bereich des autonomen Fahrens die Frage nach der strafrechtlichen Verantwortlichkeit, wenn das automatisierte Fahrzeug fehlerhaft agiert. Schließt die KI selbstständig Verträge ab, stellen sich hier möglicherweise zivilrechtliche Haftungsfragen. Auch hier sind dann juristische Auseinandersetzungen zu erwarten.
Das Interview führte Helmut van Rinsum
Dr. Tina Gausling, LL.M. (Columbia University), CIPP/E, ist Fachanwältin für IT-Recht in der Kanzlei Allen & Overy LLP in München. Sie berät nationale und internationale Unternehmen im IT- und Datenschutzrecht vorrangig zu grenzüberschreitenden Fragestellungen und mit einem besonderen Fokus auf der Schnittstelle zum Online-Marketing- und Ad-Tech-Bereich einschließlich neuer technologischer Entwicklungen im Bereich Künstlicher Intelligenz. Tina Gausling wirkt als Mitglied des European Advisory Board der IAPP (International Association of Privacy Professionals) intensiv an der rechtlichen Weiterentwicklung dieser Themen mit, publiziert regelmäßig in Fachzeitschriften und internationalen Journals und tritt als Referentin auf fachspezifischen Tagungen, Konferenzen und in (Inhouse-)Seminaren auf.
Siehe auch:
Carsten Kraus, Omikron: "Die großen Veränderungen kommen noch"
Sebastian Kielmann, picalike: "Fokus liegt auf aktiven Trends"
Thomas Jesewski, aifora: Dynamic Pricing - So steigert KI den Umsatz
Der Einsatz von KI in Unternehmen und das Datenschutzrecht stehen in einem gewissen Spannungsverhältnis. Darauf weist Tina Gausling, Fachanwältin für IT-Recht, im Interview mit ki-marketing hin. Deshalb sollte es in Firmen unbedingt eine Datenschutzstrategie geben. Ein Gespräch über sensible Anwendungsbereiche von KI, rechtliche Grauzonen und Fehler, die man tunlichst vermeiden sollte.
Frau Gausling, ganz grundsätzlich: An welchen rechtlichen Vorgaben sollten sich Unternehmen orientieren, wenn sie KI einsetzen?
Tina Gausling: Sowohl für die Generierung als auch den Einsatz von KI besteht bisher kein spezieller Rechtsrahmen. Beides richtet sich daher nach den allgemeinen gesetzlichen Regelungen. Dabei bestehen keine Einschränkungen hinsichtlich der Rechtsgebiete, die tangiert sein können. Welche rechtlichen Vorgaben beachtet werden müssen, hängt vielmehr von der konkreten Ausgestaltung der jeweiligen KI-Applikation ab. Den meisten KI-Programmen ist jedoch gemein, dass sie auf Basis personenbezogener Trainingsdaten geschaffen werden und somit den strengen Anforderungen der Datenschutzgrundverordnung unterfallen. Angesichts der Höhe möglicher Geldbußen werden daher gegenwärtig vor allem datenschutzrechtliche Aspekte diskutiert.
Insbesondere sollten sich Unternehmen, die KI entwickeln oder einsetzen, darüber im Klaren sein, dass KI-Entwicklung und Datenschutzrecht zunächst in einem gewissen Spannungsverhältnis stehen. Die Qualität von KI-Programmen ist eng mit der Menge der verfügbaren Trainingsdaten verknüpft. Konkrete Einsatzzwecke des KI-Programms können oftmals erst zu einem späteren Zeitpunkt definiert werden. Dies steht zunächst einmal in einem Widerspruch zu den datenschutzrechtlichen Grundsätzen der Zweckbindung und der Datenminimierung. Vor diesem Hintergrund sollte am Anfang von KI-Entwicklung und -Einsatz eine Datenschutzstrategie stehen, die genau diese Aspekte berücksichtigt. Zielsetzung sollte es dabei sein, das unternehmerische Interesse an der KI-Entwicklung und die Anforderungen der DSGVO bestmöglich zum Ausgleich zu bringen und dies entsprechend zu dokumentieren. Dies ist vor allem deshalb wichtig, um Bußgelder und spätere kostenintensive Anpassungen der Entwicklung von Vornherein zu vermeiden.
Welche Anwendungsbereiche von KI gelten rechtlich als besonders sensibel?
Gausling: Sobald KI-Systeme sogenannte „besondere Kategorien personenbezogener Daten“ verarbeiten, gelten deutlich strengere datenschutzrechtliche Anforderungen. Dies betrifft vor allem Gesundheitsdaten. Der Einsatz von KI im Gesundheitswesen und Digital-Health-Sektor bedarf daher der Beachtung entsprechender Vorgaben und des wirksamen Schutzes der betroffenen Gesundheitsdaten schon in der Entwicklungsphase. Gerade aufgrund der erhöhten rechtlichen Anforderungen sind Gegenstand der wirtschaftlichen Debatte gegenwärtig vor allem Möglichkeiten zur Anonymisierung betroffener personenbezogener Daten. Dies hat den Vorteil, dass die DSGVO und deren Anforderungen nicht anwendbar sind und das rechtliche Risiko insofern entsprechend herabgesetzt ist. Auch die Verarbeitung von Standortdaten ist nur in engen Grenzen möglich. Dieser Aspekt wurde jüngst im Zusammenhang mit der Analyse von Bewegungsdaten zur Bekämpfung der Corona-Krise wieder diskutiert.
Zahlreiche Unternehmen haben inzwischen Chatbots im Einsatz. Welche rechtlichen Aspekte sollten beachtet werden, bevor ich mit einem Bot on air gehe?
Gausling: Dies hängt primär von dem genauen Einsatzbereich des Bots ab. Chatbots erfüllen jedenfalls gegenwärtig noch bestimmte Funktionen, beispielsweise im Bereich des Customer Service. Auch wenn es sich hier nicht um KI im engeren Sinne handelt, das heißt um ein System, das autonom Entscheidungen trifft, sind auch hier insbesondere datenschutzrechtliche Aspekte zu beachten. So werden auch im Rahmen des Chats und der Serviceanfragen des Kunden in der Regel personenbezogene Daten verarbeitet. Es empfiehlt sich daher, entsprechende Datenschutzbestimmungen bereits zu Beginn des Chats zum Beispiel via Link verfügbar zu machen. Daneben sind auch wettbewerbsrechtliche Aspekte relevant. So muss der kommerzielle Zweck der Ansprache über einen Chatbot entsprechend gekennzeichnet werden. Werden Verträge zwischen einem Unternehmer und einem Verbraucher über einen Chatbot geschlossen, handelt es sich zudem um einen Fernabsatzvertrag, sodass insbesondere die aus dem E-Commerce bekannten fernabsatzrechtlichen Informationspflichten beachtet werden müssen. Daneben kommen je nach Funktionalität des Bots weitere Rechtsvorschriften in Betracht, zum Beispiel im Hinblick auf mögliche Haftungsszenarien für fehlerhafte Auskünfte.
Für KI-Systeme gelten auch die Vorgaben der DSGVO. Ist das allen Unternehmen klar?
Gausling: Gerade seit Inkrafttreten der DSGVO ist das Bewusstsein für datenschutzrechtliche Belange deutlich gestiegen. Auch die zunehmende Sanktionierung von Verstößen durch die Datenschutzbehörden hat sicherlich dazu beigetragen. Die Situation ist meines Erachtens vergleichbar mit derjenigen vor der Einführung der DSGVO. Während hier insbesondere große Konzerne bereits gut aufgestellt waren, gab es auf der anderen Seite Unternehmen, die das Thema unterschätzt hatten und sich dann zeitlich komprimierter damit befassen mussten. Auch soweit es KI-Systeme betrifft, sind einige Unternehmen sich im Klaren über die datenschutzrechtlichen Herausforderungen, während andere diese – auch in Ermangelung spezialgesetzlicher Vorgaben – noch nicht im notwendigen Maße erfasst haben. Insbesondere wird oftmals fehlerhaft von einer Anonymität der Daten ausgegangen, mit denen die KI trainiert wird. In diesem Fall wäre die DSGVO nicht anwendbar. Tatsächlich lässt sich – jedenfalls derzeit – in den meisten Fällen ein Personenbezug herstellen und müssen daher auch datenschutzrechtlichen Anforderungen erfüllt werden.
In der Hambacher Erklärung der Datenschutzaufsichtsbehörden steht, dass KI den Menschen nicht zum Objekt machen darf. Was ist damit gemeint?
Gausling: Die Datenschutzbehörden führen in ihrer Erklärung dazu aus, dass automatisierte Entscheidungen oder Profiling durch KI-Systeme nur unter engen Voraussetzungen möglich sein sollen. Insbesondere Entscheidungen mit rechtlicher Wirkung oder ähnlicher erheblicher Beeinträchtigung dürfen demnach nicht allein dem KI-System überlassen werden. Eine finale Entscheidung soll also niemals allein durch das KI-System ausgegeben werden, sondern immer unter dem Vorbehalt einer menschlichen Intervention stehen. Gesetzlich ist dieser Gedanke in Art. 22 DSGVO verankert, der damit für KI-Projekte in höchstem Maße relevant ist.
Gibt es hier eine juristische Grauzone?
Gausling: Eine juristische Grauzone besteht sicherlich insoweit, als nicht hinreichend klar ist, wann eine Entscheidung „ähnlich erheblich“ beeinträchtigend ist, wie eine solche mit rechtlicher Wirkung. Zwar existieren dazu Guidelines des Europäischen Datenschutzausschusses. Diese nennen jedoch lediglich Beispiele – zum Beispiel Entscheidungen über die Kreditwürdigkeit einer Person oder Hochschulzulassungen. Letztlich obliegt die Entscheidung, ob der Anwendungsbereich des Artikel 22 DSGVO überhaupt eröffnet ist, einmal mehr dem Rechtsanwender selbst.
Daneben stellt sich die Frage, ob der menschliche Entscheider nicht regelmäßig ohnehin dem vom KI-System ausgegebenen Ergebnis folgen wird und damit den eigentlichen Zweck der Vorschrift konterkariert. Darüber hinaus liegt Artikel 22 DSGVO die Vorstellung zugrunde, dass es sich bei dem Menschen um eine diskriminierungsfreie Instanz handelt, die die Ergebnisse der KI entsprechend korrigieren kann. Tatsächlich muss man sich jedoch die Frage stellen, ob ein KI-System, das auf Grundlage eines geeigneten Datensatzes trainiert wurde, nicht vorurteilsfreier als eine mit der Entscheidung befasste Person agiert. Andererseits ist es nicht immer leicht, KI auf Basis passender Trainingsdaten zu entwickeln. Dies zeigen Beispiele aus der Praxis, wie zum Beispiel das selbstlernende Chatprogramm Tay, das mittels regulärer Chatverläufe trainiert wurde und dennoch auf dieser Basis anstößige und beleidigende Tweets absetzte, woraufhin es von seinen Entwicklern vom Netz genommen wurde.
Welche Rechte kann der User im Zweifel geltend machen? Muss das Unternehmen belegen können, warum die KI ihn zum Beispiel als besonders interessanten Kunden identifiziert hat?
Gausling: Der User kann auch im Zusammenhang mit KI-Systemen seine datenschutzrechtlichen Betroffenenrechte geltend machen. Dies betrifft etwa seinen Auskunftsanspruch. Dieser sieht vor, dass er unter anderem über die von ihm verarbeiteten personenbezogenen Daten, Verarbeitungszwecke, Empfänger und Speicherdauer informiert wird. Damit spiegelt der Auskunftsanspruch die Informationen, über die ein Unternehmen den Nutzer bereits vorab in seinen Datenschutzbestimmungen informieren muss. Das Unternehmen muss dem Nutzer darin darlegen, zu welchen Zwecken und auf welcher Rechtsgrundlage die vom Nutzer erhobenen personenbezogenen Daten verarbeitet werden. Dies betrifft auch die Datenverarbeitungsvorgänge, die letztlich zur Identifikation des Kunden und eine individualisierte Ansprache des Kunden führen. Im Fall von Profiling-Maßnahmen ist das Unternehmen auch verpflichtet, „aussagekräftige Informationen über die involvierte Logik“ zur Verfügung zu stellen, zum Beispiel über Merkmale, die bei der Entscheidungsfindung berücksichtigt wurden. Es ist jedoch umstritten, inwieweit diese Informationspflicht auch für den Bereich des Online-Marketing gilt. Jedenfalls besteht keine Verpflichtung zur Offenlegung des eingesetzten Algorithmus.
Unternehmen sind gleichzeitig gesetzlich verpflichtet, ein Verzeichnis ihrer Verarbeitungstätigkeiten zu führen und dies auf Anfrage einer Behörde zur Verfügung zu stellen. Dies umfasst auch die Datenverarbeitung zur Herstellung oder im Rahmen des Einsatzes von KI-Programmen.
Welche Fehler sollten Unternehmen tunlichst vermeiden, wenn sie KI im Marketing einsetzen?
Gausling: Neben den beschriebenen Informationspflichten, die das Unternehmen bei der Verarbeitung personenbezogener Daten für die Herstellung oder den Einsatz des KI-Programms treffen, sollten Unternehmen wissen, dass hier mit hoher Wahrscheinlichkeit eine mitunter zeitaufwändige Datenschutzfolgenabschätzung durchgeführt werden muss. Diese ist gemäß DSGVO dann zwingend, wenn „eine Form der Verarbeitung, insbesondere bei Verwendung neuer Technologien, aufgrund der Art, des Umfangs, der Umstände und der Zwecke der Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat.“ Eine solche Konstellation liegt gemäß der Konferenz der unabhängigen Datenschutzbehörden des Bundes und der Länder unter anderem im Falle eines KI-Einsatzes zur Bewertung persönlicher Aspekte des Betroffenen vor. Dies schließt die Nutzung von KI im Marketing ein. Das verantwortliche Unternehmen muss dann eine Abschätzung der Folgen der geplanten Datenverarbeitung für den Schutz der betroffenen personenbezogenen Daten durchführen.
Ein Problem beim Einsatz von KI sind diskriminierende Entscheidungen, beispielsweise bei der Auswahl von Bewerbern. Was muss hier beachtet werden?
Gausling: Wichtig ist hier, ein besonderes Augenmerk auf die Auswahl der Daten zu legen, mit denen die KI trainiert wird. Dies zeigen Fälle aus der Praxis. So wurde in einem Fall eine Software zur Auswahl von Bewerbern mit Daten trainiert, die auf erfolgreichen Bewerbungen der Vergangenheit basierten. Da sich jedoch überwiegend männliche Bewerber für Positionen in dem betroffenen Unternehmen beworben hatten und infolgedessen die meisten erfolgreichen Bewerbungen auf männliche Personen zurückgingen, zog die KI daraus den Schluss, dass männliche Bewerber gegenüber weiblichen Kandidatinnen zu bevorzugen seien, und traf eine entsprechende Auswahl. Dieses Beispiel veranschaulicht, welche Auswirkungen die einmal zugrunde gelegte Trainingsbasis haben kann. Die Schwierigkeit liegt demzufolge in der Ermittlung der „richtigen“ Trainingsdaten.
Noch ein kurzer Ausblick: Wo vermuten Sie künftig verstärkt juristische Auseinandersetzungen im Zusammenhang mit dem Einsatz von Künstlicher Intelligenz?
Gausling: Zwar sind KI-Systeme – auch wegen vieler ungeklärter Rechtsfragen – bisher noch nicht in das Zentrum der Bußgeldpraxis von Datenschutzbehörden gelangt. Jedoch ist davon auszugehen, dass es über kurz oder lang dazu kommen wird. Daher liegen juristische Auseinandersetzungen gerade im datenschutzrechtlichen Bereich sehr nahe. Sollte sich irgendwann die Entwicklung in Richtung „starker“ KI intensivieren und trifft tatsächlich die KI selbst Entscheidungen, knüpfen sich daran natürlich ebenfalls rechtliche Überlegungen. So stellt sich im Bereich des autonomen Fahrens die Frage nach der strafrechtlichen Verantwortlichkeit, wenn das automatisierte Fahrzeug fehlerhaft agiert. Schließt die KI selbstständig Verträge ab, stellen sich hier möglicherweise zivilrechtliche Haftungsfragen. Auch hier sind dann juristische Auseinandersetzungen zu erwarten.
Das Interview führte Helmut van Rinsum
Dr. Tina Gausling, LL.M. (Columbia University), CIPP/E, ist Fachanwältin für IT-Recht in der Kanzlei Allen & Overy LLP in München. Sie berät nationale und internationale Unternehmen im IT- und Datenschutzrecht vorrangig zu grenzüberschreitenden Fragestellungen und mit einem besonderen Fokus auf der Schnittstelle zum Online-Marketing- und Ad-Tech-Bereich einschließlich neuer technologischer Entwicklungen im Bereich Künstlicher Intelligenz. Tina Gausling wirkt als Mitglied des European Advisory Board der IAPP (International Association of Privacy Professionals) intensiv an der rechtlichen Weiterentwicklung dieser Themen mit, publiziert regelmäßig in Fachzeitschriften und internationalen Journals und tritt als Referentin auf fachspezifischen Tagungen, Konferenzen und in (Inhouse-)Seminaren auf.
Siehe auch:
Carsten Kraus, Omikron: "Die großen Veränderungen kommen noch"
Sebastian Kielmann, picalike: "Fokus liegt auf aktiven Trends"
Thomas Jesewski, aifora: Dynamic Pricing - So steigert KI den Umsatz
Der Einsatz von KI in Unternehmen und das Datenschutzrecht stehen in einem gewissen Spannungsverhältnis. Darauf weist Tina Gausling, Fachanwältin für IT-Recht, im Interview mit ki-marketing hin. Deshalb sollte es in Firmen unbedingt eine Datenschutzstrategie geben. Ein Gespräch über sensible Anwendungsbereiche von KI, rechtliche Grauzonen und Fehler, die man tunlichst vermeiden sollte.
Frau Gausling, ganz grundsätzlich: An welchen rechtlichen Vorgaben sollten sich Unternehmen orientieren, wenn sie KI einsetzen?
Tina Gausling: Sowohl für die Generierung als auch den Einsatz von KI besteht bisher kein spezieller Rechtsrahmen. Beides richtet sich daher nach den allgemeinen gesetzlichen Regelungen. Dabei bestehen keine Einschränkungen hinsichtlich der Rechtsgebiete, die tangiert sein können. Welche rechtlichen Vorgaben beachtet werden müssen, hängt vielmehr von der konkreten Ausgestaltung der jeweiligen KI-Applikation ab. Den meisten KI-Programmen ist jedoch gemein, dass sie auf Basis personenbezogener Trainingsdaten geschaffen werden und somit den strengen Anforderungen der Datenschutzgrundverordnung unterfallen. Angesichts der Höhe möglicher Geldbußen werden daher gegenwärtig vor allem datenschutzrechtliche Aspekte diskutiert.
Insbesondere sollten sich Unternehmen, die KI entwickeln oder einsetzen, darüber im Klaren sein, dass KI-Entwicklung und Datenschutzrecht zunächst in einem gewissen Spannungsverhältnis stehen. Die Qualität von KI-Programmen ist eng mit der Menge der verfügbaren Trainingsdaten verknüpft. Konkrete Einsatzzwecke des KI-Programms können oftmals erst zu einem späteren Zeitpunkt definiert werden. Dies steht zunächst einmal in einem Widerspruch zu den datenschutzrechtlichen Grundsätzen der Zweckbindung und der Datenminimierung. Vor diesem Hintergrund sollte am Anfang von KI-Entwicklung und -Einsatz eine Datenschutzstrategie stehen, die genau diese Aspekte berücksichtigt. Zielsetzung sollte es dabei sein, das unternehmerische Interesse an der KI-Entwicklung und die Anforderungen der DSGVO bestmöglich zum Ausgleich zu bringen und dies entsprechend zu dokumentieren. Dies ist vor allem deshalb wichtig, um Bußgelder und spätere kostenintensive Anpassungen der Entwicklung von Vornherein zu vermeiden.
Welche Anwendungsbereiche von KI gelten rechtlich als besonders sensibel?
Gausling: Sobald KI-Systeme sogenannte „besondere Kategorien personenbezogener Daten“ verarbeiten, gelten deutlich strengere datenschutzrechtliche Anforderungen. Dies betrifft vor allem Gesundheitsdaten. Der Einsatz von KI im Gesundheitswesen und Digital-Health-Sektor bedarf daher der Beachtung entsprechender Vorgaben und des wirksamen Schutzes der betroffenen Gesundheitsdaten schon in der Entwicklungsphase. Gerade aufgrund der erhöhten rechtlichen Anforderungen sind Gegenstand der wirtschaftlichen Debatte gegenwärtig vor allem Möglichkeiten zur Anonymisierung betroffener personenbezogener Daten. Dies hat den Vorteil, dass die DSGVO und deren Anforderungen nicht anwendbar sind und das rechtliche Risiko insofern entsprechend herabgesetzt ist. Auch die Verarbeitung von Standortdaten ist nur in engen Grenzen möglich. Dieser Aspekt wurde jüngst im Zusammenhang mit der Analyse von Bewegungsdaten zur Bekämpfung der Corona-Krise wieder diskutiert.
Zahlreiche Unternehmen haben inzwischen Chatbots im Einsatz. Welche rechtlichen Aspekte sollten beachtet werden, bevor ich mit einem Bot on air gehe?
Gausling: Dies hängt primär von dem genauen Einsatzbereich des Bots ab. Chatbots erfüllen jedenfalls gegenwärtig noch bestimmte Funktionen, beispielsweise im Bereich des Customer Service. Auch wenn es sich hier nicht um KI im engeren Sinne handelt, das heißt um ein System, das autonom Entscheidungen trifft, sind auch hier insbesondere datenschutzrechtliche Aspekte zu beachten. So werden auch im Rahmen des Chats und der Serviceanfragen des Kunden in der Regel personenbezogene Daten verarbeitet. Es empfiehlt sich daher, entsprechende Datenschutzbestimmungen bereits zu Beginn des Chats zum Beispiel via Link verfügbar zu machen. Daneben sind auch wettbewerbsrechtliche Aspekte relevant. So muss der kommerzielle Zweck der Ansprache über einen Chatbot entsprechend gekennzeichnet werden. Werden Verträge zwischen einem Unternehmer und einem Verbraucher über einen Chatbot geschlossen, handelt es sich zudem um einen Fernabsatzvertrag, sodass insbesondere die aus dem E-Commerce bekannten fernabsatzrechtlichen Informationspflichten beachtet werden müssen. Daneben kommen je nach Funktionalität des Bots weitere Rechtsvorschriften in Betracht, zum Beispiel im Hinblick auf mögliche Haftungsszenarien für fehlerhafte Auskünfte.
Für KI-Systeme gelten auch die Vorgaben der DSGVO. Ist das allen Unternehmen klar?
Gausling: Gerade seit Inkrafttreten der DSGVO ist das Bewusstsein für datenschutzrechtliche Belange deutlich gestiegen. Auch die zunehmende Sanktionierung von Verstößen durch die Datenschutzbehörden hat sicherlich dazu beigetragen. Die Situation ist meines Erachtens vergleichbar mit derjenigen vor der Einführung der DSGVO. Während hier insbesondere große Konzerne bereits gut aufgestellt waren, gab es auf der anderen Seite Unternehmen, die das Thema unterschätzt hatten und sich dann zeitlich komprimierter damit befassen mussten. Auch soweit es KI-Systeme betrifft, sind einige Unternehmen sich im Klaren über die datenschutzrechtlichen Herausforderungen, während andere diese – auch in Ermangelung spezialgesetzlicher Vorgaben – noch nicht im notwendigen Maße erfasst haben. Insbesondere wird oftmals fehlerhaft von einer Anonymität der Daten ausgegangen, mit denen die KI trainiert wird. In diesem Fall wäre die DSGVO nicht anwendbar. Tatsächlich lässt sich – jedenfalls derzeit – in den meisten Fällen ein Personenbezug herstellen und müssen daher auch datenschutzrechtlichen Anforderungen erfüllt werden.
In der Hambacher Erklärung der Datenschutzaufsichtsbehörden steht, dass KI den Menschen nicht zum Objekt machen darf. Was ist damit gemeint?
Gausling: Die Datenschutzbehörden führen in ihrer Erklärung dazu aus, dass automatisierte Entscheidungen oder Profiling durch KI-Systeme nur unter engen Voraussetzungen möglich sein sollen. Insbesondere Entscheidungen mit rechtlicher Wirkung oder ähnlicher erheblicher Beeinträchtigung dürfen demnach nicht allein dem KI-System überlassen werden. Eine finale Entscheidung soll also niemals allein durch das KI-System ausgegeben werden, sondern immer unter dem Vorbehalt einer menschlichen Intervention stehen. Gesetzlich ist dieser Gedanke in Art. 22 DSGVO verankert, der damit für KI-Projekte in höchstem Maße relevant ist.
Gibt es hier eine juristische Grauzone?
Gausling: Eine juristische Grauzone besteht sicherlich insoweit, als nicht hinreichend klar ist, wann eine Entscheidung „ähnlich erheblich“ beeinträchtigend ist, wie eine solche mit rechtlicher Wirkung. Zwar existieren dazu Guidelines des Europäischen Datenschutzausschusses. Diese nennen jedoch lediglich Beispiele – zum Beispiel Entscheidungen über die Kreditwürdigkeit einer Person oder Hochschulzulassungen. Letztlich obliegt die Entscheidung, ob der Anwendungsbereich des Artikel 22 DSGVO überhaupt eröffnet ist, einmal mehr dem Rechtsanwender selbst.
Daneben stellt sich die Frage, ob der menschliche Entscheider nicht regelmäßig ohnehin dem vom KI-System ausgegebenen Ergebnis folgen wird und damit den eigentlichen Zweck der Vorschrift konterkariert. Darüber hinaus liegt Artikel 22 DSGVO die Vorstellung zugrunde, dass es sich bei dem Menschen um eine diskriminierungsfreie Instanz handelt, die die Ergebnisse der KI entsprechend korrigieren kann. Tatsächlich muss man sich jedoch die Frage stellen, ob ein KI-System, das auf Grundlage eines geeigneten Datensatzes trainiert wurde, nicht vorurteilsfreier als eine mit der Entscheidung befasste Person agiert. Andererseits ist es nicht immer leicht, KI auf Basis passender Trainingsdaten zu entwickeln. Dies zeigen Beispiele aus der Praxis, wie zum Beispiel das selbstlernende Chatprogramm Tay, das mittels regulärer Chatverläufe trainiert wurde und dennoch auf dieser Basis anstößige und beleidigende Tweets absetzte, woraufhin es von seinen Entwicklern vom Netz genommen wurde.
Welche Rechte kann der User im Zweifel geltend machen? Muss das Unternehmen belegen können, warum die KI ihn zum Beispiel als besonders interessanten Kunden identifiziert hat?
Gausling: Der User kann auch im Zusammenhang mit KI-Systemen seine datenschutzrechtlichen Betroffenenrechte geltend machen. Dies betrifft etwa seinen Auskunftsanspruch. Dieser sieht vor, dass er unter anderem über die von ihm verarbeiteten personenbezogenen Daten, Verarbeitungszwecke, Empfänger und Speicherdauer informiert wird. Damit spiegelt der Auskunftsanspruch die Informationen, über die ein Unternehmen den Nutzer bereits vorab in seinen Datenschutzbestimmungen informieren muss. Das Unternehmen muss dem Nutzer darin darlegen, zu welchen Zwecken und auf welcher Rechtsgrundlage die vom Nutzer erhobenen personenbezogenen Daten verarbeitet werden. Dies betrifft auch die Datenverarbeitungsvorgänge, die letztlich zur Identifikation des Kunden und eine individualisierte Ansprache des Kunden führen. Im Fall von Profiling-Maßnahmen ist das Unternehmen auch verpflichtet, „aussagekräftige Informationen über die involvierte Logik“ zur Verfügung zu stellen, zum Beispiel über Merkmale, die bei der Entscheidungsfindung berücksichtigt wurden. Es ist jedoch umstritten, inwieweit diese Informationspflicht auch für den Bereich des Online-Marketing gilt. Jedenfalls besteht keine Verpflichtung zur Offenlegung des eingesetzten Algorithmus.
Unternehmen sind gleichzeitig gesetzlich verpflichtet, ein Verzeichnis ihrer Verarbeitungstätigkeiten zu führen und dies auf Anfrage einer Behörde zur Verfügung zu stellen. Dies umfasst auch die Datenverarbeitung zur Herstellung oder im Rahmen des Einsatzes von KI-Programmen.
Welche Fehler sollten Unternehmen tunlichst vermeiden, wenn sie KI im Marketing einsetzen?
Gausling: Neben den beschriebenen Informationspflichten, die das Unternehmen bei der Verarbeitung personenbezogener Daten für die Herstellung oder den Einsatz des KI-Programms treffen, sollten Unternehmen wissen, dass hier mit hoher Wahrscheinlichkeit eine mitunter zeitaufwändige Datenschutzfolgenabschätzung durchgeführt werden muss. Diese ist gemäß DSGVO dann zwingend, wenn „eine Form der Verarbeitung, insbesondere bei Verwendung neuer Technologien, aufgrund der Art, des Umfangs, der Umstände und der Zwecke der Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat.“ Eine solche Konstellation liegt gemäß der Konferenz der unabhängigen Datenschutzbehörden des Bundes und der Länder unter anderem im Falle eines KI-Einsatzes zur Bewertung persönlicher Aspekte des Betroffenen vor. Dies schließt die Nutzung von KI im Marketing ein. Das verantwortliche Unternehmen muss dann eine Abschätzung der Folgen der geplanten Datenverarbeitung für den Schutz der betroffenen personenbezogenen Daten durchführen.
Ein Problem beim Einsatz von KI sind diskriminierende Entscheidungen, beispielsweise bei der Auswahl von Bewerbern. Was muss hier beachtet werden?
Gausling: Wichtig ist hier, ein besonderes Augenmerk auf die Auswahl der Daten zu legen, mit denen die KI trainiert wird. Dies zeigen Fälle aus der Praxis. So wurde in einem Fall eine Software zur Auswahl von Bewerbern mit Daten trainiert, die auf erfolgreichen Bewerbungen der Vergangenheit basierten. Da sich jedoch überwiegend männliche Bewerber für Positionen in dem betroffenen Unternehmen beworben hatten und infolgedessen die meisten erfolgreichen Bewerbungen auf männliche Personen zurückgingen, zog die KI daraus den Schluss, dass männliche Bewerber gegenüber weiblichen Kandidatinnen zu bevorzugen seien, und traf eine entsprechende Auswahl. Dieses Beispiel veranschaulicht, welche Auswirkungen die einmal zugrunde gelegte Trainingsbasis haben kann. Die Schwierigkeit liegt demzufolge in der Ermittlung der „richtigen“ Trainingsdaten.
Noch ein kurzer Ausblick: Wo vermuten Sie künftig verstärkt juristische Auseinandersetzungen im Zusammenhang mit dem Einsatz von Künstlicher Intelligenz?
Gausling: Zwar sind KI-Systeme – auch wegen vieler ungeklärter Rechtsfragen – bisher noch nicht in das Zentrum der Bußgeldpraxis von Datenschutzbehörden gelangt. Jedoch ist davon auszugehen, dass es über kurz oder lang dazu kommen wird. Daher liegen juristische Auseinandersetzungen gerade im datenschutzrechtlichen Bereich sehr nahe. Sollte sich irgendwann die Entwicklung in Richtung „starker“ KI intensivieren und trifft tatsächlich die KI selbst Entscheidungen, knüpfen sich daran natürlich ebenfalls rechtliche Überlegungen. So stellt sich im Bereich des autonomen Fahrens die Frage nach der strafrechtlichen Verantwortlichkeit, wenn das automatisierte Fahrzeug fehlerhaft agiert. Schließt die KI selbstständig Verträge ab, stellen sich hier möglicherweise zivilrechtliche Haftungsfragen. Auch hier sind dann juristische Auseinandersetzungen zu erwarten.
Das Interview führte Helmut van Rinsum
Dr. Tina Gausling, LL.M. (Columbia University), CIPP/E, ist Fachanwältin für IT-Recht in der Kanzlei Allen & Overy LLP in München. Sie berät nationale und internationale Unternehmen im IT- und Datenschutzrecht vorrangig zu grenzüberschreitenden Fragestellungen und mit einem besonderen Fokus auf der Schnittstelle zum Online-Marketing- und Ad-Tech-Bereich einschließlich neuer technologischer Entwicklungen im Bereich Künstlicher Intelligenz. Tina Gausling wirkt als Mitglied des European Advisory Board der IAPP (International Association of Privacy Professionals) intensiv an der rechtlichen Weiterentwicklung dieser Themen mit, publiziert regelmäßig in Fachzeitschriften und internationalen Journals und tritt als Referentin auf fachspezifischen Tagungen, Konferenzen und in (Inhouse-)Seminaren auf.
Siehe auch:
Carsten Kraus, Omikron: "Die großen Veränderungen kommen noch"
Sebastian Kielmann, picalike: "Fokus liegt auf aktiven Trends"
Thomas Jesewski, aifora: Dynamic Pricing - So steigert KI den Umsatz
Trending
Newsletter
Hier erfährst Du einmal in der Woche, wo Künstliche Intelligenz in das Marketing eingreift, welche Trends sich abzeichnen und wie sie Kommunikation und Medien verändert. Informativ, unterhaltsam, nachdenklich.
Schließe Dich den 1.500+ Abonnenten an, kostenlos.
Trending
Newsletter
Hier erfährst Du einmal in der Woche, wo Künstliche Intelligenz in das Marketing eingreift, welche Trends sich abzeichnen und wie sie Kommunikation und Medien verändert. Informativ, unterhaltsam, nachdenklich.
Schließe Dich den 1.500+ Abonnenten an, kostenlos.
Trending
Newsletter
Hier erfährst Du einmal in der Woche, wo Künstliche Intelligenz in das Marketing eingreift, welche Trends sich abzeichnen und wie sie Kommunikation und Medien verändert. Informativ, unterhaltsam, nachdenklich.
Schließe Dich den 1.500+ Abonnenten an, kostenlos.