destination.one / KI verändert die Prozesse

Session 04: Rechtliche Aspekte

Impulsgeber: David Oberbeck

Der Einsatz von Künstlicher Intelligenz wirft zunehmend rechtliche Fragen auf. Besonders relevant sind dabei die neue KI-Verordnung (AI-Act) und die Datenschutz-Grundverordnung (DSGVO). Beide Regelwerke greifen ineinander und stellen auch Touristiker:innen vor neue Pflichten und rechtliche Herausforderungen. 

Am 01. August 2024 trat der europäische AI-Act, (deutsch: KI-Verordnung) in Kraft und wird stufenweise Geltung erlangen. Die Verordnung listet in 113 Artikeln und 13 Anhängen 180 Erwägungsgründe und damit zahlreiche Pflichten auf. Bei Nichtbeachtung drohen Bußgelder bis zu 35 Millionen Euro oder 7 Prozent des Konzernumsatzes. Zum einen soll damit der KI-Boom gebändigt und in Schranken gewiesen werden. Zum anderen sollen Risiken die User:innen minimiert, Grundrechte geschützt und einheitliche Regeln in Europa gewährleistet werden. Darüber hinaus geht es darum, Vertrauen in KI-Systeme zu schaffen, indem diese sicherer und nachvollziehbarer werden.

Drei Klassen von KI-Anwendungen

Ferner unterscheidet der AI-Act / die KI-Verordnung drei Klassen von KI

  • Verbotene Praktiken: Social Scoring, das Ausnutzen von Schwächen, Predictive Policing, Datenbanken zur Gesichtserkennung für Überwachungszwecke, Emotionserkennung am Arbeitsplatz oder Biometrische Fernidentifizierung von Personen.
  • Hochrisiko-KI-Systeme: Produktbezogene KI wie Bauteile in Drohnen, Spielzeug, Aufzügen, Medizinprodukten u. a. sowie anwendungsbezogene KI z. B. zur Bewerberauswahl (durch Profiling), Sprachanalyse, Emotionserkennung, Kreditvergabe etc.
  • Sonstige KI-Systeme: Sie beinhalten entweder ein „Begrenztes Risiko“ z. B. bei Interaktion mit Menschen und führen damit zur Kennzeichnungs-, Informations- und Dokumentationspflicht oder ihnen wird nur ein „Minimales Risiko“ zugeschrieben wie beispielsweise einem SPAM-Filter, was mit keiner Pflicht verbunden ist. Als „General Purpose AI“ gelten Sprachmodelle. Neben der technischen Dokumentation ist für solche „KI mit allgemeinem Verwendungszweck“ Transparenz für die Betreiber und eine Information über die Art der Trainingsdaten erforderlich. Bei freier und quelloffener Lizenz sind für „Sonstige KI-Systeme“ keinerlei Pflichten definiert.

In seinem Impuls verwies Rechtsanwalt David Oberbeck zunächst auf die Unterscheidung Künstliche Intelligenz und Software: Software folgt festen Anweisungen, während KI im Einsatz dazu lernt und sich anpasst, um explizite Ziel zu erreichen. Dazu gehören Sprachmodelle, Sprachassistenten wie Siri oder Alexa und Maschinelles Lernen.

Bei KI müsse zwischen Betreibenden und Anbietenden unterschieden werden: Anbietende stellen die Systeme her und bringen sie auf den Markt. Für sie gelten rund 50 Pflichten und sie müssen transparent darlegen, wie die KI funktioniert. Betreibende sind KI-Nutzende oder Unternehmen, die KI verwenden. Sie müssen laut AI-Act weniger Pflichten (ca. 20) und Regeln einhalten.

Kennzeichnungspflicht bei Einsatz von KI

Bei der Verwendung von KI besteht Kennzeichnungspflicht bei 

  • interaktiven KI-Systemen wie es Chatbots, virtuellen Assistenten oder Avataren.
  • Deepfakes und KI-generierten Inhalten wie künstlich erzeugte Bilder, Videos, Stimmen oder Texte,
  • ebenso bei Emotionserkennung und biometrischer Kategorisierung.

Die Kennzeichnungspflicht entfällt, 

  • wenn der Einsatz von KI für informierte, aufmerksame Personen offensichtlich ist,
  • wenn die Inhalte menschlich überprüft oder einer redaktionellen Kontrolle unterworfen sind,
  • wenn es sich um künstlerische oder satirische Inhalte handelt und darauf am Anfang hingewiesen wird.  

Datenverarbeitung braucht Rechtsgrundlage

Auch die Verarbeitung von Daten (nicht nur, aber auch) im Zusammenhang mit KI stellt Touristiker:innen immer wieder vor neue Fragen und Herausforderungen. Prinzipiell gilt bei personenbezogenen Daten stets auch die DSGVO. Die Datenverarbeitung ist danach nur zulässig auf der Grundlage von Verträgen, Gesetzen, Einwilligungen oder bei „berechtigtem Interesse“ wie Auswertung von Kundendaten oder Videoüberwachung. 

  • Bei „berechtigtem Interesse“ müssen die Interessen der einen gegen die Interessen und Persönlichkeitsrechte der anderen Seite abgewogen werden.  
  • Bei Daten, die öffentlich zugänglich sind, ist das Risiko unbedenklich.  
  • Der Zweck der Datenverarbeitung hat Einfluss auf den Risikofaktor und die daraus resultierenden Pflichten bei Verwendung von KI.
  • Bei der Verwendung von KI zur Preiskalkulation ist die DSGVO unerheblich, aber nur sofern es sich nicht um personenbezogene Daten handelt.  
  • Beim Self-Check-in im Hotel handelt es sich um eine freiwillige Einwilligung des Gastes. Seine Daten dürfen ohne ausdrückliche Einwilligung aber nur temporär gespeichert werden. 

Touristiker:innen tragen darüber hinaus die Verantwortung, dass ihre Beschäftigten im Umgang mit KI-Systemen ausreichend geschult sind. Denn nur wenn die Funktionsweise und die rechtlichen Rahmenbedingungen von KI verstanden werden, lassen sich Fehlanwendungen und Haftungsrisiken vermeiden. Diese sogenannte KI-Compliance gilt bereits seit Februar 2025 und betrifft alle Organisationen, die KI einsetzen.