Algorithmische und auf Künstlicher Intelligenz (KI) beruhende Systeme haben Auswirkungen auf Menschen und auf Gesellschaften, die ethisch relevant sein können. Deswegen tragen diejenigen, die die Systeme einsetzen, eine besondere Verantwortung. Dieses Instrument zur Folgenabschätzung ist eine Methode, um Anwender*innen zu einem verantwortungsvollen Umgang mit algorithmischen Systemen zu befähigen.
Dieses Folgenabschätzungs-Tool Teil B besteht aus zwei Teilen:
- Triage: In einem ersten Schritt werden mittels der Triage-Checkliste die möglichen ethisch relevanten Auswirkungen bestimmt, die das algorithmische System mit sich bringt und die dokumentiert werden sollten. Damit stellen Sie fest, ob für das betreffende algorithmische System überhaupt ein Transparenzbericht verfasst werden muss und wenn ja, welche Fragen darin zu beantworten sind.
- Transparenzbericht: In einem zweiten Schritt beantworten Sie die Fragen, die mit Hilfe der Triage-Checkliste als relevant identifiziert wurden. Sie deklarieren, welche Ziele Sie mit der KI-Anwendung verfolgen und ob diese Ziele ethisch rechtfertigbar sind; welche ethisch relevanten Auswirkungen sie haben könnte; wie Sie dies messen; welche Massnahmen Sie ergreifen, um Ihre Ziele zu erreichen, und ob diese ethisch vertretbar sind. Die Zusammenstellung dieser Antworten ergibt einen Transparenzbericht, der intern sowie extern Transparenz schafft und dadurch Kontrolle und Rechenschaftspflicht ermöglicht.
Leitfaden für die Verwendung des Folgenabschätzungs-Tools:
→ Wann sollen wir das Tool ausfüllen? Wir empfehlen, so früh wie möglich – optimalerweise bereits bei der Planung des Projektes – damit zu beginnen, diesen Fragebogen zu beantworten, um einen aktiven Reflexionsprozess in Gang zu setzen. Ihre Antworten können Sie dann während der Umsetzung laufend überarbeiten und erst nach der Implementierung des Systems vollständig abschliessen. Dies stellt sicher, dass relevante Informationen in geeigneten Phasen gesammelt werden.
→ Wie beantworten wir die Fragen im Tool? Ihre Antworten sollten vollständig und auch für nicht im Projekt involvierte Stellen verständlich und nachvollziehbar sein. Ob Sie sich bei Checkliste 2 für stichwortartige Antworten oder Fliesstext entscheiden, ist Ihnen überlassen. Da Sie die Antworten während des Prozesses laufend überarbeiten können, ist es auch gut möglich, mit präzisen Stichworten zu beginnen und diese später auszuformulieren. Das Tool soll Ihnen helfen, dass Sie das entsprechende System verantwortungsvoll anwenden – entsprechend liegt es an Ihnen, sicherzustellen, dass der resultierende Transparenzbericht dieser Funktion gerecht wird.
→ Wem zeigen wir den daraus resultierenden Transparenzbericht? Um eine verantwortungsvolle Nutzung sicherzustellen, empfehlen wir, den Transparenzbericht gegenüber relevanten Stellen transparent zu machen. Dies erfüllt zwei Funktionen: Erstens wird Ihr eigener Anspruch an die Antworten im Transparenzbericht erhöht. Zweitens ermöglicht Transparenz den relevanten Stellen Aufsichts- und Kontrollmöglichkeiten, was wesentliche Elemente einer verantwortungsvollen Nutzung sind.
→ Wie gehen wir mit ethischen Herausforderungen um? Falls Sie als verantwortliche Anwender*innen nicht in der Lage oder bereit sind, die festgestellten ethischen Probleme angemessen zu lösen, sollten sie den Einsatz des spezifischen algorithmischen Systems neu bewerten oder zusätzliche Ressourcen bereitstellen, um Lösungen für die ethischen Herausforderungen zu finden.
→ Wann müssen wir die Anwendung neu bewerten? Wenn nach der Implementierung wesentliche Änderungen am System oder an Ihren internen Prozessen vorgenommen werden, ist eine erneute Beantwortung der Checklisten erforderlich, um sicherzustellen, dass die ursprünglichen Einschätzungen weiterhin gültig bleiben.
→ Garantiert uns das Tool auch rechtliche Compliance und macht es den Aufbau von KI-Expertise hinfällig? Beim vorliegenden Tool handelt es sich nicht um einen rechtlichen Compliance-Checker und es ersetzt nicht die wichtige Aufgabe, dass Sie als Anwender*in die Einhaltung rechtlicher Anforderungen sicherstellen müssen. Das Tool macht zudem nicht die diversen anderen Aspekte (z.B. Expertise, Ressourcen, Schulungen) hinfällig, die es für eine verantwortungsvolle Nutzung von algorithmischen Systemen braucht.
→ Können wir das Tool frei nutzen? AlgorithmWatch stellt dieses Impact Assessment Tool zur freien Nutzung zur Verfügung. Wenn Sie sich dabei begleiten lassen möchten oder Fragen haben, wenden Sie sich an info@algorithmwatch.ch (Schweiz) oder info@algorithmwatch.org (Deutschland). Andernfalls freuen wir uns auch über Unterstützung in Form von Spenden – an AlgorithmWatch CH (Schweiz) oder AlgorithmWatch (Deutschland).
→ Ist das Tool auch noch in anderen Sprachen verfügbar? Ja, das Tool ist auch in Englisch verfügbar.
Leitfaden: Geben Sie hier eine kurze Einführung in das algorithmische System, einschliesslich seiner Bezeichnung, seiner technischen Funktionsweise und einer allgemeinen Übersicht. Dies sollte ein klares und prägnantes Bild davon vermitteln, worum es bei dem System geht und wie es auf technischer Ebene funktioniert. Versuchen Sie aber, sich kurz zu halten, um die wesentlichen Punkte darzustellen. Eine Beantwortung mittels Bullet Points oder Stichworten ist möglich.
Empfohlener Gegencheck mit: Projektteam
Lassen Sie Ihren Antwortentwurf gegebenenfalls vom Projektteam prüfen, um sicherzustellen, dass alle relevanten Perspektiven vorhanden sind.
Leitfaden: Definieren Sie das spezifische Problem oder die Herausforderung, das Sie mit dem algorithmischen System zu lösen beabsichtigen. Die Beschreibung sollte detailliert genug sein, um ein Verständnis des Arbeitsgebiets und des Kontexts zu vermitteln, in dem das System betrieben werden soll.
Empfohlener Gegencheck mit: Projektteam
Lassen Sie Ihren Antwortentwurf gegebenenfalls vom Projektteam prüfen, um sicherzustellen, dass alle relevanten Perspektiven vorhanden sind.
Leitfaden: Beschreiben Sie hier den beabsichtigten Zweck des algorithmischen Systems und die Ergebnisse, die Sie mit dem System erreichen möchten. Seien Sie hier möglichst präzise, kurz und bündig, denn es ist wichtig, diese Ziele explizit zu formulieren und genau anzugeben, welche Ergebnisse das System hervorbringen soll (dazu können etwa Effizienz- oder Leistungsverbesserungen, Entscheidungsunterstützung, Automatisierung von Aufgaben, Kostensenkung, Personalzufriedenheit, Qualitätssicherung, usw. gehören). Wenn es mehrere Ziele sind, können Sie auch eine Aufzählungsliste verwenden.
Empfohlener Gegencheck mit: Projektteam
Wenn diese Ziele nicht schon explizit formuliert vorliegen, kann es sinnvoll sein, zur Beantwortung dieser Frage nochmals mit dem Projektteam zusammenzukommen, um sich auf die explizite Formulierung der Ziele zu einigen.
Leitfaden: Erläutern Sie bei dieser Frage, welche rechtlichen und nicht-rechtlichen Richtlinien oder Vorgaben auf das System und seine hier formulierten Ziele anwendbar sind. Dabei kann es sich um unverbindliche interne Guidelines, interne Prozessvorgaben, externe Guidelines oder rechtliche Vorgaben handeln.
Empfohlener Gegencheck mit: relevanten internen Expert*innen
Konsultieren Sie interne Expert*innen (z.B. Controlling, Rechtsabteilung, die entsprechende thematisch zuständige Abteilung, etc.), um diese Frage zu beantworten. Halten Sie sich kurz – eine Beantwortung mittels Stichworten und Aufzählung reicht.
Leitfaden: Beschreiben Sie kurz und bündig, welche personenbezogenen Daten verarbeitet werden, welche Abklärungen hinsichtlich Datenschutz Sie unternommen haben und welche allgemeinen Datenschutzziele und -standards Sie verfolgen.
Wie definieren und schützen Sie die Privatsphäre von vom algorithmischen System betroffenen Personen? Erklären Sie, welche Aspekte der Privatsphäre betroffen sind und beachten Sie verschiedene Arten von Risiken für die Privatsphäre (z.B. Einzelpersonen können neue über sie produzierte Informationen schlechter kontrollieren; vertrauliche Informationen über Einzelpersonen könnten der Öffentlichkeit oder unerwünschten Parteien preisgegeben werden; es könnten zu viele Verbindungen zwischen Lebensbereichen entstehen, die die Menschen lieber voneinander getrennt halten möchten (z. B. Sport, Gesundheit, Familie, Freundschaft, Beruf, Politik, Religion, Wohltätigkeitsarbeit usw.). Erklären Sie dann, wie Ihre Überlegungen zur Privatsphäre die Entscheidung beeinflusst haben, das algorithmische System für bestimmte Zwecke zu verwenden bzw. nicht zu verwenden oder bestimmte Inputdaten auszuklammern.
Bitte gehen Sie bei dieser Frage speziell auf die in Checkliste 1 – Frage 1.1 genannten Themen ein.
Empfohlener Gegencheck mit: Datenschutzverantwortlichen
Um diese Frage zu beantworten, müssen Sie sich gegebenenfalls an die für Datenschutz verantwortliche Stelle Ihrer Organisation wenden bzw. Ihren Antwortentwurf von dieser prüfen lassen.
Leitfaden: Bitte gehen Sie bei dieser Frage speziell auf die in Checkliste 1 – Frage 1.2 genannten Themen ein. Beschreiben Sie, welche Cybersicherheitsrisiken bestehen (Haben böswillige Akteure ein besonders grosses Interesse, das algorithmische System zu hacken? Könnten sie damit einen erheblichen finanziellen Gewinn erzielen – auch durch Erpressung? Oder kann ein gehacktes System genutzt werden, um politische Ziele zu erreichen?). Beschreiben Sie die spezifischen Anforderungen im Cybersicherheitsbereich, die Sie haben, sofern relevant.
Empfohlener Gegencheck mit: Cybersicherheitsverantwortlichen
Um diese Frage zu beantworten, müssen Sie sich gegebenenfalls an die für Cybersicherheit verantwortlichen Stellen Ihrer Organisation wenden bzw. Ihren Antwortentwurf von diesen prüfen lassen.
Leitfaden: Bitte erklären Sie, was Sie als faire Behandlung von Personen, die vom System betroffen sind, erachten. Gehen Sie dann darauf ein, ob und wie Ihr System unfaire Auswirkungen auf verschiedene Gruppen oder Personen haben und/oder auf unfaire Weise in Ihre Grundrechte eingreifen könnte.
Beachten Sie ausserdem ggf. die in Checkliste 1 – Fragen 1.14 bis 1.15 erwähnten Themen (Statistisches Proxy-Risiko: Werden Vorhersagen auf der Grundlage menschlicher Verhaltensmerkmale oder persönlicher Merkmale getroffen?; Risiko der strukturellen Ungleichmässigkeit: Lernt das System kontinuierlich und passt seine Reaktionen auf der Grundlage neuer Erkenntnisse und Interaktionen während der Nutzung an oder ist es möglich, dass es unterschiedliche Entscheidungen für zwei Fälle trifft, die sich nur im Zeitpunkt der Entscheidung unterscheiden?).
Antworten Sie hier kurz und präzise.
Empfohlener Gegencheck mit: Ethikverantwortlichen
Um diese Frage zu beantworten, müssen Sie sich gegebenenfalls Unterstützung holen bei Personen, die für die Fairness des Systems verantwortlich sind (und die das entsprechende technische, ethische und rechtliche Verständnis haben, um die Frage zu beurteilen) bzw. Ihren Antwortentwurf von diesen prüfen lassen.
Leitfaden: Beschreiben Sie bei dieser Frage die Anforderungen, die Erklärungen erfüllen müssen, die die Ergebnisse des Systems erklären. Was sind die Inputs und Outputs von Vorhersagen oder Entscheidungen und von wem wird erwartet, sie zu verstehen? Warum ist Erklärbarkeit in diesem Zusammenhang wichtig? Wer muss was und zu welchem Zweck verstehen? Wer sollte in der Lage sein, Fehler von gültigen Outputs zu unterscheiden, um die Vertrauenswürdigkeit zu gewährleisten? Welche Art von Erklärungen wären wichtig? Kann der Output verwendet werden, auch wenn der Grund für den Output nur unzureichend verstanden wird? Bitte gehen Sie speziell auf die in Checkliste 1 – Fragen 1.17 und 1.18 genannten Themen ein
(Komplexitätsrisiko; Anzweiflungsrisiko).
Versuchen Sie, sich kurz zu halten.
Empfohlener Gegencheck mit: Projektteam
Falls Sie unsicher sind, überlegen Sie, wer Ihnen bei der Beantwortung helfen könnte und fragen Sie gegebenenfalls im Projektteam nach.
Leitfaden: Erklären Sie, wie Sie Outputs generativer KI als KI-generierte Inhalte erkennbar machen. Bewerten Sie den aktuellen Kenntnisstand bzgl. generativen Algorithmen/KI (u.a. die Aktualität und die Qualität von bereitgestellten Schulungsmaterialien zu diesem Thema, die langfristigen Pläne für die Einführung generativer KI, die Einbindung von Expert*innen, die Strukturen zur Erkennung und Beseitigung von Fehlern und die Nutzungsrichtlinien, etc.).
Empfohlener Gegencheck mit: Projektteam
Lassen Sie Ihren Antwortentwurf gegebenfalls von Personen des Projektteams prüfen, die mit diesen Themen betraut sind.
Leitfaden: Beziehen Sie sich bei dieser Frage auf Ihre Antworten bei Checkliste 1 – Fragen 1.5 und 1.10. Erläutern Sie, wie sich das algorithmische System auf die relevanten Bereiche des Lebens von Menschen auswirkt. Versuchen Sie, sich trotz des komplexen Themas kurz und präzise zu halten.
Sie müssen diesen Abschnitt auch ausfüllen, wenn das System Entscheidungen über Personen „von besonderer Tragweite“ trifft (in dem Sinne, dass alle Antworten auf die Fragen 1.6, 1.7, 1.8 und 1.9 verneint wurden. Bitte erläutern Sie in diesem Fall, warum keine der dort genannten wirkungsmindernden Strategien (1.6, 1.7, 1.8 oder 1.9) umsetzbar ist).
Empfohlener Gegencheck mit: Expert*innen für Ethik und Recht
Um diese Frage zu beantworten, lassen Sie sich von Personen Ihrer Organisation beraten, die das entsprechende ethische und rechtliche Verständnis haben.
Leitfaden:
Haben Sie sich Ziele gesetzt und/oder Richtlinien und Anforderungen definiert bezüglich der Umweltverträglichkeit des Systems? Haben Sie die Absicht, die Umweltverträglichkeit des Systems bezüglich folgender Aspekte zu messen – und wenn ja, wie?
- 1. Energieverbrauch (während der Entwicklung und Anwendung des algorithmischen Systems)
- 2. CO2- und weitere Treibhausgasemissionen
- 3. Indirekter Ressourcenverbrauch (z.B. Produktion und Entsorgung)
Weitere Informationen und Guidelines zur Umweltverträglichkeit von KI-Systemen: Schritt für Schritt zu einer nachhaltigen KI
Selbstbewertungstool zur Nachhaltigkeit von KI-Systemen: SustAIn-Bewertungstool
Empfohlener Gegencheck mit:
Nachhaltigkeitsverantwortlichen. Um diese Fragen zu beantworten, lassen Sie sich von den entsprechenden Stellen Ihrer Organisation beraten, die an der Schnittstelle von IT und ökologischer Nachhaltigkeit arbeiten.
