Schattenblick → INFOPOOL → POLITIK → MEINUNGEN


STANDPUNKT/860: Angriff der Algorithmen - Wie das Scoring die Solidarität untergräbt (NG/FH)


Neue Gesellschaft/Frankfurter Hefte Nr. 4/2019

Angriff der Algorithmen
Wie das Scoring die Solidarität untergräbt

von Kirsten Bock und Aleksandra Sowa


Sollte man Wirtschaftsauskunfteien wie Equifax und Schufa abschaffen? Wenn eine einzelne Person ohne Risikobewertung oder durch eine schlechte mehr für eine Dienstleistung, ein Girokonto oder eine Ware bezahlen muss, dann erscheint ein auf viele Schultern verteilter Aufpreis für alle gerechter, als die Vernichtung ganzer Existenzen aufgrund eines schlechten Scorewerts. Und den sozialdemokratischen Solidaritätsprinzipien entspricht es ja durchaus, dass die Reichen etwas an die Armen abgeben und so die Risiken verteilt werden.

Solidarität ist einer der Grundwerte der sozialen Demokratie. Neben Freiheit und Gleichheit ist Brüderlichkeit einer der Begriffe, aus denen sich seit der Französischen Revolution die Grundwerte moderner, demokratischer Gesellschaften herleiten. "Liberté und Egalité konnten mit Freiheit und Gleichheit ohne weiteres übersetzt werden", schreibt Ulrich Wickert in Die Zeichen unserer Zeit. Fraternité wurde erst im 19. Jahrhundert als "Brüderlichkeit" eingedeutscht. "In Freiheit finden sich Überbegriffe wie Toleranz, Sicherheit und Verantwortung. Gleichheit hat sich in Gerechtigkeit verwandelt, während Brüderlichkeit heute als Solidarität bezeichnet wird". Und es ist die Solidarität, die heute beispielsweise bei Versicherungen Nichtwissen in Bezug auf individuelle Risiken voraussetze, sagte Ulf Buermeyer, Vorsitzender der Gesellschaft für Freiheitsrechte auf einer Konferenz der Friedrich-Ebert-Stiftung in Berlin. Damit das gelingt, müssten die Auskunfteien, die für alle Bürger einen individuellen Scorewert berechnen, abgeschafft oder besser reguliert werden.

Neu sind nicht die Auskunfteien oder Scoringsysteme selbst. Das Kreditscoring in den USA beispielsweise geht auf das 19. Jahrhundert zurück. Neu sind die Dimensionen und die Möglichkeiten, die Technologie, konkrete Algorithmen und die Auswertungsmöglichkeiten großer Datenmengen. Verbraucherrelevante Entscheidungen durch sogenannte algorithmische Entscheidungsverfahren (ADM: algorithmic decision making) werden immer häufiger in der Öffentlichkeit diskutiert und stehen zu Recht in der Kritik, wenn Entscheidungen etwa über einen Arbeitsplatz oder Kredit nicht von Menschen sondern von Maschinen vorgegeben oder gar eigenständig getroffen werden. Dabei soll die Suggestion von Preisnachlässen darüber hinwegtäuschen, dass scoringbasierte Preisstaffelung die hierarchische Gesellschaft stützt.

Das Kreditscoring - die Bewertung der Kreditwürdigkeit von Personen - betrifft heute längst nicht mehr nur Großkredite für ein Haus oder einen Pkw. Vom Verbraucherscoring sind mittlerweile alle betroffen. Der Scorewert trifft eine Aussage über die Eintrittswahrscheinlichkeit eines erwünschten oder unerwünschten Verhaltens, das aus dem bisherigen Verhalten oder anhand anderer, oft intransparenter Indikatoren und Kriterien, die von den Unternehmen als "Geschäftsgeheimnisse" gehütet werden, ermittelt wird.

Intransparente Methoden

Die Frage, wer die Schufa-Algorithmen überprüfe und für die Qualität der Daten sorge, stellte die Beobachtungsplattform AlgorithmWatch, als sie das Projekt "Open-Schufa" etablierte. Sie rief zu Datenspenden auf, um mittels "Reverse Engineering" Rückschlüsse auf die Arbeitsweise des Unternehmens ziehen zu können. Die Schufa verwies sogleich darauf, dass sie "als einzige Auskunftei ihr Verfahren zur Scoreberechnung bereits 2010 gegenüber den Datenschutzbehörden des Bundes und der Länder offengelegt" habe. Es sei wissenschaftlich überprüft und aussagekräftig. In einer Pressemitteilung wehrte sie sich gegen das Projekt: "Wer die Berechnungsmethode (...) der Allgemeinheit gegenüber offenlegen will, leistet Vorschub für Betrug, Missbrauch und die Abwanderung von Know-how aus Deutschland". Außerdem sei die Schufa "der Auffassung, dass es nicht ihre Aufgabe ist, für die Richtigkeit der Daten zu sorgen", teilte OpenSchufa mit. Ohne aber eine Offenlegung der zugrundeliegenden Kriterien, zumindest gegenüber einer unabhängigen Prüfinstanz, und der Durchführung von aussagekräftigen Tests, ist ein Ausschluss diskriminierender, fehlerhafter oder unrichtiger Ergebnisse und eine Kontrolle nicht möglich.

Im Sommer 2018 begann Facebook, die Vertrauenswürdigkeit der Nutzerinnen und Nutzer zu bewerten und sie in einer Skala von Null bis Neun abzubilden. Dieser trustworthiness score sollte, neben anderen nicht näher bezeichneten Indikatoren, ein Instrument des Risikomanagements des Konzerns darstellen, der, nach den Vorwürfen der Verbreitung von Fake News und politischer Propaganda im US-Präsidentschaftswahlkampf, nach neuen Methoden und Algorithmen sucht, um dem Informationskrieg zu begegnen. Mit dem Scoring zur Vertrauenswürdigkeit möchte man nicht nur die "bösen Buben" identifizieren, die Fake News verbreiten, sondern auch solche, die das Facebook-Anzeigesystem missbrauchen und Nachrichten, deren Inhalte ihren persönlichen Überzeugungen nicht entsprechen, im Übrigen aber korrekt sind, als Fake News melden.

Wie der Facebook-Score berechnet wird und welche anderen Indikatoren bei der Vertrauenswürdigkeitsmessung hinzugezogen werden, ist intransparent. Das ist für Forscher sowie Nutzer ein wenig unkomfortabel, doch es sei eine notwendige Maßnahme, damit das System nicht ausgetrickst werden kann, so die Begründung von Seiten Facebooks (Washington Post 21.8.2018). In anderen Fällen begründen Unternehmen, die traditionelles Kreditscoring anbieten, die Unmöglichkeit, Entscheidungswege oder Algorithmen offenzulegen, mit dem Verweis auf das intellektuelle Recht des Unternehmens. Dem widerspricht Paul Nemitz, Chefberater bei der Europäischen Kommission: Immer, wenn personenbezogene Daten betroffen sind, ist die Datenschutzgrundverordnung (DSGVO) anwendbar. Das soziale Netzwerk Facebook alleine soll ca. drei Trillionen Verhaltensprognosen täglich erstellen. Da Verhaltensprognosen personenbezogene Daten sind, sei auch hier die DSGVO anwendbar, so Nemitz. Folglich sei auch das Recht der Betroffenen auf Auskunft und Information gemäß Art. 13 bis 15 DSGVO gemeint. Damit haben Betroffene nicht nur ein Recht darauf, "aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung für die betroffene Person" zu erlangen, sondern Facebook ist verpflichtet, seine Nutzer unaufgefordert darüber zu informieren.

Bewertung, Überwachung, Manipulation

Die neuste Dimension ist das in China konzipierte "Social Scoring", das Informationen über die Bevölkerung aus verschiedenen privaten und öffentlichen Quellen zu einem Superscore verbindet. Die originäre Frage des Kreditscorings, ob Kunden kreditwürdig sind, wird nun zur Frage erweitert: Sind die Bürger sozial angepasst oder auffällig? Um diese Frage zu beantworten, werden exorbitante Mengen persönlicher Daten der Bevölkerung ausgewertet, um den Konsumenten in ihrem Sinne "gut" zu machen, schreibt Josh Lauer in seinem Buch Creditworthy. Diese Form der Prägung und Lenkung (nudging) macht es den Bürgern beständig schwerer, freie Entscheidungen zu treffen. Der permanente Drang nach Optimierung und Gewinnmaximierung befördert den Einsatz von Bewertungssystemen, die sich rapide in unkontrollierte und intransparente Instrumente der Massenüberwachung, der sozialen und Arbeitskontrolle bis hin zur Manipulation von Entscheidungen verwandeln.

Bisweilen ist es erstaunlich, wie wenig man über die Scoring-Unternehmen, die zu den mächtigsten Überwachungsinstitutionen in den westlichen Demokratien herangewachsen sind, weiß. Bis weit in die 60er Jahre arbeiteten die Kreditscoring-Firmen in "quiet obscurity" (Josh Lauer). Mit den Debatten um Datenschutz und Überwachung rücken sie erst jetzt langsam in das Licht der Öffentlichkeit. Angesichts der Ausmaße zunehmender Überwachung, fehlender wissenschaftlicher Untersuchungen, mangelnder Regulierung und Intransparenz, stellt sich immer mehr die Frage, ob man Scoringsysteme insgesamt nicht einfach verbieten sollte. Und tatsächlich: Die DSGVO enthält ein Verbot automatisierter Entscheidungen (Art. 22). Dürfte es demnach Kreditscoring-Unternehmen wie Schufa oder Infoscore gar nicht mehr geben? Weit gefehlt. Das Verbot bezieht sich nur auf vollautomatisierte Entscheidungen, die in der Praxis bislang nur selten vorkommen. Und es gilt dann nicht, wenn die Entscheidung für einen Vertragsabschluss erforderlich ist oder Betroffene eingewilligt haben. Aber auch die Auswirkungen von teilautomatisierten Entscheidungen sind nicht minder bedenkenswert. Denn Personen, die eine automatisierte Entscheidung überprüfen sollen, ändern diese nur selten. Hinzu kommen zahlreiche Ausnahmen, die viel Spielraum zulassen. Die Fachgruppe Rechtsinformatik der Gesellschaft für Informatik beschreibt Art. 22 DSGVO in einem Gutachten im Auftrag des Sachverständigenrats für Verbraucherfragen demnach lediglich als ein "stumpfes Schwert".

Sollen Automationen und künstliche Intelligenz künftig das Leben der Menschen erleichtern, gilt es jetzt, die Kontrollfähigkeit der Systeme gesetzlich vorzuschreiben und sicherzustellen. An einem Modell trainierte Algorithmen treffen auf der Basis der ihnen zur Verfügung stehenden Informationen Entscheidungen, die sie im Laufe ihres Einsatzes selbstständig verbessern. Wenn diese Verfahren Entscheidungen im Umgang mit Menschen treffen, dann sollten sie auch nachvollziehbar und kontrollierbar sein, um sicherzustellen, dass sie nicht fehlerhaft sind. Dies wäre dann der Fall, wenn sie inhaltlich falsch sind oder zu einer Verstärkung des Ungleichgewichts zwischen den Anwendern und den Betroffenen führen. Eine Asymmetrie kann sich aus dem Einsatz von Algorithmen selbst ergeben, weil die Betroffenen weder nachvollziehen noch kontrollieren können, warum eine Entscheidung getroffen wurde oder weil der zugrundeliegende Entscheidungsalgorithmus selbst diskriminiert. Die Betroffenen sollten nicht sich selbst überlassen werden - die Politik muss beteiligt sein.

Für einen fairen und sozialverträglichen Einsatz solcher Systeme reicht die Transparenz als notwendige Bedingung der Prüffähigkeit für sich genommen nicht. Wer beispielsweise von A nach B reisen muss, dem nützt es nicht zu wissen, auf welcher Grundlage der angebotene Preis zustande gekommen ist. Der Ausgleich der Machtasymmetrie zwischen der Organisation und den von der Anwendung betroffenen Nutzern erfordert Vorgaben an die Ausgestaltung der Systeme - und zwar von Anfang an. Genauer: an die zugrundeliegenden Algorithmen, die Auswahl der Daten mit denen sie arbeiten und mit denen sie lernen sowie dem Lernverfahren selbst. "Wer die Daten hat, dem gehört die Zukunft", schreibt Yuval Noah Harari in seinem Buch 21 Lektionen für das 21. Jahrhundert. Ohne gezielte Kontrolle und Regulierung werde sich allein dadurch die soziale Ungleichheit weiter verstärken. Mit mehr Transparenz wird sie nicht aufzuhalten sein. Eine gezielte Steuerung dagegen kann das Auseinanderdriften der Gesellschaft verhindern, Risiken auf die Schultern von Vielen verteilen und die ungleichen Machtbeziehungen beseitigen.

"Wir sollten also, statt die Technologie als Ursache des Übels zu verdammen, nicht in ihre Apologie verfallen, sondern ganz einfach begreifen, dass die präregulative Ära zu Ende geht", schrieb der Futurologe Stanislaw Lem in Summa Technologiae. Auch die Algorithmen sollten als eine Chance gesehen werden: Sie spielen eine wesentliche Rolle für das Verständnis, wie in den demokratischen Gesellschaften diskriminiert wird. Sie machen die zuvor vermuteten Machtasymmetrien offensichtlich und nachweisbar.

Kriterien für die Programmierung von Algorithmen können so eine Chance bieten, das Leben der Menschen und ihre Umgebung zu verbessern. "In vielen ADM-Systemen können Entscheidungsstrukturen transparent und nachvollziehbar dargestellt werden", stellten die Autoren der Studie "Technische und rechtliche Betrachtungen algorithmischer Entscheidungsverfahren" fest. Dem die Öffentlichkeit beherrschenden Bild der unerklärbaren und nicht nachvollziehbaren Entscheidungen zum Trotz, haben sie zwei zentrale Methoden identifiziert, die die Transparenz algorithmischer Entscheidungen "signifikant erhöhen": Tests und Audits. Damit diese effektiv eingesetzt werden können, fehlen noch geeignete Standards, die den Bewertungen und Prüfungen zugrunde gelegt werden können. Hierfür müssten zunächst quantifizierbare Fairness- und Gleichbehandlungskriterien definiert werden. Zusätzlich wäre die Legitimation dieser Methoden durch den Gesetzgeber und eine wissenschaftliche Begleitung notwendig.

Für selbstlernende Algorithmen ist es außerdem wichtig festzulegen, wie das Lernverfahren kontrolliert werden kann. Beispielsweise mittels Kontrollgremien, die die Einhaltung von Mindestanforderungen überwachen. Dazu ist es notwendig, den Mut zu haben, bestimmte Verwendungen zu regulieren. Oder gar zu verbieten. "Überhaupt sollten wir lieber darüber reden, welche technologische Entwicklungen es nie geben wird", empfahl Lem, und hatte dabei nicht nur Zeitreisen im Sinn.

Kirsten Bock ist Datenschutzjuristin und Mitglied der Ländervertretungen Deutschlands in Arbeitsgruppen des europäischen Datenschutzausschusses (EDSA).

Aleksandra Sowa ist IT-Compliance Managerin, Datenschutzbeauftragte und -auditorin. 2017 erschien: Digital Politics: So verändert das Netz die Demokratie.

*

Quelle:
Neue Gesellschaft/Frankfurter Hefte Nr. 4/2019, S. 40 - 44
Herausgegeben für die Friedrich-Ebert-Stiftung von Kurt Beck,
Jürgen Kocka, Thomas Meyer, Bascha Mika, Andrea Nahles,
Angelica Schwall-Düren und Wolfgang Thierse
Redaktion: c/o Friedrich-Ebert-Stiftung
Hiroshimastraße 17, 10785 Berlin
Telefon: 030/26 935-7151, -52, -53, Telefax: 030/26935 9238
Internet: www.ng-fh.de, E-Mail: ng-fh@fes.de
 
Die NG/FH erscheint zehnmal im Jahr (Hefte 1+2 und 7+8 als Doppelheft)
Einzelheft: 5,50 Euro zzgl. Versand
Doppelheft: 10,80 Euro zzgl. Versand
Jahresabonnement: 50,60 Euro frei Haus


veröffentlicht im Schattenblick zum 10. Mai 2019

Zur Tagesausgabe / Zum Seitenanfang