chrismon: Haben Sie heute einen Algorithmus genutzt?

Lorena Jaume-Palasí: Natürlich! Algorithmen gibt es überall. Ich habe in unser Rezeptbuch geschaut, weil wir backen wollen. Dieses Buch ist voller Algorithmen.

Ah, Sie waren auf chefkoch.de?

Jaume-Palasí: Nein, ich backe nach einem vergilbten Buch mit spanischen Familienrezepten. Man kann sich Algorithmen wie Rezepte vorstellen: Sie bestehen aus Vor­gaben, die schrittweise ausgeführt werden und zu einem bestimmten Ergebnis führen. Wer einen Kuchen backt, muss das Mehl sieben und glatt streichen, dann Eier dazu geben, Sahne unterheben. Jeder Schritt ist definiert. Die Vorgabe muss genau sein, sonst wird der Kuchen nichts. Wenn man dem Algorithmus nicht sagt: "Du musst die Eier erst aufbrechen und nur Eiweiß und Eigelb zum Mehl geben", dann wirft er das ganze Ei ins Mehl, mit Schale.

Klaus Tanner: Verschleiert Ihr Kochbuchvergleich nicht etwas? Rezepte kann ich nachschlagen, die Mehrzahl der Algorithmen kann ich aber gar nicht durchschauen.

Jaume-Palasí: Klar, Algorithmen als Software sprechen eine mathematische Sprache. Aber auch diese Sprache ist voller Annahmen über die Welt. Kuchenrezepte unter­liegen kulturellen Einflüssen, spanische Kekse sind ­anders als deutsche. Und wie jede Fachsprache verschleiern Algorithmen auch Dinge.
Tanner: Mathematische Fachsprachen sind faszinierend, weil sie eine hohe Vergleichbarkeit garantieren. Aber wer macht die Algorithmen? Und wer bestimmt, mit ­welchen Daten sie arbeiten? Es sind ja immer Menschen, die ­programmieren. Sie arbeiten in großen Firmen, die ihre eigenen Interessen haben. Das ist kein neutrales Medium. Das ganze Internet ist getrieben von Kapitalinteressen.

Felix Adler

Lorena Jaume-Palasí

Lorena Jaume-­Palasí, 43, forscht zu Technologie und ­ Ethik. Sie berät ­EU-Parlament, ­EU-Kommission, die spanische Regierung und ist seit 2017 in ­Spanien im Nationalen Rat für künstliche ­Intelligenz. Sie ist ­Gründerin von ­ The Ethical Tech ­Society, die öffent­liches Interesse für technologische Infrastrukturen schaffen will. Als Mitbegründerin von Algorithm Watch bekam sie 2018 die Theodor-­Heuss-Medaille. Jaume-Palasí lebt in einem Dorf in Brandenburg.

Felix Adler

Prof. Dr. Klaus Tanner

Klaus Tanner, 68, ist emeritierter Professor für ­Systematische Theo­logie und Ethik in Heidel­berg (zuvor TU Dresden und Uni ­Halle). Er befasst sich mit der kulturellen ­Wirkung von Religion, ist Mitglied der ­Leopoldina und ­arbeitet zu ethischen Herausforderungen und sozialen Konfliktpotenzialen moderner Biotechnologie und ­Digitalisierung. Er leitete die Forschungsstätte Evangelische Studien- gemeinschaft. Tanner lebt in einem Dorf in Sachsen- Anhalt.

Was interessiert Sie als Theologe an mathematischen Fachsprachen?

Tanner: Über Zeichen und ihre Bedeutung nachzudenken, ist ein theologisches Kernthema. Theologie ist auch eine Mediengeschichte. Die Flugblätter der Reformationszeit waren ein neues Medium; ohne Buchdruck keine Reformation.

Was ist fairer: Wenn ein Kredit nach Sympathie ver­geben wird oder wenn ein Algorithmus prüft, ob Kunden kreditwürdig sind?

Tanner: In Nordamerika waren Beziehungen entscheidend für die Entstehung des Kapitalismus. Im Treck nach Westen bekamen diejenigen Kredite, die zu ihrer Gruppe hielten. Ein Bewertungssystem bietet die Chance zu mehr Fairness. Aber das Problem fängt schon bei der Sprache an: "künstliche Intelligenz". Intelligent im Sinne der Aufklärung ist dort nichts. Man kann die Frage auch auf die Medizin beziehen: Reicht es, wenn der Computer ein ­Datenblatt mit Diagnose und Therapie ausdruckt? Oder soll eine Ärztin ihr Urteil fällen, mit Blick auf die Lebenssituation des Menschen? Ich wette, alle wollen zur Ärztin, keiner zum Computer. So ist das auch beim Kredit.

"Bei Algorithmen geht es nicht um die Besonderheiten eines Menschen." - Lorena Jaume-Palasí

Jaume-Palasí: Bei Algorithmen geht es nicht um die Besonderheiten eines Menschen, sondern um statistische Annahmen über das Profil dieser Person. Da werden auch ganz blöde Fragen einprogrammiert, zum Beispiel: Wie viele Stockwerke und Aufzüge hat das Haus, in dem der Antragsteller lebt? Dahinter steht der Gedanke: Je mehr Stockwerke, desto geringer die Kreditwürdigkeit. In den USA helfen solche Systeme Richtern bei der Entscheidung, ob jemand auf Bewährung kommt oder nicht. Die Systeme basieren nur darauf, wie andere Richter über Menschen mit vergleichbarem Profil entschieden haben. Es geht nicht um die Person, die da vor dem Richter sitzt.

Tanner: Individualität lässt sich eben nicht als statistischer Durchschnitt definieren.

Jaume-Palasí: Richtig. Aber dem Programm geht es nicht um Individualität. Und am Ende gibt die Kreditvergabe­politik der Bank den Ausschlag, nicht das Programm.

Jemand beauftragt eine Entwicklerin, einen Algorithmus zu schreiben, Informatiker machen daraus Software, die wieder andere mit Daten füttern. Wer ist da verantwortlich, wenn etwas mit dem Algorithmus schiefläuft?

Jaume-Palasí: Es ist viel komplexer. Einen Algorithmus zu bauen, ist teuer, das verlangt höhere Ingenieurskunst. Nicht alle können sich eine Algorithmikerin leisten. Also kauft man fertige Algorithmen, die über Jahre mit konkreten Fragestellungen trainiert wurden, womöglich jeder Algorithmus in einem anderen Land. Die Systeme sind davon geprägt, auch wenn man sie mit Daten aus Deutschland neu trainiert – was auch komplex ist und lange dauert.

Tanner: Aber wer ist verantwortlich? Entweder die Arbeit wird von außen reguliert, da passiert viel auf der EU-­Ebene, auch aktuell. Das andere sind die Ingenieure selbst. An der TU Dresden ist eine ganze philosophische Fakultät einge­richtet worden; schon in Preußen hieß es: Ingenieure müssen auch etwas von diesen anderen Welten verstehen, von ­Literaturwissenschaft, Philosophie, Theologie. Man kann das nicht nur von außen regulieren. Diejenigen, die es ­machen, müssen ein Bewusstsein haben für das, was sie tun.

Jaume-Palasí: Wir müssen auch überlegen, ob wir ­alles digitalisieren wollen, was möglich ist. Viele Prozesse ­brauchen unfassbar viel Energie. Man muss ständig neue Hardware kaufen. Das bedeutet: Seltene Rohstoffe ­ausfindig machen und Abfälle entsorgen, die dann in der Mongolei in irgendeinem See landen. Und man schafft Abhängigkeiten. Als Facebook sechs Stunden außer Gefecht gesetzt wurde, machten viele Unternehmen Verluste.

"Eine Handvoll großer Megakonzerne ist weit vorgeprescht." - Klaus Tanner

Noch einmal: Wenn ein Staat künstliche Intelligenz in Auftrag gibt, die Terroristen anhand von Bewegungs­mustern identifizieren soll, und dann kommt ein Unbe­teilig­ter ums Leben – wer ist dann schuld an diesem Tod?

Tanner: Je länger die Handlungskette, desto mehr diffundiert Verantwortung. Das ist nicht neu. Als die ­Raumfähre Challenger 1986 explodierte, gab es eine jahrelange ­Untersuchung, warum. Es war die Entscheidung, ein billigeres Teil einzubauen. Woran soll man sich orientieren? Automatisierte Waffen – da geht es schon los: Schießen die selbstständig? Was ist überhaupt "selbstständig"? Der ­Begriff passt nur, wo Menschen eine Rolle spielen. Sie ­müssen Entscheidungsbefugnisse festlegen, sonst lässt sich nicht sinnvoll über Verantwortung reden. Dann lösen wir etwas auf, das zu einer humanistischen, auch christlichen Grundtradition gehört. Da stehen wir erst am Anfang. Eine Handvoll großer Megakonzerne ist weit vorgeprescht und unterläuft bewusst die Gesetze in Nationalstaaten.

Jemand wird getötet und niemand ist verantwortlich?

Tanner: Eine Drohne startet ja nicht von allein. Es gibt Leute, die das am Bildschirm verfolgen. Die können noch eingreifen. Automatisierung kann nicht bedeuten, dass niemand mehr dahintersteht. Entscheidend ist: Wer sitzt wo und macht was? Da ist viel verschleierte Macht. Die lässt sich aufklären. Es ist mühsam, aber möglich.

Jaume-Palasí: Wenn die Bundesregierung illegitime ­Tötungsaufträge gibt, ist sie verantwortlich. Dafür haben wir Kommissionen, Untersuchungsausschüsse, Gesetze. Schon früher konnten Menschen bei neuen Technologien nicht die Verantwortlichkeiten klären. Richter sollten ­Anfang des 20. Jahrhunderts in den USA die moralische Güte von Autos bewerten. Sie entschieden, Autos wie Wildtiere zu verstehen. Später bemerkte man: Wir ­brauchen Verkehrs­regeln. Es dauerte, hat aber funktioniert. Anderes macht mir mehr Sorge: Was für eine Art von Wissen haben wir? Was für Verzerrungen kommen so in die Welt?

Was meinen Sie?

Jaume-Palasí: In Berlin wird jetzt eine algorithmisch "faire" künstliche Intelligenz für Asylverfahren entwickelt. So nimmt man keine Individuen wahr! Die Technologie reproduziert vergangene Entscheidungen. Mir fehlt völlig, dass man mit den Einwandernden und Flüchtlingen redet.

Tanner: Dann sind wir wieder beim Thema Geld. Technologien versprechen Effizienz, dass man weniger Personal braucht. In Ihrem Beispiel braucht man einfühlsame Leute mit kultureller Ausbildung und Sprachausbildung, um mit den Menschen in einer Erstaufnahmeeinrichtung zu reden.

Jaume-Palasí: Das Gegenteil ist aber der Fall. Je effizienter eine Technologie scheint, des­to mehr verwendet man sie. Aber richtige Automatisierung braucht viel Handarbeit. Man braucht also nicht weniger, sondern mehr Leute.

Tanner: Genau. Große deutsche Banken haben viele Angestellte entlassen. Sie werden durch Programme ersetzt im Glauben, dass die Bank so effizienter wird. Ich würde sagen: Dieser Glaube ist falsch.

Jaume-Palasí: Hinzu kommt: Wer eine komplexe Infrastruktur baut, weiß noch nicht, was für eine Technologie am Ende gebraucht wird. Als wir die Schienen gebaut ­haben, wusste man nichts von den Zügen heute. Ursprünglich mussten Loks in Kopfbahnhöfen wenden, man hat Drehscheiben gebaut. Als die Schienen fertig waren, kam der ICE, den muss man nicht wenden. Die Drehscheiben hätte man sich sparen können. Jetzt bauen wir Infrastruktur für die künstliche Intelligenz, wissen aber noch nicht, ob die Datenstrukturen in fünf Jahren noch passen. ­Infrastruktur muss nicht auf Effizienz gebaut werden, sondern auf Resilienz. Weil sie noch eine Weile dableiben soll, muss sie sich auch gesellschaftlichen Veränderungen anpassen können. Wir denken an der Technologie vorbei. Wir verlangen – so sagt man auf Spanisch – Birnen von einer Eiche. Und das wird nicht funktionieren. Interessanterweise haben wir in Europa schon immer geglaubt, Dinge an Maschinen outsourcen zu können, weil wir die Maschinen schon immer vermenschlicht haben. Es ist Ausdruck unserer Kultur, dass wir selbst Götter werden und eine Art Übermensch erschaffen wollen.

Tanner: Ich war im Süden von Baden-Württemberg bei Unternehmern, die das noch alles vorantreiben. Das sind – aus soziologisch-analytischer Perspektive – Glaubensgemeinschaften, die Automatisierung als die Lösung der Probleme sehen. Wer einen skeptischen Einwand bringt, ist der Miesmacher. Dann heißt es: "Warten Sie nur ab, Sie werden schon sehen, der Erfolg zeigt das dann."

"Wir müssen unser euro­päisches Denken hinterfragen." - Lorena Jaume-Palasí

Jaume-Palasí: Ich habe Kontakt zu Programmie­rerinnen in Afrika, Australien und Lateinamerika. Sie programmieren oft anders. Grundsätzlich müssen wir unser euro­päisches Denken hinterfragen. Künstliche Intelligenz ist ein Kind der Aufklärung. Die Vorstellung, wir könnten alle Probleme technisch lösen, haben wir aus Europa ins Silicon Valley exportiert, nicht andersherum.

Tanner: Wir sind uns einig, dass wir in einer langen Denktradition stehen und bestimmte Urteilsmuster haben. Als Theologe beschäftige ich mich mit Mentalitäten, die sich über Jahrhunderte bilden und sich nicht von heute auf morgen verändern lassen. In der Theologie kommen häufig Appelle: Ihr müsst euer Bewusstsein ändern. Man kommt aber nicht so einfach raus aus der eigenen Tradition.

Jaume-Palasí: Sie auch nicht! Die EU auch nicht.

Tanner: Wir beide denken vielleicht mehr über unsere Vorurteile nach.

Jaume-Palasí: Aber den Kolonialismus betreiben wir in Europa nun seit ein paar Hundert Jahren. Es ist an der Zeit, aus diesem Muster herauszukommen. Wenn wir die ­ethische Fahne hochhalten wollen, müssen wir ­anerkennen: Was wir machen, ist keine technische Revolution. Das ist eine sehr alte europäische Gedankentradi­tion, die früher mal aus Sicht unserer Gesellschaft notwendig war, die aber anderen Gesellschaften geschadet hat. Und wir müssen endlich schaffen, zuzuhören, was andere Communitys zu sagen haben: vom Schaden, den sie er­leben, und von ihren eigenen Vorgehensweisen. Vielleicht sollten wir jetzt mal anderen die Bühne überlassen und uns in die erste Reihe setzen, damit wir nichts verpassen.

Tanner: Ich finde interessant, dass Ihre Bekannten in ­Afrika und Lateinamerika anders programmieren. Sie können vergleichen, was sie anders machen.

Jaume-Palasí: Da gibt es schöne Beispiele. Ein mexikanischer Wissenschaftler hat den Verkehr für Mexiko-City anders programmiert als unsere Programmierversuche: durch Prinzipien der Selbstorganisation, sehr erfolgreich.

Wenn man Ihnen zuhört, fragt man sich: Was kann künstliche Intelligenz wirklich? Stimmt es zum Beispiel, dass soziale Netzwerke mehr von uns wissen als wir selbst?

Tanner: Zwei Journalisten haben für die "Neue Zürcher ­Zeitung" einen Versuch gemacht. Sie gaben Datenspezialis­ten alle Zugangsrechte zu ihren Profilen. So viel Neues kam nicht über sie raus. Onlinedienste haben ja ein bestimmtes Interesse, sie wollen uns etwas verkaufen. Sie wollen uns in bestimmte Kommunikationskontexte reinziehen, politisch oder sonst wie. Sie sind immer zielorientiert und geben nie ein umfassendes Bild einer Person. Zur christlichen, zu allen Traditionen gehört, dass der Mensch immer auch ein Geheimnis bleibt. Das Geheimnis des Menschen liegt im Selbsterleben: dass niemand sich und andere durchschaut. Datenprofile sind hocheffizient, sie bringen mich dazu, Dinge zu kaufen. Wir haben ein Bewegungsprofil. Aber das betrifft nicht die Beziehung zu meiner Frau. – Klar, bei den Bürgerrechtsbewegungen in Belarus, was wollen die Behörden als Erstes? Dass die Leute das Handy rausrücken. Da ist ein enormes Gefahrenpotenzial.

Jaume-Palasí: Firmen wollen nicht verstehen, wer Herr Schmidt und Frau Müller sind, sie wollen das Leben von Herrn Schmidt und Frau Müller gestalten, sie in eine gewisse Abhängigkeit bringen. Es ist eine Frage der Macht. Macht erhält man nicht im Klein-Klein, sondern durch die Architektur: Man schafft eine Infrastruktur, die bestimmt, wie man Zugang zu etwas bekommt. Das ist die subtilste Form von Macht. Wer das hinbekommt, entscheidet über alles andere. In Myanmar hat die Regierung ­Nachrichten über Facebook verbreitet, Volksverhetzung gegen die Rohingya, die das unmittelbar zu spüren bekamen. Für Facebook gab es keine Konsequenzen. Die Firma sagte, sie biete eine neutrale Plattform.

"Wir wissen aus der Geschichte: Große Monopole bereiten große Probleme." - Klaus Tanner

Tanner: Und wir wissen aus der Geschichte: Große Monopole bereiten große Probleme. Im Internet haben wir die größten Monopolisten weltweit. Bei denen werden Hunderte von Millionen Nachrichten am Tag verschickt.

Was tun Sie persönlich, um diesen Monopolisten nicht alle Daten preiszugeben?

Tanner: Ich sage Studierenden: Es gibt alternative Browser und Suchmaschinen. Wenn ich nur etwas bezahle, habe ich viel mehr Datensicherheit. Sie sagen dann: "Ich nehme lieber etwas Kostenloses." Das Bewusstsein fehlt. Es ist nicht kostenlos, wir zahlen mit unseren Daten.

Jaume-Palasí: Ich lerne jeden Tag von der jüngeren Generation, wie sie in Codesprache in sozialen Medien korres­pondieren, damit die Eltern ihnen nicht folgen können. Und von Frauen im Iran, die auf Menstruationsapps über Gewalt in der Ehe sprechen. Die App ist für sie ein geschützter Raum. Leute sind geistreich und können mit der Technologie umgehen. Der Mensch bleibt geheimnisvoll.