Erzähl deine Geschichte auf der jungen Webseite der Süddeutschen Zeitung. Dein Publikum wartet.
Der Zufall ist kein Unschuldslamm
Ein Händler hat über Amazon T-Shirts angeboten, auf denen per Algorithmus generierte Sprüche stehen. Einer davon lautete "Keep calm and rape a lot" - eine Aufforderung zur Vergewaltigung. Die Empörung war groß. Aber wer ist denn eigentlich dafür verantwortlich: Mensch oder Maschine?
Kein vernünftiger Mensch würde ein T-Shirt designen, auf dem „Bleib locker und vergewaltige deine Mitmenschen“ steht. Aber ein Algorithmus ist kein vernünftiger Mensch. Ein Algorithmus designt so etwas.Wegen eines computergenerierten Shirts mit einem ähnlichen Aufdruck gab es am vergangenen Wochenende eine Menge Aufregung im Netz. Die Firma „Solid Gold Bomb“ (SGB) hat über Amazon Marketplace UK T-Shirts mit Variationen des populären, aus der britischen Propaganda während des zweiten Weltkriegs stammenden Spruchs angeboten: „Keep calm and carry on“. Der Shop funktionierte nach dem „Print on demand“-Pinzip. Die Kleidungsstücke stapelten sich also nicht fertig in einem Lager, sondern wurden erst bedruckt, wenn jemand sie bestellte. Die Idee ähnelte der des Zufallsshirts von Kathrin Passig: Ein Algorithmus sorgte für immer neue Kombinationen des Spruchs und wählte dabei aus der langen Verbliste eines Wörterbuchs. Aus „Keep calm and“, einem Verb und einer Ergänzung um „off“, „them“, „it“, „a lot“, „him, „her“ oder „us“ konnten unendlich viele verschiedene Sprüche entstehen. So ein Spruch konnte zum Beispiel „Keep calm and dance off“ oder „Keep calm and kiss her“ lauten. Aber eben auch „Keep calm and rape a lot“. Und genau das ist passiert.
Kurz darauf begann der Empörungssturm auf Twitter. Widerlich, respektlos, schrecklich sei dieser T-Shirt-Spruch, schrieben die Nutzer. Womit sie durchaus Recht hatten. Die Aufforderung zu einem Verbrechen, in diesem Fall sogar in bunter, scherzhafter Aufmachung, sollte man nicht auf der Brust tragen. Zudem spuckte der Algorithmus noch andere, ähnlich anstößige Sprüche aus. Der Anbieter reagierte schließlich auf die Beschwerden. Mittlerweile kann man die Shirts auf Amazon nicht mehr finden. Klickt man auf der Homepage von Solid Gold Bomb auf das Banner, über das sie noch angeboten werden, führt der Link ins Leere. Und auf drei von fünf Unterseiten findet man das Statement und die Entschuldigung des SGB-Gründers Michael Fowler. „Es war ein Computerfehler, den ich verursacht habe, und ich übernehme die Verantwortung dafür“, schreibt Fowler. Man habe nie die Intention gehabt, gewalttätige oder geschmacklose Slogans zu verbreiten und er bedauere den Ärger, den seine Unachtsamkeit verursacht habe.
Fowler versteckt sich nicht ganz hinter seiner Technik, er sagt: Ich bin Schuld. Das stimmt insofern, als dass auch ein Algorithmus von Menschen programmiert wird. Aber er wird programmiert, um anschließend etwas zu tun, mit dem man nicht rechnet. Ein Algorithmus ist ein Spiel mit dem Zufall. Beziehungsweise, und das ist etwas paradox, mit dem beabsichtigten Zufall. Wir sind in der Lage, die Technik so zu steuern, dass sie uns überrascht, sie erst zu beherrschen, um dann die Zügel schießen zu lassen. Das ist Machtausübung, um die Macht abgeben zu können. Aber wie unschuldig ist dieser produzierte Zufall? Ist alles, was er hervorbringt, in Ordnung, weil keine Absicht dahintersteckt, weder eine böse, noch eine gute? Oder muss jemand mit Sinn und Verstand aufpassen, dass der Zufall nichts Menschenverachtendes, Verletzendes oder Gefährliches produziert?
Der Blogger Pete Ashton hat am Samstag einen Text veröffentlicht, in dem er den SGB-Patzer erklärt. Er betont ausdrücklich, dass er das T-Shirt nicht verteidigen möchte (vor allem, nachdem er massiv für seinen Beitrag angegriffen wurde), aber führt zwei Argumente an, die die Aufregung schmälern sollen: 1. Das Rape-T-Shirt existiert nicht. Es gibt nur eine Idee davon auf dem Bildschirm. Solange niemand es bestellt, wird es niemals ein reales Shirt sein. 2. Niemand hat dieses Design entworfen und abgesegnet. Niemand hat entschieden, dass es eine gute Idee wäre, Shirts mit dem Aufruf zur Vergewaltigung zu bedrucken. Laut Ashton liegt die Verantwortung also allein beim Algorithmus und den kann man nicht bestrafen. Fowler hätte sich also theoretisch dahinter verstecken können.
So wie es Google macht. Vor kurzem hat die Havard-Professorin Latanya Sweeney eine Studie veröffentlicht. Sie hat herausgefunden, dass Google Ads bei einer Suche nach Personen mit Namen, die meist schwarze Menschen tragen, wie beispielsweise Darnell oder Jermaine, eher Anzeigen generiert, die mit Kriminalität in Verbindung gebracht werden, als bei der Suche nach „typisch weißen“ Namen wie Geoffrey oder Emma. Als die Professorin den Namen „Latanya Farrell“ googelte, stieß sie zum Beispiel auf eine Anzeige der Seite instantcheckmate.com, auf der man herausfinden kann, ob eine bestimmte Person schon einmal festgenommen wurde. „Latanya Farrell, arrested?“ lautete der Text der Anzeige. Ergebnisse wie dieses waren für „schwarze“ Namen 25 Prozent wahrscheinlicher als für „weiße“. Für „Kristen Sparrow“ zum Beispiel erschien lediglich eine Anzeige von peoplessmart.com, einer generellen Personensuchseite, Anzeigentext: „We found: Kristen Sparrow“. Der Algorithmus bedient sich hier der statistisch höheren Kriminalitätsrate von Personen dunkler Hautfarbe – und agiert rassistisch. Natürlich nicht bewusst. Aber Google übernahm, anders als Fowler, keine Verantwortung für die eigene technische Schöpfung. Ihre Technik, so ein Google-Sprecher, verknüpfe keinen Namen mit einer bestimmten Rasse und man habe auch nie versucht, sie derart zu programmieren. Er sagt: Wir sind nicht Schuld. Verweist aber auch auf die Kunden, die die Anzeigen nutzen. Diese entschieden, bei welchen Schlüsselwörtern ihre Anzeigen generiert würden. Von denen hat sich bisher aber noch keiner geäußert.
Man kann die Frage, wer für die mitunter komischen Auswüchse eines Algorithmus verantwortlich ist, wohl nicht abschließend beantworten. Und darum auch nicht, ob regelmäßig kontrolliert werden sollte, was durch ihn entsteht. René Walter von Nerdcore hat dem Rape-Shirt-Fall einen Beitrag auf seinem Blog gewidmet. Er schließt mit den Worten: „Von Kram wie diesem werden wir noch jede Menge hören.“ Das Spiel mit dem Zufall wird weitergehen. Je besser die Technik wird, desto leichter wird es sein, einen Algorithmus zu programmieren, und desto größer werden womöglich auch die Überraschungen, die er produziert. Solange es nur T-Shirts sind, die keiner kauft, kann man das verkraften. Aber eine Tücke des Zufalls ist ja, dass man sich nicht vorstellen kann, was durch ihn alles entstehen könnte. Zumindest hat er uns jetzt schon einmal bewiesen, dass er kein Unschuldslamm ist.
Neue Magazin-Texte:
- Das tragbare Bett 16.05.2013
- Gegen den Bilderfriedhof 02.05.2013
- Das „Fuck Positive“-Shirt 16.04.2013
- KZ-Nummern zum Abwaschen 08.04.2013
- Das Ding der Woche: Die Granny Pants 04.04.2013
Mehr Texte von jetzt.de liest Du jeden Montag in der Süddeutschen Zeitung - außerdem donnerstags im Lokalteil der SZ. Du kannst die SZ zwei Wochen kostenlos testen - du musst nicht einmal kündigen!
Textoptionen
Für diese Funktion musst du eingeloggt sein.
Alle Kommentare anzeigen
Awesomeness sagte:
Wilberforce sagte:
Darum gehts aber nicht. Ein Computer kann nichts machen, was "unabsehbar" gewesen wäre. Er bleibt immer in seinen vorher abgesteckten Bahnen, und es ist in der Verantwortung des Programmierers, daß in diesen abgesteckten Bahnen alles sicher läuft.
Doch, genau darum geht es! Ein Computer kann eine ganze Menge machen, was für Menschen unabsehbar wäre. Es gibt eine Riesenindustrie um Rechner, in der Computer genau das tun müssen! Aber selbst die hat ihre Grenzen - wenn auch weit jenseits denen des Menschen!
Der Programmierer hat im Übrigen gar keine Verantwortung, sondern derjenige, der den "redaktionellen Teil" bestimmt, ergo die Wörter.
Wenn jemand, der die Maschine nicht kapiert, die Verfügungsgewalt darüber bekommt, dann ist das verantwortungslos.
Mir sind diese T-Shirts scheißegal, das sind ein paar Berufsbetroffene angepisst.
Aber wenn einer, der nicht absehen kann, was die Maschine damit macht, ihr Eingaben füttern darf, dann läuft ganz gewaltig etwas schief.
Und genau das passiert heute schon. Wenn irgendwelche "Facebook-Parties" aus dem Ruder laufen, dann gehört dafür Facebook zur Rechenschaft gezogen. Die stellen Leuten, die die Folgen nicht überschauen, völlig verantwortunglos ihr Netzwerk zur Verfügung. Google mal nach "Störerhaftung". Wenn du dein Netzwerk nicht sicherst, und jemand kopiert darüber Filme, dann kriegst du Ärger. Zu Recht.
Aber ein Konzern wie Facebook redet sich damit heraus, daß ihr Computer solche "zufälligen" Benutzerfehler nicht erkennen kann.
Wer seinen Computer Dinge machen läßt, die er eigentlich nicht möchte, der ist dafür ein gewissenloses Arschloch, daß er den Rechner jemals angeschaltet hat.
Und falls du es mit Computern nicht einsehen kannst: Stell dir mal irgendeine Industriemaschine vor, die ungefragt alles verarbeitet, was jemand anliefert. Die Giftgaswolke möchte ich nicht sehen! Absehbar ist sie allemal.
@Wilberforce
Mit der ewiggestrigen Einstellung wärst Du der ideale CDU-Kandidat für die Enquettekomission. Die sondern auch stetig solchen Unsinn ab.
Es gibt eine Menge Maschinen, die frei zugänglich sind und großen Schaden anrichten können. Eben noch hast Du die armen Teufel verteidigt, die zu bequem sind, um einen unpassenden Vorschlag nicht anzunehmen und dann sprichst Du von Berufsempörten?
Es ist eine simple Kosten-Nutzen-Abwägung! Der Nutzen, den alle von einer personalisierten Produktion zu geringstem Aufwand haben gegen ein paar Oberbedenkenträger, die immer gegen alle den Anspruch auf Sagrotanwelt haben.
Als ein paar linke Honks vor 25 Jahren ein Transparent an die Bahnhofshalle hingen, diasGleichgesinnte zu einem "Spontanprotest am Samstag" aufrief, was schließlich von einer Zeitung aufgegriffen wurde und so zu vielen Besuchern führte... glaubst Du die Bahn oder die Zeitung hätte dafür irgendwie haften müssen? Oder die Zeitung?
Nein, die Chaoten, die hingegangen sind waren die eigentlichen Störer und nicht die Plattformen!
Wer etwas anderees behauptet, hat einfach nur eine Bequemlichkeitsattitüde, Chancen durch komplexere Anpassungen zu nutzen. Lieber verbieten, bestrafen, abschalten... CDU eben.
Mit der ewiggestrigen Einstellung wärst Du der ideale CDU-Kandidat für die Enquettekomission. Die sondern auch stetig solchen Unsinn ab.
Es gibt eine Menge Maschinen, die frei zugänglich sind und großen Schaden anrichten können. Eben noch hast Du die armen Teufel verteidigt, die zu bequem sind, um einen unpassenden Vorschlag nicht anzunehmen und dann sprichst Du von Berufsempörten?
Es ist eine simple Kosten-Nutzen-Abwägung! Der Nutzen, den alle von einer personalisierten Produktion zu geringstem Aufwand haben gegen ein paar Oberbedenkenträger, die immer gegen alle den Anspruch auf Sagrotanwelt haben.
Als ein paar linke Honks vor 25 Jahren ein Transparent an die Bahnhofshalle hingen, diasGleichgesinnte zu einem "Spontanprotest am Samstag" aufrief, was schließlich von einer Zeitung aufgegriffen wurde und so zu vielen Besuchern führte... glaubst Du die Bahn oder die Zeitung hätte dafür irgendwie haften müssen? Oder die Zeitung?
Nein, die Chaoten, die hingegangen sind waren die eigentlichen Störer und nicht die Plattformen!
Wer etwas anderees behauptet, hat einfach nur eine Bequemlichkeitsattitüde, Chancen durch komplexere Anpassungen zu nutzen. Lieber verbieten, bestrafen, abschalten... CDU eben.
Wilberforce sagte:
Und genau das passiert heute schon. Wenn irgendwelche "Facebook-Parties" aus dem Ruder laufen, dann gehört dafür Facebook zur Rechenschaft gezogen.
Man kann von den Menschen durchaus verlangen die Konsequenzen ihrer Handlungen zu tragen. Du tust ja gerade so, als wäre der Mensch an sich dumm, unmündig und unfähig.
Wilberforce sagte:
Wer seinen Computer Dinge machen läßt, die er eigentlich nicht möchte, der ist dafür ein gewissenloses Arschloch, daß er den Rechner jemals angeschaltet hat.
Gewissenloses Arschloch? Sonst alles ganz frisch?
Awesomeness sagte:
Als ein paar linke Honks vor 25 Jahren ein Transparent an die Bahnhofshalle hingen, diasGleichgesinnte zu einem "Spontanprotest am Samstag" aufrief, was schließlich von einer Zeitung aufgegriffen wurde und so zu vielen Besuchern führte... glaubst Du die Bahn oder die Zeitung hätte dafür irgendwie haften müssen? Oder die Zeitung?
Nein, die Chaoten, die hingegangen sind waren die eigentlichen Störer und nicht die Plattformen!
Aus guten Gründen haben Zeitungen da ein gewisses Privileg. Obwohl Berichterstattung über z.B. Amokläufer Nachahmungstäter animiert.
Auch sonst sind da klassisch überall Menschen beteiligt, die zB. das Recht besitzen, sich ohne Waffen unter freiem Himmel zu versammeln. Und die man zur Rechenschaft ziehen kann, wenn sie dieses Recht überreizen.
Das ist unsere gesellschaftliche Übereinkunft.
Der Typ mit den T-Shirts hat nachher gesagt, daß er nicht nachgedacht hat, und damit ist ja auch gut. Ist ja nichts passiert.
Was mir auf den Sack geht sind Leute, die sich hinter Computern verstecken. "Oh, das wollte ich nicht, aber mir gehört nur der Computer, ich weiß nicht was die Leute darauf machen."
Das findest du konservativ? Ist es. Ich möchte gerne weiter in einer Welt leben in der die Leute Verantwortung haben und damit gut umgehen. Wär sogar gut, wenn das noch mehr so wäre. Politiker und Banker, die sich hinter dem "Markt" und Computerbörsen verstecken finde ich nämlich auch scheiße.
Wilberforce sagte:
Aus guten Gründen haben Zeitungen da ein gewisses Privileg. Obwohl Berichterstattung über z.B. Amokläufer Nachahmungstäter animiert.
Auch sonst sind da klassisch überall Menschen beteiligt, die zB. das Recht besitzen, sich ohne Waffen unter freiem Himmel zu versammeln. Und die man zur Rechenschaft ziehen kann, wenn sie dieses Recht überreizen.
Das ist unsere gesellschaftliche Übereinkunft.
Da wäre ich mir nicht sicher. Die CDU hielt es bis vor ein paar Tagen ja auch noch für eine gesellschaftliche Übereinkunft, dass homosexuelle Paare keine Kinder adoptieren sollten.
Man kann alle Rechte überreizen und jede Freiheit bringt Verantwortung mit sich. Die Frage ist, wie weit man die Folgen seiner Tat absehen konnte und welche Risiken man in Kauf nahm.
Wilberforce Der Typ mit den T-Shirts hat nachher gesagt, daß er nicht nachgedacht hat, und damit ist ja auch gut. Ist ja nichts passiert.
Das musste er natürlich sagen, die Frage ist nur, was er hätte anders machen sollen oder können. Das von Dir Vorgeschlagene funktioniert ohne weiteres nicht.
Ich bin aber völlig bei Dir mit dem Satz: "Ist ja nichts passiert." Womöglich war darauf auch Dein Ausdruck "Berufsbetroffene" bezogen, in dem Fall muss ich Dir nur lebhaft Recht geben.
Es ist etwas anderes, ob bei einem Flashmob 10.000 Menschen die Innenstadt lahmlegen oder ein Wohnviertel vermüllen und ob sich jemand über eine Wortkombination ärgert, die nur ihm angezeigt wird und sich mit einem Klick wieder beseitigen lässt.
Wilberforce sagte: Was mir auf den Sack geht sind Leute, die sich hinter Computern verstecken. "Oh, das wollte ich nicht, aber mir gehört nur der Computer, ich weiß nicht was die Leute darauf machen."
Das findest du konservativ? Ist es. Ich möchte gerne weiter in einer Welt leben in der die Leute Verantwortung haben und damit gut umgehen. Wär sogar gut, wenn das noch mehr so wäre. Politiker und Banker, die sich hinter dem "Markt" und Computerbörsen verstecken finde ich nämlich auch scheiße.
-.- die pöhsen Pänker sind ja wirklich immer ein guter Katalysator für schlechte Argumente. In diesem Beispiel sind sie es aber selbst, die Infrakstruktur für Hochfrequenzhandel betreiben. Wir können uns entscheiden, ob wir den haben wollen oder nicht. Das liegt dann aber auch nicht mehr in der Hand des Betreibers , er muss sein Geschäftsmodell dann schlichtweg zu machen.
Dein Ansatz, den Betreiber für das Verhalten der Nutzer verantwortlich machen zu wollen, ist auch schon so alt wie daneben. Der Klassiker ist das Heise-Urteil, das es einem Forenbetreiber vorschreiben wollte, sämtliche Beiträge der User vorher zu sichten und ggf. den Kopf dafür hinzuhalten.
Der konservative Richter ohne Ahnung von der Materie hatte natürlich auch keine Vorstellung davon, wie aufwändig eine solche Vorzensur wäre und riet Heise einfach, mehr Leute dafür einzustellen.
Zum Glück konnte sich das Urteil so nicht halten, sonst gäbe es wahrscheinlich heute keine Internetforen mehr.
Wenn wir früher einen Flashmob veranstalten wollten, haben wir eine Telefonkette gemacht. Hätte Deiner Meinung nach die Telekom dafür geradestehen müssen, was wir nachher machen?
Wahnsinn, was sich in 2 Wortlisten und einen simplen Algorithmus alles reininterpretieren lässt. . . kann man dem Betreiber auch nicht vorwerfen, dass er bei T-Shirts nicht sofort an Vergewaltigung denkt.
Alle Kommentare anzeigen
-2
06.03.2013 - 17:14 Uhr
Awesomeness
Was Dir als Laie hingegen nicht bewusst zu sein scheint, ist die Tatsache dass solche Filter Aufwand und damit Geld kosten, die man dann bei den T-Shirts drauf zahlt!
Ja, als Laie glaubt man das sicher! Man müsste auch nicht viel tun, nur etwa alle denkbaren Kombinationen einmal durchsehen bzw. durchsehen lassen und die rausnehmen, die das Ministry of Truth eventuell anstößig finden könnte. *facepalm*
Egal wie man es macht, der Kunde bezahlt! Du kannst Dir bei einem T-Shirt-Shop, der völlig freie Texte auf die T-Shirts pappt, auch den Satz bestellen: "Ich treibe Unzucht mit minderjährigen Bergziegen" und kaum Bad-Word-Filter würde anschlagen.
Das stimmt, kostet aber wie gesagt Geld und betrifft ja im Fall Hangman nur einzelne Wörter und keine Kombination. Außerdem existiert in der Welt eben nicht nur die Sagrotan-Mutti-konforme Sprache, sondern manche Menschen wollen regelrecht mit ihrer Kleidung provozieren.
Doch, genau darum geht es! Ein Computer kann eine ganze Menge machen, was für Menschen unabsehbar wäre. Es gibt eine Riesenindustrie um Rechner, in der Computer genau das tun müssen! Aber selbst die hat ihre Grenzen - wenn auch weit jenseits denen des Menschen!
Der Programmierer hat im Übrigen gar keine Verantwortung, sondern derjenige, der den "redaktionellen Teil" bestimmt, ergo die Wörter.
Natürlich könnte man den verpflichten, alle Kombinationen zu sichten, bevor sie dem Kunden angezeigt werden. Dann wäre das Shirt aber so teuer und langwierig, dass der wohl vom Kauf Abstand nimmt.
Dieser Anspruch von Leuten, dass ihnen das Denken komplett abgenommen wird, ist völlig daneben.
Daher liebe ich das Zitat: "Wenn man die Welt von allen Deppen befreien will, muss man nur alle Warnschilder entfernen und der Natur ihren Lauf lassen!"