Apple prüft Fotos künftig auf Kinderpornographie

[Max Mohr]

Apple kündigt an, künftig Fotos auf Missbrauch (besonders auf Kinderpornographie) zu prüfen. Machine Learning soll dabei helfen.
Neuerungen in der iMessage App


Apple möchte die Verbreitung von kinderpornographischem Material über iMessage eindämmen. Dazu erhält die App eine neue Kommunikations-Sicherheits-Funktion. Diese warnt Eltern und Kinder davor, wenn ein sexuelles Foto erhalten wird. Das Bild wird dabei automatisch unscharf gestellt und eine Warnung erscheint auf dem Bildschirm. Eltern können zudem Benachrichtigungen erhalten, wenn das Kind sich das Bild dennoch ansieht. Möchte ein Kind ein sexuell anstößiges Bild versenden, erscheint auch eine Warnung. Darin wird appelliert, keine Fotos von privaten Körperteilen zu versenden. Diese Funktion wird allen Familienaccounts von iCloud zur Verfügung gestellt
Neuerungen in iCloud Photos


iCloud Photos wird künftig auf bekannte Bilder von sexuellem Kindesmissbrauch überprüft. Werden Bilder gefunden, erfolgt in den USA eine Meldung an das National Center for Missing and Exploited Children (NCMEC). Um die Privatsphäre zu gewährleisten, werden die Bilder jedoch nicht gescannt, sondern lediglich mit bekannten Bildern abgeglichen. Das erfolgt mithilfe eines unlesbaren Datensatzes an Hashes des NCMEC auf dem Gerät.
Neuerungen bei Siri


Auch Siri wird zusammen mit Search erweitert. Es werden Hilfestellungen zur Meldung von kinderpornographischen Bildern hinzugefügt. Die Suchfunktion wird auch angepasst. Hier wird direkt eingegriffen, wenn nach kinderpornographischem Material gesucht wird. Außerdem werden direkt Beratungsstellen zu diesem Thema angegeben.
Ab wann tritt die Funktion in Kraft


Mit dem Update auf iOS 15, iPadOS 15 und macOS Monterey werden die Funktionen eingeführt. Zunächst werden die Features nur in den USA ausgerollt. Eine internationale Ausweitung sei aber geplant. Hier müssen lediglich rechtliche Grundlagen geklärt werden. Es ist also möglich, dass auch die Neuerungen auch in Deutschland eingeführt werden. Dazu müssen sie aber mit der DSGVO vereinbar sein.

[su_box title="Unsere Haltung zu Gewalt" box_color="#ffffff" title_color="#000000" radius="0" class="live"]Apfeltalk und das ganze Team verurteilt Gewalt in jeder Form und insbesondere an Kindern. Diese abscheulichen Straftaten gehören verfolgt und die Täter mit der vollen Härte des Gesetzes bestraft. In unserer Berichterstattung geht es um die Verhältnismäßigkeit der Art wie hier ermittelt werden soll.*

Den Artikel im Magazin lesen.

 

[frameworker74]

Ich beginne mich wirklich zu fürchten:
Heise.de zum Thema

Dem ist nichts hinzuzufügen. Oder wie man einen gewissen Captain mal in den Mund legte:

"
Mit dem ersten Glied ist die Kette geschmiedet.
Wenn die erste Rede zensiert,
der erste Gedanke verboten,
die erste Freiheit verweigert wird,
sind wir alle unwiderruflich gefesselt."

In dem Sinne "wenn jeder Inhalt kontrolliert" usw...

 

[Thaddäus]

Mit dem ersten Glied ist die Kette geschmiedet.
Wenn die erste Rede zensiert,
der erste Gedanke verboten,
die erste Freiheit verweigert wird,
sind wir alle unwiderruflich gefesselt."

Genau diese Szene habe ich eben gesehen.

 

[Wuchtbrumme]

Wer etwas so komplexes baut, denkt nicht nur an Kinder (auch wenn diese (wieder einmal) als "ist doch ein lobenswertes Ziel!" herhalten müssen; wer wagt es schon, Kinder nicht schützen zu wollen als Totschlagargument - "Sind Sie etwa ein Pädophiler?"). Ein Dammbruch, der die gesamte mühsam aufgebaute Privacy-Marke torpediert und das Potential hat, in alle Bereiche des Lebens auszustrahlen.

Scheint so, als würde ich in Kürze keine Smartphones mehr haben. Eine wirklich schlechte Idee.
Awesome.

Mal gucken, ob das einen Shitstorm gibt oder alle Welt "Toll!" lobpreiset.

 

[Cohni]

Die Intention ist ehrenwert, die geplanten Massnahmen eine Katastrophe.

Bin einigermaßen geflasht, muss ich sagen.

Mein erster Gedanke war, wann wir als Europäer endlich mal ein technologisches Gegengewicht haben werden. Mir gehen unsere Freunde jenseits des Atlantik langsam auf den Geist, muss ich zugeben…

 

[Martin Wendel]

iMessage Nachrichten sind Ende-zu-Ende verschlüsselt. Die Prüfung auf diese Inhalte erfolgt also rein auf dem Gerät selbst. Kann deshalb die Kritik daran nicht wirklich nachvollziehen.

 

[Wuchtbrumme]

iMessage Nachrichten sind Ende-zu-Ende verschlüsselt. Die Prüfung auf diese Inhalte erfolgt also rein auf dem Gerät selbst. Kann deshalb die Kritik daran nicht wirklich nachvollziehen.

Die meisten haben nichts im Kofferraum verborgen und möchten trotzdem nicht durchsucht werden.
Ich betrachte mich nicht als paranoid, nur als sensibilisiert; wenn das bei Dir nichts auslöst, dann hast Du ein ruhigeres Leben. Glückwunsch.
Der KI-Teil der Axx-CPUs ist mittlerweile ... recht... groß. Ich glaube, die NSA aus dem Simspons-Film ist mittlerweile einer Version 2.0 gewichen.

 

[Cohni]

Es kann auch sein, dass wir hier das übliche Apple-Kommunikations-Chaos erleben und eigentlich alles halb so schlimm ist, nur ist die Kuh nun im Eis eingebrochen. Wäre nicht das erste Mal….

Meine erste Aufregung hat sich gelegt, mal sehen, was nach dem offensichtlichen Aufschrei an Erklärung kommt. Bin mal gespannt.

Edit PS: An den Fotos sind sie ja sowieso schon immer dran. Siebe personalisierte Erinnerungen etc. Da gab es keinen Aufschrei.

 

[Wuchtbrumme]

Bei mir war es genau andersherum, die Aufregung wird immer schlimmer. Einfach mal weiterlesen und verstehen, wie die Interfaces definiert sind. Das ist nachrüstbar. Deswegen schrieb ich, wer so was komplexes baut, denkt nicht nur an Kinder.

Das gesamte Thema kratzt an der zentralen Frage der Ende-zu-Ende-Verschlüsselung und wie man damit umgeht. Wer überwachen möchte, kann
a) die Verschlüsselung brechen
b) sich in die Mitte setzen und Verkehr ausleiten
c) dort draufgucken, wo noch nicht verschlüsselt ist - dort setzt auch der "Bundestrojaner" an.

 

[Cohni]

Die Bilderkennungs-Ki ist ja schon da und werkelt seit langem. Man darf halt die iCloud nicht benutzen.

 

[Wuchtbrumme]

Die Bilderkennungs-Ki ist ja schon da und werkelt seit langem. Man darf halt die iCloud nicht benutzen.

yep. Aber die KI werkelt lokal und die notwendigen Daten kommen aus dem Netz. Was da passiert ist letztenendes nicht von einem selbst gesteuert oder steuerbar.

Mei, noch ist nichts passiert und ich neige dazu, mich aufzuregen. Deswegen kühle ich mich jetzt ab
Wichtig nur: Mit einem kritischen Auge draufschauen, bitte.

 

[Cohni]

Soll diese Kinderpornoüberprüfung nicht auch so funktionieren und die Bilderkennung ist quasi „nur“ um diesen Trigger erweitert oder habe ich was falsch verstanden?

 

[Metamorphoser]

Bin bei dem Ganzen Thema etwas zwiegespalten. Einerseits ist es ein sehr guter und auch ehrenwerter Gedanke, gegen solche Inhalte vorzugehen. Aber irgendwie fühlt sich dieser Prozess der dafür genutzt wird ein bisschen so an als ob die Büchse der Pandora nur mal kurz zum reinschauen geöffnet wird.

Einmal so ein System etabliert, lässt es sich ja beliebig mit allem füttern was man gerne oder nicht gerne sehen möchte....

Wie @Cohni schon sagte, vielleicht ist es mal wieder ein Fauxpas in der Kommunikation. Wäre zu hoffen....

 

[Cohni]

Genauso geht es mir bei diesem Thema. Sehr ambivalent…

 

[Mitglied 246615]

Soetwas wird gerne mit einer Begründung eingeführt, die jeder nur begrüßen kann. Nach und nach wird es dann aber ausgeweitet. Ein kritischer Punkt ist die Meldung die NCMEC. OK, Apple will Mesnchen die Fälle zuvor prüfen lassen, aber menschliche Prüfungen wurden doch auch schon bei Spracherkennung kritisiert und dann abgeschafft.

Ab Apple als Hilfssheriff wird es schwierig. Der Rentner am Fenster wurde als Denunziant bezeichnet. Ist das was Apple macht etwas anderes?

Jetzt werden Stimmen kommen, die mich fragen, ob ich wirklich Falschparker mit Kinderschändermń in einen Topf werfen will. Nein, das mache ich nicht! Ich habe ja zuvor gesagt, das wird bestimmt ausgeweitet und dann haben wir das gleiche, was wir an China kritisieren.

Haben wir nicht eigentlich heute schon viel bessere Möglichkeiten, Kinderschändern auf die Schliche zu kommen als vor 30 beispielsweise Jahren?

 

[BalthasarBux]

Mein erster Gedanke war, wann wir als Europäer endlich mal ein technologisches Gegengewicht haben werden. Mir gehen unsere Freunde jenseits des Atlantik langsam auf den Geist, muss ich zugeben…

Als ob das hier besser laufen würde. In der EU wurden doch letzten Monat erst Gesetze beschlossen, dass man an der EU-Privacy-Richtlinie vorbei Messengerkommunikation anschauen kann, natürlich alles zur Sicherheit unserer Kinder^^

Edit PS: An den Fotos sind sie ja sowieso schon immer dran. Siebe personalisierte Erinnerungen etc. Da gab es keinen Aufschrei.

Natürlich gibt es da keinen Aufschrei, denn hier passiert alles auf dem Gerät. Die Analyse und die Erinnerung. Dabei gibt es keinen direkten Rückkanal zu Apple, wo du wann welche Dinge/Körperteile fotografierst.

 

[Martin Wendel]

kritischer Punkt ist die Meldung die NCMEC. OK, Apple will Mesnchen die Fälle zuvor prüfen lassen, aber menschliche Prüfungen wurden doch auch schon bei Spracherkennung kritisiert und dann abgeschafft.

Ich glaub du hast falsch verstanden, wie das funktioniert. Das mit der Analyse der Sprachaufnahmen zu vergleichen, ist total an den Haaren herbeigezogen. Die Fehlerquote einer falschen Erkennung - und nur in diesem Fall ist ein manuelles Review möglich - liegt laut Apple bei weniger als eins zu einer Billion.

Instead of scanning images in the cloud, the system performs on-device matching using a database of known CSAM image hashes provided by NCMEC and other child safety organizations. Apple further transforms this database into an unreadable set of hashes that is securely stored on users’ devices.

Before an image is stored in iCloud Photos, an on-device matching process is performed for that image against the known CSAM hashes. This matching process is powered by a cryptographic technology called private set intersection, which determines if there is a match without revealing the result. The device creates a cryptographic safety voucher that encodes the match result along with additional encrypted data about the image. This voucher is uploaded to iCloud Photos along with the image.

Using another technology called threshold secret sharing, the system ensures the contents of the safety vouchers cannot be interpreted by Apple unless the iCloud Photos account crosses a threshold of known CSAM content. The threshold is set to provide an extremely high level of accuracy and ensures less than a one in one trillion chance per year of incorrectly flagging a given account.

Only when the threshold is exceeded does the cryptographic technology allow Apple to interpret the contents of the safety vouchers associated with the matching CSAM images. Apple then manually reviews each report to confirm there is a match, disables the user’s account, and sends a report to NCMEC. If a user feels their account has been mistakenly flagged they can file an appeal to have their account reinstated.

 

[Mitglied 246615]

Ich glaub du hast falsch verstanden, wie das funktioniert. Das mit der Analyse der Sprachaufnahmen zu vergleichen, ist total an den Haaren herbeigezogen. Die Fehlerquote einer falschen Erkennung - und nur in diesem Fall ist ein manuelles Review möglich - liegt laut Apple bei weniger als eins zu einer Billion.

Warum ist das an den aharen herbeigezogen? Warum soll ein ähnlicherFehler bei Bilderkennung ausgeschlossen sein? Das ist mindestens genauso an den haaren herbeigezogen.

Irgend welche Fehlerquoten, die die Firmen nennen, die aber nicht unabhängig nachvollzogen werden können, sind das Papier nicht wert, auf dem sie stehen.

Was Apple macht, ist ansatzlose Massenüberwachung, die wir seit Jahrzehnten dem Staat nicht zugestehen. Warum sollen wir das privatwirtschaftlich geführten, gewinnorientierten Unternehmen zugestehen? Noch dazu nittel einer KI, gegen deren Entscheidung wir und sehr wahrscheinlich nach nicht wehren können. Es ist ja heute schon schwer, Unternehemen wirklich zu erreichen. Je höher technisiert, umso schwieriger.

Hinzu kommen lokale Gesetze, die immer mehr die Unternehmen zwingt, staatlichen Stellen Zugriff auf ihren Datenstand zu gewähren. Also ansatzlose Massenüberwachung durch die Hintertür!

 

[Ducatisti]

Das passt sehr gut zur derzeitigen Umdrehung der Welt.

 

[Martin Wendel]

Warum ist das an den aharen herbeigezogen?

Ich hoffe du erkennst den Unterschied zwischen „Ich höre mir potentiell alle Siri-Commands an von Usern, die keinen Opt-out gemacht haben“ und „In äußerst seltenen Fällen, wenn es zu angrenzender Sicherheit zu Kinderpornographie kommt, überprüfen wir Bilder“.