Kategorien: News

Civitai: Kontroverse KI-Bilderplattform nach Missbrauchsvorwürfen eingestellt

Die KI-Bilderplattform Civitai steht im Zentrum einer hitzigen Debatte, nachdem Berichte über die mögliche Erstellung von Kinderpornografie und sexuellem Missbrauchsmaterial (CSAM) aufgetaucht sind. Der Cloud Computing-Anbieter OctoML hat daraufhin die Zusammenarbeit mit Civitai beendet.

Missbrauch der KI-Technologie

Eine Untersuchung von 404 Media enthüllte, dass Civitai für die Erstellung von Bildern genutzt wurde, die als Kinderpornografie oder CSAM eingestuft werden könnten. Civitai nutzte OctoMLs OctoAI für die Bilderzeugung. Trotz anfänglicher Bemühungen, die Erstellung schädlicher Bilder einzudämmen, entschied sich OctoML letztendlich für die Beendigung der Geschäftsbeziehung.

Bedenkliche Inhalte auf Civitai

Interne Kommunikationen zeigten, dass OctoML sich der Erstellung sexuell eindeutigen Materials auf Civitai bewusst war. Dies umfasste nicht einvernehmliche Bilder von realen Personen und pornografische Darstellungen von Kindern. Als Reaktion auf die Untersuchung führte die Plattform neue Moderationsmethoden ein, darunter Civitai Safe Helper (Minor), um die Generierung von Bildern von Kindern bei Erkennung „reifer Themen oder Schlüsselwörter“ zu verhindern.

Civitai unter Beschuss

Die Plattform geriet bereits früher in die Kritik wegen seiner „Bounties“-Funktion, die Nutzer dazu anregte, realistische Bilder von realen Personen zu erstellen und dafür Belohnungen zu erhalten. Diese Funktion wurde genutzt, um unzulässige Deepfakes von Prominenten, Influencern und Privatpersonen zu erstellen, oft mit sexuellem Inhalt. Reagiert wurde mit einem Filter, der die Erstellung von NSFW-Inhalten mit „bestimmten“ Prominenten verhindern sollte.

OctoML zieht Konsequenzen

OctoML, das Amazon Web Services für seine Server nutzt, entschied sich, sich von Civitai zu distanzieren. In einer Erklärung betonte das Unternehmen seine Verpflichtung, den sicheren und verantwortungsvollen Einsatz von KI zu gewährleisten. Diese Entscheidung markiert einen Wendepunkt in der Debatte um die ethische Verantwortung von KI-Unternehmen und die Notwendigkeit, Missbrauch ihrer Technologien zu verhindern.

Via Engadget

Jan Gruber

Chefredakteur Magazin und Podcasts

Neueste Artikel

Apple-Shopping-Event: bis zu 200 Euro Gutschein zum Kauf dazu

Apple startet sein Shopping-Event am 29. November. Kauft man ein qualifiziertes Produkt erhält man vom Konzern bis zu 200 Euro…

21. November 2024

Indonesien prüft 100-Millionen-Dollar-Investment von Apple zur Aufhebung des iPhone-16-Verbots

Die indonesische Regierung wird am Donnerstag über ein 100-Millionen-Dollar-Investitionsangebot von Apple beraten. Dieses Angebot ist Teil des Versuchs, das Verkaufsverbot…

21. November 2024

iOS 18.2 Public Beta 3 veröffentlicht: Was ist neu?

Die dritte Public Beta von iOS 18.2 ist jetzt verfügbar und bringt kleinere Verbesserungen, Bugfixes und Performance-Optimierungen. Mit der Veröffentlichung…

21. November 2024

Apples „Schnelle Sicherheitsmaßnahmen“: Ein ungenutztes Potenzial?

Im Mai 2023 führte Apple mit den sogenannten "Schnellen Sicherheitsmaßnahmen" (englisch: Rapid Security Responses) eine neue Methode ein, um Sicherheitslücken…

21. November 2024

Shazam erkennt 100 Milliarden Songs: Ein globaler Meilenstein

Shazam, die beliebte Musikerkennungs-App von Apple, hat einen beeindruckenden Rekord erreicht: Über 100 Milliarden Songs wurden seit der Einführung des…

21. November 2024

Apple und der US-Monopolprozess: Der nächste große Tech-Kampf?

Apple steht vor einer entscheidenden Anhörung, bei der das Unternehmen versuchen wird, einen US-Monopolprozess gegen sich abzuwehren. Der Fall, eingereicht…

20. November 2024

Diese Website benutzt Cookies um Ihr Nutzererlebnis zu verbessern. Wenn Sie diese Website weiter nutzen, gehen wir von Ihrem Einverständnis aus.

Mehr lesen