Kategorien: News

Civitai: Kontroverse KI-Bilderplattform nach Missbrauchsvorwürfen eingestellt

Die KI-Bilderplattform Civitai steht im Zentrum einer hitzigen Debatte, nachdem Berichte über die mögliche Erstellung von Kinderpornografie und sexuellem Missbrauchsmaterial (CSAM) aufgetaucht sind. Der Cloud Computing-Anbieter OctoML hat daraufhin die Zusammenarbeit mit Civitai beendet.

Missbrauch der KI-Technologie

Eine Untersuchung von 404 Media enthüllte, dass Civitai für die Erstellung von Bildern genutzt wurde, die als Kinderpornografie oder CSAM eingestuft werden könnten. Civitai nutzte OctoMLs OctoAI für die Bilderzeugung. Trotz anfänglicher Bemühungen, die Erstellung schädlicher Bilder einzudämmen, entschied sich OctoML letztendlich für die Beendigung der Geschäftsbeziehung.

Bedenkliche Inhalte auf Civitai

Interne Kommunikationen zeigten, dass OctoML sich der Erstellung sexuell eindeutigen Materials auf Civitai bewusst war. Dies umfasste nicht einvernehmliche Bilder von realen Personen und pornografische Darstellungen von Kindern. Als Reaktion auf die Untersuchung führte die Plattform neue Moderationsmethoden ein, darunter Civitai Safe Helper (Minor), um die Generierung von Bildern von Kindern bei Erkennung „reifer Themen oder Schlüsselwörter“ zu verhindern.

Civitai unter Beschuss

Die Plattform geriet bereits früher in die Kritik wegen seiner „Bounties“-Funktion, die Nutzer dazu anregte, realistische Bilder von realen Personen zu erstellen und dafür Belohnungen zu erhalten. Diese Funktion wurde genutzt, um unzulässige Deepfakes von Prominenten, Influencern und Privatpersonen zu erstellen, oft mit sexuellem Inhalt. Reagiert wurde mit einem Filter, der die Erstellung von NSFW-Inhalten mit „bestimmten“ Prominenten verhindern sollte.

OctoML zieht Konsequenzen

OctoML, das Amazon Web Services für seine Server nutzt, entschied sich, sich von Civitai zu distanzieren. In einer Erklärung betonte das Unternehmen seine Verpflichtung, den sicheren und verantwortungsvollen Einsatz von KI zu gewährleisten. Diese Entscheidung markiert einen Wendepunkt in der Debatte um die ethische Verantwortung von KI-Unternehmen und die Notwendigkeit, Missbrauch ihrer Technologien zu verhindern.

Via Engadget

Jan Gruber

Chefredakteur Magazin und Podcasts

Neueste Artikel

Tim Cook: Apple wird keine Gebühren für KI erheben

In einem Interview mit WIRED hat Apples CEO Tim Cook eine klare Aussage getroffen: Apple hat "nie darüber gesprochen", für…

22. Dezember 2024

App Store 2024: Umsatzwachstum trotz sinkender Downloads

Der weltweite App-Markt hat 2024 ein beeindruckendes Wachstum erlebt, obwohl die Downloadzahlen zurückgegangen sind. (mehr …)

22. Dezember 2024

Luigi Mangione: Reporter ohne Grenzen fordern Verbot für KI-Zusammenfassungen

Die Organisation „Reporter ohne Grenzen“ (RSF) fordert Apple auf, die Zusammenfassungsfunktion seiner Apple-Intelligence-KI zu entfernen. Der Aufruf kommt nach einem…

22. Dezember 2024

iOS 18.2.1: Kleines Update für Dein iPhone steht bevor

Apple arbeitet bereits an der nächsten Aktualisierung für iPhones mit iOS 18.2.1, die in den kommenden Wochen veröffentlicht werden könnte.…

22. Dezember 2024

Anker USB-C Hub 10-in-1 Aluminium-Monitorstandfuß: Ordnung und Funktionalität auf dem Schreibtisch

Der Anker USB-C Hub, 10-in-1 Aluminium-Monitorstandfuß, kombiniert eine Dockingstation mit einem ergonomischen Monitorständer. Die Lösung richtet sich an Nutzer:innen, die…

21. Dezember 2024

Die Top 5 Apple-Produkte, auf die Du Dich 2025 freuen kannst

Das Jahr 2025 verspricht ein aufregendes Jahr für Apple zu werden, mit einer Vielzahl neuer Produkte und Technologien. Von einem…

21. Dezember 2024

Diese Website benutzt Cookies um Ihr Nutzererlebnis zu verbessern. Wenn Sie diese Website weiter nutzen, gehen wir von Ihrem Einverständnis aus.

Mehr lesen