Kategorien: News

Civitai: Kontroverse KI-Bilderplattform nach Missbrauchsvorwürfen eingestellt

Die KI-Bilderplattform Civitai steht im Zentrum einer hitzigen Debatte, nachdem Berichte über die mögliche Erstellung von Kinderpornografie und sexuellem Missbrauchsmaterial (CSAM) aufgetaucht sind. Der Cloud Computing-Anbieter OctoML hat daraufhin die Zusammenarbeit mit Civitai beendet.

Missbrauch der KI-Technologie

Eine Untersuchung von 404 Media enthüllte, dass Civitai für die Erstellung von Bildern genutzt wurde, die als Kinderpornografie oder CSAM eingestuft werden könnten. Civitai nutzte OctoMLs OctoAI für die Bilderzeugung. Trotz anfänglicher Bemühungen, die Erstellung schädlicher Bilder einzudämmen, entschied sich OctoML letztendlich für die Beendigung der Geschäftsbeziehung.

Bedenkliche Inhalte auf Civitai

Interne Kommunikationen zeigten, dass OctoML sich der Erstellung sexuell eindeutigen Materials auf Civitai bewusst war. Dies umfasste nicht einvernehmliche Bilder von realen Personen und pornografische Darstellungen von Kindern. Als Reaktion auf die Untersuchung führte die Plattform neue Moderationsmethoden ein, darunter Civitai Safe Helper (Minor), um die Generierung von Bildern von Kindern bei Erkennung „reifer Themen oder Schlüsselwörter“ zu verhindern.

Civitai unter Beschuss

Die Plattform geriet bereits früher in die Kritik wegen seiner „Bounties“-Funktion, die Nutzer dazu anregte, realistische Bilder von realen Personen zu erstellen und dafür Belohnungen zu erhalten. Diese Funktion wurde genutzt, um unzulässige Deepfakes von Prominenten, Influencern und Privatpersonen zu erstellen, oft mit sexuellem Inhalt. Reagiert wurde mit einem Filter, der die Erstellung von NSFW-Inhalten mit „bestimmten“ Prominenten verhindern sollte.

OctoML zieht Konsequenzen

OctoML, das Amazon Web Services für seine Server nutzt, entschied sich, sich von Civitai zu distanzieren. In einer Erklärung betonte das Unternehmen seine Verpflichtung, den sicheren und verantwortungsvollen Einsatz von KI zu gewährleisten. Diese Entscheidung markiert einen Wendepunkt in der Debatte um die ethische Verantwortung von KI-Unternehmen und die Notwendigkeit, Missbrauch ihrer Technologien zu verhindern.

Via Engadget

Jan Gruber

Chefredakteur Magazin und Podcasts

Neueste Artikel

Apple startet neues Serviceprogramm für iPhone 14 Plus bei „Rückkamera-Problem“

Apple hat ein neues Serviceprogramm für das iPhone 14 Plus gestartet. Ein „sehr kleiner Prozentsatz“ der Geräte zeigt möglicherweise keine…

2. November 2024

iPhone 17 und „iPhone 17 Air“ sollen ProMotion-Displays mit 120 Hz erhalten

Laut einem Bericht des südkoreanischen Portals ETNews wird die gesamte iPhone 17-Reihe, die für das kommende Jahr erwartet wird, mit…

2. November 2024

Eine neue Ära für Pixelmator: Übernahme durch Apple angekündigt

Das Pixelmator-Team hat bekanntgegeben, dass es plant, Teil von Apple zu werden. Dies ist ein bedeutender Schritt für die beliebte…

1. November 2024

Der neue Mac mini: Apples schnellster Desktop-Mac mit M4 Pro-Chip

Der neue Mac mini mit dem M4 Pro-Chip wird der schnellste Desktop-Mac von Apple sein und übertrifft sogar die Leistung…

1. November 2024

Apples Poliertuch nun kompatibel mit den neuen Macs

Apple erweitert die Kompatibilitätsliste des Poliertuchs um die neuen Macs. Auch und insbesondere für die Geräte mit Nanotexturglas auf dem…

1. November 2024

Die M4-Parade – Apples neue Macs – Unsere Nachbetrachtung | Apfeltalk LIVE 377

Das war eine aufregende Woche für Apple. An drei Tagen hat der Konzern neue Macs vorgestellt. Dazu gehören der iMac,…

1. November 2024

Diese Website benutzt Cookies um Ihr Nutzererlebnis zu verbessern. Wenn Sie diese Website weiter nutzen, gehen wir von Ihrem Einverständnis aus.

Mehr lesen