Comment les plateformes d'intelligence artificielle détectent et modèrent les images NSFW ?

Modération d'images par intelligence artificielle Il n'y a pas qu'un seul interrupteur marqué « NSFW ». C'est un processus qui comporte de nombreuses décisions incertaines prises avant, pendant et après la génération de contenu.

La plateforme peut analyser les invites de saisie, les références téléversées, les comportements des comptes, les données de pixels générées, les sous-titres publics ainsi que les signalements des utilisateurs. Les systèmes automatisés sont chargés de traiter les tâches de modération à grande échelle ; la modération manuelle intervient pour les cas extrêmes et les violations graves. Chaque étape peut générer des faux positifs et des faux négatifs.

Cette notice présentera le mécanisme de modération à un niveau macroscopique, afin que les créateurs puissent comprendre les décisions de modération et former recours contre les erreurs. Elle ne fournit volontairement aucun conseil sur les seuils de modération, les astuces pour éviter la modération ni les méthodes pour contourner les mesures de protection.

Phase 1 : Analyse des prompts

Le système de texte recherche des catégories sémantiques, au lieu de ne se concentrer que sur les mots interdits. Ils pourraient évaluer :

- Contenu sexuel explicite;

- Indice d'âge;

- Contrainte ;

- Identité réelle；

- Violence；

- Contexte exploitant ;

- Demande de modification interdite ;

- Tenter de couvrir la politique.

Le contexte est essentiel. Le même terme anatomique peut apparaître dans la médecine, l'enseignement des beaux-arts, les thèmes romantiques ou le contenu explicite.

Les invites de prompt peuvent être autorisées, interceptées, réécrites ou envoyées vers des voies de génération plus strictes. Lorsque l'âge ou le statut de consentement n'est pas clair, certains systèmes demanderont des éclaircissements.

Le remplacement de mots n'est pas une solution raisonnable pour faire face au blocage. Les systèmes de filtrage modernes prennent en compte la sémantique et le contexte. Les comportements consistant à contourner délibérément peuvent violer les conditions d'utilisation.

Phase 2 : Analyse de l'image d'entrée

Lorsqu'un utilisateur téléverse des matériaux de référence, ce service peut les classer :

- Nu ;

âge apparent

- Possibilité d'être un humain réel ;

- Violence；

- Matériaux illicites connus;

- Risque d'identité ou risque lié aux personnalités publiques ;

- Texte intégré;

- Cas de correspondance d'antécédents de maltraitance

L'analyse d'images est basée sur la probabilité. Les animés stylisés peuvent rendre particulièrement difficile l'évaluation de l'âge apparent. Peut-être que l'âge adulte indiqué ne peut pas masquer les caractéristiques visuelles enfantines.

Les fournisseurs de services peuvent également vérifier les métadonnées des fichiers, leur taille, leur format ainsi que les risques de logiciels malveillants. La politique de confidentialité doit indiquer les questions relatives au stockage, à l'examen manuel, aux fournisseurs et à la conservation des données.

Étape 3 : Contrôle du côté modèle

La sécurité peut être intégrée dans le processus de génération lui-même grâce à des méthodes telles que le filtrage des données d'entraînement, le réglage fin des préférences, la conditionnalisation de la sécurité, la transformation des invites ou la limitation des capacités du modèle.

Ces paramètres de contrôle affectent le contenu que le modèle a tendance à générer, même si le classificateur externe autorise l'utilisation de ce prompt. Les fournisseurs pourraient choisir des paramètres par défaut conservateurs pour s'adapter au public éducatif, professionnel ou du grand public.

L'architecture concrète varie, et les fournisseurs de services ne rendent pas publics tous les détails, car cela pourrait favoriser les abus. Ne supposez pas que tous les refus proviennent du même classificateur.

Étape 4 : Sortie de balayage

Les images générées peuvent s'éloigner des invites bénignes. Par conséquent, la plateforme analysera le contenu de la sortie pour vérifier :

- Contenu sexuel explicite;

- Mineurs ou personnes possédant les traits d'un enfant ;

- Contenu violent explicite;

- Pornographisation de personnes réelles ;

- Symboles interdits ;

- Autres catégories de politiques.

Même si le prompt est approuvé, la sortie peut tout de même être retenue. Le système pourrait régénérer le contenu, le flouter, le bloquer, enregistrer l'événement concerné ou le soumettre à la modération.

Le balayage de la sortie est crucial, car l'intention ne correspond pas parfaitement aux pixels. Cela provoque également des situations déroutantes : deux versions générées similaires obtiennent des résultats de jugement différents.

Étape 5 : Perception et appariement par hachage

Les hachages cryptographiques permettent d'identifier des fichiers parfaitement identiques ; les hachages perceptifs peuvent identifier des versions visuelles similaires après redimensionnement ou compression. Des partenariats spécifiques entre les secteurs et les forces de l'ordre contribuent à détecter des contenus illicites connus.

Cette couche n'est pas la fonctionnalité générique « recherche d'images similaires » utilisée pour attester de l'identité des auteurs ou obtenir leur consentement. Il est destiné à des scénarios d'utilisation de correspondance spécifiques.

La plateforme pourrait également détecter des re-téléchargements répétés de contenu qui a été supprimé précédemment. Les détails pertinents doivent être protégés pour empêcher les individus malveillants de contourner les mécanismes de détection correspondants.

Étape 6 : Signaux de risque comportemental

Une demande unique peut sembler ambiguë, tandis qu'un modèle indique qu'un abus existe.

Le système peut envisager :

- Requêtes illicites répétées ;

- Tenter de contourner le blocage ;

- Quantité de téléversement anormale;

- Compte partagé；

- Rapport ;

- Abus de paiement ;

- Générer et redistribuer rapidement.

Le système de comportement pourrait injustement punir les œuvres créatives inhabituelles mais légales. Les solutions matures utiliseront une application de la loi proportionnelle, un examen manuel et un mécanisme de recours.

Étape 7 : Audit des pages publiques

La génération privée et la publication publique peuvent être soumises à des règles différentes. La plateforme peut autoriser la présence d'images dans des projets privés, tout en interdisant leur apparition dans les flux de découverte, la publicité ou les espaces communautaires.

L'audit public peut analyser :

- Image；

- Titre et étiquettes ;

- Vignette;

- Profil personnel;

- Paramètres du public cible;

- Liens externes;

- Commentaires et rapports.

Tels qu'un outil Elser intelligence artificielle Il est possible de combiner plusieurs fonctions créatives, mais les utilisateurs doivent consulter les règles en vigueur de chaque plateforme de publication ou de partage. Les fonctions et les droits de publication sont séparés.

Étape 8 : Vérification manuelle

Les modérateurs humains traitent les recours, les cas complexes, les signalements et les infractions graves. Ils suivent une formation, sont soumis à un contrôle d'accès strict, une gestion des journaux d'audit et des exigences de confidentialité, et bénéficient d'un soutien psychologique.

La vérification ne signifie pas que le personnel parcourra chaque image de manière aléatoire. Une politique de confidentialité fiable doit indiquer quand l'accès aux données aura lieu et qui peut accéder aux données.

Les jugements humains peuvent optimiser le contexte, mais ils ne sont pas parfaits. Les évaluateurs peuvent être en désaccord, et les normes culturelles varient.

Principe de fonctionnement conceptuel du classificateur

Le classificateur d'images convertit les informations visuelles en notes pour chaque catégorie. La plateforme établit des règles de décision basées sur ces notes.

Les seuils plus bas intercepteront davantage de contenus à risque, mais filtreront également plus de contenus légitimes. Les seuils plus élevés réduiront les faux positifs, mais pourront manquer des abus. L'estimation de l'âge et le contenu stylisé augmentent l'incertitude.

Par conséquent, l'audit est une décision de risque plutôt qu'un fait objectif. Un excellent système intègre des modèles, des règles, des sources de contenu, des caractéristiques comportementales, un examen manuel et un mécanisme de recours, plutôt que de dépendre uniquement d'une seule note.

faux positif

Le contenu légal peut être bloqué :

- Croquis de personnages ;

- Allaitement maternel ;

- Graphiques médicaux;

- Maillot de bain;

- Amour non sexuel;

- Art historique;

- Personnages stylisés aux caractéristiques floues

Les créateurs doivent conserver les invites, les messages d'erreur, les dates et les politiques associées. Veuillez fournir un contexte concis pour effectuer un recours. Sauf si cela est requis par la procédure officielle et qu'il sera protégé, ne soumettez pas d'informations personnelles sensibles.

faux négatif

Le contenu nuisible peut être autorisé. La plateforme a besoin d'outils de signalement, d'un mécanisme d'examen rapide, de services de soutien aux victimes et d'un système d'évaluation continu. Les utilisateurs ne devraient pas prendre pour acquis que le fait qu'un contenu soit accessible équivaut à son approbation.

Si le contenu décrit des personnes réelles sans consentement ou concerne des mineurs, ne téléchargez ni ne transmettez ce contenu pour « prouver » l'existence d'un problème. Veuillez conserver les URLs pertinentes et les pièces de preuve à l'appui fournies, puis signaler le problème via les canaux de signalement appropriés.

Mesure du système d'audit

La seule précision ne suffit pas. Évaluation :

- Rappel concernant des blessures graves ;

- Taux de faux positifs par catégorie ;

- Rendus sous différentes teintes de peau et styles visuels ;

- Gestion de l'ambiguïté de l'âge ;

- Délai de décision;

Délai de procédure d'appel

- Taux de réversion;

- Traitement des récidivistes ;

- Bien-être des réviseurs ;

- transparence；

- Confidentialité et conservation.

L'éditeur doit préciser l'ensemble de test et ses limites. « Un taux de précision de 99 % » n'a aucun sens en l'absence de prévalence, de catégories et des coûts d'erreur.

Pourquoi les fournisseurs ne divulguent pas les seuils exacts

La divulgation complète pourrait permettre aux abusants d'optimiser leurs méthodes pour éviter la détection. La plateforme peut tout de même rester transparente sur les catégories de politiques, les modes de traitement des données, les droits de recours, les conséquences de l'application de la loi et les performances opérationnelles globales, sans publier de manuel d'évitement.

La confiance nécessite suffisamment d'informations pour assurer la responsabilité, plutôt que les fonctionnalités de chaque détecteur.

Les choses que les utilisateurs responsables devraient faire

- Assurez-vous que le thème soit explicitement destiné aux adultes.

- Obtenir l'autorisation de portrait authentique.

- Utilisez une entrée autorisée.

- Lire la politique actuelle.

- Ne dissimulez pas vos intentions de violation.

- Déposer un recours contre des erreurs réelles

- Signaler un contenu nuisible.

- Protéger le contenu téléversé et les comptes.

- Veuillez vérifier séparément les règles des galeries publiques.

La modération ne transfère pas la responsabilité des créateurs à la plateforme.

Foire aux questions

Le recours fait partie du système de sécurité

Les canaux de recours doivent être faciles à localiser pour les utilisateurs, les procédures associées doivent confirmer la réception des recours, protéger les données sensibles et prendre une décision de traitement dans les délais prescrits. Les catégories de recours pour affaires graves peuvent nécessiter un examen par des professionnels. Les cas de recours annulés doivent être intégrés au système d'évaluation, afin de réduire la probabilité que des contenus légitimes similaires soient à nouveau bloqués.

Les plateformes devraient évaluer quels utilisateurs peuvent introduire un recours et quels ne le peuvent pas. Exiger l'emploi de termes juridiques, fournir une pièce d'identité gouvernementale non nécessaire ou imposer à plusieurs reprises la procédure de publication publique pourrait exclure les utilisateurs vulnérables.

Les créateurs ne doivent soumettre que les informations nécessaires à l'examen de leur dossier. Le fait de demander des informations de contexte n'implique pas qu'il soit autorisé d'envoyer des images privées supplémentaires par des canaux non sécurisés.

Les enregistrements de plainte eux-mêmes doivent faire l'objet d'une conservation limitée et d'un contrôle d'accès.

Le filtre peut-il connaître l'âge exact d'une personne ?

Ce n'est généralement pas possible de le déterminer uniquement par les pixels. Le système évalue les risques en combinant des signaux visuels et contextuels, c'est pourquoi le contenu pornographique ambigu peut être bloqué.

Pourquoi le prompt a été accepté mais l'image a échoué ?

La sortie générée peut contenir des caractéristiques visuelles restreintes qui n'apparaissent pas dans le texte.

L'examen manuel signifie-t-il que le personnel examinera chaque contenu téléchargé ?

Pas forcément. Les méthodes concrètes varient. Veuillez consulter la politique de confidentialité pour connaître les conditions de déclenchement, l'accès aux données, les règles de conservation ainsi que les informations des fournisseurs concernés.

Le modèle de vérification comporte-t-il des biais ?

Leurs taux d'erreur peuvent être inégaux. Les fournisseurs concernés devraient effectuer des tests pour différents groupes démographiques, styles et scénarios, et fournir des voies de recours.

Comment puis-je contourner les faux positifs ?

Ne le contournez pas. Veuillez utiliser les voies de recours officielles ou modifier le projet pour qu'il respecte clairement les dispositions des politiques.

Conclusion

La modération d'images NSFW est un système de sécurité à plusieurs niveaux : analyse des invites de saisie, analyse du contenu d'entrée, contrôle de la génération, classification de la sortie, comparaison par correspondance, surveillance des signaux comportementaux, règles des plateformes publiques et modération manuelle.

Aucun niveau n'est parfait. Les fournisseurs de services responsables investissent des ressources dans les mesures de prévention et les procédures de recours, protègent également les données du personnel de modération et des utilisateurs, et précisent les limites de leurs politiques.

Les créateurs n'ont pas besoin de seuils secrets. Ils ont besoin de règles claires, de processus de traitement sécurisés, d'un examen impartial, ainsi que de se conformer à l'autodiscipline pour tracer une ligne nette entre les créations impliquant des adultes participant volontairement et l'exploitation.