Malgré les interdictions, Giphy organise toujours des contenus d'auto-agitation, de discours de haine et d'abus sexuel sur un enfant – TechCrunch

Moteur de recherche d'images Giphy se présente comme un «moyen amusant et sûr» de rechercher et de créer des GIF animés. TechCrunch a appris que, malgré l'interdiction du contenu illicite, le site est jonché d'images d'auto-agression et d'abus sexuels sur des enfants.

Un nouveau rapport de la start-up israélienne de protection de l'enfance en ligne L1ght – anciennement AntiToxin Technologies – a révélé une foule de contenus toxiques dissimulés au sein de la communauté de partage populaire GIF, notamment des contenus illégaux sur les abus envers les enfants, des représentations de viol et d'autres images toxiques associées à des sujets comme le blanc. suprématie et discours de haine. Le reportage, partagé exclusivement avec TechCrunch, a également montré un contenu encourageant les téléspectateurs à perdre du poids et à créer des troubles de l'alimentation glamour.

TechCrunch a vérifié certaines des constatations de la société en effectuant une recherche sur le site à l'aide de certains mots clés. (Nous n'avons pas recherché de termes susceptibles d'avoir renvoyé un contenu sur les abus sexuels sur enfants, car cela serait illégal.) Bien que Giphy bloque de nombreux hashtags et termes de recherche pour renvoyer les résultats, les moteurs de recherche tels que Google et Bing mettent toujours les images en cache avec certains mots clés.

Lorsque nous avons testé plusieurs mots associés à un contenu illicite, Giphy a parfois affiché un contenu à partir de ses propres résultats. Lorsqu'ils ne renvoyaient aucun contenu interdit, les moteurs de recherche renvoyaient souvent un flux de résultats potentiellement interdits.

L1ght développe des solutions avancées pour lutter contre la toxicité en ligne. Lors de ses tests, une recherche de matériel illicite a donné 195 images sur la seule première page de recherche. L’équipe de L1ght a ensuite suivi les balises d’un élément à l’autre, en découvrant des réseaux de contenu illégal ou toxique en cours de route. Les étiquettes elles-mêmes étaient souvent inoffensives afin d'aider les utilisateurs à échapper à la détection, mais elles servaient de passerelle vers le matériau toxique.

Malgré l'interdiction du contenu autodestructeur, les chercheurs ont trouvé de nombreux mots clés et termes de recherche pour trouver le contenu interdit. Nous avons brouillé cette image graphique. (Image: TechCrunch)

Un grand nombre des contenus les plus extrêmes – y compris des images d'abus sexuels sur enfants – auraient été étiquetés à l'aide de mots-clés associés à des sites connus d'exploitation des enfants.

Nous ne publions pas les hashtags, les termes de recherche ou les sites utilisés pour accéder au contenu, mais nous avons transmis les informations au Centre national pour les enfants disparus et exploités, un organisme national à but non lucratif créé par le Congrès pour lutter contre l'exploitation des enfants.

Simon Gibson, responsable d'audience chez Giphy, a déclaré à TechCrunch que la sécurité du contenu était "d'une importance capitale" pour la société et qu'elle utilisait des "protocoles de modération étendus". Il a déclaré que lorsqu'un contenu illégal est identifié, la société collabore avec les autorités pour signaler et l'enlever.

Il a également exprimé sa frustration sur le fait que L1ght n'avait pas contacté Giphy avec les allégations au préalable. Il a indiqué que Giphy était déjà au courant de ses problèmes de modération de contenu.

Gibson a déclaré que le système de modération de Giphy "exploite une combinaison de technologies d'imagerie et de validation humaine", ce qui implique que les utilisateurs doivent "demander une vérification afin que leur contenu apparaisse dans notre index de recherche." Le contenu est "examiné ensuite par un groupe de ressources humaines modérateurs ", at-il dit. «Si les modérateurs ne parviennent pas à un consensus sur l’évaluation, ou si la décision du modérateur ne suscite que peu de confiance, le contenu est transmis à l’équipe interne chargée de la confiance et de la sécurité de Giphy pour un examen supplémentaire», a-t-il déclaré.

«Giphy effectue également des recherches de mots clés proactives, à l'intérieur et à l'extérieur de notre index de recherche, afin de trouver et de supprimer du contenu contraire à nos politiques», a déclaré Gibson.

Les chercheurs de Light ont utilisé leur moteur exclusif d’intelligence artificielle pour découvrir du contenu illégal et offensant. En utilisant cette plate-forme, les chercheurs peuvent trouver d'autres contenus associés, leur permettant ainsi de trouver de vastes caches de contenus illégaux ou interdits qui, autrement, resteraient pour la plupart invisibles.

Ce type de contenu toxique sévit sur les plateformes en ligne, mais les algorithmes ne jouent qu’un rôle. De plus en plus de sociétés de technologie estiment que la modération humaine est essentielle à la propreté de leurs sites. Mais à ce jour, l’accent a été mis sur les grands acteurs du secteur, tels que Facebook, Instagram, YouTube et Twitter.

Facebook, par exemple, a régulièrement été critiqué pour avoir confié la modération à des équipes de sous-traitants mal payés, qui ont souvent du mal à faire face au genre de choses qu’ils doivent regarder, même lorsqu’ils éprouvent des symptômes de type post-traumatique du fait de leur travail. Pendant ce temps, Google a été reconnu cette année comme un paradis pour les réseaux d’abus sexuels en ligne, où les criminels utilisaient la section commentaires pour se guider mutuellement vers d’autres vidéos à regarder tout en faisant des remarques prédatrices.

Giphy et d’autres petites plates-formes sont en grande partie restées à l’écart au cours des dernières années. Mais les nouvelles découvertes de L1ght indiquent qu’aucune plate-forme n’est à l’abri de ce type de problèmes.

Selon L1ght, les utilisateurs de Giphy partageant ce type de contenu rendraient leurs comptes confidentiels, de sorte qu’ils ne seraient pas facilement consultables par des tiers ou la société elle-même. Mais même dans le cas de comptes privés, le contenu abusif était indexé par certains moteurs de recherche, tels que Google, Bing et Yandex, ce qui facilitait la recherche. La firme a également découvert que les pédophiles utilisaient Giphy pour diffuser leurs documents en ligne, notamment pour communiquer entre eux et échanger des documents. Et ils n’utilisaient pas simplement le système de marquage de Giphy pour communiquer: ils utilisaient également des techniques plus avancées, telles que les balises placées sur des images par le biais de superpositions de texte.

Ce même processus a été utilisé dans d'autres communautés, y compris celles associées à la suprématie blanche, à l'intimidation, à la maltraitance d'enfants, etc.

Ce n’est pas la première fois que Giphy fait l’objet de critiques sur le contenu de son site. L’année dernière, un rapport de The Verge décrivait les efforts de la société pour repousser les contenus illégaux et interdits. L'année dernière, la société a été lancée sur Instagram pour avoir laissé passer un contenu raciste.

Giphy est loin d’être isolé, mais c’est le dernier exemple en date. Plus tôt cette année et suite à un conseil, TechCrunch a demandé à Anti-Toxin d’enquêter sur le problème des images d’abus sexuel impliquant des enfants sur le moteur de recherche Bing de Microsoft. Sous la surveillance étroite des autorités israéliennes, la société a trouvé des dizaines d'images illégales dans les résultats de la recherche de certains mots clés. Lorsque le New York Times a donné suite au rapport de TechCrunch la semaine dernière, ses reporters ont découvert que Bing avait peu fait au cours des mois écoulés pour empêcher le contenu relatif aux abus sexuels sur enfants d’apparaître dans ses résultats de recherche.

Les résultats de la recherche visaient à contrecarrer les efforts de la société pour lutter contre la maltraitance des enfants, en dépit de la mise au point de son outil de détection de photos PhotoDNA, que le géant du logiciel avait construit il y a une décennie pour identifier des images illégales à partir d'une énorme base de données de hachages de contenus connus .

Giphy’s Gibson a déclaré que la société avait été "récemment approuvée" pour utiliser le PhotoDNA de Microsoft, mais n’avait pas précisé si elle était actuellement utilisée.

Alors que certaines des entreprises de technologie parmi les plus riches, les plus grandes et les plus dotées en ressources ne parviennent pas à limiter de manière préventive l’exposition de leurs plateformes au contenu illégal, les startups comblent les lacunes en matière de modération du contenu.

L1ght, qui a un intérêt commercial dans cet espace, a été fondée il y a un an pour lutter contre les prédateurs en ligne, l'intimidation, les discours de haine, les escroqueries, etc.

La société a été créée par l’ancien directeur général d’Amobee, Zohar Levkovitz, et par l’expert en cybersécurité, Ron Porat, fondateur de ad-bloquant, Shine, après que son propre fils eut été victime d’abus en ligne dans le jeu en ligne Minecraft. La société a compris que le problème posé par ces plates-formes dépassait la capacité des utilisateurs de se protéger eux-mêmes et que la technologie devait leur venir en aide.

L’activité de L1ght consiste à déployer sa technologie de la même manière qu’elle l’a fait ici avec Giphy – afin d’identifier, d’analyser et de prédire la toxicité en ligne avec une précision quasi-temps réel.

Traduit de la source : https://techcrunch.com/2019/11/15/giphy-illegal-content/

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.