par Traduction de l’article: Openai caught chinese accounts using chatgpt for a social media surveillance project sur www.neowin.net par
OpenAI a révélé qu’elle a suspendu certains comptes liés à la Chine qui auraient utilisé ChatGPT pour “concevoir du matériel promotionnel et des plans de projet pour un outil d’écoute des médias sociaux”. L’entreprise affirme que les comptes suspendus utilisaient un VPN pour se connecter à l’application ChatGPT de Chine et travaillaient prétendument pour un client gouvernemental.
L’outil sur lequel ces comptes travaillaient est décrit comme une “sonde” de médias sociaux qui aide les opérateurs à surveiller des plateformes telles que X, Facebook, Instagram, Reddit, TikTok et YouTube à la recherche de contenus que les opérateurs définissent comme extrémistes ou liés à l’ethnicité, à la religion ou à la politique.
OpenAI a précisé que les comptes interdits n’utilisaient pas son système de gestion de l’information Modèles d’IA pour la surveillance des médias sociaux et que l’entreprise ne peut pas vérifier de manière indépendante si l’outil a été utilisé par une entité gouvernementale chinoise.
L’OpenAI a également banni un autre compte qui utilisait ChatGPT pour rédiger une proposition de “modèle d’alerte d’afflux à haut risque lié aux Ouïghours”. Le système proposé était censé aider les opérateurs à suivre les mouvements des Ouïghours, à les recouper avec les dossiers de la police et à émettre des alertes précoces sur les activités de voyage. Ces dernières années, les groupes de défense des droits de l’homme ont à plusieurs reprises accusé le gouvernement chinois de violer les droits des musulmans ouïghours.
Le rapport sur les menaces publié par l’OpenAI fait également la lumière sur des groupes de langue chinoise, russe et coréenne qui auraient cherché à utiliser ChatGPT pour développer et perfectionner des logiciels malveillants, notamment des chevaux de Troie d’accès à distance, des voleurs d’informations d’identification et des outils conçus pour échapper à la détection. OpenAI a déclaré qu’elle avait également perturbé des réseaux d’escroquerie basés au Cambodge, au Myanmar et au Nigeria qui avaient tenté d’utiliser ses modèles à mauvais escient.
“Nous n’avons trouvé aucune preuve de l’existence de nouvelles tactiques ou du fait que nos modèles ont fourni aux acteurs de la menace de nouvelles capacités offensives. En fait, nos modèles ont systématiquement refusé les requêtes malveillantes”, a ajouté l’OpenAI.
Depuis février 2024, à la suite de la publication de ses rapports publics sur les menaces, OpenAI a perturbé et signalé plus de 40 réseaux qui violaient les politiques de l’entreprise.
