Des chercheurs d'OpenAI ont découvert que des propagandistes chinois utilisent ChatGPT pour rédiger des publications et des commentaires sur les réseaux sociaux, ainsi que pour créer des rapports de performance destinés à leurs supérieurs. Cette utilisation de l'intelligence artificielle d'OpenAI pour rédiger des documents internes et, dans une autre opération chinoise, pour produire du matériel marketing démontrant leur travail, survient alors que la Chine intensifie ses efforts d'influence et de surveillance en ligne.

« Nous observons de la part de la Chine une diversité croissante d'opérations secrètes utilisant diverses tactiques », a déclaré Ben Nimmo, investigateur principal de l'équipe d'intelligence et d'enquêtes d'OpenAI, lors d'une conférence téléphonique avec des journalistes sur le dernier rapport de menace de l'entreprise.

Au cours des trois derniers mois, OpenAI affirme avoir interrompu dix opérations utilisant ses outils d'IA de manière malveillante et a banni les comptes qui y étaient liés. Quatre de ces opérations auraient probablement pris leur source en Chine, selon l'entreprise.

Ces opérations liées à la Chine ciblaient divers pays et sujets, incluant même un jeu de stratégie. Certaines combinaient des éléments d'opérations d'influence, d'ingénierie sociale et de surveillance, et elles ont été actives sur plusieurs plateformes et sites web », précise Nimmo.

Une opération chinoise, surnommée « Sneer Review » par OpenAI, s'est servie de ChatGPT pour générer de courts commentaires publiés sur TikTok, X, Reddit, Facebook et d'autres sites, en anglais, chinois et ourdou. Les sujets abordés allaient du démantèlement par l'administration Trump de l'Agence des États-Unis pour le développement international — avec des posts à la fois louant et critiquant cette action — aux critiques à l'égard d'un jeu taïwanais où les joueurs tentent de vaincre le parti communiste chinois.

Dans de nombreux cas, l'opération générait un post suivi de commentaires y répondant, un comportement qui, selon le rapport d'OpenAI, « semblait conçu pour donner une fausse impression d'engagement organique ». L'opération a utilisé ChatGPT pour générer des commentaires critiques sur le jeu, puis pour rédiger un article affirmant que le jeu avait reçu un large backlash.

Les acteurs derrière Sneer Review ont aussi utilisé les outils d'OpenAI pour du travail interne, incluant la création d'un « rapport de performance décrivant en détail les étapes suivies pour établir et mener l'opération », a indiqué OpenAI. « Les comportements observés sur les réseaux sociaux au sein du réseau reflétaient de manière étroite les procédures décrites dans ce rapport. »

Une autre opération qu'OpenAI a liée à la Chine s'est concentrée sur la collecte de renseignement en se faisant passer pour des journalistes et des analystes géopolitiques. Elle a utilisé ChatGPT pour rédiger des posts et biographies de comptes sur X, traduire des emails et messages du chinois à l'anglais, et analyser des données, notamment une « correspondance adressée à un sénateur américain concernant la nomination d'un responsable gouvernemental », bien qu'OpenAI n'ait pas pu confirmer de manière indépendante si la correspondance avait été envoyée.

« Ils ont également utilisé nos modèles pour générer ce qui ressemblait à du matériel marketing », a expliqué Nimmo. Dans ces documents, l'opération prétendait avoir mené « de fausses campagnes sur les réseaux sociaux et des actes d'ingénierie sociale destinés à recruter des sources de renseignement », en adéquation avec son activité en ligne, selon le rapport d'OpenAI.

Dans son précédent rapport de menace, en février, OpenAI avait identifié une opération de surveillance liée à la Chine qui prétendait surveiller les réseaux sociaux pour « fournir des rapports en temps réel sur les protestations en Occident aux services de sécurité chinois ». L'opération avait utilisé les outils d'OpenAI pour déboguer du code et rédiger des descriptions à utiliser dans des arguments de vente pour l’outil de surveillance des réseaux sociaux.

Dans son nouveau rapport publié mercredi, OpenAI a déclaré avoir également perturbé des opérations d'influence clandestines provenant probablement de Russie et d'Iran, une opération de spam attribuée à une entreprise de marketing commercial aux Philippines, une arnaque de recrutement liée au Cambodge, et une campagne d'emploi trompeuse portant les caractéristiques des opérations connectées à la Corée du Nord.

« Il convient de reconnaître la diversité et la variété des tactiques et des plateformes que ces opérations emploient, toutes combinées », a affirmé Nimmo. Cependant, il a précisé que ces opérations ont été largement perturbées à leurs débuts et n'ont pas atteint de larges audiences réelles.

« Nous n’avons généralement pas observé que ces opérations obtenaient plus d'engagement grâce à l’utilisation de l'IA », a déclaré Nimmo. « Pour ces opérations, de meilleurs outils ne signifient pas nécessairement de meilleurs résultats. »