Une startup basée en Chine, Sand AI, a récemment lancé un modèle d'IA de génération vidéo sous licence ouverte, qui a attiré les éloges d'entrepreneurs tels que Kai-Fu Lee, directeur fondateur de Microsoft Research Asia. Cependant, il semble que Sand AI censure la version hébergée de son modèle pour bloquer les images susceptibles de choquer les régulateurs chinois, selon des tests réalisés par TechCrunch.
Cette semaine, Sand AI a annoncé Magi-1, un modèle capable de générer des vidéos en prédisant de manière "autoregressive" des séquences d'images. La société affirme que ce modèle peut produire des séquences de haute qualité et contrôlables tout en rendant la physique de manière plus précise que d'autres modèles ouverts concurrents.
Magi-1 est trop gourmand en ressources pour être exécuté sur la plupart des matériels grand public. Avec 24 milliards de paramètres, il nécessite entre quatre et huit GPU Nvidia H100 pour fonctionner. Pour de nombreux utilisateurs — y compris ce reporter — la plateforme de Sand AI est le seul moyen de tester Magi-1.
La plateforme requiert une image de « départ » pour initier la génération vidéo, mais toutes les images ne sont pas acceptées. TechCrunch a rapidement découvert que Sand AI bloque le téléchargement d'images représentant Xi Jinping, la place Tiananmen, Tank Man, le drapeau taïwanais et les emblèmes soutenant la libération de Hong Kong. Ce filtrage semble opérer au niveau des images — renommer les fichiers d'images n'a pas permis de contourner les restrictions.
Lorsque Sand AI détecte une image susceptible d'être interdite, la plateforme affiche un message d'erreur. Ce phénomène n'est pas unique à Sand AI ; d'autres startups chinoises comme Hailuo AI et la plateforme de médias génératifs de MiniMax bloquent également les images de Xi Jinping. Toutefois, le filtrage de Sand AI semble particulièrement rigoureux, car Hailuo permet l'utilisation d'images de Tiananmen.
Comme l’a expliqué Wired dans un article de janvier, les modèles en Chine se doivent de respecter des contrôles d'information stricts. Une loi de 2023 interdit la génération de contenu qui « nuit à l'unité du pays et à l'harmonie sociale », ce qui peut inclure des contenus contradictoires avec les récits historiques et politiques du gouvernement. Pour se conformer à cette réglementation, les startups chinoises censurent souvent leurs modèles, soit par des filtres au niveau des heuristiques d'invite, soit par un ajustement fin.
Fait intéressant, malgré le fait que les modèles chinois bloquent souvent les discours politiques, ils ont tendance à avoir moins de filtres que leurs homologues américains en ce qui concerne le contenu pornographique. Une recherche récente a rapporté que plusieurs générateurs vidéo mis en ligne par des entreprises chinoises manquaient de mesures de protection fondamentales, permettant la génération d'images non consensuelles de personnes nues.
