Le régulateur australien de la sécurité en ligne a exprimé des inquiétudes concernant la plateforme d'IA Grok, au moment où le nombre de plaintes liées à des images sexuelles générées par l'IA sans consentement a augmenté brusquement.
Le commissaire eSafety a déclaré que les signalements d'abus basés sur des images créées à l'aide de l'intelligence artificielle ont doublé depuis la fin de 2025, reflétant une montée générale à l'échelle mondiale de l'utilisation abusive des outils d'IA générative. Certaines des plaintes examinées par le régulateur impliquaient des enfants, ce qui a fait passer l'incident à un niveau sérieux de préoccupation criminelle et de sécurité des enfants.
Selon le commissaire, les systèmes d'IA capables de produire à grande échelle des images réaliste sont de plus en plus exploités pour créer du contenu sexuel deepfake sans consentement. Les victimes subissent souvent un profond trouble émotionnel, des dommages à leur réputation et des préjudices psychologiques à long terme, tandis que la suppression de ces contenus peut être lente et difficile une fois qu'ils se sont répandus en ligne.
Grok a été cité dans le cadre de l'examen plus large mené par le régulateur sur les plateformes d'IA et leurs mesures de protection, plutôt que comme la seule source d'abus. Le commissaire a souligné que tous les développeurs d'IA et opérateurs de plateformes ont la responsabilité d'implémenter des protections solides, y compris une modération renforcée du contenu, des mesures de protection contre les abus, et des processus rapides de retrait.
L'Australie dispose de certaines des lois les plus strictes au monde en matière de sécurité en ligne, accordant au commissaire de la sécurité en ligne le pouvoir d'émettre des avis de retrait et des amendes aux plateformes qui ne réagissent pas aux contenus nuisibles. Toutefois, l'évolution rapide de l'IA générative met à l'épreuve les limites des cadres réglementaires existants.
« La vitesse et la réalisme des images générées par l'IA ont fondamentalement changé l'échelle de l'abus basé sur les images », a déclaré le commissaire, mettant en garde contre le fait que, sans des contrôles préventifs plus stricts, les plaintes risquent de continuer à augmenter.
Le régulateur est désormais en contact avec les entreprises d'IA, les forces de l'ordre et les partenaires internationaux afin de relever le défi, tout en encourageant les utilisateurs à signaler les contenus nuisibles et à rechercher des services d'aide lorsqu'ils en ont besoin.
À mesure que les outils d'IA générative deviennent plus accessibles, ce cas met en lumière la pression croissante exercée sur les entreprises technologiques pour concilier innovation et responsabilité, ainsi que sur les gouvernements pour adapter leurs lois de sécurité à un internet dominé par l'IA.
#AIAbuse #Deepfakes #OnlineSafety #ArtificialIntelligence #TechRegulation
