Cette application d’IA est qualifiée de « risque inacceptable » pour les enfants

Common Sense Media publie de nouvelles évaluations des risques concernant deux produits OpenAI populaires : le chatbot multi-usage mis à jour de ChatGPT et Sora, une application qui crée des vidéos générées par l’IA. Malgré quelques mises à jour récentes, Common Sense Media considère toujours ChatGPT comme un risque élevé pour les enfants. Mais l’évaluation de Sora par le groupe est encore plus préoccupante, la qualifiant d’« inacceptable » en termes de risques potentiels pour les enfants.

La plupart des parents connaissent ChatGPT, mais beaucoup d’entre nous n’ont pas entendu parler de Sora. En effet, Sora n’a été proposé qu’à un nombre limité d’utilisateurs jusqu’en septembre de cette année, lorsque Sora 2 est devenu plus largement disponible en téléchargement sur l’App Store iOS.

Avec Sora, vous pouvez créer une vidéo générée par l’IA en quelques secondes, y compris en utilisant votre propre image, et il n’y a pratiquement aucune surveillance ni contrôle parental. Tout cela est inquiétant – et oui, un peu terrifiant. C’est pourquoi nous avons contacté des experts dans le domaine pour nous aider à comprendre les dernières informations sur les risques de l’IA pour les enfants, y compris ce que les parents doivent savoir sur Sora et les vidéos sur l’IA.

Qu’est-ce que Sora et comment ça marche ?

Sora est un générateur vidéo IA créé par OpenAI, la même société qui fabrique ChatGPT. Sora peut créer des vidéos extrêmement réalistes, et tout ce que vous avez à faire est de saisir un texte décrivant ce que vous souhaitez que la vidéo représente.

« C’est comme ChatGPT, mais pour la vidéo plutôt que pour le texte », explique Robbie Torney, directeur principal des programmes d’IA chez Common Sense Media. « Les utilisateurs peuvent créer leurs propres vidéos et faire défiler un flux de contenu généré par l’IA similaire à TikTok, sauf que rien n’est réel. »

Bien que les vidéos soient principalement partagées via le flux des réseaux sociaux Sora, les vidéos sont « absolument partageables » au-delà de Sora, explique Torney, expliquant que les vidéos peuvent être partagées sur des plateformes plus familières comme TikTok, Instagram, YouTube ou Discord.

Même si Sora marque ses vidéos avec des filigranes, ceux-ci peuvent être supprimés ou ignorés une fois que les vidéos de Sora se sont propagées sur d’autres plateformes de médias sociaux, selon Torney.

« Cela rend presque impossible pour quiconque de dire ce qui est réel lorsque les vidéos générées par l’IA se mélangent avec du contenu authentique sur les réseaux sociaux », décrit-il.

Pourquoi Sora est-il dangereux pour les enfants ?

Dans sa dernière évaluation, Common Sense Media a jugé Sora « inacceptable ». Les plus grandes préoccupations citées dans le rapport étaient les suivantes :

• Surveillance minimale du contenu, ce qui signifie que les contenus préjudiciables (contenus sur les troubles de l’alimentation, stéréotypes, activités dangereuses) peuvent facilement s’infiltrer.
• Absence d’avertissements de sécurité concernant les contenus préjudiciables ou dangereux.
• Contenu dangereux présenté de manière attrayante, avec des tons optimistes, colorés et ludiques.
• Contrôles parentaux très minimes.
• La fonction camée, qui permet à l’image de votre enfant d’être potentiellement dupliquée sous forme vidéo et utilisée à mauvais escient.

Une préoccupation majeure avec Sora est l’absence totale de contrôle parental. Sora dispose de systèmes de sécurité nettement plus faibles que ChatGPT, explique Torney.

« Les parents ne disposent que de trois contrôles : le basculement du flux personnalisé, le basculement du défilement continu et les messages directs », décrit-il.

Cela signifie qu’il n’y a aucun moyen de voir ce que les adolescents regardent, partagent ou créent. Il n’y a pas non plus d’alertes concernant les comportements préoccupants.

De plus, Sora « génère facilement du contenu sur les troubles de l’alimentation, des références à l’automutilation et des activités dangereuses que ChatGPT bloque », explique Torney. En plus de cela, Sora fournit un minimum de ressources ou d’avertissements de crise.

Un autre aspect particulièrement inquiétant de Sora est le réalisme des vidéos.

« Comme beaucoup de vidéos d’IA que vous voyez en ligne de nos jours, celles de Sora sont très réalistes et souvent difficiles à distinguer des images réelles », explique Yaron Litwin, expert en médias sociaux et directeur marketing de l’application de contrôle parental Canopy. Lorsque l’on considère le contenu dangereux de certaines de ces vidéos, il y a de nombreuses raisons de s’inquiéter.

« Des vidéos peuvent être créées glorifiant le suicide et promouvant des normes de beauté irréalistes, qui peuvent provoquer ou aggraver des troubles de l’alimentation chez les enfants et les adultes », explique Litwin.

On craint également que les vidéos générées par l’IA sur des plateformes comme Sora puissent être utilisées à des fins de cyberintimidation et d’humiliation.

Ce qu’il faut savoir sur la fonctionnalité Cameo de Sora

Une fonctionnalité particulièrement troublante est la fonction camée de Sora, qui vous permet d’autoriser l’application à utiliser votre propre image dans les vidéos.

« La fonction camée permet aux utilisateurs de télécharger leur visage et leur voix pour créer une version IA d’eux-mêmes qui peut apparaître dans des vidéos générées par l’IA », décrit Torney. « C’est censé être amusant et divertissant (et ça peut l’être), mais cela ouvre de sérieuses portes à une mauvaise utilisation. »

Voici le principal problème : une fois que votre camée est diffusé dans le monde, votre image est à portée de main.

« Toute personne ayant accès au caméo d’un adolescent peut créer des vidéos entièrement nouvelles montrant cet adolescent dans des scénarios, disant des choses ou faisant des activités auxquelles l’adolescent n’a jamais consenti », explique Torney. Cela crée des risques majeurs d’intimidation et de harcèlement.

De plus, Sora ne laisse pas les parents empêcher les adolescents de créer ou de partager des camées, explique Torney. Habituellement, au moment où le caméo sort, il est trop tard.

« Les caméos peuvent se propager très rapidement avant qu’un enfant n’ait la possibilité de réprimer les autorisations qu’il a déjà données, et l’image de l’enfant peut être utilisée dans un contenu humiliant ou sexuel qui peut se propager comme une traînée de poudre sur Internet », explique Litwin.

ChatGPT est-il une meilleure option d’IA pour les enfants ?

Bien que ChatGPT, y compris sa version la plus mise à jour, ChatGPT-5, dispose de plus de contrôles parentaux que Sora, le nouveau rapport Common Sense qualifie toujours ChatGPT de « à haut risque » pour les enfants. Les principaux enjeux cités dans ce rapport concernent la santé mentale et le soutien émotionnel.

« ChatGPT est très différent de Sora », explique Torney. « Il dispose de systèmes de sécurité beaucoup plus puissants et peut réellement être utile pour l’apprentissage s’il est utilisé de manière appropriée. »

Mais des risques importants en matière de santé mentale et de soutien émotionnel subsistent. C’est parce qu’un grand nombre d’adolescents utilisent ChatGPT pour la compagnie et pour le soutien émotionnel, explique Torney.

Le problème ici est que ChatGPT ne peut pas évaluer la gravité d’un problème rencontré par un enfant, reconnaître les signes avant-coureurs de problèmes de santé mentale ou fournir le soutien que peuvent faire les adultes ou les professionnels de la santé mentale.

« Il est conçu pour poursuivre les conversations, et non pour y mettre fin, même dans les conversations sur la santé mentale où l’objectif devrait être un transfert rapide vers les soins humains », décrit Torney.

Devriez-vous laisser votre enfant utiliser Sora ou ChatGPT ?

En ce qui concerne ChatGPT, Torney dit qu’avec le contrôle parental en place, cela peut convenir à certains adolescents. Mais il est important d’avoir des conversations explicites avec votre enfant sur le fait qu’il devrait jamais être utilisé pour un soutien émotionnel ou des conseils en matière de santé mentale.

« ChatGPT peut être utilisé de manière plus sûre que Sora, mais comme toute technologie, il nécessite une parentalité active, pas seulement d’activer les commandes et d’espérer le meilleur », dit-il.

Quant à Sora, Common Sense Media recommande fortement à votre enfant de s’en éloigner complètement pour le moment.

« Compte tenu des risques importants et des protections minimales, nous recommandons aux adolescents de ne pas utiliser Sora », explique Torney.

Si votre enfant est assez jeune, vous pouvez bloquer Sora sur son appareil ou surveiller son appareil pour vous assurer qu’il ne l’a pas téléchargé. Mais cela peut devenir un peu plus risqué à mesure que les enfants grandissent.

« Interdire l’application peut sembler la solution la plus simple, mais la plupart des étudiants sont incroyablement doués en technologie », déclare Laura Tierney, fondatrice du Social Institute.

Les adolescents et les adolescentes trouvent souvent des moyens d’explorer de nouvelles plateformes, même si les parents tentent de verrouiller les choses, dit-elle.

« Au lieu de me concentrer uniquement sur le blocage ou la surveillance, j’encourage le regroupement », explique Tierney. « Cela signifie maintenir des conversations ouvertes avec votre enfant sur ce qui est sûr, ce qui ne l’est pas et sur la façon de faire des choix intelligents en ligne. »

Litwin convient qu’il est important d’avoir une conversation continue avec vos enfants sur les risques liés aux applications comme Sora.

« Faites-leur savoir qu’il n’y a fondamentalement aucun inconvénient à minimiser son empreinte numérique, ce qui peut les suivre dans leurs relations ultérieures, à l’école et au travail », souligne-t-il.