Maman blâme Character.AI pour la mort de son adolescent

Maman blâme Character.AI pour la mort de son adolescent

Une mère de Floride a récemment intenté une action en justice contre la société d'intelligence artificielle Character.AI et Google, car elle pense qu'ils ont contribué à la mort de son fils en février 2024.

Le fils de Megan Garcia, Sewell Setzer III, âgé de 14 ans, s'est suicidé après s'être engagé dans une relation émotionnelle et sexuelle virtuelle de près d'un an avec un chatbot sur Character.AI. Il avait l'identité de Daenerys Targaryen, un personnage de Game of Thronesque l’adolescent a appelé « Dany ».

Dans le procès déposé devant le tribunal de district américain d'Orlando, Garcia détaille les moments de la dernière année de vie de son fils, notamment le moment où il a commencé à utiliser Character.AI en avril 2023, ses problèmes de santé mentale croissants et sa blessure par balle auto-infligée. Le procès comprend des conversations avec le chatbot au cours desquelles le fils de Garcia a exprimé des pensées suicidaires, ainsi que la dernière interaction de l'adolescent avec Dany qui a eu lieu juste avant sa mort.

Le procès ajoute Character.AI et ses fondateurs, « intentionnellement conçus et programmés C.AI pour fonctionner comme un produit trompeur et hypersexualisé et l'ont sciemment commercialisé auprès d'enfants comme Sewell ».

Il y a beaucoup de choses à dévoiler ici, mais le procès met en évidence les dangers potentiels qui se cachent en ligne pour les enfants et les adolescents et la nécessité pour les plateformes de devenir plus sûres. Comme l'expliquent les experts, les enfants et les adolescents peuvent être vulnérables aux plateformes comme Character.AI.

Qu’est-ce que Character.AI ?

Fondée en 2021, Character.AI est une application de jeu de rôle où les utilisateurs peuvent discuter avec des personnages qu'ils créent eux-mêmes ou avec des personnages prédéfinis.

Titania Jordan, directrice des parents et directrice marketing chez Bark, une entreprise visant à protéger les enfants en ligne, explique que Character.AI est un chatbot alimenté par l'IA auquel vous accédez via un navigateur Web ou une application.

« L'objectif est de fournir aux humains des « amis » numériques qui peuvent être basés sur de vraies personnes », dit-elle. « Vous pouvez faire semblant de discuter avec Benjamin Franklin ou Taylor Swift, par exemple, ou avec des personnages complètement nouveaux que vous créez à partir de zéro. »

Character.AI utilise des modèles de langage pour créer le texte. Il ne s'agit pas de les concevoir délibérément pour dire quoi que ce soit, bon ou mauvais, explique Jordan.

« La technologie recherche simplement sur Internet des mots similaires à ceux utilisés, puis crache les mots habituels qui les suivent », explique-t-elle. « Les discussions sur les émotions humaines peuvent sembler réelles parce que leur texte source est constitué de véritables conversations d'humains éprouvant réellement ces émotions. »

De plus, les personnages peuvent jouer un rôle dans les mots utilisés. « Créer un personnage issu de Game of Thronespar exemple, présentera des conversations très dramatiques et violentes, car c'est le sujet de la série », explique Jordan.

Character.AI est-il sans danger pour les enfants ?

Character.AI n’est pas recommandé pour les jeunes enfants. Les conditions d'utilisation de l'entreprise à partir de 2023 stipulent que les utilisateurs doivent avoir au moins 13 ans pour l'utiliser aux États-Unis. Mais aucune vérification de l’âge n’est en place. Gardez à l’esprit que l’App Store attribue à Character.AI une note de 17+.

Bark recommande uniquement aux personnes de 15 ans et plus d'utiliser la plateforme. Et, comme pour toute plateforme, les adolescents qui l’utilisent peuvent avoir des inquiétudes. Les plus grandes menaces sont les contenus inappropriés, tels que les contenus sexuels ou la violence, ainsi que la dépendance, explique Jordan.

« Je me suis personnellement engagé avec Character.AI et j'ai nommé mon personnage Harry Styles, et en moins d'une minute, il flirtait avec moi et prenait la personnalité de ce que l'on peut imaginer que la célébrité incarnerait », partage Jordan. «Je peux voir à quel point cela peut dégénérer très rapidement pour un enfant.»

Les adolescents peuvent être particulièrement attirés par ce type de plateforme, car elle peut fournir une caisse de résonance pour de grands sentiments, en particulier la solitude. « Avoir un compagnon qui les soutient constamment peut être attrayant pour les adolescents qui se sentent incompris ou exclus », explique Jordan.

Elle poursuit : « Même si les chatbots ne sont pas réels – le site Web affiche même constamment un avertissement qui dit : « Rappelez-vous : tout ce que disent les personnages est inventé ! » – les enfants peuvent ignorer ces signaux d'alarme et commencer à s'appuyer émotionnellement sur ces personnages inexistants. .»

Jordan affirme que les plateformes ont la responsabilité d'assurer la sécurité, et ce n'est pas toujours le cas.

« C'est cependant le travail du site Web de modérer ces conversations afin que la violence excessive ou le contenu sexuel ne passe pas », dit-elle. « Comme nous l’avons vu lors de cette récente tragédie déchirante, les chatbots IA peuvent encourager les personnes vulnérables, comme les enfants, à se suicider. »

Après le décès récent en Floride, Character.AI affirme qu'il met en place une surveillance accrue de la façon dont il modère les conversations. Il indique qu'il déploiera de nouvelles fonctionnalités de sécurité, notamment « des modifications de nos modèles pour les mineurs (de moins de 18 ans) conçues pour réduire la probabilité de rencontrer du contenu sensible ou suggestif ».

Google, qui a conclu un accord en août pour obtenir une licence sur la technologie Character.AI, a déclaré Reuters la société n'était «pas impliquée dans le développement des produits Character.AI».

Comment contribuer à assurer la sécurité des enfants

Il est essentiel que les parents aient des conversations avec leurs enfants sur l'utilisation de la technologie et de toute plateforme qu'ils pourraient utiliser, et qu'ils continuent à en avoir.

Enregistrez-vous avec eux

Laura Compian Kauffman, PhD, psychologue agréée basée en Californie, affirme que les parents peuvent généralement entamer des conversations avec leurs enfants sur les menaces potentielles de la technologie de l'IA de la même manière que pour la sécurité générale sur Internet.

« Tout comme nous éduquons nos adolescents sur le danger des prédateurs potentiels et sur leur scepticisme à l'égard des faux matériaux, nous pouvons de la même manière leur apprendre à aborder l'IA avec une considération éclairée et réfléchie », dit-elle. « Une partie importante de la conversation avec les adolescents devrait impliquer une formation générale autour de la technologie de l'IA pour aider les adolescents à comprendre la 'machine' derrière l'outil. »

Expliquez aux enfants que même si l’IA peut sembler très réelle, elle n’est pas humaine. « La technologie de l'IA peut être utile, mais les adolescents devraient être encouragés à s'appuyer d'abord sur l'acquisition de compétences sociales, sur les compétences individuelles de tolérance à la détresse et à se tourner vers de vraies personnes, y compris les soignants et les amis », conseille le Dr Kauffman.

Utiliser les fonctions de sécurité

Il n’est peut-être pas possible d’éloigner complètement les enfants de certaines plateformes. Dans ce cas, la mise en œuvre de fonctionnalités de sécurité pourrait être utile.

Jordan explique que Character.AI dispose d'un filtre « non sûr pour le travail » (NSFW) qui est censé détecter toutes les réponses inappropriées de l'IA. La plateforme ne prend pas en charge les contenus pornographiques et, selon son site, « évalue constamment les limites de ce que nous soutenons ».

« Lors de nos tests de l'application, nous avons constaté que le filtre était suffisant pour empêcher les conversations de devenir trop graphiques », explique Jordan. « Mais il est important que les parents se souviennent qu'aucun filtre n'est parfait et qu'il est toujours possible que votre enfant trouve du contenu inquiétant ou soit induit en erreur en pensant qu'il y a un élément humain et un aspect relationnel dans ce temps passé en ligne. »

Soyez attentif aux signes de problèmes

Un autre problème important à garder à l’esprit est qu’un enfant pourrait devenir accro à la plateforme. « Les limites de temps d'écran sont déjà assez difficiles à imposer aux adolescents, mais lorsqu'ils sont émotionnellement attachés à un chatbot, cela peut devenir encore plus difficile », observe Jordan.

L’utilisation de la technologie peut avoir des conséquences néfastes. Jordan et le Dr Kauffman conseillent de surveiller les signes avant-coureurs de problèmes de santé mentale, tels que :

  • Perte d'intérêt pour les passe-temps ou les activités
  • Se retirer de ses amis et de sa famille
  • Modifications des habitudes de sommeil ou d'alimentation
  • Changements de notes
  • Anxiété accrue lorsque vous ne parvenez pas à vous connecter
  • Discours négatifs et perception du monde

La mère de Sewell a remarqué que son fils commençait à se comporter différemment, ce qui a suscité des inquiétudes. « Il a commencé à se retirer socialement, voulant passer la plupart de son temps seul dans sa chambre », a-t-elle déclaré. Matins CBS. « Pour moi, c’est devenu particulièrement inquiétant lorsqu’il a cessé de vouloir faire des choses comme faire du sport. Je me suis inquiété lorsque nous partions en vacances et il ne voulait pas faire des choses qu'il aimait comme la pêche et la randonnée.

Le Dr Kauffman dit : « Posez des questions et écoutez attentivement. Si votre adolescent fait part de pensées et de sentiments de dépression, faites-lui savoir que vous l’aimez inconditionnellement, que vous êtes là pour lui et que vous y parviendrez ensemble.

Mais que votre enfant s'ouvre à vous ou non, consultez son fournisseur de soins de santé si vous remarquez l'un des signes ci-dessus et si vous êtes inquiet. Vous pouvez également consulter leur conseiller à l'école pour obtenir des services de soutien, ainsi que des références vers des thérapeutes de confiance, suggère le Dr Kauffman.