Comment les algorithmes des médias sociaux blessent les filles noires

Au début de la vingtaine, j’étais profondément impliquée dans le mouvement #BlackLivesMatter en ligne et je me tournais régulièrement vers les réseaux sociaux pour lutter contre l’injustice raciale et m’impliquer dans l’activisme de base. Cependant, mon expérience avec les médias sociaux a radicalement changé lorsque les images de Noirs morts et mourants ont commencé à devenir virales.

D’abord, c’était Eric Garner. Puis Sandra Bland. Puis Philando Castille.

Comme de nombreux autres utilisateurs de médias sociaux, j’ai rencontré ces vidéos horribles par accident, car les plateformes de médias sociaux les lisaient automatiquement sans censure ni avertissement de contenu. Pendant des semaines, mes chronologies sur les réseaux sociaux ont été remplies d’images horribles et, pour aggraver les choses, les réponses comprenaient souvent des insultes raciales, des blagues insensibles et des accusations selon lesquelles les victimes méritaient de mourir.

Alors que de plus en plus de vidéos devenaient virales, je pouvais sentir quelque chose en moi commencer à changer. J’avais de la difficulté à me concentrer sur mes cours de deuxième cycle; J’étais réticent à me rendre en classe en voiture de peur de rencontrer la police; et j’ai commencé à avoir des crises de panique chaque fois qu’une discussion en classe faisait référence aux meurtres.

Alors que recherche de Common Sense Media a récemment souligné l’impact des médias sociaux sur la santé mentale des filles en général, j’ai commencé à me demander comment les meurtres viraux de la police touchaient en particulier les filles noires. Après tout, les filles noires maintenir certains des taux les plus élevés d’utilisation des médias sociaux et sont plus susceptibles de rencontrer du contenu lié à la race que d’autres groupes en ligne. Après avoir mené une étude avec près de 20 filles noires (âgées de 18 à 24 ans) aux États-Unis et au Canada, mes craintes initiales ont été confirmées : les filles noires signalaient des niveaux sans précédent d’anxiété, de dépression, de peur et de stress chronique en rencontrant la mort noire en ligne.

Beaucoup de filles ont lutté contre l’insomnie, les migraines, les nausées et de longues périodes d ‘«engourdissement» et de dissociation à la suite de meurtres très médiatisés.

Pour Natasha, « voir des Noirs se faire tuer par la police, ça fait quelque chose psychologiquement ». Evelyn ressent la même chose, notant: « Quand des gens meurent ou quand des hommes noirs sont abattus par la police et que les gens publient la vidéo, c’est traumatisant. » Danielle capture le mal collectif des meurtres de la police sur les filles noires, notant: «Nous avons tous le SSPT… à cause des médias sociaux, à cause de toute cette couverture constante… émotionnellement, je peux dire que cela a eu un impact sur moi. de nous. » Sans surprise, ces problèmes de santé mentale ont eu un effet direct sur les expériences scolaires des filles, et beaucoup d’entre elles se sentaient trop dépassées, émotionnellement déclenchées ou physiquement épuisées pour s’engager à l’école.

Bien que les vidéos de mort virales aient été l’une des causes les plus importantes de traumatismes numériques, elles n’étaient pas la seul source de stress lié à la race pour les filles noires en ligne. Les filles de mon étude naviguaient dans un réseau multiforme de racisme anti-noir qui menaçait constamment leur bien-être physique et mental.

Après avoir posté sur #BLM, Danielle a reçu « des centaines de milliers de personnes dans mes DM m’appelant [racial slurs]… Cela vous coûte juste cher. Bien qu’elle ait tenté de signaler les attaques numériques via le programme de modération de contenu automatisé de Twitter, ses signalements ont été systématiquement refusés. Il en était de même pour les autres participants, dont les messages sur le chagrin racialisé, l’organisation de la base et la nécessité de protéger la vie des Noirs étaient régulièrement signalés et supprimés comme «discours de haine».

Ces expériences racialement disparates avec la modération de contenu m’ont laissé perplexe. Comment les algorithmes conçus pour protéger contre le racisme et les discours de haine pourraient-ils identifier appelle à mettre fin à la violence anti-noire comme une menace pour la sécurité de la communauté, mais sélectionnez vidéos de Noirs morts et mourants être hyperdiffusé pendant des jours, voire des semaines, sans censure ni avertissement de contenu ?

La réponse à cette question apparemment complexe est en fait assez simple : les technologies numériques sont conçues pour reproduire la logique raciale qui produit, fétichise et profite financièrement de la mort et de la mort des Noirs. hors ligne. Dans une société où la mort noire a toujours été extrêmement lucrative, l’activisme pour la justice raciale constitue une menace directe pour la rentabilité et la viabilité de la suprématie blanche. Les algorithmes qui identifient la mort noire comme un « clickbait » et la critique systémique comme une « menace pour la sécurité collective » ont tout simplement du sens.

La recherche sur le fonctionnement interne de la viralité et de la modération de contenu rend cette réalité de plus en plus claire. Selon Google Trends, le meurtre de Noirs américains sanctionné par l’État fait partie des requêtes de recherche les plus populaires de l’histoire de Google. Que ce soit George Floyd, Philando Castile ou Eric Brown, les recherches par mots-clés les plus populaires pour les victimes de brutalités policières sont toujours les mêmes : vidéo de la mort, étranglement, vidéo de tournage, cadavre. [Image 1.1 & 1.2].

Ici, nous pouvons voir les incitations monétaires à la mort virale des Noirs commencer à émerger : lorsque les images de Noirs tués par la police recueillent plus de 2,4 millions de clics en 24 heures, et que le « coût par clic » moyen pour le contenu connexe peut aller de 1 $ à 6 $. par clic [Image 1.3]la viralité de la peste noire est non seulement encouragée mais presque garantie.

Les systèmes de modération de contenu raciste contribuent à cimenter cette nécropolitique racialement violente. Au moment de mon étude, les algorithmes des médias sociaux étaient programmés pour protéger les hommes blancs des discours de haine, mais pas les enfants noirs. Tel que rapporté sur ProPublica« Facebook supprime les jurons, les insultes, les appels à la violence et plusieurs autres types d’attaques uniquement lorsqu’ils sont dirigés contre des » catégories protégées « – basées sur la race, le sexe, l’identité de genre, l’appartenance religieuse, l’origine nationale, l’origine ethnique, l’orientation sexuelle et la gravité. handicap/maladie.

Les hommes blancs sont considérés comme un groupe protégé parce que les deux traits qu’ils possèdent sont protégés. Mais, les conductrices et les enfants noirs, par exemple, comme les musulmans « radicalisés », ne sont pas protégés, car une de leurs caractéristiques est « non protégée ». Selon ces règles, un message réprimandant des hommes blancs pour le meurtre de Noirs serait immédiatement signalé comme un discours de haine. En revanche, les insultes contre les jeunes Noirs seraient considérées comme une « expression politique légitime ».

Avec ce calcul racial au premier plan, la source de la modération du contenu raciste devient de plus en plus claire : les messages des filles noires sont réduits au silence non pas parce qu’ils menacent la communauté, mais parce qu’ils menacent le patriarcat suprémaciste blanc.

Et la mort noire devient virale non pas parce qu’elle apportera la justice raciale ou la fin de la brutalité policière, mais parce que la mort noire est une grande entreprise.