La toxicité en ligne ne peut être jugulée que par l’intervention conjuguée des humains et des machines, selon des chercheurs de l’Université Concordia

Le passage en revue du volume stupéfiant de contenus générés chaque seconde dans les médias sociaux pour en déceler les spécimens les plus odieux est une tâche qui dépasse les seules capacités humaines.

Même si elles disposent des outils d’apprentissage profond les plus perfectionnés, les personnes dont le travail consiste à repérer et à fouiller les publications problématiques en ligne peuvent être dépassées et souvent traumatisées par ce qu’elles voient passer sur leur écran au quotidien. Les annotatrices et annotateurs travaillant à la demande, qui analysent et étiquettent les données pour améliorer les outils d’apprentissage automatique, sont souvent piètrement rémunérés pour chaque unité de travail.

Dans un article élaboré à l’Université Concordia et publié dans la revue IEEE Technology and Society Magazine, les chercheurs affirment qu’il est essentiel de soutenir ces travailleurs, ce qui exige une réévaluation constante des techniques et des outils employés pour repérer les contenus toxiques.

Les auteurs examinent les approches sociales, politiques et techniques en matière de détection automatique des contenus toxiques et en indiquent les lacunes, tout en proposant des solutions possibles.

« Nous cherchons à comprendre le fonctionnement des techniques de modération actuelles, qui mettent à contribution à la fois l’apprentissage automatique et des personnes chargées d’annoter le langage toxique », explique Ketra Schmitt, coautrice de l’article et professeure agrégée au Centre Génie et société de l’École de génie et d’informatique Gina-Cody.

La chercheuse estime que la contribution humaine demeurera un aspect indispensable de la modération. Si les méthodes de détection automatique de la toxicité employées actuellement peuvent être améliorées et le seront sans doute, aucune n’est infaillible. L’intervention humaine est essentielle pour assurer un examen des décisions.

« Le travail de modération serait impossible sans les outils d’apprentissage automatique, parce que le volume de données à examiner est colossal. Mais tout le battage médiatique entourant l’intelligence artificielle (IA) a fait perdre de vue le simple fait que les annotateurs, qui sont des êtres humains, sont nécessaires au fonctionnement de l’apprentissage automatique. Tant les humains que l’IA sont indispensables au processus de modération. »

Arezo Bodaghi est adjoint de recherche à l’Institut d’ingénierie des systèmes d’information de Concordia et le principal auteur de l’article. « Nous ne pouvons simplement nous fier à la matrice d’évaluation actuelle des outils d’apprentissage automatique et profond pour repérer les contenus toxiques, affirme-t-il. Ces systèmes doivent également être plus précis et multilingues. »

« Ils doivent également être très rapides, mais lorsque les techniques d’apprentissage automatique sont rapides, il leur arrive de perdre en précision. Il y a un compromis à faire. »

L’apport accru de données provenant de groupes diversifiés contribuera à rendre les outils d’apprentissage automatique aussi inclusifs et exempts de préjugés que possible. Il faut notamment recruter des travailleurs qui ne parlent pas l’anglais et issus de groupes sous-représentés comme les communautés LGBTQ2S+ ou racisées. Leurs contributions permettront d’améliorer les grands modèles de langage et les ensembles de données utilisés par les outils d’apprentissage automatique.

Des échanges respectueux en ligne

Les chercheurs proposent plusieurs recommandations concrètes que les entreprises peuvent mettre en œuvre pour détecter plus efficacement la toxicité.

D’abord et avant tout, il faut améliorer les conditions de travail des personnes chargées de l’annotation. De nombreuses entreprises leur versent une rémunération par unité de travail plutôt qu’un salaire horaire. De plus, les tâches d’annotation peuvent être facilement délocalisées et confiées à des travailleurs exigeant des salaires inférieurs à ceux de leurs homologues nord-américains ou européens, de sorte que certaines entreprises arrivent à payer leurs employés moins d’un dollar l’heure. En outre, peu de ressources en santé mentale sont offertes à ces travailleuses et travailleurs, qui sont sur la ligne de front et entrent en contact avec certains des contenus les plus néfastes qui circulent en ligne.

Les entreprises devraient aussi s’employer activement à promouvoir sur leurs plateformes une culture qui privilégie la bienveillance, l’entraide et le respect mutuel, à l’opposé d’autres plateformes telles que Gab, 4chan, 8chan et Truth Social, pour qui la toxicité est la marque de commerce.

L’amélioration des approches en matière d’algorithmes contribuerait à réduire le nombre d’erreurs des grands modèles de langage, qui arrivent souvent mal à discerner et à différencier les contextes et les langues.

Enfin, la culture d’entreprise au sein des plateformes a un impact sur les utilisateurs.

Lorsque la direction n’accorde pas la priorité à l’installation d’un rapport de confiance avec les utilisateurs et à la mise en place d’équipes de sécurité, ou fait carrément fi de ces aspects, les conséquences de ces décisions peuvent se faire sentir dans toute l’entreprise, ce qui risque de nuire au moral du personnel et à l’expérience utilisateur.

« Les récents événements survenus dans l’industrie montrent à quel point il est important d'avoir des travailleurs respectés, soutenus, payés décemment et jouissant de conditions sécuritaires leur permettant d’évaluer adéquatement les contenus », conclut Ketra Schmitt.

Benjamin Fung, de l’École d’informatique de l’Université McGill, a également contribué à la réalisation de l’étude.

Lisez l’article cité (en anglais seulement): Technological Solutions to Online Toxicity: Potential and Pitfalls