Pas magique : un outil d’IA opaque peut signaler les parents handicapés
Pendant les deux semaines pendant lesquelles la petite fille des Hackneys est restée dans un lit d’hôpital de Pittsburgh, affaiblie par la déshydratation, ses parents l’ont rarement quittée, dormant parfois sur le canapé convertible de la chambre.
Ils sont restés avec leur fille 24 heures sur 24 lorsqu’elle a été transférée dans un centre de réadaptation pour reprendre des forces. Enfin, la fillette de 8 mois a cessé de battre ses biberons et a recommencé à prendre du poids.
« Elle allait bien et nous avons commencé à lui demander quand peut-elle rentrer chez elle », a déclaré Lauren Hackney. « Et puis à partir de ce moment-là, à l’époque, ils nous ont complètement bloqués et n’ont jamais rien dit. »
Le couple a été stupéfait lorsque des responsables de la protection de l’enfance se sont présentés, leur ont dit qu’ils avaient fait preuve de négligence et ont emmené leur fille.
« Ils avaient des papiers de garde et ils l’ont emmenée sur-le-champ », se souvient Lauren Hackney. « Et nous avons commencé à pleurer. »
Plus d’un an plus tard, leur fille, aujourd’hui âgée de 2 ans, reste en famille d’accueil. Les Hackney, qui ont une déficience intellectuelle, ont du mal à comprendre comment emmener leur fille à l’hôpital alors qu’elle refusait de manger pourrait être considérée comme si négligente qu’elle devrait être retirée de chez elle.
Ils se demandent si un outil d’intelligence artificielle que le département des services sociaux du comté d’Allegheny utilise pour prédire quels enfants pourraient être en danger les a isolés en raison de leur handicap.
Le ministère américain de la Justice pose la même question. L’agence enquête sur le système de protection de l’enfance du comté pour déterminer si son utilisation de l’algorithme influent est discriminatoire à l’égard des personnes handicapées ou d’autres groupes protégés, a appris l’Associated Press. Plus tard ce mois-ci, les avocats fédéraux des droits civiques interrogeront les Hackneys et la mère d’Andrew Hackney, Cynde Hackney-Fierro, a déclaré la grand-mère.
Lauren Hackney souffre d’un trouble d’hyperactivité avec déficit de l’attention qui affecte sa mémoire, et son mari, Andrew, souffre d’un trouble de la compréhension et de lésions nerveuses suite à un accident vasculaire cérébral subi dans la vingtaine. Leur petite fille n’avait que 7 mois lorsqu’elle a commencé à refuser de boire ses biberons. Confrontés à une pénurie nationale de formules, ils ont voyagé de la Pennsylvanie à la Virginie-Occidentale à la recherche d’un produit et ont été contraints de changer de marque. Le bébé n’avait pas l’air d’aimer ça.
Son pédiatre les a d’abord rassurés sur le fait que les bébés peuvent parfois être inconstants à s’alimenter et a proposé des idées pour l’aider à retrouver l’appétit, ont-ils déclaré.
Quand elle est devenue léthargique quelques jours plus tard, ont-ils dit, le même médecin leur a dit de l’emmener aux urgences. Les Hackneys pensent que le personnel médical a alerté les services de protection de l’enfance après s’être présenté avec un bébé déshydraté et mal nourri.
C’est à ce moment-là qu’ils pensent que leurs informations ont été introduites dans l’outil de dépistage familial d’Allegheny, qui, selon les responsables du comté, est la procédure standard pour les allégations de négligence. Bientôt, un travailleur social est apparu pour les interroger et leur fille a été envoyée en famille d’accueil.
Au cours des six dernières années, le comté d’Allegheny a servi de laboratoire du monde réel pour tester des outils de protection de l’enfance basés sur l’IA qui analysent des tonnes de données sur les familles locales pour essayer de prédire quels enfants sont susceptibles de faire face à un danger dans leur foyer. Aujourd’hui, les agences de protection de l’enfance d’au moins 26 États et de Washington, DC, ont envisagé d’utiliser des outils algorithmiques, et des juridictions d’au moins 11 les ont déployés, selon l’American Civil Liberties Union.
L’histoire des Hackneys – basée sur des entretiens, des e-mails internes et des documents juridiques – illustre l’opacité entourant ces algorithmes. Même s’ils se battent pour récupérer la garde de leur fille, ils ne peuvent pas remettre en question le « score de risque » que l’outil du comté d’Allegheny a pu lui attribuer, car les autorités ne le leur divulgueront pas. Et ni le comté ni les personnes qui ont construit l’outil n’ont jamais expliqué quelles variables auraient pu être utilisées pour mesurer les capacités des Hackney en tant que parents.
« C’est comme si vous aviez un problème avec quelqu’un qui a un handicap », a déclaré Andrew Hackney dans une interview depuis leur appartement de la banlieue de Pittsburgh. « Dans ce cas, vous finissez probablement par vous attaquer à tous ceux qui ont des enfants et qui ont un handicap. »
Dans le cadre d’une enquête d’un an, l’AP a obtenu les points de données sous-tendant plusieurs algorithmes déployés par les agences de protection de l’enfance, dont certains marqués « CONFIDENTIEL », offrant un aperçu rare des mécanismes à l’origine de ces technologies émergentes. Parmi les facteurs qu’ils ont utilisés pour calculer le risque d’une famille, que ce soit directement ou par procuration : la race, les taux de pauvreté, le statut d’invalidité et la taille de la famille. Ils incluent si une mère a fumé avant d’être enceinte et si une famille a déjà eu des plaintes de maltraitance ou de négligence à l’égard d’un enfant.
Ce qu’ils mesurent compte. Une analyse récente par des chercheurs de l’ACLU a révélé que lorsque l’algorithme d’Allegheny signalait les personnes qui accédaient aux services du comté pour la santé mentale et d’autres programmes de santé comportementale, cela pouvait ajouter jusqu’à trois points au score de risque d’un enfant, une augmentation significative sur une échelle de 20.
Le porte-parole du comté d’Allegheny, Mark Bertolet, a refusé d’aborder l’affaire Hackney et n’a pas répondu aux questions détaillées sur le statut de l’enquête fédérale ou les critiques des données alimentant l’outil, y compris par l’ACLU.
« Par principe, nous ne commentons pas les poursuites ou les questions juridiques », a déclaré Bertolet dans un e-mail.
La porte-parole du ministère de la Justice, Aryele Bradford, a refusé de commenter.
PAS MAGIQUE
Les algorithmes de protection de l’enfance intègrent de grandes quantités de données publiques sur les familles locales dans des modèles statistiques complexes pour calculer ce qu’ils appellent un score de risque. Le nombre généré est ensuite utilisé pour conseiller les travailleurs sociaux lorsqu’ils décident quelles familles doivent faire l’objet d’une enquête ou quelles familles nécessitent une attention supplémentaire – une décision lourde qui peut parfois signifier la vie ou la mort.
Un certain nombre de dirigeants locaux ont exploité la technologie de l’IA alors qu’ils étaient sous pression pour apporter des changements systémiques, comme dans l’Oregon lors d’une crise de placement en famille d’accueil et dans le comté de Los Angeles après une série de décès d’enfants très médiatisés dans l’un des plus grands comtés du pays. systèmes.
Le directeur du département des services à l’enfance et à la famille du comté de LA, Brandon Nichols, affirme que les algorithmes peuvent aider à identifier les familles à haut risque et à améliorer les résultats dans un système profondément tendu. Pourtant, il n’a pas pu expliquer comment fonctionne l’outil de dépistage utilisé par son agence.
« Nous sommes en quelque sorte le côté travail social de la maison, pas le côté informatique de la maison », a déclaré Nichols dans une interview. « La façon dont l’algorithme fonctionne, à certains égards, je ne veux pas dire que c’est magique pour nous, mais cela dépasse notre expertise et notre expérience. »
Nichols et des responsables de deux autres agences de protection de l’enfance ont renvoyé des questions détaillées sur leurs outils d’IA aux développeurs externes qui les ont créés.
Dans le comté de Larimer, au Colorado, une responsable a reconnu qu’elle ne savait pas quelles variables étaient utilisées pour évaluer les familles locales.
« Les variables et les pondérations utilisées par l’outil d’aide à la décision Larimer font partie du code développé par Auckland et nous n’avons donc pas ce niveau de détail », a déclaré Jill Maasch, une porte-parole des services sociaux du comté de Larimer dans un e-mail, faisant référence aux développeurs. .
En Pennsylvanie, en Californie et au Colorado, les responsables du comté ont ouvert leurs systèmes de données aux deux développeurs universitaires qui sélectionnent des points de données pour construire leurs algorithmes. Rhema Vaithianathan, professeur d’économie de la santé à l’Université de technologie d’Auckland en Nouvelle-Zélande, et Emily Putnam-Hornstein, professeur à l’Université de Caroline du Nord à la School of Social Work de Chapel Hill, ont déclaré dans un e-mail que leur travail était transparent et qu’ils rendent publics leurs modèles informatiques.
« Dans chaque juridiction dans laquelle un modèle a été entièrement mis en œuvre, nous avons publié une description des champs qui ont été utilisés pour construire l’outil, ainsi que des informations sur les méthodes utilisées », ont-ils déclaré par e-mail.
Un rapport de 241 pages sur le site Web du comté d’Allegheny comprend des pages de variables codées et des calculs statistiques.
Le travail de Vaithianathan et Putnam-Hornstein a été salué dans des rapports publiés par l’UNICEF et l’administration Biden pour avoir conçu des modèles informatiques qui promettent d’alléger la charge des travailleurs sociaux en s’appuyant sur un ensemble de facteurs simples. Ils ont décrit l’utilisation de tels outils comme un impératif moral, insistant sur le fait que les responsables de la protection de l’enfance devraient puiser dans toutes les données à leur disposition pour s’assurer que les enfants ne sont pas maltraités.
Cependant, en suivant leur travail à travers le pays, l’AP a découvert que leurs outils pouvaient préparer les familles à la séparation en évaluant leur risque en fonction de caractéristiques personnelles qu’ils ne peuvent pas modifier ou contrôler, telles que la race ou le handicap, plutôt que simplement leurs actions en tant que parents.
Dans le comté d’Allegheny, un comté tentaculaire de 1,2 million d’habitants près de la frontière de l’Ohio, l’algorithme a accédé à un éventail de données externes, y compris la prison, la probation juvénile, Medicaid, l’aide sociale, la santé et les naissances, toutes conservées dans un vaste « entrepôt de données » à l’échelle du comté. » L’outil utilise ces informations pour prédire le risque qu’un enfant soit placé en famille d’accueil deux ans après la première enquête sur une famille.
Les responsables du comté ont déclaré à l’AP qu’ils étaient fiers de leur approche de pointe et ont même élargi leur travail pour créer un autre algorithme axé sur les nouveau-nés. Ils ont déclaré qu’ils surveillaient de près leur outil de notation des risques et le mettaient à jour au fil du temps, notamment en supprimant des variables telles que les prestations sociales et les actes de naissance.
Vaithianathan et Putnam-Hornstein ont refusé les demandes d’entretien répétées de l’AP pour discuter de la manière dont ils choisissent les données spécifiques qui alimentent leurs modèles. Mais dans un rapport de 2017, ils ont détaillé les méthodes utilisées pour créer la première version de l’outil d’Allegheny, y compris une note de bas de page décrivant un seuil statistique comme « plutôt arbitraire mais basé sur des essais et des erreurs ».
« Cette note de bas de page fait référence à notre exploration de plus de 800 fonctionnalités de l’entrepôt de données d’Allegheny il y a plus de cinq ans », ont déclaré les développeurs par e-mail.
Cette approche est confirmée dans leurs choix de conception, qui diffèrent d’un comté à l’autre.
Dans le même rapport de 2017, les développeurs ont reconnu que l’utilisation des données de race n’améliorait pas considérablement la précision du modèle, mais ils ont continué à l’étudier dans le comté de Douglas, au Colorado, bien qu’ils aient finalement choisi de ne pas l’inclure dans ce modèle. Pour répondre aux préoccupations de la communauté selon lesquelles un outil pourrait renforcer les préjugés raciaux dans le comté de Los Angeles, les développeurs ont exclu les antécédents criminels, le code postal et les indicateurs géographiques des personnes, mais ont continué à utiliser ces points de données dans la région de Pittsburgh.
Interrogés sur les incohérences, les développeurs ont souligné leurs documents méthodologiques publiés.
« Nous détaillons diverses mesures utilisées pour évaluer la précision – tout en détaillant les » validations externes « », ont déclaré les développeurs par e-mail.
Lorsque le département des services sociaux de l’Oregon a construit un algorithme inspiré de celui d’Allegheny, il a pris en compte la race d’un enfant car il prédisait le risque d’une famille, et a également appliqué une « correction d’équité » pour atténuer les préjugés raciaux. En juin dernier, l’outil a été entièrement abandonné en raison de problèmes d’équité après qu’une enquête de l’AP en avril a révélé des préjugés raciaux potentiels dans ces outils.
Les avocats du ministère de la Justice ont cité la même histoire de l’AP l’automne dernier lorsque les avocats fédéraux des droits civiques ont commencé à s’enquérir de problèmes de discrimination supplémentaires dans l’outil d’Allegheny, ont déclaré trois sources à l’AP. Ils ont parlé sous couvert d’anonymat, affirmant que le ministère de la Justice leur avait demandé de ne pas discuter des conversations confidentielles. Deux ont dit qu’ils craignaient également des représailles professionnelles.
TESTS DE QI, CLASSE PARENTALE
En l’absence de réponse sur le moment où ils pourraient ramener leur fille à la maison, l’avocat des Hackneys a déposé en octobre une plainte fédérale en matière de droits civils en leur nom qui remettait en question la manière dont l’outil de dépistage avait été utilisé dans leur cas.
Au fil du temps, l’outil d’Allegheny a suivi si les membres de la famille avaient des diagnostics de schizophrénie ou de troubles de l’humeur. Il est également mesuré si les parents ou d’autres enfants du ménage ont un handicap, en notant si des membres de la famille ont reçu un revenu de sécurité supplémentaire, une prestation fédérale pour les personnes handicapées. Le comté a déclaré qu’il tenait compte des paiements du SSI en partie parce que les enfants handicapés sont plus susceptibles d’être maltraités ou négligés.
Le comté a également déclaré que les données alignées sur les handicaps peuvent être « prédictives des résultats » et qu’il « ne devrait pas être surprenant que les parents handicapés puissent également avoir besoin de soutiens et de services supplémentaires ». Dans undéclaration envoyée par courrier électronique, le comté a ajouté qu’ailleurs dans le pays, les travailleurs sociaux s’appuient également sur des données sur la santé mentale et d’autres conditions susceptibles d’affecter la capacité d’un parent à s’occuper en toute sécurité d’un enfant.
Les Hackney ont reçu l’ordre de suivre des cours de parentalité et disent qu’ils ont été taxés par toutes les exigences du système de protection de l’enfance, y compris les tests de QI et les audiences du tribunal du centre-ville.
Les personnes handicapées sont surreprésentées dans le système de protection de l’enfance, mais rien ne prouve qu’elles nuisent à leurs enfants à des taux plus élevés, a déclaré Traci LaLiberte, spécialiste de la protection de l’enfance et des handicaps à l’Université du Minnesota.
L’inclusion de points de données liés aux handicaps dans un algorithme est problématique car elle perpétue les biais historiques dans le système et se concentre sur les traits physiologiques des personnes plutôt que sur le comportement que les travailleurs sociaux sont amenés à traiter, a déclaré LaLiberte.
L’outil de Los Angeles évalue si des enfants de la famille ont déjà bénéficié de services d’éducation spécialisée, ont déjà été référés en matière de développement ou de santé mentale ou ont consommé des drogues pour traiter la santé mentale.
« Ce n’est pas propre aux assistants sociaux qui utilisent cet outil ; il est courant que les assistants sociaux tiennent compte de ces facteurs lors de la détermination des supports et services possibles », ont déclaré les développeurs par e-mail.
Avant que les algorithmes ne soient utilisés, le système de protection de l’enfance se méfiait depuis longtemps des parents handicapés. Dans les années 1970, ils ont été régulièrement stérilisés et institutionnalisés, a déclaré LaLiberte. Un rapport fédéral historique de 2012 a noté que les parents souffrant de déficiences psychiatriques ou intellectuelles perdaient la garde de leurs enfants jusqu’à 80 % du temps.
Aux États-Unis, il est extrêmement rare que les agences de protection de l’enfance exigent une formation sur le handicap pour les travailleurs sociaux, selon les recherches de LaLiberte. Le résultat : les parents handicapés sont souvent jugés par un système qui ne comprend pas comment évaluer leur capacité en tant que soignants, a-t-elle déclaré.
Les Hackneys en ont fait l’expérience de première main. Lorsqu’un travailleur social a demandé à Andrew Hackney à quelle fréquence il nourrissait le bébé, il a répondu littéralement : deux fois par jour. Le travailleur semblait consterné, a-t-il dit, et l’a grondé, disant que les bébés doivent manger plus fréquemment. Il a eu du mal à expliquer que la mère, la grand-mère et la tante de la jeune fille la nourrissaient également à tour de rôle chaque jour.
INDIQUÉ POUR TOUJOURS
Les responsables du comté d’Allegheny ont déclaré que l’intégration de l’IA dans leurs processus les aidait à « prendre des décisions basées sur autant d’informations que possible », et ont noté que l’algorithme exploite simplement les données auxquelles les travailleurs sociaux ont déjà accès.
Cela peut inclure des enregistrements vieux de plusieurs décennies. L’outil de la région de Pittsburgh a déterminé si les parents ont déjà bénéficié de prestations publiques ou ont eu des antécédents avec le système de justice pénale – même s’ils étaient mineurs à l’époque, ou si cela n’a jamais abouti à des accusations ou à des condamnations.
L’AP a constaté que ces choix de conception peuvent empiler le pont contre les personnes qui ont grandi dans la pauvreté, renforçant les inégalités historiques qui persistent dans les données, ou contre les personnes ayant des antécédents dans les systèmes de justice pour mineurs ou criminels, longtemps après que la société a accordé la rédemption. Et les critiques disent que les algorithmes peuvent créer une prophétie auto-réalisatrice en influençant les familles ciblées en premier lieu.
« Ces prédicteurs ont pour effet de jeter une suspicion permanente et n’offrent aucun recours aux familles marquées par ces indicateurs », selon l’analyse des chercheurs de l’ACLU et de l’association Human Rights Data Analysis Group. « Ils sont toujours considérés comme plus risqués pour leurs enfants. »
Alors que les algorithmes de protection de l’enfance deviennent plus courants, les parents qui ont fait l’objet d’un examen minutieux par les travailleurs sociaux craignent que les modèles ne les laissent pas échapper à leur passé, quel que soit l’âge ou la pertinence de leurs égratignures précédentes avec le système.
Charity Chandler-Cole, qui siège à la Commission du comté de Los Angeles pour les enfants et les familles, en fait partie. Elle a atterri en famille d’accueil à l’adolescence après avoir été arrêtée pour vol à l’étalage de sous-vêtements pour sa jeune sœur. Puis, à l’âge adulte, dit-elle, des travailleurs sociaux se sont présentés une fois à son appartement après que quelqu’un a faussement signalé qu’un piano à queue avait été lancé sur son neveu qui vivait chez elle – même s’ils ne possédaient pas un tel instrument.
L’algorithme local pourrait la marquer pour ses expériences antérieures en famille d’accueil et en probation juvénile, ainsi que pour l’allégation non fondée de maltraitance d’enfants, dit Chandler-Cole. Elle se demande si AI pourrait également évaluer correctement qu’elle a été rapidement débarrassée de tout problème de maltraitance, ou que son infraction non violente en tant qu’adolescente a été légalement effacée.
« Beaucoup de ces rapports manquent de bon sens », a déclaré Chandler-Cole, aujourd’hui mère de quatre enfants et PDG d’une organisation qui travaille avec le système judiciaire pour aider les enfants en famille d’accueil. « Vous nous placez automatiquement dans ces espaces pour être jugés avec ces étiquettes. Cela ne fait que perpétuer un mal supplémentaire. »
La collègue commissaire de Chandler-Cole, Wendy Garen, soutient en revanche que « plus c’est mieux » et qu’en s’appuyant sur toutes les données disponibles, les outils de notation des risques peuvent aider à rendre le travail de l’agence plus approfondi et efficace.
INFLUENCE MONDIALE
Même si leurs modèles ont fait l’objet d’un examen minutieux pour leur exactitude et leur équité, les développeurs ont lancé de nouveaux projets avec des agences de protection de l’enfance du comté de Northampton, en Pennsylvanie, et du comté d’Arapahoe, au Colorado. Les États de Californie et de Pennsylvanie, ainsi que la Nouvelle-Zélande et le Chili, leur ont également demandé de faire des travaux préliminaires.
Et comme la nouvelle de leurs méthodes s’est répandue ces dernières années, Vaithianathan a donné des conférences mettant en évidence les outils de dépistage en Colombie et en Australie. Elle a également récemment conseillé des chercheurs au Danemark et des responsables des Émirats arabes unis sur la manière d’utiliser la technologie pour cibler les services à l’enfance.
« Rhema est l’un des leaders mondiaux et ses recherches peuvent aider à façonner le débat au Danemark », a déclaré un chercheur danois sur LinkedIn l’année dernière, concernant le rôle consultatif de Vaithianathan lié à un outil local de protection de l’enfance qui était en cours de pilotage.
L’année dernière, le département américain de la Santé et des Services sociaux a financé une étude nationale, co-écrite par Vaithianathan et Putnam-Hornstein, qui a conclu que leur approche globale à Allegheny pourrait être un modèle pour d’autres endroits.
La porte-parole de l’Administration pour les enfants et les familles du HHS, Debra Johnson, a refusé de dire si l’enquête du ministère de la Justice influencerait le soutien futur de son agence à une approche de la protection de l’enfance axée sur l’IA.
D’autant plus que les budgets se resserrent, les agences à court d’argent cherchent désespérément des moyens plus efficaces pour les travailleurs sociaux de se concentrer sur les enfants qui ont vraiment besoin de protection. Lors d’un panel de 2021, Putnam-Hornstein a reconnu que « le taux global de filtrage est resté totalement stable » à Allegheny depuis la mise en œuvre de leur outil.
Pendant ce temps, le placement en famille d’accueil et la séparation des familles peuvent avoir des conséquences sur le développement de l’enfant tout au long de sa vie.
Une étude HHS de 2012 a révélé que 95% des bébés signalés aux agences de protection de l’enfance subissent plus d’un changement de soignant et de ménage pendant leur séjour en famille d’accueil, l’instabilité qui, selon les chercheurs, peut elle-même être une forme de traumatisme.
La fille des Hackney a déjà été placée dans deux foyers d’accueil et a maintenant passé plus de la moitié de sa courte vie loin de ses parents alors qu’ils tentent de convaincre les travailleurs sociaux qu’ils en sont dignes.
Pendant ce temps, ils disent qu’ils manquent d’argent dans la lutte pour leur fille. Avec à peine assez pour la nourriture du salaire d’Andrew Hackney dans une épicerie locale, il a dû éteindre son service mensuel de téléphonie cellulaire. Ils ont du mal à payer les frais juridiques et l’argent nécessaire pour se rendre aux rendez-vous qui leur sont demandés.
En février, leur fille a été diagnostiquée avec un trouble qui peut perturber son sens du goût, selon l’avocat d’Andrew Hackney, Robin Frank, qui a ajouté que la fille a continué à lutter pour manger, même en famille d’accueil.
Tout ce qu’ils ont pour l’instant, ce sont des visites bihebdomadaires qui durent quelques heures avant qu’elle ne soit à nouveau emmenée. La voix de Lauren Hackney se brise alors qu’elle craint que sa fille ne soit adoptée et oublie bientôt sa propre famille. Ils disent qu’ils aspirent à faire ce que beaucoup de parents tiennent pour acquis : faire dormir leur enfant la nuit dans son propre lit.
« Je veux vraiment récupérer mon enfant. Elle me manque, et surtout je la tiens. Et bien sûr, ce petit rire gloussant me manque », a déclaré Andrew Hackney, alors que sa fille se précipitait vers lui avec enthousiasme lors d’une récente visite. « Ça fait très mal. Tu n’as aucune idée à quel point. »
——
Burke a rapporté de San Francisco. La journaliste vidéo de l’Associated Press Jessie Wardarski et la photojournaliste Maye-E Wong à Pittsburgh ont contribué à ce rapport.