Quand l’algorithme de la CAF te balance à ses contrôleurs…
Publié le , Mis à jour le
Catégorie : Global
Thèmes : CafContrôle social
Lieux : Partout
sansnom / 09/12/2022
La Caisse des allocations familiales utilise un algorithme pour détecter les allocataires « à risque » France Info, 9 décembre 2022
Depuis 2010, la Caisse nationale des allocations familiales (Cnaf) utilise des algorithmes pour noter les allocataires en fonction du risque qu’ils représentent. Une note qui joue ensuite dans les choix des contrôles effectués.
« On est devenu une mini-PME. On n’est plus là pour aider les gens, mais pour faire du chiffre. » Ainsi parle un « technicien conseil » qui travaille depuis plusieurs années au sein de l’une des 101 Caisses des allocations familiales (Caf) en France. « Notre prime d’intéressement est calculée en fonction des objectifs atteints par les caisses locales, explique le représentant CGT dans les instances nationales de la Sécurité sociale, Yves Alexis. Or parmi ces objectifs, il y a les délais de traitement, l’accueil… mais aussi la détection de fraudes. »
Et pour détecter ces fraudes, la Cnaf a recours à une méthode au nom très anglais : le « datamining ». C’est une technique numérique de statistiques prédictives qui, en croisant différentes données dans différentes administrations, est censée identifier les risques d’erreurs ou de fraude dans un dossier d’allocataire. Elle s’est généralisée au sein de la Cnaf à partir de 2010, avec l’utilisation d’algorithmes. « La Cnaf a été le laboratoire, le bon élève du datamining au sein des administrations françaises », explique le sociologue Vincent Dubois, professeur à l’Institut d’études politiques (IEP) de Strasbourg et auteur de l’ouvrage Contrôler les assistés. Genèses et usages d’un mot d’ordre (Ed. Raisons d’Agir). « Elle a développé une politique d’automatisation du déclenchement des contrôles. »
« Le tournant se situe au milieu des années 90, poursuit l’universitaire. Les organismes de protection sociale vont être poussés par le pouvoir politique à renforcer les contrôles. » À l’époque, l’État lance en effet une politique volontariste de lutte contre la fraude. « Nous avons décidé d’engager une action résolue contre les fraudes sociales, déclare Nicolas Sarkozy, le 15 novembre 2011, à Bordeaux. C’est la fraude qui mine les fondements même de cette République sociale que les frères d’armes de la Résistance ont voulu bâtir pour la France et qu’ils nous ont légué. Frauder la Sécurité sociale, ce n’est pas simplement abuser du système, profiter de ses largesses, c’est voler chacun et chacune d’entre nous. »
Des allocataires notés
Mais l’algorithme ne fait pas que détecter des risques d’erreurs ou de fraude. En mars 2021, après avoir échangé avec la Caf qui lui réclamait injustement un indu (un trop-perçu) de 542 euros, la journaliste indépendante Lucie Inland découvre qu’on lui a attribué un « score de risque ». « J’avais une note de 0,4. Je n’étais donc pas trop risquée… Mais un petit peu quand même, explique-t-elle. Je me suis alors rendu compte que ma déclaration d’aide au logement et de prime d’activité passait par la moulinette de l’algorithme de la Caf. »
« La Cnaf a créé un profil type de présumé fraudeur avec un certain nombre de caractéristiques, confirme Noémie Levain, juriste à La Quadrature du net. Un score de risque va ensuite être attribué à chaque allocataire. Plus ce score se rapproche de 1 et plus le risque de subir un contrôle est élevé. » « C’est devenu la pierre angulaire du déclenchement des contrôles, affirme Vincent Dubois. Cela s’appuie également sur une base de données extrêmement importante qui concerne les allocataires, mais aussi leur famille. »
Interrogée sur ce point, la Caf minimise l’utilisation de cette technologie. Selon elle, seuls 6 % de l’ensemble des contrôles seraient issus de l’outil datamining, tout en reconnaissant que 70 % des contrôles effectués en présence de l’allocataire, qui ont entraîné un remboursement d’allocation, ont bien été initiés par lui. En juin 2020, devant la Commission d’enquête relative à la lutte contre les fraudes aux prestations sociales, l’ancien directeur général de la Caf déclarait pour sa part que le datamining était « devenu la première source de détection des dossiers destinés au contrôle ».
Un taux de fraude « insignifiant »
« Avant l’utilisation du datamining, le contrôle s’effectuait dans une ambiance d’organisme social, se souvient Yves Alexis, représentant CGT et contrôleur de la Caf du Tarn et Garonne. On faisait une étude globale du dossier, en vérifiant la déclaration, mais en contrôlant aussi que l’intégralité des droits était bien versée. Désormais, c’est un peu l’inverse : le datamining cible les erreurs de saisie des allocataires, alors que ces erreurs sont rarement des fraudes. » Selon Vincent Dubois, « le fait qu’un dossier soit fortement ‘scoré’, comme on dit dans l’institution, place les contrôleurs dans la quasi-obligation de trouver quelque chose qui cloche ».
La Cour des comptes estime pourtant le montant des fraudes à 309 millions d’euros en 2021, soit un taux de 0,39 % rapporté à l’ensemble des prestations versées. « On met en place un énorme dispositif, alors que ce taux de fraude est insignifiant », regrette Didier Minot, le président du collectif Changer de cap qui prône un changement de la politique de la Caf en la matière. Un chiffre contesté par une estimation de la Caf basée sur un échantillon de 6 000 dossiers. Selon elle, les indus frauduleux se monteraient à 2,8 milliards d’euros. À titre de comparaison, selon la Cour des comptes, la fraude aux cotisations sociales des employeurs est estimée entre 7 et 25 milliards d’euros. Et la fraude fiscale qui échappe aux recettes de l’État est, quant à elle, estimée autour de 80 milliards d’euros.
Les précaires plus à risques
Parmi les critiques qui visent cet algorithme, il y a d’abord le fait qu’il ciblerait plus particulièrement les personnes précaires. « Contrairement à un contrôle aléatoire où chaque personne aurait la même probabilité d’être contrôlée, cet algorithme entraîne un score de risque élevé pour les personnes les plus précaires, parce qu’à leur statut sont associés des facteurs de risque qui sont en fait des facteurs de précarité, affirme un membre de l’association La Quadrature du net. C’est la raison pour laquelle, parmi les personnes contrôlées, on retrouve une surreprésentation de personnes aux minima sociaux. Plus quelqu’un est précaire, plus il est considéré comme ‘risqué’. »
La multiplication de déclarations de prestations (APL, prime d’activité, allocation adulte handicapé…) augmente aussi le risque d’erreur. « Les déclarations de ressources trimestrielles sont très complexes à remplir correctement », estime Bernadette Nantois qui travaille depuis plus de 20 ans au sein de l’association Apiced qui aide les travailleurs précaires. « Il y a souvent des erreurs de bonne foi, ce n’est pas de la fraude. »
« La moindre variation de ressource, le moindre changement dans la situation familiale du ménage va générer de manière quasi-automatique un contrôle, ajoute Bernadette Nantois. Avec, dans la majorité des cas, une suspension préventive des versements dont le ménage ou la famille bénéficiait jusque-là. » Pour elle, c’est « une population avec des revenus modestes, qui se retrouve, de fait, ciblée par l’algorithme ». Bernadette Nantois cite notamment le cas d’un dossier qu’elle a suivi d’une personne « contrôlée cinq fois en 15 mois, avec à chaque fois une suspension de droits. Il s’agit de quelqu’un qui bénéficiait de l’allocation adulte handicapé (AAH), à laquelle s’ajoutait le salaire au Smic de sa compagne, avec deux enfants à charge, dit-elle. Les contrôles étaient à chaque fois liés aux légères variations de ressources de sa compagne, de l’ordre de 50 ou 90 euros. »
« L’algorithme est conçu comme un miroir des situations statistiques sur les risques d’erreur, répond le directeur général de la Cnaf, Nicolas Grivel. Il n’y a rien de très sophistiqué ou de machiavélique : notre seule préoccupation c’est d’identifier les situations qui génèrent le plus d’erreurs et d’indus, afin d’éviter que les personnes ne génèrent des droits non justifiés pendant trop longtemps. »
Des situations dramatiques
L’autre point mis en avant par les détracteurs de l’algorithme, c’est le fait que la Caf ne respecterait pas toujours les procédures légales. « En théorie, une décision de trop perçu (d’indu), doit être motivée en droit, explique un avocat au barreau de Lyon spécialiste de ces procédures, Clément Terrasson. La Caf doit vous indiquer quel article de loi elle est en train d’appliquer. On doit vous donner la raison pour laquelle vous êtes censé rembourser cette somme. Or, c’est très rarement le cas. La Caf emploie souvent des formules un peu vagues comme : ‘Vos droits ont changé’ ou ‘Nous avons recalculé vos prestations’. »
« Dans le meilleur des cas, la personne reçoit une notification d’indu assez sommaire, constate également Didier Minot du collectif Changer de cap. On a étudié par exemple le cas d’une femme qui a reçu un document dans lequel on lui disait : ‘Suite au contrôle de votre dossier, nous avons constaté sur vos relevés bancaires que vos grands-parents vous aident régulièrement depuis octobre 2020. Or ces sommes n’ont pas été déclarées. Par conséquent nous vous inscrivons comme fraudeuse.’ C’est très violent. D’autant plus qu’il est indiqué ensuite que la charge de la preuve lui incombe et, en caractères gras, que la loi rend passible d’amende ou d’emprisonnement quiconque se rend coupable de fraude ou de fausse déclaration. Les neuf-dixième des gens sont démunis face à ces documents et n’ont pas les moyens de les contester. » Un constat que partage Bernadette Nantois qui a accompagné de nombreux allocataires au sein de l’association Apiced. « Une suspension de prestations durant plusieurs mois génère des situations dramatiques, avec des dettes et des frais bancaires colossaux. Il nous est même arrivé de prêter de l’argent à des personnes qui ne pouvaient plus assurer leurs dépenses quotidiennes. »
Dans la région lyonnaise, un homme a vécu ce type de situation. Suite à une mauvaise transmission d’informations entre l’Assurance maladie et la Caf, cette dernière lui a réclamé à tort 1 200 euros de trop-perçus (prime d’activité et RSA). En raison de cet indu de RSA, le département de Haute-Savoie lance un contrôle détaillé de sa situation : des dizaines de documents lui sont demandés, certains plusieurs fois. Le RSA lui est ensuite supprimé, au motif qu’il n’aurait pas transmis certains documents et fait obstacle au contrôle. Il lui faudra deux ans de procédure devant le Tribunal administratif, avant qu’il n’ait gain de cause et ne retrouve finalement ses droits. « Quand on vous suspend le RSA, vous tombez plus bas que terre, témoigne cet homme. Même si vous agitez les bras, on ne vous entend pas. Et vous vous retrouvez avec 1 000 euros de factures impayées d’électricité. Le plus difficile à vivre, c’est de se retrouver aux Restaurants du Cœur et d’aller, entre guillemets, mendier pour pouvoir manger. »
« Les Caf ont des prérogatives exorbitantes du droit commun puisqu’elles peuvent récupérer par la force de l’argent, sans jugement préalable, constate l’ancien haut-fonctionnaire Didier Minot. Cela leur impose une responsabilité qui devrait se traduire par un respect des règles de droit : présomption d’innocence, contradictoire, reste à vivre, c’est-à-dire un minimum vital. » Ce à quoi le directeur général de la Cnaf, Nicolas Grivel répond : « On ne procède jamais à une suspension pour le plaisir. Il y a toujours des échanges préalables. Les suspensions interviennent lorsqu’il y a des informations qui nous manquent pour s’assurer de la réalité d’une situation d’un allocataire. Notre mission de service public est de verser le juste droit. Certaines situations individuelles sont dramatiques. Mais notre but et notre moteur, c’est d’éviter ça. Sur 13 millions d’allocataires, il y a beaucoup de situations qui se passent sans difficultés. »
Parcours du combattant
En cas de contestation, l’allocataire peut saisir une Commission de recours amiable, et deux mois plus tard, la justice (le tribunal administratif ou le pôle social du tribunal judiciaire). « Entre le moment où on conteste l’indu et la réponse du tribunal, la somme litigieuse aura été récupérée par la Caf, assure l’avocat Clément Terrasson. C’est extrêmement problématique puisque ça valide le mode de fonctionnement potentiellement illégal de la Caf. Ça s’apparente à un déni de justice. »
« L’une des pratiques fréquentes de la Caf consiste à débloquer les droits de la personne, la veille ou le lendemain de l’audience, explique Bernadette Nantois. Mais cela ne signifie pas pour autant que les droits sont rétablis sur le long terme. Les procédures peuvent durer plusieurs années. » « Il y a une inégalité des armes, estime pour sa part Me Terrasson. Très souvent l’administration est crue sur parole, alors que l’allocataire doit tout justifier point par point. Et une fois qu’il est ‘labélisé fraudeur’, il est très compliqué de faire changer le regard du tribunal. »
Des propos que réfute, là encore, le directeur de la Caisse nationale des allocations familiales, Nicolas Grive : « Il n’existe aucune stratégie organisée de déstabilisation des allocataires par des procédures quelconques, nous sommes là pour les aider. Et la plupart du temps, ça se passe bien. Les Caf sont en permanence mobilisées pour accompagner les allocataires dans leurs droits. Des systèmes de médiation existent dans chaque Caf. Parfois, cela peut aller au contentieux. Mais nous agissons évidemment dans le cadre de la loi. »
Un algorithme très secret
Une autre interrogation porte sur le modèle de fonctionnement de l’algorithme utilisé par la Cnaf. En septembre 2017, dans un rapport, le Défenseur des droits avait alerté sur « les dangers » de l’utilisation du datamining. Il mettait notamment en garde contre un risque de discrimination, parce qu’une circulaire interne de la Cnaf datée de 2012 recommandait de « cibler les personnes nées hors de l’Union européenne ». “Plus qu’un ciblage sur des ‘risques présumés’, la pratique du datamining contraint à désigner des populations à risque et, ce faisant, conduit à instiller l’idée selon laquelle certaines catégories d’usagers seraient plus enclines à frauder », écrivait alors le Défenseur des droits. Interrogé sur ce point, la Cnaf n’a pas répondu.
De son côté, en 2010, la Commission nationale informatique et libertés (Cnil), a donné son feu vert à l’utilisation du datamining par la Cnaf. Mais depuis 2016, il existe tout de même des obligations légales à respecter pour les administrations. « Si quelqu’un en fait la demande, l’administration doit être capable d’expliquer quel rôle l’algorithme a joué dans la prise de décision qui concerne la personne », rappelle Soizic Pénicaud qui a travaillé sur le sujet au sein de l’État, à Etalab, un département de la Direction interministérielle du numérique. Mais ces obligations seraient assez peu respectées par les administrations. « Soit parce qu’elles manquent de ressources en interne, analyse Soizic Penicaud, soit parce qu’il existe des exceptions à ces obligations, lorsque les algorithmes concernent la sûreté et la sécurité de l’État. »
Pour en avoir le cœur net, l’association La Quadrature du net a demandé à la Cnaf de lui fournir le code source de son algorithme de contrôle, autrement dit : la formule utilisée pour aboutir au score de risque attribué aux allocataires. « Ils nous ont envoyé un fichier texte qui ne sert à rien, raconte un membre de l’association. Il y a une formule avec le nombre de variables utilisées pour calculer le score de risque, mais les noms de ces variables ont été masqués. On peut donc lire : ‘Variable 1’, ‘Variable 2’, ‘Variable 3’, etc. Comme si la Cnaf n’assumait pas cette surveillance des plus précaires. »
Du côté de la Cnaf, on répond qu’il s’agit simplement de préserver une certaine confidentialité face à la menace d’une fraude organisée qui pourrait, elle, intervenir à grande échelle. « Certaines données pourraient être utilisées par des personnes dont le but est de frauder le système par des méthodes assez sophistiquées (usurpation d’identité, faux documents), explique Nicolas Grivel. Face à cette fraude organisée que nous voulons combattre, il faut avoir un coup d’avance. Elle est minoritaire mais a un impact très fort sur le système social. C’est la raison pour laquelle nous avons créé un service national de lutte contre la fraude à enjeux. » Un service qui devrait regrouper trente personnes sur 700 contrôleurs.
Plusieurs chercheurs de l’Institut national de recherche en sciences et technologies du numérique (INRIA) ont également travaillé sur le calcul des aides au logement. « Conformément aux dispositions de la loi République numérique de 2016, l’algorithme de calcul du code source des aides au logement a été publié par la Cnaf en 2018, explique l’un de ses chercheurs, Denis Merigoux. Or, dès les prémices de notre étude, nous nous sommes aperçus que le code source publié avait été écrit dans le langage de programmation Cobol qui semble avoir été produit à l’aide d’un atelier de génie logiciel, ce qui en rend la lecture par un humain quasiment impossible. » Le chercheur souligne également que « seules les grandes organisations comme la Cnaf disposent des machines » pouvant lire ce code source.
Moins d’humains, plus d’ordinateurs
Cette contestation de l’utilisation des algorithmes par la Cnaf se double d’une critique plus large portant sur les conséquences de la numérisation et de la dématérialisation des dossiers des allocataires.« Les gens n’ont plus d’autre choix que de créer un espace en ligne », constate Bernadette Nantois qui conseille les travailleurs précaires et notamment immigrés. « Même quand on est alphabétisé, on n’est pas forcément à l’aise avec l’outil informatique. Ça touche aussi bien des personnes âgées que des jeunes très à l’aise avec un smartphone mais beaucoup moins quand il s’agit de faire des démarches en ligne sur des sites administratifs. » Selon l’Insee, 17 % de la population est touchée par ce qu’on appelle l’illectronisme, la difficulté face à l’outil numérique.
Cette difficulté se conjugue avec le nombre de guichets d’accueil qui se réduisent au sein des Caf. « Le but, c’est d’expédier les gens, raconte une personne chargée de l’accueil et qui tient à rester discrète. On nous explique qu’il faut les éduquer et les renvoyer sur Caf.fr. Dès qu’on a un entretien, le logiciel se déclenche et au bout d’un quart d’heure, le chronomètre commence à clignoter, en rouge. » À quoi Bernadette Nantois ajoute : « Derrière ces procédures, il y a une certaine vision de l’allocataire considéré comme un fraudeur en puissance. »
Interrogée sur ces différents témoignages, la Cnaf se défend d’être dans un tel état d’esprit. Son directeur général affirme que « la dimension humaine reste essentielle, elle est constitutive de la branche famille de la Sécurité sociale. » « Il y a beaucoup de personnes pour qui la dématérialisation a constitué une amélioration considérable, ajoute Nicolas Grivel. Pour d’autres catégories de la population, ce n’est pas l’outil adapté. Nous y prêtons une attention très forte. On essaye au maximum d’être proactifs, d’appeler les gens pour leur rendre un meilleur service, comme durant le Covid. »
Cette numérisation s’accompagne d’importants marchés publics passés avec des entreprises du secteur, mais aussi avec Atos, Cap Gemini ou Thalès. En octobre-novembre 2022, 470 millions d’euros de marchés publics ont ainsi été souscrits par la Cnaf pour différentes prestations de services. « Il y a notamment un contrat de 125 millions d’euros conclu avec Cap Gemini sur quatre ans pour gérer la relation avec les allocataires, souligne Didier Minot. Comme si l’ensemble du dispositif informatique glissait vers une privatisation. » Rien de tel n’est envisagé, répond la Cnaf. Nicolas Grivel affirme qu’ »il s’agit de se faire appuyer ponctuellement par des prestataires sur une expertise particulière, tout en développant sa compétence interne ».
Mais en interne, le malaise semble profond. « Auparavant, lorsqu’on rentrait à la Sécurité sociale, on y restait : ce n’est plus le cas, constate Lise Charlebois, assistante sociale à la Caf du Doubs et membre du syndicat Sud. Depuis une dizaine d’années, on a des ruptures conventionnelles, des démissions. En 2021, dans notre Caf, 19 CDI sont partis, il y a eu six ruptures conventionnelles et une reconversion professionnelle. C’est énorme. La personne qui est partie en rupture conventionnelle m’a dit : ‘J’ai besoin de remettre du sens dans mon travail. Parce que ce que je fais n’en a plus.’ » Dans ce contexte, le prochain contrat d’objectif et de gestion de la Cnaf pour les cinq ans à venir, doit être renégocié en 2023.
CAF : le numérique au service de l’exclusion et du harcèlement des plus précaires La Quadrature du net, 19 octobre 2022 (extrait)
Nourri des centaines de données dont la CAF dispose sur chaque allocataire1, l’algorithme évalue en continu leur situation afin de les classer, les trier, via l’attribution d’une note (« score de risque »). Cette note, mise à jour mensuellement, est ensuite utilisée par les équipes de contrôleurs·ses de la CAF pour sélectionner celles et ceux devant faire l’objet d’un contrôle approfondi2.
Les quelques informations disponibles révèlent que l’algorithme discrimine délibérément les précarisé·e·s. Ainsi, parmi les éléments que l’algorithme associe à un risque élevé d’abus, et impactant donc négativement la note d’un·e allocataire, on trouve le fait3 :
– D’avoir des revenus faibles, – D’être au chômage ou de ne pas avoir de travail stable, – D’être un parent isolé (80% des parents isolés sont des femmes), – De dédier une part importante de ses revenus pour se loger, – D’avoir de nombreux contacts avec la CAF (pour celleux qui oseraient demander de l’aide).
D’autres paramètres comme le lieu de résidence, le type de logement (social…), le mode de contact avec la CAF (téléphone, mail…) ou le fait d’être né·e hors de l’Union Européenne sont utilisés sans que l’on ne sache précisément comment ils affectent cette note4. Mais il est facile d’imaginer le sort réservé à une personne étrangère vivant en banlieue défavorisée. C’est ainsi que, depuis 2011, la CAF organise une véritable chasse numérique aux plus défavorisé·e·s, dont la conséquence est un sur-contrôle massif des personnes pauvres, étrangères et des femmes élevant seules un enfant.
Notes 1. Pour des détails techniques sur l’algorithme et son entraînement voir l’article de Pierre Collinet « Le datamining dans les caf: une réalité, des perspectives », écrit en 2013 et disponible ici. Il y explique notamment que l’entraînement de l’algorithme mobilise une base contenant plus de 1000 informations par allocataire. Le modèle final, après entraînement et sélection des variables les plus « intéressantes », se base sur quelques dizaines de variables. Y est aussi expliqué le fait que l’algorithme est entraîné pour détecter les indus et non les cas de fraude.
2. Les contrôles à la CAF sont de trois types. Les contrôles automatisés sont des procédures de vérification des déclarations des allocataires (revenus, situation professionnelle..), organisés via à l’interconnexion des fichiers administratifs (impôts, pôle emploi…). Ce sont de loin les plus nombreux. Les contrôles sur pièces consistent en la demande de pièces justificatives supplémentaires à l’allocataire. Enfin les contrôles sur place sont les moins nombreux mais les plus intrusifs. Réalisé par un.e contrôleur.se de la CAF, ils consistent en un contrôle approfondi de la situation de l’allocataire. Ce sont ces derniers qui sont aujourd’hui en très grande majorité déclenchés par l’algorithme suite à une dégradation de la note d’un allocataire (Voir Vincent Dubois, « Contrôler les assistés » p.258). Il est à noter que les contrôles sur place peuvent aussi provenir de signalements (police, pôle emploi, conseiller.ère.s…) ou de la définition de cibles-types définies soit localement soit nationalement(contrôles RSA, étudiants…). Ces deux catégories représentaient la plupart des raisons de déclenchement des contrôles avant le recours à l’algorithme.
3. La CAF entretient une forte opacité autour des critères régissant son fonctionnement. Elle refuse même de donner plus d’informations aux allocataires ayant fait l’objet d’un contrôle suite à une dégradation de leur score. ll n’existe pas de documents présentant l’ensemble des paramètres, et leur pondération, utilisés par l’algorithme dit de « régression logistique ». Les informations présentées ici sont issues des sources suivantes: l’avis de la CNIL portant sur l’algorithme; le livre de Vincent Dubois « Contrôler les assistés »; la Lettre n°23 de la Délégation Nationale à la lutte contre la fraude disponible ici (voir pages 9 à 12); le rapport « Lutte contre la fraude au prestations sociales » du Défenseur des Droits disponible ici. L’article de Pierre Collinet « Le datamining dans les caf: une réalité, des perspectives », disponible ici détaille notamment la construction de l’algorithme.
4. Sur l’utilisation de la nationalité comme facteur de risque, voir le rapport « Lutte contre la fraude au prestations sociales » du Défenseur des Droits disponible ici. Y est cité une circulaire interne de la CAF (n°2012-142 du 31 août 2012) recommandant notamment de « cibl[er] les personnes nées hors de l’Union européenne ». Le rôle de la DNLF dans le développement des outils de scoring y est aussi mentionné.
retour d’expérience: l’algo de la CAF regarde l’IP de ton ordinateur (au moins) quand tu remplis ta déclaration trimestrielle et si ton IP pointe en dehors du territoire français un peu trop souvent ça peut déclencher un controle à domicile pour bien vérifier que t’es pas parti·e vivre aux maldives avec tes allocs. la controlflique avait l’air de dire que ça faisait pas longtemps qu’elle avait des controles pour cette raison.
+1 contrôlé pour cette raison aussi, récemment. Le contrôle ne se limite pas à la vérification de la « résidence habituelle en france » par contre. Si vous êtes sûr·e que la Caf ne trouvera rien à vous reprocher, vous pouvez aider à enrayer les contrôles en attirant les contrôles sur vous en vous actualisant à partir d’une adresse IP à l’étranger ;)
source: https://www.laquadrature.net/2022/12/23/notation-des-allocataires-febrile-la-caf-senferme-dans-lopacite/
Alors que la contestation monte (voir ici, ici, ici ou ici) concernant son algorithme de notation des allocataires à des fins de contrôle social, la CAF choisit de se réfugier dans l’opacité tout en adaptant, maladroitement, sa politique de communication. Suite à son refus de communiquer le code source de son algorithme, nous avons saisi la Commission d’Accès aux Documents Administratifs (CADA).
Comme nous l’expliquions ici, la CAF utilise depuis 2012 un algorithme de profilage attribuant à chaque allocataire une note ou «score de risque». Construite à partir des centaines de données dont la CAF dispose sur chaque allocataire, cette note est ensuite utilisée pour sélectionner celles et ceux qui seront contrôlé·es.
Cet algorithme symbolise l’étendue des dérives de l’utilisation des outils numériques au service de politiques de contrôle social portées par des logiques policières de suspicion généralisée, de tri et d’évaluation continue de chacun de nos faits et gestes.
Ici, comme c’est généralement le cas par ailleurs, ce tri cible les plus précaires. Les rares informations disponibles à ce sujet laissent apparaître que parmi les critères dégradant la note d’un·e allocataire, et augmentant ses chances d’être contrôlé·e, on trouve pêle-mêle : le fait de disposer de faibles revenus, d’habiter dans un quartier défavorisé, d’être une mère célibataire ou encore d’être né·e hors de France.
Pour en avoir le coeur net, nous avons donc demandé à la CAF de nous communiquer le code source de son algorithme1. Et sa réponse est affligeante2.
Sortir de la précarité pour “tromper l’algorithme”
Si la CAF a bien accepté de nous communiquer le code de l’algorithme… ce n’est qu’après avoir masqué la quasi-totalité des noms des variables comme on peut le voir sur l’illustration de cet article, qui est une photo de ce que la CAF nous a répondu.
En d’autres termes, le fichier fourni nous permet simplement d’apprendre combien de critères sont utilisés pour le calcul de la note des allocataires. Rien de plus. Ce qui n’empêche pas la CAF de préciser dans son courrier qu’elle espère que sa communication nous « permettra de comprendre le modèle »3.
Les responsables de la CAF ont toutefois tenu à justifier le caviardage du fichier. Ces dernier·es précisent que le code source a été « expurgé des mentions qui, si elles étaient communiquées, pourraient donner des indications aux fraudeurs pour tromper l’algorithme»4. Et pour être tout à fait honnête, nous n’étions pas préparé·es à cette réponse.
La CAF croit-elle vraiment que les critères liés à la précarité (situation professionnelle instable, faibles revenus, logement situé dans un quartier défavorisé…) pourraient être modifiés par la seule volonté de l’allocataire? Qu’afin d’augmenter leur note et de « flouer » l’algorithme, des millions d’allocataires pourraient décider, d’un coup, de sortir de la pauvreté?
Ce raisonnement frise l’absurdité. A vrai dire, il est méprisant et insultant pour celles et ceux vivant des situations difficiles.
Pire, le secrétaire général de la CAF entretient publiquement la confusion entre fraudes et erreurs de déclarations involontaires, prenant ainsi le risque de stigmatiser les personnes ciblées par l’algorithme, et ce, dans le seul but de justifier l’opacité de son institution.
En réponse à un journaliste de Radio France5 l’interrogeant sur la réponse de la CAF à notre demande, il l’expliquait en disant qu’« il y a un certain nombre de données dont on pense que, si elles sont connues, peuvent nourrir des stratégies de contournement de personnes dont le but c’est de frauder le système ». Et d’ajouter: « Il faut que l’on ait un coup d’avance ».
Faut-il donc lui rappeler que l’algorithme de la CAF n’est pas entraîné à détecter les fraudes mais les erreurs de déclaration, par définition involontaires6. Et que sa réponse pourrait donc être reformulée ainsi : « Nous ne communiquerons pas le code de l’algorithme de peur que les allocataires arrêtent de faire des erreurs ».
De notre point de vue, cette réponse révèle l’ampleur de l’embarras des responsables de la CAF vis-à-vis de leur algorithme. Ils et elles ont peut-être en tête le scandale entourant un algorithme, en tout point similaire, de notation des allocataires ayant été utilisé aux Pays-Bas et dont les suites ont amené à la démission du gouvernement7?
Déni de justice
Pire, cette opacité est aussi appliquée, à l’échelle individuelle, aux allocataires ayant été séléctionné·es par l’algorithme pour être controlé·es et qui chercheraient à obtenir des informations sur la raison de ce contrôle. Et ce, alors même que la loi prévoit que tout individu ayant fait l’objet d’une décision prise sur le fondement d’un traitement algorithmique (ici le fait d’être contrôlé) a le droit de connaître les données utilisées ainsi que les paramètres de cet algorithme8. Ce qui signifie que les personnes ayant fait l’objet d’un contrôle9 sont censées avoir un droit d’accès plus étendu qu’une association comme la Quadrature.
Nous avons pu consulter la réponse à la demande d’informations réalisée par une personne ayant été contrôlée sur la base de sa note. Le courrier, signé par le délégué à la protection des données de la CNAF, se contente de renvoyer l’allocataire à la page “Internet et Libertés” de la CAF.
Sur cette page sont présents deux documents relatifs à l’algorithme de notation : un communiqué de la CAF et l’avis de la CNIL associé10. Aucun ne fournit d’informations sur les paramètres utilisés par l’algorithme, ni sur leur impact sur le score de risque.
Cette réponse est un déni de justice pour celles et ceux ayant fait l’objet d’un contrôle déclenché algorithmiquement, l’opacité entretenue par la CAF les empếchant de contester juridiquement le bien-fondé du contrôle dont ielles ont fait l’objet.
La discrimination : un savoir-faire à protéger
Nous avions aussi demandé la liste des variables utilisées pour l’entraînement du modèle, c’est à dire sa phase de création. Cette question est importante car elle permet de comprendre l’étendue des données utilisées par l’algorithme. Et donc le degré d’intrusion dans la vie privée des allocataires que la construction d’un tel modèle nécessite.
En effet, en mettant régulièrement en avant dans sa communication que son algorithme n’utilise « que » quelques dizaines de variables11, la CAF fait mine d’ignorer qu’elles sont le fruit d’une sélection qui nécessite l’analyse d’un nombre bien plus grand de variables au préalable12.
Et la justification apportée par les responsables de la CAF est, là aussi, déconcertante. Ces dernier·es avancent que la communication de ces variables n’est pas possible car elles constituent un « savoir-faire »13. La CAF souhaiterait-elle monétiser son algorithme et le revendre à d’autres administrations ? Penserait-elle pouvoir équiper les équipes de contrôleurs.ses des institutions sociales du monde entier de son algorithme assimilant les plus précaires à de potentiel·le·s fraudeurs ou fraudeuses?
A défaut de réponse, nous nous en remettons à ce que, techniquement, tout·e data-scientist ferait pour entraîner un modèle le plus « précis » possible. Il suffirait de partir de l’intégralité des variables à sa disposition et, par itérations successives, décider lesquelles garder pour le modèle final. Dans cette hypothèse, ce serait alors la quasi-totalité des variables détenues par la CAF sur chaque allocataire qui serait utilisée pour l’entraînement de son modèle.
Ceci serait cohérent avec un document publié en 2013 dans lequel un statisticien de la CAF que « les statisticiens chargés de la modélisation disposaient d’environ un millier d’informations par allocataire contrôlé » et que « la base d’apprentissage contient toutes les données habituelles des fichiers statistiques »14.
Vingt ans de développement… et aucun compte-rendu de réunions
Quant à notre demande relative aux documents internes (notes, comptes-rendus, échanges…) concernant le développement de l’algorithme, la CAF nous a tout simplement répondu qu’en presque 20 ans de travail aucune réunion technique n’a fait l’objet de compte-rendu…15
Pour être tout à fait honnête, c’est une première dans l’histoire de nos demandes CADA.
Le retour de l’alibi technique
A ceci s’ajoute, depuis le début de l’année, la mise en place de ce qui apparaît comme une véritable communication de crise par l’institution autour de son algorithme. En juin 2022, la CAF a notamment publié un communiqué intitulé « Contrôle et datamining » dans lequel elle tente de répondre aux critiques soulevées par son algorithme16.
A sa lecture, on prend toute la mesure du rôle d’alibi technique à une politique de contrôle discriminatoire que joue l’algorithme, ce que nous dénoncions déjà ici.
L’algorithme y est décrit comme étant un objet purement scientifique dont le caractère politique est nié. Il est ainsi expliqué que la note des allocataires est le fruit d’une « démarche scientifique d’étude statistique […] menée par des experts » se fondant sur des critères « scientifiquement pondérés » ayant été sélectionnés « sur seuls critères statistiques ». Le secrétaire général de la CAF ajoute17 de son côté que cet outil serait un « miroir des situations statistiques » servant à identifier des « environnements de risques ».
Ce faisant, les responsables de la CAF cherchent à nier leur responsabilité (politique) dans la conduite, et la validation, d’une politique de contrôle discriminatoire. Nul part n’apparaît que que si les erreurs se concentrent sur les plus précaires, c’est tout simplement parce qu’au fil des ans se sont multipliées les règles et contraintes encadrant l’accès aux minima sociaux, et ce, dans le seul but de restreindre leur accessibilité18.
On mesure enfin l’impact des logiques gestionnaires appliquées aux institutions sociales. Logiques réduisant des millions de vies et d’histoires, à de simples notions statistiques, déshumanisantes, froides et vides de sens.
Communication mensongère
La deuxième partie du document est consacrée à un « Vrai/Faux » portant sur l’algorithme où transpire la malhonnêteté intellectuelle.
A l’affirmation « Les scores de risques les plus élevés concernent toujours les plus pauvres », la CAF répond Faux car « les scores de risques sont calculés pour tous les allocataires ». Ce qui n’a tout simplement aucun sens…
A la question « Les contrôleurs sont payés aux résultats », la CAF répond que ce serait faux, bien qu’elle admette que l’Etat lui fixe bien un objectif à atteindre en termes de détection de fraude. Ici encore, l’institution joue avec les mots. S’il est vrai que les contrôleurs.ses n’ont pas de «prime sur leurs résultats», ils et elles touchent un intéressement, tout comme l’ensemble du personnel de la CAF, dont le montant dépend bien de l’atteinte de ces objectifs de contrôle19.
A la question « Plus de 1000 données concernant les allocataires sont utilisées dans le modèle de datamining des CAF », la CAF répond que seules une quarantaine seraient utilisées. Elle détourne ainsi la question puisque – comme expliqué ci-dessus – elle omet de dire que ces quarante variables sont sélectionnées après une phase d’entraînement du modèle qui nécessite l’utilisation, et le traitement, de plus de mille variables par allocataire20.
Enfin, aux questions « Les contrôleurs de la Caf ont accès à toutes les infos qu’ils souhaitent à l’insu des allocataires », et « Les allocations sont suspendues pendant le contrôle », la CAF répond que non car « aucune demande n’est faite à d’autres administrations, sans en avoir averti auparavant l’allocataire, aucune procédure vis-à-vis d’un tiers n’est engagée à l’insu de celui-ci.» Et ajoute que, lors d’un contrôle, « les allocations ne sont pas suspendues ».
Sur ces deux derniers points, nous vous invitons à lire les témoignages collectés par le Défenseur des Droits, les collectifs « Stop Contrôles », « Changer de Cap » et différentes associations de lutte contre la précarité21 qui alertent depuis des années sur les suspensions abusives d’allocations pendant les contrôles et les pratiques invasives (consultation des comptes bancaires, relevés d’électricité, analyse de l’adresse IP etc…) des contrôleurs·ses de la CAF à l’insu des allocataires.
Fraude à enjeux et lutte contre le non-recours : des contre-feux médiatiques
A ceci s’ajoute diverses annonces de la CAF participant à nourrir une stratégie de diversion médiatique autour de son algorithme de notation.
Dans son dernier rapport annuel sur la « lutte contre la fraude », nulle référence n’est faite à l’algorithme alors que celui-ci était mis à l’honneur, en première page, l’année précédente. La CAF précisant au passage qu’il était loué par la Cour des Comptes et l’Assemblée Nationale.
A sa place, la CAF a préféré cette année mettre en avant son équipe de contrôleur.ses dédiée à la « lutte contre la fraude à enjeux »22, c’est à dire des fraudes organisées (usurpation d’identités, faux documents, fraude au RIB) à grande échelle. Soit 30 agentes et agents qui d’après les dires de la CAF sont, ni plus ni moins, chargé·es de « protéger le système de sécurité sociale français des risques de pillage » et qui font rentrer la CAF dans « une nouvelle dimension de la lutte contre la fraude »23.
A titre de comparaison, nous tenons à rappeler que ce sont pas moins de 700 contrôleuses et contrôleurs qui, guidé·es par son algorithme discriminatoire, sont chargé·es de traquer les moindre erreurs de déclaration faites par les plus précaires.
Deuxième angle d’attaque : la mise en avant de l’utilisation d’algorithmes de profilage à des fins de lutte contre le non-recours24. Comme si l’application des techniques de profilage à des fins «positives» pouvait justifier leur application à des fins répressives. Sur ce sujet, la CAF omet pourtant de dire le plus important : depuis maintenant plus de 10 ans, elle a systématiquement favorisé l’application de ces techniques à des fins de contrôle plutôt que de lutte contre le non-recours.
Ses équipes de « data-scientist » regrettaient dès 2013 que les techniques de profilage des allocataires soient uniquement utilisées à des fins de contrôle et non de lutte contre le non recours25. Cette réalité est rappelée dans un rapport de l’Assemblée Nationale daté de 2016 qui précise que « l’extension explicite de l’usage du data mining à d’autres fins, notamment celle de lutte contre le non-recours, était envisageable dès l’origine, mais cette possibilité a été écartée, au moins dans les premières années d’utilisation de cet outil »26. Il aura fallu attendre 2017 pour que la CAF commence à mener des expérimentations, et il semblerait qu’aujourd’hui le profilage contre le non-recours est limité à la prime d’activité et l’allocation de soutien familial27.
Le sociologue Vincent Dubois ajoute que cette situation « interroge sur la réalité des slogans institutionnels “tous les droits rien que les droits” qui en fait est beaucoup plus tournée vers l’identification des indus, frauduleux ou non, que vers les cas de non-recours qui sont en fait beaucoup plus nombreux »28.
En tout état de cause, l’histoire politique de l’utilisation par la CAF des techniques de profilage à des fins de lutte contre le non-recours ne semble pas très glorieuse.
Ce dernier point interroge aussi sur le fantasme entretenu autour de l’automatisation de l’état social pour répondre aux problèmes sociaux. A l’heure où le gouvernement lance l’expérimentation d’un « RSA sous conditions », la mise en avant de solutions techniques pour lutter contre le non-recours dépolitise la question de l’accès aux droits. Tout en taisant les problèmes que génèrent, pour des millions de personnes, la dématérialisation des services publics.
Enfin, la CAF a annoncé en grande pompe la nomination d’une médiatrice nationale chargée, entre autres, des questions de données personnelles à la CNAF29 en juin 2022. Parmi ses missions: «la protection des données et de la sécurité des usagers dans le cadre des systèmes d’information.» Et le communiqué accompagnant sa nomination ajoute qu’elle «sera également la référente nationale déontologie». Nous serions plus que ravi·es d’entendre son avis sur l’algorithme de notation de la CAF.
Lutter au-delà de la transparence
La transparence que nous exigeons auprès de la CAF ne doit pas masquer le fond du problème. En un sens, ce que nous savons déjà de l’algorithme de cette institution, sans même avoir eu accès à son code, nous suffit à nous y opposer.
La transparence n’est donc pas une fin en soi : c’est un moyen que nous souhaitons mobiliser pour mettre en lumière, et critiquer, un discours politique cherchant à légitimer la volonté de contrôle d’un appareil étatique via l’entretien d’un discours de suspicion généralisée et la stigmatisation de certaines catégories de la population.
Volonté de contrôle qui, hélas, profite aujourd’hui de la puissance des outils numériques et de l’exploitation de nos données personnelles afin de toujours plus nous évaluer et, ainsi, nous trier.
A l’heure où un nombre toujours plus grand d’institutions, sociales et policières, mettent en place de telles solutions de surveillance algorithmique, nous continuerons de les documenter et de faire ce que nous pouvons, à notre niveau, pour les contrer.
Au côté des collectifs Stop Contrôles, Changer de Cap et de toutes les associations et collectifs de lutte contre la précarité qui font face, depuis des années, aux dérives du tout numérique et au développement sans limite des politiques de contrôle social, nous espérons que vous serez nombreux.ses à nous rejoindre.
Enfin, nous ne doutons pas que ce sentiment d’injustice est partagé par la plupart des employé·es de la CAF. C’est pourquoi nous tenons à encourager celles et ceux qui, révolté·es par ces pratiques, pourraient nous aider à les documenter. Vous pouvez nous contacter par mail, téléphone, en venant nous rendre visite ou déposer de manière anonyme des documents sur notre SecureDrop. A l’heure où les responsables de la CAF font le choix de l’opacité, nous avons plus que jamais besoin de vous.
References