Chapitre 9 – Mirages de la quantification

Qu’est-ce qui distingue la philanthropie rationnelle de la charité mal ordonnée ? La recherche méthodique de l’efficacité répondrait-on en chœur à l’âge du philanthrocapitalisme. Et quoi de mieux pour mesurer l’efficacité qu’un indicateur synthétique de performance ? L’aspiration à cette forme particulière de quantification est fortement présente dans l’altruisme efficace. Nous allons relater dans ce chapitre quelques épisodes montrant comment l’ambition de chiffrer le bien accompli, ou l’utilité des êtres sentients, a pu conduire les altruistes efficaces animaliers à s’égarer.

1. ACE à ses débuts : un piteux chiffrage de l’efficacité du tractage végane

En 2012, Animal Charity Evaluators (ACE) débute dans le milieu de l’altruisme efficace. On sait combien ce milieu valorise les ratios coût-efficacité. On sait l’aura dont jouissent alors les essais contrôlés randomisés et techniques apparentées. Dans ce contexte, ACE nourrit l’ambition, qui ne le quittera jamais vraiment, de produire des chiffres mesurant les bénéfices pour les animaux imputables à un mode d’action, ou à une organisation. Combien de bien fait-on aux animaux par dollar investi ? Produire une réponse à cette question est perçu par ACE comme le moyen par excellence de gagner ses galons d’évaluateur scientifique. Sachant qu’ACE cherche à faire reculer l’élevage industriel, des proxys acceptables du bien fait aux animaux sont vite trouvés. Il y en aura deux : le nombre de vies animales épargnées, ou le nombre d’années de misère animale évitées. Dans les deux cas, on mesure le gain obtenu en termes de malheur évité à des animaux qui ne naîtront pas en élevage si les actions menées sont efficaces. Le premier indicateur mesure ce gain en nombre d’individus non nés ; le second en durée de vie dans de mauvaises conditions évitée à des individus non nés. (Le deuxième indicateur, à la différence du premier, prend en compte le fait que l’âge à l’abattage est différent selon les espèces.) Mais, évidemment, cela ne dit rien de la manière dont on pourrait établir le lien entre le dollar dépensé pour la cause animale et l’impact sur l’un ou l’autre des proxys. Le premier type d’action sur lequel ACE s’est essayé à le faire est la diffusion de documents (tracts, livrets, publicités en ligne) incitant les destinataires à opter pour une alimentation végétale. On devine la raison de ce choix : le chemin semble tout tracé pour passer du dollar dépensé au résultat obtenu si on parvient à déterminer combien de personnes réduisent ou suppriment leur consommation de produits animaux grâce à telle somme dépensée en promotion du végétalisme. On estimera ensuite combien d’animaux ont été épargnés par le changement d’alimentation de ces personnes, et l’objectif sera atteint.

Il existe sur le site d’ACE une section intitulée « Interventions » qui analyse les différentes formes que peut revêtir l’action en faveur des animaux (manifestations, pression sur les entreprises, etc.). Elle s’enrichit de nouveaux items au fil du temps. La section qui fut créée la première est celle intitulée « Leafleting » (tractage). Elle ne porte pas sur la distribution de tracts en général, mais spécifiquement sur la distribution de documents (souvent de petites brochures plutôt que de simples tracts) destinés à persuader les personnes de diminuer ou supprimer leur consommation de produits animaux. Toutefois, le texte consultable actuellement n’est pas celui qui figurait sur le site d’ACE dans les premières années de son existence. Nous allons reconstituer ce que fut la version initiale grâce à d’autres sources.

Par le passé, ACE offrait une estimation de la dépense permettant d’épargner un an de souffrance à des animaux en finançant des brochures ou des publicités en ligne promouvant l’alimentation végétale. On le sait parce que Singer le mentionne dans son livre The Most Good You Can do¹, dont il a achevé la rédaction en août 2014. Singer écrit :

Depuis des années, Vegan Outreach emploie des bénévoles pour distribuer des tracts dans les lycées et les universités. Des organisations comme The Humane League utilisent maintenant les brochures de Vegan Outreach et aussi des publicités en ligne incitant les gens à regarder des vidéos. […] ACE a tenté d’évaluer avec soin combien il en coûte d’éviter un an de souffrance animale grâce à ces techniques. […] ACE estime ce coût à 0,63 $ lorsqu’on utilise des brochures, et à 0,47 $ lorsqu’on recourt à des publicités en ligne. ACE reconnaît que les données utilisées pour établir certains de ces chiffres ne sont pas robustes et cherche à mener des études de meilleure qualité. En attendant, ACE publie ce qu’il estime être l’intervalle dans lequel se situent les valeurs estimées. Au pire, éviter une année de souffrance animale coûte 12,52 $ pour les tracts, et 4,52 $ pour les publicités en ligne. Au mieux, le coût est inférieur à 0,06 $ dans les deux cas. Même en supposant que la réalité correspond au scénario pessimiste, ce sont des façons très peu chères de réduire la souffrance. (Singer, The Most Good You Can Do, p. 142-143)

Dans Doing Good Better (dont l’édition originale date de 2015), McAskill reprend lui aussi des chiffres produits par ACE :

Selon Animal Charity Evaluators (un organisme de recherche que j’ai aidé à monter), en donnant à des associations telles que Mercy for Animals ou The Humane League qui distribuent des tracts sur le végétarisme, cela coûte environ 100 $ de convaincre une personne d’arrêter de manger de la viande pendant un an. » (McAskill, 2016, p. 177-178)

McAskill en profite pour nous inviter à considérer que c’est une preuve supplémentaire que nous pouvons faire beaucoup mieux en donnant à des associations performantes qu’en nous efforçant d’être vertueux dans notre conduite personnelle. (En l’occurrence, si le compte était bon, il montrerait qu’on fait plus pour les animaux en versant 101 $ à Mercy for Animals qu’en s’abstenant soi-même de manger de la viande pendant un an.)

Mais comment ACE avait-il donc fait pour produire des statistiques mirifiques sur l’efficacité du tractage végane ? Sur le site d’ACE aujourd’hui, on trouve encore l’exposé des résultats d’une enquête effectuée par l’association à l’automne 2013 auprès d’un petit échantillon d’étudiants susceptibles d’avoir reçus des livrets de Vegan Outreach². Les résultats sont entachés de nombreuses incertitudes, signalées en commentaire par ACE. Ce n’est pas cette étude qui a servi de base aux chiffres d’efficacité fabuleux qu’ACE a pourtant continué à diffuser, puisque Singer et McAskill les citent. Il est probable qu’ACE n’ait cessé leur diffusion que suite à la parution d’un long article, bien documenté et violemment à charge, de Harrison Nathan dans Medium en décembre 2016³. L’article est instructif, notamment parce que Nathan fournit en note des liens vers des composantes qu’il a archivées du site d’ACE tel qu’il était alors. On apprend ainsi que jusqu’en 2016, ACE proposait aux usagers de son site un « calculateur d’impact ». On pouvait y entrer la somme qu’on était prêt à dépenser pour financer des organisations qui promeuvent le végétalisme en distribuant des brochures, et le calculateur établissait en retour le nombre d’animaux épargnés grâce à ce don. L’article de Nathan nous apprend surtout (pages d’ACE archivées à l’appui) que le ratio coût-efficacité du tractage produit par ACE reposait sur une unique source : une étude effectuée par The Humane League et Farm Sanctuary à l’automne 2012, qui tentait de mesurer l’efficacité comparée de deux modèles de brochures (toutes deux promouvant l’alimentation végétale). Deux ou trois mois après que ces brochures aient été distribuées à des étudiants, une enquête a été effectuée sur les campus concernés. On a demandé aux étudiants quelle brochure ils avaient reçue et quels changements ils avaient apporté à leur régime alimentaire en conséquence. Il n’y a eu ni groupe de contrôle (des étudiants qui auraient reçu une brochure portant sur un tout autre sujet), ni recueil des réponses des étudiants qui indiquaient n’avoir reçu aucune des deux brochures testées. L’étude ne respecte aucun critère de scientificité. Non seulement il n’y a pas de groupe de contrôle, mais elle est sujette à des biais colossaux. Rien ne prouve que les étudiant se souviennent du contenu d’une brochure reçue plusieurs mois auparavant, ni même qu’ils l’aient lue à ce moment-là. Ils peuvent néanmoins cocher « oui » à la question « avec vous eu telle brochure ? » sur le questionnaire d’enquête, parce qu’y figure la page de couverture des livrets en question et qu’ils peuvent décider que ça leur rappelle vaguement quelque chose :

À la suite de la question de savoir s’ils avaient reçu l’une ou l’autre brochure, les étudiants étaient invités à remplir un tableau qui se présente comme suit :

Un questionnaire qui commence par « À cause de cette brochure » est sujet au biais de désirabilité (tendance des sujets à produire une réponse qui leur semble correspondre à ce qui est jugé bien par les enquêteurs). Le biais est aggravé par les photos des brochures qui figurent en haut du questionnaire, des publicités pour le véganisme indiquant qu’il s’agit d’aller vers « quelque chose de mieux », ou de « faire le choix de la compassion ». Le fait que les réponses « un peu moins » et « beaucoup moins » se situent au centre du tableau risque de pousser à les considérer comme les réponses normales ou typiques. En bref, le degré de confiance à attribuer aux résultats d’une telle enquête est nul. Or, rappelle Nathan, que c’est sur la base de cette enquête que Nick Cooney publie un post sur le site de Farm Sanctuary le 15 janvier 2013, qui proclame le résultat extraordinaire suivant : « Pour 100 brochures distribuées sur un campus, selon l’estimation la plus prudente, vous épargnez au minimum à 50 animaux un an d'une vie de misère, soit un animal épargné pour deux brochures distribuées ! »⁴. Nathan mentionne le fait qu’on voit cette même année 2013 la méthodologie sévèrement critiquée par certains blogueurs. Pourtant, ACE se base exclusivement sur cette enquête pour produire sa propre estimation de l’efficacité du tractage végane, avec un chiffrage qui n’est pas exactement celui de Cooney, parce qu’ACE recourt à une cuisine statistique qui lui est propre pour traiter les résultats du questionnaire. Il n’en reste pas moins qu’ACE aussi a produit un calculateur d’impact fondé sur une enquête non fiable, et qu’ACE aussi a fait miroiter à ses lecteurs qu’on pourrait, pour des sommes minimes, épargner la misère à des quantités d’animaux.

2. ACE 2015 : « l’exploit » du chiffrage des animaux épargnés par Faunalytics

Faunalytics compte depuis 2015 parmi les associations recommandées par ACE. Le premier rapport d’évaluation de cette organisation (rédigé en 2015 donc) contenait une estimation chiffrée de son impact. Cette dernière a alimenté la critique acerbe de Nathan (2016), et il y a de quoi.

Faunalytics existe depuis 2000 et fournit un travail conséquent avec une équipe salariée peu nombreuse, appuyée par des bénévoles compétents. Cette organisation ne mène pas de campagnes visant à obtenir telle ou telle avancée pour les animaux. Elle donne cette définition de son activité : « Faunalytics mène des recherches et partage des connaissances afin d’aider les gens à aider efficacement les animaux. » Concrètement, l’association a une activité de veille concernant les publications sur la question animale (avec un spectre large). En s’abonnant à sa lettre d’information, on reçoit chaque semaine des résumés des parutions qui ont retenu son attention, avec les liens vers les études citées. Par ailleurs, Faunalytics réalise des travaux de recherche. On lui doit par exemple une étude menée en 2014 aux États-Unis, dont il ressortait que 4 végétariens sur 5 finissaient par remanger de la viande. Enfin, il arrive que l’équipe de Faunalytics prodigue des conseils, payants ou gratuits, à des défenseurs des animaux (activité de consulting). On pourrait penser qu’il ne viendrait à l’esprit de personne de prétendre chiffrer combien d’animaux sont épargnés grâce au travail de Faunalytics :  il est impossible de suivre comment les usagers de ses services modifient éventuellement leurs pratiques militantes suite aux informations reçues, et comment cela améliore (le cas échéant) les résultats de leur action. Et pourtant, dans son rapport d’évaluation 2015, ACE a cru bon d’insérer un passage contenant une telle estimation, dont la conclusion est que « globalement […] Faunalytics épargne 2,6 animaux par dollar dépensé ». En parcourant ce rapport, encore disponible sur le site d’ACE⁵, on découvre que pour mesurer le nombre d’animaux sauvés, ACE a fractionné le budget de Faunalytics entre ses différentes activités. ACE a ensuite converti l’impact des activités de Faunalytics en « équivalent brochures distribuées », puis utilisé une estimation de l’efficacité des brochures pour en arriver au chiffrage recherché. La feuille de calcul détaillant comment ACE a procédé ne se trouve plus sur son site. On peut néanmoins encore la consulter car Nathan (2016) fournit le lien vers une version qu’il a archivée de ce document⁶. On y voit par exemple comment ACE a procédé pour mesurer l’impact des études effectuées par Faunalytics. ACE a estimé la part de son budget que Faunalytics consacrait à ces études (50 557 $), puis a posé (oui, simplement « posé ») que ce budget avait permis à 4 organisations d’améliorer leurs pratiques, soit une dépense de 12 639 $ par organisation affectée. Ensuite, ACE a procédé comme si les 4 organisations impactées ne faisaient que distribuer des brochures véganes. Un commentaire explicatif figure à la suite des calculs, que voici :

Pour estimer le nombre d’animaux épargnés par l’organisation étudiée, nous utilisons le cas hypothétique d’une association qui (1) a pour unique activité de distribuer un million de brochures par an, et (2) a une probabilité de 50% d’améliorer de 5% l’efficacité de ces brochures. Sachant que nous avons estimé à 1,4 le nombre d’animaux épargnés par brochure, ceci implique que l’impact est d’augmenter de 35 000 le nombre d’animaux épargnés par cette association. Nous sommes très incertains de cette estimation coût-efficacité et n’en faisons qu’une petite composante de notre évaluation de Faunalytics.

Il ne reste plus qu’à diviser 35 000 (animaux épargnés) par 12 639 (dollars dépensés) pour conclure que cette partie de l’activité de Faunalytics permet d’épargner 2,8 animaux par dollar dépensé.

Peut-on imaginer méthode plus farfelue ? Non seulement tous les chiffres sont hypothétiques, mais il n’y a aucune raison de penser que le travail de Faunalytics aide spécifiquement des associations distribuant des brochures véganes, ce à quoi s’ajoute le recours à une évaluation plus que suspecte du nombre d’animaux épargnés par brochure. Certes, dans son rapport 2015, comme sur la feuille de calcul, ACE souligne les incertitudes pesant sur ce chiffrage, et le fait qu’il ne pèse que pour peu dans son évaluation de Faunalytics. Mais cela n’excuse en rien d’avoir inclus dans le rapport un ratio coût-efficacité dont la fiabilité est exactement de zéro, et encore moins d’avoir écrit dans ce rapport de 2015, malgré les précautions oratoires rappelées ci-dessus, que « nous [ACE] pensons que cette perspective quantitative est une composante utile de notre évaluation globale ».

Le plus drôle (ou inquiétant) c’est qu’à l’époque, Faunalytics a emboîté le pas à ACE dans ce délire. L’estimation d’ACE a donné lieu à un article sur le site de Faunalytics⁷, publié le 23 décembre 2015. L’association se réjouit d’avoir été recommandée par ACE, et note qu’au total les calculs d’ACE conduisent à estimer à 415 800 le nombre d’animaux épargnés grâce à l’action de Faunalytics en 2015. À la suite de quoi (non sans avoir inséré le couplet sur les incertitudes liées aux estimations), Faunalytics déplore que l’équipe d’ACE ait péché par excès de prudence, et sous-estimé l’impact de son action. Puis Faunalytics explique qu’en utilisant son propre programme de calcul, qui est basé sur « des hypothèses plus pertinentes », on aboutit à davantage d’animaux sauvés par dollar versé à Faunalytics, et à un total de 1 039 500 animaux épargnés par son action en 2015 !

3. ACE recule sur certaines évaluations coût-efficacité

Les épisodes relatés dans les sections 1 et 2 se rapportent à des pages du site ACE dans leur forme passée. Revenons sur les exemples précédemment cités, mais cette fois en regardant la version actuellement présente sur le site de l’association.

Considérons tout d’abord la page « Leafleting »⁸. On y trouve bien une analyse, avec outils statistiques, de différentes études effectuées pour tenter de mesurer l’impact de la distribution de brochures. Mais on est bien loin de l’époque, pourtant récente, où ACE proposait un calculateur supposé indiquer combien d’animaux on épargne en donnant telle somme d’argent pour agir de cette manière. Cette fois, le texte s’attarde longuement sur les divers types de biais pouvant entacher la fiabilité des différentes enquêtes. ACE procède à une agrégation pondérée des résultats de plusieurs études effectuées. La seule conclusion qu’il en tire est que, du fait de la présence probable de biais, on ne peut guère faire confiance aux résultats des essais contrôlés randomisés tentant d’estimer l’impact des brochures promouvant le végétalisme. On ne peut même pas exclure, écrit ACE, que ces tracts et brochures aient pour effet d’augmenter ou de laisser inchangée la consommation de produits animaux.

Si l’on se tourne à présent vers la page du site d’ACE contenant le second rapport d’évaluation de Faunalytics (il s’agit d’une évaluation effectuée en novembre 2017), on constate de même une différence notable par rapport à la première version. Cette fois, il n’y a pas l’ombre d’une tentative d’estimation d’un rapport coût-efficacité. Au contraire, on lit ceci :

Nous pensons que les estimations coût-efficacité sont souvent utiles en tant que composantes des évaluations des associations, mais donner des chiffres précis peut prêter à confusion et laisser croire que cela pèse plus lourd dans notre évaluation que cela n’était dans nos intentions. Pour Faunalytics en particulier, nous pensons que notre calcul sommaire de son rapport coût-efficacité est trop spéculatif pour figurer dans notre rapport, ou pour être inclus en tant que facteur significatif dans notre évaluation de son efficacité. (ACE, novembre 2017)

Ce qui s’est passé, c’est que (dès avant l’article de Nathan) ACE a été confronté à la critique. Le climat dans lequel se déroulent les débats s’inscrit dans un scénario déjà en place avec les controverses autour du philanthrocapitalisme, qui s’est étendu plus tard à l’altruisme efficace. On retrouve à propos d’ACE la défiance qu’inspirent à certains les associations sentinelles : ils voient d’un mauvais œil un organisme qui a la prétention de classer les performances des militants de terrain et qui, s’il grandit en influence, aura le pouvoir de déposséder ces acteurs en orientant l’argent vers les associations que lui a choisi de distinguer. La qualité ou l’objectivité des évaluations produites sont mises en cause. On observe notamment un rejet de l’obsession quantitative des altruistes efficaces chez des commentateurs qui estiment que cela conduit à une approche très réductrice, et très ignorante de ce que le corpus des sciences sociales peut apporter. Naturellement, l’extrême faiblesse des évaluations coût-efficacité d’ACE l’a rendu très vulnérable à ces critiques.

Il faut mettre au crédit d’ACE d’avoir reconnu la validité des objections les plus audibles, et d’avoir retiré les évaluations les plus critiquées. Cependant, on est loin d’un franc renoncement aux estimations périlleuses de ratios coût-efficacité. Il suffit de se promener sur le site d’ACE pour y découvrir nombre de documents comportant des mesures d’impact aux fondements fragiles. De même, les déclarations générales sur les méthodes employées donnent une nette impression de gens qui ont le cul entre deux chaises.

4. « Nos estimations d’impact sont douteuses, mais faisons-les malgré tout. »

La phrase ci-dessus n’est pas une citation, mais une façon de résumer la position d’ACE. Il serait fastidieux de citer toutes les pages du site de l’association conformes à ce résumé. On s’en tiendra à quelques exemples.

 Une note de blog de Jacy Reese (alors salarié d’ACE) du 21 avril 2016⁹ illustre assez bien la volonté contradictoire de tenir compte des critiques et de ne pas lâcher prise sur les chiffrages d’impact. D’un côté, Reese reconnaît l’énorme incertitude pesant sur les estimations d’ACE, et ajoute qu’ACE « est tout à fait d’accord avec les personnes qui ont exprimé leur scepticisme sur la fiabilité de [ses] estimations fondées sur des données peu robustes ». Il développe l’étendue des données manquantes, les biais pouvant entacher la qualité des résultats… Puis, il explique qu’à ACE, ils sont tout de même très attachés au principe d’établissement de ratios coût-efficacité parce que c’est avec cet outil qu’on peut dire qu’une association est plus efficace qu’un autre. (Certes, mais à condition que l’estimation tienne debout.) Il dit son espoir de progresser vers des estimations meilleures, parle de voies envisagées pour y parvenir en précisant que chacune a ses limites et défauts, et propose aussi des améliorations de type emplâtre sur jambe de bois : comme celle consistant à présenter une estimation d’impact non sous la forme d’un nombre, mais d’un intervalle. (Le problème est qu’un chiffre sans fondement transformé en intervalle centré sur ce chiffre est un intervalle sans fondement.)

 La page d’ACE intitulée « Notre usage des estimations coût-efficacité »¹⁰ est une source qui a davantage de poids puisqu’elle émane de l’équipe dans son ensemble et figure dans la section « méthodologie » du site d’ACE. Il s’agit d’un long article dont on ne retiendra que quelques aspects. Il s’inscrit dans la ligne de ce qu’écrivait Reese en 2016, en plus développé. Cette page contient des exemples de la façon de calculer des ratios coût-efficacité (dans la section « How We Calculate Cost-Effectiveness Estimates »). Plus exactement un seul exemple (noté « exemple 1 » ci-dessous) est développé dans le corps de l’article pour illustrer le principe. Il est habilement choisi : c’est un cas où l’on adhère facilement à l’idée qu’il est concevable de procéder à une estimation d’impact. Trois autres exemples sont donnés, mais plus discrètement : on ne voit de quoi il s’agit que si on clique sur des liens dans l’article.

Exemple 1. ACE se place dans le cas où l’on chercherait à mesurer l’impact d’une campagne pour le Lundi vert (Meatless Monday). Si l’on disposait 1) du nombre d’animaux consommés en moyenne par une personne par an ; 2) du nombre de repas qu’on réussit à convertir (de carné à végétarien) grâce à cette campagne, on pourrait en déduire combien d’animaux elle a épargnés. En rapportant ce nombre au coût de la campagne, on parviendrait alors à chiffrer combien d’animaux elle épargne par dollar investi. C’est tout à fait clair. Chacun comprend que si on réunissait des données voulues, ou une approximation raisonnable de celles-ci, on parviendrait au résultat recherché.

Exemple 2.  ACE donne le lien vers la feuille de calcul qui a servi de base à au chiffrage du ratio coût-efficacité de Mercy for Animals (MFA) lors de l’évaluation de l’association effectuée en 2016. On y découvre (entre autres) qu’ACE a associé un nombre d’animaux épargnés par clic sur les publicités en ligne de MFA (0,85 animaux), qu’ACE a chiffré le nombre d’animaux épargnés par brochure distribuée par MFA (1,4 animaux), qu’ACE a introduit un coefficient (33% à la louche) pour estimer la part des améliorations du bien-être des poules et poulets imputable à l’action de MFA, que les oiseaux d’élevage dont le bien-être a été amélioré grâce à MFA ont été convertis via un coefficient minorateur en « équivalent animaux épargnés (par non-naissance) », etc. Et c’est à ce prix qu’ACE a produit un chiffre du nombre d’animaux épargnés par dollar investi dans MFA (ou plutôt un intervalle puisque les règles de prudence conduisent à donner des intervalles) : MFA épargne entre -10 et 80 animaux par dollar reçu ou, exprimé avec le second indicateur, MFA épargne entre - 4 et 20 années de souffrance dans les élevages par dollar reçu¹¹.

Exemple 3. ACE donne le lien vers la feuille de calcul du même style concernant The Humane League (THL). C’est sur cette base qu’ACE a écrit dans son rapport d’évaluation de 2016 qu’il estimait que globalement THL épargnait entre - 6 et 13 vies d’animaux de ferme par dollar dépensé ou, en utilisant le second indicateur, que THL évitait entre -2 et 7 années de souffrance par dollar dépensé. Précisons que si les exemples de chiffrage d’impact des associations qui sont citées dans la page d’ACE décrivant sa méthodologie remontent à 2016, les associations évaluées plus tardivement ont fait elles aussi l’objet d’un exercice de comptage des animaux épargnés par leur action.

Exemple 4. Le dernier exemple fourni par ACE sur sa page « Notre usage des estimations coût-efficacité » est l’étude qu’il a menée sur l’impact des associations animalistes via leur présence sur les réseaux sociaux. Le lien fourni dans le texte renvoie à un billet de blog rédigé par Toni Adleberg et publié le 19 janvier 2017¹². À cette époque, ACE a eu tout le temps de prendre connaissance des critiques acerbes adressées à ses calculs d’impact. Et pourtant, de nouveau, on assiste à un chiffrage d’impact aux fondements fragiles (c’est un euphémisme). Cette fois, le but du billet est d’expliquer comment est estimé l’impact des vidéos diffusées par les associations recommandées par ACE sur leur page Facebook, plus exactement l’effet de ces vidéos pour amener des personnes à réduire/cesser leur consommation d’animaux, et leur effet pour éviter que des personnes déjà végétariennes ne redeviennent omnivores. De multiples variables entrent en jeu dans le calcul, qu’il ne nous est pas nécessaire de détailler. Il suffit de savoir que l’ingrédient de base du calcul est une autre étude : celle sur l’efficacité des publicités en ligne pour le véganisme (laquelle a fait l’objet de tant de critiques que maintenant le rapport correspondant sur le site d’ACE est précédé d’un bandeau indiquant qu’il s’agit d’une archive et qu’il ne satisfait plus les standards actuels de l’association). Ensuite, différents coefficients minorateurs sont appliqués pour estimer l’impact de vidéos similaires (ou différentes) diffusées sur les pages Facebook des associations. Voici le passage du billet d’Adleberg expliquant la base de l’édifice : « Il est difficile d’estimer à quel degré les réseaux sociaux persuadent les gens de renoncer à la viande car, à notre connaissance, cela n’a jamais été étudié. […] Bien que nous ne connaissions pas le taux de succès précis des publicités [pour le végétalisme] en ligne, nous estimons que pour 1000 clics sur la publicité, 7 nouveaux végétariens sont créés. » Autrement dit : « nous avons besoin d’un chiffre pour faire tourner un modèle, nous n’avons pas la moindre idée de ce que peut être le chiffre réel, alors nous en avons choisi un au hasard. » ACE ne disposait pas non plus de la valeur des divers coefficients entrant dans le calcul, donc les a simplement inventés. Par exemple, puisqu’il fallait estimer à quel degré les pages Facebook des associations empêchaient les végétariens de rechuter vers la consommation de viande, ACE a posé (oui, juste « posé ») que le taux d’évitement de la récidive était de 15%. Adleberg écrit franchement que « par nécessité, nous avons posé certains jugements dans l’équipe pour développer certaines estimations utilisées dans le calculateur ».

On ne peut qu’être admiratif de la transparence d’ACE, qui livre intégralement à ses lecteurs les méthodes employées pour ses évaluations d’impact. Mais comment ne pas être en même temps ahuri qu’il produise et publie des estimations pareilles ? Certes, on pourrait remplir un gros volume en recopiant la charretée de précautions qui accompagne chacun des textes où il est question de ses calculs d’efficacité : il y a beaucoup d’incertitudes, ACE travaille pour pouvoir proposer des estimations de meilleure qualité à l’avenir, ces ratios ne sont qu’une petite composante parmi beaucoup d’autres de l’appréciation des associations évaluées, etc. Mais ACE n’arrive pas à franchir le pas, et à décider que des chiffrages d’impact produit au prix d’acrobaties pareilles ne valent rien, qu’ils n’ont pas à être publiés, ni à compter ne serait-ce que pour 1% dans l’appréciation d’un mode d’action militant ou dans l’évaluation d’une association.

5. Charity Entrepreneurship et la mesure du bien-être animal

Comme on l’a vu au chapitre 8, Charity Entrepreneurship (CE) s’est tourné courant 2018 vers la cause animale, et a cherché depuis à déterminer sur quels sujets il serait bon de faire émerger de nouvelles campagnes ou associations. Dans ce cadre, l’équipe a produit des rapports dont la version intégrale n’est pas publiée, mais dont on trouve des résumés de quelques pages sur le blog de CE. La recherche a consisté à explorer les chances qu’on a de réussir à faire beaucoup de bien par des voies telles que celles-ci :

• détourner les consommateurs de l’achat de poulet vers l’achat de bœuf ;
• réduire le mal-être des poissons d’élevage en améliorant la qualité de l’eau ;
• favoriser des méthodes de mise à mort moins cruelles dans la lutte contre les animaux nuisibles (rongeurs, insectes...) ;
• favoriser la contraception humaine pour freiner la croissance de la demande de produits animaux ;
• limiter les mutilations pratiquées sur les animaux d’élevage ;
• Etc.

Dans chaque rapport, CE explique pourquoi chacune des interventions envisagées lui paraît plus ou moins prometteuse. Le site de l’organisation ne permet pas de voir la composition intégrale de l’équipe qui travaille à la recherche sur les animaux, mais on peut la supposer peu nombreuse parce que les mêmes deux ou trois noms d’auteurs reviennent sur tous les rapports. Ce n’est pas le détail de chaque rapport qui nous intéresse ici, mais un outil bâti par CE en amont, et qui sert de point d’appui à chacune des études produites par la suite. Cet outil, baptisé « Indice pondéré de bien-être animal », n’est ni plus ni moins qu’une mesure chiffrée du bien-être des animaux sur une échelle de – 100 à 100. CE prend cette production suffisamment au sérieux pour s’en servir systématiquement dans ses évaluations. Le principe de construction de l’indice est présenté dans un billet de blog daté du 17 septembre 2018¹³. Les explications fournies sont insuffisantes pour comprendre comment ils comptent procéder exactement pour combiner les données servant d’ingrédients. Elles sont très suffisantes par contre pour savoir que, dans la plupart des cas, ces données sont inconnues. Même pour les espèces pour lesquelles on dispose de quelques connaissances, il faudrait passer un temps considérable à parcourir la littérature biologique et comportementale pour les en extraire. En effet, le fameux indice est la somme pondérée (par des coefficients choisis par ses auteurs) de divers indicateurs, qui eux même sont des sommes pondérées puisqu’ils font intervenir plusieurs facteurs qui devraient donc a) être connus et chiffrés, b) être combinés selon une formule qui fait sens. Les indicateurs qui sont combinés pour produire l’indice de bien-être (avec des pondérations différentes, les plus lourdes étant sur les deux premiers) sont les suivants : (1) le taux de mortalité et les conditions de mort ; (2) la préférence qu’auraient les humains pour être ce genre d’animal sous le voile d’ignorance ; (3) les maladies, blessures et handicaps ; (4) la soif, faim et malnutrition ; (5) l’anxiété, la peur, la douleur, la détresse ; (6) les menaces venant de l’environnement ; (7) un indice synthétique de marqueurs biologiques ; (8) les restrictions sur le comportement. On pourrait croire que ceci n’est que l’ébauche d’un programme de recherche : un programme qui, peut-être, au bout de nombreuses décennies, permettra de préciser les contours des éléments entrant dans la formule de l’indice, et de rassembler les données nécessaires à son chiffrage. Pas du tout. Dès le 26 novembre 2018, CE publie sur son blog le résumé d’un rapport : tout est déjà chiffré et présenté dans un tableur¹⁴. On sait d’après d’autre notes de blog que, pour chaque groupe d’espèces, l’équipe de CE n’a mis que 1 à 5 heures pour garnir de chiffres la ligne correspondante du tableur.

Voici une feuille de calcul extraite d’un autre rapport de CE, daté du 4 décembre 2018¹⁵, où l’on trouve, sous forme condensée, les chiffres en question. Ce sont eux qui seront utilisés encore et encore dans les documents cherchant à estimer les gains de bien-être qui pourraient être obtenus si telle ou telle campagne en faveur des animaux était menée avec succès.

Voilà. Grâce à CE, nous pouvons calculer la quantité d’utilité associée à chaque espèce ou famille d’espèces. Il suffit de multiplier la probabilité d’être sensible à la douleur, par le nombre d’individus dans la catégorie, et par le score de bien ou mal-être correspondant. Tout est fourni dans le tableau. Il nous informe que la probabilité d’être sensible à la douleur est, par exemple, de 72% pour les rats, 70% pour les poules, 60% pour les poissons et 10% pour les arthropodes. Il n’est pas sûr que ces animaux soient sentients mais, s’ils le sont, on peut associer à chacun un niveau d’utilité. Les humains ont une utilité positive, mais variable selon l’endroit où ils vivent : le niveau de bien-être d’un humain au Canada est de 81, tandis qu’il est seulement de 32 pour un humain en Inde¹⁶. Les chimpanzés sauvages sont plus heureux que les humains indiens, mais moins que les humains canadiens. Chez tous les animaux, sauf les chimpanzés, le solde hédonique est négatif, mais avec des nuances dans le degré de malheur selon les cas : les poissons sauvages sont un peu moins mal (- 31) que les vaches laitières en élevage industriel (- 34) mais un peu plus malheureux que les rats (- 28). Ca va très mal pour les insectes (- 42) mais quand même moins mal que pour les poulets en élevage industriel (- 56). Ne doutons pas un instant que l’équipe de CE soit elle aussi capable d’écrire beaucoup de lignes pour atténuer le choc, en expliquant que de nombreuses incertitudes entachent ses évaluations. Le fait reste : ils ont publié cela et s’y sont référés à maintes reprises.

6. Les évaluations fantaisistes ne disent ni tout ni rien de l’AEA

Les équipes de l’AEA sont riches en personnes qui maîtrisent bien les techniques quantitatives. C’est un réel atout pour procéder à des études ou comparatifs d’études existantes, quand ils impliquent le traitement de chiffres et la compréhension de la manière dont ils sont recueillis ou établis. Un exemple parmi d’autres : on trouve sur le blog d’ACE une analyse éclairante de le question « Le nombre de végétariens et véganes augmente-t-il aux États-Unis ? »¹⁷ ; elle contraste agréablement avec la propension de nombre d’animalistes à reproduire n’importe quel sondage ou pseudo-sondage annonçant des pourcentages significatifs de végétariens dans la population.

Les altruistes efficaces ont un penchant à garnir leurs documents de chiffres, d’équations, de schémas de la famille « carte d’impact », et une facilité à écrire des pages sur des questions de méthodologie liées au traitement de données numériques. En soi, ce n’est ni une qualité ni un défaut : reste à faire le tri entre les occurrences où ces éléments apportent une information fiable, sont neutres (des composantes décoratives dont on pourrait se passer), ou véhiculent des données contestables sous habillage scientifique.

Les points vus dans ce chapitre ne résument pas l’usage que font les altruistes efficaces animaliers (AEAs) de données chiffrées (qui comporte aussi bon nombre de statistiques descriptives non problématiques). Ils ne doivent pas non plus faire oublier qu’ils se documentent aussi via le recueil d’informations qualitatives.

J’espère avoir pris dans ce qui précède suffisamment de précautions pour qu’il soit clair qu’il ne s’agit pas de mésestimer le travail accompli par les AEAs dans sa globalité. Par contre, il est légitime de se montrer suspicieux lorsqu’ils entrent dans le champ des mesures d’efficacité, que les gains soient directement exprimés en unités d’utilité, ou via des proxys. Les AEAs n’ont pas créé un indice fiable de bien-être, et ne sont pas près de le faire. Ils n’ont pas non plus créé un calculateur fiable indiquant combien d’animaux on sauve par dollar investi dans la cause animale, et ils ne sont pas près de l’établir. Ce genre de calculateur est concevable pour des associations qui fournissent des services à des individus déterminés (Combien d’enfants sont vaccinés contre la rougeole dans un dispensaire, et de combien cela réduit-il la mortalité ? Combien d’animaux sont abrités et nourris dans un refuge ?). Mais s’agissant d’organisations qui s’emploient, par des voies multiples, à tenter de changer la condition animale, qui pour partie visent des évolutions qui auront lieu (ou pas) à long terme, et qui interviennent parmi une foule d’autres acteurs œuvrant dans le même sens ou en sens contraire, l’établissement du lien entre l’euro dépensé à les soutenir, et un nombre de vies épargnées, ou un nombre de points de bien-être gagnés, ressemble à la quête du Graal. On doit se montrer vigilant lorsque des AEAs mettent ce genre de considérations dans leurs rapports, avec ou sans circonvolutions expliquant les limites de l’exercice. Ils sont aux premières loges pour savoir la quantité d’hypothèses arbitraires qu’ils ont introduites pour produire ce type de chiffrages. Néanmoins, il y a des chances qu’ils récidivent chaque fois que les critiques externes ne seront pas assez virulentes pour les contraindre à reculer. Le problème est que l’aiguillon qui pousse à le faire est dans l’ADN de l’altruisme efficace. Il se présente comme le mouvement qui va définir The Most Good You Can Do (le maximum de bien que vous pouvez faire). Tout son investissement en « méta » va dans ce sens : vous orienter vers les associations qui font le plus de bien, en faire naître là où la récolte de bien-être ou la réduction de mal-être sera la plus abondante, parvenir à hiérarchiser les causes… Dans cette ambiance, la tentation est grande pour les travailleurs des méta-organisations de brûler les étapes (à supposer qu’elles soient franchissables) et d’exhiber des classements, et des ratios d’efficacité, qu’ils n’ont pas les moyens d’établir proprement.

1. Traduit en français sous le titre L’Altruisme efficace.
2. Page « 2013 leafleating study », site d’ACE, consultée le 20 mars 2019.
3. Harrisson Nathan, « The Actual Number is Almost Surely Higher ».
4. Nick Cooney, « The Powerful Impact of College Leafleating », site de Farm Sanctuary, 15 janvier 2013, consulté le 21 mars 2019.
5. Page du site d’ACE intitulée « Faunalytics - Archived Version : December 2015 », consultée le 21 mars 2019.
6. https://docs.google.com/spreadsheets/d/1NkYHHz7AljqKjc-rKgklPOzZy3xOG76iA0N4S0uNP3Q/edit#gid=946876080 , consulté le 21 mars 2019.
7. Article « Did Faunalytics Save A Million Animals This Year ? », site de Faunalytics, consulté le 21 mars 2016.
8. Page consultée fin mars 2018. La version en ligne du rapport disponible date de novembre 2017.
9. Article « Some Thoughts on Our Cost-Effectiveness Estimates », blog d’ACE.
10. Article « Our Use of Cost-Effectiveness Estimates ». C’est une page non datée du site d’ACE qui est probablement revue de temps à autre. Je l’ai consultée le 28 mars, puis le 1^er juillet 2019. Les exemples cités dans ce qui suit étaient visibles à ces deux dates.
11. La borne inférieure négative est une autre manifestation de la prudence. Chaque variable intervenant dans le calcul est décrite par un intervalle subjectif (gracieusement assorti d’une distribution subjective de probabilité de la valeur effective de la variable dans l’intervalle). Pour plusieurs variables, la borne inférieure de l’intervalle est négative, afin de ne pas écarter la possibilité qu’une action soit contre-productive au lieu d’aider à atteindre le but visé.
12. Toni Adleberg, « How We Evaluate Social Media Impact », blog d’ACE, consulté le 1^er juillet 2019.
13. Joey Savoie, « Is it better to be a wild rat or a factory farmed cow ? A systematic method for comparing animal welfare ».
14. Karolina Sarek, Joey Savoie, David Moss, « From humans in Canada to battery caged chickens in the United States, which animals have the hardest lives: results ».
15. Karolina Sarek, Joey Savoie, David Moss, « Which animals need the most help from the animal advocacy movement », consulté le 1er juillet 2019.
16. Dans le tableau condensé qui a été reproduit, il n’y a qu’une seule ligne pour les humains avec deux valeurs : 32 et 81. Il faut se reporter au tableau inclus dans le rapport cité dans la note 14 supra pour voir (sur deux lignes différentes) que 81 est le score de bien-être des humains vivant au Canada, et 31 le score de bien-être des humains vivant en Inde.
17. Saulius Šimčikas, « Is the Percentage of Vegetarians and Vegans in the U.S. Increasing ? » blog d’ACE, 16 août 2018.