#6 – La fabrique du consentement

L’évaluation de l’efficacité de l’action municipale est un type d’enquête dont les règles sont maîtrisées par les grands instituts de sondage. C’est un métier, ça coûte de l’argent. La ville de Palaiseau a décidé de produire sa propre enquête avec les moyens du bord. On peut penser que cette économie va dans le bon sens, celui de l’optimisation budgétaire. Mais l’amateurisme a ses limites. Voici en 6 points, les erreurs qui décrédibilisent la démarche de la municipalité.

1 – Mettre en place soi-même sa propre évaluation revient à être juge et partie. Il faut évidemment s’attendre à une absence de recul. Posture vis-à-vis de la démarche d’enquête : inadaptée.

2 – La méthode de l’enquête choisie est la distribution de questionnaires papier dans le Palaiseau Mag’ avec une enveloppe T pour le retour. Un lien vers un questionnaire Google Docs est également disponible sur le site de la ville. La fiche technique du sondage indique : « 1 300 réponses, soit plus de 3 000 personnes représentées, tous les quartiers de la ville et tous les âges sont représentés, une forte mobilisation et une grande représentativité ». Une vraie fiche technique, dont le contenu est défini par la commission des sondages, doit comporter : la cible (ensemble de la population âgée de 18 ans et plus), le mode de recueil, les dates de terrain, le nombre d’interviews, les quotas (sexe, âge, catégorie socioprofessionnelle de la personne de référence, quartier dans le cas des enquêtes au niveau communal). Dans l’enquête de Palaiseau, on ne sait pas si c’est un homme ou une femme qui répond, on n’a pas non plus sa catégorie socioprofessionnelle. Toutes les réponses du questionnaire sont facultatives, il peut donc en plus y avoir des données manquantes. Fiche technique du sondage : incomplète.

3 – Le mode de recueil auto-administré suppose que l’on prenne en compte l’ensemble des questionnaires renseignés. On en annonce ici 1 300, mais une fois ces interviews saisies dans une base, il faut comparer l’ensemble des variables socio-démographiques avec la structure de la population telle qu’elle est mesurée par le recensement. S’il y a un écart entre l’échantillon et la structure réelle, il faut effectuer un redressement, c’est-à-dire attribuer un poids supérieur ou inférieur aux réponses des groupes sous ou sur représentés. Par exemple, il y a 50 % d’hommes et 50 % de femmes à Palaiseau, or on ne sait pas s’il y a 650 hommes et 650 femmes qui ont répondu. S’il y avait 700 femmes, par exemple, il conviendrait d’attribuer un poids légèrement inférieur pour rétablir cet équilibre. Aucune mention de redressement des données n’est mentionnée. Redressement de toute façon impossible, puisque toutes les questions nécessaires ne sont pas posées, et que celles qui sont posées ne sont pas obligatoires. Représentativité de l’échantillon : inconnue.

4 – 1 300 répondants représenteraient 3 000 personnes : faux. Ils ne représentent qu’eux-mêmes. Il ne s’agit pas d’une enquête réalisée au niveau ménage, mais au niveau individu. Le questionnaire ne demande à aucun moment de répondre pour l’ensemble du foyer. D’autre part, le simple bon sens suffit pour considérer que dans une famille donnée, il peut y avoir des opinions différentes. Extrapolation à une partie plus importante de la population : fantaisiste.

5 – Pour finir sur la méthode, et c’est sans doute le plus grave, il n’y a aucun contrôle sur les répondant⋅e⋅s. Aucune réponse n’est obligatoire sur la version online du questionnaire, aucun contrôle n’est possible sur les questionnaires papier. En clair, il est possible de répondre 100 fois de suite sur Internet (les procédures des enquêtes onlines des instituts de sondage empêchent de répondre plus d’une fois). 1 300 interviews sont annoncées, mais aucun contrôle n’est affiché. En clair, rien n’empêcherait le fan club de GDL^* de « bourrer les urnes ». Ce qui confère à cette « enquête » le même niveau de rigueur scientifique que le système de vote de la Nouvelle Star. Contrôle sur la base des répondant⋅e⋅s : (au mieux) opaque.

6 – Une formulation neutre des questions est une règle absolue pour n’importe quelle enquête. Quand on mesure l’efficacité d’une action municipale, les questions (qu’on peut facilement trouver sur Internet) sont de ce type :

• Pour chacun des qualificatifs suivants, estimez-vous qu’il s’applique plutôt bien ou plutôt mal à la municipalité de XXX ?

• A des projets pour l’avenir de la ville ?
• Efficace ?
• Présente sur le terrain ?
• Proche des préoccupations des habitants ?
• Utilise bien l’argent des impôts locaux ?

• Concernant chacun des domaines suivants, êtes-vous très satisfait, plutôt satisfait, plutôt mécontent ou très mécontent de l’action de la municipalité de XXX ?

• La culture
• Le sport
• Les moyens de transport
• Les activités commerciales
• La vie associative
• Les espaces verts
• La solidarité

Les questions de l’enquête de Palaiseau sont biaisées. Elles présentent l’action municipale de Palaiseau sous un jour positif avant de proposer des items de réponses non standardisés.

Par exemple (questions extraites du questionnaire de la mairie) :

• Avec le développement de la ville, de nombreux « tout-petits » Palaisiens nous rejoignent. Pour répondre aux besoins des parents, la ville a créé depuis 2014 trois fois plus de places en crèche que durant les deux mandats précédents. Parmi les options suivantes permettant de renforcer les solutions de garde, laquelle a votre préférence ?

• Il faut concentrer notre action sur la construction de nouvelles crèches municipales
• Il faut diversifier les solutions de garde, en combinant crèches publiques, crèches d’entreprises, assistantes maternelles, haltes-garderies, gardes à domicile, etc.
• La situation actuelle est satisfaisante

• En 2014, la situation financière de Palaiseau était jugée « préoccupante » par la Chambre régionale des comptes. Trois ans plus tard, la ville a adopté un budget d’investissement inégalé depuis 17 ans et s’est désendettée de près de 4 millions d’euros. À vos yeux, la bonne santé financière de la commune est :

• Un objectif essentiel
• Une priorité parmi d’autres
• Un non-sujet

Respect des règles de formulation des questions : totalement absent.

En conclusion, si GDL^* veut se lancer dans les enquêtes, on peut lui conseiller d’investir 70 € d’argent public dans l’ouvrage de Pascal Ardilly de l’INSEE : Les techniques de sondage (Technip). C’est un excellent guide. « Je n’ai confiance dans les statistiques que lorsque je les ai moi-même falsifiées » disait Winston Churchill. Mais la rue de Paris n’est pas Downing Street.

George Gallup