Pew teste les répondants synthétiques L'IA s'écarte de 12,4 points des vrais sondés américains

Les faits

Production

Pew Research Center, Data Labs

Réalisation

Athena Chapekis, Arnold Lau, Samuel Bestvater, Sono Shah, Andrew Mercer, Aaron Smith

Médias

Rapport en ligne, graphiques

Date

30 septembre 2026

Marché

États-Unis

Pew a utilisé la technique des « jumeaux numériques ». Le modèle reçoit pour chaque panéliste réel ses données démographiques, ses réponses à l'enquête de typologie politique de 2025 et d'autres informations de profil. Il répond ensuite aux mêmes questionnaires, avec les mêmes consignes et la même programmation que les humains. Seuls les panélistes ayant aussi rempli la typologie politique ont été répliqués. Le modèle principal est Claude Opus 4.6, réglé en raisonnement faible, avec profil étendu et réflexion d'expert. Pew précise que d'autres modèles ont été testés et que celui-ci était le meilleur.

Trois vagues de l'American Trends Panel ont été rejouées : janvier 2026 (administration Trump, Venezuela, Groenland, immigration, centres de données), mars 2026 (politique internationale, culture civique) et avril 2026 (cote présidentielle, Iran, sommeil). L'écart moyen par question, toutes options de réponse confondues, atteint 12,4 points. Il vaut 11,3 pour la première vague, 14,7 pour la deuxième et 11,2 pour la troisième.

Les erreurs se concentrent sur les sous-groupes. Elles atteignent 16,1 points pour les républicains, 15,1 pour les adultes noirs, 13,9 pour les hispaniques, 13,6 pour les démocrates et pour les diplômés du secondaire ou moins, contre 11,9 pour les diplômés du supérieur. Pew donne des exemples : 97 % des hispaniques synthétiques disent vouloir suivre la Coupe du monde contre 42 % des vrais, et 86 % des démocrates synthétiques jugent mauvais de posséder un milliard de dollars contre 45 % des vrais. Le rapport conclut que les répondants simulés sont bien moins divers que la population et rendent des avis majoritaires presque universels.

Pew dit n'avoir aucun projet actuel ni futur d'utiliser des modèles d'IA pour produire des résultats d'enquête. Le rapport résume : « Les répondants IA ne correspondaient pas particulièrement bien aux vues de leurs homologues humains ».

Le contexte

Le marché de l'étude se réorganise autour du synthétique. Qualtrics a lancé le 18 mars 2026 des panels synthétiques fondés sur un modèle adapté aux études, d'abord pour les consommateurs américains, avec des extensions prévues au Royaume-Uni, au Canada et en Australie. Ipsos présente de son côté, sur une page de webinaire non datée, un travail avec le laboratoire de Stanford sur les politiques et le changement social pour valider ses « jumeaux numériques ».

Les vendeurs promettent d'aller vite et de tester une idée avant même la création. Qualtrics avance un coût réduit de moitié par rapport à un panel humain et un gain de 98 % en délai chez un client, Gabb. Ces chiffres viennent du vendeur. La publication de Pew est l'un des rares tests sans intérêt commercial, mené sur une enquête de référence et dont la méthode est décrite.

Pour une agence ou un annonceur, les cibles les plus sensibles sont aussi celles où le synthétique se trompe le plus. Ce sont souvent les minorités et les segments politisés qu'une campagne cherche à comprendre, et le modèle les aplatit : 16,1 points d'écart pour les républicains, 15,1 pour les adultes noirs.

Ce que ça change

1. Le test de référence interne. Avant d'acheter un panel synthétique, une agence peut demander la comparaison du fournisseur avec un panel humain sur ses propres sujets, ses propres cibles et ses propres segments. Un écart moyen global cache des erreurs fortes sur les groupes qui comptent pour la marque.
2. Le synthétique en amont. Les réponses simulées conviennent à l'exploration : hypothèses, territoires de message, premières versions de questionnaire. Pour fixer un budget média, un prix ou un message sur un segment minoritaire, il faut des humains. Le cahier des charges doit nommer la frontière entre les deux usages.
3. La diversité comme critère. Pew relève que les répondants simulés rendent les opinions plus uniformes. Une marque qui cherche l'écart entre segments, donc la bonne cible, perd justement le signal utile. Mesurer la variance des réponses, pas seulement la moyenne, devient un contrôle de qualité simple.
4. La transparence de la méthode. Pew publie le modèle, les vagues rejouées, les dates de réplication et la métrique. Les fournisseurs d'études devraient en dire autant : quel modèle, quelles données de profil, à quelle date. Un annonceur qui paie pour un résultat doit pouvoir le reproduire.

Ailleurs

Sources

1. Pew Research Center : How well synthetic samples replicate public opinion US, 30 septembre 2026
2. IT Brief UK : Qualtrics launches synthetic panels hub to speed research GB, 18 mars 2026
3. ITWire : AI to drive massive changes to market research in 2025, in Qualtrics report AU, 23 octobre 2024
4. Ipsos : Meet your new respondents: research with synthetic data US,
5. Research Live : Synthetic data survey responses 'significantly different' to humans, finds study GB, 15 juillet 2026

Cités dans l’article

• AnthropicMarqueSuivre
• IpsosMarqueSuivre

Réagir

À lire ensuite

Marques25 oct.3 min

Thiel: Apple n'a rien de neuf depuis Jobs

Tech22 oct.5 min

Washington sort DeepSeek des agences

Marques19 oct.5 min

Anthropic engage 5 % de ses actions