Résultats du concours de lecture critique

Plusieurs gagnants

Avec un peu de retard, les résultats du concours de lecture critique d’article que j’avais lancé sur ce post. Il y a plusieurs personnes qui ont fait un effort considérable pour participer, donc j’ai préféré donner le prix à chacune d’entre elles.

Les gagnants sont Julien Colot, nosyn, Enguérand, Paul Segond, et Aude. Vous avez normalement reçu un mail avec un an d’abonnement payant. Il y en a qui m’ont répondu un copier-collé d’intelligence artificielle. Je le sais parce que ça ressemble à de l’IA, et que Pangram considère que c’est 100% écrit par des robots. Quand ces deux indicateurs (mon intuition et le détecteur) concordent, je considère que c’est suffisamment suspect pour ne pas lire. Par pitié, ne m’envoyez pas de textes rédigés avec l’IA. Je perds un temps de dingue.

Souvenez-vous, on parle d’une étude randomisée, qui compare deux types de remédiation cognitive différents : RC2S (remédiation cognitive de la cognition sociale) contre RECOS (remédiation cognitive pour la schizophrénie ) chez des patients schizophrènes. J’ai bien dit schizophrène, comme je dis bipolaires, malades mentaux, etc. Est-ce que la suppression de ces termes améliore la qualité de vie des concernés ? Rien n’est moins sûr. Dans l’intervalle, la charge de la preuve est dans le camp de la police des mots. Si on mettait autant d’effort pour sortir les schizophrènes de la rue que sur la sémantique, ils auraient tous un logement depuis longtemps.

Il y a beaucoup de choses à dire sur ce papier, mais ce qui m’a sauté aux yeux est la partie “résultats”, présentée dans l’abstract. L’accès à la connaissance scientifique se démocratise de plus en plus, et c’est une bonne chose. Mais quand le tout-venant cite un papier scientifique, l’erreur la plus commune est de se contenter de lire l’abstract ou la conclusion. Gardez en tête que le groupe d’auteurs fait partie de l’équipe du Vinatier, promoteur du rétablissement, et que le papier est publié dans le “Psychiatric Rehabilitation Journal”. Nicolas Franck est une pointure dans le domaine, auteur d’un textbook qui fait référence. C’est pas des amateurs.

Je vous propose de lire les “résultats” qu’ils mettent en avant, et de commenter au fur et à mesure.

Les deux groupes se sont améliorés significativement en cognition sociale et en neurocognition, sans différence globale entre les groupes.

Ce n’est pas le critère d’évaluation principal. Le critère d’évaluation principal, c’est le “biais d’attribution hostile”, évalué en se basant sur le score “hostilité” du questionnaire AIHQ. La cognition sociale et la neurocognition sont des critères dits “secondaires”. Vous avez, en-dessous, le tableau qui résume les scores pour les critères secondaires, à l’inclusion dans l’étude (T1), juste après l’intervention (T2), et 3 mois plus tard (T3).

On a déjà un problème : ça fait 20 lignes de critères secondaires. Vu qu’on a 20 comparaisons, il faut corriger les p-values pour la multiplicité des comparaisons. On considère donc qu’un résultat n’est significatif que si la p-value est inférieure à 0.05/20 soit 0.0025, ou 0.25% au lieu de 5%. C’est la correction de Bonferroni, on pourrait en prendre une autre – certains la considère trop restrictive –, mais le problème est là : la plupart des p-values sont bien trop hautes dans ce tableau pour en déduire quoi que ce soit. Et encore, vu qu’on fait 2 comparaisons à chaque fois (T2 et T3), on aurait pu considérer qu’on est à 40. Les auteurs disent l’avoir appliquée, mais on ne sait pas si on la correction porte sur 20, 40 comparaisons ou autre-chose. J’imagine que les p-values sont déjà corrigées (vu qu’on a des valeurs égales à 1), mais on n’a aucune information. Vu le nombre de critères secondaires, c’est un problème majeur. Je ne vois pas comment on peut faire autrement qu’en donnant les résultats bruts et ceux corrigés.

Par exemple, les scores que j’ai encadrés en rouge – qui définissent ensemble la “cognition sociale” telle qu’évaluée par les auteurs dans cette étude – ont une des p-values qui sont rapidement non significatives si on met un seuil plus bas, quel que soit l’intervalle de temps (T2-T1 ou T3-T1). Même en ne touchant à rien, on en a plusieurs qui ne sont pas significatives.

Je ne comprends donc pas pourquoi les auteurs disent que les groupes se sont améliorés significativement en cognition sociale. Même sans information sur la correction, ce critère secondaire composite (car il inclut plusieurs scores) ne me semble pas très convaincant : la moitié des sous-scores est non significative avec un seuil à 0.05.

Même problème avec la “neurocognition”.

Rendez-vous compte. Avec leur correction, il n’y a pour RECOS que 2 scores avec une p-value inférieure à 0.05 (D2 et RL/RI16-delayed free recall) à T2-T1 et un seul score pour RC2S (RL/RI 16-total free recall). Si on applique un Bonferroni plus stricte, il ne reste plus grand-chose.

Je ne comprends donc pas la première phrase de leur “résultats” dans l’abstract. De là où je suis, il n’est pas clair que les groupes se soient améliorés en cognition sociale et en neurocognition de façon statistiquement significative. Vous notez que le terme “statistiquement” n’est pas dans leur abstract, peut-être est-ce volontaire ? Dans ce cas, pourquoi mentionner ces résultats, obtenus en plus sans groupe contrôle placebo ?
Difficile de savoir.

Quoi qu’il en soit, l’efficacité de ces deux programmes ne m’emballe pas vraiment, surtout quand on sait qu’ils sont pratiqués dans un centre qui fait référence.

Je passe à la seconde phrase :

Cependant, seul le groupe RC2S a montré une réduction significative du biais d’attribution hostile entre T1 et T2, un domaine dans lequel de nombreux programmes d’entraînement à la cognition sociale échouent.

C’est le critère d’évaluation principal. Je ne suis pas d’accord avec ce choix éditorial, je pense qu’il aurait été plus rigoureux de présenter les résultats en parlant du critère principal, et de ne pas aborder les résultats secondaires dans l’abstract.

Les résultats sont présentés dans la figure 2 :

Quelque chose m’étonne d’emblée : le graphique est tronqué, et les groupes de départ sont franchement différents. C’est le moment de regarder les moyennes et les écarts-types des 2 groupes, dans la table 2 :

C’est ici qu’on réalise que la randomisation n’a pas été un succès, les déséquilibres ne sont pas tombés au bon endroit. Regardez pour les équivalents en chlorpromazine : le groupe RC2S a 270 mg d’équivalents, le groupe RECOS a 325. C’est 20% de plus !

Le groupe RC2S a un score de PANSS de 10,9 en moyenne, avec un écart-type de 4,3. Le groupe RECOS a un score de 15,2, soit précisément 4,3 points de plus en moyenne, soit… 79% d’un écart-type. Donc avant même de commencer l’étude on a une différence d’un écart-type entre les signes positifs de nos patients schizophrènes. Pour vous situer, l’efficacité des antipsychotiques en aigu, par rapport au placebo, est inférieure à un demi écart-type, autour de 0,38 SMD. On a un sérieux problème.

Et pour la AIHQ-Hostility, même raisonnement. Le groupe RC2S est à 1,94, soit 9,3% plus bas que le groupe RECOS (ou 25% d’un écart-type). C’est plus modeste, mais sur le critère principal, c’est gênant.

Vous avez noté, au passage, qu’on n’est pas sur des patients tout à fait classiques, 107 et 104 de QI, c’est pas rien pour de la schizophrénie. C’est parce que l’échelle fNART estime le QI prémorbide. Il y a des problèmes avec ce score, mais on en reparlera plus tard.

On a ensuite les résultats sous forme de tableau :

On voit bien que le groupe RECOS, en effet, n’apporte aucune différence significative, que ce soit en comparant les groupes avant et juste après l’intervention, ou 3 mois après l’intervention : les p-values sont supérieures à 0,05.

Pour le groupe RC2S, la p-value est inférieure à 0,05 juste après l’intervention, mais 3 mois après, on passe de 1,49 à 1,64 ! Comme vu dans le schéma, les scores remontent.

On a donc des programmes qui comportement 28 et 24 séances respectivement, à hauteur de 2 séances d’une heure par semaine, qui ne donnent pas de bénéfice visible 3 mois plus tard. Je ne suis vraiment pas convaincu.

Un des arguments mis en avant par les auteurs est que l’étude manque de puissance, à cause des perdus de vue (dropout). Il y a en effet 19,6% de drop out à T2, et 29,4% de dropout à T3 – et encore plus si on ajoute ceux pour lesquels ils n’ont pas pu récupérer les données à T3 : 37,3% au total.

Le problème, c’est que les auteurs ne nous ont donné aucune information sur les calculs de puissance, l’étape nécessaire avant même de prétendre utiliser les p-values sereinement. Que s’est-il passé ? Notez qu’ils ont mis des p-values “non significant” dans la table 2 dont j’ai du mal à justifier la présence dans ce contexte.

Enfin, ils disent que seul le groupe RC2S a montré une baisse significative, et c’est correct. Mais la différence d’efficacité entre le groupe RC2S et RECOS n’est pas statistiquement significative, que ce soit à T2 ou à T3 :

Une erreur classique : ce n’est pas parce qu’un groupe arrive en dessous de 0,05 et l’autre arrive au-dessus que la différence entre les deux groupes est significative. Autrement dit, la différence entre “non significatif” et “significatif” n’est pas toujours significative.

Et les auteurs enfoncent le clou dans la suite des résultats mis en avant dans l’abstract :

RC2S a également entraîné des gains plus rapides sur les symptômes négatifs et dans un domaine du fonctionnement social.

RECOS a montré des effets plus marqués sur les symptômes positifs et sur certaines mesures neurocognitives.

Non ! Si on veut montrer une différence entre les deux groupes, on doit se farcir les tests d’interaction à chaque fois ! On ne peut pas simplement regarder les scores moyens.

Et enfin :

Les deux programmes ont amélioré les résultats fonctionnels, mais avec des trajectoires de changement différentes.

Non ! Les p-values en l’état ne disent pas ça, et presque aucune ne survit à une correction plus sévère pour la multiplicité. Pourquoi est-ce que les auteurs disent des choses contraires à ce qu’il y a dans leur propre tableau ? Pourquoi le journal n’a pas relevé ?

Je m’arrête là, je ferai la suite pour les abonnés payants. Mais il y a de quoi tenir longtemps.

Ce qu’il faut retenir, pour le moment, c’est que de lire les abstracts des papiers scientifique ne suffit pas – et les résumés sur internet, encore moins. Je publierai la réponse des auteurs s’ils en font une, évidemment.

Rassurez-vous, je repasse sur de la pharmaco. Je pense avoir avoir suffisamment insisté sur la fragilité des papiers scientifiques, j’ai un peu ma dose, je vous soupçonne aussi d’être un peu gavés.

---

Mon livre est disponible sur Amazon, la Fnac et en librairie. Les deux liens sont affiliés.