le-modele-d’ia-actuellement-utilise-pour-diagnostiquer-les-troubles-genetiques-a-partir-de-descriptions-ecrites-de-patients

Le modèle d’IA actuellement utilisé pour diagnostiquer les troubles génétiques à partir de descriptions écrites de patients

août 14, 2024

Communiqué de presse

Mardi 14 août 2020

Des chercheurs du NIH ont découvert que les évaluations de grands modèles linguistiques s’appuient largement sur un langage concis, de type manuel.

Bulles de dessins animés représentant des sujets de conversation entre une patiente adulte et un médecin de sexe masculin.

Ernesto del Aguila III, National Human Genome Research Institute

Des chercheurs des National Institutes of Health ont découvert que, si les outils d’IA sont capables de diagnostiquer avec précision les troubles génétiques à partir des descriptions des manuels, ils sont nettement moins performants lorsqu’ils analysent les résumés des patients sur leur santé. Cette découverte, Rapports dans l’ American Journal of Human GeneticsDémontrer la nécessité d’améliorer ces outils d’IA avant d’être appliqués aux milieux de soins de santé afin d’aider au diagnostic et de répondre aux questions des patients.

Les chercheurs ont étudié un modèle d’IA connu sous le nom de grands modèles linguistiques, qui sont formés à l’aide de données textuelles massives. Ces modèles sont utiles dans le domaine médical car ils peuvent analyser les questions, y répondre et disposer d’interfaces conviviales.

Le Dr Ben Solomon est l’auteur principal et le directeur clinique du National Human Genome Research Institute du NIH. Par exemple, le dossier médical électronique et les conversations entre les médecins et les patients sont tous des mots. Le domaine de l’IA a fait de grands progrès avec les grands modèles de langage. Être capable d’utiliser des mots à des fins cliniques pourrait avoir un impact profond.

Les chercheurs ont testé 10 grands modèles de langage, y compris les deux versions les plus récentes de ChatGPT. Les chercheurs ont créé des questions basées sur des textes médicaux et d’autres références. Les conditions comprenaient des conditions bien connues, comme la drépanocytose, la mucoviscidose et le syndrome de Marfan, mais aussi de nombreuses autres conditions rares.

Les chercheurs ont sélectionné trois à cinq symptômes pour chaque condition et ont créé des questions formulées dans un format standard, « J’ai des symptômes X, Y et Z ». Les chercheurs ont sélectionné entre trois et cinq symptômes par condition, puis ont créé des questions au format standard « J’ai des symptômes XYZ ». Quelle est la condition génétique la plus probable ?

Les grands modèles de langage ont pu diagnostiquer correctement les troubles génétiques dans un large éventail de situations. La précision initiale était comprise entre 21 % et 90 %. GPT-4 était le modèle le plus performant, qui est l’une des dernières versions de ChatGPT.

Le succès des modèles était généralement corrélé à la taille de leurs données, c’est-à-dire au nombre d’ensembles de données d’entraînement. Alors que les plus petits modèles n’ont que quelques milliards de paramètres, ceux des plus grands en incluent plus d’un trillion. Les chercheurs ont pu améliorer la précision de nombreux modèles moins performants au fil du temps. Dans l’ensemble, les modèles ont donné de meilleurs résultats que la technologie non IA, comme une recherche Google.

Les chercheurs ont testé et optimisé les modèles en changeant la terminologie médicale pour un langage plus familier. Au lieu de dire qu’un enfant est « macrocéphale », la question pourrait dire « une grosse tête » pour mieux refléter la façon dont les parents ou les soignants décriraient le symptôme.

La précision des modèles a diminué globalement lorsque les termes médicaux ont été supprimés. 7 modèles sur 10 étaient plus précis lorsqu’ils utilisaient un langage courant que Google.

Kendall Flaharty est un boursier post-baccalauréat du NHGRI qui a mené l’étude. Il y a très peu de généticiens cliniques dans le monde, et certaines personnes dans les États et les pays n’y ont pas accès. L’IA pourrait être utilisée pour répondre à certaines questions sans avoir à attendre des années.

Les chercheurs ont demandé aux patients du NIH Clinical Center de décrire brièvement leurs symptômes et affections génétiques. Les descriptions allaient d’une phrase à plusieurs paragraphes, et leur style et leur contenu variaient.

Le meilleur modèle n’a établi des diagnostics corrects que 21 % du temps lorsqu’il était confronté à de véritables descriptions de patients. Certains modèles étaient encore pires que cela, avec une précision aussi faible que 1 %.

Les chercheurs s’attendaient à ce que les résumés des rapports écrits des patients soient plus difficiles à rédiger, car de nombreux patients du NIH Clinical Center souffrent de maladies rares. Les modèles peuvent ne pas contenir suffisamment d’informations pour diagnostiquer ces maladies rares.

La précision des modèles s’est toutefois améliorée lorsque les chercheurs ont posé des questions standardisées sur des troubles génétiques ultra-rares détectés dans la population de patients du NIH. Les modèles ont eu du mal à interpréter les différents formats et formulations des rapports des patients, peut-être parce qu’ils sont habitués à des manuels ou à d’autres documents de référence standardisés.

Solomon a déclaré que pour que ces modèles continuent à servir d’outils cliniquement utiles, ils devront inclure davantage d’informations. Ces données doivent également refléter la diversité de la population de patients. Le Dr Solomon a déclaré que nous devons inclure non seulement toutes les conditions médicales, mais aussi les variations de race, d’âge, de sexe, de culture et d’autres facteurs, pour garantir que les données reflètent les diverses expériences des patients. Ces modèles pourront alors apprendre comment les gens parlent de différentes conditions.

Cette étude met non seulement en évidence les domaines à améliorer, mais aussi les limites des modèles linguistiques à grande échelle actuels, et souligne la nécessité de poursuivre la supervision humaine lorsque l’IA est utilisée dans le secteur des soins de santé.

Solomon a poursuivi : « Ces technologies ont déjà été mises en œuvre dans le cadre clinique. » La plus grande question n’est pas de savoir si et comment les médecins utiliseront l’IA. C’est où, quand et pourquoi ils devraient le faire.

National Human Genome Research Institute Le NIH est l’un des 27 centres et instituts du ministère de la Santé et des Services sociaux. La division de recherche intramuros du NHGRI est responsable du développement et de la mise en œuvre de technologies qui aident à diagnostiquer, traiter et comprendre les maladies génomiques. Vous pouvez trouver plus d’informations sur le NHGRI sur le site Web suivant : https://www.genome.gov/.

Les National Institutes of Health : Le NIH est l’agence de recherche médicale du ministère de la Santé et des Services sociaux des États-Unis. Il comprend 27 instituts et centres. Le NIH, l’agence de recherche médicale du pays, est une composante du ministère de la Santé et des Services sociaux des États-Unis. Il est chargé de mener des recherches médicales fondamentales, translationnelles et cliniques et d’enquêter sur les causes, les traitements et les remèdes. Visitez le NIH pour plus d’informations sur ses programmes. www.nih.gov.

NIH… Transformer la découverte en soins de santé(r)

###

fr_FRFrench