mercredi 18 décembre 2024

Ashwin Moongathottathil James soutiendra sa thèse de doctorat le mercredi 18 décembre 2024 à 17h15  à l'Université Sorbonne, Campus Pierre et Marie Curie, 4 Place Jussieu, 75005 Paris.

La thèse intitulée « Apprentissage de la structure pour modéliser le comportement individuel » a été réalisée dans le pôle SPARKS sous la direction de Alexandre Muzy.

La présentation se fera en anglais.

 

Résumé :  
Les algorithmes traditionnels d'apprentissage par renforcement (RL) se concentrent principalement sur la sélection d'actions qui maximisent les récompenses, mais la prise de décision dans le monde réel implique bien plus que l'optimisation des récompenses. Elle exige également que les individus construisent des représentations internes de l'environnement, un aspect qui a reçu moins d'attention dans les études comportementales. Dans ce travail, nous présentons un cadre computationnel novateur qui approfondit notre compréhension du processus de prise de décision en intégrant ces représentations internes. Nous définissons la structure interne des agents apprenants comme une combinaison des règles d'apprentissage RL et de leurs représentations internes de l'environnement. Pour inférer ces structures, nous introduisons des méthodes d'apprentissage de structure qui extraient les modèles internes des agents à partir de données comportementales dans deux contextes : l'un où la structure interne reste statique et un autre, plus complexe, où les agents mettent à jour dynamiquement leur structure interne. Pour ce dernier cas, nous proposons le Dynamic Structure Learning (DSL), une méthode qui capture les modèles internes dynamiques et modélise le comportement individuel en fonction de l'évolution des représentations internes. Nous appliquons notre cadre d'apprentissage de structure aux données comportementales de rats lors d'une expérience de labyrinthe en T, offrant de nouvelles perspectives sur les processus d'apprentissage individuels dans des contextes réels. Nos résultats suggèrent que les différences individuelles d'apprentissage chez les rats peuvent être expliquées par leurs structures internes distinctes. La méthode DSL révèle que les rats affinent leurs représentations internes de l'environnement au fur et à mesure qu'ils apprennent, ce qui suggère que l'apprentissage réussi nécessite la construction d'un modèle interne qui s'aligne progressivement avec le monde extérieur. Cette recherche dépasse les modèles statiques et les analyses de populations, fournissant des outils afin d'explorer plus en profondeur les processus d'apprentissage individuels. Les implications de nos résultats s'étendent à la fois à l'apprentissage par renforcement et à l'intelligence artificielle, offrant de nouvelles perspectives sur la manière dont les individus construisent et adaptent leurs représentations internes de l'environnement, faisant ainsi progresser les systèmes d'intelligence artificielle vers une meilleure émulation de l'intelligence humaine et animale.