Approche développementale pour la construction ouverte et continue de représentations et comportements pour agents situés et robots mobiles

Topic description

La thématique générale de ce sujet de thèse est de fournir à des robots la possibilité de construire de manière progressive des comportements et représentations tout au long de leurs interactions, avec le monde physique et entre eux. Ces comportements s’appuient sur des états internes dont les mécanismes de régulation sont issus d’une forme d’apprentissage.

L’objectif est de tirer parti des possibilités offertes par l’architecture MIND pour la construction incrémentale de comportements et de représentations pour doter des robots, réels ou simulés, des capacités d’adaptation nécessaires dans les environnements physiques dans lesquels ils évoluent.

Contexte scientifique

Un des objectifs de la robotique développementale est de permettre à des robots d’acquérir des comportements complexes en cumulant, combinant et réutilisant des connaissances apprises.

La particularité de cette démarche est de s’inspirer de l’étude du développement biologique et psychologique des êtres vivants pour proposer de nouvelles méthodologies adaptées aux problématiques spécifiques des agents en interaction avec un environnement complexe, tels que les robots.

Ces problématiques couvrent un large domaine, par exemple l’acquisition de comportements [1, 4, 5], de représentations spatiales [2], la conception de systèmes de motivation [6], l’apprentissage d’opérations abstraites simples [8,9] ou encore sur l’acquisition de symboles [3] et de proto-langages [10,11].

De précédents travaux sur la construction progressive de comportements complexes par combinaison successive de comportements simples [13] donne des résultats qui permettent de penser que cette approche peut être appliquée de manière pertinente à la construction de représentations internes.

Ces représentations internes, qui s’apparentent à une mémoire déclarative [14], permettent aux agents de manipuler des états, des représentations d’objets et à terme des concepts.

L’utilisation de ces représentations vise à fournir aux agents la capacité de construire des comportements plus riches en permettant de nouvelles possibilités de combinaisons plus complexes.

Un premier exemple d’utilisation de représentations internes pour enrichir les comportements porte sur la reproduction de certaines fonctions des émotions.

Ainsi, nous souhaitons explorer l’utilité de la représentation d’états émotionnels pour réguler l’aspect énergétique des actions d’un agent et l’apport du partage de tels états sur des comportements collectifs.

Objectifs et moyens

L’objectif général est d’étendre les capacités d’apprentissage continu des robots, le Lifelong Robot Learning [7], à l’apprentissage de représentations. Cet objectif se décline en deux sous-objectifs qui consistent à appliquer l’approche développementale à la gestion de variables internes d’une part et à la construction de comportements utilisant ces variables d’autre part.

Ces deux objectifs sont inter-dépendants puisque les mécanismes de régulation des variables internes

s’adapteront en fonction de l’utilisation qui en sera faite par les comportements.

De plus, ces nouveaux comportements complexes, alimentés par les représentations acquises par les variables (objets, synthèse de perceptions, rôles, etc.), peuvent à leur tour générer et réguler des variables internes de plus haut niveau d’abstraction.

Le contexte de développement de ces comportements complexes s’orientera rapidement vers des problèmes multi-agents, avec l’apprentissage de comportements sociaux basés par exemple sur la propagation d’émotions issues des phases de développement individuel précédentes. Une ouverture de ces travaux pourra se faire sur l’utilisation des représentations acquises pour soutenir l’émergence d’un proto-langage [10,11].

Ce projet s’appuiera sur l’architecture [13] et sa plateforme de développement EvoAgents [12] permettant de structurer des compétences et d’apprendre des comportements agents dans des environnements de simulation physiques simples. Les ressources de calcul du GRICAD permettront de réaliser les phases d’apprentissage en simulation et les modèles pourront être déployés sur les différentes plateformes robotiques du LCIS afin de valoriser les résultats.

References

[1] M. Dorigo and M. Colombetti. Robot shaping: Developing autonomous agents through learning. Artificial intelligence, 71(2):321–370, 1994.

[2] S. Gay, K. Le Run, E. Pissaloux, K. Romeo, and C. Lecomte. Towards a predictive bio-inspired navigation model. Information, 12(3), 2021.

[3] G. Konidaris, L. P. Kaelbling, and T. Lozano-Perez. From skills to symbols: Learning symbolic representations for abstract high-level planning. Journal of Artificial Intelligence Research, 61:215–289, 2018.

[4] D. Lessin, D. Fussell, and R. Miikkulainen. Open-ended behavioral complexity for evolved virtual creatures. In Proceedings of the 15th annual conference on Genetic and evolutionary computation, pages 335–342, 2013.

[5] D. Lessin, D. Fussell, R. Miikkulainen, and S. Risi. Increasing behavioral complexity for evolved virtual
creatures with the esp method. arXiv, 2015.

[6] P.-Y. Oudeyer and F. Kaplan. What is intrinsic motivation? a typology of computational approaches. Frontiers
in Neurorobotics, 1(6), 2007.

[7] E. Oztop and E. Ugur. Lifelong robot learning. In Encyclopedia of Robotics, pages 1–12. Springer Berlin
Heidelberg, 2020.

[8] M. Rucinski, A. Cangelosi, and T. Belpaeme. An embodied developmental robotic model of interactions between numbers and space. In Proceedings of the Annual Meeting of the Cognitive Science Society, number 33, pages 237–242, 2011.

[9] M. Ruciński, A. Cangelosi, and T. Belpaeme. Robotic model of the contribution of gesture to learning to count. In IEEE International Conference on Development and Learning and Epigenetic Robotics (ICDL), pages 1–6. IEEE, 2012.

[10] L. Steels. A self-organizing spatial vocabulary. Artificial life, 2(3):319–332, 1995.

[11] L. Steels. The symbol grounding problem has been solved, so what’s next. Symbols and embodiment: Debates on meaning and cognition, pages 223–244, 2008.

[12] F. Suro. EvoAgents public repository. , 2020 – 2022.

[13] F. Suro, J. Ferber, T. Stratulat, and F. Michel. A hierarchical representation of behaviour supporting open
ended development and progressive learning for artificial agents. Autonomous Robots, 01 2021.

[14] T. Ten Berge and R. Van Hezewijk. Procedural and declarative knowledge: An evolutionary perspective.
Theory & Psychology, 9(5):605–624, 1999.

Starting date

2023-10-01

Funding category

Public funding alone ( government, region, European, international organization research grant)

Funding further details

Projet Idex Université Grenoble Alpes