Séminaire des doctorants

Cette présentation porte sur l'apprentissage par renforcement. Dans ce cadre, un agent apprend à prendre de bonne décisions en interagissant avec un environnement, pour maximiser une récompense reçue au fil du temps. Nous présenterons le cadre mathématique qui formalise ce problème, les processus de décision markoviens, et l'équation de Bellman qui permet de le résoudre. Nous verrons ensuite les grandes familles d'algorithmes : ceux qui supposent que les règles de l'environnement sont connues, et ceux, plus réalistes, où l'agent doit tout apprendre par l'expérience, y compris à grande échelle. Je parlerai surtout des méthodes qui apprennent un comportement directement, comme REINFORCE. Pour illustrer, je prendrai un exemple de ma thèse : réduire les données pour mieux regrouper des patients atteints de fibromyalgie.

This talk is primarily concerned with the marginal likelihood. The act of reflecting on possible future scenarios based on the marginal likelihood does not impact prior belief due to Bayes’ rule. It will be shown that Bayes’ rule is uniquely defined by this property, in a certain sense. In addition, a new marginal likelihood estimator will be developed, that acts on the output of a Markov chain Monte Carlo sampler by calculating the truncated harmonic mean of the unnormalised posterior densities from the sampled parameter values.

This talk is also concerned with applications in the social sciences. In the demographic context, an estimator of the covariance matrix of a model of the total fertility rate (TFR) of 195 countries in the United Nations (UN) will be developed. In the sociological context, marginal likelihood estimation will be performed to determine the number of clusters in a social network dataset based on the 2023 United Nations Climate Change Conference (COP28).

Cette présentation porte sur le filtrage. Il consiste à estimer un processus non observable à partir d’observations bruitées. Nous nous intéresserons au comportement asymptotique de l’erreur de filtrage pour des processus à mémoire longue. Deux exemples seront étudiés en particulier : les processus FARIMA(0, d, 0) et le bruit gaussien fractionnaire (FGN). Nous étudierons notamment l’influence de leur densité spectrale sur l’erreur de filtrage asymptotique.