Q-learning

En intelligence artificielle, plus précisément en apprentissage automatique, le Q-learning est une technique d'apprentissage par renforcement. Cette technique ne nécessite aucun modèle initial de l'environnement. La lettre 'Q' désigne la fonction qui mesure la qualité d'une action exécutée dans un état donné du système[1].

Dans le Q-learning, l'agent exécute une action a en fonction de l'état s et d'une fonction Q. Il perçoit alors le nouvel état s' et une récompense r de l'environnement. Il met alors à jour la fonction Q.

Description

Cette méthode d'apprentissage permet d'apprendre une politique, qui indique quelle action effectuer dans chaque état du système. Cela fonctionne par l'apprentissage d'une fonction de valeur état-action notée $Q$ qui permet de déterminer le gain potentiel, c'est-à-dire la récompense sur le long terme, $Q(s,a)$ , apporté par le fait d'effectuer une certaine action $a$ dans un certain état $s$ en suivant une politique optimale. Lorsque cette fonction de valeur d'action-état est connue/apprise par l'agent, la politique optimale peut être construite en sélectionnant l'action à valeur maximale pour chaque état, c'est-à-dire en sélectionnant l'action $a$ qui maximise la valeur $Q(s,a)$ quand l'agent se trouve dans l'état $s$ .

Un des points forts du $Q$ -learning est qu'il permet de comparer les récompenses probables de prendre les actions accessibles sans avoir de connaissance initiale de l’environnement. En d'autres termes, bien que le système soit modélisé par un processus de décision markovien (fini), l'agent qui apprend ne le connait pas et l'algorithme du $Q$ -learning ne l'utilise pas.

Cette notion d’apprentissage par récompense a été introduite à l'origine dans la thèse de Watkins en 1989[2]. C'est une variante de l'apprentissage par différence temporelle[3]. Par la suite, il a été prouvé, que le $Q$ -learning converge vers une politique optimale, c'est-à-dire qu'il conduit à maximiser la récompense totale des étapes successives[4].

Algorithme

La fonction de valeur action-état dans une table est initialisée à 0 pour chaque couple action-état. Chaque cellule est mise à jour pendant l'exécution de l'algorithme Q-learning.

La situation consiste en un agent, un ensemble d'états $S$ et d'actions $A$ . En réalisant une action $a\in A$ , l'agent passe d'un état $s$ à un nouvel état $s'$ et reçoit une récompense $r$ (c'est une valeur numérique). Le but de l'agent est de maximiser sa récompense totale. Cela est réalisé par apprentissage de l'action optimale pour chaque état. L'action optimale pour chaque état correspond à celle avec la plus grande récompense sur le long terme. Cette récompense est la somme pondérée de l'espérance mathématique des récompenses de chaque étape future à partir de l'état actuel. La pondération de chaque étape peut être $\gamma ^{\Delta t}$ où $\Delta t$ est le délai entre l'étape actuelle et future et $\gamma$ un nombre compris entre 0 et 1 (autrement dit $0\leq \gamma \leq 1$ ) appelé facteur d'actualisation.

L'algorithme calcule une fonction de valeur action-état :

Q:S\times A\to \mathbb {R}

Avant que l'apprentissage ne débute, la fonction $Q$ est initialisée arbitrairement. Ensuite, à chaque choix d'action, l'agent observe la récompense et le nouvel état (qui dépend de l'état précédent et de l'action actuelle). Le cœur de l'algorithme est une mise à jour de la fonction de valeur. La définition de la fonction de valeur est mise à jour à chaque étape de la façon suivante[5] :

Q[s,a]:=(1-\alpha )Q[s,a]+\alpha \left(r+\gamma \max _{a'}Q[s',a']\right)

où $s'$ est le nouvel état, $s$ est l'état précédent, $a$ est l'action choisie, $r$ est la récompense reçue par l’agent, $\alpha$ est un nombre entre 0 et 1, appelé facteur d'apprentissage, et $\gamma$ est le facteur d'actualisation.

Un épisode de l'algorithme finit lorsque $s_{t+1}$ est un état final. Toutefois, le $Q$ -learning peut aussi être appliqué à des tâches non épisodiques. Si le facteur d'actualisation est plus petit que 1, la valeur action-état est finie même pour $\Delta t$ infini.

N.B. : Pour chaque état final $s_{f}$ , la valeur de $Q(s_{f},a)$ n'est jamais mise à jour et maintient sa valeur initiale. Généralement, $Q(s_{f},a)$ est initialisé à zéro.

Pseudo-code

Voici le pseudo-code du Q-learning.

initialiser Q[s, a] pour tout état s, toute action a de façon arbitraire, mais Q(état terminal, a) = 0 pour toute action a

répéter
      //début d'un épisode 
      initialiser l'état s
      
      répéter
               //étape d'un épisode
               choisir une action a depuis s en utilisant la politique spécifiée par Q (par exemple ε-greedy)
               exécuter l'action a
               observer la récompense r et l'état s'

               Q[s, a] := Q[s, a] + α[r + γ max_a' Q(s', a') - Q(s, a)]

               s := s'
               a := a'
      jusqu'à ce que s soit l'état terminal

Influence des variables sur l'algorithme

Facteur d'apprentissage

Le facteur d'apprentissage $\alpha$ détermine à quel point la nouvelle information calculée surpassera l'ancienne. Si $\alpha$ = 0, l'agent n'apprend rien. A contrario, si $\alpha$ = 1, l'agent ignore toujours tout ce qu'il a appris et ne considèrera que la dernière information.

Dans un environnement déterministe, la vitesse d'apprentissage $\alpha _{t}(s,a)=1$ est optimale. Lorsque le problème est stochastique, l'algorithme converge sous certaines conditions dépendant de la vitesse d'apprentissage. En pratique, souvent cette vitesse correspond à $\alpha _{t}(s,a)=0.1$ pour toute la durée du processus[6].

Facteur d'actualisation

Le facteur d'actualisation $γ$ détermine l'importance des récompenses futures. Un facteur 0 rendrait l'agent myope en ne considérant seulement les récompenses courantes, alors qu'un facteur proche de 1 ferait aussi intervenir les récompenses plus lointaines. Si le facteur d'actualisation est proche ou égal à 1, la valeur de $Q$ peut diverger[7].

Extensions et variantes

Double Q-learning

Comme le Q-learning utilise l'estimateur max, le Q-learning surestime la valeur des actions et de fait, dans des environnements bruités, l'apprentissage est lent. Ce problème est résolu dans la variante appelée double Q-learning[8] qui utilise deux fonctions d'évaluation $Q^{A}$ et $Q^{B}$ apprises sur deux ensembles d'expériences différents. La mise à jour se fait de façon croisée :

Q_{t+1}^{A}(s_{t},a_{t})=Q_{t}^{A}(s_{t},a_{t})+\alpha _{t}(s_{t},a_{t})\left(r_{t}+\gamma ~Q_{t}^{B}\left(s_{t+1},\mathop {\operatorname {arg~max} } _{a}Q_{t}^{A}(s_{t+1},a)\right)-Q_{t}^{A}(s_{t},a_{t})\right)

, et

Q_{t+1}^{B}(s_{t},a_{t})=Q_{t}^{B}(s_{t},a_{t})+\alpha _{t}(s_{t},a_{t})\left(r_{t}+\gamma ~Q_{t}^{A}\left(s_{t+1},\mathop {\operatorname {arg~max} } _{a}Q_{t}^{B}(s_{t+1},a)\right)-Q_{t}^{B}(s_{t},a_{t})\right).

Comme la valeur estimée est évaluée en utilisant une autre politique, le problème de la surestimation est résolu. L'apprentissage de l'algorithme à ensemble peut être effectué en utilisant des techniques d'apprentissage profond, ce qui donne les réseaux DQN (deep Q-networks, réseaux profonds Q). On peut alors avoir le Double DQN, pour obtenir de meilleures performances qu'avec l'algorithme DQN original[9].

Notes et références

(en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Q-Learning » (voir la liste des auteurs).

Tambet Matiisen, « Demystifying Deep Reinforcement Learning | Computational Neuroscience Lab », sur neuro.cs.ut.ee, 19 décembre 2015 (consulté le 6 avril 2018)
C. J. Watkins, Learning from delayed rewards, Kings College, Cambridge, mai 1989
(en) George F Luger, Artificial intelligence : Structures and strategies for complex problem solving. 5e édition., Addison Wesley, 2005, 903 p. (ISBN 0-321-26318-9, lire en ligne), p. 448
Watkins et Dayan, Q-learning.Machine Learning, 1992
(en) David L. Poole et Alan K. Mackworth, Artificial Intelligence, Cambridge University Press, 2009 (ISBN 978-0-511-79479-7, DOI 10.1017/CBO9780511794797, lire en ligne), p. 469
Reinforcement Learning: An Introduction, Richard Sutton et Andrew Barto, MIT Press, 1998.
(en) Stuart J. Russell et Peter Norvig, Artificial Intelligence : A Modern Approach, Prentice Hall, 2010, Third éd., 1132 p. (ISBN 978-0-13-604259-4), p. 649
Hado van Hasselt, « Double Q-learning », Advances in Neural Information Processing Systems, vol. 23,‎ 2011, p. 2613–2622 (lire en ligne [PDF])
Hado van Hasselt, Arthur Guez et David Silver, « Deep reinforcement learning with double Q-learning », AAAI Conference on Artificial Intelligence,‎ 2015, p. 2094–2100 (lire en ligne [PDF])

Portail de l’éducation

Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.

[:0-1] Tambet Matiisen, « Demystifying Deep Reinforcement Learning | Computational Neuroscience Lab », sur neuro.cs.ut.ee, 19 décembre 2015 (consulté le 6 avril 2018)

[2] C. J. Watkins, Learning from delayed rewards, Kings College, Cambridge, mai 1989

[3] (en) George F Luger, Artificial intelligence : Structures and strategies for complex problem solving. 5e édition., Addison Wesley, 2005, 903 p. (ISBN 0-321-26318-9, lire en ligne), p. 448

[4] Watkins et Dayan, Q-learning.Machine Learning, 1992

[5] (en) David L. Poole et Alan K. Mackworth, Artificial Intelligence, Cambridge University Press, 2009 (ISBN 978-0-511-79479-7, DOI 10.1017/CBO9780511794797, lire en ligne), p. 469

[6] Reinforcement Learning: An Introduction, Richard Sutton et Andrew Barto, MIT Press, 1998.

[7] (en) Stuart J. Russell et Peter Norvig, Artificial Intelligence : A Modern Approach, Prentice Hall, 2010, Third éd., 1132 p. (ISBN 978-0-13-604259-4), p. 649

[8] Hado van Hasselt, « Double Q-learning », Advances in Neural Information Processing Systems, vol. 23,‎ 2011, p. 2613–2622 (lire en ligne [PDF])

[9] Hado van Hasselt, Arthur Guez et David Silver, « Deep reinforcement learning with double Q-learning », AAAI Conference on Artificial Intelligence,‎ 2015, p. 2094–2100 (lire en ligne [PDF])