Temporal difference learning

Soit ${\displaystyle V^{\pi }}$ la fonction de valeur du PDM selon la politique ${\displaystyle \pi }$. En tout état s, ${\displaystyle V^{\pi }(s)}$ est l'espérance des sommes récompenses obtenues avec un amortissement ${\displaystyle \gamma }$, lorsque l'agent suit la politique ${\displaystyle \pi }$ depuis l'état s. Formellement, en notant ${\displaystyle E_{\pi }\{...\}}$ l'espérance lorsque l'agent suit la politique ${\displaystyle \pi }$, la suite des états ${\displaystyle s_{0},s_{1},s_{2},\dots }$, la suite des récompenses ${\displaystyle r_{0},r_{1},r_{2},\dots }$ et l'amortissement ${\displaystyle \gamma }$ , on a

${\displaystyle V^{\pi }(s)=E_{\pi }\left\{\sum _{t=0}^{\infty }\gamma ^{t}r_{t}{\Bigg |}s_{0}=s\right\}}$.

La fonction de valeur ${\displaystyle V^{\pi }}$ satisfait l'équation de Hamilton-Jacobi-Bellman :

${\displaystyle V^{\pi }(s)=E_{\pi }\{r_{0}+\gamma V^{\pi }(s_{1})|s_{0}=s\},}$

donc ${\displaystyle r_{0}+\gamma V^{\pi }(s_{1})}$ est une estimation non-biaisée de ${\displaystyle V^{\pi }(s)}$. Cette observation motive l'algorithme TD(0) pour estimer ${\displaystyle V^{\pi }}$.

L'algorithme commence par initialiser un tableau ${\displaystyle V}$ arbitrairement, c'est-à-dire ${\displaystyle V(s)}$ est une valeur arbitraire pour chaque état ${\displaystyle s}$ du PDM. On choisit un taux d'apprentissage positif ${\displaystyle \alpha }$.

On répète ensuite les opérations suivantes :

1. évaluer la politique ${\displaystyle \pi }$ en fonction du tableau ${\displaystyle V}$ courant
2. obtenir une récompense ${\displaystyle r}$
3. et mettre à jour la fonction pour l'ancien état en utilisant la règle[8] :

${\displaystyle V(s)\leftarrow V(s)+\alpha (\overbrace {r+\gamma V(s')} ^{\text{Objectif TD}}-V(s))}$

où ${\displaystyle s}$ et ${\displaystyle s'}$ sont les ancien et nouvel états respectivement. La valeur ${\displaystyle r+\gamma V(s')}$ est appelée objectif TD.