Apprentissage par Renforcement

L’apprentissage par renforcement (Reinforcement Learning, RL) permet à un agent d’apprendre par essais et erreurs en interagissant avec un environnement. L’agent reçoit des récompenses ou des pénalités en fonction de ses actions, et son objectif est de maximiser la récompense cumulée sur le long terme.

Concepts fondamentaux§

graph LR
    A["Agent"] -->|"Action a"| E["Environnement"]
    E -->|"État s'"| A
    E -->|"Récompense r"| A

    style A fill:#2196F3,color:#fff
    style E fill:#4CAF50,color:#fff

Le processus de décision markovien (MDP)§

Le RL est formalisé comme un MDP (Markov Decision Process), défini par :

• $S$ : ensemble des états possibles
• $A$ : ensemble des actions possibles
• $P(s’ \mid s, a)$ : probabilité de transition vers l’état $s’$ en prenant l’action $a$ dans l’état $s$
• $R(s, a)$ : récompense obtenue
• $\gamma$ : facteur de discount ($0 \leq \gamma \leq 1$)

Propriété de Markov : l’état futur ne dépend que de l’état présent, pas de l’historique.

Le facteur de discount $\gamma$§

Le facteur de discount contrôle l’importance des récompenses futures par rapport aux récompenses immédiates :

$$G_t = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \dots = \sum_{k=0}^{\infty} \gamma^k r_{t+k}$$

Exploration vs Exploitation§

Un dilemme fondamental en RL :

Stratégie epsilon-greedy ($\varepsilon$-greedy)§

La méthode la plus simple pour équilibrer exploration et exploitation :

$$a = \begin{cases} \text{action aléatoire} & \text{avec probabilité } \varepsilon \ \arg\max_a Q(s, a) & \text{avec probabilité } 1 - \varepsilon \end{cases}$$

• $\varepsilon$ commence haut (beaucoup d’exploration) et décroît au fil du temps
• Exemple : $\varepsilon = 1.0 \to 0.01$ sur 100 000 étapes

Fonctions de valeur§

Fonction de valeur d’état $V(s)$§

Récompense cumulée attendue en partant de l’état $s$ et en suivant la politique $\pi$ :

$$V^\pi(s) = \mathbb{E}\pi \left[ \sum{k=0}^{\infty} \gamma^k r_{t+k} \mid s_t = s \right]$$

Fonction de valeur action-état $Q(s, a)$§

Récompense cumulée attendue en prenant l’action $a$ dans l’état $s$ puis en suivant $\pi$ :

$$Q^\pi(s, a) = \mathbb{E}\pi \left[ \sum{k=0}^{\infty} \gamma^k r_{t+k} \mid s_t = s, a_t = a \right]$$

Équation de Bellman§

Relation récursive fondamentale qui lie la valeur d’un état à celle des états suivants :

$$V^\pi(s) = \sum_a \pi(a \mid s) \sum_{s’} P(s’ \mid s, a) \left[ R(s, a) + \gamma V^\pi(s’) \right]$$

Les grandes familles d’algorithmes§

graph TB
    RL["Apprentissage par<br/>Renforcement"]
    RL --> MF["Model-Free"]
    RL --> MB["Model-Based"]

    MF --> VB["Value-Based"]
    MF --> PG["Policy-Based"]
    MF --> AC["Actor-Critic"]

    VB --> QL["Q-Learning"]
    VB --> DQN["DQN"]
    VB --> SARSA2["SARSA"]

    PG --> REINFORCE["REINFORCE"]
    PG --> PPO["PPO"]

    AC --> A2C["A2C"]
    AC --> A3C["A3C"]
    AC --> SAC["SAC"]

    style RL fill:#673AB7,color:#fff
    style MF fill:#2196F3,color:#fff
    style MB fill:#FF9800,color:#fff
    style VB fill:#4CAF50,color:#fff
    style PG fill:#E91E63,color:#fff
    style AC fill:#009688,color:#fff

Méthodes Value-Based§

Q-Learning§

Algorithme off-policy qui apprend la fonction $Q$ optimale sans suivre une politique fixe.

Règle de mise à jour :

$$Q(s, a) \leftarrow Q(s, a) + \alpha \left[ r + \gamma \max_{a’} Q(s’, a’) - Q(s, a) \right]$$

• $\alpha$ : taux d’apprentissage
• $r + \gamma \max_{a’} Q(s’, a’)$ : cible (target)
• $Q(s, a)$ : estimation actuelle
• La différence entre les deux est l’erreur TD (Temporal Difference)

La table Q :

L’agent choisit l’action avec la plus haute valeur Q (en gras).

SARSA (State-Action-Reward-State-Action)§

Similaire au Q-Learning mais on-policy : il utilise l’action réellement prise par la politique actuelle.

$$Q(s, a) \leftarrow Q(s, a) + \alpha \left[ r + \gamma Q(s’, a’) - Q(s, a) \right]$$

Différence clé : utilise $Q(s’, a’)$ (action réelle) au lieu de $\max_{a’} Q(s’, a’)$ (meilleure action).

Deep Q-Network (DQN)§

Quand l’espace d’états est trop grand pour une table Q (ex: pixels d’un jeu), on utilise un réseau de neurones pour approximer $Q(s, a)$.

Innovations clés de DQN :

• Experience Replay : stocker les transitions $(s, a, r, s’)$ dans un buffer et entraîner sur des échantillons aléatoires
• Target Network : un second réseau mis à jour moins fréquemment pour stabiliser l’entraînement

graph LR
    S["État s<br/>(ex: pixels du jeu)"] --> NN["Réseau de neurones<br/>(convolutions + dense)"]
    NN --> Q1["Q(s, gauche)"]
    NN --> Q2["Q(s, droite)"]
    NN --> Q3["Q(s, haut)"]
    NN --> Q4["Q(s, bas)"]

    style S fill:#4CAF50,color:#fff
    style NN fill:#2196F3,color:#fff

Méthodes Policy-Based§

Au lieu d’apprendre une fonction de valeur, on apprend directement la politique $\pi_\theta(a \mid s)$.

REINFORCE (Monte Carlo Policy Gradient)§

• On joue un épisode complet
• On calcule la récompense cumulée pour chaque action
• On met à jour les paramètres pour renforcer les bonnes actions

$$\nabla J(\theta) = \mathbb{E}\pi \left[ \nabla \log \pi\theta(a \mid s) \cdot G_t \right]$$

Avantage : peut gérer des espaces d’actions continus. Inconvénient : haute variance, convergence lente.

Méthodes Actor-Critic§

Combinent le meilleur des deux mondes :

• Actor (acteur) : apprend la politique $\pi_\theta(a \mid s)$
• Critic (critique) : apprend la fonction de valeur $V(s)$ pour évaluer les actions de l’acteur

graph TB
    S["État s"] --> ACTOR["Actor<br/>π(a|s)"]
    S --> CRITIC["Critic<br/>V(s)"]
    ACTOR --> A["Action a"]
    A --> ENV["Environnement"]
    ENV --> R["Récompense r"]
    R --> CRITIC
    CRITIC --> |"Avantage A(s,a)"| ACTOR

    style ACTOR fill:#E91E63,color:#fff
    style CRITIC fill:#2196F3,color:#fff
    style ENV fill:#4CAF50,color:#fff

PPO (Proximal Policy Optimization)§

L’algorithme le plus populaire aujourd’hui (utilisé pour entraîner ChatGPT via RLHF).

• Limite les mises à jour de politique pour éviter les changements trop brusques
• Stable et performant
• Fonctionne bien dans la plupart des environnements

Applications§

Résumé des différences§