Machine learning (maths)

Fiches de cours et sous-notions liées à ce chapitre.

Pas assez de questions pour un entraînement ciblé sur cette notion.

Régularisation

Non commencé

Définitions

Régularisation contrôle complexité modèle : ridge ( $L^2$ ), LASSO ( $L^1$ ), elastic net. Interprétation bayésienne : prior gaussien (ridge), Laplace (LASSO). Dropout (réseaux) : désactive neurones aléatoirement à l'entraînement.

Early stopping : arrêt quand validation stagne. Data augmentation artificielle élargit train. Trade-off biais-variance : $\lambda$ grand $\Rightarrow$ biais↑ variance↓.

Régularisation : pénaliser la complexité ( $L^2$ , $L^1$ , elastic net, early stopping). Contrôle biais-variance.

Équivalent bayésien : prior sur les paramètres.

Pourquoi c’est central : cette notion structure les preuves et calculs du programme ; maîtriser définitions et hypothèses évite les applications hors cadre.

Formules

$\min \sum L(y_i, f(x_i)) + \lambda \|w\|_2^2 \quad \text{(ridge)}$
$\min \sum L(y_i, f(x_i)) + \lambda \|w\|_1 \quad \text{(LASSO)}$
$\text{Prior : } w \sim \mathcal{N}(0, \sigma^2 I) \Leftrightarrow \text{ ridge}$
$P(\mathrm{dropout}) = p \Rightarrow \text{ régularisation ensemble}$

Exemples

Exemple 1

Effet $L^1$ vs $L^2$ .

Méthode

(1) Lire l'énoncé et repérer les hypothèses / la forme utile. (2) $L^1$ favorise sparsité ; $L^2$ rétrécit sans annuler en général. (3) Vérifier le résultat (ordre de grandeur, cas particulier, ou dérivation/substitution).

Résultat

LASSO sparse ; Ridge dense rétréci.

Exemple 2

Choisir $\lambda$ .

Méthode

(1) Lire l'énoncé et repérer les hypothèses / la forme utile. (2) Par validation croisée / courbe validation. (3) Vérifier le résultat (ordre de grandeur, cas particulier, ou dérivation/substitution).

Résultat

$\lambda^*$ via CV.

À retenir

Gradient boosting

Non commencé

Définitions

Gradient boosting : modèle additif $F_m(x) = F_{m-1}(x) + \gamma_m h_m(x)$ où $h_m$ approxime le gradient négatif de la perte. XGBoost, LightGBM : régularisation, parallélisation, gestion données creuses. Random forest : moyenne arbres entraînés sur bootstrap + sous-ensemble features.

Bagging réduit variance ; boosting réduit biais. Learning rate $\nu$ shrink chaque arbre : $F_m = F_{m-1} + \nu h_m$ .

Gradient boosting : somme additive de faibles estimateurs (arbres) ajustant les résidus. XGBoost/LightGBM.

Learning rate $\nu$ petit + beaucoup d'arbres. Régularisation sur feuilles.

Pourquoi c’est central : cette notion structure les preuves et calculs du programme ; maîtriser définitions et hypothèses évite les applications hors cadre.

Formules

$F_m(x) = F_{m-1}(x) + \nu \cdot \arg\min_h \sum L(y_i, F_{m-1}(x_i) + h(x_i))$
$h_m(x) \approx -\frac{\partial L(y, F_{m-1}(x))}{\partial F}$
$\text{RF : } \hat{f} = \frac{1}{B}\sum_{b=1}^B T_b(x)$
$\text{Var RF } \propto \rho + (1-\rho)/B$

Exemples

Exemple 1

Idée d'une itération boosting.

Méthode

(1) Lire l'énoncé et repérer les hypothèses / la forme utile. (2) Ajuster $h_t$ aux résidus/gradients négatifs de la perte ; $F\leftarrow F+\nu h_t$ . (3) Vérifier le résultat (ordre de grandeur, cas particulier, ou dérivation/substitution).

Résultat

Ajout stagewise de faibles modèles.

Exemple 2

Surapprentissage boosting.

Méthode

(1) Lire l'énoncé et repérer les hypothèses / la forme utile. (2) Trop d'arbres / $\nu$ trop grand : overfit ; early stopping sur validation. (3) Vérifier le résultat (ordre de grandeur, cas particulier, ou dérivation/substitution).

Résultat

Contrôler $T$ et $\nu$ .

À retenir

Réseaux de neurones

Non commencé

Définitions

Réseau de neurones : composition $f = f_L \circ \cdots \circ f_1$ , couche $f_l(x) = \sigma(W_l x + b_l)$ . ReLU $\max(0,x)$ : sparse, évite vanishing gradient partiellement. Rétropropagation : règle chaîne pour $\partial L/\partial W_l$ .

Fonctions perte : MSE régression, cross-entropy classification. Architectures : MLP, CNN (convolution), RNN/LSTM (séquences), Transformer (attention). Vanishing gradient avec sigmoïde ; BatchNorm stabilise.

Réseau de neurones : couches, activation (ReLU, sigmoïde), backprop, SGD/Adam. Universal approximation.

Non convexité : minima locaux / selles. Régularisation dropout, weight decay.

Pourquoi c’est central : cette notion structure les preuves et calculs du programme ; maîtriser définitions et hypothèses évite les applications hors cadre.

Formules

$\sigma(x) = \max(0, x) \quad \text{(ReLU)} \quad ; \quad \sigma(x) = \frac{1}{1+e^{-x}} \quad \text{(sigmoïde)}$
$\delta_l = (W_{l+1}^T \delta_{l+1}) \odot \sigma'(z_l) \quad \text{(backprop)}$
$\frac{\partial L}{\partial W_l} = \delta_l a_{l-1}^T$
$\text{Attention : } \mathrm{softmax}(QK^T/\sqrt{d})V$

Exemples

Exemple 1

Passe avant / arrière.

Méthode

(1) Lire l'énoncé et repérer les hypothèses / la forme utile. (2) Forward : $z=Wx+b$ , $a=\sigma(z)$ . Backward : dériver la perte via chaîne. (3) Vérifier le résultat (ordre de grandeur, cas particulier, ou dérivation/substitution).

Résultat

Backprop = règle de chaîne.

Exemple 2

Rôle de ReLU.

Méthode

(1) Lire l'énoncé et repérer les hypothèses / la forme utile. (2) $\max(0,x)$ : gradient simple, atténue vanishing vs sigmoïde profonde. (3) Vérifier le résultat (ordre de grandeur, cas particulier, ou dérivation/substitution).

Résultat

ReLU standard en deep learning.