Statistiques avancées

Fiches de cours et sous-notions liées à ce chapitre.

Pas assez de questions pour un entraînement ciblé sur cette notion.

Régression

Non commencé

Définitions

Régression linéaire : modèle $y = X\beta + \varepsilon$ , estimateur MC $\hat{\beta} = (X^TX)^{-1}X^Ty$ . Ridge : $\hat{\beta}_\lambda = (X^TX + \lambda I)^{-1}X^Ty$ (pénalité $L^2$ ). LASSO : pénalité $L^1$ favorise sparsité.

Régression logistique : $P(y=1|x) = \sigma(\beta^Tx)$ , $\sigma$ sigmoïde ; perte log-vraisemblance. $R^2$ mesure variance expliquée. Diagnostic : résidus, multicolinéarité (VIF), validation croisée.

Régression linéaire $\hat\beta=(X^TX)^{-1}X^Ty$ . Ridge ( $L^2$ ), LASSO ( $L^1$ ). Logistique : sigmoïde.

Pourquoi c’est central : cette notion structure les preuves et calculs du programme ; maîtriser définitions et hypothèses évite les applications hors cadre.

Formules

$\hat{\beta} = (X^TX)^{-1}X^Ty \quad ; \quad \hat{y} = X\hat{\beta}$
$\text{Ridge : } \min \|y - X\beta\|^2 + \lambda\|\beta\|^2$
$\text{LASSO : } \min \|y - X\beta\|^2 + \lambda\|\beta\|_1$
$P(y=1|x) = \frac{1}{1 + e^{-\beta^Tx}}$

Exemples

Exemple 1

Estimateur des moindres carrés.

Méthode

(1) Lire l'énoncé et repérer les hypothèses / la forme utile. (2) $\hat\beta=(X^TX)^{-1}X^Ty$ si $X$ plein rang. (3) Vérifier le résultat (ordre de grandeur, cas particulier, ou dérivation/substitution).

Résultat

$\hat\beta$ MC ordinaires.

Exemple 2

Rôle de Ridge.

Méthode

(1) Lire l'énoncé et repérer les hypothèses / la forme utile. (2) $(X^TX+\lambda I)^{-1}X^Ty$ stabilise si multicolinéarité / $\kappa$ grand. (3) Vérifier le résultat (ordre de grandeur, cas particulier, ou dérivation/substitution).

Résultat

Ridge régularise $L^2$ .

À retenir

Séries temporelles

Non commencé

Définitions

Une série temporelle $(X_t)$ est stationnaire si loi invariante par translation et $\mathrm{Cov}(X_t, X_{t+h})$ ne dépend que de $h$ . AR(1) : $X_t = \phi X_{t-1} + \varepsilon_t$ , stationnaire si $|\phi| < 1$ . MA( $q$ ), ARMA( $p,q$ ), ARIMA pour non stationnaire (differencing).

ACF/PACF pour identification. Bruit blanc : $\varepsilon_t$ i.i.d., $E[\varepsilon_t]=0$ . Décomposition : tendance + saisonnalité + résidu. Prévision : $\hat{X}_{T+h|T} = E[X_{T+h}|X_1,\ldots,X_T]$ .

Série temporelle stationnaire : ACF ne dépend que du lag. AR(1) : $|\phi|<1$ . ARMA/ARIMA. Décomposition tendance/saison/résidu.

Pourquoi c’est central : cette notion structure les preuves et calculs du programme ; maîtriser définitions et hypothèses évite les applications hors cadre.

Formules

$X_t = \phi X_{t-1} + \varepsilon_t,\ |\phi| < 1 \Rightarrow \text{ stationnaire}$
$E[X_t] = 0,\ \gamma(h) = \phi^{|h|} \frac{\sigma^2}{1-\phi^2}$
$\text{ACF}(h) = \mathrm{Corr}(X_t, X_{t-h})$
$X_t = T_t + S_t + R_t \quad \text{(décomposition)}$

Exemples

Exemple 1

AR(1) stationnaire.

Méthode

(1) Lire l'énoncé et repérer les hypothèses / la forme utile. (2) $X_t=\phi X_{t-1}+\varepsilon_t$ stationnaire ssi $|\phi|<1$ ; $\gamma(h)\propto\phi^{|h|}$ . (3) Vérifier le résultat (ordre de grandeur, cas particulier, ou dérivation/substitution).

Résultat

Stationnaire si $|\phi|<1$ .

Exemple 2

Rôle du différencing ARIMA.

Méthode

(1) Lire l'énoncé et repérer les hypothèses / la forme utile. (2) Différences pour stationnariser une tendance stochastique. (3) Vérifier le résultat (ordre de grandeur, cas particulier, ou dérivation/substitution).

Résultat

ARIMA = différencier puis ARMA.

À retenir

Apprentissage statistique

Non commencé

Définitions

Apprentissage statistique : minimiser risque empirique $\frac{1}{n}\sum L(y_i, f(x_i)) + \Omega(f)$ (régularisation). Surapprentissage : faible erreur train, haute erreur test. Validation croisée $k$ -fold estime erreur généralisation.

Biais-variance : $\mathrm{MSE} = \mathrm{Biais}^2 + \mathrm{Var} + \sigma^2$ . Modèles : arbres, SVM, forêts aléatoires. Courbe apprentissage diagnostique under/overfitting. PAC learning (complexité VC) borne erreur généralisation.

Apprentissage statistique : biais-variance, surapprentissage, validation. Classifieurs, risque empirique, régularisation.

Trade-off complexité du modèle vs erreur de généralisation.

Pourquoi c’est central : cette notion structure les preuves et calculs du programme ; maîtriser définitions et hypothèses évite les applications hors cadre.

Formules

$R_{\mathrm{emp}}(f) = \frac{1}{n}\sum_{i=1}^n L(y_i, f(x_i))$
$\mathrm{MSE} = \mathrm{Biais}^2 + \mathrm{Var} + \sigma^2_\varepsilon$
$\text{CV : } \frac{1}{k}\sum_{j=1}^k \mathrm{Err}_{\mathrm{test}}^{(j)}$
$\text{VC : } P(\mathrm{err}_{\mathrm{test}} - \mathrm{err}_{\mathrm{train}} > \eta) \leq \delta$

Exemples

Exemple 1

Décomposition biais-variance (régression).

Méthode

(1) Lire l'énoncé et repérer les hypothèses / la forme utile. (2) MSE $=\mathrm{biais}^2+\mathrm{var}+\mathrm{bruit}$ . Modèle trop simple : biais ; trop complexe : var. (3) Vérifier le résultat (ordre de grandeur, cas particulier, ou dérivation/substitution).

Résultat

MSE = biais² + variance + bruit.

Exemple 2

Rôle de la validation croisée.

Méthode

(1) Lire l'énoncé et repérer les hypothèses / la forme utile. (2) Estimer l'erreur de généralisation pour choisir hyperparamètres. (3) Vérifier le résultat (ordre de grandeur, cas particulier, ou dérivation/substitution).

Résultat

CV $\approx$ erreur hors échantillon.