T50. Regressió lineal

Desarrollo del tema

# REGRESSIÓ LINEAL

## 1. Introducció

La **regressió lineal** és una eina fonamental per modelitzar la relació entre una variable resposta $Y$ i una o més variables explicatives $X$. En el cas simple, la regressió lineal busca ajustar una recta que expliqui com varia $Y$ quan $X$ canvia.

Té aplicacions en ciències, economia, educació, enginyeria i en l’anàlisi de dades en general. Aquest tema presenta el model de regressió lineal simple, l’estimació per mínims quadrats, la interpretació dels paràmetres, la inferència (IC i contrastos), el coeficient de determinació i el diagnòstic bàsic.

## 2. Model de regressió lineal simple

Considerem dades $(x_i,y_i)$, $i=1,\ldots,n$.

**Model:** $$Y_i = \beta_0 + \beta_1 x_i + \varepsilon_i$$

Hipòtesis habituals: - $\mathbb{E}[\varepsilon_i]=0$ - $\mathrm{Var}(\varepsilon_i)=\sigma^2$ (homocedasticitat) - $\varepsilon_i$ independents - Sovint, $\varepsilon_i\sim\mathcal{N}(0,\sigma^2)$ per a inferència exacta

**Interpretació:** - $\beta_0$ és l’ordenada a l’origen (valor esperat de $Y$ quan $X=0$) - $\beta_1$ és la pendent (canvi esperat en $Y$ per unitat d’increment en $X$)

## 3. Estimació per mínims quadrats

Definim els residus $e_i = y_i - (b_0+b_1x_i)$ i la suma de quadrats: $$S(b_0,b_1)=\sum_{i=1}^n (y_i-b_0-b_1x_i)^2$$

Els estimadors de **mínims quadrats ordinaris** (OLS) són els que minimitzen $S$.

### 3.1 Fórmules

Siguin: $$\bar x=\frac{1}{n}\sum x_i,\qquad \bar y=\frac{1}{n}\sum y_i$$

$$S_{xx}=\sum (x_i-\bar x)^2,\qquad S_{xy}=\sum (x_i-\bar x)(y_i-\bar y)$$

Aleshores: $$\hat\beta_1=b_1=\frac{S_{xy}}{S_{xx}}$$ $$\hat\beta_0=b_0=\bar y-b_1\bar x$$

La recta ajustada és: $$\hat y = b_0+b_1 x$$

### 3.2 Propietats geomètriques

- La recta passa pel punt $(\bar x,\bar y)$. - La suma de residus és zero: $\sum e_i=0$. - Residus ortogonals a $x_i-\bar x$: $\sum (x_i-\bar x)e_i=0$.

## 4. Decomposició de la variabilitat

Definim: - **SST** (total): $\mathrm{SST}=\sum (y_i-\bar y)^2$ - **SSR** (regressió): $\mathrm{SSR}=\sum (\hat y_i-\bar y)^2$ - **SSE** (error): $\mathrm{SSE}=\sum (y_i-\hat y_i)^2=\sum e_i^2$

Es compleix: $$\mathrm{SST}=\mathrm{SSR}+\mathrm{SSE}$$

### 4.1 Coeficient de determinació

$$R^2=\frac{\mathrm{SSR}}{\mathrm{SST}}=1-\frac{\mathrm{SSE}}{\mathrm{SST}}$$

Interpreta la fracció de variabilitat de $Y$ explicada pel model lineal.

En regressió simple, $R^2=r^2$, on $r$ és la correlació de Pearson.

## 5. Inferència en el model lineal

Assumint errors normals, els estimadors són normals: $$b_1\sim \mathcal{N}\left(\beta_1,\frac{\sigma^2}{S_{xx}}\right),\qquad b_0\sim \mathcal{N}\left(\beta_0,\sigma^2\left(\frac{1}{n}+\frac{\bar x^2}{S_{xx}}\right)\right)$$

Com que $\sigma^2$ és desconeguda, l’estimem per: $$s^2=\hat\sigma^2=\frac{\mathrm{SSE}}{n-2}$$

### 5.1 Contrast de pendent

Contrast $H_0: \beta_1=0$ (no relació lineal) vs $H_1: \beta_1\ne 0$.

Estadístic: $$T=\frac{b_1-0}{s/\sqrt{S_{xx}}}\sim t_{n-2}\quad(H_0)$$

### 5.2 Interval de confiança per la pendent

$$b_1 \pm t_{\alpha/2,n-2}\frac{s}{\sqrt{S_{xx}}}$$

### 5.3 Predicció

**Mitjana resposta** a $x_0$: $$\hat y_0=b_0+b_1x_0$$

IC per $\mathbb{E}[Y\mid X=x_0]$: $$\hat y_0 \pm t_{\alpha/2,n-2}\,s\sqrt{\frac{1}{n}+\frac{(x_0-\bar x)^2}{S_{xx}}}$$

Interval de **predicció** per un nou valor $Y_{nou}$ (més ample): $$\hat y_0 \pm t_{\alpha/2,n-2}\,s\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar x)^2}{S_{xx}}}$$

## 6. Diagnòstic bàsic

### 6.1 Residus

Analitzar gràfics de residus vs ajustats: - patró aleatori → model plausible - forma de ventall → heterocedasticitat - corba → no linealitat

### 6.2 Punts influents

Observacions amb gran leverage (x molt lluny de $\bar x$) poden influir fortament en la pendent.

Indicadors: - Leverage $h_{ii}$ - Distància de Cook

### 6.3 Multicol·linealitat (en regressió múltiple)

En regressió múltiple ($Y=\beta_0+\beta_1X_1+\cdots$) pot aparèixer col·linealitat entre predictors; s’avalua amb VIF.

## 7. Regressió i correlació

- **Correlació** mesura associació lineal simètrica. - **Regressió** modelitza una direcció (explicar $Y$ a partir de $X$).

Important: correlació no implica causalitat.

## 8. Exemple resolt

Dades resumides: $\bar x=5$, $\bar y=10$, $S_{xx}=20$, $S_{xy}=30$, $n=12$.

$$b_1=\frac{30}{20}=1.5,\qquad b_0=10-1.5\cdot 5=2.5$$

Recta: $\hat y = 2.5+1.5x$.

Si $\mathrm{SSE}=40$: $$s^2=\frac{40}{12-2}=4\Rightarrow s=2$$

Contrast $H_0:\beta_1=0$: $$T=\frac{1.5}{2/\sqrt{20}}=\frac{1.5\sqrt{20}}{2}\approx 3.354$$

Compareu amb $t_{0.025,10}\approx 2.228$: rebutgem $H_0$ al 5%.

## 9. Didàctica

- Fer primer ajust visual amb núvol de punts - Interpretar pendent i intercept en context - Treballar residus per detectar problemes del model - Conscienciar sobre causalitat i variables confusores

## 10. Conclusions

La regressió lineal simple ajusta una relació lineal entre variables mitjançant mínims quadrats. Les fórmules explícites de $b_0$ i $b_1$ connecten amb covariància i variància. El model permet quantificar l’ajust (R²), fer inferència sobre la pendent i construir intervals de confiança i predicció. El diagnòstic de residus és essencial per validar les hipòtesis del model.