Serie Temporali

Analisi Dati e Statistica, 2024–25

Paolo Bosetti

Università di Trento, Dipartimento di Ingegneria Industriale

Ultimo aggiornamento: 31/03/2025

Serie Temporali

Una serie temporale è costituita da una serie di osservazioni di una variabile aleatoria tale per cui l’influenza di un’osservazione sulle seguenti non possa essere trascurata e—quindi—tale che la dipendenza dal tempo risulti essenziale

Statistica delle serie temporali

Tutti i metodi di regressione visti fin ora sono basati sull’assunzione che la variabile aleatoria sia $x \overset{I I D}{\sim} N (μ, σ^{2})$ . Cioè tutte le osservazioni devono essere non-autocorrelate

Quest’assunzione è, tra l’altro, alla base della raccomandazione di casualizzazione della sequenza operativa

Supponiamo di poter considerare una misura come un segnale tempo-dipendente. È evidente che riducendo l’intervallo di campionamento del segnale prima o poi ogni campione sarà correlato al precedente

Esiste quindi una frequenza di campionamento massima al di sopra della quale ogni misura risulta essere autocorrelata, cioè le osservazioni di $x$ non sono più IID

Questa situazione sussiste quando la dinamica propria dello strumento di misura o del misurando stesso—che sono sempre finite—sono più lente dell’intervallo temporale in cui si effettuano le misure

Autocovarianza e autocorrelazione

Abbiamo visto come gli operatori covarianza e correlazione servano a stimare l’indipendenza di due campioni

Considerando un segnale tempo-dipendente $x = x (t)$ , è interessante considerare la covarianza del segnale con se stesso, traslato nel tempo

Definiamo la funzione autocovarianza $γ (s, t)$ come la funzione che valuta la covarianza di un segnale temporale con se stesso valutato iniziando ai tempi $s$ e $t$ : $γ_{x} (s, t) = σ_{x_{s}, x_{t}} = E [(x_{s} - μ_{s}) (x_{t} - μ_{t})]$

È evidente che $γ_{x} (s, s) = σ^{2} (x_{s})$

La funzione di autocorrelazione (ACF), di conseguenza, è definita come: $ρ_{x} (s, t) = \frac{γ_{x} (s, t)}{\sqrt{γ_{x} (s, s) γ_{x} (t, t)}}$ ed ha il vantaggio di essere sempre compresa in $[- 1, 1]$ . È inoltre evidente che $ρ_{x} (s, s) = 1$

Autocorrelazione

Se campioniamo un segnale continuo a intervalli fissi $Δ t$ per una durata complessiva $T$ , otteniamo una serie temporale finita di $N = T / Δ t$ osservazioni: $x_{0} = ⟨ x_{1}, x_{2}, \dots, x_{N} ⟩$

Possiamo estendere la definizione stabilendo che sia $s = t_{0} = 0$ l’istante iniziale della serie e che sia $t = s + τ$ un generico momento successivo tale per cui $τ = ℓ Δ t$ dove $ℓ$ è il ritardo o lag, e allora l’autocovarianza e l’autocorrelazione per una s.t. finita risultano: $γ_{x} (ℓ) = \frac{\sum_{i = 1}^{N - ℓ} (x_{i} - {\bar{x}}_{0}) (x_{i + ℓ} - {\bar{x}}_{ℓ})}{N - ℓ - 2}, ρ_{x} (ℓ) = \frac{γ_{x} (ℓ)}{\sqrt{σ_{x} (0) σ_{x} (ℓ)}}$ dove ${\bar{x}}_{0} = \frac{1}{N - ℓ} \sum_{i = 1}^{N - ℓ} x_{i}, {\bar{x}}_{ℓ} = \frac{1}{N - ℓ} \sum_{i = ℓ}^{N} x_{i}$

Autocorrelogramma (ACF)

Per costruire il grafico ACF di una s.t. si trasla l’ascissa di $ℓ$ campioni trascurando i primi $ℓ$ campioni nella s.t. non traslata e gli ultimi $ℓ$ campioni in quella traslata

Poi si calcola l’autocorrelazione tra le due serie

Il processo viene ripetuto per $ℓ = 0, 1, \dots, n$ , con $n$ scelto in funzione della dimensione della serie, tipicamente pari ad almeno 50 e comunque non oltre la metà della lunghezza della s.t.

Autocorrelogramma (ACF)

La funzione di autocorrelazione $ρ_{x} (ℓ)$ che è una funzione a valori discreti, può essere messa in grafico per studiare il lag massimo al di sopra del quale la serie storica $x$ non è più autocorrelata

In figura il segnale di un microfono che registra il suono “AAHH”. La serie è evidentemente periodica ogni 0.01 s

L’autocorrelogramma mostra autocorrelazione elevata fino a $ℓ = 4$ . Poi l’andamento è periodico, a confermare che la s.t. è autocorrelata con se stessa ogni circa 10 lag

Serie storica
ACF

Serie temporali stazionarie

Una s.t. può essere stazionaria o meno. Si definiscono:

Serie temporale stazionaria in senso ampio: È una serie temporale per cui il comportamento probabilistico di una qualsiasi collezione di valori $⟨ x_{t_{1}}, x_{t_{2}}, \dots, x_{t_{k}} ⟩$ è identico a quello della collezione traslata $⟨ x_{t_{1} + h}, x_{t_{2} + h}, \dots, x_{t_{k} + h} ⟩$ , cioè: $\Pr (x_{t_{1}} \leq c_{1}, \dots, x_{t_{k}} \leq c_{k}) = \Pr (x_{t_{1} + h} \leq c_{1}, \dots, x_{t_{k} + h} \leq c_{k}) .$
Serie temporale stazionaria in senso stretto: È una serie temporale per cui il valor medio della serie temporale è costante (tempo-indipendente) e la funzione di autocovarianza $γ (s, t)$ dipende da $s$ e $t$ solo tramite la loro differenza $| s - t |$

Per una serie stazionaria in senso ampio si può assumere $σ_{x} (0) = σ_{x} (ℓ) = σ_{x}$ e ${\bar{x}}_{0} = {\bar{x}}_{ℓ}$ e, quindi, $ρ_{x} (ℓ) = γ_{x} (ℓ) / σ_{x}$

Stabilizzazione

Le ST stazionarie almeno in senso ampio sono più semplici da trattare
È quindi utile cercare di stabilizzare la ST separandola in un termine di tendenza (trend) $x_{t}$ più un termine stazionario $x_{s}$
la stabilizzazione può essere fatta in due modi:
- detrending mediante regressione lineare: $x_{t} = x_{l, t} + x_{s, t}$ , dove $x_{l, t} = a + b t$ e, quindi, $x_{s, t}$ risulta essere la serie dei residui della regressione lineare di $x_{t}$
- detrending per differenziazione
La ST stabilizzata può poi essere analizzata e quindi ri-trasformata mediante l’operazione inversa:
- somma del termine di tendenza
- integrazione (cioè somma cumulativa)

Operatori di differenziazione

In generale, la stabilizzazione per differenziazione dà risultati migliori ed è anche più pratica: se la ST differenziata non è stabile, è possibile aumentare l’ordine di differenziazione fino a raggiungere la stabilità

Come si differenzia una ST?

Si definiscono:

Operatore backshift: è l’operatore $B^{n}$ tale per cui $B^{n} x_{t} := x_{t - n}$
Operatore differenza: è l’operatore $\nabla$ tale per cui $\nabla x_{t} := x_{t} - x_{t - 1} = (1 - B) x_{t}$ . Risulta quindi che $\nabla^{d} x_{t} = (1 - B)^{d} x_{t}$ , e quindi ad esempio $\nabla^{2} x_{t} = (1 - B)^{2} x_{t} = x_{t} - 2 x_{t - 1} + x_{t - 2}$

Quindi ad esempio la differenziazione $\nabla^{2} x_{t}$ è l’equivalente discreto della derivata seconda $\frac{d^{2}}{d t^{2}} x (t)$ per la funzione continua $x (t)$

Modelli statistici

La regressione classica applicata alle serie temporali è spesso insufficiente. Ad esempio, nel caso del prezzo del pollo l’analisi della autocorrelazione mostra un comportamento ciclico che la regressione classica non riesce ad evidenziare

È quindi necessario sviluppare delle tecniche che consentano di modellare i dettagli di una serie temporale, in particolare tenendo in considerazione anche l’autocorrelazione che può caratterizzare le serie temporali

Modelli AR — definizione

Un modello Auto-Regressivo (AR) esprime una determinata osservazione $x_{t}$ al tempo $t$ come combinazione lineare di $p$ valori precedenti $x_{t - 1}, x_{t - 2}, \dots, x_{t - p}$ . Un modello AR di ordine $p$ , abbreviato in $AR (p)$ , ha la forma: $x_{t} = ϕ_{1} x_{t - 1} + ϕ_{2} x_{t - 2} + \dots + ϕ_{p} x_{t - p} + w_{t}$

$x_{t}$ è stazionaria in senso ampio e $w_{t} \sim N (0, σ_{w}^{2})$
$ϕ_{1}, ϕ_{2}, \dots, ϕ_{p}$ sono costanti e $ϕ_{p} \neq 0$

Se la media di $x_{t}$ non è nulla, si sostituisce $x_{t}$ con $x_{t} - μ$ per ottenere: $\begin{aligned} x_{t} - μ & = ϕ_{1} (x_{t - 1} - μ) + ϕ_{2} (x_{t - 2} - μ) + \dots + ϕ_{p} (x_{t - p} - μ) + w_{t} \\ x_{t} & = α + ϕ_{1} x_{t - 1} + ϕ_{2} x_{t - 2} + \dots + ϕ_{p} x_{t - p} + w_{t}, α = μ (1 - ϕ_{1} - ϕ_{2} - \dots - ϕ_{p}) \end{aligned}$

Modelli AR — regressione

Ricordando la definizione dell’operatore backshift, la definizione di $w_{t}$ può essere scritta come:

$(1 - ϕ_{1} B - ϕ_{2} B^{2} - \dots - ϕ_{p} B^{p}) x_{t} = w_{t}$ o ancora più concisamente come:

$Φ_{p} (B) x_{t} = w_{t}$ dove $Φ_{p} (B) := 1 - ϕ_{1} B - ϕ_{2} B^{2} - \dots - ϕ_{p} B^{p}$ è detto operatore autoregressivo.

Effettuare la regressione di un modello $AR (p)$ su una serie storica $x_{t}$ significa quindi adattare il modello $Φ_{p} (B) \hat{x_{t}} = w_{t}$ identificando i coefficienti di $Φ_{p} (B)$ che minimizzano i residui quadratici medi, essendo i residui $ε_{t} = x_{t} - \hat{x_{t}} = x_{t} - Φ_{p}^{- 1} (B) w_{t}$ (ammesso che esista l’inversa $Φ_{p}^{- 1} (B)$ ).

Modelli MA — regressione

Analogamente al caso $AR (p)$ , per $MA (q)$ è possibile definire l’operatore media mobile di ordine $q$ : $Θ_{q} (B) = (1 + θ_{1} B + θ_{2} B^{2} + \dots + θ_{q} B^{q})$ tale per cui la equazione per $x_{t}$ può essere scritta come:

$x_{t} = Θ_{q} (B) w_{t}$

Come sopra, regredire un modello $MA (q)$ ad una serie storica $x_{t}$ significa identificare i termini di $Θ_{q} (B)$ che minimizzano i residui quadratici medi, definiti come $ε_{t} = x_{t} - \hat{x_{t}} = x_{t} - Θ_{q} (B)$ (si noti che questa volta non c’è l’inversa!)

Modelli MA e ACF

Una ST $M A (q)$ ha una memoria che si estende fino al lag $q$ , nel senso che le innovazioni a distanze superiori a $q$ non hanno alcun effetto sull’ultima osservazione

Quindi, data una serie temporale di tipo $M A (q)$ si può spesso identificare l’ordine dalla sua ACF, contando i picchi dopo quello a lag 0:

tre picchi fuori dalla banda di confidenza significano un modello $M A (3)$
i segni dei picchi corrispondono ai segni dei coefficienti

Modelli MA e PACF

Confrontando sia ACF che PACF

puro rumore: ACF e PACF sono nulle per lag maggiore di 0
$A R (p)$ : ACF decresce lentamente, PACF non-nulla per lag minori o uguali a $p$ , nulla altrimenti
$M A (q)$ : ACF mostra $q$ picchi; se $P A C F (1) > 0$ , PACF oscilla a 0, altrimenti decade geometricamente a 0

Modelli MA e PACF

Confrontando sia ACF che PACF

puro rumore: ACF e PACF sono nulle per lag maggiore di 0
$A R (p)$ : ACF decresce lentamente, PACF non-nulla per lag minori o uguali a $p$ , nulla altrimenti
$M A (q)$ : ACF mostra $q$ picchi; se $P A C F (1) > 0$ , PACF oscilla a 0, altrimenti decade geometricamente a 0
$A R M A (p, q)$ : ACF mostra $q$ picchi; PACF decade geometricamente a 0 solo dopo lag $p$

Modelli ARIMA

I processi $ARMA (p, q)$ sono adatti solo a descrivere serie stazionarie in senso ampio

Abbiamo visto però che un processo non stazionario può essere reso tale per differenziazione di un opportuno grado $d$

Un processo $x_{t}$ è detto $ARIMA (p, d, q)$ quando $\nabla^{d} x_{t} = (1 - B)^{d} x_{t}$ 2è un processo $ARMA (p, q)$

In generale, quando $E (\nabla^{d} x_{t}) = 0$ il processo $ARIMA (p, d, q)$ può essere scritto come: $Φ_{p} (B) \nabla^{d} x_{t} = Θ_{q} (B) w_{t}$ Se invece il valore atteso $E (\nabla^{d} x_{t}) = μ$ , allora: $Φ_{p} (B) \nabla^{d} x_{t} = δ + Θ_{q} (B) w_{t}, δ = μ (1 - ϕ_{1} - \dots - ϕ_{p})$

Stabilità e unicità dei modelli

Consideriamo un modello $AR (1)$ : possiamo sviluppare la formula ricorsiva come: $\begin{aligned} x_{t} = & ϕ x_{t - 1} + w_{t} = ϕ (ϕ x_{t - 2} + w_{t - 1}) + w_{t} \\ = & \sum_{j = 0}^{+ \infty} ϕ^{j} w_{t - j} \end{aligned}$ È quindi evidente che la serie temporale $x_{t}$ è stabile solo se $| ϕ | < 1$

Nel caso generale del modello $AR (p)$ , si ha la condizione di stabilità: $| \sum_{i = 1}^{p} ϕ_{i} | < 1$ Un modello AR non stabile è detto anche anti-causale, perché si può dimostrare che per essere stabilizzato richiede la conoscenza delle osservazioni future

Stabilità e unicità dei modelli

Per un modello $MA (1)$ , invece, consideriamo due modelli: $\begin{aligned} x_{t} & = w_{t} + θ w_{t - 1}, w_{t} \sim N (0, 1) \\ y_{t} & = ν_{t} + 1 / θ ν_{t - 1}, ν_{t} \sim N (0, θ^{2}) \end{aligned}$ È evidente che $x_{t}$ e $ν_{t}$ hanno la stessa ACF e sono indistinguibili, dato che noi non conosciamo le innovazioni $w_{t}$ e $ν_{t}$ ma solo le due serie. Si può dimostrare che il risultato è generale (cioè non dipende dell’ordine $q$ ).

È quindi necessario scegliere una delle due forme alternative. Per individuare quale, riscriviamo la serie come $w_{t} = - θ x_{t - 1} + x_{t}$ , che ha la stessa forma della $AR (1)$ . Possiamo quindi scegliere l’alternativa che rispetta lo stesso criterio di stabilità: $| \sum_{i = 1}^{q} θ_{i} | < 1$ Tale alternativa si dice invertibile

Stabilità e unicità dei modelli

In generale, si può dimostrare che i criteri visti sopra corrispondono a imporre il requisito che le radici complesse dei polinomi $\begin{aligned} Φ_{p} (z) & = 1 - ϕ_{1} z - ϕ_{2} z^{2} - \dots - ϕ_{p} z^{p} \\ Θ_{q} (z) & = 1 + θ_{1} z + θ_{2} z^{2} + \dots + θ_{q} z^{q} \end{aligned}$ siano tutte strettamente fuori dal cerchio unitario sul piano complesso

Ad esempio: $ARMA (2, 2)$ con $Φ_{2} (z) = 1 + 0.9 z + 0.1 z^{2}$ e $Θ_{q} (z) = 1 + 2 z + 15 z^{2}$ :

abs(polyroot(c(1, -0.9, -0.1)))

[1]  1 10

abs(polyroot(c(1, 2, 15)))

[1] 0.2581989 0.2581989

Cioè il termine AR non è causale e il termine MA non è invertibile (ma lo sarebbe $θ_{q} (z) = 1 + 1 / 2 z + 1 / 15 z^{2}$ )

Ridondanza

Consideriamo il processo $x_{t} = w_{t}$ , con $w_{t} \sim N (0, 1)$ : si tratta ovviamente di puro rumore casuale

Moltiplichiamo entrambi i lati per $1 - 0.5 B$ per ottenere: $x_{t} = 0.5 x_{t - 1} - 0.5 w_{t - 1} + w_{t}$ che sembra un processo $ARMA (1, 1)$ ma ovviamente è sempre lo stesso rumore casuale. Come distinguere questi casi?

si scompongono in fattori i polinomi $Φ_{p}$ e $Θ_{q}$
si eliminano i fattori comuni
si sicompongono i fattori per ottenere il modello non ridondante

In R si può ancora usare polyroot()

Ridondanza

Ad esempio, consideriamo il processo $x_{t} = 0.4 x_{t - 1} + 0.45 x_{t - 2} + w_{t} + w_{t - 1} + 0.25 w_{t - 2}$ , che usando l’operatore $B$ diventa: $(1 - 0.4 B - 0.45 B^{2}) x_{t} = (1 + B + 0.25 B^{2}) w_{t} .$

In questa forma il processo sembra $ARMA (2, 2)$ , tuttavia possiamo scomporre i due polinomi in fattori, usando polyroot() per calcolare le radici:

# per Phi:
-1/polyroot(c(1, -0.4, -0.45))

[1] -0.9-6.887768e-21i  0.5+2.125854e-21i

# per Theta:
-1/polyroot(c(1, 1, 0.25))

[1] 0.5-5.551115e-17i 0.5+5.551115e-17i

Ridondanza

Come si vede, si può scrivere $\begin{aligned} Φ_{p} (B) & = (1 - 0.9 B) (1 + 0.5 B) \\ Θ_{q} (B) & = (1 + 0.5 B)^{2} \end{aligned}$

Eliminando il fattore comune $(1 + 0.5 B)$ otteniamo il modello $x_{t} = 0.9 x_{t - 1} + 0.5 w_{t - 1} + w_{t}$ che è un $ARMA (1, 1)$ .

Quindi ai criteri di causalità e di invertibilità si aggiunge il criterio di non ridondanza dei parametri, che si verifica eliminando ogni fattore comune dalla scomposizione in fattori dei polinomi $Φ_{p} (B)$ e $Θ_{q} (B)$ .

Regressione (S)ARIMA

Per quanto detto sopra, un processo, o serie temporale, $x_{t}$ può essere regredita mediante un modello ARIMA identificandone i parametri per minimizzazione degli scarti quadratici

Tuttavia, prima della regressione è necessario definire gli indici $p, d, q$ adeguati, tali che non si abbia né sotto- né sovra-adattamento

In certi casi, inoltre, le serie sono periodiche: oltre ad un possibile trend sono soggette anche a ciclici andamenti oscillanti. In questi casi:

si rende la ST stazionaria per differenziazione
si separa un contributo a bassa frequenza, chiamato stagionale, da un contributo ad alta frequenza
si effettua separatamente la regressione del contributo stagionale e del contributo non stagionale come due processi ARIMA distinti e sovrapposti: tale regressione si chiama Seasonal ARIMA o SARIMA

Regressione (S)ARIMA

Inoltre, abbiamo visto che i modelli ARIMA si basano sull’ipotesi di serie temporali stazionarie in senso ampio

Quindi, è necessario che sia il valor medio che la varianza siano costanti nel tempo

La media si stabilizza per differenziazione
La varianza si può stabilizzare mediante trasformazioni Box-Cox

Quindi, nel caso più generale il modello è $SARIMA (p, d, q, p_{s}, d_{s}, q_{s}, λ)$

Prima di eseguire una regressione è quindi necessario definire i valori dei sette parametri, evitando sovra- e sotto-adattamento

$d, d_{s}$ possono essere identificati per tentativi, aumentando gradualmente i valori (prima di $d$ e poi di $d_{s}$ ) finché la ACF è soddisfacente
gli altri termini possono essere individuati verificando la bontà della regressione su una griglia di combinazioni e valutando un opportuno indice di merito

Akaike Information Criterion

L’indice di merito più usato nella regressione SARIMA è l’Akaike Information Criterion, o AIC

In genere la qualità di una regressione con $k$ parametri è misurata dalla somma quadratica dei residui, $S S_{E} (k)$ , normalizzata per la dimensione del campione $n$ : $\hat{σ_{k}^{2}} = \frac{S S_{E} (k)}{n}$ Questo indicatore si chiama Maximum Likelihood Estimator (MLE). Più questo valore è piccolo, meglio il modello si adatta ai dati

Tuttavia aumentando $k$ si ha una diminuzione di MLE, a rischio di sovra-adattamento. Per questo motivo Akaike ha proposto di penalizzare MLE con il numero di parametri: $AIC = \log (\hat{σ_{k}^{2}}) + \frac{n + 2 k}{n}$ L’AIC va ovviamente minimizzato

Altri criteri di informazione

Oltre all’AIC esistono anche l’AIC corretto e il Bayesian Information Criterion, o BIC:

AIC corretto: ${AIC}_{c} = \log (\hat{σ_{k}^{2}}) + \frac{n + k}{n - k - 2}$
BIC: $BIC = \log (\hat{σ_{k}^{2}}) + \frac{k \log (n)}{n}$

Il BIC penalizza maggiormente la dimensione del modello, per cui è preferito per campioni molto grandi (migliaia di osservazioni), per i quali AIC e AICc tenderebbero a favorire modelli inutilmente complessi (troppi parametri, sovra-adattamento)

Come l’AIC, anche AICc e BIC vanno minimizzati

1 / 40

Serie Temporali Analisi Dati e Statistica, 2024–25 Paolo Bosetti Università di Trento, Dipartimento di Ingegneria Industriale Ultimo aggiornamento: 31/03/2025

Serie Temporali
Serie Temporali
Statistica delle serie temporali
Statistica delle serie temporali
Autocovarianza e autocorrelazione
Autocorrelazione
Autocorrelogramma (ACF)
Autocorrelogramma (ACF)
Autocorrelogramma (ACF)
Serie temporali stazionarie
Stabilizzazione
Stabilizzazione (esempio)
Operatori di differenziazione
Stabilizzazione e ACF
Stabilizzazione e ACF
Modelli statistici
Modelli AR — definizione
Modelli AR — regressione
Modelli MA — definizione
Modelli MA — regressione
Modelli MA e ACF
Modelli MA e ACF
Modelli AR e PACF
Modelli AR e PACF
Modelli MA e PACF
Modelli ARMA
Modelli MA e PACF
Modelli ARIMA
Stabilità e unicità dei modelli
Stabilità e unicità dei modelli
Stabilità e unicità dei modelli
Ridondanza
Ridondanza
Ridondanza
Regressione (S)ARIMA
Regressione (S)ARIMA
Akaike Information Criterion
Altri criteri di informazione
Regressione
Previsione