Metodo della statistica matematica dei minimi quadrati. Finger Math: metodi dei minimi quadrati

Metodo dei minimi quadrati (OLS, ing. Ordinary Least Squares, OLS) - metodo matematico, utilizzato per risolvere vari problemi, basati sulla minimizzazione della somma dei quadrati delle deviazioni di alcune funzioni dalle variabili desiderate. Può essere utilizzato per "risolvere" sistemi di equazioni sovradeterminati (quando il numero di equazioni supera il numero di incognite), per trovare una soluzione nel caso di sistemi di equazioni non lineari ordinari (non sovradeterminati), per approssimare i valori in punti di una determinata funzione. OLS è uno dei metodi di base dell'analisi di regressione per stimare i parametri sconosciuti dei modelli di regressione dai dati campione.

YouTube enciclopedico

1 / 5

✪ Metodo dei minimi quadrati. Argomento

✪ Mitin I. V. - Elaborazione dei risultati del fisico. esperimento - Metodo dei minimi quadrati (Lezione 4)

✪ Minimi quadrati, lezione 1/2. Funzione lineare

✪ Econometria. Lezione 5. Metodo dei minimi quadrati

✪ Metodo dei minimi quadrati. Risposte

Sottotitoli

Storia

Fino all'inizio del XIX secolo. gli scienziati non avevano regole certe per risolvere un sistema di equazioni in cui il numero di incognite è inferiore al numero di equazioni; Fino a quel momento si usavano metodi particolari, a seconda del tipo di equazioni e dell'ingegnosità dei calcolatori, e quindi calcolatori diversi, partendo dagli stessi dati osservativi, giungevano a conclusioni diverse. Gauss (1795) è accreditato della prima applicazione del metodo, e Legendre (1805) lo scoprì e lo pubblicò indipendentemente sotto il suo nome moderno (fr. Methode des moindres quarres). Laplace collegò il metodo con la teoria delle probabilità e il matematico americano Adrain (1808) ne considerò le applicazioni probabilistiche. Il metodo è diffuso e migliorato da ulteriori ricerche di Encke, Bessel, Hansen e altri.

L'essenza del metodo dei minimi quadrati

Permettere x (\displaystyle x)- corredo n (\displaystyle n) variabili sconosciute (parametri), f io (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- insieme di funzioni da questo insieme di variabili. Il problema è scegliere tali valori x (\displaystyle x) in modo che i valori di queste funzioni siano il più vicino possibile ad alcuni valori y io (\displaystyle y_(i)). Essenzialmente noi stiamo parlando sulla "soluzione" di un sistema di equazioni sovradeterminato f io (x) = y io (\ displaystyle f_ (i) (x) = y_ (i)), io = 1 , ... , m (\ displaystyle i = 1, \ ldots, m) nel senso indicato della massima prossimità della sinistra e parti giuste sistemi. L'essenza di LSM è scegliere come "misura di prossimità" la somma dei quadrati delle deviazioni delle parti sinistra e destra | f io (x) − y io | (\displaystyle |f_(i)(x)-y_(i)|). Pertanto, l'essenza del LSM può essere espressa come segue:

Se il sistema di equazioni ha una soluzione, allora il minimo della somma dei quadrati sarà uguale a zero e le soluzioni esatte del sistema di equazioni possono essere trovate analiticamente o, ad esempio, mediante vari metodi di ottimizzazione numerica. Se il sistema è sovradeterminato, cioè, in parole povere, il numero di equazioni indipendenti più quantità variabili sconosciute, allora il sistema non ha una soluzione esatta e il metodo dei minimi quadrati ci permette di trovare qualche vettore "ottimale" x (\displaystyle x) nel senso della massima prossimità dei vettori y (\displaystyle y) e f (x) (\displaystyle f(x)) o la massima vicinanza del vettore di deviazione e (\displaystyle e) a zero (la prossimità è intesa nel senso di distanza euclidea).

Esempio - sistema di equazioni lineari

In particolare, il metodo dei minimi quadrati può essere utilizzato per "risolvere" il sistema di equazioni lineari

dove UN (\ displaystyle A) matrice di dimensioni rettangolari m × n , m > n (\displaystyle m\times n,m>n)(ovvero il numero di righe della matrice A è maggiore del numero di variabili richieste).

Un tale sistema di equazioni in caso generale non ha soluzione. Pertanto, questo sistema può essere "risolto" solo nel senso di scegliere un tale vettore x (\displaystyle x) minimizzare la "distanza" tra i vettori A x (\ Displaystyle Ascia) e b (\displaystyle b). Per fare questo si può applicare il criterio per minimizzare la somma dei quadrati delle differenze delle parti sinistra e destra delle equazioni del sistema, cioè (A x - b) T (A x - b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). È facile dimostrare che la soluzione di questo problema di minimizzazione porta alla soluzione del seguente sistema di equazioni

OLS nell'analisi di regressione (approssimazione dei dati)

Lascia che ci sia n (\displaystyle n) valori di qualche variabile y (\displaystyle y)(questo può essere il risultato di osservazioni, esperimenti, ecc.) e le variabili corrispondenti x (\displaystyle x). La sfida è creare la relazione tra y (\displaystyle y) e x (\displaystyle x) approssimata da qualche funzione nota fino ad alcuni parametri sconosciuti b (\displaystyle b), cioè effettivamente trovare migliori valori parametri b (\displaystyle b), approssimando al massimo i valori f (x, b) (\displaystyle f(x,b)) ai valori effettivi y (\displaystyle y). Questo infatti si riduce al caso di "soluzione" di un sistema di equazioni sovradeterminato rispetto a b (\displaystyle b):

F ( X t , b ) = y t , t = 1 , ... , n (\ displaystyle f (x_ (t), b) = y_ (t), t = 1, \ ldots, n).

A analisi di regressione e in particolare, in econometria, vengono utilizzati modelli probabilistici della relazione tra variabili

Y t = f (X t, b) + ε t (\ displaystyle y_ (t) = f (x_ (t), b) + \ varepsilon _ (t)),

dove ε t (\ displaystyle \ varepsilon _ (t))- così chiamato errori casuali Modelli.

Di conseguenza, le deviazioni dei valori osservati y (\displaystyle y) da modello f (x, b) (\displaystyle f(x,b)) già assunto nel modello stesso. L'essenza di LSM (ordinario, classico) è trovare tali parametri b (\displaystyle b), in cui la somma delle deviazioni al quadrato (errori, per i modelli di regressione sono spesso chiamati residui di regressione) e t (\displaystyle e_(t)) sarà minimo:

dove RS S (\ displaystyle RSS)- Inglese. La somma residua dei quadrati è definita come:

Nel caso generale, questo problema può essere risolto con metodi numerici di ottimizzazione (minimizzazione). In questo caso si parla di minimi quadrati non lineari(NLS o NLLS - ing. Minimi quadrati non lineari). In molti casi è possibile ottenere una soluzione analitica. Per risolvere il problema di minimizzazione è necessario trovare i punti stazionari della funzione RS S (b) (\ displaystyle RSS (b)), differenziandolo rispetto a parametri sconosciuti b (\displaystyle b), eguagliando le derivate a zero e risolvendo il sistema di equazioni risultante:

LSM nel caso di regressione lineare

Lascia che la dipendenza dalla regressione sia lineare:

Permettere siè il vettore colonna delle osservazioni della variabile da spiegare, e X (\displaystyle X)- questo è (n × k) (\displaystyle ((n\times k)))- matrice delle osservazioni dei fattori (righe della matrice - vettori dei valori dei fattori in una data osservazione, per colonne - vettore dei valori di un dato fattore in tutte le osservazioni). La rappresentazione matriciale del modello lineare ha la forma:

Quindi il vettore delle stime della variabile spiegata e il vettore dei residui di regressione saranno uguali a

di conseguenza, la somma dei quadrati dei residui di regressione sarà uguale a

Differenziare questa funzione rispetto al vettore dei parametri b (\displaystyle b) ed eguagliando le derivate a zero, otteniamo un sistema di equazioni (in forma matriciale):

Nella forma matriciale decifrata, questo sistema di equazioni si presenta così:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 1 ∑ x t x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y x t ∑ 3 y t t ⋮ ∑ x t k) (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\somma x_(t2)x_(t1)&\somma x_(t2)^(2)&\somma x_(t2)x_(t3)&\ldots &\ somma x_(t2)x_(tk) \\\somma x_(t3)x_(t1)&\somma x_(t3)x_(t2)&\somma x_(t3)^(2)&\ldots &\somma x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\somma x_(tk)x_(t1)&\somma x_(tk)x_(t2)&\somma x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_( k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t )\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix))) dove tutte le somme sono prese su tutto valori consentiti t (\displaystyle t).

Se una costante è inclusa nel modello (come al solito), allora x t 1 = 1 (\displaystyle x_(t1)=1) per tutti t (\displaystyle t), quindi, nell'angolo in alto a sinistra della matrice del sistema di equazioni c'è il numero di osservazioni n (\displaystyle n), e nei restanti elementi della prima riga e della prima colonna - solo la somma dei valori delle variabili: ∑ X t j (\displaystyle \sum x_(tj)) e il primo elemento del lato destro del sistema - ∑ y t (\ displaystyle \ somma y_ (t)).

La soluzione di questo sistema di equazioni fornisce la formula generale per le stime dei minimi quadrati per il modello lineare:

Ai fini analitici risulta utile l'ultima rappresentazione di questa formula (nel sistema di equazioni divisi per n compaiono le medie aritmetiche al posto delle somme). Se i dati nel modello di regressione centrato, allora in questa rappresentazione la prima matrice ha il significato di matrice di covarianza campionaria dei fattori, e la seconda è il vettore delle covarianze di fattori con variabile dipendente. Se, inoltre, i dati sono anche normalizzato allo SKO (cioè, in ultima analisi standardizzato), quindi la prima matrice ha il significato della matrice di correlazione campionaria dei fattori, il secondo vettore - il vettore delle correlazioni campionarie dei fattori con la variabile dipendente.

Una proprietà importante delle stime LLS per i modelli con una costante- la retta della regressione costruita passa per il baricentro dei dati del campione, ovvero l'uguaglianza è soddisfatta:

In particolare, nel caso estremo, quando l'unico regressore è una costante, troviamo che la stima OLS di un singolo parametro (la costante stessa) è uguale al valore medio della variabile spiegata. Cioè, la media aritmetica, nota per le sue buone proprietà dalle leggi grandi numeri, è anche una stima ai minimi quadrati - soddisfa il criterio per la somma minima dei quadrati delle deviazioni da esso.

I casi speciali più semplici

Nel caso di un bagno turco regressione lineare y t = un + b x t + ε t (\ displaystyle y_ (t) = a + bx_ (t) + \ varepsilon _ (t)), quando viene stimata la dipendenza lineare di una variabile da un'altra, le formule di calcolo vengono semplificate (si può fare a meno dell'algebra matriciale). Il sistema di equazioni ha la forma:

Da qui è facile trovare le stime per i coefficienti:

Nonostante il fatto che, in generale, i modelli con una costante siano preferibili, in alcuni casi è noto da considerazioni teoriche che la costante un (\ Displaystyle un) dovrebbe essere uguale a zero. Ad esempio, in fisica, la relazione tra tensione e corrente ha la forma U = io ⋅ R (\ displaystyle U = io \ cdot R); misurando tensione e corrente, è necessario stimare la resistenza. In questo caso, stiamo parlando di un modello y = b x (\displaystyle y=bx). In questo caso, invece di un sistema di equazioni, abbiamo l'unica equazione

(∑ x t 2) b = ∑ x t y t (\ displaystyle \ sinistra (\ somma x_ (t) ^ (2) \ destra) b = \ somma x_ (t) y_ (t)).

Pertanto, la formula per stimare un singolo coefficiente ha la forma

B ^ = ∑ t = 1 n X t y t ∑ t = 1 n X t 2 = X y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Il caso di un modello polinomiale

Se i dati sono adattati da una funzione di regressione polinomiale di una variabile f (x) = b 0 + ∑ io = 1 K b io X io (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), quindi, percependo i gradi x io (\displaystyle x^(i)) come fattori indipendenti per ciascuno io (\ Displaystyle io)è possibile stimare i parametri del modello in base alla formula generale per la stima dei parametri del modello lineare. Per fare ciò, è sufficiente tener conto nella formula generale che con tale interpretazione x t io x t j = x t io x t j = x t io + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) e x t j y t = x t j y t (\ Displaystyle x_ (tj) y_ (t) = x_ (t) ^ (j) y_ (t)). Di conseguenza, equazioni matriciali in questo caso assumerà la forma:

(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x io 2 ... ∑ m x io k + 1 ⋮ ⋱ ⋮ ∑ ∑ n x t k ∑ n x t k + 1 ... ∑ n x t 2 k) [b 0 b 1 ⋮ b k] = [∑ n y t ∑ n X t y t ⋮ n X t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ sum \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrice)).)

Proprietà statistiche delle stime OLS

Prima di tutto, notiamo che per i modelli lineari, le stime dei minimi quadrati sono stime lineari, come segue dalla formula precedente. Per stimatori imparziali ai minimi quadrati, è necessario e sufficiente che condizione essenziale analisi di regressione: subordinata ai fattori, l'aspettativa matematica di un errore casuale deve essere uguale a zero. Questa condizione è soddisfatta, in particolare, se

1. l'aspettativa matematica di errori casuali è zero, e
2. i fattori e gli errori casuali sono valori casuali indipendenti.

La seconda condizione - la condizione dei fattori esogeni - è fondamentale. Se questa proprietà non è soddisfatta, allora possiamo presumere che quasi tutte le stime saranno estremamente insoddisfacenti: non saranno nemmeno coerenti (ovvero, anche una grande quantità di dati non consente di ottenere stime qualitative in questo caso). Nel caso classico, viene fatta un'assunzione più forte sul determinismo dei fattori, in contrasto con un errore casuale, che significa automaticamente che la condizione esogena è soddisfatta. Nel caso generale, per la consistenza delle stime, è sufficiente soddisfare la condizione di esogeneità unitamente alla convergenza della matrice V x (\ displaystyle V_ (x)) ad una matrice non degenerata man mano che la dimensione del campione aumenta all'infinito.

Affinché, oltre alla coerenza e all'imparzialità, anche le stime dei (soliti) minimi quadrati siano efficaci (le migliori nella classe delle stime lineari imparziali), è necessario soddisfare proprietà aggiuntive di un errore casuale:

Queste ipotesi possono essere formulate per la matrice di covarianza del vettore degli errori casuali V (ε) = σ 2 io (\ displaystyle V (\ varepsilon) = \ sigma ^ (2) io).

Si chiama un modello lineare che soddisfa queste condizioni classico. Le stime OLS per la regressione lineare classica sono stime imparziali, coerenti e più efficienti nella classe di tutte le stime imparziali lineari (nella letteratura inglese, l'abbreviazione è talvolta usata blu (Miglior stimatore imparziale lineare) è la migliore stima lineare imparziale; in letteratura domestica più spesso viene dato il teorema di Gauss-Markov). Come è facile mostrare, la matrice di covarianza del vettore delle stime dei coefficienti sarà pari a:

V (b ^ O L S) = σ 2 (X T X) - 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Efficienza significa che questa matrice di covarianza è "minima" (qualsiasi combinazione lineare di coefficienti, e in particolare i coefficienti stessi, hanno una varianza minima), ovvero, nella classe delle stime lineari imparziali, le stime OLS sono le migliori. Gli elementi diagonali di questa matrice - le varianze delle stime dei coefficienti - sono parametri importanti della qualità delle stime ottenute. Tuttavia, non è possibile calcolare la matrice di covarianza perché la varianza dell'errore casuale non è nota. Si può dimostrare che la stima imparziale e coerente (per il modello lineare classico) della varianza degli errori casuali è il valore:

S 2 = R S S / (n - k) (\displaystyle s^(2)=RSS/(n-k)).

Sostituzione dato valore nella formula per la matrice di covarianza e ottenere una stima della matrice di covarianza. Anche le stime risultanti sono imparziali e coerenti. È anche importante che la stima della varianza dell'errore (e quindi la varianza dei coefficienti) e le stime dei parametri del modello siano indipendenti. variabili casuali, che consente di ottenere statistiche di test per testare ipotesi sui coefficienti del modello.

Va notato che se le ipotesi classiche non sono soddisfatte, le stime dei parametri dei minimi quadrati non sono le più efficienti e, dove W (\displaystyle W)è una matrice di pesi definiti positiva simmetrica. I minimi quadrati ordinari sono un caso speciale di questo approccio, quando la matrice dei pesi è proporzionale a matrice identità. Come è noto, per matrici simmetriche (o operatori) si ha una scomposizione W = P T P (\ displaystyle W = P ^ (T) P). Pertanto, questo funzionale può essere rappresentato come segue e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), cioè questo funzionale può essere rappresentato come la somma dei quadrati di alcuni "residui" trasformati. Pertanto, possiamo distinguere una classe di metodi dei minimi quadrati: metodi LS (Least Squares).

È dimostrato (teorema di Aitken) che per un modello di regressione lineare generalizzato (in cui non sono imposte restrizioni alla matrice di covarianza degli errori casuali), le più efficaci (nella classe delle stime lineari imparziali) sono le stime del cosiddetto. OLS generalizzato (OMNK, GLS - Minimi quadrati generalizzati)- Metodo LS con una matrice dei pesi uguale alla matrice di covarianza inversa degli errori casuali: W = V ε - 1 (\ displaystyle W = V_ (\ varepsilon) ^ (-1)).

Si può dimostrare che la formula per le stime GLS dei parametri del modello lineare ha la forma

B ^ SOL S = (X T V - 1 X) - 1 X T V - 1 y (\ displaystyle (\ hat (b)) _ (GLS) = (X ^ (T) V ^ (-1) X) ^ (-1) X^(T)V^(-1)y).

La matrice di covarianza di queste stime, rispettivamente, sarà uguale a

V (b ^ G L S) = (X T V - 1 X) - 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- uno)).

Infatti, l'essenza dell'OLS risiede in una certa trasformazione (lineare) (P) dei dati originali e nell'applicazione dei consueti minimi quadrati ai dati trasformati. Lo scopo di questa trasformazione è che per i dati trasformati, gli errori casuali soddisfano già le ipotesi classiche.

Minimi quadrati ponderati

Nel caso di una matrice dei pesi diagonale (e quindi della matrice di covarianza degli errori casuali), abbiamo i cosiddetti minimi quadrati ponderati (WLS - Weighted Least Squares). In questo caso, la somma dei quadrati pesata dei residui del modello è minimizzata, cioè ogni osservazione riceve un "peso" che è inversamente proporzionale alla varianza dell'errore casuale in questa osservazione: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). Infatti, i dati vengono trasformati ponderando le osservazioni (dividendo per un importo proporzionale alla deviazione standard presunta degli errori casuali), e ai dati ponderati vengono applicati i minimi quadrati normali.

ISBN 978-5-7749-0473-0.

Dopo l'allineamento, otteniamo una funzione della seguente forma: g (x) = x + 1 3 + 1 .

Possiamo approssimare questi dati con una relazione lineare y = a x + b calcolando i parametri appropriati. Per fare ciò, dovremo applicare il cosiddetto metodo dei minimi quadrati. Dovrai anche fare un disegno per verificare quale linea allineerà meglio i dati sperimentali.

Yandex.RTB RA-339285-1

Cos'è esattamente l'OLS (metodo dei minimi quadrati)

La cosa principale che dobbiamo fare è trovare tali coefficienti di dipendenza lineare in cui il valore della funzione di due variabili F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 sarà il più piccolo. In altre parole, per determinati valori di a e b, la somma dei quadrati delle deviazioni dei dati presentati dalla retta risultante avrà un valore minimo. Questo è il significato del metodo dei minimi quadrati. Tutto quello che dobbiamo fare per risolvere l'esempio è trovare l'estremo della funzione di due variabili.

Come derivare le formule per il calcolo dei coefficienti

Per ricavare le formule per il calcolo dei coefficienti è necessario comporre e risolvere un sistema di equazioni a due variabili. Per fare ciò, calcoliamo le derivate parziali dell'espressione F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 rispetto ad a e b e le uguagliamo a 0 .

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ io = 1 n (y io - (a x io + b)) x io = 0 - 2 ∑ io = 1 n ( y io - (a X io + b)) = 0 ⇔ un ∑ io = 1 n X io 2 + b ∑ io = 1 n X io = ∑ io = 1 n X io y io un ∑ io = 1 n X io + ∑ io = 1 n b = ∑ io = 1 n y io ⇔ un ∑ io = 1 n x io 2 + b ∑ io = 1 n x io = ∑ io = 1 n x io y io un ∑ io = 1 n x io + n b = ∑ io = 1 n y io

Per risolvere un sistema di equazioni, puoi utilizzare qualsiasi metodo, come la sostituzione o il metodo di Cramer. Di conseguenza, dovremmo ottenere formule che calcolano i coefficienti utilizzando il metodo dei minimi quadrati.

n ∑ io = 1 n X io y io - ∑ io = 1 n X io ∑ io = 1 n y io n ∑ io = 1 n - ∑ io = 1 n X io 2 b = ∑ io = 1 n y io - un ∑ io = 1 n x io n

Abbiamo calcolato i valori delle variabili per le quali la funzione
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 assumerà il valore minimo. Nel terzo paragrafo, dimostreremo perché è così.

Questa è l'applicazione pratica del metodo dei minimi quadrati. La sua formula, usata per trovare il parametro a , include ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 , e il parametro
n - indica la quantità di dati sperimentali. Ti consigliamo di calcolare ogni importo separatamente. Il valore del coefficiente b viene calcolato immediatamente dopo a .

Torniamo all'esempio originale.

Esempio 1

Qui abbiamo n uguale a cinque. Per rendere più conveniente calcolare gli importi richiesti inclusi nelle formule dei coefficienti, compiliamo la tabella.

Soluzione

La quarta riga contiene i dati ottenuti moltiplicando i valori della seconda riga per i valori della terza per ogni individuo i. La quinta riga contiene i dati del secondo quadrato. L'ultima colonna mostra le somme dei valori delle singole righe.

Usiamo il metodo dei minimi quadrati per calcolare i coefficienti aeb di cui abbiamo bisogno. Per fare ciò, sostituisci i valori desiderati dall'ultima colonna e calcola le somme:

n ∑ io = 1 n X io y io - ∑ io = 1 n X io ∑ io = 1 n y io n ∑ io = 1 n - ∑ io = 1 n X io 2 b = ∑ io = 1 n y io - un ∑ io = 1 n X io n ⇒ a = 5 33 , 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Abbiamo ottenuto che la retta di approssimazione desiderata assomiglierà a y = 0 , 165 x + 2 , 184 . Ora dobbiamo determinare quale linea approssimi meglio i dati - g (x) = x + 1 3 + 1 o 0 , 165 x + 2 , 184 . Facciamo una stima usando il metodo dei minimi quadrati.

Per calcolare l'errore, dobbiamo trovare le somme delle deviazioni al quadrato dei dati dalle linee σ 1 = ∑ i = 1 n (y io - (a x io + b i)) 2 e σ 2 = ∑ io = 1 n (y io - g (x i)) 2 , il valore minimo corrisponderà ad una retta più opportuna.

σ 1 = ∑ io = 1 n (y io - (a X io + b io)) 2 = = ∑ io = 1 5 (y io - (0 , 165 x io + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ io = 1 n (y io - g (x io)) 2 = = ∑ io = 1 5 (y io - (x io + 1 3 + 1)) 2 ≈ 0 , 096

Risposta: poiché σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0 , 165 x + 2 , 184 .

Il metodo dei minimi quadrati è chiaramente mostrato nell'illustrazione grafica. La linea rossa segna la retta g (x) = x + 1 3 + 1, la linea blu segna y = 0, 165 x + 2, 184. I dati grezzi sono contrassegnati da punti rosa.

Spieghiamo perché sono necessarie esattamente approssimazioni di questo tipo.

Possono essere utilizzati in problemi che richiedono il livellamento dei dati, nonché in quelli in cui i dati devono essere interpolati o estrapolati. Ad esempio, nel problema discusso sopra, si potrebbe trovare il valore della quantità osservata y in x = 3 o in x = 6 . Abbiamo dedicato un articolo a parte a tali esempi.

Dimostrazione del metodo LSM

Affinché la funzione assuma il valore minimo quando si calcolano a e b, è necessario che in un dato punto la matrice della forma quadratica del differenziale della funzione della forma F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 essere definita positiva. Ti mostriamo come dovrebbe apparire.

Esempio 2

Abbiamo un differenziale di secondo ordine della seguente forma:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d un d b + δ 2 F (a ; b) δ b 2 d 2b

Soluzione

δ 2 F (a ; b) δ un 2 = δ δ F (a ; b) δ un δ a = = δ - 2 ∑ io = 1 n (y io - (a x io + b)) x io δ un = 2 ∑ io = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ io = 1 n (y io - (a x io + b) ) x io δ b = 2 ∑ io = 1 n X io δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ io = 1 n (y io - (a x io + b)) δ b = 2 ∑ io = 1 n (1) = 2 n

In altre parole, può essere scritto come segue: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x io i = 1 n d a d b + (2 n) d 2 b .

Abbiamo ottenuto una matrice di forma quadratica M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

In questo caso, i valori dei singoli elementi non cambieranno a seconda di a e b . Questa matrice è definita positiva? Per rispondere a questa domanda, controlliamo se i suoi minori angolari sono positivi.

Calcola il minore angolare del primo ordine: 2 ∑ i = 1 n (x i) 2 > 0 . Poiché i punti x i non coincidono, la disuguaglianza è stretta. Lo terremo presente in ulteriori calcoli.

Calcoliamo il minore angolare di secondo ordine:

d e t (M) = 2 ∑ io = 1 n (x i) 2 2 ∑ io = 1 n x io 2 ∑ io = 1 n x io 2 n = 4 n ∑ io = 1 n (x io) 2 - ∑ io = 1 n x io 2

Dopodiché, procediamo alla dimostrazione della disuguaglianza n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 usando l'induzione matematica.

1. Controlliamo se questa disuguaglianza è valida per n arbitrario. Prendiamo 2 e calcoliamo:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Abbiamo ottenuto l'uguaglianza corretta (se i valori x 1 e x 2 non corrispondono).

1. Supponiamo che questa disuguaglianza sia vera per n , cioè n ∑ io = 1 n (x io) 2 - ∑ io = 1 n X io 2 > 0 – vero.
2. Ora dimostriamo la validità per n + 1 , cioè che (n + 1) ∑ io = 1 n + 1 (x io) 2 - ∑ io = 1 n + 1 x io 2 > 0 se n ∑ io = 1 n (x io) 2 - ∑ io = 1 n X io 2 > 0 .

Calcoliamo:

(n + 1) ∑ io = 1 n + 1 (x io) 2 - ∑ io = 1 n + 1 x io 2 = = (n + 1) ∑ io = 1 n (x io) 2 + x n + 1 2 - ∑ io = 1 n x io + x n + 1 2 = = n ∑ io = 1 n (x io) 2 + n x n + 1 2 + ∑ io = 1 n (x io) 2 + x n + 1 2 - - ∑ io = 1 n x io 2 + 2 x n + 1 ∑ io = 1 n X io + x n + 1 2 = = ∑ io = 1 n (x io) 2 - ∑ io = 1 n x io 2 + n x n + 1 2 - x n + 1 ∑ io = 1 n x io + ∑ io = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ io = 1 n (x i) 2 - ∑ io = 1 n x io 2 + + (x n + 1 - x 1) 2 + (x n + 1) - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

L'espressione racchiusa tra parentesi graffe sarà maggiore di 0 (in base a quanto ipotizzato nel passaggio 2) e il resto dei termini sarà maggiore di 0 perché sono tutti quadrati di numeri. Abbiamo dimostrato la disuguaglianza.

Risposta: gli a e b trovati corrisponderanno al valore più piccolo della funzione F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, il che significa che sono i parametri richiesti del metodo dei minimi quadrati (LMS).

Se noti un errore nel testo, evidenzialo e premi Ctrl+Invio

L'essenza del metodo dei minimi quadrati è nel trovare i parametri di un modello di trend che meglio descriva il trend di sviluppo di qualche fenomeno casuale nel tempo o nello spazio (un trend è una linea che caratterizza il trend di questo sviluppo). Il compito del metodo dei minimi quadrati (OLS) è trovare non solo un modello di tendenza, ma trovare il modello migliore o ottimale. Questo modello sarà ottimale se la somma deviazioni standard tra i valori effettivi osservati e i corrispondenti valori calcolati del trend sarà il minimo (il più piccolo):

dove - deviazione standard tra il valore effettivo osservato

e il corrispondente valore di tendenza calcolato,

Il valore effettivo (osservato) del fenomeno oggetto di studio,

Valore stimato del modello di tendenza,

Il numero di osservazioni del fenomeno oggetto di studio.

MNC è usato raramente da solo. Di norma, il più delle volte viene utilizzato solo come tecnica necessaria negli studi di correlazione. Va ricordato che base informativa MNC non può che essere affidabile serie statistica, e il numero di osservazioni non dovrebbe essere inferiore a 4, altrimenti le procedure di livellamento LSM potrebbero perdere il loro buon senso.

Il toolkit OLS si riduce alle seguenti procedure:

Prima procedura. Si scopre se c'è qualche tendenza a cambiare l'attributo risultante quando cambia l'argomento-fattore selezionato, o in altre parole, se c'è una connessione tra " a " e " X ».

Seconda procedura. Viene determinato quale linea (traiettoria) è meglio in grado di descrivere o caratterizzare questa tendenza.

Terza procedura.

Esempio. Supponiamo di avere informazioni sulla resa media di girasole per l'azienda in esame (Tabella 9.1).

Tabella 9.1

Poiché il livello di tecnologia nella produzione di girasole nel nostro Paese non è cambiato molto negli ultimi 10 anni, significa che, molto probabilmente, le fluttuazioni della resa nel periodo analizzato sono dipese molto dalle fluttuazioni delle condizioni meteorologiche e climatiche. È vero?

Prima procedura MNC. È in fase di verifica l'ipotesi circa l'esistenza di un andamento della variazione della resa del girasole in funzione dei cambiamenti delle condizioni meteorologiche e climatiche nei 10 anni analizzati.

A questo esempio per " si » si consiglia di prendere la resa del girasole, e per « X » è il numero dell'anno osservato nel periodo analizzato. Testare l'ipotesi sull'esistenza di qualsiasi relazione tra " X " e " si » può essere fatto in due modi: manualmente e utilizzando programmi per computer. Naturalmente, con la disponibilità della tecnologia informatica, questo problema si risolve da solo. Ma, per comprendere meglio il toolkit OLS, è consigliabile verificare l'ipotesi sull'esistenza di una relazione tra " X " e " si » manualmente, quando sono a portata di mano solo una penna e una normale calcolatrice. In tali casi, l'ipotesi dell'esistenza di una tendenza è meglio verificata visivamente dalla posizione dell'immagine grafica delle serie temporali analizzate - il campo di correlazione:

Il campo di correlazione nel nostro esempio si trova attorno a una linea che sale lentamente. Questo di per sé indica l'esistenza di una certa tendenza nella variazione della resa del girasole. È impossibile parlare della presenza di qualsiasi tendenza solo quando il campo di correlazione sembra un cerchio, un cerchio, una nuvola strettamente verticale o strettamente orizzontale o è costituito da punti sparsi casualmente. In tutti gli altri casi, è necessario confermare l'ipotesi dell'esistenza di una relazione tra " X " e " si e continuare la ricerca.

Seconda procedura MNC. Si determina quale linea (traiettoria) è meglio in grado di descrivere o caratterizzare l'andamento delle variazioni della resa del girasole per il periodo analizzato.

Con la disponibilità della tecnologia informatica, la selezione della tendenza ottimale avviene automaticamente. Con l'elaborazione "manuale", la scelta della funzione ottimale viene effettuata, di norma, in modo visivo, dalla posizione del campo di correlazione. Cioè, in base al tipo di grafico, viene selezionata l'equazione della linea, che è più adatta all'andamento empirico (alla traiettoria effettiva).

Come sapete, in natura esiste un'enorme varietà di dipendenze funzionali, quindi è estremamente difficile analizzarne visivamente anche una piccola parte. Fortunatamente, nella pratica economica reale, la maggior parte delle relazioni può essere accuratamente descritta da una parabola, da un'iperbole o da una linea retta. A questo proposito, con l'opzione "manuale" per la selezione della funzione migliore, puoi limitarti solo a questi tre modelli.

Parabola del secondo ordine: :

È facile vedere che nel nostro esempio, la tendenza delle variazioni della resa dei girasoli nei 10 anni analizzati è meglio caratterizzata da una linea retta, quindi l'equazione di regressione sarà un'equazione in linea retta.

Terza procedura. Vengono calcolati i parametri dell'equazione di regressione che caratterizza questa linea, o in altre parole, viene determinata una formula analitica che descrive miglior modello tendenza.

Trovare i valori dei parametri dell'equazione di regressione, nel nostro caso i parametri e , è il cuore dell'LSM. Questo processo si riduce alla risoluzione di un sistema di equazioni normali.

(9.2)

Questo sistema di equazioni è facilmente risolvibile con il metodo di Gauss. Ricordiamo che come risultato della soluzione, nel nostro esempio, vengono trovati i valori dei parametri e. Pertanto, l'equazione di regressione trovata avrà la seguente forma:

Esempio.

Dati sperimentali sui valori delle variabili X e a sono riportati in tabella.

Come risultato del loro allineamento, la funzione

Usando metodo dei minimi quadrati, approssimare questi dati con una dipendenza lineare y=ax+b(trova i parametri un e b). Scopri quale delle due linee è migliore (nel senso del metodo dei minimi quadrati) allinea i dati sperimentali. Fai un disegno.

L'essenza del metodo dei minimi quadrati (LSM).

Il problema è trovare i coefficienti di dipendenza lineare per i quali la funzione di due variabili un e b assume il valore più piccolo. Cioè, dati i dati un e b la somma delle deviazioni al quadrato dei dati sperimentali dalla retta trovata sarà la più piccola. Questo è il punto centrale del metodo dei minimi quadrati.

Pertanto, la soluzione dell'esempio si riduce a trovare l'estremo di una funzione di due variabili.

Derivazione di formule per trovare i coefficienti.

Viene compilato e risolto un sistema di due equazioni in due incognite. Trovare le derivate parziali di una funzione rispetto a variabili un e b, equipariamo queste derivate a zero.

Risolviamo il sistema di equazioni risultante con qualsiasi metodo (ad esempio metodo di sostituzione o ) e ottenere le formule per trovare i coefficienti utilizzando il metodo dei minimi quadrati (LSM).

Con i dati un e b funzione assume il valore più piccolo. La prova di questo fatto è data.

Questo è l'intero metodo dei minimi quadrati. Formula per trovare il parametro un contiene le somme , , , e il parametro n- quantità di dati sperimentali. Si consiglia di calcolare separatamente i valori di queste somme. Coefficiente b trovato dopo il calcolo un.

È tempo di ricordare l'esempio originale.

Soluzione.

Nel nostro esempio n=5. Compiliamo la tabella per comodità di calcolo degli importi inclusi nelle formule dei coefficienti richiesti.

I valori della quarta riga della tabella si ottengono moltiplicando i valori della 2a riga per i valori della 3a riga per ogni numero io.

I valori della quinta riga della tabella si ottengono elevando al quadrato i valori della 2a riga per ogni numero io.

I valori dell'ultima colonna della tabella sono le somme dei valori nelle righe.

Usiamo le formule del metodo dei minimi quadrati per trovare i coefficienti un e b. Sostituiamo in essi i valori corrispondenti dall'ultima colonna della tabella:

Di conseguenza, y=0,165x+2,184è la retta di approssimazione desiderata.

Resta da scoprire quale delle linee y=0,165x+2,184 o approssima meglio i dati originali, cioè per fare una stima usando il metodo dei minimi quadrati.

Stima dell'errore del metodo dei minimi quadrati.

Per fare ciò, è necessario calcolare le somme dei quadrati delle deviazioni dei dati originali da queste linee e , un valore minore corrisponde a una linea che approssima meglio i dati originali in termini di metodo dei minimi quadrati.

Poiché , quindi la linea y=0,165x+2,184 approssima meglio i dati originali.

Illustrazione grafica del metodo dei minimi quadrati (LSM).

Tutto sembra fantastico nelle classifiche. La linea rossa è la linea trovata y=0,165x+2,184, la linea blu è , i punti rosa sono i dati originali.

A cosa serve, a cosa servono tutte queste approssimazioni?

Personalmente utilizzo per risolvere problemi di livellamento dei dati, problemi di interpolazione ed estrapolazione (nell'esempio originale, ti potrebbe essere chiesto di trovare il valore del valore osservato si a x=3 o quando x=6 secondo il metodo MNC). Ma di questo parleremo meglio più avanti in un'altra sezione del sito.

Prova.

In modo che quando trovato un e b funzione assume il valore più piccolo, è necessario che a questo punto la matrice della forma quadratica del differenziale di secondo ordine per la funzione era definito positivo. Dimostriamolo.

Post simili

Recensione LG X Power K220DS: uno smartphone con una batteria in più

Modalità di informazione e impatto psicologico

Carta Tartaria 1775. G.v.nosovsky, a.t.fomenko nuova cronologia della Rus'. N. Witsen sulla cronologia russa

Perché una donna sogna un gatto?

Storia di Primorye Gli antichi sul territorio di Primorsky Krai brevemente

Interpretazione del sogno: cottage, bella casa, incendio in campagna, vecchio cottage

Vlasik storia della vita e della morte

recensioni e prezzi delle procedure nelle cliniche

Levitin Igor Evgenievich

Un uomo brutale - uno sguardo femminile Cosa significa un uomo brutale