Módszer legkisebb négyzetek(LSM) lehetővé teszi különböző mennyiségek becslését a véletlenszerű hibákat tartalmazó többszörös mérések eredményeinek felhasználásával.
Jellemző MNC
Ennek a módszernek az a fő gondolata, hogy a négyzetes hibák összegét tekintik a probléma megoldásának pontosságának kritériumának, amelyet igyekeznek minimalizálni. A módszer alkalmazásakor numerikus és analitikus megközelítés is alkalmazható.
A legkisebb négyzetek módszere numerikus megvalósításként azt jelenti, hogy a lehető legtöbb mérést kell elvégezni egy ismeretlen valószínűségi változón. Sőt, minél több a számítás, annál pontosabb lesz a megoldás. Ezen a számítási halmazon (kiindulási adatokon) egy másik megoldási javaslatot kapunk, amelyből kiválasztjuk a legjobbat. Ha a megoldások halmaza paraméterezett, akkor a legkisebb négyzetek módszere a paraméterek optimális értékének megtalálására redukálódik.
Az LSM megvalósításának analitikus megközelítéseként a kiindulási adatok halmazán (mérések) és a javasolt megoldások halmazán néhány (funkcionális) definiálható, amelyet egy bizonyos hipotézisként kapott képlettel lehet kifejezni, amelyet meg kell erősíteni. Ebben az esetben a legkisebb négyzetek módszere arra redukálódik, hogy megtaláljuk ennek a függvénynek a minimumát a kezdeti adatok négyzetes hibáinak halmazán.
Figyeljük meg, hogy nem maguk a hibák, hanem a hibák négyzete. Miért? Az a tény, hogy gyakran eltérések a mérések pontos érték pozitívak és negatívak is. Az átlag meghatározásakor az egyszerű összegzés helytelen következtetéshez vezethet a becslés minőségével kapcsolatban, mivel a pozitív és negatív értékek kölcsönös törlése csökkenti a mérési sorozat mintavételi teljesítményét. És ennek következtében az értékelés pontossága.
Hogy ez ne forduljon elő, a négyzetes eltéréseket összegezzük. Sőt, a mért érték és a végső becslés dimenziójának kiegyenlítése érdekében a négyzetes hibák összegét használjuk a kinyeréshez.
Az MNC-k egyes alkalmazásai
Az MNC-t széles körben használják különféle területeken. Például a valószínűségszámításban ill matematikai statisztika a módszer egy valószínűségi változó olyan jellemzőjének meghatározására szolgál, mint az átlag szórás, amely meghatározza a valószínűségi változó értéktartományának szélességét.
A legkisebb négyzetek módszere (OLS, eng. Ordinary Least Squares, OLS) - matematikai módszer, különféle problémák megoldására szolgál, egyes függvények kívánt változóktól való négyzetes eltéréseinek összegének minimalizálásán alapul. Használható túldefiniált egyenletrendszerek "megoldására" (amikor az egyenletek száma meghaladja az ismeretlenek számát), megoldást találni közönséges (nem túlhatározott) nemlineáris egyenletrendszerek esetén, közelíteni a pontértékeket. egy bizonyos funkcióra. Az OLS a regresszióanalízis egyik alapvető módszere a regressziós modellek ismeretlen paramétereinek mintaadatokból történő becslésére.
1 / 5
✪ A legkisebb négyzetek módszere. Téma
✪ Mitin I. V. - Fizikai eredmények feldolgozása. kísérlet - Legkisebb négyzetek módszere (4. előadás)
✪ Legkisebb négyzetek, lecke 1/2. Lineáris függvény
✪ Ökonometria. 5. előadás. Legkisebb négyzetek módszere
✪ A legkisebb négyzetek módszere. Válaszok
A XIX. század elejéig. a tudósoknak nem voltak bizonyos szabályai egy olyan egyenletrendszer megoldására, amelyben az ismeretlenek száma kevesebb, mint az egyenletek száma; Addig az egyenletek típusától és a számológépek találékonyságától függően sajátos módszereket alkalmaztak, ezért a különböző számológépek azonos megfigyelési adatokból kiindulva eltérő következtetésekre jutottak. Gauss (1795) nevéhez fűződik a módszer első alkalmazása, Legendre (1805) pedig önállóan fedezte fel és publikálta modern nevén (fr. Methode des moindres quarres) . Laplace a módszert a valószínűségelmélettel kötötte össze, Adrain amerikai matematikus (1808) pedig valószínűségi alkalmazásait vizsgálta. A módszer széles körben elterjedt, és Encke, Bessel, Hansen és mások további kutatásai révén továbbfejlesztették.
Hadd x (\displaystyle x)- készlet n (\displaystyle n) ismeretlen változók (paraméterek), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- függvénykészlet ebből a változókészletből. A probléma az ilyen értékek megválasztása x (\displaystyle x) hogy ezeknek a függvényeknek az értékei a lehető legközelebb legyenek bizonyos értékekhez y i (\displaystyle y_(i)). Lényegében beszélgetünk túldefiniált egyenletrendszer "megoldásán". f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) a jelzett értelemben a maximális közelség a bal és megfelelő részek rendszerek. Az LSM lényege, hogy "közelségi mérőként" a bal és jobb oldali rész eltéréseinek négyzetes összegét választja. | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Így az LSM lényege a következőképpen fejezhető ki:
∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\megjelenítési stílus \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\jobbra \min _(x)).Ha az egyenletrendszernek van megoldása, akkor a négyzetösszeg minimuma nulla lesz, és az egyenletrendszer pontos megoldásai analitikusan vagy például különféle numerikus optimalizálási módszerekkel kereshetők. Ha a rendszer túldefiniált, vagyis lazán szólva a független egyenletek száma több mennyiséget ismeretlen változók esetén a rendszernek nincs pontos megoldása és a legkisebb négyzetek módszere lehetővé teszi, hogy találjunk valamilyen "optimális" vektort x (\displaystyle x) a vektorok maximális közelségének értelmében y (\displaystyle y)és f (x) (\displaystyle f(x)) vagy az eltérésvektor maximális közelsége e (\displaystyle e) nullára (a közelség az euklideszi távolság értelmében értendő).
Különösen a legkisebb négyzetek módszere használható a rendszer "megoldására". lineáris egyenletek
A x = b (\displaystyle Ax=b),ahol A (\displaystyle A) téglalap méretű mátrix m × n , m > n (\displaystyle m\times n,m>n)(azaz az A mátrix sorainak száma nagyobb, mint a szükséges változók száma).
Egy ilyen egyenletrendszer in általános eset nincs megoldása. Ezért ez a rendszer csak abban az értelemben „megoldható”, hogy ilyen vektort választunk x (\displaystyle x) hogy minimalizáljuk a vektorok közötti „távolságot”. A x (\displaystyle Ax)és b (\displaystyle b). Ehhez alkalmazhatja a rendszer bal és jobb oldali egyenletrészei közötti különbségek négyzetösszegének minimalizálásának kritériumát, azaz (A x − b) T (A x − b) → min (\megjelenítési stílus (Ax-b)^(T)(Ax-b)\jobbra \min ). Könnyen kimutatható, hogy ennek a minimalizálási feladatnak a megoldása a következő egyenletrendszer megoldásához vezet
A T A x = A T b ⇒ x = (AT A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Jobbra nyíl x=(A^(T)A)^(-1)A^ (Tuberkulózis).Legyen n (\displaystyle n) valamely változó értéke y (\displaystyle y)(ezek lehetnek megfigyelések, kísérletek stb. eredményei) és a megfelelő változók x (\displaystyle x). A kihívás az, hogy a kapcsolat y (\displaystyle y)és x (\displaystyle x) hozzávetőlegesen valamilyen ismert függvény segítségével néhány ismeretlen paraméterig b (\displaystyle b), vagyis valójában találni legjobb értékek paramétereket b (\displaystyle b), maximálisan közelítve az értékeket f (x, b) (\displaystyle f(x,b)) tényleges értékekre y (\displaystyle y). Valójában ez egy túldefiniált egyenletrendszer „megoldásának” esetére redukálódik. b (\displaystyle b):
F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).
A regressziós elemzésben, és különösen az ökonometriában a változók közötti kapcsolat valószínűségi modelljeit alkalmazzák.
Y t = f (x t , b) + ε t (\megjelenítési stílus y_(t)=f(x_(t),b)+\varepszilon _(t)),
ahol ε t (\displaystyle \varepsilon _(t))- úgy hívják véletlenszerű hibák modellek.
Ennek megfelelően a megfigyelt értékek eltérései y (\displaystyle y) modelltől f (x, b) (\displaystyle f(x,b)) már magában a modellben is feltételezték. Az LSM (ordinary, classical) lényege az ilyen paraméterek megtalálása b (\displaystyle b), amelynél a négyzetes eltérések összege (hibák, regressziós modelleknél ezeket gyakran regressziós maradékoknak nevezik) e t (\displaystyle e_(t)) minimális lesz:
b ^ O L S = arg min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),ahol R S S (\displaystyle RSS)- Angol. A maradék négyzetösszeg meghatározása a következő:
R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum_ (t=1)^(n)e_(t)^(2)=\összeg _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).Általában ez a probléma numerikus optimalizálási (minimalizálási) módszerekkel oldható meg. Ebben az esetben az ember arról beszél nemlineáris legkisebb négyzetek(NLS vagy NLLS - eng. Non-linear Least Squares). Sok esetben analitikus megoldást lehet kapni. A minimalizálási probléma megoldásához meg kell találni a függvény stacionárius pontjait R S S (b) (\displaystyle RSS(b)), megkülönböztetve azt az ismeretlen paraméterek alapján b (\displaystyle b), a deriváltokat nullával egyenlővé téve és a kapott egyenletrendszert megoldva:
∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\megjelenítési stílus \összeg _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).Legyen a regressziós függés lineáris:
y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\megjelenítési stílus y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepszilon =x_( t)^(T)b+\varepszilon _(t)).Hadd y a magyarázott változó megfigyelésének oszlopvektora, és X (\displaystyle X)- ez (n × k) (\displaystyle ((n\x k)))- tényezők megfigyelési mátrixa (a mátrix sorai - egy adott megfigyelés faktorértékeinek vektorai, oszlopok szerint - egy adott tényező értékeinek vektora minden megfigyelésben). A lineáris modell mátrixábrázolása a következő formájú:
y = Xb + ε (\displaystyle y=Xb+\varepsilon ).Ekkor a magyarázott változó becslési vektora és a regressziós maradékok vektora egyenlő lesz
y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).ennek megfelelően a regressziós maradékok négyzeteinek összege egyenlő lesz
R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).Ennek a függvénynek a megkülönböztetése a paramétervektorhoz képest b (\displaystyle b)és a deriváltokat nullával egyenlővé téve egy egyenletrendszert kapunk (mátrix formában):
(X T X) b = X T y (\megjelenítési stílus (X^(T)X)b=X^(T)y).A megfejtett mátrix formában ez az egyenletrendszer így néz ki:
(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 2 ∑ x t 2 x t 3 x t 3 x t 3 t ∑ ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ∑ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3… ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y x t ∑ 3 y t ∑ ∑ x t k y t), (\ displaystyle -i displaystyle -t), (\ displaystyle -t. (\begin(pmátrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\lpontok &\sum x_(t1)x_( tk)\\\összeg x_(t2)x_(t1)&\összeg x_(t2)^(2)&\összeg x_(t2)x_(t3)&\lpontok &\ összeg x_(t2)x_(tk) \\\összeg x_(t3)x_(t1)&\összeg x_(t3)x_(t2)&\összeg x_(t3)^(2)&\lpontok &\összeg x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ lpontok &\sum x_(tk)^(2)\\\end(pmátrix))(\begin(pmátrix)b_(1)\\b_(2)\\b_(3 )\\\vpontok \\b_( k)\\\end(pmátrix))=(\begin(pmátrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t )\\\vdots \\\sum x_(tk)y_(t)\\\end(pmátrix))) ahol minden összeget átvesznek minden megengedett értékek t (\displaystyle t).
Ha egy konstans szerepel a modellben (a szokásos módon), akkor x t 1 = 1 (\displaystyle x_(t1)=1) mindenkinek t (\displaystyle t), ezért az egyenletrendszer mátrixának bal felső sarkában a megfigyelések száma található n (\displaystyle n), az első sor és az első oszlop többi elemében pedig csak a változók értékeinek összege: ∑ x t j (\megjelenítési stílus \sum x_(tj))és a rendszer jobb oldalának első eleme - ∑ y t (\displaystyle \sum y_(t)).
Ennek az egyenletrendszernek a megoldása adja meg a lineáris modell legkisebb négyzetes becsléseinek általános képletét:
b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T) )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\jobb)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).Analitikai célokra ennek a képletnek az utolsó ábrázolása bizonyul hasznosnak (az egyenletrendszerben n-nel osztva az összegek helyett a számtani átlagok jelennek meg). Ha a regressziós modellben szereplő adatok központosított, akkor ebben az ábrázolásban az első mátrix a faktorok minta kovarianciamátrixát, a második pedig a függő változós faktorok kovarianciavektorát jelenti. Ha emellett az adatok is normalizálva az SKO-nál (vagyis végső soron szabványosított), akkor az első mátrix a faktorok mintakorrelációs mátrixát, a második vektor a faktorok mintakorrelációinak vektorát jelenti a függő változóval.
A modellek LLS-becsléseinek fontos tulajdonsága állandóval- a megszerkesztett regresszió egyenese átmegy a mintaadatok súlypontján, azaz teljesül az egyenlőség:
y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\kalap (b))_(j) (\bar (x))_(j)).Különösen szélsőséges esetben, amikor az egyetlen regresszor egy konstans, azt találjuk, hogy egyetlen paraméter (maga az állandó) OLS-becslése megegyezik a magyarázott változó átlagértékével. Vagyis a nagy számok törvényeiből jó tulajdonságairól ismert számtani átlag is a legkisebb négyzetek becslése - teljesíti az ettől való eltérések minimális négyzetösszegére vonatkozó kritériumot.
Gőzfürdő esetén lineáris regresszió y t = a + b x t + ε t (\megjelenítési stílus y_(t)=a+bx_(t)+\varepszilon _(t)), amikor egy változó lineáris függését megbecsüljük a másiktól, a számítási képletek leegyszerűsödnek (mátrixalgebra nélkül is megoldható). Az egyenletrendszernek a következő formája van:
(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmátrix))(\begin(pmatrix)a\\b\\\end(pmátrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmátrix))).Innen könnyű megtalálni az együtthatók becsléseit:
( b ^ = Cov (x , y) Var (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2, a ^ = y ¯ − b x . (\displaystyle (\begin(esetek) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(esetek)))Annak ellenére, hogy általában a konstans modellek előnyösebbek, bizonyos esetekben elméleti megfontolásokból ismert, hogy az állandó a (\displaystyle a) egyenlőnek kell lennie nullával. Például a fizikában a feszültség és az áram kapcsolatának van formája U = I ⋅ R (\displaystyle U=I\cdot R); feszültséget és áramerősséget mérve meg kell becsülni az ellenállást. Ebben az esetben modellről beszélünk y = b x (\displaystyle y=bx). Ebben az esetben egyenletrendszer helyett van az egyetlen egyenlet
(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).
Ezért az egyetlen együttható becslésére szolgáló képlet alakja a következő
B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\ displaystyle (\hat (b)))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).
Ha az adatokat egy változó polinomiális regressziós függvénye illeszti f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), akkor a fokok érzékelése x i (\displaystyle x^(i)) mint független tényezők mindegyikre i (\displaystyle i) lehetőség van a modell paramétereinek becslésére a lineáris modell paramétereinek becslésére szolgáló általános képlet alapján. Ehhez elegendő az általános képletben figyelembe venni, hogy egy ilyen értelmezéssel x t i x t j = x t i x t j = x t i + j (\megjelenítési stílus x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))és x t j y t = x t j y t (\megjelenítési stílus x_(tj)y_(t)=x_(t)^(j)y_(t)). Következésképpen, mátrixegyenletek ban ben ez az eset a következő formában lesz:
(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x i 2 ... ∑ m x i k + 1 ⋮ ⋱ ⋮ ∑ ∑ n x t k ∑ n x t k ∑ n x t k + 1 ] [ ⋑ bt k + 1 n ... ] n y t ∑ n x t y t ⋮ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\lpontok &\sum \limits _(m)x_(i)^(k+1)\\\vpontok & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\lpontok &\ összeg \limits _(n)x_(t)^(2k)\end(pmátrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmátrix)).
Először is megjegyezzük, hogy a lineáris modellek esetében a legkisebb négyzetek becslései lineáris becslések, amint az a fenti képletből következik. Az elfogulatlan legkisebb négyzetek becsléseihez szükséges és elegendő, hogy elengedhetetlen feltétel regressziós elemzés: a tényezők függvényében a véletlen hiba matematikai elvárása nullával kell, hogy legyen. Ez a feltétel különösen akkor teljesül, ha
A második feltétel - az exogén tényezők feltétele - alapvető. Ha ez a tulajdonság nem teljesül, akkor feltételezhetjük, hogy szinte minden becslés rendkívül nem kielégítő: még konzisztens sem lesz (vagyis ebben az esetben még a nagyon nagy adatmennyiség sem teszi lehetővé minőségi becslések készítését). Klasszikus esetben a faktorok determinizmusával kapcsolatban erősebb feltételezés történik, szemben a véletlenszerű hibával, ami automatikusan azt jelenti, hogy az exogén feltétel teljesül. Általános esetben a becslések konzisztenciájához elegendő az exogenitási feltételt a mátrix konvergenciájával együtt teljesíteni. V x (\displaystyle V_(x)) valamilyen nem degenerált mátrixra, ahogy a minta mérete a végtelenségig növekszik.
Ahhoz, hogy a konzisztencián és a torzítatlanságon túl a (szokásos) legkisebb négyzetek becslései is hatékonyak legyenek (a lineáris torzítatlan becslések osztályában a legjobbak), egy véletlen hiba további tulajdonságait is teljesíteni kell:
Ezek a feltevések megfogalmazhatók a véletlen hibák vektorának kovariancia-mátrixára V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).
Az ezeket a feltételeket kielégítő lineáris modellt ún klasszikus. A klasszikus lineáris regresszióra vonatkozó OLS-becslések torzítatlan, következetes és leghatékonyabb becslések az összes lineáris torzítatlan becslés osztályában (az angol szakirodalomban a rövidítést néha használják kék (A legjobb lineáris elfogulatlan becslő) a legjobb lineáris torzítatlan becslés; ban ben hazai irodalom gyakrabban a Gauss-Markov-tételt adjuk meg). Amint az könnyen látható, az együtthatóbecslési vektor kovarianciamátrixa egyenlő lesz:
V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).
A hatékonyság azt jelenti, hogy ez a kovarianciamátrix "minimális" (az együtthatók bármely lineáris kombinációja, és különösen maguk az együtthatók minimális szórással rendelkeznek), vagyis a lineáris torzítatlan becslések osztályában az OLS becslések a legjobbak. Ennek a mátrixnak az átlós elemei - az együtthatók becsléseinek szórása - a kapott becslések minőségének fontos paraméterei. A kovarianciamátrix kiszámítása azonban nem lehetséges, mivel a véletlen hiba varianciája ismeretlen. Bizonyítható, hogy a véletlenszerű hibák szórásának torzítatlan és konzisztens (a klasszikus lineáris modell esetén) becslése a következő érték:
S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).
Helyettesítés adott értéket be a kovarianciamátrix képletébe, és megkapja a kovarianciamátrix becslését. Az így kapott becslések is elfogulatlanok és következetesek. Fontos az is, hogy a hibavariancia becslése (és ezáltal az együtthatók szórása) és a modell paramétereinek becslései függetlenek legyenek. Véletlen változók, amely lehetővé teszi, hogy tesztstatisztikát kapjon a modell együtthatóival kapcsolatos hipotézisek teszteléséhez.
Meg kell jegyezni, hogy ha a klasszikus feltételezések nem teljesülnek, a legkisebb négyzetek paraméterbecslései nem a leghatékonyabbak, és ahol W (\displaystyle W) valami szimmetrikus pozitív határozott súlymátrix. A közönséges legkisebb négyzetek ennek a megközelítésnek egy speciális esete, amikor a súlymátrix arányos identitásmátrix. Mint ismeretes, a szimmetrikus mátrixok (vagy operátorok) esetében dekompozíció van W = P T P (\displaystyle W=P^(T)P). Ezért ez a funkció a következőképpen ábrázolható e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), vagyis ez a funkcionális ábrázolható néhány transzformált „maradék” négyzetösszegeként. Így megkülönböztethetjük a legkisebb négyzetek módszereinek egy osztályát - LS-methods (Least Squares).
Bebizonyosodott (Aitken tétele), hogy egy általánosított lineáris regressziós modellnél (amelyben nincs korlátozás a véletlen hibák kovarianciamátrixára) a leghatékonyabbak (a lineáris torzítatlan becslések osztályában) az ún. általánosított OLS (OMNK, GLS – általánosított legkisebb négyzetek)- LS-módszer súlymátrixszal, amely megegyezik a véletlen hibák inverz kovarianciamátrixával: W = V ε − 1 (\displaystyle W=V_(\varepszilon )^(-1)).
Megmutatható, hogy a lineáris modell paramétereinek GLS-becsléseinek képlete a következő formában van
B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).
Ezeknek a becsléseknek a kovarianciamátrixa egyenlő lesz
V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- egy)).
Valójában az OLS lényege az eredeti adatok bizonyos (lineáris) transzformációjában (P) és a szokásos legkisebb négyzetek alkalmazásában rejlik a transzformált adatokra. Ennek az átalakításnak az a célja, hogy a transzformált adatoknál a véletlenszerű hibák már kielégítsék a klasszikus feltételezéseket.
Átlós súlymátrix (és innen a véletlen hibák kovarianciamátrixa) esetén az úgynevezett súlyozott legkisebb négyzetek (WLS - Weighted Least Squares) vannak. Ebben az esetben a modell maradékainak súlyozott négyzetösszege minimalizálva van, azaz minden megfigyelés kap egy „súlyt”, amely fordítottan arányos a véletlen hiba szórásával ebben a megfigyelésben: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ szigma _(t)^(2)))). Valójában az adatokat a megfigyelések súlyozásával transzformálják (osztva a véletlenszerű hibák feltételezett szórásával arányos összeggel), és a súlyozott adatokra normál legkisebb négyzeteket alkalmaznak.
ISBN 978-5-7749-0473-0.
Az igazítás után a következő alakú függvényt kapjuk: g (x) = x + 1 3 + 1 .
Ezeket az adatokat y = a x + b lineáris összefüggéssel közelíthetjük a megfelelő paraméterek kiszámításával. Ehhez az úgynevezett legkisebb négyzetek módszerét kell alkalmaznunk. Rajzot is kell készítenie annak ellenőrzéséhez, hogy melyik vonal igazítja a legjobban a kísérleti adatokat.
Yandex.RTB R-A-339285-1
A fő dolgunk az, hogy olyan lineáris függőségi együtthatókat találjunk, amelyeknél két F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 változó függvényének értéke lesz a legkisebb. Más szavakkal, az a és b bizonyos értékeinél a bemutatott adatok négyzetes eltéréseinek összege az eredményül kapott egyenestől minimális értékkel rendelkezik. Ez a legkisebb négyzetek módszerének jelentése. A példa megoldásához nem kell mást tennünk, mint megkeresni két változó függvényének extrémumát.
Az együtthatók kiszámításához szükséges képletek levezetéséhez két változós egyenletrendszert kell összeállítani és megoldani. Ehhez kiszámítjuk az F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 kifejezés parciális deriváltjait a és b vonatkozásában, és egyenlővé tesszük őket 0-val.
δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ b i = a 1 n x i + ∑ b i = i = i ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i
Egyenletrendszer megoldásához bármilyen módszert használhat, például helyettesítést vagy Cramer-módszert. Ennek eredményeként olyan képleteket kell kapnunk, amelyek a legkisebb négyzetek módszerével számítják ki az együtthatókat.
n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n ∑ i = 1 n ∑ i
Kiszámoltuk azoknak a változóknak az értékét, amelyekre a függvény vonatkozik
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 a minimális értéket veszi fel. A harmadik bekezdésben bemutatjuk, miért van ez így.
Ez a legkisebb négyzetek módszerének gyakorlati alkalmazása. Az ő képlete, amelyet az a paraméter megkeresésére használ, tartalmazza a következőket: ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2 és a paramétert
n - a kísérleti adatok mennyiségét jelöli. Javasoljuk, hogy minden összeget külön-külön számítson ki. A b együttható értékét közvetlenül a után számítjuk ki.
Térjünk vissza az eredeti példához.
1. példa
Itt n egyenlő öttel. Az együttható képletekben szereplő szükséges összegek kiszámításának kényelmesebbé tétele érdekében kitöltjük a táblázatot.
| i = 1 | i = 2 | i = 3 | i = 4 | i = 5 | ∑ i = 1 5 | |
| x i | 0 | 1 | 2 | 4 | 5 | 12 |
| y i | 2 , 1 | 2 , 4 | 2 , 6 | 2 , 8 | 3 | 12 , 9 |
| x i y i | 0 | 2 , 4 | 5 , 2 | 11 , 2 | 15 | 33 , 8 |
| x i 2 | 0 | 1 | 4 | 16 | 25 | 46 |
Megoldás
A negyedik sor azokat az adatokat tartalmazza, amelyeket úgy kapunk, hogy a második sorból származó értékeket megszorozzuk a harmadik értékével minden egyes i. Az ötödik sor a második négyzet adatait tartalmazza. Az utolsó oszlop az egyes sorok értékeinek összegét mutatja.
Használjuk a legkisebb négyzetek módszerét a szükséges a és b együtthatók kiszámításához. Ehhez helyettesítse be a kívánt értékeket az utolsó oszlopból, és számítsa ki az összegeket:
n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 5 a i = 1 a n 1 n , i = 1 a n 1 y - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184
Azt kaptuk, hogy a kívánt közelítő egyenes így fog kinézni: y = 0, 165 x + 2, 184. Most meg kell határoznunk, hogy melyik sor közelíti legjobban az adatokat - g (x) = x + 1 3 + 1 vagy 0, 165 x + 2, 184. Készítsünk becslést a legkisebb négyzetek módszerével.
A hiba kiszámításához meg kell találnunk a σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 és σ 2 = ∑ i = 1 n (y i -) egyenesekből származó adatok eltéréseinek négyzetes összegét. g (x i)) 2, a minimális érték egy alkalmasabb vonalnak felel meg.
σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0, 165 x i + 2, 184)) 2 ≈ 0, 019 ψ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0, 096
Válasz: mivel σ 1< σ 2 , то прямой, a legjobb mód közelítőleg az eredeti adatok lesznek
y = 0, 165 x + 2, 184.
A legkisebb négyzetek módszere jól látható a grafikus ábrán. A piros vonal a g (x) = x + 1 3 + 1 egyenest, a kék az y = 0, 165 x + 2, 184 egyenest jelöli. A nyers adatokat rózsaszín pontok jelölik.
Magyarázzuk meg, miért van szükség pontosan ilyen típusú közelítésekre.
Használhatók az adatok simítását igénylő problémáknál, valamint olyanoknál, ahol az adatokat interpolálni vagy extrapolálni kell. Például a fent tárgyalt feladatban megtalálhatjuk a megfigyelt y mennyiség értékét x = 3 vagy x = 6 esetén. Az ilyen példáknak külön cikket szenteltünk.
Ahhoz, hogy a függvény a legkisebb értéket vegye fel a és b kiszámításakor, szükséges, hogy egy adott pontban az F (a, b) alakú függvény differenciáljának másodfokú alakjának mátrixa = ∑ i = 1 n (y i - (a x i + b)) 2 legyen pozitív határozott. Mutatjuk, hogyan kell kinéznie.
2. példa
A következő formájú másodrendű differenciálunk van:
d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2b
Megoldás
δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n
Más szavakkal, a következőképpen írható fel: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .
Kaptunk egy M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n formájú mátrixot.
Ebben az esetben az egyes elemek értéke nem változik a és b függvényében. Ez a mátrix pozitív határozott? A kérdés megválaszolásához nézzük meg, hogy a szögletes minorok pozitívak-e.
Számítsa ki az elsőrendű szögmollt: 2 ∑ i = 1 n (x i) 2 > 0 . Mivel az x i pontok nem esnek egybe, az egyenlőtlenség szigorú. A további számításoknál ezt szem előtt tartjuk.
Kiszámoljuk a másodrendű szögmollt:
d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - 12 n i = i
Ezután az n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 egyenlőtlenség matematikai indukcióval történő bizonyítására térünk át.
2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0
Megkaptuk a helyes egyenlőséget (ha az x 1 és x 2 értékek nem egyeznek).
Kiszámoljuk:
(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x 2 i 2 + x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 i + 1 i = 1 n x n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 +. . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1) - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0
A kapcsos kapcsos zárójelekbe zárt kifejezés nagyobb lesz, mint 0 (a 2. lépésben feltételezett alapján), a többi kifejezés pedig nagyobb lesz 0-nál, mivel mindegyik számnégyzet. Bebizonyítottuk az egyenlőtlenséget.
Válasz: a talált a és b az F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 függvény legkisebb értékének felel meg, ami azt jelenti, hogy ezek a legkisebb négyzetek módszerének szükséges paraméterei (LSM).
Ha hibát észlel a szövegben, jelölje ki, és nyomja meg a Ctrl+Enter billentyűkombinációt
Példa.
Kísérleti adatok a változók értékeiről xés nál nél táblázatban vannak megadva.
Igazításuk eredményeképpen a funkció 
Használata legkisebb négyzetes módszer, közelítse ezeket az adatokat lineáris függéssel y=ax+b(keresse meg a paramétereket aés b). Nézze meg, hogy a két egyenes közül melyik a jobb (a legkisebb négyzetek módszere értelmében) igazítja a kísérleti adatokat. Készítsen rajzot.
A feladat az, hogy megtaláljuk azokat a lineáris függőségi együtthatókat, amelyekre két változó függvénye aés b 
a legkisebb értéket veszi fel. Vagyis az adatok ismeretében aés b a kísérleti adatok négyzetes eltéréseinek összege a talált egyenestől lesz a legkisebb. Ez a legkisebb négyzetek módszerének lényege.
Így a példa megoldása két változó függvényének szélsőértékének megtalálására redukálódik.
Összeállítunk és megoldunk egy két egyenletrendszert két ismeretlennel. Függvény parciális deriváltjainak keresése a változókra vonatkozóan aés b, ezeket a származékokat nullával egyenlővé tesszük. 
A kapott egyenletrendszert bármilyen módszerrel megoldjuk (pl helyettesítési módszer vagy ) képleteket kapunk együtthatók meghatározásához a legkisebb négyzetek módszerével (LSM). 
Adatokkal aés b funkció a legkisebb értéket veszi fel. Ennek a ténynek a bizonyítéka adott.
Ez a legkisebb négyzetek módszere. Képlet a paraméter megtalálásához a tartalmazza az összegeket , , , és a paramétert n- kísérleti adatok mennyisége. Ezen összegek értékét ajánlatos külön kiszámolni. Együttható b számítás után találtuk meg a.
Ideje emlékezni az eredeti példára.
Megoldás.
Példánkban n=5. A táblázatot a szükséges együtthatók képleteiben szereplő összegek kiszámításának megkönnyítése érdekében töltjük ki. 
A táblázat negyedik sorában szereplő értékeket úgy kapjuk meg, hogy minden számhoz megszorozzuk a 2. sor értékét a 3. sor értékével én.
A táblázat ötödik sorában lévő értékeket úgy kapjuk meg, hogy a 2. sor értékét minden számhoz négyzetre emeljük én.
A táblázat utolsó oszlopának értékei a sorok közötti értékek összegei.
Az együtthatók meghatározásához a legkisebb négyzetek módszerének képleteit használjuk aés b. Helyettesítjük bennük a megfelelő értékeket a táblázat utolsó oszlopából: 
Következésképpen, y=0,165x+2,184 a kívánt közelítő egyenes.
Azt kell kideríteni, hogy melyik sorból y=0,165x+2,184 vagy jobban közelíti az eredeti adatokat, azaz a legkisebb négyzetek módszerével becslést készít.
Ehhez ki kell számítani az eredeti adatok négyzetes eltéréseinek összegét ezekből a sorokból 
és 
, egy kisebb érték egy olyan vonalnak felel meg, amely jobban közelíti az eredeti adatokat a legkisebb négyzetek módszere szempontjából. 
Mivel , majd a vonal y=0,165x+2,184 jobban közelíti az eredeti adatokat.
Minden remekül néz ki a grafikonokon. A piros vonal a talált vonal y=0,165x+2,184, a kék vonal az , a rózsaszín pöttyök az eredeti adatok.
Mire való, mire szolgálnak ezek a közelítések?
Én személy szerint adatsimítási, interpolációs és extrapolációs problémák megoldására használom (az eredeti példában meg lehet kérni a megfigyelt érték értékét y nál nél x=3 vagy mikor x=6 MNC módszer szerint). Erről azonban később, az oldal egy másik részében fogunk még beszélni.
Bizonyíték.
Tehát amikor megtalálták aés b függvény a legkisebb értéket veszi fel, akkor szükséges, hogy ezen a ponton a függvény másodrendű differenciáljának másodfokú alakjának mátrixa határozott pozitív volt. Mutassuk meg.
Legkisebb négyzet alakú módszer
Legkisebb négyzet módszer ( MNK, OLS, hétköznapi legkisebb négyzetek) - a regresszióanalízis egyik alapvető módszere regressziós modellek ismeretlen paramétereinek mintaadatokból történő becslésére. A módszer a regressziós maradékok négyzetösszegének minimalizálásán alapul.
Meg kell jegyezni, hogy maga a legkisebb négyzetek módszere nevezhető egy probléma megoldásának módszerének bármely területen, ha a megoldás tartalmaz vagy eleget tesz egy bizonyos kritériumnak, amellyel az ismeretlen változók egyes függvényei négyzetösszege minimalizálható. Ezért a legkisebb négyzetek módszere is használható közelítő ábrázoláshoz (közelítéshez) adott funkciót egyéb (egyszerűbb) függvények, amikor olyan mennyiségek halmazát találjuk, amelyek megfelelnek egyenleteknek vagy korlátozásoknak, amelyek száma meghaladja ezen mennyiségek számát stb.
Legyen valamilyen (paraméteres) modell a valószínűségi (regressziós) függésről a (magyarázott) változó között yés sok tényező (magyarázó változók) x
ahol az ismeretlen modellparaméterek vektora
- Véletlenszerű modellhiba.Legyenek a jelzett változók értékeinek mintamegfigyelései is. Legyen a megfigyelési szám (). Ezután a változók értékei vannak a -edik megfigyelésben. Ezután a b paraméterek adott értékeihez ki lehet számítani az y magyarázott változó elméleti (modell) értékeit:
A maradékok értéke a b paraméterek értékétől függ.
Az LSM (közönséges, klasszikus) lényege, hogy olyan b paramétereket keressen, amelyekre a maradékok négyzetösszege (eng. Maradék négyzetösszeg) minimális lesz:
Általában ez a probléma numerikus optimalizálási (minimalizálási) módszerekkel oldható meg. Ebben az esetben az ember arról beszél nemlineáris legkisebb négyzetek(NLS vagy NLLS - angol. Nem lineáris legkisebb négyzetek). Sok esetben analitikus megoldást lehet kapni. A minimalizálási probléma megoldásához meg kell találni a függvény stacionárius pontjait úgy, hogy a függvényt az ismeretlen b paraméterek alapján differenciáljuk, a deriváltokat nullával egyenlővé kell tenni, és meg kell oldani a kapott egyenletrendszert:
Ha a modell véletlenszerű hibái normális eloszlásúak, azonos szórással rendelkeznek, és nem korrelálnak egymással, akkor a legkisebb négyzetek paraméterbecslései megegyeznek a maximum likelihood módszer (MLM) becsléseivel.
Legyen a regressziós függés lineáris:
Hadd y- a magyarázott változó megfigyelésének oszlopvektora és - tényezők megfigyelésének mátrixa (a mátrix sorai - egy adott megfigyelés faktorértékeinek vektorai, oszlopok szerint - egy adott tényező értékének vektora minden megfigyelésben) . A lineáris modell mátrixábrázolása a következő formájú:
Ekkor a magyarázott változó becslési vektora és a regressziós maradékok vektora egyenlő lesz
ennek megfelelően a regressziós maradékok négyzeteinek összege egyenlő lesz
Ezt a függvényt a paramétervektorral differenciálva és a deriváltokat nullával egyenlővé téve egy egyenletrendszert kapunk (mátrix formában):
.Ennek az egyenletrendszernek a megoldása adja meg a lineáris modell legkisebb négyzetes becsléseinek általános képletét:
Analitikai célokra a képlet utolsó ábrázolása hasznosnak bizonyul. Ha a regressziós modellben szereplő adatok központosított, akkor ebben az ábrázolásban az első mátrix a faktorok minta kovarianciamátrixát, a második pedig a függő változós faktorok kovarianciavektorát jelenti. Ha emellett az adatok is normalizálva az SKO-nál (vagyis végső soron szabványosított), akkor az első mátrix a faktorok mintakorrelációs mátrixát, a második vektor a faktorok mintakorrelációinak vektorát jelenti a függő változóval.
A modellek LLS-becsléseinek fontos tulajdonsága állandóval- a megszerkesztett regresszió egyenese átmegy a mintaadatok súlypontján, azaz teljesül az egyenlőség:
Különösen szélsőséges esetben, amikor az egyetlen regresszor egy konstans, azt találjuk, hogy egyetlen paraméter (maga az állandó) OLS-becslése megegyezik a magyarázott változó átlagértékével. Vagyis a nagy számok törvényeiből jó tulajdonságairól ismert számtani átlag is a legkisebb négyzetek becslése - teljesíti az ettől való eltérések minimális négyzetösszegére vonatkozó kritériumot.
Páros lineáris regresszió esetén a számítási képletek leegyszerűsödnek (mátrixalgebra nélkül is megteheti):
Először is megjegyezzük, hogy a lineáris modellek esetében a legkisebb négyzetek becslései lineáris becslések, amint az a fenti képletből következik. Az elfogulatlan OLS becsléseknél szükséges és elégséges a regresszióanalízis legfontosabb feltételének teljesítése: a faktoroktól függő véletlen hiba matematikai elvárása nullával kell, hogy legyen. Ez a feltétel különösen akkor teljesül, ha
A második feltétel - az exogén tényezők feltétele - alapvető. Ha ez a tulajdonság nem teljesül, akkor feltételezhetjük, hogy szinte minden becslés rendkívül nem kielégítő: még konzisztens sem lesz (vagyis ebben az esetben még a nagyon nagy adatmennyiség sem teszi lehetővé minőségi becslések készítését). Klasszikus esetben a faktorok determinizmusával kapcsolatban erősebb feltételezés történik, szemben a véletlenszerű hibával, ami automatikusan azt jelenti, hogy az exogén feltétel teljesül. Általános esetben a becslések konzisztenciájához elegendő teljesíteni az exogenitási feltételt a mátrix valamely nem szinguláris mátrixhoz való konvergenciájával, a minta méretének végtelenig történő növelésével.
Ahhoz, hogy a konzisztencián és a torzítatlanságon túl a (szokásos) legkisebb négyzetek becslései is hatékonyak legyenek (a lineáris torzítatlan becslések osztályában a legjobbak), egy véletlen hiba további tulajdonságait is teljesíteni kell:
Ezek a feltevések megfogalmazhatók a véletlen hibavektor kovarianciamátrixára
Az ezeket a feltételeket kielégítő lineáris modellt ún klasszikus. A klasszikus lineáris regresszióra vonatkozó OLS-becslések torzítatlan, következetes és leghatékonyabb becslések az összes lineáris torzítatlan becslés osztályában (az angol szakirodalomban a rövidítést néha használják kék (A legjobb lineáris alap nélküli becslő) a legjobb lineáris torzítatlan becslés; a hazai irodalomban gyakrabban hivatkoznak a Gauss-Markov-tételre). Amint az könnyen látható, az együtthatóbecslési vektor kovarianciamátrixa egyenlő lesz:
A legkisebb négyzetek módszere széles körű általánosítást tesz lehetővé. A maradékok négyzetösszegének minimalizálása helyett minimalizálható a maradékvektor valamilyen pozitív határozott másodfokú alakja, ahol van valamilyen szimmetrikus pozitív meghatározott súlyú mátrix. A közönséges legkisebb négyzetek ennek a megközelítésnek egy speciális esete, amikor a súlymátrix arányos az identitásmátrixszal. Amint az a szimmetrikus mátrixok (vagy operátorok) elméletéből ismeretes, az ilyen mátrixokra dekompozíció van. Ezért a megadott funkcionális a következőképpen ábrázolható, vagyis ez a funkcionális néhány transzformált „maradék” négyzetösszegeként ábrázolható. Így megkülönböztethetjük a legkisebb négyzetek módszereinek egy osztályát - LS-methods (Least Squares).
Bebizonyosodott (Aitken tétele), hogy egy általánosított lineáris regressziós modellnél (amelyben nincs korlátozás a véletlen hibák kovarianciamátrixára) a leghatékonyabbak (a lineáris torzítatlan becslések osztályában) az ún. általánosított OLS (OMNK, GLS – általánosított legkisebb négyzetek)- LS-módszer súlymátrixszal, amely egyenlő a véletlen hibák inverz kovarianciamátrixával: .
Megmutatható, hogy a lineáris modell paramétereinek GLS-becsléseinek képlete a következő formában van
Ezeknek a becsléseknek a kovarianciamátrixa egyenlő lesz
Valójában az OLS lényege az eredeti adatok bizonyos (lineáris) transzformációjában (P) és a szokásos legkisebb négyzetek alkalmazásában rejlik a transzformált adatokra. Ennek az átalakításnak az a célja, hogy a transzformált adatoknál a véletlenszerű hibák már kielégítsék a klasszikus feltételezéseket.
Átlós súlymátrix (és innen a véletlen hibák kovarianciamátrixa) esetén az úgynevezett súlyozott legkisebb négyzetek (WLS - Weighted Least Squares) vannak. Ebben az esetben a modell maradékainak súlyozott négyzetösszege minimalizálva van, vagyis minden megfigyelés kap egy "súlyt", amely fordítottan arányos a véletlen hiba szórásával ebben a megfigyelésben: . Valójában az adatokat a megfigyelések súlyozásával transzformálják (osztva a véletlenszerű hibák feltételezett szórásával arányos összeggel), és a súlyozott adatokra normál legkisebb négyzeteket alkalmaznak.
Tekintsük azt az esetet, amikor egy adott skaláris mennyiség egy adott skalármennyiségtől való függésének vizsgálata eredményeként (ez lehet például a feszültség függése az áramerősségtől: , ahol állandó érték, a vezető ellenállása ), megmérték ezeket a mennyiségeket, aminek eredményeként az értékeket és a hozzájuk tartozó értékeket. A mérési adatokat táblázatban kell rögzíteni.
Asztal. Mérési eredmények.
| Mérés sz. | ||
|---|---|---|
| 1 | ||
| 2 | ||
| 3 | ||
| 4 | ||
| 5 | ||
| 6 |
A kérdés így hangzik: melyik együttható értéke választható a függőség legjobb leírására? A legkisebb négyzetek szerint ennek az értéknek olyannak kell lennie, hogy az értékek négyzetes eltéréseinek összege az értékektől
minimális volt
A négyzetes eltérések összegének van egy szélsősége - egy minimum, amely lehetővé teszi számunkra ennek a képletnek a használatát. Ebből a képletből keressük meg az együttható értékét. Ehhez a bal oldalát a következőképpen alakítjuk át:
Az utolsó képlet lehetővé teszi, hogy megtaláljuk a feladatban szükséges együttható értékét.
A XIX. század elejéig. a tudósoknak nem voltak bizonyos szabályai egy olyan egyenletrendszer megoldására, amelyben az ismeretlenek száma kevesebb, mint az egyenletek száma; Addig az egyenletek típusától és a számológépek találékonyságától függően sajátos módszereket alkalmaztak, ezért a különböző számológépek azonos megfigyelési adatokból kiindulva eltérő következtetésekre jutottak. Gauss (1795) nevéhez fűződik a módszer első alkalmazása, Legendre (1805) pedig önállóan fedezte fel és publikálta modern nevén (fr. Methode des moindres quarres ) . Laplace a módszert a valószínűségelmélethez kapcsolta, Adrain amerikai matematikus (1808) pedig annak valószínűségi alkalmazásait vizsgálta. A módszer széles körben elterjedt, és Encke, Bessel, Hansen és mások további kutatásai révén továbbfejlesztették.
A legkisebb négyzetek módszerének ötlete más, nem közvetlenül kapcsolódó esetekben is használható regresszió analízis. A tény az, hogy a négyzetösszeg a vektorok egyik leggyakoribb közelségi mértéke (az euklideszi metrika véges dimenziós terekben).
Az egyik alkalmazás a lineáris egyenletrendszerek "megoldása", amelyekben az egyenletek száma több szám változók
ahol a mátrix nem négyzet, hanem téglalap alakú.
Egy ilyen egyenletrendszernek általában nincs megoldása (ha a rang nagyobb, mint a változók száma). Ezért ez a rendszer csak abban az értelemben „megoldható”, hogy ilyen vektort választunk, hogy minimalizáljuk a vektorok és a vektorok közötti „távolságot”. Ehhez alkalmazhatja a rendszer bal és jobb oldali egyenletrészei közötti különbségek négyzetösszegének minimalizálására vonatkozó kritériumot, azaz. Könnyen kimutatható, hogy ennek a minimalizálási feladatnak a megoldása a következő egyenletrendszer megoldásához vezet
