3.5. 방법 최소제곱
최소제곱법의 기초를 다진 첫 번째 작업은 1805년 르장드르에 의해 수행되었습니다. "혜성의 궤도를 결정하는 새로운 방법"이라는 기사에서 그는 다음과 같이 썼습니다. 완전히 사용된 경우 오류의 크기가 가능한 최소가 되도록 계수를 결정해야 합니다. 이를 달성하는 가장 간단한 방법은 제곱 오차 합의 최소값을 찾는 것으로 구성된 방법입니다. "현재 이 방법은 분석적 표현을 얻기 위해 많은 실험 판독값에 의해 제공되는 알려지지 않은 기능 종속성을 근사하는 데 매우 널리 사용됩니다. , 가장 좋은 방법자연 실험에 가깝습니다.
실험을 바탕으로 수량의 기능적 의존성을 확립하는 것이 필요합니다. y on x : .그리고 얻은 실험의 결과로 하자N가치 와이인수의 해당 값으로엑스. 실험점이 그림과 같이 좌표평면에 위치한다면 실험에 오차가 있다는 것을 알면 의존성이 선형이라고 가정할 수 있다.와이= 도끼+ 비.메소드는 함수의 형식에 제한을 두지 않습니다. 모든 기능적 종속성에 적용될 수 있습니다.
실험자의 관점에서 샘플링의 순서가미리 고정, 즉 는 독립변수이고 개수는 - 종속 변수: 아래의 경우 특히 명확합니다. 기술 응용 분야에서 가장 널리 발생하는 시간의 순간이 이해되지만 이것은 매우 일반적인 특수한 경우일 뿐입니다. 예를 들어, 일부 샘플을 크기별로 분류해야 합니다. 그러면 독립 변수는 표본의 수가 되고 종속 변수는 개별 크기가 됩니다.
최소 제곱법은 많은 교육 및 과학 출판물, 특히 전기 및 무선 공학의 함수 근사와 관련하여, 확률 이론 및 수학 통계에 관한 책에 자세히 설명되어 있습니다.
다시 그림으로 돌아가 봅시다. 점선은 측정 절차의 불완전성뿐만 아니라 독립 변수 설정의 부정확성으로 인해 오류가 발생할 수 있음을 보여줍니다. 
그것에 포함 된 매개 변수를 선택하는 것이 남아 있습니다.ㅏ그리고 비.파라미터의 수가 2개 이상일 수 있다는 것은 분명하며, 이는 선형 함수에서만 일반적입니다. 일반보기우리는 추정하다
.(1)
계수를 선택해야 합니다.ㅏ, 비, 씨... 조건이 충족되도록
.
(2)
값을 찾자 ㅏ, 비, 씨... (2)의 왼쪽을 최소로 돌립니다. 이를 위해 (2)의 좌변을 미분하여 고정점(1차 도함수가 사라지는 점)을 정의합니다ㅏ, 비, 씨:
(3)
등. 결과 방정식 시스템에는 미지수만큼 많은 방정식이 포함됩니다.ㅏ, 비, 씨…. 이러한 시스템을 일반적인 형태로 푸는 것은 불가능하므로 적어도 대략적으로 특정 유형의 함수를 설정해야 합니다.다음으로 선형 및 이차 함수의 두 가지 경우를 고려합니다.
선형 함수 .
해당 지점에서 실험 값과 함수 값 사이의 제곱 차이의 합을 고려하십시오.
(4)
매개변수를 선택하자ㅏ그리고 비이 합계가 가장 작은 값을 갖도록 합니다. 따라서 문제는 값을 찾는 것으로 축소됩니다.ㅏ그리고 비, 함수가 최소값을 갖는 경우, 즉 두 개의 독립 변수에 대한 함수 연구ㅏ그리고 비최소한으로. 이를 위해 우리는 다음과 관련하여 차별화합니다.ㅏ그리고 비:
;
.
또는
(5)
실험 데이터를 대입하고 , 우리는 두 가지 시스템을 얻습니다. 선형 방정식두 개의 미지의ㅏ그리고 비. 이 시스템을 풀면 함수를 작성할 수 있습니다.
우리는 발견된 값에 대해ㅏ그리고 비최소가 있습니다. 이를 위해 다음을 찾습니다.
, 
, .
따라서,
− = 
,
>0,
저것들. 두 변수의 함수에 대한 충분한 최소 조건이 충족됩니다.
이차 함수 
.
실험에서 점에서 함수의 값을 얻도록하십시오. 또한 선험적 정보에 기초하여 함수가 2차라는 가정이 있다고 가정합니다.
.
계수를 찾는 것이 필요합니다.ㅏ, 비그리고 씨.우리는
세 변수의 함수입니다ㅏ,
비,
씨.
이 경우 시스템(3)은 다음과 같은 형식을 취합니다.
또는:
이 선형 방정식 시스템을 풀면 미지수를 결정합니다.ㅏ, 비, 씨.
예시.실험을 기반으로 원하는 기능의 4 가지 값을 얻습니다. y = (x ) 표에 나와있는 네 가지 인수 값으로 :
|
최소제곱법(OLS, eng. 일반 최소제곱법, OLS) - 수학적 방법, 원하는 변수에서 일부 함수의 편차 제곱합을 최소화하여 다양한 문제를 해결하는 데 사용됩니다. 과결정된 방정식 시스템을 "해결"하는 데 사용할 수 있습니다(방정식 수가 미지수의 수를 초과할 때), 일반(과대결정되지 않은) 비선형 방정식 시스템의 경우 솔루션을 찾기 위해 점 값을 근사화하는 데 사용할 수 있습니다. 특정 기능의. OLS는 표본 데이터에서 회귀 모델의 알려지지 않은 매개 변수를 추정하기 위한 회귀 분석의 기본 방법 중 하나입니다. 백과사전 YouTube1 / 5 ✪ 최소제곱법. 주제 ✪ Mitin I. V. - 물리적 결과를 처리합니다. 실험 - 최소제곱법 (강의 4) ✪ 최소 제곱, 수업 1/2. 선형 함수 ✪ 계량경제학. 강의 5. 최소제곱법 ✪ 최소제곱법. 답변 자막이야기XIX 세기가 시작될 때까지. 과학자들은 미지수의 수가 방정식의 수보다 적은 방정식 시스템을 풀기 위한 특정 규칙이 없었습니다. 그때까지 방정식의 유형과 계산기의 독창성에 따라 특정 방법이 사용되었으므로 동일한 관측 데이터에서 시작하여 다른 계산기가 다른 결론에 도달했습니다. Gauss(1795)는 이 방법의 첫 번째 적용으로 인정되며 Legendre(1805)는 이 방법을 독자적으로 발견하여 현대적인 이름(fr. Methode des moindres quarres) . Laplace는 이 방법을 확률 이론과 연결했고, 미국 수학자 Adrain(1808)은 확률론적 적용을 고려했습니다. 이 방법은 Encke, Bessel, Hansen 등의 추가 연구에 의해 널리 보급되고 개선되었습니다. 최소제곱법의 핵심허락하다 x(\디스플레이 스타일 x)- 키트 n (\디스플레이 스타일 n)알 수 없는 변수(매개변수), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- 이 변수 세트의 함수 세트. 문제는 그러한 값을 선택하는 것입니다. x(\디스플레이 스타일 x)이러한 기능의 값이 가능한 한 일부 값에 가깝도록 y i (\displaystyle y_(i)). 본질적으로 우리 대화하는 중이 야과도하게 결정된 방정식 시스템의 "해"에 대해 f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots,m)표시된 의미에서 왼쪽 및 오른쪽 부품시스템. LSM의 본질은 왼쪽과 오른쪽 부분의 제곱 편차의 합을 "근접 측정"으로 선택하는 것입니다. | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). 따라서 LSM의 본질은 다음과 같이 표현할 수 있습니다. ∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\오른쪽 화살표 \min _(x)).방정식 시스템에 솔루션이 있는 경우 제곱합의 최소값은 0과 같을 것이며 방정식 시스템의 정확한 솔루션은 분석적으로 또는 예를 들어 다양한 수치 최적화 방법으로 찾을 수 있습니다. 시스템이 과대결정된 경우, 즉 느슨하게 말하면 독립 방정식의 수 더 많은 양알 수 없는 변수가 있는 경우 시스템에는 정확한 솔루션이 없으며 최소 제곱 방법을 통해 "최적" 벡터를 찾을 수 있습니다. x(\디스플레이 스타일 x)벡터의 최대 근접성의 의미에서 y (\디스플레이 스타일 y)그리고 f (x) (\디스플레이 스타일 f(x))또는 편차 벡터의 최대 근접도 e (\displaystyle e) 0까지(근접성은 유클리드 거리의 의미로 이해됨). 예 - 선형 방정식 시스템특히 최소 제곱법을 사용하여 선형 방정식 시스템을 "해결"할 수 있습니다. A x = b (\displaystyle Ax=b),어디 A(\디스플레이스타일 A)직사각형 크기 행렬 m × n , m > n (\displaystyle m\times n,m>n)(즉, 행렬 A의 행 수가 필요한 변수의 수보다 큽니다). 이러한 방정식 시스템 일반적인 경우해결책이 없습니다. 따라서 이 시스템은 그러한 벡터를 선택한다는 의미에서만 "해결"될 수 있습니다. x(\디스플레이 스타일 x)벡터 사이의 "거리"를 최소화하기 위해 A x(\displaystyle 도끼)그리고 b (\디스플레이스타일 b). 이를 위해 시스템 방정식의 왼쪽 부분과 오른쪽 부분의 차이 제곱합을 최소화하는 기준을 적용할 수 있습니다. 즉, (A x − b) T (A x − b) → min (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). 이 최소화 문제의 해가 다음 연립방정식의 해로 이어진다는 것은 쉽게 증명할 수 있습니다. A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\오른쪽 화살표 x=(A^(T)A)^(-1)A^ (결핵).회귀 분석의 OLS(데이터 근사)있도록 n (\디스플레이 스타일 n)일부 변수의 값 y (\디스플레이 스타일 y)(관찰, 실험 등의 결과일 수 있음) 및 해당 변수 x(\디스플레이 스타일 x). 문제는 다음과 같은 관계를 만드는 것입니다. y (\디스플레이 스타일 y)그리고 x(\디스플레이 스타일 x)일부 알려지지 않은 매개변수까지 알려진 일부 기능으로 근사 b (\디스플레이스타일 b), 즉, 실제로 최고의 가치매개변수 b (\디스플레이스타일 b), 값을 최대로 근사화 f (x , b) (\displaystyle f(x,b))실제 값으로 y (\디스플레이 스타일 y). 사실, 이것은 다음과 관련하여 과도하게 결정된 방정식 시스템의 "해"의 경우로 축소됩니다. b (\디스플레이스타일 b): F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots,n). 에 회귀 분석특히 계량 경제학에서는 변수 간의 관계에 대한 확률 모델이 사용됩니다. Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)), 어디 ε t (\displaystyle \varepsilon _(t))- 소위 무작위 오류모델. 따라서 관찰된 값의 편차 y (\디스플레이 스타일 y)모델에서 f (x , b) (\displaystyle f(x,b))이미 모델 자체에서 가정합니다. LSM(ordinary, classic)의 본질은 이러한 매개변수를 찾는 것입니다. b (\디스플레이스타일 b), 제곱 편차의 합(오차, 회귀 모델의 경우 회귀 잔차라고도 함) e t (\displaystyle e_(t))최소한의 것: b ^ O L S = arg min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),어디 RS S (\displaystyle RSS)- 영어. 잔차 제곱합은 다음과 같이 정의됩니다. R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\sum _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).일반적으로 이 문제는 수치적 최적화(최소화) 방법으로 해결할 수 있습니다. 이 경우 하나는 비선형 최소제곱(NLS 또는 NLLS - eng. 비선형 최소 제곱). 많은 경우 분석 솔루션을 얻을 수 있습니다. 최소화 문제를 해결하려면 함수의 정지점을 찾아야 합니다. R S S (b) (\displaystyle RSS(b)), 알려지지 않은 매개변수와 관련하여 미분 b (\디스플레이스타일 b), 도함수를 0으로 동일하게 하고 결과 방정식 시스템을 풉니다. ∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_) (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).선형 회귀의 경우 LSM회귀 종속성을 선형으로 설정합니다. y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\바렙실론 _(t)).허락하다 와이는 설명 중인 변수의 관측값으로 구성된 열 벡터이고, X(\디스플레이스타일 X)- 이것은 (n × k) (\displaystyle ((n\times k)))- 요인의 관찰 행렬(행렬의 행 - 주어진 관찰에서 요인 값의 벡터, 열 기준 - 모든 관찰에서 주어진 요인의 값 벡터). 선형 모델의 행렬 표현은 다음과 같은 형식을 갖습니다. y = Xb + ε (\displaystyle y=Xb+\varepsilon ).그러면 설명된 변수의 추정값 벡터와 회귀 잔차 벡터는 다음과 같습니다. y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).따라서 회귀 잔차의 제곱의 합은 다음과 같습니다. R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).매개변수 벡터와 관련하여 이 함수 미분 b (\디스플레이스타일 b)도함수를 0과 동일시하면 방정식 시스템(행렬 형식)을 얻습니다. (X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).해독된 행렬 형식에서 이 방정식 시스템은 다음과 같습니다. (∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋮ ⋱ ⋮ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3… (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\합계 x_(t2)x_(t1)&\합계 x_(t2)^(2)&\합계 x_(t2)x_(t3)&\ldots &\ 합 x_(t2)x_(tk) \\\합계 x_(t3)x_(t1)&\합계 x_(t3)x_(t2)&\합계 x_(t3)^(2)&\ldots &\합계 x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\vdots \\b_( k)\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t )\\v도트 \\sum x_(tk)y_(t)\\\end(pmatrix)))모든 총액이 모든 것을 차지하는 곳 허용된 값 t (\디스플레이 스타일 t). 상수가 모델에 포함되어 있으면(평소처럼) x t 1 = 1 (\디스플레이 스타일 x_(t1)=1)모든 t (\디스플레이 스타일 t), 따라서 연립방정식의 행렬의 왼쪽 상단에는 관측값의 수가 있습니다. n (\디스플레이 스타일 n), 그리고 첫 번째 행과 첫 번째 열의 나머지 요소에서 - 변수 값의 합만: ∑ x t j (\displaystyle \sum x_(tj))시스템 오른쪽의 첫 번째 요소 - ∑ y t (\displaystyle \sum y_(t)). 이 연립방정식의 해는 선형 모델에 대한 최소 제곱 추정치에 대한 일반 공식을 제공합니다. b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).분석 목적을 위해 이 공식의 마지막 표현이 유용한 것으로 판명되었습니다(방정식 시스템에서 n으로 나눌 때 합계 대신 산술 수단이 나타남). 회귀 모델의 데이터가 중심, 이 표현에서 첫 번째 행렬은 요인의 표본 공분산 행렬의 의미를 가지며 두 번째 행렬은 종속 변수가 있는 요인의 공분산 벡터입니다. 또한 데이터가 다음과 같은 경우 정규화 SKO에서(즉, 궁극적으로 표준화된), 첫 번째 행렬은 요인의 표본 상관 행렬, 두 번째 벡터 - 종속 변수와 요인의 표본 상관 관계 벡터의 의미를 갖습니다. 모델에 대한 LLS 추정의 중요한 속성 일정한- 구성된 회귀선은 샘플 데이터의 무게 중심을 통과합니다. 즉, 평등이 충족됩니다. y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\모자(b))_(j)(\bar(x))_(j)).특히, 극단적인 경우, 유일한 회귀 변수가 상수일 때 단일 매개변수(상수 자체)의 OLS 추정치가 설명되는 변수의 평균값과 동일하다는 것을 알 수 있습니다. 즉, 법에서 좋은 속성으로 알려진 산술 평균 큰 숫자, 또한 최소 제곱 추정치입니다. 이는 최소 제곱 편차의 합에 대한 기준을 충족합니다. 가장 단순한 특수한 경우찜질방의 경우 선형 회귀 y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), 한 변수의 다른 변수에 대한 선형 종속성을 추정할 때 계산 공식이 단순화됩니다(행렬 대수 없이 수행할 수 있음). 연립방정식의 형식은 다음과 같습니다. (1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmatrix))).여기에서 계수에 대한 추정치를 쉽게 찾을 수 있습니다. ( b ^ = Cov (x , y) Var (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(cases) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(cases)))일반적으로 상수가 있는 모델이 선호된다는 사실에도 불구하고 어떤 경우에는 이론적 고려를 통해 상수가 a (\displaystyle a) 0과 같아야 합니다. 예를 들어, 물리학에서 전압과 전류의 관계는 다음과 같은 형식을 갖습니다. U = I ⋅ R (\displaystyle U=I\cdot R); 전압과 전류를 측정하려면 저항을 추정해야 합니다. 이 경우 우리는 모델에 대해 이야기하고 있습니다. y = b x (\displaystyle y=bx). 이 경우 연립방정식 대신 유일한 방정식 (∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)). 따라서 단일 계수를 추정하는 공식은 다음과 같은 형식을 갖습니다. B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t) )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))). 다항식 모델의 경우데이터가 한 변수의 다항 회귀 함수에 의해 적합된 경우 f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), 다음, 인식 정도 x i (\디스플레이 스타일 x^(i))각각에 대한 독립적인 요인으로 나(\디스플레이스타일 i)선형 모델의 매개변수 추정을 위한 일반 공식을 기반으로 모델의 매개변수를 추정하는 것이 가능합니다. 이를 위해서는 일반 공식에서 다음과 같은 해석을 고려하는 것으로 충분합니다. x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))그리고 x t j y t = x t j y t (\디스플레이 스타일 x_(tj)y_(t)=x_(t)^(j)y_(t)). 따라서, 행렬 방정식안에 이 경우다음과 같은 형식을 취합니다. (n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x i 2 ... ∑ m x i k + 1 ⋮ ⋱ ⋮ ∑ ∑ n x t k ∑ n x t k ∑ n x t k + 2 k 1 ... n y t ∑ n x t y t ⋮ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ 합계 \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).) OLS 추정치의 통계적 속성우선, 선형 모델의 경우 최소 제곱 추정치가 위의 공식에서 다음과 같이 선형 추정치라는 점에 유의합니다. 편향되지 않은 최소 제곱 추정기의 경우 다음이 필요하고 충분합니다. 필수 조건회귀 분석: 요인에 대한 조건부로 임의 오류의 수학적 기대치는 0과 같아야 합니다. 이 조건은 특히 다음과 같은 경우 충족됩니다.
두 번째 조건 - 외인성 요인의 조건 -은 기본입니다. 이 속성이 충족되지 않으면 거의 모든 추정치가 매우 불만족스럽다고 가정할 수 있습니다. 일치하지도 않습니다(즉, 이 경우 매우 많은 양의 데이터라도 정성적 추정치를 얻을 수 없음). 고전적인 경우에는 외인성 조건이 충족됨을 자동으로 의미하는 무작위 오류와 달리 요인의 결정론에 대해 더 강력한 가정이 이루어집니다. 일반적으로 추정치의 일관성을 위해서는 행렬의 수렴과 함께 외생 조건을 만족하는 것으로 충분하다. V x (\displaystyle V_(x))샘플 크기가 무한대로 증가함에 따라 일부 비축퇴 행렬로 변환됩니다. 일관성 및 편향성 외에도 (일반적인) 최소 제곱 추정치가 효과적이려면(선형 편향되지 않은 추정치 중 최고) 무작위 오차의 추가 속성을 충족해야 합니다. 이러한 가정은 확률 오류 벡터의 공분산 행렬에 대해 공식화될 수 있습니다. V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I). 이러한 조건을 만족하는 선형 모델을 고전. 고전적 선형 회귀에 대한 OLS 추정치는 모든 선형 비편향 추정치의 클래스에서 편향되지 않고 일관되며 가장 효율적인 추정치입니다(영어 문헌에서는 약어가 때때로 사용됩니다. 푸른 (최고의 선형 비편향 추정기)는 최고의 선형 편향되지 않은 추정치입니다. 안에 국내 문학더 자주 가우스-마르코프 정리가 제공됨). 쉽게 알 수 있듯이 계수 추정값 벡터의 공분산 행렬은 다음과 같습니다. V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )). 효율성은이 공분산 행렬이 "최소"(계수의 선형 조합, 특히 계수 자체의 분산이 최소임), 즉 선형 편향되지 않은 추정치 클래스에서 OLS 추정치가 최고임을 의미합니다. 이 행렬의 대각선 요소(계수 추정값의 분산)는 얻은 추정값의 품질에 대한 중요한 매개변수입니다. 그러나 랜덤 오차 분산을 알 수 없기 때문에 공분산 행렬을 계산할 수 없습니다. 무작위 오차 분산의 편향되지 않고 일관된(고전적 선형 모델의 경우) 추정값이 다음 값임을 증명할 수 있습니다. S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)). 대체 주어진 가치공분산 행렬의 공식에 대입하고 공분산 행렬의 추정치를 구합니다. 결과 추정치도 편향되지 않고 일관성이 있습니다. 오차 분산 추정치(따라서 계수 분산)와 모델 매개변수 추정치가 독립적인 것도 중요합니다. 랜덤 변수, 이를 통해 모델의 계수에 대한 가설을 테스트하기 위한 테스트 통계를 얻을 수 있습니다. 고전적인 가정이 충족되지 않으면 최소 제곱 매개변수 추정치가 가장 효율적이지 않으며, 여기서 W(\displaystyle W)일부 대칭 양의 정부호 가중치 행렬입니다. 보통 최소 제곱은 가중치 행렬이 단위 행렬. 알려진 바와 같이 대칭 행렬(또는 연산자)의 경우 분해가 있습니다. W = P T P (\displaystyle W=P^(T)P). 따라서 이 함수는 다음과 같이 나타낼 수 있습니다. e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *))즉, 이 함수는 일부 변환된 "잔차"의 제곱의 합으로 표현될 수 있습니다. 따라서 최소 제곱 방법의 클래스인 LS-방법(최소 제곱)을 구별할 수 있습니다. (Aitken의 정리) 일반화된 선형 회귀 모델(임의 오차의 공분산 행렬에 제한이 부과되지 않음)의 경우 가장 효과적인(선형 편향되지 않은 추정의 부류에서) 소위 추정이 있습니다. 일반화된 OLS(OMNK, GLS - 일반화된 최소제곱)- 랜덤 오류의 역 공분산 행렬과 동일한 가중치 행렬을 갖는 LS 방법: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)). 선형 모델의 매개변수에 대한 GLS 추정의 공식은 B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y). 이 추정치의 공분산 행렬은 각각 다음과 같습니다. V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 하나)). 사실, OLS의 본질은 원본 데이터의 특정(선형) 변환(P)과 변환된 데이터에 대한 일반적인 최소 제곱의 적용에 있습니다. 이 변환의 목적은 변환된 데이터의 경우 무작위 오류가 이미 고전적인 가정을 충족한다는 것입니다. 가중 최소제곱대각 가중치 행렬(따라서 임의 오류의 공분산 행렬)의 경우 소위 가중 최소 제곱(WLS - 가중치 최소 제곱)이 있습니다. 이 경우 모델 잔차의 가중 제곱합이 최소화됩니다. 즉, 각 관측치는 이 관측치의 무작위 오차 분산에 반비례하는 "가중치"를 받습니다. e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ 시그마 _(t)^(2)))). 실제로, 데이터는 관측값에 가중치를 부여하여 변환되며(임의 오차의 가정된 표준 편차에 비례하는 양으로 나눔), 가중치가 적용된 데이터에 정규 최소 제곱이 적용됩니다. ISBN 978-5-7749-0473-0. 정렬 후 다음 형식의 함수를 얻습니다. g (x) = x + 1 3 + 1 . 적절한 매개변수를 계산하여 선형 관계 y = a x + b로 이 데이터를 근사할 수 있습니다. 이를 위해서는 소위 최소제곱법을 적용해야 합니다. 또한 실험 데이터를 가장 잘 정렬할 선을 확인하기 위해 그림을 만들어야 합니다. Yandex.RTB R-A-339285-1 OLS(최소자승법)란 정확히 무엇입니까?우리가 해야 할 주된 일은 두 변수 F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 의 함수 값이 다음과 같은 선형 종속 계수를 찾는 것입니다. 가장 작은. 즉, 특정 값과 b의 경우 결과 직선에서 제시된 데이터의 편차 제곱의 합이 최소값을 갖습니다. 이것이 최소제곱법의 의미입니다. 예제를 풀기 위해 우리가 해야 할 일은 두 변수의 함수의 극값을 찾는 것입니다. 계수 계산 공식을 유도하는 방법계수를 계산하는 공식을 도출하기 위해서는 두 개의 변수가 있는 연립방정식을 구성하고 풀어야 합니다. 이를 위해 우리는 a 와 b 에 대해 식 F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 의 편도함수를 계산하고 0과 동일시합니다. δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = i ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i 연립방정식을 풀기 위해 대체 또는 Cramer의 방법과 같은 모든 방법을 사용할 수 있습니다. 결과적으로 최소제곱법을 사용하여 계수를 계산하는 공식을 얻어야 합니다. n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = n 1n 우리는 함수에 대한 변수의 값을 계산했습니다 이것은 실제로 최소제곱법을 적용한 것입니다. 매개변수 a를 찾는 데 사용되는 그의 공식에는 ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 및 매개변수가 포함됩니다. 원래의 예로 돌아가 보겠습니다. 실시예 1 여기에서 n은 5와 같습니다. 계수 공식에 포함된 필요한 금액을 보다 편리하게 계산할 수 있도록 표를 작성합니다.
해결책 네 번째 행에는 두 번째 행의 값에 각 개인 i에 대한 세 번째 값을 곱하여 얻은 데이터가 포함됩니다. 다섯 번째 줄에는 두 번째 제곱의 데이터가 포함됩니다. 마지막 열은 개별 행 값의 합계를 보여줍니다. 최소 제곱법을 사용하여 필요한 계수와 b를 계산해 보겠습니다. 이렇게하려면 마지막 열에서 원하는 값을 대체하고 합계를 계산하십시오. n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 5 13 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184 원하는 근사 직선이 y = 0 , 165 x + 2 , 184 와 같이 보일 것입니다. 이제 우리는 g (x) = x + 1 3 + 1 또는 0 , 165 x + 2 , 184 데이터에 가장 근접한 라인을 결정해야 합니다. 최소 제곱법을 사용하여 추정해 보겠습니다. 오류를 계산하려면 σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 및 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 , 최소값은 더 적합한 라인에 해당합니다. σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0 , 096 대답:σ 1 이후< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет 최소 제곱법은 그래픽 그림에 명확하게 표시되어 있습니다. 빨간색 선은 직선 g(x) = x + 1 3 + 1을 표시하고 파란색 선은 y = 0, 165 x + 2, 184를 표시합니다. 원시 데이터는 분홍색 점으로 표시됩니다. 이 유형의 정확한 근사값이 필요한 이유를 설명하겠습니다. 데이터 평활화가 필요한 문제와 데이터를 보간하거나 외삽해야 하는 문제에서 사용할 수 있습니다. 예를 들어, 위에서 논의한 문제에서 x = 3 또는 x = 6 에서 관찰된 양 y의 값을 찾을 수 있습니다. 우리는 그러한 예에 대해 별도의 기사를 할애했습니다. LSM 방식의 증명함수가 a와 b를 계산할 때 최소값을 취하려면 주어진 지점에서 F(a, b) = ∑ i = 1n 형식의 함수의 미분의 2차 형식 행렬이 필요합니다. (y i - (a x i + b)) 2 양의 정부호입니다. 어떻게 보여야 하는지 보여드리겠습니다. 실시예 2 다음 형식의 2차 미분이 있습니다. d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2b 해결책 δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n 즉, 다음과 같이 쓸 수 있습니다. d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b . 우리는 2차 형식 M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n 의 행렬을 얻었습니다. 이 경우 개별 요소의 값은 및 b 에 따라 변경되지 않습니다. 이 행렬은 양의 정부호입니까? 이 질문에 답하기 위해 앵귤러 마이너가 양수인지 확인합시다. 1차 소수를 계산합니다. 2 ∑ i = 1 n (x i) 2 > 0 . 점 x i 가 일치하지 않으므로 부등식이 엄격합니다. 우리는 추가 계산에서 이것을 염두에 둘 것입니다. 2차 각도 마이너를 계산합니다. d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 그런 다음 수학적 귀납법을 사용하여 부등식 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0의 증명을 진행합니다.
2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0 올바른 평등을 얻었습니다(값 x 1과 x 2가 일치하지 않는 경우).
우리는 다음을 계산합니다. (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + 1 ∑ i = n (x i) 2 = = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0 중괄호로 묶인 표현식은 0보다 크며(2단계에서 가정) 나머지 항은 모두 숫자의 제곱이므로 0보다 커집니다. 우리는 불평등을 증명했습니다. 대답:발견된 a와 b는 함수 F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2의 가장 작은 값에 해당합니다. 즉, 최소 자승법의 필수 매개변수입니다. (LSM). 텍스트에서 실수를 발견하면 강조 표시하고 Ctrl+Enter를 누르십시오. 최소제곱법의 핵심은 시간 또는 공간에서 임의의 현상의 발전 경향을 가장 잘 설명하는 경향 모델의 매개변수를 찾는 데 있어(추세는 이러한 발전의 경향을 특징짓는 선입니다). 최소 자승법(OLS)의 임무는 일부 추세 모델을 찾는 것이 아니라 최적 또는 최적의 모델을 찾는 것입니다. 이 모델은 합이 표준편차관찰된 실제 값과 추세의 해당 계산된 값 사이는 최소값(가장 작음)이 됩니다. 어디 - 표준 편차관찰된 실제 값 사이 해당 계산된 추세 값, 연구 중인 현상의 실제(관찰) 값, 추세 모델의 추정값, 연구 중인 현상의 관찰 횟수입니다. MNC는 자체적으로 거의 사용되지 않습니다. 일반적으로 상관 관계 연구에서 필요한 기술로만 사용되는 경우가 가장 많습니다. 라는 것을 기억해야 합니다. 정보 기반 MNC는 신뢰할 수 있습니다. 통계 시리즈, 그리고 관찰의 수는 4보다 작아서는 안 됩니다. 그렇지 않으면 LSM 평활 절차가 상식을 잃을 수 있습니다. OLS 툴킷은 다음 절차로 축소됩니다. 첫 번째 절차. 선택된 요인-인수가 변경될 때 결과 속성을 변경하는 경향이 전혀 없는지, 즉 " ~에 " 그리고 " 엑스 ». 두 번째 절차. 이 추세를 가장 잘 설명하거나 특성화할 수 있는 선(궤적)이 결정됩니다. 세 번째 절차. 예시. 연구 중인 농장의 평균 해바라기 수확량에 대한 정보가 있다고 가정합니다(표 9.1). 표 9.1
우리나라의 해바라기 생산 기술 수준은 지난 10년 동안 크게 변하지 않았기 때문에 분석 기간의 수확량 변동은 날씨와 기후 조건의 변동에 크게 의존했을 가능성이 큽니다. 사실이야? 첫 번째 MNC 절차. 분석된 10년 동안 기상 및 기후 조건의 변화에 따른 해바라기 수확량 변화의 추세가 존재한다는 가설이 검증되고 있다. 에 이 예"당 와이 » 해바라기의 수확량을 취하는 것이 좋습니다. « 엑스 »는 분석 기간에서 관찰된 연도의 수입니다. " 사이의 관계가 존재한다는 가설 테스트 엑스 " 그리고 " 와이 » 두 가지 방법으로 수행할 수 있습니다. 수동 및 사용 컴퓨터 프로그램. 물론 컴퓨터 기술의 가용성으로 이 문제는 저절로 해결됩니다. 그러나 OLS 툴킷을 더 잘 이해하기 위해서는 " 엑스 " 그리고 " 와이 » 손에 펜과 일반 계산기만 있을 때 수동으로. 이러한 경우 추세의 존재 가설은 분석된 시계열의 그래픽 이미지 위치인 상관 필드를 통해 시각적으로 가장 잘 확인됩니다.
이 예에서 상관 필드는 천천히 상승하는 선 주위에 있습니다. 이것은 그 자체로 해바라기 수확량의 변화에 일정한 경향이 있음을 나타냅니다. 상관 필드가 원, 원, 엄격한 수직 또는 엄격한 수평 구름처럼 보이거나 무작위로 흩어져있는 점으로 구성된 경우에만 추세의 존재에 대해 말하는 것은 불가능합니다. 다른 모든 경우에는 "사이의 관계가 존재한다는 가설을 확인해야 합니다. 엑스 " 그리고 " 와이 그리고 연구를 계속합니다. 두 번째 MNC 절차. 분석된 기간 동안 해바라기 수확량 변화 추세를 가장 잘 설명하거나 특성화할 수 있는 선(궤적)이 결정됩니다. 컴퓨터 기술의 가용성으로 최적의 추세가 자동으로 선택됩니다. "수동" 처리를 통해 최적 기능의 선택은 일반적으로 상관 필드의 위치에 따라 시각적인 방식으로 수행됩니다. 즉, 차트의 종류에 따라 실증적 경향(실제 궤적)에 가장 적합한 선의 방정식이 선택된다. 아시다시피 자연에는 매우 다양한 기능적 종속성이 있으므로 그 중 작은 부분이라도 시각적으로 분석하는 것은 매우 어렵습니다. 다행히도 실제 경제 관행에서 대부분의 관계는 포물선, 쌍곡선 또는 직선으로 정확하게 설명될 수 있습니다. 이와 관련하여 최상의 기능을 선택하기 위한 "수동" 옵션을 사용하면 이 세 가지 모델로만 제한할 수 있습니다.
2차 포물선:
우리의 예에서 분석된 10년 동안 해바라기 수확량 변화의 추세가 직선으로 가장 잘 특징지어지기 때문에 회귀 방정식은 직선 방정식이 될 것임을 쉽게 알 수 있습니다. 세 번째 절차. 이 선을 특징 짓는 회귀 방정식의 매개 변수가 계산됩니다. 즉, 다음을 설명하는 분석 공식이 결정됩니다. 최고의 모델경향. 회귀 방정식의 매개 변수 값을 찾는 것, 우리의 경우 매개 변수 및 , LSM의 핵심입니다. 이 과정은 정규 방정식 시스템을 푸는 것으로 축소됩니다.
이 방정식 시스템은 가우스 방법으로 아주 쉽게 풀 수 있습니다. 우리의 예에서 솔루션의 결과로 매개 변수의 값이 발견되었음을 상기하십시오. 따라서 찾은 회귀 방정식은 다음과 같은 형식을 갖습니다. 예시. 변수 값에 대한 실험 데이터 엑스그리고 ~에표에 나와 있습니다. 정렬의 결과로 기능은 사용 최소제곱법, 선형 종속성을 사용하여 이러한 데이터를 근사화합니다. y=ax+b(옵션 찾기 ㅏ그리고 비). (최소 자승법의 의미에서) 두 선 중 어느 것이 실험 데이터를 정렬하는 것이 더 나은지 알아내십시오. 그림을 그리십시오. 최소제곱법(LSM)의 핵심.문제는 두 변수의 함수에 대한 선형 종속 계수를 찾는 것입니다. ㅏ그리고 비 따라서 예제의 솔루션은 두 변수의 함수의 극값을 찾는 것으로 축소됩니다. 계수를 찾기 위한 공식 유도.두 개의 미지수가 있는 두 개의 방정식 시스템이 컴파일되고 해결됩니다. 변수에 대한 함수의 편도함수 찾기 ㅏ그리고 비, 우리는 이러한 파생 상품을 0으로 동일시합니다. 어떤 방법으로든 결과 방정식 시스템을 풉니다(예: 대체 방법또는 ) 최소 자승법(LSM)을 사용하여 계수를 찾기 위한 공식을 얻습니다. 데이터와 함께 ㅏ그리고 비기능 이것이 전체 최소제곱법입니다. 매개변수를 찾는 공식 ㅏ합계 , , 및 매개변수를 포함합니다. N- 실험 데이터의 양. 이 합계의 값은 별도로 계산하는 것이 좋습니다. 계수 비계산 후 발견 ㅏ. 원래의 예를 기억할 때입니다. 해결책. 우리의 예에서 n=5. 필요한 계수의 공식에 포함된 금액을 계산하기 쉽도록 표를 채웁니다. 표의 네 번째 행의 값은 두 번째 행의 값에 각 숫자에 대한 세 번째 행의 값을 곱하여 얻습니다. 나. 표의 다섯 번째 행의 값은 각 숫자에 대한 두 번째 행의 값을 제곱하여 얻습니다. 나. 테이블의 마지막 열의 값은 행에 있는 값의 합계입니다. 최소 제곱법의 공식을 사용하여 계수를 찾습니다. ㅏ그리고 비. 우리는 테이블의 마지막 열에서 해당 값을 대체합니다. 따라서, y=0.165x+2.184원하는 근사 직선입니다. 어떤 라인이 있는지 알아내는 것이 남아 있습니다. y=0.165x+2.184또는 최소제곱법의 오차 추정.이렇게 하려면 이 선에서 원본 데이터의 편차 제곱합을 계산해야 합니다. 이후, 그 라인 y=0.165x+2.184원본 데이터에 더 가깝습니다. 최소 자승법(LSM)의 그래픽 그림.차트에서 모든 것이 멋지게 보입니다. 빨간선은 찾은 줄 y=0.165x+2.184, 파란색 선은  그것은 무엇을 위한 것이며, 이 모든 근사치는 무엇을 위한 것입니까? 저는 개인적으로 데이터 평활화 문제, 보간 및 외삽 문제를 해결하는 데 사용합니다(원래 예에서는 관찰된 값의 값을 찾도록 요청할 수 있습니다. 와이~에 x=3또는 언제 x=6 MNC 방법에 따라). 그러나 나중에 사이트의 다른 섹션에서 이에 대해 더 이야기할 것입니다. 증거. 그래서 발견했을 때 ㅏ그리고 비함수가 가장 작은 값을 취하는 경우, 이 지점에서 함수에 대한 2차 미분의 2차 형식 행렬이 필요합니다. 유사한 게시물 |
:
(9.2)
가장 작은 값을 취합니다. 즉, 주어진 데이터 ㅏ그리고 비발견된 직선에서 실험 데이터의 편차 제곱의 합이 가장 작습니다. 이것이 최소제곱법의 핵심입니다.
그리고 
, 더 작은 값은 최소 제곱 방법의 관점에서 원래 데이터에 더 잘 근사하는 선에 해당합니다. 
