Solução de equações pelo método dos mínimos quadrados. Matemática dos dedos: métodos dos mínimos quadrados

Se algum quantidade física depende de outra quantidade, então essa dependência pode ser estudada medindo y em valores diferentes x. Como resultado das medições, uma série de valores é obtida:

x 1 , x 2 , ..., x i , ... , x n ;

y 1 , y 2 , ..., y i , ... , s n .

Com base nos dados de tal experimento, é possível traçar a dependência y = ƒ(x). A curva resultante permite julgar a forma da função ƒ(x). No entanto coeficientes constantes, que estão incluídos nesta função, permanecem desconhecidos. O método permite determiná-los mínimos quadrados. Os pontos experimentais, via de regra, não se encontram exatamente na curva. O método dos mínimos quadrados requer que a soma dos desvios quadrados dos pontos experimentais da curva, ou seja, 2 foi o menor.

Na prática, este método é mais frequentemente (e mais simples) usado no caso de uma relação linear, ou seja, quando

y=kx ou y = a + bx.

A dependência linear é muito difundida na física. E mesmo quando a dependência é não linear, eles geralmente tentam construir um gráfico de forma a obter uma linha reta. Por exemplo, se for assumido que o índice de refração do vidro n está relacionado ao comprimento de onda λ da onda de luz pela relação n = a + b/λ 2 , então a dependência de n em λ -2 é plotada no gráfico .

Considere a dependência y=kx(reta que passa pela origem). Vamos compor o valor φ a soma dos desvios quadrados de nossos pontos da linha reta

O valor de φ é sempre positivo e acaba sendo tanto menor quanto mais próximos nossos pontos estiverem da linha reta. O método dos mínimos quadrados afirma que para k deve-se escolher tal valor no qual φ tenha um mínimo

ou
(19)

O cálculo mostra que o erro quadrático médio na determinação do valor de k é igual a

, (20)
onde n é o número de dimensões.

Vejamos agora mais alguns caso difícil quando os pontos devem satisfazer a fórmula y = a + bx(uma linha reta que não passa pela origem).

A tarefa é encontrar o conjunto dado de valores x i , y i melhores valores a e b.

Novamente compomos a forma quadrática φ, igual à soma desvios quadrados dos pontos x i , y i de uma linha reta

e encontre os valores a e b para os quais φ tem um mínimo

;

A solução conjunta dessas equações dá

(21)

Os erros quadráticos médios da determinação de a e b são iguais

(23)

. (24)

Ao processar os resultados da medição por este método, é conveniente resumir todos os dados em uma tabela na qual todos os valores incluídos nas fórmulas (19)(24) são calculados preliminarmente. As formas dessas tabelas são mostradas nos exemplos abaixo.

Exemplo 1 A equação básica da dinâmica do movimento rotacional ε = M/J (uma linha reta que passa pela origem) foi estudada. Para vários valores do momento M, foi medida a aceleração angular ε de um determinado corpo. É necessário determinar o momento de inércia deste corpo. Os resultados das medições do momento da força e da aceleração angular estão listados na segunda e terceira colunas tabelas 5.

Tabela 5

n	M, Nm	ε, s-1	M2	M ε	ε - km	(ε - kM) 2
1	1.44	0.52	2.0736	0.7488	0.039432	0.001555
2	3.12	1.06	9.7344	3.3072	0.018768	0.000352
3	4.59	1.45	21.0681	6.6555	-0.08181	0.006693
4	5.90	1.92	34.81	11.328	-0.049	0.002401
5	7.45	2.56	55.5025	19.072	0.073725	0.005435
∑			123.1886	41.1115		0.016436

Pela fórmula (19) determinamos:

Para determinar o erro quadrático médio, usamos a fórmula (20)

0.005775kg-1 · m -2 .

Pela fórmula (18) temos

; .

SJ = (2,996 0,005775)/0,3337 = 0,05185 kgm 2.

Dada a confiabilidade P = 0,95 , de acordo com a tabela de coeficientes de Student para n = 5, encontramos t = 2,78 e determinamos o erro absoluto ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 kgm 2.

Escrevemos os resultados na forma:

J = (3,0 ± 0,2) kgm 2;

Exemplo 2 Calculamos o coeficiente de resistência da temperatura do metal usando o método dos mínimos quadrados. A resistência depende da temperatura de acordo com uma lei linear

R t \u003d R 0 (1 + α t °) \u003d R 0 + R 0 α t °.

O termo livre determina a resistência R 0 a uma temperatura de 0 ° C, e declive produto do coeficiente de temperatura α e resistência R 0 .

Os resultados das medições e cálculos são fornecidos na tabela ( veja a tabela 6).

Tabela 6

n	t°, s	r, Ohm	t-¯t	(t-¯t) 2	(t-¯t)r	r-bt-a	(r - bt - a) 2,10 -6
1	23	1.242	-62.8333	3948.028	-78.039	0.007673	58.8722
2	59	1.326	-26.8333	720.0278	-35.581	-0.00353	12.4959
3	84	1.386	-1.83333	3.361111	-2.541	-0.00965	93.1506
4	96	1.417	10.16667	103.3611	14.40617	-0.01039	107.898
5	120	1.512	34.16667	1167.361	51.66	0.021141	446.932
6	133	1.520	47.16667	2224.694	71.69333	-0.00524	27.4556
∑	515	8.403		8166.833	21.5985		746.804
∑/n	85.83333	1.4005

Pelas fórmulas (21), (22) determinamos

R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 Ohm.

Vamos encontrar um erro na definição de α. Como , então pela fórmula (18) temos:

Usando as fórmulas (23), (24) temos

;

0.014126 Ohm.

Dada a confiabilidade P = 0,95, de acordo com a tabela de coeficientes de Student para n = 6, encontramos t = 2,57 e determinamos o erro absoluto Δα = 2,57 0,000132 = 0,000338 grau -1.

α = (23 ± 4) 10 -4 saudação-1 em P = 0,95.

Exemplo 3É necessário determinar o raio de curvatura da lente dos anéis de Newton. Os raios dos anéis de Newton r m foram medidos e os números desses anéis m foram determinados. Os raios dos anéis de Newton estão relacionados com o raio de curvatura da lente R e o número do anel pela equação

r 2 m = mλR - 2d 0 R,

onde d 0 a espessura do espaço entre a lente e a placa paralela ao plano (ou deformação da lente),

λ é o comprimento de onda da luz incidente.

λ = (600 ± 6) nm;
r2m = y;
m = x;
λR = b;
-2d 0 R = a,

então a equação terá a forma y = a + bx.

Os resultados das medições e cálculos são inseridos em mesa 7.

Tabela 7

n	x = m	y \u003d r 2, 10 -2 mm 2	milímetros	(m-¯m) 2	(m-¯m)y	y-bx-a, 10-4	(y - bx - a) 2, 10 -6
1	1	6.101	-2.5	6.25	-0.152525	12.01	1.44229
2	2	11.834	-1.5	2.25	-0.17751	-9.6	0.930766
3	3	17.808	-0.5	0.25	-0.08904	-7.2	0.519086
4	4	23.814	0.5	0.25	0.11907	-1.6	0.0243955
5	5	29.812	1.5	2.25	0.44718	3.28	0.107646
6	6	35.760	2.5	6.25	0.894	3.12	0.0975819
∑	21	125.129		17.5	1.041175		3.12176
∑/n	3.5	20.8548333

Programação

tutorial

Introdução

Eu sou um programador de computador. Dei o maior salto na minha carreira quando aprendi a dizer: "Eu não entendo nada!" Agora não tenho vergonha de dizer ao luminar da ciência que ele está me dando uma palestra, que não entendo do que ele, o luminar, está falando comigo. E é muito difícil. Sim, é difícil e embaraçoso admitir que você não sabe. Quem gosta de admitir que não sabe o básico de alguma coisa aí. Em virtude da minha profissão, devo comparecer em grande número apresentações e palestras, onde, confesso, na grande maioria dos casos quero dormir, porque não entendo nada. E eu não entendo porque o grande problema da situação atual da ciência está na matemática. Assume-se que todos os alunos estão familiarizados com absolutamente todas as áreas da matemática (o que é um absurdo). Admitir que você não sabe o que é uma derivada (que isso é um pouco mais tarde) é uma pena.

Mas aprendi a dizer que não sei o que é multiplicação. Sim, eu não sei o que é uma subálgebra sobre uma álgebra de Lie. Sim, eu não sei por que você precisa na vida equações quadráticas. A propósito, se você tem certeza que sabe, então temos algo para conversar! A matemática é uma série de truques. Os matemáticos tentam confundir e intimidar o público; onde não há confusão, nem reputação, nem autoridade. Sim, é prestigioso falar na linguagem mais abstrata possível, o que é um completo absurdo em si.

Você sabe o que é um derivado? Muito provavelmente você vai me falar sobre o limite da relação de diferença. No primeiro ano de matemática na Universidade Estadual de São Petersburgo, Viktor Petrovich Khavin me definiram derivada como o coeficiente do primeiro termo da série de Taylor da função no ponto (era uma ginástica separada para determinar a série de Taylor sem derivadas). Eu ri dessa definição por um longo tempo, até que finalmente entendi do que se tratava. A derivada nada mais é do que apenas uma medida de quanto a função que estamos diferenciando é semelhante à função y=x, y=x^2, y=x^3.

Agora tenho a honra de dar aulas para alunos que temer matemática. Se você tem medo de matemática - estamos no caminho. Assim que você tentar ler algum texto e lhe parecer que é muito complicado, saiba que está mal escrito. Defendo que não há uma única área da matemática que não possa ser falada "nos dedos" sem perder a precisão.

O desafio para o futuro próximo: instruí meus alunos a entender o que é um controlador linear-quadrático. Não seja tímido, desperdice três minutos da sua vida, siga o link. Se você não entender nada, então estamos a caminho. Eu (um matemático-programador profissional) também não entendia nada. E asseguro-lhe, isso pode ser resolvido "nos dedos". No este momento Não sei o que é, mas garanto-lhe que seremos capazes de descobrir.

Então, a primeira palestra que vou dar aos meus alunos depois que eles vierem correndo até mim horrorizados com as palavras de que o controlador linear-quadrático é um bug terrível que você nunca dominará em sua vida é métodos de mínimos quadrados. Você pode decidir equações lineares? Se você está lendo este texto, provavelmente não.

Assim, dados dois pontos (x0, y0), (x1, y1), por exemplo, (1,1) e (3,2), a tarefa é encontrar a equação de uma reta que passa por esses dois pontos:

ilustração

Esta linha reta deve ter uma equação como a seguinte:

Aqui alfa e beta são desconhecidos para nós, mas dois pontos desta linha são conhecidos:

Você pode escrever esta equação na forma de matriz:

Aqui devemos fazer uma digressão lírica: o que é uma matriz? Uma matriz nada mais é que um array bidimensional. Esta é uma forma de armazenar dados, não se deve atribuir mais valores a ele. Cabe a nós como exatamente interpretar uma determinada matriz. Periodicamente, vou interpretá-lo como um mapeamento linear, periodicamente como uma forma quadrática e, às vezes, simplesmente como um conjunto de vetores. Tudo isso será esclarecido no contexto.

Vamos substituir matrizes específicas por sua representação simbólica:

Então (alfa, beta) pode ser facilmente encontrado:

Mais especificamente para nossos dados anteriores:

O que leva à seguinte equação de uma linha reta que passa pelos pontos (1,1) e (3,2):

Ok, tudo está claro aqui. E vamos encontrar a equação de uma linha reta que passa por três pontos: (x0,y0), (x1,y1) e (x2,y2):

Oh-oh-oh, mas temos três equações para duas incógnitas! O matemático padrão dirá que não há solução. O que o programador vai dizer? E ele primeiro reescreverá o sistema de equações anterior na seguinte forma:

No nosso caso vetores i,j,b tridimensional, portanto, (em caso Geral) não há solução para este sistema. Qualquer vetor (alfa\*i + beta\*j) está no plano gerado pelos vetores (i, j). Se b não pertence a este plano, então não há solução (a igualdade na equação não pode ser alcançada). O que fazer? Vamos procurar um compromisso. Vamos denotar por e(alfa, beta) como exatamente não alcançamos a igualdade:

E vamos tentar minimizar esse erro:

Por que um quadrado?

Estamos procurando não apenas o mínimo da norma, mas o mínimo do quadrado da norma. Por quê? O próprio ponto mínimo coincide, e o quadrado dá uma função suave (uma função quadrática dos argumentos (alfa,beta)), enquanto apenas o comprimento dá uma função na forma de um cone, não diferenciável no ponto mínimo. Brr. Square é mais conveniente.

Obviamente, o erro é minimizado quando o vetor e ortogonal ao plano gerado pelos vetores eu e j.

Ilustração

Em outras palavras: estamos procurando uma linha tal que a soma dos quadrados dos comprimentos das distâncias de todos os pontos a essa linha seja mínima:

ATUALIZAÇÃO: aqui eu tenho um batente, a distância até a linha deve ser medida na vertical, não na projeção ortográfica. o comentarista está certo.

Ilustração

Em palavras completamente diferentes (com cuidado, mal formalizadas, mas deve ficar claro nos dedos): pegamos todas as linhas possíveis entre todos os pares de pontos e procuramos a linha média entre todos:

Ilustração

Outra explicação sobre os dedos: anexamos uma mola entre todos os pontos de dados (aqui temos três) e a linha que estamos procurando, e a linha do estado de equilíbrio é exatamente o que estamos procurando.

Forma quadrática mínima

Então, dado o vetor b e o plano gerado pelos vetores-colunas da matriz UMA(dentro este caso(x0,x1,x2) e (1,1,1)), estamos procurando um vetor e com um quadrado mínimo de comprimento. Obviamente, o mínimo é alcançável apenas para o vetor e, ortogonal ao plano gerado pelos vetores-colunas da matriz UMA:

Em outras palavras, estamos procurando um vetor x=(alfa, beta) tal que:

Lembro que esse vetor x=(alpha, beta) é o mínimo função quadrática||e(alfa, beta)||^2:

Aqui seria útil lembrar que a matriz pode ser interpretada assim como a forma quadrática, por exemplo, matriz de identidade((1,0),(0,1)) pode ser interpretado como uma função de x^2 + y^2:

forma quadrática

Toda essa ginástica é conhecida como regressão linear.

Equação de Laplace com condição de contorno de Dirichlet

Agora o problema real mais simples: existe uma certa superfície triangulada, é necessário alisá-la. Por exemplo, vamos carregar meu modelo de rosto:

O commit original está disponível. Para minimizar dependências externas Peguei o código do meu software renderizador, já no Habré. Para soluções sistema linear Eu uso OpenNL , é um ótimo solucionador, mas é muito difícil de instalar: você precisa copiar dois arquivos (.h+.c) para a pasta do seu projeto. Todo o alisamento é feito pelo seguinte código:

Para (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&face = faces[i]; para (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

As coordenadas X, Y e Z são separáveis, eu as aliso separadamente. Ou seja, resolvo três sistemas de equações lineares, cada um com o mesmo número de variáveis que o número de vértices no meu modelo. As primeiras n linhas da matriz A têm apenas um 1 por linha, e as primeiras n linhas do vetor b têm as coordenadas do modelo original. Ou seja, eu amarro a nova posição do vértice e a antiga posição do vértice - os novos não devem estar muito longe dos antigos.

Todas as linhas subsequentes da matriz A (faces.size()*3 = o número de arestas de todos os triângulos na grade) têm uma ocorrência de 1 e uma ocorrência de -1, enquanto o vetor b tem zero componentes opostos. Isso significa que eu coloco uma mola em cada aresta da nossa malha triangular: todas as arestas tentam obter o mesmo vértice que seus pontos inicial e final.

Mais uma vez: todos os vértices são variáveis e não podem se desviar muito de sua posição original, mas ao mesmo tempo tentam se tornar semelhantes entre si.

Aqui está o resultado:

Tudo ficaria bem, o modelo é realmente suavizado, mas se afastou de sua borda original. Vamos alterar um pouco o código:

Para (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

Em nossa matriz A, para os vértices que estão na borda, não adiciono uma linha da categoria v_i = verts[i][d], mas 1000*v_i = 1000*verts[i][d]. O que isso muda? E isso muda nossa forma quadrática do erro. Agora, um único desvio do topo na borda custará não uma unidade, como antes, mas 1.000 * 1.000 unidades. Ou seja, penduramos uma mola mais forte nos vértices extremos, a solução prefere esticar outras com mais força. Aqui está o resultado:

Vamos dobrar a força das molas entre os vértices:
nlCoeficiente(face[j], 2); nlCoeficiente(face[(j+1)%3], -2);

É lógico que a superfície ficou mais lisa:

E agora ainda cem vezes mais forte:

O que é isso? Imagine que mergulhamos um anel de arame em água com sabão. Como resultado, o filme de sabão resultante tentará ter a menor curvatura possível, tocando a mesma borda - nosso anel de arame. Isso é exatamente o que conseguimos ao fixar a borda e pedir uma superfície lisa no interior. Parabéns, acabamos de resolver a equação de Laplace com condições de contorno de Dirichlet. Parece legal? Mas, na verdade, apenas um sistema de equações lineares para resolver.

equação de Poisson

Vamos ter outro nome legal.

Digamos que eu tenha uma imagem assim:

Todo mundo é bom, mas eu não gosto da cadeira.

Cortei a foto ao meio:

E vou selecionar uma cadeira com as mãos:

Em seguida, vou arrastar tudo o que estiver branco na máscara para o lado esquerdo da imagem, e ao mesmo tempo direi ao longo de toda a imagem que a diferença entre dois pixels vizinhos deve ser igual à diferença entre dois pixels vizinhos do imagem certa:

Para (int i=0; i

Aqui está o resultado:

Código e imagens estão disponíveis

3.5. Método dos mínimos quadrados

O primeiro trabalho, que lançou as bases do método dos mínimos quadrados, foi realizado por Legendre em 1805. No artigo "Novos métodos para determinar as órbitas dos cometas", ele escreveu: "Depois de todas as condições do problema terem sido plenamente utilizados, é necessário determinar os coeficientes para que a magnitude de seus erros seja a menor possível. A maneira mais simples de conseguir isso é o método, que consiste em encontrar o mínimo da soma dos erros quadrados. é melhor aproximado de um experimento em escala real.

Seja, com base no experimento, é necessário estabelecer a dependência funcional da quantidade y em x : .E vamos como resultado do experimento obtidon valores ycom os valores correspondentes do argumentox. Se os pontos experimentais estão localizados no plano de coordenadas como na figura, então, sabendo que há erros no experimento, podemos assumir que a dependência é linear, ou seja,y= machado+ b.Observe que o método não impõe restrições à forma da função, ou seja, ele pode ser aplicado a quaisquer dependências funcionais.

Do ponto de vista do experimentador, muitas vezes é mais natural pensar que a sequência de amostragemfixado antecipadamente, ou seja, é uma variável independente, e as contagens - variável dependente. Isto é especialmente claro se sob instantes de tempo são compreendidos, o que ocorre mais amplamente em aplicações técnicas, mas este é apenas um caso especial muito comum. Por exemplo, é necessário classificar algumas amostras por tamanho. Então a variável independente será o número da amostra, a variável dependente será seu tamanho individual.

O método dos mínimos quadrados é descrito em detalhes em muitas publicações educacionais e científicas, especialmente em termos de aproximação de funções em engenharia elétrica e de rádio, bem como em livros sobre teoria das probabilidades e estatística matemática.

Voltemos ao desenho. As linhas pontilhadas mostram que os erros podem surgir não apenas devido à imperfeição dos procedimentos de medição, mas também devido à imprecisão na configuração da variável independente. resta escolher os parâmetros incluídos neleuma e b.É claro que o número de parâmetros pode ser maior que dois, o que é típico apenas para funções lineares. Em geral, vamos supor

.(1)

É necessário escolher coeficientesuma, b, c... para que a condição seja atendida

. (2)

Vamos encontrar os valores uma, b, c… que giram o lado esquerdo de (2) ao mínimo. Para fazer isso, definimos pontos estacionários (pontos nos quais a primeira derivada se anula) diferenciando o lado esquerdo de (2) em relação auma, b, c:

(3)

etc. O sistema de equações resultante contém tantas equações quanto incógnitasuma, b, c…. É impossível resolver tal sistema de uma forma geral, portanto é necessário definir, pelo menos aproximadamente, um tipo específico de função.A seguir, consideramos dois casos: funções lineares e quadráticas.

Função linear .

Considere a soma das diferenças quadradas entre os valores experimentais e os valores da função nos pontos correspondentes:

(4)

Vamos selecionar os parâmetrosuma e bpara que esta soma tenha o menor valor. Assim, o problema se reduz a encontrar os valoresuma e b, em que a função tem um mínimo, ou seja, para o estudo de uma função de duas variáveis independentesuma e bao mínimo. Para isso, diferenciamos emuma e b:

;

(5)

Substituindo os dados experimentais e , obtemos um sistema de duas equações lineares com duas incógnitasuma e b. Tendo resolvido este sistema, podemos escrever a função .

Garantimos que para os valores encontradosuma e btem um mínimo. Para fazer isso, encontramos , e :

, , .

Consequentemente,

− = ,

>0,

Essa. uma condição mínima suficiente para uma função de duas variáveis é satisfeita.

função quadrática .

Deixe que os valores da função nos pontos sejam obtidos no experimento. Vamos também com base em informações a priori, há uma suposição de que a função é quadrática:

É necessário encontrar os coeficientesuma, b e c.Nós temos

é uma função de três variáveisuma, b, c.

Neste caso, o sistema (3) assume a forma:

Ou:

Resolvendo este sistema de equações lineares, determinamos as incógnitasuma, b, c.

Exemplo.Que quatro valores da função desejada sejam obtidos com base no experimento y = (x ) com quatro valores do argumento, que são dados na tabela:

tutorial

Introdução

Eu sou um programador de computador. Dei o maior salto na minha carreira quando aprendi a dizer: "Eu não entendo nada!" Agora não tenho vergonha de dizer ao luminar da ciência que ele está me dando uma palestra, que não entendo do que ele, o luminar, está falando comigo. E é muito difícil. Sim, é difícil e embaraçoso admitir que você não sabe. Quem gosta de admitir que não sabe o básico de alguma coisa aí. Em virtude da minha profissão, tenho que assistir a um grande número de apresentações e palestras, onde, confesso, na grande maioria das vezes sinto sono, porque não entendo nada. E eu não entendo porque o grande problema da situação atual da ciência está na matemática. Assume-se que todos os alunos estão familiarizados com absolutamente todas as áreas da matemática (o que é um absurdo). Admitir que você não sabe o que é uma derivada (que isso é um pouco mais tarde) é uma pena.

Mas aprendi a dizer que não sei o que é multiplicação. Sim, eu não sei o que é uma subálgebra sobre uma álgebra de Lie. Sim, eu não sei por que as equações quadráticas são necessárias na vida. A propósito, se você tem certeza que sabe, então temos algo para conversar! A matemática é uma série de truques. Os matemáticos tentam confundir e intimidar o público; onde não há confusão, nem reputação, nem autoridade. Sim, é prestigioso falar na linguagem mais abstrata possível, o que é um completo absurdo em si.

Você sabe o que é um derivado? Muito provavelmente você vai me falar sobre o limite da relação de diferença. No primeiro ano de matemática na Universidade Estadual de São Petersburgo, Viktor Petrovich Khavin me definiram derivada como o coeficiente do primeiro termo da série de Taylor da função no ponto (era uma ginástica separada para determinar a série de Taylor sem derivadas). Eu ri dessa definição por um longo tempo, até que finalmente entendi do que se tratava. A derivada nada mais é do que apenas uma medida de quanto a função que estamos diferenciando é semelhante à função y=x, y=x^2, y=x^3.

O desafio para o futuro próximo: instruí meus alunos a entender o que é um controlador linear-quadrático. Não seja tímido, desperdice três minutos da sua vida, siga o link. Se você não entender nada, então estamos a caminho. Eu (um matemático-programador profissional) também não entendia nada. E asseguro-lhe, isso pode ser resolvido "nos dedos". No momento não sei o que é, mas garanto que conseguiremos descobrir.

Então, a primeira palestra que vou dar aos meus alunos depois que eles vierem correndo até mim horrorizados com as palavras de que o controlador linear-quadrático é um bug terrível que você nunca dominará em sua vida é métodos de mínimos quadrados. Você consegue resolver equações lineares? Se você está lendo este texto, provavelmente não.

Assim, dados dois pontos (x0, y0), (x1, y1), por exemplo, (1,1) e (3,2), a tarefa é encontrar a equação de uma reta que passa por esses dois pontos:

ilustração

Esta linha reta deve ter uma equação como a seguinte:

Aqui alfa e beta são desconhecidos para nós, mas dois pontos desta linha são conhecidos:

Você pode escrever esta equação na forma de matriz:

Vamos substituir matrizes específicas por sua representação simbólica:

Então (alfa, beta) pode ser facilmente encontrado:

Mais especificamente para nossos dados anteriores:

O que leva à seguinte equação de uma linha reta que passa pelos pontos (1,1) e (3,2):

Ok, tudo está claro aqui. E vamos encontrar a equação de uma linha reta que passa por três pontos: (x0,y0), (x1,y1) e (x2,y2):

No nosso caso, os vetores i, j, b são tridimensionais, portanto, (no caso geral) não há solução para este sistema. Qualquer vetor (alfa\*i + beta\*j) está no plano gerado pelos vetores (i, j). Se b não pertence a este plano, então não há solução (a igualdade na equação não pode ser alcançada). O que fazer? Vamos procurar um compromisso. Vamos denotar por e(alfa, beta) como exatamente não alcançamos a igualdade:

E vamos tentar minimizar esse erro:

Por que um quadrado?

Obviamente, o erro é minimizado quando o vetor e ortogonal ao plano gerado pelos vetores eu e j.

Ilustração

Em outras palavras: estamos procurando uma linha tal que a soma dos quadrados dos comprimentos das distâncias de todos os pontos a essa linha seja mínima:

ATUALIZAÇÃO: aqui eu tenho um batente, a distância até a linha deve ser medida na vertical, não na projeção ortográfica. Este comentarista está correto.

Ilustração

Forma quadrática mínima

Então, dado o vetor b e o plano gerado pelos vetores-colunas da matriz UMA(neste caso (x0,x1,x2) e (1,1,1)), estamos procurando um vetor e com um quadrado mínimo de comprimento. Obviamente, o mínimo é alcançável apenas para o vetor e, ortogonal ao plano gerado pelos vetores-colunas da matriz UMA:

Em outras palavras, estamos procurando um vetor x=(alfa, beta) tal que:

Lembro que esse vetor x=(alpha, beta) é o mínimo da função quadrática ||e(alpha, beta)||^2:

Aqui é útil lembrar que a matriz pode ser interpretada assim como a forma quadrática, por exemplo, a matriz identidade ((1,0),(0,1)) pode ser interpretada como uma função de x^2 + y ^2:

forma quadrática

Toda essa ginástica é conhecida como regressão linear.

Equação de Laplace com condição de contorno de Dirichlet

Agora o problema real mais simples: existe uma certa superfície triangulada, é necessário alisá-la. Por exemplo, vamos carregar meu modelo de rosto:

O commit original está disponível. Para minimizar dependências externas, peguei o código do meu renderizador de software, já no Habré. Para resolver o sistema linear, eu uso o OpenNL , é um ótimo solucionador, mas é muito difícil de instalar: você precisa copiar dois arquivos (.h + .c) para a pasta do seu projeto. Todo o alisamento é feito pelo seguinte código:

Mais uma vez: todos os vértices são variáveis e não podem se desviar muito de sua posição original, mas ao mesmo tempo tentam se tornar semelhantes entre si.

Aqui está o resultado:

Tudo ficaria bem, o modelo é realmente suavizado, mas se afastou de sua borda original. Vamos alterar um pouco o código:

Para (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

Vamos dobrar a força das molas entre os vértices:
nlCoeficiente(face[j], 2); nlCoeficiente(face[(j+1)%3], -2);

É lógico que a superfície ficou mais lisa:

E agora ainda cem vezes mais forte:

equação de Poisson

Vamos ter outro nome legal.

Digamos que eu tenha uma imagem assim:

Todo mundo é bom, mas eu não gosto da cadeira.

Cortei a foto ao meio:

E vou selecionar uma cadeira com as mãos:

Para (int i=0; i

Aqui está o resultado:

Código e imagens estão disponíveis

Aproximamos a função por um polinômio de 2º grau. Para fazer isso, calculamos os coeficientes do sistema normal de equações:

, ,

Vamos compor um sistema normal de mínimos quadrados, que tem a forma:

A solução do sistema é fácil de encontrar:, , .

Assim, encontra-se o polinômio de 2º grau: .

Bases teóricas

Voltar para a página<Введение в вычислительную математику. Примеры>

Exemplo 2. Encontrar o grau ótimo de um polinômio.

Voltar para a página<Введение в вычислительную математику. Примеры>

Exemplo 3. Derivação de um sistema normal de equações para encontrar os parâmetros de uma dependência empírica.

Vamos derivar um sistema de equações para determinar os coeficientes e funções , que executa a aproximação quadrática média da função dada em relação aos pontos. Compor uma função e escreva a condição extrema necessária para isso:

Então o sistema normal terá a forma:

Obtivemos um sistema linear de equações para parâmetros desconhecidos e que é facilmente resolvido.

Bases teóricas

Voltar para a página<Введение в вычислительную математику. Примеры>

Exemplo.

Dados experimentais sobre os valores das variáveis X e no são dados na tabela.

Como resultado de seu alinhamento, a função

Usando método dos mínimos quadrados, aproxime esses dados com uma dependência linear y=ax+b(encontrar parâmetros uma e b). Descubra qual das duas linhas é melhor (no sentido do método dos mínimos quadrados) alinha os dados experimentais. Faça um desenho.

A essência do método dos mínimos quadrados (LSM).

O problema é encontrar os coeficientes de dependência linear para os quais a função de duas variáveis uma e bassume o menor valor. Ou seja, dados os dados uma e b a soma dos desvios quadrados dos dados experimentais da linha reta encontrada será a menor. Este é o ponto principal do método dos mínimos quadrados.

Assim, a solução do exemplo é reduzida a encontrar o extremo de uma função de duas variáveis.

Derivação de fórmulas para encontrar coeficientes.

Um sistema de duas equações com duas incógnitas é compilado e resolvido. Encontrando derivadas parciais de funções por variáveis uma e b, igualamos essas derivadas a zero.

Resolvemos o sistema de equações resultante por qualquer método (por exemplo método de substituição ou o método de Cramer) e obter fórmulas para encontrar coeficientes usando o método dos mínimos quadrados (LSM).

Com dados uma e b função assume o menor valor. A comprovação desse fato é apresentada a seguir no texto ao final da página.

Esse é todo o método dos mínimos quadrados. Fórmula para encontrar o parâmetro uma contém as somas , , , e o parâmetro né a quantidade de dados experimentais. Recomenda-se que os valores dessas somas sejam calculados separadamente.

Coeficiente b encontrado após o cálculo uma.

É hora de lembrar o exemplo original.

Solução.

Em nosso exemplo n=5. Preenchemos a tabela para a conveniência de calcular os valores incluídos nas fórmulas dos coeficientes necessários.

Os valores da quarta linha da tabela são obtidos multiplicando os valores da 2ª linha pelos valores da 3ª linha para cada número eu.

Os valores da quinta linha da tabela são obtidos elevando ao quadrado os valores da 2ª linha para cada número eu.

Os valores da última coluna da tabela são as somas dos valores nas linhas.

Usamos as fórmulas do método dos mínimos quadrados para encontrar os coeficientes uma e b. Substituímos neles os valores correspondentes da última coluna da tabela:

Consequentemente, y=0,165x+2,184é a linha reta de aproximação desejada.

Resta saber qual das linhas y=0,165x+2,184 ou aproxima melhor os dados originais, ou seja, para fazer uma estimativa usando o método dos mínimos quadrados.

Estimativa do erro do método dos mínimos quadrados.

Para fazer isso, você precisa calcular as somas dos desvios quadrados dos dados originais dessas linhas e , um valor menor corresponde a uma linha que melhor se aproxima dos dados originais em termos do método dos mínimos quadrados.

Desde , então a linha y=0,165x+2,184 aproxima melhor os dados originais.

Ilustração gráfica do método dos mínimos quadrados (LSM).

Tudo parece ótimo nas paradas. A linha vermelha é a linha encontrada y=0,165x+2,184, a linha azul é , os pontos rosa são os dados originais.

Para que serve, para que servem todas essas aproximações?

Eu pessoalmente uso para resolver problemas de suavização de dados, problemas de interpolação e extrapolação (no exemplo original, você pode ser solicitado a encontrar o valor do valor observado y no x=3 ou quando x=6 de acordo com o método MNC). Mas falaremos mais sobre isso posteriormente em outra seção do site.

Topo da página

Prova.

Para que quando encontrado uma e b função assume o menor valor, é necessário que neste ponto a matriz da forma quadrática do diferencial de segunda ordem para a função foi definido positivo. Vamos mostrar.

O diferencial de segunda ordem tem a forma:

Aquilo é

Portanto, a matriz da forma quadrática tem a forma

e os valores dos elementos não dependem uma e b.

Vamos mostrar que a matriz é definida positiva. Isso requer que os menores dos ângulos sejam positivos.

Menor angular de primeira ordem . A desigualdade é estrita, pois os pontos não coincidem. Isso ficará implícito no que segue.

Angular menor de segunda ordem

Vamos provar isso método de indução matemática.

Conclusão: valores encontrados uma e b corresponde ao menor valor da função , portanto, são os parâmetros desejados para o método dos mínimos quadrados.

Já entendeu?
Encomende uma solução

Topo da página

Desenvolvimento de uma previsão usando o método dos mínimos quadrados. Exemplo de solução de problema

Extrapolação - este é um método de pesquisa científica, que se baseia na divulgação de tendências passadas e presentes, padrões, relações com o desenvolvimento futuro do objeto de previsão. Os métodos de extrapolação incluem método da média móvel, método de suavização exponencial, método dos mínimos quadrados.

Essência método dos mínimos quadrados consiste em minimizar a soma dos desvios quadrados entre os valores observados e calculados. Os valores calculados são encontrados de acordo com a equação selecionada - a equação de regressão. Quanto menor a distância entre os valores reais e os calculados, mais precisa será a previsão com base na equação de regressão.

A análise teórica da essência do fenômeno em estudo, cuja mudança é apresentada por uma série temporal, serve de base para a escolha de uma curva. Considerações sobre a natureza do crescimento dos níveis da série são algumas vezes levadas em conta. Assim, se o crescimento da produção é esperado em progressão aritmética, a suavização é realizada em linha reta. Se o crescimento for exponencial, a suavização deve ser feita de acordo com a função exponencial.

A fórmula de trabalho do método dos mínimos quadrados : Y t+1 = a*X + b, onde t + 1 é o período de previsão; Уt+1 – indicador previsto; aeb são coeficientes; X é um símbolo do tempo.

Os coeficientes a e b são calculados de acordo com as seguintes fórmulas:

onde, Uf - os valores reais da série de dinâmicas; n é o número de níveis na série temporal;

A suavização de séries temporais pelo método dos mínimos quadrados serve para refletir os padrões de desenvolvimento do fenômeno em estudo. Na expressão analítica de uma tendência, o tempo é considerado uma variável independente, e os níveis da série atuam em função dessa variável independente.

O desenvolvimento de um fenômeno não depende de quantos anos se passaram desde o ponto de partida, mas de quais fatores influenciaram seu desenvolvimento, em que direção e com que intensidade. Disso fica claro que o desenvolvimento de um fenômeno no tempo aparece como resultado da ação desses fatores.

Definindo corretamente o tipo de curva, o tipo de dependência analítica do tempo é uma das tarefas mais difíceis da análise pré-preditiva. .

A seleção do tipo de função que descreve a tendência, cujos parâmetros são determinados pelo método dos mínimos quadrados, é na maioria dos casos empírico, construindo um número de funções e comparando-as entre si pelo valor da raiz média -erro quadrado calculado pela fórmula:

onde Uf - os valores reais da série de dinâmicas; Ur – valores calculados (suavizados) da série temporal; n é o número de níveis na série temporal; p é o número de parâmetros definidos nas fórmulas que descrevem a tendência (tendência de desenvolvimento).

Desvantagens do método dos mínimos quadrados :

ao tentar descrever o fenômeno econômico em estudo usando uma equação matemática, a previsão será precisa por um curto período de tempo e a equação de regressão deve ser recalculada à medida que novas informações forem disponibilizadas;
a complexidade da seleção da equação de regressão, que pode ser resolvida usando programas de computador padrão.

Um exemplo de uso do método dos mínimos quadrados para desenvolver uma previsão

Uma tarefa . Existem dados que caracterizam o nível de desemprego na região, %

Construir uma previsão da taxa de desemprego na região para os meses de novembro, dezembro, janeiro, utilizando os métodos: média móvel, suavização exponencial, mínimos quadrados.
Calcule os erros nas previsões resultantes usando cada método.
Compare os resultados obtidos, tire conclusões.

Solução de mínimos quadrados

Para a solução, compilaremos uma tabela na qual faremos os cálculos necessários:

ε = 28,63/10 = 2,86% precisão da previsão Alto.

Conclusão : Comparando os resultados obtidos nos cálculos método de média móvel , suavização exponencial e o método dos mínimos quadrados, podemos dizer que o erro relativo médio nos cálculos pelo método de suavização exponencial fica entre 20-50%. Isso significa que a precisão da previsão neste caso é apenas satisfatória.

No primeiro e terceiro casos, a precisão da previsão é alta, pois o erro relativo médio é inferior a 10%. Mas o método da média móvel permitiu obter resultados mais confiáveis (previsão para novembro - 1,52%, previsão para dezembro - 1,53%, previsão para janeiro - 1,49%), pois o erro relativo médio ao usar esse método é o menor - 1 ,13%.

Método dos mínimos quadrados

Outros artigos relacionados:

Lista de fontes usadas

Recomendações científicas e metodológicas sobre as questões de diagnóstico de riscos sociais e previsão de desafios, ameaças e consequências sociais. Universidade Social Estatal Russa. Moscou. 2010;
Vladimirova L.P. Previsão e planejamento em condições de mercado: Proc. mesada. M.: Editora "Dashkov and Co", 2001;
Novikova N.V., Pozdeeva O.G. Previsão da Economia Nacional: Guia Pedagógico e Metodológico. Ecaterimburgo: Editora Ural. Estado economia universidade, 2007;
Slutskin L.N. Curso de MBA em Previsão de Negócios. Moscou: Alpina Business Books, 2006.

Programa MNE

Inserir dados

Dados e Aproximação y = a + b x

eu- número do ponto experimental;
XI- o valor do parâmetro fixo no ponto eu;
eu- o valor do parâmetro medido no ponto eu;
ωi- peso de medição no ponto eu;
yi, calc.- a diferença entre o valor medido e o valor calculado a partir da regressão y no ponto eu;
S x i (x i)- estimativa de erro XI ao medir y no ponto eu.

Dados e Aproximação y = kx

eu	XI	eu	ωi	yi, calc.	Δy i	S x i (x i)

Clique no gráfico

Manual do usuário para o programa online MNC.

No campo de dados, insira em cada linha separada os valores de `x` e `y` em um ponto experimental. Os valores devem ser separados por espaço em branco (espaço ou tabulação).

O terceiro valor pode ser o peso do ponto de `w`. Se o peso do ponto não for especificado, ele será igual a um. Na esmagadora maioria dos casos, os pesos dos pontos experimentais são desconhecidos ou não calculados; todos os dados experimentais são considerados equivalentes. Às vezes, os pesos no intervalo de valores estudados definitivamente não são equivalentes e podem até ser calculados teoricamente. Por exemplo, na espectrofotometria, os pesos podem ser calculados usando fórmulas simples, embora basicamente todo mundo negligencie isso para reduzir os custos de mão de obra.

Os dados podem ser colados na área de transferência de uma planilha de pacote de escritório, como Excel do Microsoft Office ou Calc do Open Office. Para fazer isso, na planilha, selecione o intervalo de dados a ser copiado, copie para a área de transferência e cole os dados no campo de dados desta página.

Para calcular pelo método dos mínimos quadrados, são necessários pelo menos dois pontos para determinar dois coeficientes `b` - a tangente do ângulo de inclinação da linha reta e `a` - o valor cortado pela linha reta no `y ` eixo.

Para estimar o erro dos coeficientes de regressão calculados, é necessário definir o número de pontos experimentais para mais de dois.

Método dos mínimos quadrados (LSM).

Quanto maior o número de pontos experimentais, mais precisa é a estimativa estatística dos coeficientes (devido à diminuição do coeficiente de Student) e mais próxima a estimativa da estimativa da amostra geral.

A obtenção de valores em cada ponto experimental é frequentemente associada a custos de mão de obra significativos, portanto, muitas vezes é realizado um número de experimentos comprometido, o que fornece uma estimativa digerível e não leva a custos de mão de obra excessivos. Como regra, o número de pontos experimentais para uma dependência linear de mínimos quadrados com dois coeficientes é escolhido na região de 5-7 pontos.

Uma Breve Teoria dos Mínimos Quadrados para a Dependência Linear

Suponha que tenhamos um conjunto de dados experimentais na forma de pares de valores [`y_i`, `x_i`], onde `i` é o número de uma medida experimental de 1 a `n`; `y_i` - o valor do valor medido no ponto `i`; `x_i` - o valor do parâmetro que definimos no ponto `i`.

Um exemplo é a operação da lei de Ohm. Ao alterar a tensão (diferença de potencial) entre as seções do circuito elétrico, medimos a quantidade de corrente que passa por essa seção. A física nos dá a dependência encontrada experimentalmente:

`I=U/R`,
onde `I` - força atual; `R` - resistência; `U` - tensão.

Neste caso, `y_i` é o valor medido da corrente e `x_i` é o valor da tensão.

Como outro exemplo, considere a absorção de luz por uma solução de uma substância em solução. A química nos dá a fórmula:

`A = εl C`,
onde `A` é a densidade óptica da solução; `ε` - transmitância do soluto; `l` - comprimento do caminho quando a luz passa por uma cubeta com uma solução; `C` é a concentração do soluto.

Neste caso, `y_i` é a densidade óptica medida `A` e `x_i` é a concentração da substância que definimos.

Consideraremos o caso em que o erro relativo na configuração de `x_i` é muito menor do que o erro relativo na medição de `y_i`. Também assumiremos que todos os valores medidos de `y_i` são aleatórios e normalmente distribuídos, ou seja, obedecer a lei da distribuição normal.

No caso de uma dependência linear de `y` em `x`, podemos escrever a dependência teórica:
`y = a + bx`.

Do ponto de vista geométrico, o coeficiente `b` denota a tangente do ângulo de inclinação da linha ao eixo `x`, e o coeficiente `a` - o valor de `y` no ponto de interseção do eixo linha com o eixo `y` (para `x = 0`).

Encontrando os parâmetros da linha de regressão.

Em um experimento, os valores medidos de `y_i` não podem estar exatamente na linha teórica devido a erros de medição, que são sempre inerentes à vida real. Portanto, uma equação linear deve ser representada por um sistema de equações:
`y_i = a + b x_i + ε_i` (1),
onde `ε_i` é o erro de medição desconhecido de `y` no `i`th experimento.

A dependência (1) também é chamada regressão, ou seja a dependência das duas quantidades entre si com significância estatística.

A tarefa de restaurar a dependência é encontrar os coeficientes `a` e `b` dos pontos experimentais [`y_i`, `x_i`].

Para encontrar os coeficientes `a` e `b` é geralmente usado método dos mínimos quadrados(MNK). É um caso especial do princípio da máxima verossimilhança.

Vamos reescrever (1) como `ε_i = y_i - a - b x_i`.

Então a soma dos erros ao quadrado será
`Φ = soma_(i=1)^(n) ε_i^2 = soma_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

O princípio do método dos mínimos quadrados é minimizar a soma (2) em relação aos parâmetros `a` e `b`.

O mínimo é alcançado quando as derivadas parciais da soma (2) em relação aos coeficientes `a` e `b` são iguais a zero:
`frac(parcial Φ)(parcial a) = frac(parcial soma_(i=1)^(n) (y_i - a - b x_i)^2)(parcial a) = 0`
`frac(parcial Φ)(parcial b) = frac(parcial soma_(i=1)^(n) (y_i - a - b x_i)^2)(parcial b) = 0`

Expandindo as derivadas, obtemos um sistema de duas equações com duas incógnitas:
`soma_(i=1)^(n) (2a + 2bx_i - 2y_i) = soma_(i=1)^(n) (a + bx_i - y_i) = 0`
`soma_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = soma_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Abrimos os colchetes e transferimos as somas independentes dos coeficientes desejados para a outra metade, obtemos um sistema de equações lineares:
`soma_(i=1)^(n) y_i = a n + b soma_(i=1)^(n) bx_i`
`soma_(i=1)^(n) x_iy_i = a soma_(i=1)^(n) x_i + b soma_(i=1)^(n) x_i^2`

Resolvendo o sistema resultante, encontramos fórmulas para os coeficientes `a` e `b`:

`a = frac(soma_(i=1)^(n) y_i soma_(i=1)^(n) x_i^2 - soma_(i=1)^(n) x_i soma_(i=1)^(n ) x_iy_i) (n soma_(i=1)^(n) x_i^2 — (soma_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n soma_(i=1)^(n) x_iy_i - soma_(i=1)^(n) x_i soma_(i=1)^(n) y_i) (n soma_(i=1)^ (n) x_i^2 - (soma_(i=1)^(n) x_i)^2)` (3.2)

Essas fórmulas têm soluções quando `n > 1` (a linha pode ser desenhada usando pelo menos 2 pontos) e quando o determinante `D = n soma_(i=1)^(n) x_i^2 — (sum_(i= 1 )^(n) x_i)^2 != 0`, ou seja quando os pontos `x_i` no experimento são diferentes (ou seja, quando a linha não é vertical).

Estimativa de erros nos coeficientes da linha de regressão

Para uma estimativa mais precisa do erro no cálculo dos coeficientes `a` e `b`, um grande número de pontos experimentais é desejável. Quando `n = 2`, é impossível estimar o erro dos coeficientes, porque a linha de aproximação passará exclusivamente por dois pontos.

O erro da variável aleatória `V` é determinado lei de acumulação de erros
`S_V^2 = soma_(i=1)^p (frac(parcial f)(parcial z_i))^2 S_(z_i)^2`,
onde `p` é o número de parâmetros `z_i` com erro `S_(z_i)` que afetam o erro `S_V`;
`f` é uma função de dependência de `V` em `z_i`.

Vamos escrever a lei de acumulação de erros para o erro dos coeficientes `a` e `b`
`S_a^2 = soma_(i=1)^(n)(frac(parcial a)(parcial y_i))^2 S_(y_i)^2 + soma_(i=1)^(n)(frac(parcial a )(x_i parcial))^2 S_(x_i)^2 = S_y^2 soma_(i=1)^(n)(frac(a parcial)(y_i parcial))^2 `,
`S_b^2 = soma_(i=1)^(n)(frac(parcial b)(parcial y_i))^2 S_(y_i)^2 + soma_(i=1)^(n)(frac(parcial b )(x_i parcial))^2 S_(x_i)^2 = S_y^2 soma_(i=1)^(n)(frac(b parcial)(y_i parcial))^2 `,
Porque `S_(x_i)^2 = 0` (nós anteriormente fizemos uma reserva de que o erro de `x` é insignificante).

`S_y^2 = S_(y_i)^2` - o erro (variância, desvio padrão quadrado) na dimensão `y`, assumindo que o erro é uniforme para todos os valores `y`.

Substituindo as fórmulas para calcular `a` e `b` nas expressões resultantes, obtemos

`S_a^2 = S_y^2 frac(soma_(i=1)^(n) (soma_(i=1)^(n) x_i^2 - x_i soma_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n soma_(i=1)^(n) x_i^2 - (soma_(i=1)^(n) x_i)^2) soma_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(soma_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(soma_(i=1)^(n) (n x_i - soma_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n soma_(i=1)^(n) x_i^2 - (soma_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

Na maioria dos experimentos reais, o valor de `Sy` não é medido. Para isso, é necessário realizar várias medições paralelas (experimentos) em um ou vários pontos do plano, o que aumenta o tempo (e possivelmente o custo) do experimento. Portanto, geralmente assume-se que o desvio de `y` da linha de regressão pode ser considerado aleatório. A estimativa de variância `y` neste caso é calculada pela fórmula.

`S_y^2 = S_(y, resto)^2 = frac(soma_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

O divisor `n-2` aparece porque reduzimos o número de graus de liberdade devido ao cálculo de dois coeficientes para a mesma amostra de dados experimentais.

Essa estimativa também é chamada de variância residual relativa à linha de regressão `S_(y, rest)^2`.

A avaliação da significância dos coeficientes é realizada de acordo com o critério do Aluno

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Se os critérios calculados `t_a`, `t_b` forem menores que os critérios da tabela `t(P, n-2)`, então considera-se que o coeficiente correspondente não é significativamente diferente de zero com uma dada probabilidade `P`.

Para avaliar a qualidade da descrição de uma relação linear, você pode comparar `S_(y, rest)^2` e `S_(bar y)` em relação à média usando o critério de Fisher.

`S_(bar y) = frac(soma_(i=1)^n (y_i - barra y)^2) (n-1) = frac(soma_(i=1)^n (y_i - (soma_(i=) 1)^n y_i) /n)^2) (n-1)` - estimativa amostral da variância de `y` em relação à média.

Para avaliar a eficácia da equação de regressão para descrever a dependência, o coeficiente de Fisher é calculado
`F = S_(bar y) / S_(y, rest)^2`,
que é comparado com o coeficiente tabular de Fisher `F(p, n-1, n-2)`.

Se `F > F(P, n-1, n-2)`, a diferença entre a descrição da dependência `y = f(x)` usando a equação de regressão e a descrição usando a média é considerada estatisticamente significativa com probabilidade `P`. Aqueles. a regressão descreve a dependência melhor do que a dispersão de `y` em torno da média.

Clique no gráfico
para adicionar valores à tabela

Método dos mínimos quadrados. O método dos mínimos quadrados significa a determinação de parâmetros desconhecidos a, b, c, a dependência funcional aceita

O método dos mínimos quadrados significa a determinação de parâmetros desconhecidos a, b, c,… dependência funcional aceita

y = f(x,a,b,c,…),

que forneceria um mínimo do quadrado médio (variância) do erro

, (24)

onde x i , y i - conjunto de pares de números obtidos do experimento.

Como a condição para o extremo de uma função de várias variáveis é a condição de que suas derivadas parciais sejam iguais a zero, então os parâmetros a, b, c,… são determinados a partir do sistema de equações:

; ; ; … (25)

Deve ser lembrado que o método dos mínimos quadrados é usado para selecionar parâmetros após a forma da função y = f(x) definiram.

Se a partir de considerações teóricas é impossível tirar qualquer conclusão sobre qual deve ser a fórmula empírica, então deve-se guiar por representações visuais, principalmente uma representação gráfica dos dados observados.

Na prática, na maioria das vezes limitado aos seguintes tipos de funções:

1) linear ;