Enunciado

Mínimos quadrados e retas de regressão Quando tentamos ajustar uma reta y = mx + b a um conjunto de pontos de

dados numéricos (x1, y1), (x2, y2), ..., (xn, yn) (Figura 14.48),

geralmente escolhemos a reta que minimiza a soma dos quadrados das distâncias verticais a partir dos pontos até a reta. Em teoria, isso significa encontrar os valores de m e b que minimizam o valor da função

w = m x 1 + b - y 1 2 + ⋯ + m x n + b - y n 2 .

Mostre que os valores de m e b que fazem isso são

m = ∑   x k ∑   y k - n ∑   x k y k ∑   x k 2 - n ∑   x k 2 , b = 1 n ∑   y k - m ∑   x k ,

com todas as somas variando de k = 1 a k = n . Muitas calculadoras científicas têm incluidas essas fórmulas, permitindo que encontremos m e b com apenas alguns comandos depois de inseridos os dados.

A reta y = m x + b determinada por esses valores de m e b é denominada reta de mínimos quadrados, reta de regressão

ou reta de tendência para os dados em estudo. Encontrar a

reta de mínimos quadrados permite

1. resumir os dados com uma expressão simples;

2. prever valores de y para outros valores de x ainda não testados

experimentalmente;

3. manipular dados analiticamente.

Passo 1

Saaaalve, tranquilo? Vamos lá resolver mais uma questão juntos?! 😊

Neste exercício, é exposto um contexto sobre o método dos mínimos quadrados e regressão linear. Diante disso, precisamos mostrar as equações (2) e (3) do enunciado.Acompanhe!

Passo 2

Veja que, para minimizar a função w = m x 1 + b - y 1 2 + m x 2 + b - y 2 2 + ⋯ + m x n + b - y n 2 , começaremos encontrando as derivadas parciais para essa função:

∂ w ∂ m = 2 m x 1 + b - y 1 x 1 + 2 m x 2 + b - y 2 x 2 + ⋯ + 2 m x n + b - y n x n ∂ w ∂ b = 2 m x 1 + b - y 1 ( 1 ) + 2 m x 2 + b - y 2 ( 1 ) + ⋯ + 2 m x n + b - y n ( 1 )

Passo 3

Faremos agora ∂ w ∂ m = 0 :

2 m x 1 + b - y 1 x 1 + 2 m x 2 + b - y 2 x 2 + ⋯ + 2 m x n + b - y n x n = 0 m x 1 2 + b x 1 - x 1 y 1 + m x 2 2 + b x 2 - x 2 y 2 + ⋯ + m x n 2 + b x n - x n y n = 0 m x 1 2 + x 2 2 + ⋯ + x n 2 + b x 1 + x 2 + ⋯ + x n - x 1 y 1 + x 2 y 2 + ⋯ + x n y n = 0

Temos, então, como resultado o seguinte somatório:

m ∑ k = 1 n   x k 2 + b ∑ k = 1 n   x k - ∑ k = 1 n   x k y k = 0

Passo 4

Faremos agora ∂ w ∂ b = 0 :

2 m x 1 + b - y 1 + m x 2 + b - y 2 + ⋯ + m x n + b - y n = 0 m x 1 + b - y 1 + m x 2 + b - y 2 + ⋯ + m x n + b - y n = 0 m x 1 + x 2 + ⋯ + x n + ( b + b + ⋯ + b ) - y 1 + y 2 + ⋯ + y n = 0

Resultando no seguinte somatório:

m ∑ k = 1 n     x k + b ∑ k = 1 n     1 - ∑ k = 1 n     y k = 0 m ∑ k = 1 n     x k + b n - ∑ k = 1 n     y k = 0

Passo 5

Isolando a variável b :

b = 1 n ∑ k = 1 n     y k - m ∑ k = 1 n     x k

Substituindo a variável b em ∂ w ∂ m :

m ∑ k = 1 n   x k 2 + 1 n ∑ k = 1 n     y k - m ∑ k = 1 n     x k ∑ k = 1 n   x k - ∑ k = 1 n   x k y k = 0

E multiplicando ambos lados por n :

m n ∑ k = 1 n     x k 2 + ∑ k = 1 n     y k - m ∑ k = 1 n     x k ∑ k = 1 n     x k - n ∑ k = 1 n     x k y k = 0 m n ∑ k = 1 n     x k 2 + ∑ k = 1 n     x k ∑ k = 1 n     y k - m ∑ k = 1 n     x k 2 - n ∑ k = 1 n     x k y k = 0 m n ∑ k = 1 n     x k 2 - m ∑ k = 1 n     x k 2 = n ∑ k = 1 n     x k y k - ∑ k = 1 n     x k ∑ k = 1 n     y k m ∑ k = 1 n     x k 2 - ∑ k = 1 n     x k 2 ∣ = n ∑ k = 1 n     x k y k - ∑ k = 1 n     x k ∑ k = 1 n     y k

Passo 6

Chegamos à conclusão que:

m = n ∑ k = 1 n     x k y k - ∑ k = 1 n     x k ∑ k = 1 n     y k n ∑ k = 1 n     x k 2 - ∑ k = 1 n     x k 2 m = ∑ k = 1 n     x k ∑ k = 1 n     y k - n ∑ k = 1 n     x k y k ∑ k = 1 n     x k 2 - n ∑ k = 1 n     x k 2

Para provarmos que esse é o valor mínimo, aplicaremos o teste da segunda derivada:

∂ 2 w ∂ m 2 = 2 x 1 2 + 2 x 2 2 + ⋯ + 2 x n 2 = 2 ∑ k = 1 n     x k 2 ∂ 2 w ∂ m ∂ b = 2 x 1 + 2 x 2 + ⋯ + 2 x n = 2 ∑ k = 1 n     x k ∂ 2 w ∂ b 2 = 2 + 2 + ⋯ + 2 = 2 n

O discriminante é:

∂ 2 w ∂ m 2 ∂ 2 w ∂ b 2 - ∂ 2 w ∂ m ∂ b 2 = 2 ∑ k = 1 n     x k 2 ( 2 n ) - 2 ∑ k = 1 n     x k 2 = 4 n ∑ k = 1 n     x k 2 - ∑ k = 1 n     x k 2 ∣

Passo 7

Desenvolvendo n ∑ k = 1 n   x k 2 - ∑ k = 1 n   x k 2 , temos:

n ∑ k = 1 n     x k 2 - ∑ k = 1 n     x i 2 = n x 1 2 + x 2 2 + ⋯ + x n 2 - x 1 + x 2 + ⋯ + x n x 1 + x 2 + ⋯ + x n   = n x 1 2 + n x 2 2 + ⋯ + n x n 2 - x 1 2 - x 1 x 2 - ⋯ - x 1 x n - x 2 x 1 - x 2 2 - ⋯ - x 2 x n - x n x 1 - x n x 2 - ⋯ - x n 2   = ( n - 1 ) x 1 2 + ( n - 1 ) x 2 2 + ⋯ + ( n - 1 ) x n 2 - 2 x 1 x 2 - 2 x 1 x 3 - ⋯ - 2 x 1 x n - 2 x 2 x 3 - ⋯ - 2 x 2 x n - ⋯ - 2 x n - 1 x n   = x 1 2 - 2 x 1 x 2 + x 2 2 + x 1 2 - 2 x 1 x 3 + x 3 2 + ⋯ + x 1 2 - 2 x 1 x n + x n 2 + x 2 2 - 2 x 2 x 3 + x 3 2 + ⋯ + x 2 2 - 2 x 2 x n + x n 2   + ⋯ + x n - 1 2 - 2 x n - 1 x n + x n 2   = x 1 - x 2 2 + x 1 - x 3 2 + ⋯ + x 1 - x n 2 + x 2 - x 3 2 + ⋯ + x 2 - x n 2 + ⋯ + x n - 1 - x n 2 ≥ 0

Portanto, essa diferença de somatórios é positiva ou zero.

Assim, chegamos à conclusão que:

∂ 2 w ∂ m 2 ∂ 2 w ∂ b 2 - ∂ 2 w ∂ m ∂ b 2 = 4 n ∑ k = 1 n     x k 2 - ∑ k = 1 n     x i 2 ≥ 4 ( 0 ) = 0

Se x 1 = x 2 = ⋯ = x n , então

∂ 2 w ∂ m 2 ∂ 2 w ∂ b 2 - ∂ 2 w ∂ m ∂ b 2 = 0

Além disso:

∂ 2 w ∂ m 2 = 2 ∑ k = 1 n   x k 2 ≥ 0

Se x 1 = x 2 = ⋯ = x n = 0 então ∂ 2 w ∂ m 2 = 0 .

Passo 8

Como pelo menos um x i não é zero e diferente dos outros x j , então:

∂ 2 w ∂ m 2 ∂ 2 w ∂ b 2 - ∂ 2 w ∂ m ∂ b 2 > 0 ∂ 2 w ∂ m 2 > 0

Ou seja, temos um valor mínimo.

Resposta

Assim, está provado que os valores encontrados de m e v minimizam a função w .

Exercícios de Livros Relacionados

Determinar três números positivos cujo produto seja 100 e cuja soma seja mínima.
Determine, pelo método dos mínimos quadrados, a reta que melhor se ajusta aos dados:(0,1), (1, 2), (2, 3) e (2, 4).
Determine, pelo método dos mínimos quadrados, a reta que melhor se ajusta aos dados:(1, 2), (0, 0) e (2, 3).
Uma firma de embalagem necessita fabricar caixas retangulares de 64 cm³ de volume. Se o material da parte lateral custa a metade do material a ser usado para a tampa e para o fundo da caixa, determina
Nos Exercícios 66-68, utilize as Equações 2 e 3 para encontrar a retade mínimos quadrados para cada conjunto de pontos de dados. Emseguida, utilize a equação linear obtida para prever o valor de y que