Kleinste-kwadratenmethode

De kleinste-kwadratenmethode is een rekenmethode om bij een gegeven verzameling punten in het xy-vlak uit een verzameling krommen de best passende te bepalen. De kleinste-kwadratenmethode benadert daarbij het verband tussen een onafhankelijke variabele en de daarbij horende afhankelijke variabele. De meest gebruikte kromme in de kleinste-kwadratenmethode is een lijn. De naam van de methode komt van het daarbij gehanteerde criterium voor best passen, waarbij de mate van passen wordt bepaald door het totaal van de kwadratische afwijkingen te nemen, meestal in verticale zin, ten opzichte van de kromme of lijn.

De methode werd onafhankelijk van elkaar ontwikkeld door Carl Friedrich Gauss en Adrien-Marie Legendre. Gauss gebruikte in 1801 de kleinste-kwadratenmethode om de baan van de pas ontdekte dwergplaneet Ceres te schatten. Hij voorspelde nauwkeurig waar en wanneer Ceres weer zou verschijnen.

Het is eventueel mogelijk meer onafhankelijke variabelen te nemen, maar er is altijd de afhankelijke variabele. De kleinste-kwadratenmethode vindt onder meer toepassing bij lineaire regressie, waarbij in dat geval de lijn door de gegeven verzameling punten wordt berekend met de minste totale kwadratische afwijking ten opzichte van de punten uit die verzameling. Een vergelijkbare rekenmethode waarbij alle waarden niet vooraf bekend hoeven te zijn is het kalman-filter.

De kleinste-kwadratenmethode in de meest gebruikte vorm is een methode om bij een gegeven verzameling punten die in het xy-vlak worden verondersteld op een lijn te liggen, de best passende lijn te berekenen. Het best passen betekent dat het totaal van de gekwadrateerde afwijkingen in verticale zin van de punten ten opzichte van de lijn zo klein mogelijk is.

De ${\displaystyle x_{i}}$ zijn in het model de onafhankelijke variabelen en de ${\displaystyle y_{i}}$ de daarbij horende afhankelijke variabelen. Het ${\displaystyle i}$-de meetpunt is ${\displaystyle (x_{i},y_{i})}$ en de gezochte lijn is:

${\displaystyle y=a+bx}$

De afwijking ${\displaystyle d_{i}}$ voor ${\displaystyle (x_{i},y_{i})}$ wordt gegeven door:

${\displaystyle d_{i}=y_{i}-(a+bx_{i})}$

De som van de kwadraten van alle afwijkingen is

${\displaystyle \sum _{i=1}^{n}\ {d_{i}^{2}}\ =\ \sum _{i=1}^{n}\ (y_{i}-(a+bx_{i}))^{2}}$

Het komt er nu op neer bij de gegeven punten de parameters ${\displaystyle a}$ en ${\displaystyle b}$ zo te bepalen dat de bovenstaande som minimaal is. Dit voert tot de 'normaalvergelijkingen' voor ${\displaystyle a}$ en ${\displaystyle b}$:

${\displaystyle {\begin{array}{lccclcl}a&n&+&b&\sum x&=&\sum y\\a&\sum x&+&b&\sum x^{2}&=&\sum xy\end{array}}}$

met als oplossingen

${\displaystyle b\ =\ {\frac {\ n\sum xy\ -\ \sum x\sum y\ }{\ n\sum x^{2}\ -\ \sum x\sum x\ }}}$

en

${\displaystyle a\ =\ {\frac {1}{n}}\ \sum y\ -\ {\frac {1}{n}}\ b\ \sum x\ =\ {\bar {y}}-b{\bar {x}}}$

De kleinste-kwadratenmethode is een methode om een model te passen aan een aantal meetwaarden. De parameters van het model waarvoor geldt dat de kwadraten van de afwijkingen van de meetwaarden ten opzichte van het model minimaal zijn, worden gezocht.

In het algemene geval worden de ${\displaystyle n}$ waarnemingsparen ${\displaystyle (x_{i},y_{i})}$ geacht te voldoen aan:

${\displaystyle y_{i}=f(x_{1},\ldots ,x_{n},b_{1},\ldots ,b_{m})+u_{i}}$

waarin ${\displaystyle f}$ een functie uit een bekende verzameling van functies is, die door de ${\displaystyle m}$ parameters ${\displaystyle b_{1},\ldots ,b_{m}}$ worden geparametriseerd, en ${\displaystyle u_{i}}$ een storingsterm is. De optimale waarden van de parameters ${\displaystyle b_{i}}$ worden bepaald door het kleinste-kwadratencriterium, dus zo dat de som van de kwadratische afwijkingen

${\displaystyle S=\sum _{i=1}^{n}\left(\ y_{i}-f(x_{1},\ldots ,x_{n},b_{1},\ldots ,b_{m})\ \right)^{2}}$

minimaal is.

Als de kromme die als het model wordt genomen geen lijn is, maar een andere functie, of als er een correlatie tussen de parameters is, kan door een iteratieve procedure toch vaak een goed model worden gevonden. Hiervoor moet een aantal keer een berekening worden gemaakt waarbij de lokale afgeleide van de modelfunctie wordt gebruikt. Daarvoor moet wel van tevoren bekend zijn waar de uitkomst ongeveer ligt, anders volgt een verkeerd of suboptimaal minimum.

Als een stelsel lineaire vergelijkingen afhankelijk is, dus er meer onafhankelijke vergelijkingen zijn dan variabelen, kan met de kleinste-kwadratenmethode de best passende oplossing worden berekend.

In het overbepaalde stelsel lineaire vergelijkingen

${\displaystyle \mathbf {Ax} =\mathbf {b} }$

is de matrix ${\displaystyle \mathbf {A} }$ van dimensies ${\displaystyle (n+k)\times n}$, met ${\displaystyle k\geq 1}$, en is de rijenrang van de uitgebreide matrix ${\displaystyle [\mathbf {A} |\mathbf {b} ]}$ groter dan ${\displaystyle n}$. Het stelsel is dus niet oplosbaar, maar de beste benadering in de zin van kleinste kwadraten voldoet aan:

${\displaystyle \|\mathbf {Ax} -\mathbf {b} \|}$ minimaal.

De kleinste-kwadratenoplossing is:

${\displaystyle \mathbf {x} =(\mathbf {A} ^{\top }\mathbf {A} )^{-1}\mathbf {A} ^{\top }\mathbf {b} }$