Legkisebb négyzetek módszere

A Wikipédiából, a szabad enciklopédiából
A kék vonallal jelzett függvényt úgy kell megválasztani, hogy a piros mérési pontokhoz a lehető legjobban illeszkedjen

A legkisebb négyzetek módszere a mérések matematikai feldolgozásában használt eljárás. Nevét arról kapta, hogy az eltérések négyzetösszegét igyekszik minimalizálni.

A Gauss által kidolgozott módszer két legfontosabb alkalmazása:

1 – ismert leképezéssel adott függvény egyszerűbb kifejezéssel való közelítése, approximációja,
2 – empirikus formulák együtthatóinak (paramétereinek) meghatározása.

Függvény-approximáció[szerkesztés | forrásszöveg szerkesztése]

Az 1. esetben legtöbbször polinomot választanak közelítésnek, vagy a modellnek jobban megfelelő (például periodikus) elemi függvények lineáris kombinációját:

y \approx a\cdot u(x) + b\cdot v(x)+c\cdot w(x) +\dots

Általánosan: az y=F(U) függvényt az U független változó egy M tartományán olyan \hat y=f(U) függvénnyel kell közelíteni, amelynél a

Q=\int_M(y-\hat y)^2 dU =\int_M(F(U)-f(U))^2 dU

kumulált (összegezett) kvadratikus hiba minimális.

Példa[szerkesztés | forrásszöveg szerkesztése]

Az egyváltozós y=F(U) = \cos (\frac{\pi x}{2}) függvényhez a (-1;1) intervallumban keresünk közelítő \hat y = ax^2 +b másodfokú polinomot. A feladat az a,b együtthatók meghatározása. A kvadratikus hiba integrálja:

Q=\int_{-1}^{1}(y-\hat y)^2=\int_{-1}^{1} (\cos (\frac{\pi x}{2}) - ax^2-b)^2 dx.

A parciális deriváltak zérushelyeit megadó egyenletek:

\begin{cases}
\frac{\partial Q}{\partial a}=2a\int_{-1}^{1}x^4\,dx+2b\int_{-1}^{1}x^2dx-2\int_{-1}^{1} x^2\cos(\frac{\pi x}{2})\, dx \\
\frac{\partial Q}{\partial b}=2a\int_{-1}^{1}x^2dx+2b\int_{-1}^{1}\,dx-2\int_{-1}^{1}\cos(\frac{\pi x}{2}) dx
\end{cases}

A kétismeretlenes lineáris egyenletrendszer együtthatóiként kapott határozott integrálokat a szükséges pontossággal kiszámítva és behelyettesítve a gyököket meghatározhatjuk. Ezzel a közelítő formula:

\cos (\frac{\pi x}{2}) \approx - 0,418 x^2 + 0,98 .

Ebből az \hat x=\frac{2x}{\pi} transzformációval a \cos\hat x \approx - 1,68\hat x^2+0,98 közelítő egyenletet kapjuk.

Empirikus formulák[szerkesztés | forrásszöveg szerkesztése]

A 2. esetben a vizsgált fizikai, gazdasági, statisztikai stb. jelenség természete által meghatározott típusú függvényt kell a kísérlettel, megfigyeléssel nyert adatokhoz illeszteni. Ez utóbbi feladatban a mérések száma adott, míg az előbbinél a kutató döntésére van bízva, hogy milyen pontosságú közelítést akar alkalmazni. A két eset a gyakorlatban azonosan is modellezhető, ha az 1. esetben az eredeti függvény y=F(U) explicit képletéből kiszámított (U_i, y_i)\;i=1,2,3,\dots\qquad adatokat - ahol  U_i=x_{i,1}, x_{i,2},\ x_{i,n}\dots\qquad - tekintjük mérési eredményeknek.

Általánosan: A kísérletből vagy számítással kapott (U_i, y_i)\;i=1,2,3,\dots\,m\qquad adatokhoz olyan \hat y =f(U) függvényt kell illeszteni, amelynek a \hat y_i = f(U_i) helyettesítési értékeire a

Q = \sum_{i=1}^n (y_i-\hat y_i)^2 .

kumulált kvadratikus hiba minimális.

A Q hibaösszeg a közelítő f(U) függvény a,b,c,\dots\quad együtthatóitól (paramétereitől) függ. Minimális csak akkor lehet, ha minden paraméter szerinti (parciális) deriváltja zérus:

\frac{\partial Q}{\partial a}=0 , \frac{\partial Q}{\partial b}=0 , \frac{\partial Q}{\partial c}=0,\dots.

Példa[szerkesztés | forrásszöveg szerkesztése]

A hipotetikus t\mapsto y leképezéssel modellezhető összefüggést leíró y=f(t) függvényt \hat y= mx+b elsőfokú polinommal közelítjük (regressziós egyenes). A (1;0), (2;1), (3;3), (4;5) értékpárokkal adott mérési pontokban számított négyzetes hibák összege ekkor:

Q=\sum_i^{}(mt_i+b-y_i)^2=0

A parciális deriváltak:

\begin{cases}
\frac{1}{2}\frac{\partial Q}{\partial m}=\sum_i(mt_i+b-y_i)t_i=m\sum t_i^2+b\sum t_i-\sum t_i y_i=0\\
\frac{1}{2}\frac{\partial Q}{\partial b}=\sum_i (mt_i+b-y_i) = m\sum t_i + 4b- \sum y_i=0
\end{cases}

Az egyenletek megoldásával a kapcsolatot leíró empirikus formula:

y(t) \approx 1,7t-2

Mellékfeltételek[szerkesztés | forrásszöveg szerkesztése]

Gyakran további információk ismertek a paraméterekről, amik egyenletekkel vagy egyenlőtlenségekkel fejezhetők ki. Egyenletek abból adódhatnak, hogy bizonyos adatpontokat interpolálni kell. Az egyenlőtlenségek gyakoribbak, és leginkább egy intervallumot adnak meg valamely paraméter lehetséges értékeire.

Az egyenleteket felhasználva a probléma dimenziója csökkenthető, ezzel a feladat egy alacsonyabb dimenziós feladatra vezethető vissza, aminek megoldása automatikusan megoldása az eredeti feladatnak is, és a mellékfeltételeket is teljesíti. Az egyenlőtlenségek kezelése nehezebb.

A feladatot az egyenlőtlenségek által behatárolt konvex halmazon kell megoldani. A minimalizálandó négyzetösszeg alakja

\min_x \|Ax-b\|_2

ahol l \leq Cx\leq u, C \in \mathbb{R}^{n\times n}. Ez éppen egy konvex optimalizálással egyértelműen megoldható feladat.

Az integrálegyenletekből keletkező kvadratikus egyenlőtlenségek esetén nem biztos, hogy a legjobb közelítés egyértelmű. A numerikus megoldás speciális QR-felbontással számítható.

Követelmények az adatokkal szemben[szerkesztés | forrásszöveg szerkesztése]

A legkisebb négyzetek módszere esetén az adatoktól elvárjuk, hogy megfeleljenek bizonyos tulajdonságoknak, illetve éppen ellenkezőleg, hogy bizonyos tulajdonságok ne lépjenek fel. Ilyen nemkívánatos tulajdonságok a kívülálló adatok, és a multikollinearitás.

A módszer érzékeny a nagyon kilógó adatokra. Egy kilógó adat az egész eljárás eredményét megváltoztathatja, hamis képet adva az adatsorról. Különböző statisztikai tesztekkel szűrik az adatsort, hogy ne maradjanak benne mérési hibák. A kilógó adatokat elhagyják, vagy a kívülállókra kevésbé érzékeny módszerekkel alternatív becsléseket végeznek. ilyen például a súlyozott regresszió, amiben a kívülálló adatok súlyát, és ezzel befolyását is csökkentik.

Több független változó esetén a multikollinearitás azt jelenti, hogy két független változó erősen korrelál, ezért közel állnak a lineáris összefüggéshez. Ez azért baj, mert így a feladat rosszul kondicionálttá válik, ami azt jelenti, hogy érzékeny lesz a mérési hibákra; kis hibák is nagyon eltérő eredményhez vezetnek.

Általánosítása[szerkesztés | forrásszöveg szerkesztése]

A követelmények fellazításával az általánosított legkisebb négyzetek feladatához jutunk. A fontos speciális eseteknek nevük is van, például súlyozott legkisebb négyzetek módszere. Itt az eltérésekről csak a korrelálatlanságot követelik meg, az azonos szórást nem. Ezek a

\|D(Ax-b)\|_2,

alakú normálegyenlethez vezetnek, ahol D diagonális mátrix. Ha a szórások nagyban ingadoznak, akkor a feladat rosszul kondicionált lesz.

Ha még azt is tekintetbe vesszük, hogy a módszer és a mérések is hibával terheltek, akkor egy újabb változathoz jutunk. Ennek alakja:

\min_{E, r}\|(E, r)\|_F, (A+E)x = b+r,

ahol E jelöli a modell, és r az adatok hibáit.

Lehet olyan modellt is alkotni, amiben nem teszünk fel normális eloszlást. Ekkor nem euklideszi, hanem például 1-es normában kell minimalizálni.

Története[szerkesztés | forrásszöveg szerkesztése]

1801. január 1-jén újévkor Giuseppe Piazzi olasz csillagász felfedezte a Ceres törpebolygót. 40 napon át figyelte a pályáját, amíg a Ceres el nem tűnt a Nap mögött. Az év során több tudós próbálkozott azzal, hogy Piazzi megfigyelései alapján becslést adjon a törpebolygó pályájára, a legtöbb számítás azonban használhatatlan volt. Egyedül az akkor huszonnégy éves Gauss számítása volt elég pontos ahhoz, hogy annak alapján decemberben Franz Xaver von Zach ismét ráleljen a Ceresre. Gauss híressé vált eljárását, a legkisebb négyzetek módszerét 1809-ben adta ki a Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium című művének második kötetében.

Tőle függetlenül 1806-ban a francia Legendre is közzétette ugyanezt a módszert az üstökösök pályájáról szóló munkájának a végén. Tőle származik a méthode des moindres carré (legkisebb négyzetek módszere) elnevezés.

1829-ben Gauss megadta a módszer valószínűségelméleti megalapozását is: bebizonyította, hogy tágabb értelemben a módszer optimális. Ezt a bizonyítást nevezik Gauss–Markov-tételnek.

A módszer alkalmazásában jelentős előrelépést jelentett az általánosított inverzek elterjedése, amelyek ilyen célú felhasználása elsősorban C. R. Rao nevéhez fűződik.

A legkisebb négyzetek módszerének magyarországi geodéziai alkalmazásához Bodola és Hazay könyvei járultak hozzá legjobban.

Források[szerkesztés | forrásszöveg szerkesztése]

  • Bevezetés a geodéziai hibaelméletbe
  • Åke Björck: Numerical Methods for Least Squares Problems. SIAM, Philadelphia 1996, ISBN 0-89871-360-9.
  • Walter Großmann: Grundzüge der Ausgleichsrechnung. Springer Verlag, Berlin Heidelberg New York 1969 (3. erw. Aufl.), ISBN 3-540-04495-7.
  • Richard J. Hanson, Charles L. Lawson: Solving least squares problems. SIAM, Philadelphia 1995, ISBN 0-89871-356-0.
  • Frederick Mosteller, John W. Tukey: Data Analysis and Regression – a second course in statistics. Addison-Wesley, Reading MA 1977, ISBN 0-201-04854-X.
  • Gerhard Opfer: Numerische Mathematik für Anfänger. Eine Einführung für Mathematiker, Ingenieure und Informatiker. Vieweg, Braunschweig 2002 (4. Aufl.), ISBN 3-528-37265-6.
  • Peter Schönfeld: Methoden der Ökonometrie. 2 Bd. Vahlen, Berlin-Frankfurt 1969–1971.
  • Eberhard Zeidler (Hrsg.): Taschenbuch der Mathematik. Begründet v. I.N. Bronstein, K.A. Semendjajew. Teubner, Stuttgart-Leipzig-Wiesbaden 2003, ISBN 3-8171-2005-2.
  • T. Strutz: Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond). Vieweg+Teubner, ISBN 978-3-8348-1022-9.

Fordítás[szerkesztés | forrásszöveg szerkesztése]

Ez a szócikk részben vagy egészben a Methode der kleinsten Quadrate című német Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel.