Legkisebb négyzetek módszere

A Wikipédiából, a szabad enciklopédiából
A kék vonallal jelzett függvényt úgy kell megválasztani, hogy a piros mérési pontokhoz a lehető legjobban illeszkedjen

A legkisebb négyzetek módszere a mérések matematikai feldolgozásában használt eljárás. Nevét arról kapta, hogy az eltérések négyzetösszegét igyekszik minimalizálni.

A Gauss által kidolgozott módszer két legfontosabb alkalmazása:

1 – ismert leképezéssel adott függvény egyszerűbb kifejezéssel való közelítése, approximációja,
2 – empirikus formulák együtthatóinak (paramétereinek) meghatározása.

Függvény-approximáció[szerkesztés]

Az 1. esetben legtöbbször polinomot választanak közelítésnek, vagy a modellnek jobban megfelelő (például periodikus) elemi függvények lineáris kombinációját:

Általánosan: az függvényt az független változó egy tartományán olyan függvénnyel kell közelíteni, amelynél a

kumulált (összegezett) kvadratikus hiba minimális.

Példa[szerkesztés]

Az egyváltozós függvényhez a (-1;1) intervallumban keresünk közelítő másodfokú polinomot. A feladat az együtthatók meghatározása. A kvadratikus hiba integrálja:

.

A parciális deriváltak zérushelyeit megadó egyenletek:

A kétismeretlenes lineáris egyenletrendszer együtthatóiként kapott határozott integrálokat a szükséges pontossággal kiszámítva és behelyettesítve a gyököket meghatározhatjuk. Ezzel a közelítő formula:

.

Ebből az transzformációval a közelítő egyenletet kapjuk.

Empirikus formulák[szerkesztés]

A 2. esetben a vizsgált fizikai, gazdasági, statisztikai stb. jelenség természete által meghatározott típusú függvényt kell a kísérlettel, megfigyeléssel nyert adatokhoz illeszteni. Ez utóbbi feladatban a mérések száma adott, míg az előbbinél a kutató döntésére van bízva, hogy milyen pontosságú közelítést akar alkalmazni. A két eset a gyakorlatban azonosan is modellezhető, ha az 1. esetben az eredeti függvény explicit képletéből kiszámított adatokat - ahol - tekintjük mérési eredményeknek.

Általánosan: A kísérletből vagy számítással kapott adatokhoz olyan függvényt kell illeszteni, amelynek a helyettesítési értékeire a

.

kumulált kvadratikus hiba minimális.

A hibaösszeg a közelítő függvény együtthatóitól (paramétereitől) függ. Minimális csak akkor lehet, ha minden paraméter szerinti (parciális) deriváltja zérus:

.

Példa[szerkesztés]

A hipotetikus leképezéssel modellezhető összefüggést leíró függvényt elsőfokú polinommal közelítjük (regressziós egyenes). A ( értékpárokkal adott mérési pontokban számított négyzetes hibák összege ekkor:

A parciális deriváltak:

Az egyenletek megoldásával a kapcsolatot leíró empirikus formula:

Mellékfeltételek[szerkesztés]

Gyakran további információk ismertek a paraméterekről, amik egyenletekkel vagy egyenlőtlenségekkel fejezhetők ki. Egyenletek abból adódhatnak, hogy bizonyos adatpontokat interpolálni kell. Az egyenlőtlenségek gyakoribbak, és leginkább egy intervallumot adnak meg valamely paraméter lehetséges értékeire.

Az egyenleteket felhasználva a probléma dimenziója csökkenthető, ezzel a feladat egy alacsonyabb dimenziós feladatra vezethető vissza, aminek megoldása automatikusan megoldása az eredeti feladatnak is, és a mellékfeltételeket is teljesíti. Az egyenlőtlenségek kezelése nehezebb.

A feladatot az egyenlőtlenségek által behatárolt konvex halmazon kell megoldani. A minimalizálandó négyzetösszeg alakja

ahol , Ez éppen egy konvex optimalizálással egyértelműen megoldható feladat.

Az integrálegyenletekből keletkező kvadratikus egyenlőtlenségek esetén nem biztos, hogy a legjobb közelítés egyértelmű. A numerikus megoldás speciális QR-felbontással számítható.

Követelmények az adatokkal szemben[szerkesztés]

A legkisebb négyzetek módszere esetén az adatoktól elvárjuk, hogy megfeleljenek bizonyos tulajdonságoknak, illetve éppen ellenkezőleg, hogy bizonyos tulajdonságok ne lépjenek fel. Ilyen nemkívánatos tulajdonságok a kívülálló adatok, és a multikollinearitás.

A módszer érzékeny a nagyon kilógó adatokra. Egy kilógó adat az egész eljárás eredményét megváltoztathatja, hamis képet adva az adatsorról. Különböző statisztikai tesztekkel szűrik az adatsort, hogy ne maradjanak benne mérési hibák. A kilógó adatokat elhagyják, vagy a kívülállókra kevésbé érzékeny módszerekkel alternatív becsléseket végeznek. ilyen például a súlyozott regresszió, amiben a kívülálló adatok súlyát, és ezzel befolyását is csökkentik.

Több független változó esetén a multikollinearitás azt jelenti, hogy két független változó erősen korrelál, ezért közel állnak a lineáris összefüggéshez. Ez azért baj, mert így a feladat rosszul kondicionálttá válik, ami azt jelenti, hogy érzékeny lesz a mérési hibákra; kis hibák is nagyon eltérő eredményhez vezetnek.

Általánosítása[szerkesztés]

A követelmények fellazításával az általánosított legkisebb négyzetek feladatához jutunk. A fontos speciális eseteknek nevük is van, például súlyozott legkisebb négyzetek módszere. Itt az eltérésekről csak a korrelálatlanságot követelik meg, az azonos szórást nem. Ezek a

alakú normálegyenlethez vezetnek, ahol D diagonális mátrix. Ha a szórások nagyban ingadoznak, akkor a feladat rosszul kondicionált lesz.

Ha még azt is tekintetbe vesszük, hogy a módszer és a mérések is hibával terheltek, akkor egy újabb változathoz jutunk. Ennek alakja:

ahol E jelöli a modell, és r az adatok hibáit.

Lehet olyan modellt is alkotni, amiben nem teszünk fel normális eloszlást. Ekkor nem euklideszi, hanem például 1-es normában kell minimalizálni.

Története[szerkesztés]

1801. január 1-jén újévkor Giuseppe Piazzi olasz csillagász felfedezte a Ceres törpebolygót. 40 napon át figyelte a pályáját, amíg a Ceres el nem tűnt a Nap mögött. Az év során több tudós próbálkozott azzal, hogy Piazzi megfigyelései alapján becslést adjon a törpebolygó pályájára, a legtöbb számítás azonban használhatatlan volt. Egyedül az akkor huszonnégy éves Gauss számítása volt elég pontos ahhoz, hogy annak alapján decemberben Franz Xaver von Zach ismét ráleljen a Ceresre. Gauss híressé vált eljárását, a legkisebb négyzetek módszerét 1809-ben adta ki a Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium című művének második kötetében.

Tőle függetlenül 1806-ban a francia Legendre is közzétette ugyanezt a módszert az üstökösök pályájáról szóló munkájának a végén. Tőle származik a méthode des moindres carré (legkisebb négyzetek módszere) elnevezés.

1829-ben Gauss megadta a módszer valószínűségelméleti megalapozását is: bebizonyította, hogy tágabb értelemben a módszer optimális. Ezt a bizonyítást nevezik Gauss–Markov-tételnek.

A módszer alkalmazásában jelentős előrelépést jelentett az általánosított inverzek elterjedése, amelyek ilyen célú felhasználása elsősorban C. R. Rao nevéhez fűződik.

A legkisebb négyzetek módszerének magyarországi geodéziai alkalmazásához Bodola és Hazay könyvei járultak hozzá legjobban.

Források[szerkesztés]

  • Bevezetés a geodéziai hibaelméletbe
  • Åke Björck: Numerical Methods for Least Squares Problems. SIAM, Philadelphia 1996, ISBN 0-89871-360-9.
  • Walter Großmann: Grundzüge der Ausgleichsrechnung. Springer Verlag, Berlin Heidelberg New York 1969 (3. erw. Aufl.), ISBN 3-540-04495-7.
  • Richard J. Hanson, Charles L. Lawson: Solving least squares problems. SIAM, Philadelphia 1995, ISBN 0-89871-356-0.
  • Frederick Mosteller, John W. Tukey: Data Analysis and Regression – a second course in statistics. Addison-Wesley, Reading MA 1977, ISBN 0-201-04854-X.
  • Gerhard Opfer: Numerische Mathematik für Anfänger. Eine Einführung für Mathematiker, Ingenieure und Informatiker. Vieweg, Braunschweig 2002 (4. Aufl.), ISBN 3-528-37265-6.
  • Peter Schönfeld: Methoden der Ökonometrie. 2 Bd. Vahlen, Berlin-Frankfurt 1969–1971.
  • Eberhard Zeidler (Hrsg.): Taschenbuch der Mathematik. Begründet v. I.N. Bronstein, K.A. Semendjajew. Teubner, Stuttgart-Leipzig-Wiesbaden 2003, ISBN 3-8171-2005-2.
  • T. Strutz: Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond). Vieweg+Teubner, ISBN 978-3-8348-1022-9.

Fordítás[szerkesztés]

Ez a szócikk részben vagy egészben a Methode der kleinsten Quadrate című német Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel.