Megbízhatóság (pszichometria)

A pszichológiai mérőeszköz egyik fontos pszichometriai mutatója a megbízhatóság (reliabilitás). A megbízhatóság azt mutatja meg, hogy az eszközünk mennyire konzisztensen méri, amit mérni kívánunk vele. Amennyiben a mérőeszköznek magas a megbízhatósága, nagyfokú következetességet és megismételhetőséget várhatunk tőle.

Érvényesség és megbízhatóság kapcsolata

A két mutató kapcsolatát legjobban egy céltábla metafora segítségével érthetjük meg.

Megbízhatóság és érvényesség ábrázolása - céltábla metafora

A mérőeszközök, mint a célba lövéshez használható eszközök, eltérnek abban, hogy találataik mennyire szóródnak egy pontban. Amennyiben találataik egymáshoz közel érik a céltáblát, az eszköz megbízhatónak tekinthető. Azonban az egymáshoz közel eső pontok nem feltétlenül a célunknak megfelelő helyre (céltábla közepére) esnek, ilyenkor az eszköz nem érvényes, az eszköz nem a célnak megfelelő. Érvényesnek és megbízhatónak azt a mérőeszközt tekintjük, amelynek a találatai a céltábla középpontjához közel szóródnak. Az érvényességhez a tesztnek megbízhatónak kell lennie (azonban fordítva nem igaz, lehet magas megbízhatósága egy tesztnek, attól függetlenül, hogy az érvényessége rossz). Fontos azt is megemlíteni, hogy amennyiben egy tesztet több alskálára bonthatunk, akkor mind az érvényességet, mind a megbízhatóságot meg kell vizsgálni minden alskála esetében.

Megbízhatóság vizsgálatok

Egy mérés pontosságának felderítéséhez szükségünk van arra, hogy megértsük a mérés pontatlanságát okozó tényezőket. Minden mérésünk értéke (X) a valódi érték (T, true score) és a hiba értékének (e, error score) összege. X=T+e A hibáknak azonban két típusa torzítja az eredményeinket. Az egyik a random, vagy véletlenszerű hiba. Ilyenkor a hiba egyszer az egyik irányba, egyszer a másik irányba torzít, és a tesztelmélet egyik alapelve kimondja, hogy a véletlenszerű hibák többszöri mérésben kiegyenlítik egymást, tehát a hibák középértéke 0. Mivel a hibák véletlen jellegűek, nincsenek kapcsolatban a valódi értékekkel. A teszelmélet egy másik alapelve azt mondja ki, hogy a valódi értékek és a véletlenszerű hibák közötti együttjárás 0. Szintén a hibák véletlenszerűségéből fakad, hogy az előforduló hibák között sincs kapcsolat. A harmadik alapelv így azt mondja ki, hogy a hibák közötti kapcsolat is 0.A mérési eredményeket torzító hibák másik típusa a szisztematikus hibák csoportja. Ilyen lehet például a vizsgálatvezető befolyásoló hatása, vagy a tesztfelvételi körülmények standardizálásának elmulasztása. Az ilyen típusú hibákat tehát leginkább a kísérlet gondos megtervezésével küszöbölhetjük ki.

Akkor tekinthetünk tehát egy eszközt megbízhatónak, ha az azon mért értékek elsősorban a valódi értéket tükrözik. Ezért a reliabilitás jó mutatója, hogy mennyire járnak együtt a többszöri méréssel kapott megfigyelt értékek. Ha az együttjárás magas, tehát több különböző mérés közel azonos eredményt mutat, az eredmények a valódi értéket tükrözik, és az ezekre rakódó hiba kicsi. Reliabilitás vizsgálatokat a szerint különítünk el, hogy az ismételt mérés milyen módon történik.

Ismétléses reliabilitás/Teszt-reteszt megbízhatóság

Ebben az esetben az eszköz két különböző időpontban kapott eredményeit hasonlítjuk össze. Itt a változásokért azonban nem csak a teszt megbízhatósága felelős. A két tesztfelvétel között eltelt idő miatt változások léphetnek fel a valódi értékekben is, illetve torzító tényező a teszt többszöri megoldása (hiszen a résztvevők már ismerik a tételeket, esetleg az eredményeket is).

Belső konzisztencia/Tételek homogenitása

• Spearman-Brown formula: tesztfelezési eljárás, a két tesztfél közötti együttjárást vizsgálja (Cronbach ezt ekvivalencia mutatónak nevezte). A mérés fontos feltétele, hogy a két tesztfél pontszámainak átlaga és szórása meg kell, hogy egyezzen. A tesztfelek létrehozásának különböző módjai lehetnek:
  • Középen elvágva hozzuk létre a feleket (split-half módszer)
  • Páros és páratlan tételek szétválogatásával (odd-even módszer)
• Kuder, Richardson: a megbízhatóságot a tételek együttjárása (inter-item korreláció) alapján definiálták (Cronbach ezt homogenitás mutatónak nevezte).
  • Az inter-item korreláció úgy függ össze a megbízhatósággal, hogy ha a skála tételei magasan együttjárnak, akkor az a személy, aki az egyik tételen magas értéket kap, a többi tételen szintén magasat fog kapni. Ez az együttváltozás (interkorreláció) mutatja, hogy a tételek mennyire jól differenciálnak a személyek között.
  • KR20: Kuder & Richardson által talált legjobb belső konzisztencia mutató, amely azonban csak dichotóm változók esetén használható.
• Egyéb homogenitás mutatók
  • Item-totál együttjárás: Azt vizsgálja, egy tétel értéke mennyire jár együtt a teljes skála pontszámaival.
  • Item-maradék korreláció: Azt vizsgálja, mennyire jár együtt egy tétel a skála pontszámaival, amit ebben az esetben a vizsgált tétel eredményei nélkül számítunk.
• Lee Cronbach: KR20-at kiterjesztette folytonos változókra, ezt Cronbach-alfának nevezzük. Megegyezik egy skála összes tesztfelezéssel kiszámolható megbízhatóság értékének átlagával. Ma a leggyakoribb reliabilitás számítás. SPSS-ben kiszámolható az Analyze > Scale > Reliability analysis menüpont alatt (ez az alapbeállítás).
• A tesztek/skálák megbízhatóságán kívül más típusú megbízhatóság
  • Megítélői megbízhatóság (inter-rater reliability): független megfigyelők általi pontozások összehasonlítása

A skála megbízhatóságának értelmezésekor fontos figyelembe venni, hogy a megbízhatóság a skálát és a mért populációt együtt írja le. Emiatt előfordulhat, hogy míg egy skála egy adott populáción nagyon megbízhatónak tűnik, egy másikon alacsony megbízhatóságot mutat. Amennyiben túlságosan homogén a populáció, amelyen a mérést elvégeztük, a teszt nehezen tud különbséget tenni a személyek között, és megbízhatósága alacsony lesz. A megbízhatóság populációfüggőségét mindig érdemes szem előtt tartani a megbízhatósági eredmények értelmezésekor.

Források

• A pszichológiai mérés alapjai: szerk.: Rózsa Sándor, Nagybányai Nagy Olivér, Oláh Attila (http://mek.oszk.hu/05500/05536/05536.pdf)