Kovariancia

A kovariancia a valószínűségszámítás és a statisztika tárgykörébe tartozó mennyiség, ami megadja két egymástól különböző változó együttmozgását. Kis értékei gyenge, nagy értékei erős lineáris összefüggésre utalnak. Nem normált; normálással a korrelációt kapjuk.

Definíció

Létezésének szükséges feltétele, hogy létezzen mindkét véletlen valószínűségi változó, továbbá szorzatuk várható értéke. Ez biztosan teljesül, ha $X$ és $Y$ négyzetesen integrálható, azaz $\operatorname {E} (|X|^{2})<\infty$ és $\operatorname {E} (|Y|^{2})<\infty$. Értéke $\operatorname {Cov} (X,Y)=\operatorname {E} \left(\left(X-\operatorname {E} (X)\right)\left(Y-\operatorname {E} (Y)\right)\right)$, ahol E az úgynevezett várhatóérték-operátor.

Folytonos és diszkrét valószínűségi változók kovarianciája:

$\operatorname {Cov} (X,Y)={\begin{cases}\sum _{i=1}^{n}\sum _{j=1}^{n}f(x_{i},y_{j})(x_{i}-\operatorname {E} (X))(y_{j}-\operatorname {E} (Y))&{\text{ha X és Y diszkrét}}\\\int _{-\infty }^{+\infty }\int _{-\infty }^{+\infty }f(x,y)(x-\operatorname {E} (X))(y-\operatorname {E} (Y))\mathrm {d} x\mathrm {d} y&{\text{ha X és Y folytonos}}\end{cases}}$.

Az n elemű $\mathbf {x} {\text{ és }}\mathbf {y}$ statisztikai minta tapasztalati (empirikus) kovarianciáját az alábbi képlettel adjuk meg:

${\frac {\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)\left(y_{i}-{\bar {y}}\right)}{n-1}}$ , ahol $x_{i}$ az ${\textbf {x}}$, $y_{i}$ az ${\textbf {y}}$ minta $i$. eleme, ${\bar {x}}$ és ${\bar {y}}$ pedig az $\mathbf {x}$ és az $\mathbf {y}$ minták mintaátlagai. (Ugyanez a képlet átalakítható az ${\frac {1}{n-1}}\sum _{i=1}^{n}{x_{i}y_{i}}-{\frac {n}{n-1}}{\bar {x}}{\bar {y}}$ formára)

Példák

Legyen $X=(X_{1},X_{2})$ kétdimenziós normális eloszlású, és $P_{(X_{1},X_{2})}={\mathcal {N}}(\mu ,\Sigma )$ a $\Sigma$ kovarianciamátrixszal:

$\Sigma ={\begin{pmatrix}\sigma _{1}^{2}&c\\c&\sigma _{2}^{2}\end{pmatrix}},$ ekkor a kovariancia:

$\operatorname {Cov} (X_{1},X_{2})=c.$

Legyen $X=(X_{1},X_{2})$ kétdimenziós multinomiális eloszlású ($P_{X}=M(n,(p_{1},p_{2}))$), így:

$\operatorname {Cov} (X_{1},X_{2})=\operatorname {E} (X_{1}X_{2})-\operatorname {E} (X_{1})\operatorname {E} (X_{2})=n(n-1)p_{1}p_{2}-np_{1}np_{2}=-np_{1}p_{2}.$

Tulajdonságai

• A kovariancia pozitív, ha $X$ és $Y$ között pozitív az összefüggés, ha $X$ nagy, akkor $Y$ is nagy, és ha $X$ kicsi, akkor $Y$ is kicsi.
• A kovariancia negatív, ha $X$ és $Y$ között negatív az összefüggés, ha $X$ nagy, akkor $Y$ kicsi, és ha $X$ kicsi, akkor $Y$ nagy. Ez nem fordított arányosságot jelez, hiszen a kovariancia csak lineáris összefüggés kimutatására képes.
• A kovariancia nulla, akkor $X$ és $Y$ között nincs lineáris összefüggés, de másfajta lehet.

Az eltolási tulajdonság:

$\operatorname {Cov} (X,Y)=\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y).$

Bizonyítás:

${\begin{aligned}\operatorname {Cov} (X,Y)&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (Y-\operatorname {E} (Y)){\bigr ]}\\&=\operatorname {E} {\bigl [}(XY-X\operatorname {E} (Y)-Y\operatorname {E} (X)+\operatorname {E} (X)\operatorname {E} (Y)){\bigr ]}\\&=\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y)-\operatorname {E} (Y)\operatorname {E} (X)+\operatorname {E} (X)\operatorname {E} (Y)\\&=\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y)\qquad \Box \end{aligned}}$

Kapcsolat a szórásnégyzettel

Tétel: A kovariancia a szórásnégyzet általánosítása, mivel

$\operatorname {Var} (X)=\operatorname {Cov} (X,X).$

Bizonyítás:

${\begin{aligned}\operatorname {Cov} (X,X)&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))^{2}{\bigr ]}\\&=\operatorname {Var} (X)\qquad \Box \end{aligned}}$

Tehát a szórásnégyzet a valószínűségi változó önmagával vett kovarianciája.

A kovarianciával kiszámítható négyzetesen integrálható valószínűségi változók összegének szórásnégyzete. Általában:

${\begin{aligned}\operatorname {Var} \left(\sum _{i=1}^{n}X_{i}\right)&=\sum _{i,j=1}^{n}\operatorname {Cov} (X_{i},X_{j})\\&=\sum _{i=1}^{n}\operatorname {Var} (X_{i})+\sum _{i,j=1,i\neq j}^{n}\operatorname {Cov} (X_{i},X_{j})\\&=\sum _{i=1}^{n}\operatorname {Var} (X_{i})+2\sum _{i=1}^{n-1}\sum _{j=i+1}^{n}\operatorname {Cov} (X_{i},X_{j}).\end{aligned}}$

Speciálisan, két valószínűségi változó összegének szórásnégyzete:

$\operatorname {Var} (X+Y)=\operatorname {Var} (X)+\operatorname {Var} (Y)+2\operatorname {Cov} (X,Y).$

Ahogy az közvetlenül következik a definícióból, ha az egyik valószínűségfi változó előjele megváltozik, akkor a kovariancia is:

$\operatorname {Cov} (X,-Y)=-\operatorname {Cov} (X,Y)$

Így két valószínűségi változó különbségére:

$\operatorname {Var} (X-Y)=\operatorname {Var} (X+(-Y))=\operatorname {Var} (X)+\operatorname {Var} (Y)-2\operatorname {Cov} (X,Y).$

Linearitás, szimmetria és definitség

Tétel: A kovariancia szimmetrikus pozitív szemidefinit bilineáris forma a négyzetesen integrálható valószínűségi változók terében.

Tétel: Bilineárisság: Az $a,b,c,d,e,f,g,h\in \mathbb {R}$ valós számokra:

$\operatorname {Cov} (aX+b,cY+d)=ac\operatorname {Cov} (X,Y)\qquad$

$\operatorname {Cov} [X,(eY+f)+(gZ+h)]=e\operatorname {Cov} (X,Y)+g\operatorname {Cov} (X,Z).$

Bizonyítás:

${\begin{aligned}\operatorname {Cov} (aX+b,cY+d)&=\operatorname {E} {\bigl [}(aX+b-\operatorname {E} (aX+b))\cdot (cY+d-\operatorname {E} (cY+d)){\bigr ]}\\&=\operatorname {E} {\bigl [}(aX-a\operatorname {E} (X))\cdot (cY-c\operatorname {E} (Y)){\bigr ]}\\&=ac\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (Y-\operatorname {E} (Y)){\bigr ]}\\&=ac\operatorname {Cov} (X,Y)\end{aligned}}$

${\begin{aligned}\operatorname {Cov} [X,(eY+f)+(gZ+h)]&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (eY+f+gZ+h-\operatorname {E} (eY+f+gZ+h)){\bigr ]}\\&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (eY-e\operatorname {E} (Y)+gZ-g\operatorname {E} (Z)){\bigr ]}\\&=\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot e(Y-\operatorname {E} (Y))+(X-\operatorname {E} (X))\cdot g(Z-\operatorname {E} (Z)){\bigr ]}\\&=e\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (Y-\operatorname {E} (Y)){\bigr ]}+g\operatorname {E} {\bigl [}(X-\operatorname {E} (X))\cdot (Z-\operatorname {E} (Z)){\bigr ]}\\&=e\operatorname {Cov} (X,Y)+g\operatorname {Cov} (X,Z)\qquad \Box \end{aligned}}$

Könnyen látható, hogy a kovariancia invariáns a konstans hozzáadására. A második egyenlőségben szimmetria miatt első változójában is lineáris.

Tétel: Szimmetria.

$\operatorname {Cov} (X,Y)=\operatorname {Cov} (Y,X)$

Bizonyítás:

${\begin{aligned}\operatorname {Cov} (X,Y)&=\operatorname {E} {\bigl [}(Y-\operatorname {E} (Y))\cdot (X-\operatorname {E} (X)){\bigr ]}\\&=\operatorname {Cov} (Y,X)\qquad \Box \end{aligned}}$

Tétel (Pozitív szemidefinit):

$\operatorname {Cov} (X,X)\geq 0.$

Bizonyítás:

$\operatorname {Cov} (X,X)=\operatorname {Var} (X)\geq 0\qquad \Box$

A szimmetrikus szemidefinit bilineáris alakból következik, hogy teljesül a Cauchy–Bunyakovszkij–Schwarz-egyenlőtlenség:

$|\operatorname {Cov} (X,Y)|\leq {\sqrt {\operatorname {Var} (X)}}\cdot {\sqrt {\operatorname {Var} (Y)}}$

A linearitásból következik, hogy a kovariancia függ a véletlen változók nagyságáétól. Így a kovariancia a tízszeresére változik, ha $X$ helyett a $10X$ valószínűségi változót használjuk. Így a kovariancia nagysága a valószínűségi változók mértékegységeitől is függ. Mivel ez a tulajdonság nehezen értelmezhetővé teszi a kovariancia nagyságát, azért helyette inkább a korrelációs együtthatót használják, ami skálafüggetlen:

$\rho _{X,Y}={\frac {\operatorname {Cov} (X,Y)}{{\sqrt {\operatorname {Var} (X)}}\cdot {\sqrt {\operatorname {Var} (Y)}}}}\ .$

Korrelálatlanság és függetlenség

Definíció: Ha $X$ és $Y$ valószínűségi változók, és $\operatorname {Cov} (X,Y)=0$, emiatt $\varrho (X,Y)=0$, akkor $X$ és $Y$ korrelálatlan.

Tétel: Ha $X$ és $Y$ független valószínűségi változók, akkor $\operatorname {Cov} (X,Y)=0.$

Bizonyítás: Független valószínűségi változók esetén $\operatorname {E} (XY)=\operatorname {E} (X)\operatorname {E} (Y)$, d. h.

${\begin{aligned}\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y)&=0\\\Leftrightarrow \qquad \qquad \qquad \operatorname {Cov} (X,Y)&=0.\qquad \end{aligned}}$

A megfordítás nem mindig teljesül. Legyen az $X$ valószínűségi változó egyenletes eloszlású a $[-1,1]$ intervallumon, és $Y=X^{2}$. Nyilvánvaló, hogy $X$ és $Y$ nem függetlenek. Viszont

$\operatorname {Cov} (X,Y)=\operatorname {Cov} (X,X^{2})=\operatorname {E} (X^{3})-\operatorname {E} (X)\operatorname {E} (X^{2})=0-0\cdot \operatorname {E} (X^{2})=0$.

További példák korrelálatlan, de nem független valószínűségi változókra:

Legyenek $X$ és $Y$ valószínűségi változók úgy, hogy $P(X=0,Y=1)={\tfrac {1}{2}}$ und $P(X=2,Y=0)=P(X=2,Y=2)={\tfrac {1}{4}}.$

Ekkor $P(X=0)=P(X=2)={\tfrac {1}{2}}$ és $P(Y=0)=P(Y=2)={\tfrac {1}{4}}$, $P(Y=1)={\tfrac {1}{2}}.$

Következik, hogy $\operatorname {E} (X)=\operatorname {E} (Y)=1$ és $\operatorname {E} (XY)=1$, tehát $\operatorname {Cov} (X,Y)=0.$

Másrészt $X$ és $Y$ nem függetlenek, mivel $P(X=0,Y=1)={\tfrac {1}{2}}\neq {\tfrac {1}{2}}\cdot {\tfrac {1}{2}}=P(X=0)P(Y=1)$.

Legyenek $X$ és $Y$ valószínűségi változók Bernoulli-eloszlásúak a $p$ paraméterrel és függetlenek. Ekkor $(X+Y)$ és $(X-Y)$ korrelálatlan, de nem független.

A korrelálatléanság nyilvánvaló, mivel $\operatorname {Cov} (X+Y,X-Y)=\operatorname {Cov} (X,X)-\operatorname {Cov} (X,Y)+\operatorname {Cov} (Y,X)-\operatorname {Cov} (Y,Y)=0.$

De $(X+Y)$ és $(X-Y)$ nem függetlenek, hiszen $P(X+Y=0,X-Y=1)=0\neq p(1-p)^{3}=P(X+Y=0)P(X-Y=1).$

Források

• Norbert Henze: Stochastik für Einsteiger: Eine Einführung in die faszinierende Welt des Zufalls. 10. Auflage. Verlag Springer Spektrum, Wiesbaden 2013, ISBN 978-3-658-03076-6, Kapitel 21, doi:10.1007/978-3-658-03077-3_21.
• Karl Bosch: Elementare Einführung in die Angewandte Statistik: Mit Aufgaben und Lösungen, 9. erw. Auflage. Vieweg+Teubner Verlag 2010, ISBN 978-3834812292, doi:10.1007/978-3-8348-9705-3.

Fordítás

Ez a szócikk részben vagy egészben a Kovarianz (Stochastik) című német Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.