Jensen-egyenlőtlenség

A Jensen-egyenlőtlenség elegáns közös kiterjesztését adja számos matematikai egyenlőtlenségnek.

Ha egy (véges vagy végtelen) I intervallumon az f függvény konvex, $a_1,\dots,a_n\in I$, $p_1,\dots,p_n$ nem negatív számok, amikre teljesül $p_1+\cdots+p_n=1$, akkor

$f(p_1a_1+\cdots+p_na_n)\leq p_1 f(a_1)+\cdots+p_n f(a_n).$

Ha f szigorúan konvex, akkor egyenlőség csak az $a_1=\cdots=a_n$ esetben teljesül.

Ha f konkáv, akkor az állítás fordított irányú egyenlőtlenséggel teljesül.

Például az $f(x)=x^2$ függvény szigorúan konvex a valós számok halmazán, így ha $a_1,\dots,a_n$ tetszőleges, $p_1=\cdots=p_n=\frac{1}{n}$ akkor

$\left(\frac{a_1+\cdots+a_n}{n}\right)^2\leq \frac{a_1^2+\cdots+a_n^2}{n}$

ami a számtani és négyzetes közép közötti egyenlőtlenség. Egyenlőség akkor és csak akkor áll fenn, ha $a_1=\cdots =a_n.$

Hasonlóképpen a konkáv x $\mapsto$ log x függvényt használva azt kapjuk, hogy pozitív $a_1,\dots,a_n$ számokra

$\log\left(\frac{a_1+\cdots+a_n}{n}\right)\geq\frac{\log a_1+\cdots+\log a_n}{n}.$

Mivel a jobb oldal $\sqrt[n]{a_1\cdots a_n}$ logaritmusa, a számtani és mértani közép közötti egyenlőtlenséget kapjuk.

Jensen egyenlőtlensége

A matematikában Jensen egyenlőtlensége, amit a dán matematikusról, Johan Jensenről, neveztek el, összefüggésbe hozza egy integrál egy konvex függvény értékét a konvex függvény integráljával. Azt 1906-ban bizonyította Jensen. Az általánosságára tekintettel az egyenlőtlenség megjelenik sok alakban, ami a kontextustól függ, és aminek egy része az alábbiakban kerül bemutatásra.

Az egyenlet véges képlete volt a logója a Matematikai Tudományok Intézetének a Koppenhágai Egyetemen 2006-ig.

Állítások

Jensen egyenlőtlenségének a klasszikus képlete magába foglal különféle számokat és súlyokat. Az egyenlőtlenséget ki lehet fejezni eléggé általánosságban használva a mértékelméletet vagy egyenértékű valószínűségszerű jelölést. Ebben a valószínűség szerinti felállításban az egyenlőtlenséget tovább lehet általánosítani a teljes érvényességéig.

A véges képlet

Ha egy konvex φ függvény egy I=R valós intervallumon, ahol xi –k az intervallum és elemi ai -k a súlyok, Jensen egyenlőtlenségét ki lehet fejezni:

$\varphi\left(\frac{\sum a_{i} x_{i}}{\sum a_{i}}\right) \le \frac{\sum a_{i} \varphi (x_{i})}{\sum a_{i}};$

és az egyenlőtlenség nyilvánvalóan megfordított, ha φ konkáv.

Konkrét eset, ha az ai súlyok mind egyenlőek az eggyel, akkor:

$\varphi\left(\frac{\sum x_{i}}{n}\right) \le \frac{\sum \varphi (x_{i})}{n}.$

Konkáv log(x) függvény (megjegyzés: használhatjuk Jensen egyenlőtlenséget a függvény konvexitásának vagy konkávitásának bizonyítására, valós intervallumon.) Behelyettesítve $\scriptstyle\varphi(x)\,=\,-\log(x)$ -t az előző képletbe a számtani és mértani közép közötti egyenlőtlenséget kapjuk:

$\frac{x_1 + x_2 + \cdots + x_n}{n} \ge \sqrt[n]{x_1 x_2 \cdots x_n}.$

Ha a változó x egy másik t változó függvénye x_i = g(t_i). Általánosan a következőt kapjuk: a_i–ket felváltja egy nem negatív integrálható f(x)függvény, mint például egy valószínűségi eloszlás, a szummákat pedig integrálok.

Az elméleti mértéktér és a valószínűség szerinti képlet

Legyen (Ω,A,μ) egy mértéktér μ(Ω) = 1. Ha g egy valós értékű függvény, ami μ szerint integrált φ pedig egy mérhető konvex függvény, akkor:

$\varphi\left(\int_{\Omega} g\, d\mu\right) \le \int_\Omega \varphi \circ g\, d\mu.$

Valószínűségelméletben legyen $\scriptstyle(\Omega, \mathfrak{F},\mathbb{P})$ egy valószínűségtér , X egy integrált valós értékű változó és φ egy mérhető konvex függvény. Akkor:

$\varphi\left(\mathbb{E}\{X\}\right) \leq \mathbb{E}\{\varphi(X)\}.$

Ekkor a valószínűségelméletben, a mértéknek (μ) megfeleltethető egy valószínűség $\scriptstyle\mathbb{P}$ , μ-nek egy várható érték $\scriptstyle\mathbb{E}$ , és g a függvénynek egy véletlen változó X.

Általánosan az egyenlőtlenség egy valószínűség szerint

Általánosan legyen T egy valós vektortér, X egy T értékű integrálható véletlen változó. Az integrálhatóság azt jelenti, hogy bármely T elem számára T: $\scriptstyle\mathbb{E}|\langle z, X \rangle|\,<\,\infty$ , z eleme T létezik egy $\scriptstyle\mathbb{E}\{X\}$ T elem, úgy hogy $\scriptstyle\langle z, \mathbb{E}\{X\}\rangle\,=\,\mathbb{E}\{\langle z, X \rangle\}$ . Ekkor minden mérhető konvex φ függvényre és minden σ-algebra-rára $\scriptstyle\mathfrak{G}$$\scriptstyle\mathfrak{F}$  :

$\varphi\left(\mathbb{E}\{X|\mathfrak{G}\}\right) \leq \mathbb{E}\{\varphi(X)|\mathfrak{G}\}.$

Ez a kijelentés általánosítja az előzőt, amikor a T vektortér a tengely és $\scriptstyle\mathfrak{G}$ a triviális σ-algebra $\scriptstyle\{\varnothing, \Omega\}$ .

Bizonyítások

A Jensen egyenlőtlenség grafikus bizonyítása egy lehetséges esetben. A szaggatott görbe az X tengely mentén X feltételezett eloszlása, míg a szaggatott görbe az Y tengely mentén a megfelelő eloszlású Y értékek. Vegyük észre, hogy X egyre növekedő értékei mellett Y(X) egyre jobban növeli az eloszlást.

Jensen egyenlőtlenségének bizonyítása különféle módon történhet, és három különböző fent említett, különböző állításoknak megfelelő bizonyítás ajánlott. Ám mielőtt megkezdenénk ezeket a matematikai bizonyításokat, érdemes elemezni a grafikus bizonyítást a valószínűség szerinti eset alapján, ahol X egy valós szám, (lásd az ábrát). Elfogadva az X értékeknek egy feltételezett eloszlását, azonnal azonosíthatjuk az $\scriptstyle\mathbb{E}\{X\}$ és a képe $\scriptstyle\varphi(\mathbb{E}\{X\})$ értéket a grafikonon. Észrevehetjük $\scriptstyle Y\,=\,\varphi(X)$ a megfelelő értékek eloszlása egyre inkább nő az X növekedő értékeik mellett, és az Y eloszlása szélesebb, az X > X₀ intervallumban, és keskenyebb X <X₀ intervallumban bármilyen X₀ számára; különösen igaz ez $\scriptstyle X_0 \,=\, \mathbb{E}\{ X \}$ esetére. Következésképpen beláttuk, hogy Y mindig el fog mozdulni felfelé, tekintettel $\scriptstyle\varphi(\mathbb{E}\{ X \} )$ pozíciójára. Ezzel bebizonyítottuk az egyenlőtlenséget, azaz:

$\mathbb{E}\{ Y(X) \} \geq Y(\mathbb{E}\{ X \} ),$

Egyenlőség akkor áll fenn, amikor $\scriptstyle\varphi(X)$ nem szigorúan konvex, például amikor ez egy egyenes. A bizonyításokat ez az intuitív elképzelés a következőkben fogalmazza meg:

Bizonyítás 1 (véges képlet)

Ha λ₁ és λ₂ két tetszőleges pozitív valós számok, melyekre λ₁ + λ₂ = 1, akkor $\scriptstyle\varphi$ konvexitása miatt:

$\varphi(\lambda_1 x_1+\lambda_2 x_2)\leq \lambda_1\,\varphi(x_1)+\lambda_2\,\varphi(x_2)\text{ minden }x_1,\,x_2.$ -re.

Általánosan: ha λ₁ , λ₂ , …, λ_n pozitív valós számok, melyekre λ₁ + … + λ_n = 1, akkor

$\varphi(\lambda_1 x_1+\lambda_2 x_2+\cdots+\lambda_n x_n)\leq \lambda_1\,\varphi(x_1)+\lambda_2\,\varphi(x_2)+\cdots+\lambda_n\,\varphi(x_n),$

bármennyi x₁ , …, x_n számára. A Jensen egyenlőtlenségének ezt a véges képletét teljes indukcióval bizonyíthatjuk be. Ha n = 2 az állítás igaz. Tegyük fel, hogy n-re igaz az állítás, és bizonyítsuk n + 1-re. Ha legalább egy λ_i λ>0 például λ> 1 ; akkor konvexitás miatt:

$\varphi\left(\sum_{i=1}^{n+1}\lambda_i x_i\right)= \varphi\left(\lambda_1 x_1+(1-\lambda_1)\sum_{i=2}^{n+1} \frac{\lambda_i}{1-\lambda_1} x_i\right)\leq \lambda_1\,\varphi(x_1)+(1-\lambda_1) \varphi\left(\sum_{i=2}^{n+1}\left( \frac{\lambda_i}{1-\lambda_1} x_i\right)\right).$

Mivel $\scriptstyle \sum_{i=2}^{n+1} \lambda_i/(1-\lambda_1)\, =\,1$ , felhasználva feltevésünket a képlet utolsó kifejezésében megkapjuk az eredményt, név szerint a Jensen-féle véges képletű egyenlőtlenséget.

Azért, hogy megkapjuk az általános egyenlőtlenséget ebből a véges képletből, használjunk egy sűrűségérvet. A véges képletet újra fel lehet írni úgy, mint:

$\varphi\left(\int x\,d\mu_n(x) \right)\leq \int \varphi(x)\,d\mu_n(x),$

ahol μ_n egy mérték, amit a Dirac delták egy tetszőleges kombinációja ad:

$\mu_n=\sum_{i=1}^n \lambda_i \delta_{x_i}.$

Mivel a konvex függvények folytonosak, és mivel a Dirac delták kombinációi gyengén sűrűek az általános állítást egyszerűen megkapjuk.

Bizonyítás 2 (elméleti-határ képlet)

Legyen g egy valós értékű μ-integrálható függvény egy Ω mértéktérben, és legyen φ, egy konvex függvény a valós számok halmazán. Határozzuk meg φ jobb oldali deriváltját:

$\varphi^\prime(x):=\lim_{t\to0^+}\frac{\varphi(x+t)-\varphi(x)}{t}.$

Mivel φ konvex, a jobb oldali hányados ahogy a t közelíti a 0-t jobbról, egyre csökken és alulról korlátos.

$\frac{\varphi(x+t)-\varphi(x)}{t}$

Ha t < 0, a határértéke mindig létezik.

Legyen:

$x_0:=\int_\Omega g\, d\mu,$

$a:=\varphi^\prime(x_0),$

$b:=\varphi(x_0)-x_0\varphi^\prime(x_0).$

Akkor minden x -re ax + b ≤ φ(x). Ha x > x₀ , és t = x − x₀ > 0. Akkor,

$\varphi^\prime(x_0)\leq\frac{\varphi(x_0+t)-\varphi(x_0)}{t}.$

Tehát,

$\varphi^\prime(x_0)(x-x_0)+\varphi(x_0)\leq\varphi(x)$

ahogyan azt bizonyítani akartuk. x < x₀ esetében hasonlóan bizonyíthatjuk. Ha ax + b = φ(x₀).

φ(x 0 ) akkor átírhatjuk a képletet

$ax_0+b=a\left(\int_\Omega g\,d\mu\right)+b.$ - alakúra.

De mivel μ(Ω) = 1, tehát minden valós k számra

$\int_\Omega k\,d\mu=k.$

Így:

$a\left(\int_\Omega g\,d\mu\right)+b=\int_\Omega(ag+b)\,d\mu\leq\int_\Omega\varphi\circ g\,d\mu.$

Bizonyítás 3 (általános egyenlőtlenség egy valószínűség szerint)

Legyen X egy integrálható valószínűségi változó, az értéket egy valós T vektortérből veszi. Mivel $\scriptstyle\varphi:T \mapsto \mathbb{R}$ konvex, minden $x,y \in T$ -re

$\frac{\varphi(x+\theta\,y)-\varphi(x)}{\theta},$

ahogy θ megközelíti a 0⁺ -t, ez az érték csökken. φ deriváltja X szerint az Y irányába:

$(D\varphi)(x)\cdot y:=\lim_{\theta \downarrow 0} \frac{\varphi(x+\theta\,y)-\varphi(x)}{\theta}=\inf_{\theta \neq 0} \frac{\varphi(x+\theta\,y)-\varphi(x)}{\theta}.$

Látható, a differenciál lineáris y-ban van és mivel korábban beláttuk, hogy a jobb oldal infimuma kisebb mint az értéke a θ = 1 –nél.

$\varphi(x)\leq \varphi(x+y)-(D\varphi)(x)\cdot y.\,$

Egy tetszőleges sub-σ-algebrára $\scriptstyle\mathfrak{G}$ az utolsó egyenlőtlenség szerint, ha $\scriptstyle x\,=\,\mathbb{E}\{X|\mathfrak{G}\},\,y=X-\mathbb{E}\{X|\mathfrak{G}\}$ fennáll, akkor

$\varphi(\mathbb{E}\{X|\mathfrak{G}\})\leq \varphi(X)-(D\varphi)(\mathbb{E}\{X|\mathfrak{G}\})\cdot (X-\mathbb{E}\{X|\mathfrak{G}\}).$

Ebből következve megkapjuk az eredményt, mivel:

$\mathbb{E}\{\left[(D\varphi)(\mathbb{E}\{X|\mathfrak{G}\})\cdot (X-\mathbb{E}\{X|\mathfrak{G}\})\right]|\mathfrak{G}\}=(D\varphi)(\mathbb{E}\{X|\mathfrak{G}\})\cdot \mathbb{E}\{ \left( X-\mathbb{E}\{X|\mathfrak{G}\} \right) |\mathfrak{G}\}=0,$

Alkalmazások és speciális esetek

Képlet, amely magában foglal egy valószínűség szerinti sűrűség függvényt

Tételezzük fel, hogy Ω egy valós sorozat mérhető alhalmaza és f(x) egy nem negatív függvény, melyre:

$\int_{-\infty}^\infty f(x)\,dx = 1.$

Probabilisztikus nyelvben, f egy valószínűségi sűrűség-függvény.

Jensen egyenlőtlensége a következő állítássá válik:

Bármilyen g valós értékű függvény és φ konvex a g tartománya fölött, akkor

$\varphi\left(\int_{-\infty}^\infty g(x)f(x)\, dx\right) \le \int_{-\infty}^\infty \varphi(g(x)) f(x)\, dx.$

Ha g(x) = x, akkor az egyenlőtlenségnek ez a formája redukálódik egy általában használt speciális esetre:

$\varphi\left(\int_{-\infty}^\infty x\, f(x)\, dx\right) \le \int_{-\infty}^\infty \varphi(x)\,f(x)\, dx.$

Alternatív véges képlet

Ha Ω véges halmaz $\{x_1,x_2,\ldots,x_n\}$ , és ha μ egy megszámlálható mérték az Ω-án, akkor az általános alak redukálódik egy összegekről szóló állításra:

$\varphi\left(\sum_{i=1}^{n} g(x_i)\lambda_i \right) \le \sum_{i=1}^{n} \varphi(g(x_i))\lambda_i,$

feltéve ha $\lambda_1 + \lambda_2 + \cdots + \lambda_n = 1, \lambda_i \ge 0.$

Van egy képlet Ω –re is.

Statisztikus fizika

Jensen egyenlőtlensége a statisztikai fizikában különös fontosságú akkor, amikor a konvex függvény exponenciális. Adva van:

$e^{\langle X \rangle} \leq \left\langle e^X \right\rangle,$

ahol a zárójel a várható értékekre utal tekintettel néhány valószínűségi eloszlásra a véletlenszerű X változóban.

A bizonyítás ebben az esetben nagyon egyszerű (cf. Chandler, Sec. 5.5). A következő egyenlőtlenséget alkalmazva:

$\left\langle e^X \right\rangle = e^{\langle X \rangle} \left\langle e^{X - \langle X \rangle} \right\rangle$

Kapjuk a végső exponenciális egyenlőtlenséget:

$e^X \geq 1+X \,$

Információelmélet

Ha p(x) x valószínűségi változó valódi eloszlás, és q(x) másik eloszlás, akkor Jensen egyenlőtlenségét alkalmazva Y(x) = q(x)/p(x)-re a véletlen változóra, a függvény legyen φ(y) = −log(y) így a Gibbs egyenlőtlenséget kapjuk.

$\Bbb{E}\{\varphi(Y)\} \ge \varphi(\Bbb{E}\{Y\})$

$\Rightarrow \int p(x) \log \frac{p(x)}{q(x)}dx \ge - \log \int p(x) \frac{q(x)}{p(x)}dx$

$\Rightarrow \int p(x) \log \frac{p(x)}{q(x)}dx \ge 0$

$\Rightarrow - \int p(x) \log q(x) \ge - \int p(x) \log p(x),$

Ez megmutatja, hogy az átlagos üzenethossz minimalizált, amikor kódokat jelölnek ki valódi valószínűségek alapján. Az a nemnegatív mennyiség, (q-nak távolsága p-től) a Kullback-Leibler távolság.

Rao-Blackwell tétel

Ha L egy konvex függvény, akkor Jensen egyenlőtlenségéből, megkapjuk, hogy:

$L(\Bbb{E}\{\delta(X)\}) \le \Bbb{E}\{L(\delta(X))\} \quad \Rightarrow \quad \Bbb{E}\{L(\Bbb{E}\{\delta(X)\})\} \le \Bbb{E}\{L(\delta(X))\}.$

Tehát ha δ(X) torzítatlan becslés θ paraméterre T(X) egy elégséges statisztika θ-ra, egy kisebb várt veszteség birtokában L, számolás útján elérhető. Megadható olyan L becslés, mely hatásosabb mint δ(X).

$\delta_{1}(X) = \Bbb{E}_{\theta}\{\delta(X') \,|\, T(X')= T(X)\},$

torzítatlan θ-ra, és X függvénye.

Ezt az eredményt a Rao-Blackwell tételként ismerik.

Lásd még

• Az átlagok törvénye

Források

• Walter Rudin (1987): Valós és komplext elemzés. McGraw-Hill. ISBN 0-07-054234-1
• David Chandler (1987): Bevezetés a modern statisztikus mechanikába. Oxford. ISBN 0-19-504277-8
• Jensen, Johan Ludwig William Valdemar (1906): " Sur les fonctions* convexes* et les inégalités* entre* les valeurs* moyennes* ". Acta Mathematica 30: 175-193

További információk

• Eric W Weisstein: Jensen egyenlőtlenség - A matematika világa
• Jensen egyenlőtlensége logóként szolgált a Koppenhágai Egyetem Matematikai Szakosztálya számára.