Kufiri Cramér–Rao

Në teorinë e vlerësimit dhe statistikë, kufiri Cramér–Rao ( CRB ) lidhet me vlerësimin e një parametri përcaktues (fiks, megjithëse i panjohur). Rezultati është emërtuar për nder të Harald Cramérit dhe C. R. Raos, ^[1] ^[2] ^[3] por gjithashtu është nxjerrë në mënyrë të pavarur nga Maurice Fréchet, ^[4] Georges Darmois, ^[5] dhe nga Alexander Aitken dhe Harold Silverstone . ^[6] ^[7] Njihet gjithashtu si kufiri i poshtëm Fréchet-Cramér–Rao ose Fréchet-Darmois-Cramér-Rao. Ai pohon se saktësia e çdo vlerësuesi të paanshëm është e shumta sainformacioni i Fisherit ; ose (në mënyrë të njëvlerëshme) reciprokja e informacionit Fisher është një kufi më i ulët në variancën e tij.

Një vlerësues i paanshëm që e arrin këtë kufi thuhet se është (plotësisht) efikas . Një zgjidhje e tillë arrin gabimin në katror të mesataruar më të ulët të mundshëm midis të gjitha metodave të paanshme, dhe për këtë arsye është vlerësuesi minimal i variancës së paanshme (VMVP). Megjithatë, në disa raste, nuk ekziston asnjë teknikë e paanshme që arrin kufirin. Kjo mund të ndodhë ose nëse për çdo vlerësues të paanshëm, ekziston një tjetër me një variancë rreptësisht më të vogël, ose nëse ekziston një vlerësues MVU, por varianca e tij është rreptësisht më e madhe se anasjellta e informacionit Fisher.

Kufiri Cramér–Rao mund të përdoret gjithashtu për të kufizuar variancën e vlerësuesve biased të paragjykimit të dhënë. Në disa raste, një qasje e njëanshme mund të rezultojë në një variancë dhe një gabim mesatar në katror që janë below kufirin e poshtëm të paanshëm Cramér–Rao; shih zhvendosjen e vlerësuesit .

Deklarata

Rasti skalar i paanshëm

Supozoni $\theta$ është një parametër i panjohur përcaktues i cili duhet vlerësuar nga $n$ vëzhgimet (matjet) e pavarura të $x$ , secila nga një shpërndarje sipas disa funksioneve të densitetit të probabilitetit $f(x;\theta )$ . Varianca e çdo vlerësuesi të paanshëm ${\hat {\theta }}$ e $\theta$ më pas kufizohet ^[8] nga ana reciproke e informacionit Fisher $I(\theta )$ :

\operatorname {var} ({\hat {\theta }})\geq {\frac {1}{I(\theta )}}

ku informacioni i Fisherit $I(\theta )$ është përcaktuar nga

I(\theta )=n\operatorname {E} _{X;\theta }\left[\left({\frac {\partial \ell (X;\theta )}{\partial \theta }}\right)^{2}\right]

dhe $\ell (x;\theta )=\log(f(x;\theta ))$ është logaritmi natyror i funksionit të gjasave për një kampion të vetëm $x$ dhe $\operatorname {E} _{x;\theta }$ tregon vlerën e pritur në lidhje me densitetin $f(x;\theta )$ e $X$ . Nëse nuk tregohet, në atë që vijon, pritshmëria merret në lidhje me $X$ .

Nëse $\ell (x;\theta )$ është dy herë i diferencueshëm dhe ekzistojnë kushte të caktuara të rregullsisë, atëherë informacioni i Fisherit mund të përcaktohet gjithashtu si më poshtë: ^[9]

I(\theta )=-n\operatorname {E} _{X;\theta }\left[{\frac {\partial ^{2}\ell (X;\theta )}{\partial \theta ^{2}}}\right]

Efikasiteti i një vlerësuesi të paanshëm ${\hat {\theta }}$ mat sa afër është varianca e këtij vlerësuesi me këtë kufi të poshtëm; efikasiteti i vlerësuesit përcaktohet si

e({\hat {\theta }})={\frac {I(\theta )^{-1}}{\operatorname {var} ({\hat {\theta }})}}

ose variancën minimale të mundshme për një vlerësues të paanshëm pjesëtuar me variancën e tij të tanishme. Pra, kufiri i poshtëm Cramér–Rao jep

e({\hat {\theta }})\leq 1

.

Rasti i përgjithshëm skalar

Një formë më e përgjithshme e kufirit mund të merret duke marrë parasysh një vlerësues të njëanshëm $T(X)$ , pritshmëria e të cilit nuk është $\theta$ por një funksion i këtij parametri, të themi, $\psi (\theta )$ . Prandaj $E\{T(X)\}-\theta =\psi (\theta )-\theta$ në përgjithësi nuk është e barabartë me 0. Në këtë rast, kufiri jepet nga

\operatorname {var} (T)\geq {\frac {[\psi '(\theta )]^{2}}{I(\theta )}}

ku $\psi '(\theta )$ është derivat i $\psi (\theta )$ (nga $\theta$ ), dhe $I(\theta )$ është informacioni i Fisherit i përcaktuar më sipër.

Rasti me shumë variacione

Zgjerimi i lidhjes Cramér–Rao në disa parametra, përcaktoni një vektor kolone parametri

{\boldsymbol {\theta }}=\left[\theta _{1},\theta _{2},\dots ,\theta _{d}\right]^{T}\in \mathbb {R} ^{d}

me funksionin e densitetit të probabilitetit $f(x;{\boldsymbol {\theta }})$ që plotëson dy kushtet e rregullsisë më poshtë.

Matrica e informacionit Fisher është a $d\times d$ matricë me element $I_{m,k}$ përcaktuar si

I_{m,k}=\operatorname {E} \left[{\frac {\partial }{\partial \theta _{m}}}\log f\left(x;{\boldsymbol {\theta }}\right){\frac {\partial }{\partial \theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right]=-\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta _{m}\,\partial \theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right].

Le ${\boldsymbol {T}}(X)$ të jetë një vlerësues i çdo funksioni vektorial të parametrave, ${\boldsymbol {T}}(X)=(T_{1}(X),\ldots ,T_{d}(X))^{T}$ , dhe shënoni vektorin e tij të pritjes $\operatorname {E} [{\boldsymbol {T}}(X)]$ nga ${\boldsymbol {\psi }}({\boldsymbol {\theta }})$ . Lidhja Cramér-Rao më pas thotë se matrica e kovariancës së ${\boldsymbol {T}}(X)$ kënaq

I\left({\boldsymbol {\theta }}\right)\geq \phi (\theta )^{T}\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)^{-1}\phi (\theta )

,

\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq \phi (\theta )I\left({\boldsymbol {\theta }}\right)^{-1}\phi (\theta )^{T}

ku

Mosbarazimi i matricës $A\geq B$ kuptohet se matrica $A-B$ është e gjysmëpërcaktuar pozitive, dhe
$\phi (\theta ):=\partial {\boldsymbol {\psi }}({\boldsymbol {\theta }})/\partial {\boldsymbol {\theta }}$ është matrica jakobiane e së cilës $ij$ elementi jepet nga $\partial \psi _{i}({\boldsymbol {\theta }})/\partial \theta _{j}$ .

Nëse ${\boldsymbol {T}}(X)$ është një vlerësues i paanshëm i ${\boldsymbol {\theta }}$ (dmth, ${\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)={\boldsymbol {\theta }}$ ), atëherë kufiri Cramér–Rao reduktohet në

\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq I\left({\boldsymbol {\theta }}\right)^{-1}.

Kushtet e rregullsisë

Kufiri mbështetet në dy kushte të dobëta rregullsie mbi funksionin e densitetit të probabilitetit, $f(x;\theta )$ , dhe vlerësuesin $T(X)$ :

Informacioni i Fisherit është gjithmonë i përcaktuar; në mënyrë të barabartë, për të gjitha $x$ sikurse $f(x;\theta )>0$ , ${\frac {\partial }{\partial \theta }}\log f(x;\theta )$ ${\frac {\partial }{\partial \theta }}\log f(x;\theta )$
Veprimet e integrimit në lidhje me $x$ dhe diferencimi në lidhje me $\theta$ mund të ndërrohen në pritshmërinë e $T$ ; kjo eshte, ${\frac {\partial }{\partial \theta }}\left[\int T(x)f(x;\theta )\,dx\right]=\int T(x)\left[{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx$ ${\frac {\partial }{\partial \theta }}\left[\int T(x)f(x;\theta )\,dx\right]=\int T(x)\left[{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx$

Një provë e pavarur për rastin e përgjithshëm skalar

Supozojmë se $T=t(X)$ është një vlerësues me pritshmëri $\psi (\theta )$ (bazuar në vëzhgimet $X$ ), pra atë $\operatorname {E} (T)=\psi (\theta )$ . Qëllimi është që ta vërtetojmë këtë për të gjithë $\theta$ ,

\operatorname {var} (t(X))\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}.

Le $X$ të jetë një ndryshore e rastit me funksion të densitetit të probabilitetit $f(x;\theta )$ . Këtu $T=t(X)$ është një statistikë, e cila përdoret si vlerësues për $\psi (\theta )$ . Përcaktoni $V$ si rezultat :

V={\frac {\partial }{\partial \theta }}\ln f(X;\theta )={\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )

ku rregulli i zinxhirit përdoret në barazinë përfundimtare të mësipërme. Pastaj pritshmëria e $V$ , shkruar $\operatorname {E} (V)$ , është zero. Kjo është për shkak se:

\operatorname {E} (V)=\int f(x;\theta )\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx={\frac {\partial }{\partial \theta }}\int f(x;\theta )\,dx=0

ku derivati integral dhe i pjesshëm kanë këmbyer vendet (justifikohet me kushtin e dytë të rregullsisë).

Nëse marrim parasysh kovariancën $\operatorname {cov} (V,T)$ e $V$ dhe $T$ , ne kemi $\operatorname {cov} (V,T)=\operatorname {E} (VT)$ , sepse $\operatorname {E} (V)=0$ . Duke e zgjeruar këtë shprehje kemi

{\begin{aligned}\operatorname {cov} (V,T)&=\operatorname {E} \left(T\cdot \left[{\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )\right]\right)\\[6pt]&=\int t(x)\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]f(x;\theta )\,dx\\[6pt]&={\frac {\partial }{\partial \theta }}\left[\int t(x)f(x;\theta )\,dx\right]={\frac {\partial }{\partial \theta }}E(T)=\psi ^{\prime }(\theta )\end{aligned}}

përsëri sepse veprimet e integrimit dhe diferencimit ndërrohen (kushti i dytë).

Mosbarazimi Cauchy–Schwarz tregon këtë:

{\sqrt {\operatorname {var} (T)\operatorname {var} (V)}}\geq \left|\operatorname {cov} (V,T)\right|=\left|\psi ^{\prime }(\theta )\right|

prandaj

\operatorname {var} (T)\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{\operatorname {var} (V)}}={\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}

që vërteton propozimin.

Shembuj

Shpërndarja normale me shumë variacione

Për rastin e një shpërndarje normale <i id="mwATI">d</i> -variate

{\boldsymbol {x}}\sim {\mathcal {N}}_{d}\left({\boldsymbol {\mu }}({\boldsymbol {\theta }}),{\boldsymbol {C}}({\boldsymbol {\theta }})\right)

matrica e informacionit të Fisherit ka elemente ^[10]

I_{m,k}={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\operatorname {tr} \left({\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{k}}}\right)

ku "tr" është gjurma .

Për shembull, le $w[j]$ të jetë një shembull i $n$ vëzhgime të pavarura me mesatare të panjohur $\theta$ dhe variancën e njohur $\sigma ^{2}$ .

w[j]\sim {\mathcal {N}}_{d,n}\left(\theta {\boldsymbol {1}},\sigma ^{2}{\boldsymbol {I}}\right).

Pastaj informacioni i Fisher është një skalar i dhënë nga

I(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)^{T}{\boldsymbol {C}}^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)=\sum _{i=1}^{n}{\frac {1}{\sigma ^{2}}}={\frac {n}{\sigma ^{2}}},

dhe kështu kufiri Cramér–Rao jepet si

\operatorname {var} \left({\hat {\theta }}\right)\geq {\frac {\sigma ^{2}}{n}}.

Variancë normale me mesataren e njohur

Supozoni se X është një ndryshore e rastit e shpërndarë normalisht me mesataren e njohur $\mu$ dhe variancë të panjohur $\sigma ^{2}$ . Merrni parasysh statistikën e mëposhtme:

T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}.

Atëherë T është i paanshëm për $\sigma ^{2}$ , si $E(T)=\sigma ^{2}$ . Cila është varianca e T ?

\operatorname {var} (T)=\operatorname {var} \left({\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}\right)={\frac {\sum _{i=1}^{n}\operatorname {var} (X_{i}-\mu )^{2}}{n^{2}}}={\frac {n\operatorname {var} (X-\mu )^{2}}{n^{2}}}={\frac {1}{n}}\left[\operatorname {E} \left\{(X-\mu )^{4}\right\}-\left(\operatorname {E} \{(X-\mu )^{2}\}\right)^{2}\right]

(barazia e dytë rrjedh drejtpërdrejt nga përkufizimi i variancës). Termi i parë është momenti i katërt në lidhje me mesataren dhe ka vlerë $3(\sigma ^{2})^{2}$ ; i dyti është katrori i variancës, ose $(\sigma ^{2})^{2}$ . Kështu

\operatorname {var} (T)={\frac {2(\sigma ^{2})^{2}}{n}}.

Tani, cili është informacioni i Fisher në vëzhgime. Kujtojmë se rezultati $V$ përkufizohet si

V={\frac {\partial }{\partial \sigma ^{2}}}\log \left[L(\sigma ^{2},X)\right]

ku $L$ është funksioni i përgjasisë . Kështu në këtë rast,

\log \left[L(\sigma ^{2},X)\right]=\log \left[{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(X-\mu )^{2}/{2\sigma ^{2}}}\right]=-\log({\sqrt {2\pi \sigma ^{2}}})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}

V={\frac {\partial }{\partial \sigma ^{2}}}\log \left[L(\sigma ^{2},X)\right]={\frac {\partial }{\partial \sigma ^{2}}}\left[-\log({\sqrt {2\pi \sigma ^{2}}})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}\right]=-{\frac {1}{2\sigma ^{2}}}+{\frac {(X-\mu )^{2}}{2(\sigma ^{2})^{2}}}

ku barazia e dytë është nga llogaritja elementare. Kështu, informacioni në një vëzhgim të vetëm është vetëm minus pritshmëria e derivatit të $V$ , ose

I=-\operatorname {E} \left({\frac {\partial V}{\partial \sigma ^{2}}}\right)=-\operatorname {E} \left(-{\frac {(X-\mu )^{2}}{(\sigma ^{2})^{3}}}+{\frac {1}{2(\sigma ^{2})^{2}}}\right)={\frac {\sigma ^{2}}{(\sigma ^{2})^{3}}}-{\frac {1}{2(\sigma ^{2})^{2}}}={\frac {1}{2(\sigma ^{2})^{2}}}.

Kështu informacioni në një mostër të $n$ vëzhgimet e pavarura janë të drejta $n$ herë kjo, ose ${\frac {n}{2(\sigma ^{2})^{2}}}.$

Kufiri Cramér–Rao thotë se

\operatorname {var} (T)\geq {\frac {1}{I}}.

Në këtë rast, mosbarazimi është i ngopur (barazia arrihet), duke treguar se vlerësuesi është efikas .

Megjithatë, ne mund të arrijmë një gabim mesatar më të ulët në katror duke përdorur një vlerësues të njëanshëm. Vlerësuesi

T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n+2}}.

padyshim ka një variancë më të vogël, që është në fakt

\operatorname {var} (T)={\frac {2n(\sigma ^{2})^{2}}{(n+2)^{2}}}.

Anshmëria e tij është

\left(1-{\frac {n}{n+2}}\right)\sigma ^{2}={\frac {2\sigma ^{2}}{n+2}}

pra gabimi mesatar i tij në katror është

\operatorname {MSE} (T)=\left({\frac {2n}{(n+2)^{2}}}+{\frac {4}{(n+2)^{2}}}\right)(\sigma ^{2})^{2}={\frac {2(\sigma ^{2})^{2}}{n+2}}

që është më pak se ajo që vlerësuesit e paanshëm mund të arrijnë sipas kufirit Cramér–Rao.

^ Cramér, Harald (1946). Mathematical Methods of Statistics. Princeton, NJ: Princeton Univ. Press. ISBN 0-691-08004-6. OCLC 185436716. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)
^ Rao, Calyampudi Radakrishna (1945). "Information and the accuracy attainable in the estimation of statistical parameters". Bulletin of the Calcutta Mathematical Society. Calcutta Mathematical Society. 37: 81–89. MR 0015748. {{cite journal}}: Mungon ose është bosh parametri |language= (Ndihmë!)
^ Rao, Calyampudi Radakrishna (1994). S. Das Gupta (red.). Selected Papers of C. R. Rao. New York: Wiley. ISBN 978-0-470-22091-7. OCLC 174244259. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)
^ Fréchet, Maurice (1943). "Sur l'extension de certaines évaluations statistiques au cas de petits échantillons". Rev. Inst. Int. Statist. 11 (3/4): 182–205. doi:10.2307/1401114. JSTOR 1401114. {{cite journal}}: Mungon ose është bosh parametri |language= (Ndihmë!)
^ Darmois, Georges (1945). "Sur les limites de la dispersion de certaines estimations". Rev. Int. Inst. Statist. 13 (1/4): 9–15. doi:10.2307/1400974. JSTOR 1400974. {{cite journal}}: Mungon ose është bosh parametri |language= (Ndihmë!)
^ Aitken, A. C.; Silverstone, H. (1942). "XV.—On the Estimation of Statistical Parameters". Proceedings of the Royal Society of Edinburgh Section A: Mathematics (në anglisht). 61 (2): 186–194. doi:10.1017/S008045410000618X. ISSN 2053-5902.
^ Shenton, L. R. (1970). "The so-called Cramer–Rao inequality". The American Statistician. 24 (2): 36. JSTOR 2681931. {{cite journal}}: Mungon ose është bosh parametri |language= (Ndihmë!)
^ Nielsen, Frank (2013). "Cramér-Rao Lower Bound and Information Geometry". Connected at Infinity II. Texts and Readings in Mathematics. Vëll. 67. Hindustan Book Agency, Gurgaon. fq. 18-37. doi:10.1007/978-93-86279-56-9_2. ISBN 978-93-80250-51-9. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)
^ Suba Rao. "Lectures on statistical inference" (PDF). Arkivuar nga origjinali (PDF) më 2020-09-26. Marrë më 2020-05-24. {{cite web}}: Mungon ose është bosh parametri |language= (Ndihmë!)
^ Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall. fq. 47. ISBN 0-13-042268-1. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)

[Cramér-1] Cramér, Harald (1946). Mathematical Methods of Statistics. Princeton, NJ: Princeton Univ. Press. ISBN 0-691-08004-6. OCLC 185436716. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)

[Rao-2] Rao, Calyampudi Radakrishna (1945). "Information and the accuracy attainable in the estimation of statistical parameters". Bulletin of the Calcutta Mathematical Society. Calcutta Mathematical Society. 37: 81–89. MR 0015748. {{cite journal}}: Mungon ose është bosh parametri |language= (Ndihmë!)

[Rao_papers-3] Rao, Calyampudi Radakrishna (1994). S. Das Gupta (red.). Selected Papers of C. R. Rao. New York: Wiley. ISBN 978-0-470-22091-7. OCLC 174244259. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)

[Fréchet_1943-4] Fréchet, Maurice (1943). "Sur l'extension de certaines évaluations statistiques au cas de petits échantillons". Rev. Inst. Int. Statist. 11 (3/4): 182–205. doi:10.2307/1401114. JSTOR 1401114. {{cite journal}}: Mungon ose është bosh parametri |language= (Ndihmë!)

[Darmois_1945-5] Darmois, Georges (1945). "Sur les limites de la dispersion de certaines estimations". Rev. Int. Inst. Statist. 13 (1/4): 9–15. doi:10.2307/1400974. JSTOR 1400974. {{cite journal}}: Mungon ose është bosh parametri |language= (Ndihmë!)

[6] Aitken, A. C.; Silverstone, H. (1942). "XV.—On the Estimation of Statistical Parameters". Proceedings of the Royal Society of Edinburgh Section A: Mathematics (në anglisht). 61 (2): 186–194. doi:10.1017/S008045410000618X. ISSN 2053-5902.

[7] Shenton, L. R. (1970). "The so-called Cramer–Rao inequality". The American Statistician. 24 (2): 36. JSTOR 2681931. {{cite journal}}: Mungon ose është bosh parametri |language= (Ndihmë!)

[8] Nielsen, Frank (2013). "Cramér-Rao Lower Bound and Information Geometry". Connected at Infinity II. Texts and Readings in Mathematics. Vëll. 67. Hindustan Book Agency, Gurgaon. fq. 18-37. doi:10.1007/978-93-86279-56-9_2. ISBN 978-93-80250-51-9. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)

[SubaRao-9] Suba Rao. "Lectures on statistical inference" (PDF). Arkivuar nga origjinali (PDF) më 2020-09-26. Marrë më 2020-05-24. {{cite web}}: Mungon ose është bosh parametri |language= (Ndihmë!)

[10] Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall. fq. 47. ISBN 0-13-042268-1. {{cite book}}: Mungon ose është bosh parametri |language= (Ndihmë!)

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]