Fisherinformatie

Zij ${\displaystyle \{f_{\vartheta }|\vartheta \in \Theta \}}$ een familie kansdichtheden, geparametriseerd door ${\displaystyle \vartheta \in \Theta }$, met ${\displaystyle \Theta }$ een open verzameling.

De fisherinformatie ${\displaystyle I(\vartheta )}$ is gedefinieerd als de verwachtingswaarde van het kwadraat van de score ${\displaystyle S(\vartheta ,x)}$ voor de uitkomst ${\displaystyle x}$:

${\displaystyle S(\vartheta ,x)={\frac {\partial }{\partial \vartheta }}\ln f_{\vartheta }(x)={\frac {{\frac {\partial }{\partial \vartheta }}f_{\vartheta }(x)}{f_{\vartheta }(x)}}}$

en

${\displaystyle I(\vartheta )=\operatorname {E} (S^{2}(\vartheta ,X))}$,

waarin ${\displaystyle X}$ de kansdichtheid ${\displaystyle f_{\vartheta }}$ heeft.

Onder bepaalde regulariteitsvoorwaarden is de verwachtingswaarde van de score gelijk aan 0, zodat de fisherinformatie dan ook gelijk is aan de variantie van de score:

${\displaystyle I(\vartheta )=\operatorname {var} (S(\vartheta ,X))}$

Als de parameter meerdimensionaal is: ${\displaystyle \vartheta =(\vartheta _{1},\ldots ,\vartheta _{m})}$, is de fisherinformatiematrix de generalisatie van de fisherinformatie. Deze is gedefinieerd als de symmetrische matrix ${\displaystyle I(\vartheta )}$ met als elementen:

${\displaystyle [I(\vartheta )]_{rk}={\frac {\partial }{\partial \vartheta _{r}}}\ln(f_{\vartheta }(x)){\frac {\partial }{\partial \vartheta _{k}}}\ln(f_{\vartheta }(x))={\frac {1}{(f_{\vartheta }(x))^{2}}}{\frac {\partial }{\partial \vartheta _{r}}}f_{\vartheta }(x){\frac {\partial }{\partial \vartheta _{k}}}f_{\vartheta }(x)}$

In het geval van een discrete verdeling betreft het dichtheden ten opzichte van de telmaat, dus kansfuncties.

Binomiale verdeling

Voor de binomiale verdeling met parameters ${\displaystyle n}$ en succeskans ${\displaystyle p}$ geldt:

${\displaystyle S(p,x)={\frac {x-np}{p(1-p)}}}$

Er geldt:

${\displaystyle \operatorname {E} S(p,X)=\operatorname {E} {\frac {X-np}{p(1-p)}}=0}$,

zodat de fisherinformatie is:

${\displaystyle I(p)=\operatorname {var} S(p,X)=\operatorname {var} \left({\frac {X-np}{p(1-p)}}\right)={\frac {n}{p(1-p)}}}$

Poissonverdeling

Voor de poissonverdeling met parameter ${\displaystyle \lambda }$ geldt:

${\displaystyle S(\lambda ,x)={\frac {x}{\lambda }}-1}$

Ook is weer:

${\displaystyle \operatorname {E} S(\lambda ,X)={\frac {\operatorname {E} X}{\lambda }}-1=0}$

De fisherinformatie is dus:

${\displaystyle I(\lambda )=\operatorname {var} S(\lambda ,X)={\frac {\operatorname {var} (X)}{\lambda ^{2}}}={\frac {1}{\lambda }}}$

Exponentiële verdeling

Voor de exponentiële verdeling met parameter ${\displaystyle \lambda }$ geldt:

${\displaystyle S(\lambda ,x)={\frac {\partial }{\partial \lambda }}\ln \left(\lambda e^{-\lambda x}\right)={\frac {\partial }{\partial \lambda }}(\ln \lambda -\lambda x)={\frac {1}{\lambda }}-x}$

Er geldt weer:

${\displaystyle \operatorname {E} S(\lambda ,X)={\frac {1}{\lambda }}-\operatorname {E} X=0}$

De fisherinformatie is dus:

${\displaystyle I(\lambda )=\operatorname {var} (S(\lambda ,X))=\operatorname {var} (X)={\frac {1}{\lambda ^{2}}}}$

Normale verdeling

Voor de normale verdeling met parameters 0 en ${\displaystyle \sigma ^{2}=\vartheta }$ geldt:

${\displaystyle S(\vartheta ,x)=-{\frac {1}{2\vartheta }}+{\frac {x^{2}}{2\vartheta ^{2}}}}$

Er geldt weer:

${\displaystyle \operatorname {E} S(\vartheta ,X)=-{\frac {1}{2\vartheta }}+{\frac {\operatorname {E} X^{2}}{2\vartheta ^{2}}}=0}$

De fisherinformatie is dus:

${\displaystyle I(\sigma ^{2})=I(\vartheta )=\operatorname {var} (S(\vartheta ,X))={\frac {\operatorname {var} (X^{2})}{4\vartheta ^{4}}}={\frac {1}{2\vartheta ^{2}}}={\frac {1}{2\sigma ^{4}}}}$

Vat men ${\displaystyle \sigma }$ als parameter op, dan geldt:

${\displaystyle S(\sigma ,x)=-{\frac {1}{\sigma }}+{\frac {x^{2}}{\sigma ^{3}}}}$

Ook dan is:

${\displaystyle \operatorname {E} S(\sigma ,X)=-{\frac {1}{\sigma }}+{\frac {\operatorname {E} X^{2}}{\sigma ^{3}}}=0}$

zodat

${\displaystyle I(\sigma )=\operatorname {var} (S(\sigma ,X))={\frac {\operatorname {var} (X^{2})}{\sigma ^{6}}}={\frac {2}{\sigma ^{2}}}}$

Als de verwachtingswaarde gelijk is aan ${\displaystyle \mu }$ geldt voor deze parameter:

${\displaystyle S(\mu ,x)={\frac {x-\mu }{\sigma ^{2}}}}$

Weer is

${\displaystyle \operatorname {E} S(\mu ,X)=\operatorname {E} {\frac {x-\mu }{\sigma ^{2}}}=0}$

en is:

${\displaystyle I(\mu )=\operatorname {var} (S(\mu ,X))={\frac {\operatorname {var} (X)}{\sigma ^{4}}}={\frac {1}{\sigma ^{2}}}}$

Voor het parameterpaar ${\displaystyle (\mu ,\sigma ^{2})}$ geldt:

${\displaystyle S((\mu ,\sigma ^{2}),x)=\left({\frac {x-\mu }{\sigma ^{2}}},{\frac {(x-\mu )^{2}-\sigma ^{2}}{2\sigma ^{4}}}\right)}$,

zodat de fisherinformatiematrix gelijk is aan:

${\displaystyle I(\mu ,\sigma ^{2})=\operatorname {E} {\begin{bmatrix}{\frac {(X-\mu )^{2}}{\sigma ^{4}}}&{\frac {X-\mu }{\sigma ^{2}}}{\frac {(X-\mu )^{2}-\sigma ^{2}}{2\sigma ^{4}}}\\{\frac {X-\mu }{\sigma ^{2}}}{\frac {(X-\mu )^{2}-\sigma ^{2}}{2\sigma ^{4}}}&{\frac {((X-\mu )^{2}-\sigma ^{2})^{2}}{4\sigma ^{8}}}\end{bmatrix}}={\begin{bmatrix}{\frac {1}{\sigma ^{2}}}&0\\0&{\frac {1}{2\sigma ^{4}}}\end{bmatrix}}}$