Dans cet article, nous explorerons en détail l'impact de Entropie différentielle sur la société actuelle. Tout au long de l'histoire, Entropie différentielle a joué un rôle fondamental dans la vie des gens, influençant leur façon de penser, d'agir et de se rapporter au monde qui les entoure. Depuis ses origines jusqu'à nos jours, Entropie différentielle a fait l'objet de débats et de controverses, générant des opinions mitigées et éveillant des émotions mitigées. Grâce à une analyse complète, nous examinerons comment Entropie différentielle a façonné la culture, la politique, l'économie et d'autres aspects de la société, et réfléchirons à sa pertinence dans les temps modernes. Cet article cherche à offrir une vision complète et enrichissante de Entropie différentielle , invitant le lecteur à réfléchir et à approfondir un sujet de grande importance pour le monde d'aujourd'hui.
Si ce bandeau n'est plus pertinent, retirez-le. Cliquez ici pour en savoir plus. L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues.
Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble
X
{\displaystyle \mathbb {X} }
h (x )
h
(
X
)
=
−
∫
X
f
(
x
)
ln
f
(
x
)
d
x
.
{\displaystyle h(X)=-\int _{\mathbb {X} }f(x)\ln f(x)\,\mathrm {d} x.}
Pour un couple de variables aléatoires (X , Y ) de loi jointe f (x ,y )X sachant Y vaut :
h
(
X
|
Y
)
=
−
∫
X
∫
Y
f
(
x
,
y
)
ln
f
(
x
|
y
)
d
x
d
y
.
{\displaystyle h(X|Y)=-\int _{\mathbb {X} }\int _{\mathbb {Y} }f(x,y)\ln f(x|y)\,\mathrm {d} x\mathrm {d} y.}
∀
(
a
,
c
)
∈
R
∗
×
R
,
h
(
a
X
+
c
)
=
h
(
X
)
+
ln
(
|
a
|
)
{\displaystyle \forall (a,c)\in \mathbb {R} ^{*}\times \mathbb {R} ,h(aX+c)=h(X)+\ln(|a|)}
L'entropie différentielle d'une loi continue peut être négative, contrairement à celle d'une loi discrète.
Majoration : Soit X une variable aléatoire continue de variance Var(X ) . Alors on a
h
(
X
)
⩽
1
2
ln
(
2
π
e
V
a
r
(
X
)
)
,
{\displaystyle h(X)\leqslant {\frac {1}{2}}\ln(2\pi \mathrm {e} \mathrm {Var} (X)),}
avec égalité si et seulement si X suit une loi normale.
Dans le tableau qui suit,
Γ
(
x
)
=
∫
0
∞
e
−
t
t
x
−
1
d
t
{\textstyle \Gamma (x)=\int _{0}^{\infty }{\rm {e}}^{-t}t^{x-1}{\rm {d}}t}
fonction gamma ,
ψ
(
x
)
=
d
d
x
ln
Γ
(
x
)
=
Γ
′
(
x
)
Γ
(
x
)
{\textstyle \psi (x)={\frac {\rm {d}}{{\rm {d}}x}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}
fonction digamma ,
B
(
p
,
q
)
=
Γ
(
p
)
Γ
(
q
)
Γ
(
p
+
q
)
{\textstyle \mathrm {B} (p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}}
fonction bêta , et γ constante d'Euler-Mascheroni .
Table d'entropies différentielles de lois usuelles.
Distribution
Fonction de distribution de probabilités
Entropie
Loi uniforme continue
f
(
x
)
=
1
b
−
a
1
1
[
a
,
b
]
{\displaystyle f(x)={\frac {1}{b-a}}1\!\!1_{}}
ln
(
b
−
a
)
{\displaystyle \ln(b-a)\,}
Loi normale
f
(
x
)
=
1
2
π
σ
2
exp
(
−
(
x
−
μ
)
2
2
σ
2
)
{\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}
ln
(
σ
2
π
e
)
{\displaystyle \ln \left(\sigma {\sqrt {2\pi \,{\rm {e}}}}\right)}
Loi exponentielle
f
(
x
)
=
λ
exp
(
−
λ
x
)
{\displaystyle f(x)=\lambda \exp \left(-\lambda x\right)}
1
−
ln
λ
{\displaystyle 1-\ln \lambda \,}
Loi de Cauchy
f
(
x
)
=
λ
π
1
λ
2
+
x
2
{\displaystyle f(x)={\frac {\lambda }{\pi }}{\frac {1}{\lambda ^{2}+x^{2}}}}
ln
(
4
π
λ
)
{\displaystyle \ln(4\pi \lambda )\,}
Loi du χ²
f
(
x
)
=
1
2
n
/
2
σ
n
Γ
(
n
/
2
)
x
n
2
−
1
exp
(
−
x
2
σ
2
)
{\displaystyle f(x)={\frac {1}{2^{n/2}\sigma ^{n}\Gamma (n/2)}}x^{{\frac {n}{2}}-1}\exp \left(-{\frac {x}{2\sigma ^{2}}}\right)}
ln
2
σ
2
Γ
(
n
2
)
−
(
1
−
n
2
)
ψ
(
n
2
)
+
n
2
{\displaystyle \ln 2\sigma ^{2}\Gamma \left({\frac {n}{2}}\right)-\left(1-{\frac {n}{2}}\right)\psi \left({\frac {n}{2}}\right)+{\frac {n}{2}}}
Distribution Gamma
f
(
x
)
=
x
α
−
1
exp
(
−
x
β
)
β
α
Γ
(
α
)
{\displaystyle f(x)={\frac {x^{\alpha -1}\exp(-{\frac {x}{\beta }})}{\beta ^{\alpha }\Gamma (\alpha )}}}
ln
(
β
Γ
(
α
)
)
+
(
1
−
α
)
ψ
(
α
)
+
α
{\displaystyle \ln(\beta \Gamma (\alpha ))+(1-\alpha )\psi (\alpha )+\alpha \,}
Loi logistique
f
(
x
)
=
e
−
x
(
1
+
e
−
x
)
2
{\displaystyle f(x)={\frac {{\rm {e}}^{-x}}{(1+{\rm {e}}^{-x})^{2}}}}
2
{\displaystyle 2\,}
Statistique de Maxwell-Boltzmann
f
(
x
)
=
4
π
−
1
2
β
3
2
x
2
exp
(
−
β
x
2
)
{\displaystyle f(x)=4\pi ^{-{\frac {1}{2}}}\beta ^{\frac {3}{2}}x^{2}\exp(-\beta x^{2})}
1
2
ln
π
β
+
γ
−
1
2
{\displaystyle {\frac {1}{2}}\ln {\frac {\pi }{\beta }}+\gamma -{\frac {1}{2}}}
Distribution de Pareto
f
(
x
)
=
a
k
a
x
a
+
1
{\displaystyle f(x)={\frac {ak^{a}}{x^{a+1}}}}
ln
k
a
+
1
+
1
a
{\displaystyle \ln {\frac {k}{a}}+1+{\frac {1}{a}}}
Loi de Student
f
(
x
)
=
(
1
+
x
2
/
n
)
−
n
+
1
2
n
B
(
1
2
,
n
2
)
{\displaystyle f(x)={\frac {(1+x^{2}/n)^{-{\frac {n+1}{2}}}}{{\sqrt {n}}\mathrm {B} ({\frac {1}{2}},{\frac {n}{2}})}}}
n
+
1
2
ψ
(
n
+
1
2
)
−
ψ
(
n
2
)
+
ln
n
B
(
1
2
,
n
2
)
{\displaystyle {\frac {n+1}{2}}\psi \left({\frac {n+1}{2}}\right)-\psi \left({\frac {n}{2}}\right)+\ln {\sqrt {n}}\,\mathrm {B} \left({\frac {1}{2}},{\frac {n}{2}}\right)}
Distribution de Weibull
f
(
x
)
=
c
α
x
c
−
1
exp
(
−
x
c
α
)
{\displaystyle f(x)={\frac {c}{\alpha }}x^{c-1}\exp \left(-{\frac {x^{c}}{\alpha }}\right)}
(
c
−
1
)
γ
c
+
ln
α
1
/
c
c
+
1
{\displaystyle {\frac {(c-1)\gamma }{c}}+\ln {\frac {\alpha ^{1/c}}{c}}+1}
Loi normale multidimensionnelle
f
X
(
x
1
,
…
,
x
N
)
=
{\displaystyle f_{X}(x_{1},\dots ,x_{N})=}
1
(
2
π
)
N
/
2
|
Σ
|
1
/
2
exp
(
−
1
2
(
x
−
μ
)
⊤
Σ
−
1
(
x
−
μ
)
)
{\displaystyle {\frac {1}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}\exp \left(-{\frac {1}{2}}(x-\mu )^{\top }\Sigma ^{-1}(x-\mu )\right)}
1
2
ln
[
(
2
π
e
)
N
|
Σ
|
]
{\displaystyle {\frac {1}{2}}\ln \left}
Voir aussi
Liens externes
