矩

认识矩

矩是一种数学计算方式，其数学本质是期望，一个变量的k阶矩为该变量的k次方期望
注：或者，理解为k次方均值，期望是相对于总体而言的，而均值是相对于样本而言的，二者之间通过大数定律建立联系

随机变量的矩

定义为：
设X,Y为随机变量，若
::: align-center
E(X^k),k=1,2,\cdots

:::
存在，称它为X的k阶原点矩，简称k阶矩
若
::: align-center
E\{[X-E(X)]^k\},k=1,2,\cdots

:::
存在，称它为X的k阶中心矩
若
::: align-center
E(X^kY^l),\space k,l=1,2,\cdots

:::
存在，称它为X和Y的k+l阶混合矩
若
::: align-center
E\{[X-E(X)]^k[Y-E(Y)]^l\},\space k,l=1,2,\cdots

:::
存在，称它为X和Y的k+l阶混合中心矩

显然，X的数学期望E(X)是X的一阶原点矩，方差Var(X)或(D(X))是X的二阶中心矩，协方差Cov(X,Y)是X和Y的二阶混合中心矩

此外，还有偏态（三阶中心距，向左偏斜，即“尾部在左侧较长”的分布具有负偏度，向右偏斜具有正偏度），峰度（四阶中心矩与方差平方的比值减3，用于衡量分布的波峰和尾部与正态分布相比时的区别）

矩母函数

我们这里暂时只涉及原点矩的母函数

引入

相信读者在看完上面以后会察觉到有很多分布的特征都用到了矩的定义，数学家们希望找到一个函数来高效地计算所有的矩，避免重复的积分或求和，如果这个函数存在的话，那么我们就可以直接使用此函数描述此分布的所有特征（期望，方差...），这个关于矩的"母函数"，即称为矩母函数(Movement Generating Function, MGF)

函数

一个随机变量X的矩母函数定义为
::: align-center
MGF_X(t)=E[e^{tX}]=\left\{\begin{matrix} \sum_{X}e^{tX}PMF(X) & Discreate\\ \int_{-\infty}^{\infty}e^{tX}PDF(X)dx & Continous \end{matrix} \right .

:::
其中PMF(X),PDF(X)分别为X为离散型随机变量时的概率质量函数（与中文教材中“分布律”的概念类似）和为连续型随机变量时的概率密度函数

与矩的关系

将此函数作为矩的母函数有一个很好的性质，那就是矩母函数的n阶导数后代入t=0，就是随机变量的n阶原点矩
::: align-center
E(X^n)=MGF^{(n)}_X(0)

:::

考虑泰勒级数
::: align-center
e^{tX}=1+tX+\frac{(tX)^2}{2!}+\cdots+\frac{(tX)^n}{n!}

:::
对两边取期望，且由期望的线性性得
::: align-center
E(e^{tX})=E(1)+tE(X)+\frac{t^2}{2!}E(X^2)+\frac{t^n}{n!}E(X^n)

:::
容易知道，将上面的函数求对t的n阶偏导，因为微分算子是线性的所以期望的线性性依然成立，求导运算可以放进期望内部，之后代入t=0即可得X的n阶原点矩

与拉氏变换的关系

容易知道，对PMF或PDF进行双边拉氏变换，并取s=-t即可得到MGF，就好像我们从时域信号得到频谱一样，对概率质量/密度函数做类似的变换我们也可以得到它们的“频谱”，包含了这个概率分布的各个特征

常用矩母函数

暂时只整理了笔者常用的

概率分布	PMF/PDF	MGF
正态分布（连续型）	f(x)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}	e^{\mu t+\frac{\sigma^2t^2}{2}}（标准正态分布时为e^{\frac{1}{2}t^2}）
指数分布（连续型）	f(x)=\frac{1}{\theta}e^{-\frac{x}{\theta}}(x>0)	\frac{1}{1-\theta t}(t<\frac{1}{\theta})
二项分布（离散型）	P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}	(1-p+pe^t)^n
泊松分布（离散型）	P(X=k)=\frac{\lambda^ke^{-\lambda}}{k!}	e^{\lambda(e^t-1)}

性质

性质描述	公式
一一对应	随机变量X,Y有相同的概率分布\Leftrightarrow MGF_X(t)=MGF_Y(t)
缩放&平移	MGF_{aX+b}(t)=e^{bt}MGF_{X}(at)
相互独立的随机变量间	MGF_{\sum_{i=1}^NX_i}=\prod_{i=1}^N MGF_{X_i}