最大似然估计与矩估计

最大似然估计
设统计模型\[X=(X_1,X_2,\cdots,X_n)\sim P_\theta(\theta\in \Theta).\]对于固定的样本值\((x_1,\cdots,x_n)\),关于参数\(\theta\)的函数\[L(\theta)=\prod_{i=1}^n P_\theta(X_i=x_i)\text(离散型)\]\[L(\theta)=\prod_{i=1}^n p(x_i,\theta)\text(连续型)\]称为似然函数。
如果似然函数存在最大值，则\[\hat{\theta}=arg\max_{\theta\in\Theta} L(\theta)\]称为\(\theta\)的最大似然估计（ML估计）。
一般求解最大似然估计的步骤如下：
(1) 建立统计模型（由经验或背景知识确定）；
(2) 求解\(L(\theta)\)的最大值，以及在何时取到；此时\(x_1,\cdots,x_n\)为参数，\(L(\theta)\)应为关于\(\theta\)的函数；
(3) 代入数据\(x_1,\cdots,x_n\)，得到\(\hat{\theta}.\)

矩估计
设\(X_1,\cdots,X_n\)为来自总体\(X\sim F_\theta(\theta\in\Theta)\)的一个样本，以下的矩存在且有限。
(1) l阶总体矩\(\alpha_l = E_\theta(X^l)\)，其估计定义为相应的样本矩，即\[\hat{\alpha_l} = a_l = \frac{1}{n} \sum_{i=1}^n X_i^l.\]
(2) 若连续函数\(\phi\)使得\(g(\theta) = \phi(\alpha_1,\cdots,\alpha_k)\)，则\(g(\theta)\)的矩估计定义为\[\hat{g}(\theta) = \phi(a_1,\cdots,a_k).\]
矩估计的理论依据是大数定律。

    所属分类：概率与统计     发表于2022-02-03