概念与定义

设总体X是离散型随机变量，其概率函数为p(x, θ)，其中θ是未知参数。设X1,X2,…,Xn为取自总体X的样本，则可求出X1,X2,…,Xn的联合概率函数。如果样本取值x1,x2,...,xn，则事件(X1=x1,X2=x2,…,Xn=xn)发生的概率是为可求，这一概率值随θ的值的变化而变化，从直观上来看，既然样本值x1,x2,...,xn已经出现，它们出现的概率相对来说应比较大，应使其概率取比较大的值。极大似然法就是在参数θ的可能取值范围内，选取使L(θ)达到最大的参数值θ，作为参数θ的估计值。即取θ，使得L(θ)=L(x1,x2,...,xn; θ)=max(x1,x2,...,xn; θ)。1

因此，求参数θ的极大似然估计值得问题就是求似然函数L(θ)最大值问题。通过解方程dL(θ)/dθ=0来得到，因为lnL(θ)和L(θ)的增减性相同，所以它们在θ的同一值处取得最大值，称lnL(θ)为对数似然函数，可以通过求解对数似然函数的最大值来得到极大似然解。2

求解步骤（1）由总体分布导出样本的联合概率密度函数；

（2）把样本联合概率密度函数中自变量看成已知常数，而把参数θ看作自变量，得到似然函数L(θ)；

（3）求似然函数的最大值点（常转化为求对数似然函数的最大值点）；

（4）在最大值点的表达式中，用样本值代入即得到参数的极大似然估计值。3

相关**（1）矩估计与极大似然估计**

对总体参数的估计分两种——点估计和区间估计。1

在点估计里，我们介绍两种求估计量的方法：矩估计法和极大似然估计法。

从矩估计法公式我们得到，对正态总体N(μ, σ2)，未知参数μ、σ2的矩估计与μ,、σ2的极大似然估计是相同的。一般地，在相当多的情况下，矩估计与极大似然估计是一致的，但也确有许多情形，矩估计法和极大似然估计法给出的估计是不同的。谁优谁劣？我们可以用估计量的优劣标准进行评价。除此之外，亦可以根据问题的实际意义进行判定。

（2）最大似然估计的原理
给定一个概率分布D ，假定其概率密度函数（连续分布）或概率聚集函数（离散分布）为fD，以及一个分布参数θ ，我们可以从这个分布中抽出一个具有n 个值的采样 ，通过利用fD，我们就能计算出其概率： 但是，我们可能不知道θ 的值，尽管我们知道这些采样数据来自于分布D 。那么我们如何才能估计出θ 呢？一个自然的想法是从这个分布中抽出一个具有n 个值的采样X1,X2,…,Xn，然后用这些采样数据来估计θ 。一旦我们获得 ，我们就能从中找到一个关于θ 的估计。最大似然估计会寻找关于 θ 的最可能的值（即，在所有可能的θ 取值中，寻找一个值使这个采样的“可能性”最大化）。2

应用对参数估计来说，预报误差法、极大似然估计法适用范围均较为广泛，他们不仅适用于线性模型，也适用于非线性模型，是处理残差序列相关情况下的另一类辨识方法。