Logo
目录

最大似然估计与经验风险最小化

MathewShen MathewShen
March 3, 2017
1 min read
统计学 笔记

李航老师《统计学习方法》第一章笔记——经验风险最小化推导极大似然估计

题目：当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计

预备知识

统计学习三要素

模型的假设空间，模型选择的标准以及模型学习的算法是统计学习方法的三要素。

简记为：方法 = 模型 + 策略 + 算法

损失函数

在模型的假设空间，我们要确定一定的准则来确定模型的好坏，即我们需要确定一定的策略三要素之一去衡量，所以我们引入了损失函数 loss function 或代价函数 cost function.

损失函数有很多种，例如 0-1 损失函数，平方损失函数等，这里我们要用的是对数损失函数。

L(Y,P(Y∣X))=−log⁡P(Y∣X)L(Y, P(Y | X)) = - \log P(Y | X)

风险函数

选定损失函数后，其值越小，模型就越好。模型的输入与输出 (X,Y)(X, Y) 是随机变量，遵循联合分布 P(X,Y)P(X, Y)，所以损失函数的期望为：

Rexp=Ep[L(Y,f(X))]=∫X×YL(y,f(x))P(x,y)dxdyR_{exp} = E_p[L(Y, f(X))] = \int_{X \times Y} L(y, f(x))P(x, y)dxdy

这就是风险函数 risk function 或 期望损失 expected loss, 其代表理论上模型f(X)f(X) 关于联合分布 P(X,Y)P(X, Y)的平均意义下的损失。

经验风险

关于有监督学习的病态问题 ill-formed problem: 一方面，根据最小化风险函数确立最优的的模型需要联合分布 P(X,Y)P(X, Y)，另一方面此联合分布又是未知的。

我们想到用样本估计整体，为此我们引入经验风险 empirical risk 或经验损失 empirical loss：

Remp(f)=1N∑i=1NL(yi,f(xi))R_{emp}(f) = \frac{1}{N}\sum_{i=1}^{N}L(y_i, f(x_i))

其中，定义训练集为：

T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T = \{(x_1, y_1), (x_2, y_2), \cdots , (x_N, y_N)\}

根据大数定律，在样本量 N 趋向于无穷时， Remp(f)R_{emp}(f)趋于Rexp(f)R_{exp}(f). 当然实际上标注好的样本一般达不到要求，所以效果不太好，这时我们可以引入关于模型复杂度的罚项来纠正，这里暂时不展开讨论。

极大似然估计

证明

设x1,x2,⋯ ,xnx_1, x_2, \cdots , x_n为独立同分布 i.i.d., independent and identically distributed 的样本，θ\theta为模型参数，ff为我们使用的模型。

由 i.i.d.:

f(x1,x2,⋯ ,xn)=f(x1∣θ)×f(x2∣θ)×⋯×f(xn∣θ)f(x_1, x_2, \cdots, x_n) = f(x_1|\theta)\times f(x_2|\theta)\times \cdots \times f(x_n|\theta)

而实际上我们已知x1,x2,⋯ ,xnx_1, x_2, \cdots , x_n, 未知的是，θ\theta，故似然定义为：

L(θ∣x1,x2,⋯ ,xn)=f(x1,x2,⋯ ,xn∣θ)=∐i=1nf(xi∣θ)L(\theta|x_1, x_2, \cdots , x_n) = f(x_1, x_2, \cdots , x_n|\theta) = \coprod_{i=1}^{n}f(x_i|\theta)

此为样本发生可能性的大小，而极大似然估计的核心即为，以使得当前样本发生概率最大时的参数θ^\hat{\theta}作为真实参数θ\theta的一个估计值。所以此时我们要求的是L(θ∣x1,x2,⋯ ,xn)L(\theta|x_1, x_2, \cdots , x_n)取得最大值时θ\theta的值，即为θ^\hat{\theta}。即问题转化为求L(θ∣x1,x2,⋯ ,xn)L(\theta|x_1, x_2, \cdots , x_n)的极值问题。自然想到导数，而由于连乘的存在，可利用对数函数单调递增的性质，两边取对数再求导，可以简化计算。

ln⁡L(θ∣x1,x2,⋯ ,xn)=∑i=1nln⁡f(xi∣θ)\ln{L(\theta|x_1, x_2, \cdots, x_n)} = \sum_{i=1}^{n}\ln{f(x_i|\theta)}

上式即为对数似然，而一般而言的最大似然中的似然指的是对数平均似然l^\hat{l}，即为：

l^=1nln⁡L\hat{l} = \frac{1}{n}\ln{L}

整理得：

θ^=arg⁡max⁡θϵRnl^(θ∣x1,x2,⋯ ,xn)\hat{\theta} = \mathop{\arg\max}_{\theta\epsilon R^n}\hat{l}(\theta|x_1, x_2, \cdots, x_n)

看到，极大似然估计即为：

max1n∑i=1nln⁡f(xi∣θ)max\frac{1}{n}\sum_{i=1}^{n}\ln{f(x_i|\theta)}

即：

min1n∑i=1n−ln⁡f(xi∣θ)min\frac{1}{n}\sum_{i=1}^{n}-\ln{f(x_i|\theta)}

而经验风险最小化公式为：

arg⁡min⁡fϵF1N∑i=1NL(yi,f(xi))\mathop{\arg\min}_{f\epsilon F}\frac{1}{N}\sum_{i=1}^{N}L(y_i, f(x_i))

所以，在模型为条件概率分布模型，损失函数是对数损失函数L(Y,P(Y∣X))=−log⁡P(Y∣X)L(Y, P(Y | X)) = - \log P(Y | X)时，经验风险最小化就等价于极大似然估计

证毕。