贝叶斯分类器

贝叶斯公式

定理 设试验 $E$ 的样本空间为 $S$, $A$ 为 $E$ 的事件, $B_1,B_2,\dots ,B_n$ 为 $S$ 的一个划分, 且 $P(A)>0,P(B_i)>0$ ($i=1,2,\dots ,n$), 则

$$P(B_i\mid A)=\frac{P(A\mid B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A\mid B_j)P(B_j)},i=1,2,\dots ,n.$$

其中，分子其实是$P(A{B}_i)$ ，分母是 $P(A)$

贝叶斯分类器就是在假设相关概念已知的情况下，基于这些概率为样本判定最优的类标

贝叶斯决策论

将$B_i$ 看做一个类标，A看作一个新的样本，那么条件概率 $P(B_i|A)$ 可以看成是样本A分到类别$B_i$ 的概率。

在机器学习训练框架下，需要定义一个风险函数，在贝叶斯框架下的可以定义条件风险

$$R(c_i\mid \mathbf{x})=\sum _{j=1}^N{\lambda }_{ij}P(c_j\mid \mathbf{x}).$$

• ${\lambda }_{ij}$是分类的损失，后者是概率

任务是寻找一个判定准则，最小化所有样本的条件风险总和，因此有了贝叶斯判定准则，为最小化总体风险，就是要为每个样本选择风险最小的分类

$$h^{\ast }(\mathbf{x})=\underset{c\in \mathcal{Y}}{\mathrm{argmin}}R(c\mid \mathbf{x}),$$

若损失函数 $\lambda$ 取 01 损失（错了是1，对了是0），那么对于每个样本x，选择其后验概率$P(c|x)$ 最大所对应的分类，可以使得总体的风险最小，将原问题转换为估计后验概率

风险函数为：

$$R(c\mid \mathbf{x})=1-P(c\mid \mathbf{x})$$

含义是 如果概率最大的分类认为是正确的，那么所有损失加起来就是 $1-正确的概率$

有两种方法来估计后验概率

• 判别式模型：直接对$P(c|x)$ 建模求解，例如使用：决策树，神经网络，SVM等
• 生成式模型：先对联合分布$P(x,c)$ 建模，再进一步求解$P(c|x)$

贝叶斯分类器属于生成式模型，基于贝叶斯公式对后验概率进行变换，得到

$$P(c\mid \mathbf{x})=\frac{P(c)P(\mathbf{x}\mid c)}{P(\mathbf{x})},$$

其中：

• $P(c)$ 称为类先验概率
• $P(x|c)$ 称为类条件概率（或者称为似然）
• $P(x)$ 称为证据因子

Note

一些解释

先验概率：根据以往经验和分析得到的概率

后验概率：后验概率是基于新的信息，修正原来的先验概率后获得的更接近实际情况的概率估计

Note

如何理解后验概率与条件概率？

这样来看，后验概率是已知学生穿裤子，其是女生的概率，也就是说后验概率直观上来说是一种条件概率

对于类先验概率，其实就是样本所占的比例，根据 大数定理（样本点足够多，频率趋于稳定等于概率），当样本充足的时候，可以用各类出现的频率替代

因此对目标式优化只剩下类条件概率，实际到属性联合概率问题，当属性多时采用频率十分困难，采用极大似然法估计。

极大似然法

极大似然估计(Maximum Likelihood Estimation)，是一种根据数据采样来估计概率分布的经典方法，常用的策略是先假定总体具有某种确定的概率分布，基于训练样本对概率分布的参数进行估计。

运用类条件概率$p(x|c)$ ，假设$p(x|c)$ 服从一个参数为$\theta$ 的分布，问题就变为根据已知的训练样本来估计 $\theta$ ，极大似然法的核心在于：估计出的参数使得已知样本出现的概率最大，也就是训练数据的似然最大

令$D_c$表示训练集D中第c类样本组成的集合，假设这些样本是独立同分布的，则参数${\theta }_c$对于数据集$D_c$ 的似然就是

$$P(D_c|{\theta }_c)=\prod _{x\in D_c}P(x|{\theta }_c)$$

这个式子的含义是，在相互独立的情况下，观察到整个数据集$D_c$ 的似然性，等于 每个数据点x在给定参数${\theta }_c$ 下属于类别 c 的概率的乘积

连乘操作使得求解变得十分复杂，一般我们使用对数似然(log-likelihood)：

$$\begin{gathered} LL({\theta }_c)=\log P(D_c|{\theta }_c) \\ =\sum _{x\in D_c}\log P(x|{\theta }_c), \end{gathered}$$

此时参数${\theta }_c$的极大似然估计${\hat{\theta }}_c$ 为

$${\hat{\theta }}_c=\arg \underset{{\theta }_c}{\max }LL({\theta }_c).$$

贝叶斯分类器的训练过程就是参数估计，大体分为四个步骤：

1. 写出似然函数
2. 取对数，整理
3. 求导，偏导为0，得到似然方程
4. 解似然方程组，得到参数

不过MLE很大程度依赖于假设是否合理，是否符合潜在的真实数据分布，这需要大量经验

朴素贝叶斯分类器

原始贝叶斯分类器问题在于联合概率密度函数的估计，需要经验来假设联合概率分布，或者属性很多时，训练样本覆盖不够，参数估计出现很大的偏差。

朴素贝叶斯分类器（naive Bayes classifier）采用”属性条件独立性假设“即样本数据的所有属性之间相互独立

这样类条件概率就等于

$$P(\mathbf{x}|c)=\prod _{i=1}^{d}P(x_i|c)$$

也就是每个样本估计类条件概率变成每个样本的每个属性估计类条件乘积

• 对于离散属性

$$P(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|}.$$

• 对于连续属性（若正态分布）

$$p(x_i|c)=\frac{1}{\sqrt{2\pi {\sigma }_{c,i}^2}}\exp \left(-\frac{(x_i-{\mu }_{c,i}{)}^2}{2{\sigma }_{c,i}^2}\right).$$

朴素贝叶斯分类器基于单个的属性计算类条件概率，更加容易操作，但是如果某个属性在训练集中和某个类别没有一起出现过，会抹掉属性信息，因为该样本的类条件概率计算为0（乘积，一个是0，全是0）。

因此在估计概率值时，常用平滑处理，拉普拉斯修正，计算方法如下：

$$\hat{P}(c)=\frac{|D_c|+1}{|D|+N},$$ $$\hat{P}(x_i|c)=\frac{|D_{c,x_i}|+1}{|D_c|+N_i}.$$

当训练集越大，拉普拉斯修正引入的影响就越小，对贝叶斯分类，模型训练就是参数估计，可以事先将所有概率存储好，有新样本时，直接查表计算