贝叶斯

阿药 4/14/2021 贝叶斯

# 什么是贝叶斯决策论？

贝叶斯决策论是概率框架下实施决策的基本方法。要了解贝叶斯决策论，首先得先了解以下几个概念：先验概率、条件概率、后验概率、误判损失、条件风险、贝叶斯判别准则。

先验概率：

所谓先验概率，就是根据以往的经验或者现有数据的分析所得到的概率。如，随机扔一枚硬币，则p(正面) = p(反面) = 1/2，这是我们根据已知的知识所知道的信息，即p(正面) = 1/2为先验概率。

条件概率：

所谓条件概率是指事件A在另一事件B发生的条件下发生的概率。用数学符号表示为：P(B|A)，即B在A发生的条件下发生的概率。举个栗子，你早上误喝了一瓶过期了的牛奶（A），那我们来算一下你今天拉肚子的概率（B），这个就叫做条件概率。即P（拉肚子|喝了过期牛奶），易见，条件概率是有因求果（知道原因推测结果）。

后验概率：

后验概率跟条件概率的表达形式有点相似。数学表达式为p(A|B), 即A在B发生的条件下发生的概率。以误喝牛奶的例子为例，现在知道了你今天拉肚子了（B），算一下你早上误喝了一瓶过期了的牛奶(A)的概率, 即P（A|B），这就是后验概率，后验概率是有果求因（知道结果推出原因）

误判损失：

数学表达式：

误判损失表示把一个标记为i类的样本误分类为j类所造成的损失。比如，当你去参加体检时，明明你各项指标都是正常的，但是医生却把你分为癌症病人，这就造成了误判损失，用数学表示为：L(癌症|正常)。

条件风险：

是指基于后验概率可获得将样本分类为所产生的期望损失，公式为：。（其实就是所有判别损失的加权和，而这个权就是样本判为j类的概率，样本本来应该含有的概率判为类，但是却判为了类，这就造成了错判损失，而将所有的错判损失与正确判断的概率的乘积相加，就能得到样本错判为i类的平均损失，即条件风险。）

贝叶斯判别准则：

贝叶斯判别准则是找到一个使条件风险达到最小的判别方法。即，将样本判为哪一类，所得到的条件风险（或者说平均判别损失）最小，那就将样本归为那个造成平均判别损失最小的类。

此时：就称为贝叶斯最优分类器。

总结：贝叶斯决策论是基于先验概率求解后验概率的方法，其核心是寻找一个判别准则使得条件风险达到最小。而在最小化分类错误率的目标下，贝叶斯最优分类器又可以转化为求后验概率达到最大的类别标记，即

$（。$ 此时，

# 你知道什么叫做朴素贝叶斯吗？

朴素贝叶斯采用属性条件独立性的假设，对于给定的待分类观测数据X,计算在X出现的条件下，各个目标类出现的概率（即后验概率），将该后验概率最大的类作为X所属的类。

,因为表示观测数据X出现的概率，它在所有关于X的分类计算公式中都是相同的，所以我们可以把p(B)忽略，则。

# 公司里面男性有60人，女性有40人，男性穿皮鞋的人数有25人，穿运动鞋的人数有35人，女性穿皮鞋的人数有10人，穿高跟鞋的人数有30人。现在你只知道有一个人穿了皮鞋，这时候你就需要推测他的性别是什么。如果推测出他是男性的概率大于女性，那么就认为他是男性，否则认为他是女性。

此题为常规的贝叶斯公式的运用，计算如下：

p(性别 = 男性) = 0.6
p(性别 = 女性) = 0.4
p(穿皮鞋|男性)  = 0.417
p(穿皮鞋|女性) = 0.25
p(男性|穿皮鞋) = p(穿皮鞋|男性) * p(性别 = 男性) = 0.2502
p(女性|穿皮鞋) = p(穿皮鞋|女性) * p(性别 = 女性) = 0.1

1
2
3
4
5
6

因为0.2502>0.1, 所以我们可以认为这个人是男性。

# 你能给我说说朴素贝叶斯有什么优缺点吗？

朴素贝叶斯的优点有4个，分别是：

朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
对缺失数据不太敏感，算法也比较简单，常用于文本分类。
分类准确度高，速度快。
对小规模的数据表现很好，能处理多分类任务，适合增量式训练，当数据量超出内存时，我们可以一批批的去增量训练(朴素贝叶斯在训练过程中只需要计算各个类的概率和各个属性的类条件概率，这些概率值可以快速地根据增量数据进行更新，无需重新全量计算)。

朴素贝叶斯的缺点有3个，分别是：

对训练数据的依赖性很强，如果训练数据误差较大，那么预测出来的效果就会不佳。
理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是在实际中，因为朴素贝叶斯“朴素”的特点，导致在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。
需要知道先验概率，且先验概率很多时候是基于假设或者已有的训练数据所得的，这在某些时候可能会因为假设先验概率的原因出现分类决策上的错误。

# “朴素”是朴素贝叶斯在进行预测时候的缺点，那么有这么一个明显的假设缺点在，为什么朴素贝叶斯的预测仍然可以取得较好的效果？

对于分类任务来说，只要各个条件概率之间的排序正确，那么就可以通过比较概率大小来进行分类，不需要知道精确的概率值(朴素贝叶斯分类的核心思想是找出后验概率最大的那个类，而不是求出其精确的概率)
如果属性之间的相互依赖对所有类别的影响相同，或者相互依赖关系可以互相抵消，那么属性条件独立性的假设在降低计算开销的同时不会对分类结果产生不良影响。

# 什么是拉普拉斯平滑法？

拉普拉斯平滑法是朴素贝叶斯中处理零概率问题的一种修正方式。在进行分类的时候，可能会出现某个属性在训练集中没有与某个类同时出现过的情况，如果直接基于朴素贝叶斯分类器的表达式进行计算的话就会出现零概率现象。为了避免其他属性所携带的信息被训练集中未出现过的属性值“抹去”，所以才使用拉普拉斯估计器进行修正。

具体的方法是：在分子上加1,对于先验概率，在分母上加上训练集中可能的类别数；对于条件概率，则在分母上加上第i个属性可能的取值数。

# 朴素贝叶斯中有没有超参数可以调？

朴素贝叶斯是没有超参数可以调的，所以它不需要调参，朴素贝叶斯是根据训练集进行分类，分类出来的结果基本上就是确定了的，拉普拉斯估计器不是朴素贝叶斯中的参数，不能通过拉普拉斯估计器来对朴素贝叶斯调参。

# 朴素贝叶斯中有多少种模型？

朴素贝叶斯含有3种模型，分别是

高斯模型，对连续型数据进行处理；
多项式模型，对离散型数据进行处理，计算数据的条件概率(使用拉普拉斯估计器进行平滑的一个模型)；
伯努利模型，伯努利模型的取值特征是布尔型，即出现为ture,不出现为false,在进行文档分类时，就是一个单词有没有在一个文档中出现过。

# 你知道朴素贝叶斯有哪些应用吗？

朴素贝叶斯的应用最广的应该就是在文档分类、垃圾文本过滤(如垃圾邮件、垃圾信息等)、情感分析(微博、论坛上的积极、消极等情绪判别)这些方面，除此之外还有多分类实时预测、推荐系统(贝叶斯与协同过滤组合使用)、拼写矫正(当你输入一个错误单词时，可以通过文档库中出现的概率对你的输入进行矫正)等。

# 朴素贝叶斯是高方差还是低方差模型？

朴素贝叶斯是低方差模型。(误差 = 偏差 + 方差)对于复杂模型来说，由于复杂模型充分拟合了部分数据，使得它们的偏差变小，但由于对部分数据过分拟合，这就导致预测的方差会变大。因为朴素贝叶斯假设了各个属性之间是相互的，算是一个简单的模型。对于简单的模型来说，则恰恰相反，简单模型的偏差会更大，相对的，方差就会较小。(偏差是模型输出值与真实值的误差，也就是模型的精准度，方差是预测值与模型输出期望的的误差，即模型的稳定性，也就是数据的集中性的一个指标)

# 朴素贝叶斯的假设条件是什么？优缺点分别是什么？

朴素贝叶斯对条件概率分布做了条件独立性的假设，即特征之间是相互独立的，互不影响，这也可能带来预测的不准确性。假如特征之间非常不独立，那就尽量不要使用朴素贝叶斯模型了，考虑使用其他的分类方法比较好。

但是一般情况下，样本的特征之间独立这个条件的确是弱成立的，尤其是数据量非常大的时候。虽然我们牺牲了准确性，但是得到的好处是模型的条件分布的计算大大简化了，这就是贝叶斯模型的选择。

# 朴素贝叶斯是如何进行参数估计的？

对于 $퀵$ 比较简单，通过极大似然估计我们很容易得到为样本类别出现的频率，即样本类别出现的次数除以样本总数。

对于，这个取决于我们的先验条件：

a）如果是离散值，那么我们可以假设符合多项式分布，这样得到是在样本类别中，特征出现的频率。即：

其中为一个大于0的常数，常常取为1.

其中，为样本类别总的特征计数，而为类别为的样本中，第维特征出现的计数。

某些时候，可能某些类别在样本中没有出现，这样可能导致 $퀵$ 为0，这样会影响后验的估计，为了解决这种情况，我们引入了拉普拉斯平滑，即此时有：

$퀵$

　　　其中

为一个大于0的常数，常常取为1。

为第j个特征的取值个数。

b)如果我们的是非常稀疏的离散值，即各个特征出现的概率很低，这时我们可以假设符合伯努利分布，即特征出现记为1，不出现记为0。即只要出现即可，我们不关注的次数。这样得到 $퀵$ 是在样本类别中，出现的频率。此时有：

$퀵 퀵 퀵$

其中，取值为0和1。

c)如果我们我们的是连续值，我们通常取的先验概率为正态分布，即在样本类别中，的值符合正态分布。这样的概率分布是：

$퀵$

其中和是正态分布的期望和方差，可以通过极大似然估计求得。𝜇_k为在样本类别中，所有的平均值。为在样本类别中，所有的方差。对于一个连续的样本值，带入正态分布的公式，就可以求出概率分布了。

# 贝叶斯学派与频率学派有何不同？

频率学派，其特征是把需要推断的参数θ视作固定且未知的常数，而样本X是随机的，其着眼点在样本空间，有关的概率计算都是针对X的分布。

贝叶斯学派，他们把参数θ视作随机变量，而样本X是固定的，其着眼点在参数空间，重视参数θ的分布，固定的操作模式是通过参数的先验分布结合样本信息得到参数的后验分布。

# 逻辑回归与朴素贝叶斯有什么区别？

https://www.zhihu.com/question/265995680 https://blog.csdn.net/myue5/article/details/19409615

逻辑回归聚类

阿药算法

Choose mode

贝叶斯

贝叶斯