贝叶斯定理(Bayes Theorem),又称逆概定理和贝叶斯公式,被定义为若构成一个完备事件组,并且它们都具有正概率,则对任何一个概率不为0的事件,有,,贝叶斯定理除了该种事件形式外,还有离散分布形式和连续分布形式。
贝叶斯定理的历史可以追溯到18世纪,英国数学家(Thomas Bayes)在一本名为《解决机会主义问题的论文》的书中提出了一种用于推断未知事件概率的方法,即贝叶斯定理。19世纪中期,英国家阿德尔·贝尔和分别对贝叶斯定理进行了深入的研究和推广,使其成为统计学和概率论中的基本定理之一。
基于贝叶斯定理的贝叶斯方法可分为单参数方法与多参数方法,它可以广泛地应用于生物学、机器学习、经济学、医学更各个领域,是一种重要的数学工具。
贝叶斯定理
贝叶斯定理的事件形式
若构成一个完备事件组,并且他们都具有正概率,则对任何一个概率不为0的事件,有,。
证明
由条件概率公式有,由乘法公式得,再由全概率公式可知,将以上两个式子代入可得。
例题
8支枪中,有3支未经试射校正,5支已经试射校正。用校正过的枪射击时,中靶的概率为0.8,用未校正的枪射击时,中的概率为0.3,今从8支枪中任取一支射击中靶,求所用这支枪是校正过的概率。设事件={射击中靶},{任取一支枪是校正过的},{任取一支枪是未校正过的},则构成完备事件组,则,故所求概率为。
贝叶斯定理的离散分布形式
设、为随机变量,其中为离散型的,其分布列为,当时,对的条件密度函数(若是连续的)或分布律(若是离散的)为,则给定时对的条件分布律可表示为,,。
贝叶斯定理的连续分布形式
设随机变量、的联合密度函数为,其中,为的边际密度函数,为当时对的条件密度函数,于是当时对的条件密度函数可表示为。
历史沿革
18世纪到19世纪初
贝叶斯定理的历史可以追溯到18世纪,当时英国数学家托马斯·贝叶斯(Thomas Bayes)在一本名为《解决机会主义问题的论文》的书中研究了概率论中的一个问题,即如何根据已知的信息来推断未知事件的概率,提出了一种用于推断未知事件概率的方法。然而,贝叶斯本人并未将这一方法发表出来,直到他去世后,他的朋友理查德·普莱斯(Richard Price)在1763年发表了一篇关于贝叶斯定理的文章,将这一方法公之于众。这篇文章引起了当时数学界的关注,但贝叶斯定理并没有得到广泛的应用。
19世纪中期到20世纪初
19世纪中期,托马斯·贝叶斯定理开始受到更多的关注和研究。英国统计学家阿德尔·贝耳(Adolphe Quetelet)和皮埃尔-西蒙·拉普拉斯(Pierre-Simon Laplace)分别对贝叶斯定理进行了深入的研究和推广,使其在统计学和概率论领域得到了更广泛的应用。拉普拉斯在他的著作《分析哲学》中详细阐述了贝叶斯定理的原理和应用,并将其命名为“贝叶斯定理”,从此贝叶斯定理正式得到了命名和定义。
20世纪中期至今
20世纪中期以后,随着计算机技术的发展和贝叶斯方法在统计学、机器学习和人工智能领域的应用,贝叶斯定理得到了更加广泛的关注和研究。贝叶斯定理被用于解决各种实际问题,如生物学、机器学习、经济学、医学等领域。同时,贝叶斯方法也在统计学和概率论领域得到了进一步的发展和完善,成为了一种重要的推断方法。
相关概念
样本空间
随机试验的每一个可能结果,叫作样本点,样本点的全体称为样本空间。样本空间与基本事件组的关系是对应关系,记为。例如,检查4件产品的质量,观察其次品出现的次数。即基本事件组是由5个基本事件所构成,即设有次品:1件次品;2件次品;3件次品;4件次品;以表示出现件次品,则样本空间为。
随机事件
在随机试验中,有可能发生也可能不发生的结果,称其为随机事件,简称为事件,常用大写字母表示。若表示投掷一枚子出现1点这一事件,人们通常记为=“投掷一枚骰子出现1点”,样本空间中每一个样本的称为基本事件。在每次试验中,一定会出现的事件称为必然事件,记为;一定不可能出现的事件称为不可能事件,记为。例如投掷一枚骰子出现点数7就为不可能事件,必然事件与不可能事件都具有确定性,它们不是随机事件。
随机变量
一维随机变量
设是随机试验的样本空间,若对于试验的每一个可能结果,都有唯一的实数与之对应,则得到定义于上的实值单值函数,称为一维随机变量,简记为,随机变量通常用字母或等表示。
二维随机变量
设随机试验的样本空间,对每一个,有确定的两个实值函数, 与之对应,则称, 为上的二维随机变量,简记为。
完备事件组
设是一组互不相容事件,且,则称构成一个完备事件组。
条件概率公式
如果是随机试验的两个事件,且,则称事件发生的条件下事件的概率为事件发生条件下事件发生的条件概率,记为。条件概率可以通过下列公式计算:设,。此外,条件概率公式也可以改为乘法公式,即若,。
全概率公式
若事件为完备事件组,且,则对于任一事件,有,该式称为全概率公式。
分布律
设离散型随机变量的所有可能取值为,取各个可能值的概率为则上式称为离散型随机变量的分布律。
分布函数
给定一个随机变量,称定义域的实值函数为随机变量的分布函数,有时也记作。
实际意义
贝叶斯定理的实际意义在于已知一个事件由若干个条件引发的概率是,当事件已经发生后,则是由某个指定的条件(如)引发的概率是以事件的全概率作分母,条件发生的概率乘以条件下事件发生的条件概率作分子的结果。
贝叶斯方法
单参数贝叶斯方法
单参数的贝叶斯方法是一种贝叶斯统计方法,其假设参数只有一个未知量。在这种方法中,参数的先验分布通常有均匀分布、指数分布、泊松分布、二项分布等。然后使用贝叶斯定理来更新参数的后验分布,从而得到参数的估计值。例如二项分布下的贝叶斯推断,设随机变量代表次伯努利试验中的某事件“成功”的次数,参数代表每次试验成功(事件发生)的概率,也可表示总体中具有某种特征的个体所占的比例。由于次伯努利试验独立,因此服从二项分布,即。
多参数贝叶斯方法
多参数的贝叶斯方法是指在贝叶斯统计学中,对多个未知参数进行推断和估计的方法。在这种方法中,考虑多个参数的联合概率分布,并利用贝叶斯定理来计算参数的后验分布。假设参数(向量)由两部分组成,其中为“感兴趣”的参数,为“讨厌”的参数,设数据的分布为,的先验分布为,则与 联合后验密度函数为,对联合后验密度函数中的求积分,得到的边际后验密度。
应用领域
生物学
贝叶斯定理在生物学领域具有十分广泛的应用,例如贝叶斯定理在生物学上可用于分析基因型和表型之间的关系,帮助确定某种特定基因的遗传概率、分析生物数据,帮助确定基因组学和蛋白质组学数据的相关性和潜在意义、分析物种的进化历程和亲缘关系,帮助确定物种之间的演化路径和亲缘关系等。
机器学习
贝叶斯定理在文本挖掘中也有较为广泛的应用,例如朴素贝叶斯分类器为一种分类算法,它是一种概率分类器。而朴素贝叶斯分类器则依赖于贝叶斯定理和特征的条件独立假设。其运作的过程一般为:给定训练集,计算输入/输出的联合概率分布;对于新输入的实例,利用贝叶斯定理求出后验概率,使得后验概率最大的类别作为输出类别。对于文本分类任务,假设输入的文档,那么它属于类别的概率为,根据贝叶斯定理有。
经济学
贝叶斯定理可应用于经济学领域,例如贝叶斯定理可应用于商业银行业务审查中,运用贝叶斯公式的通用形式,可以将贝叶斯公式进行分解,可以用项表示,即,令先验概率,则有,该方程提供贝叶斯定理递增计算概率的方法,可以广泛应用于连续审查体制中。
医学
贝叶斯定理同样可应用于医学领域,在医学上,某疾病在检查结果之后的患病危险性(后验概率),可以通过计算该疾病既往发生的概率(先验概率)来评估。例如若某显像方法对某种肿瘤患者的检查结果呈阳性者占96%(灵敏度),对无肿瘤者呈阴性占据98%(特异性),如采用这一显像方法对某地区人群进行肿瘤普查,已知该地区肿患者人数约占该地区总人群数的0.2%(流行率),则可根据贝叶斯定理求得显像结果阳性的被检者确实患有肿瘤的概率,即。