作为机器学习从业者,你需要知道概率分布相关的知识。这里有一份最常见的基本概率分布教程,大多数和使用 python 库进行深度学习有关。

概率分布概述



    共轭意味着它有共轭分布的关系。

在贝叶斯概率论中,如果后验分布 p(θx)与先验概率分布 p(θ)在同一概率分布族中,则先验和后验称为共轭分布,先验称为似然函数的共轭先验。共轭先验维基百科在这里。


    多分类表示随机方差大于 2。

    n 次意味着我们也考虑了先验概率 p(x)。

    为了进一步了解概率,我建议阅读 [pattern recognition and machine learning,Bishop 2006]。

分布概率与特征

1.均匀分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/uniform.py

均匀分布在 [a,b] 上具有相同的概率值,是简单概率分布。



2.伯努利分布(离散)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/bernoulli.py

    先验概率 p(x)不考虑伯努利分布。因此,如果我们对最大似然进行优化,那么我们很容易被过度拟合。

    利用二元交叉熵对二项分类进行分类。它的形式与伯努利分布的负对数相同。



3.二项分布(离散)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/binomial.py

    参数为 n 和 p 的二项分布是一系列 n 个独立实验中成功次数的离散概率分布。

    二项式分布是指通过指定要提前挑选的数量而考虑先验概率的分布。



4.多伯努利分布,分类分布(离散)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/categorical.py

    多伯努利称为分类分布。

    交叉熵和采取负对数的多伯努利分布具有相同的形式。



5.多项式分布(离散)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/multinomial.py

多项式分布与分类分布的关系与伯努尔分布与二项分布的关系相同。



6.β分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/beta.py

    β分布与二项分布和伯努利分布共轭。

    利用共轭,利用已知的先验分布可以更容易地得到后验分布。

    当β分布满足特殊情况(α=1,β=1)时,均匀分布是相同的。



7.Dirichlet 分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/dirichlet.py

    dirichlet 分布与多项式分布是共轭的。

    如果 k=2,则为β分布。



8.伽马分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/gamma.py

    如果 gamma(a,1)/gamma(a,1)+gamma(b,1)与 beta(a,b)相同,则 gamma 分布为β分布。

    指数分布和卡方分布是伽马分布的特例。



9.指数分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/exponential.py

指数分布是 α 为 1 时 γ 分布的特例。



10.高斯分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/gaussian.py

高斯分布是一种非常常见的连续概率分布。



11.正态分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/normal.py

正态分布为标准高斯分布,平均值为 0,标准差为 1。



12.卡方分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/chi-squared.py

    k 自由度的卡方分布是 k 个独立标准正态随机变量的平方和的分布。

    卡方分布是 β 分布的特例



13.t 分布(连续)

代码:https://github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py

t 分布是对称的钟形分布,与正态分布类似,但尾部较重,这意味着它更容易产生远低于平均值的值。



via:https://github.com/graykode/distribution-is-all-you-need

雷锋网雷锋网雷锋网
温馨提示:
1、在论坛里发表的文章仅代表作者本人的观点,与本网站立场无关。
2、论坛的所有内容都不保证其准确性,有效性,时间性。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
3、当政府机关依照法定程序要求披露信息时,论坛均得免责。
4、若因线路及非本站所能控制范围的故障导致暂停服务期间造成的一切不便与损失,论坛不负任何责任。
5、注册会员通过任何手段和方法针对论坛进行破坏,我们有权对其行为作出处理。并保留进一步追究其责任的权利。
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    243

    主题

    640

    帖子

    1537

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1537
    发表于 2020-9-6 19:51:21 | 显示全部楼层
    沙发
    高斯,正态,误差分布是同一种分布
    回复

    使用道具 举报

    243

    主题

    640

    帖子

    1537

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1537
    发表于 2020-9-6 19:51:57 | 显示全部楼层
    板凳
    我学的是假深度学习吗?[抠鼻]主要是高数梯度和线性代数
    回复

    使用道具 举报

    224

    主题

    599

    帖子

    1450

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1450
    发表于 2020-9-6 19:52:18 | 显示全部楼层
    地板
    典型非统计学文章,分布多了去了,会用分布建模么?
    回复

    使用道具 举报

    242

    主题

    631

    帖子

    1514

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1514
    发表于 2020-9-6 19:53:17 | 显示全部楼层
    5#
    外行或机器翻译过来的文章,统计学专业人员也不明白这些文字的意思。
    回复

    使用道具 举报

    203

    主题

    577

    帖子

    1377

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1377
    发表于 2020-9-6 19:53:38 | 显示全部楼层
    6#
    分布是基础
    回复

    使用道具 举报

    244

    主题

    634

    帖子

    1528

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1528
    发表于 2020-9-6 19:54:02 | 显示全部楼层
    7#
    这特么真看不懂
    回复

    使用道具 举报

    232

    主题

    627

    帖子

    1522

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1522
    发表于 2020-9-6 19:54:15 | 显示全部楼层
    8#
    @sunrisexk
    回复

    使用道具 举报

    207

    主题

    582

    帖子

    1385

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1385
    发表于 2020-9-6 19:55:04 | 显示全部楼层
    9#
    好资
    回复

    使用道具 举报

    228

    主题

    607

    帖子

    1470

    积分

    金牌会员

    Rank: 6Rank: 6

    积分
    1470
    发表于 2020-9-6 19:55:29 | 显示全部楼层
    10#
    总结的不错
    回复

    使用道具 举报

    12下一页
    • 售后服务
    • 关注我们
    • 社区新手

    QQ|手机版|小黑屋|数据通

    Powered by datatong.net X3.4  © 2008-2020 数据通