LawrencePeng's Blog

专注收集代码小精灵

拉普拉斯平滑和M-估计

  • 目的
    • 某事件发生的频数过低时使用MLE会导致极差的估计偏差,拉普拉斯平滑和M-估计都是为了解决这一问题。
  • 拉普拉斯平滑
    • 相当于假设均匀分布的先验的情况下和后验做blending,实际上并没有如此简单。但是这种解释有诸多不合理,想要了解其中的原理可以看看这篇文章。我花了一个小时才看懂,发现概率论得好好补补了。。。
  • M-估计
    • P=(r + Pa * m)/(n + m),其中m为估计的值。
    • 或者P=(n/(n+m)) (r/n) + (m/(n+m)) (Pa)
    • 不难看出其实对MLE和拉普拉斯平滑的一种综合。