LawrencePeng's Blog

专注收集代码小精灵

搜索引擎的常见评价指标

  • F Score
    • 带权的召回率和准确率的调和平均数f-measure
    • 当alpha为1的时候,为常见的F1 Score。f1-measure
  • E Score
    • e,所以F = 1 - E。
  • G-measure
    • 精度和召回率的几何平均值
    • 也被称作Fowlkes-Mallows index
  • mAP(mean Average Precision)

    • mAP是为解决P,R,F-measure的单点值局限性的。为了得到 一个能够反映全局性能的指标,可以看考察下图,其中两条曲线(方块点与圆点)分布对应了两个检索系统的准确率-召回率曲线。
    • p-r
    • map
  • ROC曲线

    • 横轴是假阳率/特异度(真阴/ 所有阴),纵轴是真阳率或者敏感度
    • AOC值是ROC曲线覆盖的面积。越大分类效果越好。
  • kappa statistic — 衡量不同人相关性判断的一致性

    • K(A) = P(A) - P(E) / 1 - P(E)
    • P(A)是一致性判断指标,P(E)是随机情况下一致性判断比例。