AI相关概念


Top-1准确率

  • Top-1 准确率是指「模型预测」的「最可能的类别」(即概率最高的类别)与「真实类别」一致的「比例」。

文章分类

Top-1准确率

x= 把一篇新闻文章给「文本分类模型」,它认为这篇文章「最可能属于"科技"类别」,而这篇文章的真实标签确实属于"科技"类别。继续用同样的方式测试模型对其他新闻文章的分类能力,记录所有预测正确的情况。假设测试了100篇新闻文章,模型正确预测了其中的92篇,预测的准确率是92%
f(x)=「是Top-1准确率」

Top-5准确率

Top-5 准确率是指在「模型预测」的「前五个最可能的类别」中,至少有一个与「真实类别」一致的「比例」。

识别动物

Top-5准确率

x={假设(动物识别模型)预测图片中的动物种类,对于某张(包含猫的图片),模型的预测结果按概率排序如下: 1.狗 2. 狮 3. 猫 🟢4. 狼 5. 熊
尽管猫不是模型预测的最高概率类别,但它在前五个选项中,因此这个样本被认为是正确分类的。继续用同样方式对其他图片进行分类,假设测试了100张图片,模型正确预测了其中的92张,预测的准确率是92%}

f(x)={是Top-5准确率}

「准确率」「模型评估指标」「机器学习任务评估方法」「深度学习模型评估」

mAP

在机器学习中,尤其是在目标检测和信息检索领域,mAP(mean Average Precision)是一个常用的性能评估指标。它衡量的是模型在预测时的准确性和稳定性。下面我将详细解释mAP的概念,并给出一个例子来帮助理解。

mAP的定义

  1. Precision(精确率):在所有被「模型预测为正类」的样本中,「真正为正类」的比例。计算公式为:

    Precision=True Positives (TP)True Positives (TP)+False Positives (FP)\text{Precision} = \frac{\text{True Positives (TP)}}{\text{True Positives (TP)} + \text{False Positives (FP)}}

  2. Recall(召回率):在「所有实际为正类」的样本中,被「模型正确预测为正类」的比例。计算公式为:

    Recall=True Positives (TP)True Positives (TP)+False Negatives (FN)\text{Recall} = \frac{\text{True Positives (TP)}}{\text{True Positives (TP)} + \text{False Negatives (FN)}}

  3. AP(Average Precision):对于单个类别,AP是精确率在各个召回率水平上的平均值。通常通过绘制Precision-Recall曲线,然后计算曲线下的面积来得到AP。

  4. mAP(mean Average Precision):在多类别问题中,mAP是所有类别AP的平均值。对于每个类别,计算其AP,然后求这些AP的平均值。

例子

  1. 真正例(True Positives, TP)

    • 真正例是指模型正确预测为正类的样本数量。换句话说,就是模型预测为正类,而实际上也确实为正类的样本。

    • 例如,在疾病检测中,如果模型预测某个病人患有疾病,而实际上这个病人确实患有这种疾病,那么这就是一个真正例。

  2. 假正例(False Positives, FP)

    • 假正例是指模型错误预测为正类的样本数量。也就是说,模型预测为正类,但实际上这些样本并不是正类的。

    • 继续上面的例子,如果模型预测某个病人患有疾病,但实际上这个病人并没有这种疾病,那么这就是一个假正例。

  3. 假负例(False Negatives, FN)

    • 假负例是指模型错误预测为负类的样本数量。也就是说,模型预测为负类,但实际上这些样本是正类的。

    • 在疾病检测的例子中,如果模型预测某个病人没有疾病,但实际上这个病人确实患有这种疾病,那么这就是一个假负例。

假设我们有一个目标检测任务,模型需要识别图像中的猫和狗。我们有以下预测结果:

    • 真正例(TP):5

    • 假正例(FP):2

    • 假负例(FN):1

    • 真正例(TP):4

    • 假正例(FP):1

    • 假负例(FN):2

对于猫:

  • 精确率和召回率的组合可能是:

    • 召回率 = 0.83, 精确率 = 0.71

    • 召回率 = 1.00, 精确率 = 0.5

对于狗:

  • 精确率和召回率的组合可能是:

    • 召回率 = 0.67, 精确率 = 0.80

    • 召回率 = 1.00, 精确率 = 0.67

计算每个类别的AP:

  • 猫的AP = $${(0.71 + 0.5)}{2} = 0.605$$

  • 狗的AP = $${(0.80 + 0.67)}{2} = 0.735$$

最后,计算mAP:

  • mAP = $${0.605 + 0.735}{2} = 0.67$$

这个mAP值告诉我们,模型在猫和狗的检测任务上平均表现良好,尤其是在狗的检测上表现更好。

mAP是一个非常有用的指标,因为它同时考虑了模型的精确率和召回率,能够更全面地评估模型的性能。


文章作者: Hkini
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Hkini !
评论
  目录