soft label 和 hard label 发布： 2021-08-01 分类： Deep Learning 评论： 阅读： soft label：软标签，例如：probs 0.3, 0,8, 0,2… hard label：硬标签，例如：实际label值 0, 1, 2… label 选择 硬标签：使用会比较多一点，用于非是即非的任务上，例如是猫就是猫，是狗就是狗； 软标签： 用于模棱两可的情况； 用于蒸馏，例如，计算 teacher 模型的参数于 student 模型参数的 loss，用硬标签会过于绝对，不利于 student 模型更好地学习 teacher 参数的分布和 teacher 的决策行为，当然也可以软硬标签都用上，不过在大规模无监督的蒸馏背景下，用 soft label 更为何时。