Peter&Wolf Inc 公司的数据科学家的任务是建立一个图像分类模型来区分狼和狗。模特必须收到照片并判断照片中出现的是否是狼。过了一会儿，数据科学家们非常自豪地向公司首席执行官彼得展示了他们的结果： 机器学习预测 资料来源：解释黑盒机器学习预测。 看起来该模型根本没有做错，因为它只在 6 种情况之一中发生了混淆。首席执行官向员工表示祝贺，然后他们毫不犹豫地将模型投入生产。该公司的客户可以将自己的照片上传到网站，模型就会返回其预测。令每个人惊讶的是，他们开始收到有关该模型的负面反馈，因为显然它的失败程度超出了预期。发生了什么？ 他们对算法做出了解释，并得到了以下结果： 机器学习预测 资料来源：解释黑盒机器学习预测。 在上面的图像中，我们可以看到模型重点关注每张照片的哪些部分来给出预测。
般来说，数据科学家意识到该模型可能并不像看起来那么好，因为它几 塞内加尔电话号码表 乎从不观察动物本身，而且即使观察了，它也会观察可能不是最适合区分狼的部分。狗，例如背部或腿部。 其中一位更进一步，查看了预测为“狼”的照片的解释，并意识到该模型只查看了背景！模型所做的似乎就是在照片中寻找雪：如果有雪，则预测“狼”，如果没有，则预测“哈士奇”。 为什么算法的可解释性如此重要？ 正如上面的示例所示，在许多情况下，不仅了解模型的预测，还了解预测的原因，有助于更好地理解问题、数据甚至失败的原因。事实上，机器学习模型只有经过解释才能被审查和调试。 图像处理当然，了解预测原因和算法可解释性的重要性取决于模型出错的后果。对于故事中的虚构公司来说，此错误可能意味着客户信誉的丧失以及财务损失。如果这个模型是由公司的一名员工在家中为了娱乐而构建的，那么错误就不会如此相关。
当然，如果不是为网络应用程序检测狼的模型，而是为自动驾驶汽车提供骑车人检测算法，那么就不会容忍任何错误。 另一个原因是偏差检测。构建良好的模型可以再现数据中所表示的现实。如果该数据存在任何不需要的偏差，模型可以重现它。就发生了这样的情况，比如这个模型，它返回了照片中的人再次犯罪的风险，并且偏向黑人，还有这个新闻中描述的人员选拔模型，她更喜欢男性。可解释性技术可以帮助我们识别这些不需要的偏差是否已转移到模型中，因此可以帮助我们纠正它们。 那么我们为什么不采用简单的模型呢？在某些情况下，建议完全放弃机器学习模型，并使用基于业务知识或简单立法给出的规则的确定性算法，如本文所示。在其他情况下，无论是出于义务还是出于方便，人们都会诉诸一种更简单、更容易解释的模型。现在，这些模型的表现力往往要低得多，这导致成功率较低。 人工智能 (XAI)：SHAP 算法 由于这些原因，人工智能的一个新领域出现了，XAI（可解释的人工智能），其目标是产生既强大又可解释的算法。