【AI】What’s Going On Inside My Model?

当我们将一张照片输入模型，它能瞬间告诉我们这是“猫”还是“狗”。但问题是，模型到底看到了什么？它是基于那对尖耳朵做出的判断，还是因为它识别出了地毯的纹理？
如果模型是基于“地毯”来判断“猫”，那么这种逻辑就是不可靠的。为了确保模型不是在“靠运气”或者“走捷径”，我们需要一套工具来探测其内部的逻辑链条。
本篇文章将由浅入深，介绍以下探测模型内部逻辑的技术路径，大纲如下：
一、Saliency Maps
1、Vanilla Gradient
2、Guided Backpropagation
3、Integrated Gradients
二、Occlusion Sensitivity
三、Class Activation Maps (CAM)
1、CAM
2、Grad-CAM
3、SmoothGrad
4、Score-CAM
四、Gradient Ascent
五、Dataset Search
六、The deconvolution and its applications

更多内容请关注我的个人公众号查看