看起来是从图像角度进行计算，和vit原理差不多，都是将图像切成小块，每一个小块可以近似看为一个向量，注意力的计算也是基于这些向量进行的，二维的图像转为一维的向量进行训练学习。 全局自注意力机制，所有的token都可以相互联系起来，但这样计算量会特...

维基百科：积分图原图： 积分图： 积分图的每一点（x, y）的值是原图中对应位置的左上角区域的所有值得和 而且，积分图可以只遍历一次图像即可有效的计算出来，因为积分图每一点的（x, y）值是： 一旦积分图计...

self attention模块输入输出都可以看作是向量每个向量都要和其他向量在self attention模块中进行交互以下是两种两个向量之间交互的方法 一个向量和sequence中其他向量交互（两个向量之间交互的拓展），输出即为相关度 计算与...