NiNe同AlexNet和VGG网络的区别
1x1卷积层
卷积窗口形状为1×1(kh=kw=1)的多通道卷积层。我们通常称之为1×1卷积层,并将其中的卷积运算称为1×1卷积。因为使用了最小窗口,1×1卷积失去了卷积层可以识别高和宽维度上相邻元素构成的模式的功能,其主要计算发生在通道维上。下图展示了使用输入通道数为3、输出通道数为2的1×1卷积核的互相关计算。值得注意的是,输入和输出具有相同的高和宽。输出中的每个元素来自输入中在高和宽上相同位置的元素在不同通道之间的按权重累加。假设我们将通道维当作特征维,将高和宽维度上的元素当成数据样本那么1×1卷积层的作用与全连接层等价。
网络结构
传统的convolution层
传统的卷积层,通过卷积核得到
单通道mlpconv层
跨通道的mlpconv