关键词：卷积核归一化 批量归一化 内部协方差位移 卷积神经网络 深度学习 

摘要：批量归一化已被证明是深度学习模型中不可或缺的一层,可以有效处理深度神经网络训练过程中的内部协方差位移问题。但批量归一化算法的效果依赖于批的大小,当批较小时,批量归一化的效果较差。此外,批量归一化也带来了额外的计算量,需要更多的存储空间。为了解决这些问题,文中提出一种新的归一化算法——卷积核归一化,对权重的输出通道进行归一化,同样可以有效解决内部协方差位移问题。卷积核归一化不依赖于批的大小,并且不需要计算输入的均值和方差,相比批量归一化减少了75%至81%的计算量。实验证明,在批较小的时候,卷积核归一化训练收敛速度较快且准确率较高,比批量归一化高0.9%至12%;在批较大的时候,卷积核归一化与批量归一化最高准确率误差不超过1%。

计算机技术与发展杂志要求:

{1}参考文献著录格式请参照国家标准《文后参考文献著录规则》(GB7714-87)。

{2}鼓励首发，反对抄袭、剽窃等侵犯他人著作权的行为。由此给本刊造成不良后果的，本刊将追究责任。

{3}本刊稿件从发表之日起，如无电子版、网络版、有声版等方面特殊说明，即视作投稿者同意授权本刊电子版、网络版、有声版等的复制权、汇编权、发行权、翻译权、信息网络传播权及其转授权等专著权。

{4}中文题名一般不超过20个汉字，一般不使用副题名，中英文题名含义一致。

{5}投稿请填写真实有效的详细地址、邮政编码、联系电话及E-mail，以便联系。

注：因版权方要求，不能公开全文，如需全文，请咨询杂志社