深度卷积神经网络CNNs的多GPU并行框架及其在图像识别中的应用

本周主要阅读了文章《深度卷积神经网络CNNs的多GPU并行框架及其在图像识别中的应用》。

本文主要提出在深度卷积神经网络的运算过程中,由于需要大量消耗GPU的显存,所以为了让包含有较多参数的网络能够进行训练,则需要通过多GPU模型通过并行技术进行协同训练。

由于卷积神经网络结构非常适合模型并行的训练,所以最终采用了模型并行+数据并行的方式来加速了深度卷积神经网络的训练,并且最终证实取得了较大收获。

模型并行

深度卷积神经网络训练算法与传统的BP算法差不多。主要包括4步,这4步被分为两个阶段:

第一阶段,Forward Propagation:

a)从样本集中取一个样本(X,Yp),将X输入网络;

b)计算相应的实际输出Op。

在此阶段,信息从输入层经过逐级的变换,传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中,网络执行的是计算(实际上就是输入与每层的权值矩阵相点乘,得到最后的输出结果):

Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))

第二阶段,Backward Propagation:

a)算实际输出Op与相应的理想输出Yp的差;

b)按极小化误差的方法反向传播调整权矩阵。

12

数据并行

(文章没讲)

PrintEvernoteQQFacebookTwitterGoogle+分享