标签归档:weekly report

Visualizing and Understanding Convolutional Networks笔记

本文为20141024周报。

在所有深度网络中,卷积神经网和图像处理最为密切相关,卷积网络在很多图片分类竞赛中都取得了很好的效果,但卷积网调参过程很不直观,很多时候都是碰运气。为此,卷积网络发明者Yann LeCun的得意门生Matthew Zeiler在2013年专门写了一篇论文,阐述了如何用反卷积网络可视化整个卷积网络,并进行分析和调优。

在所有深度网络中,卷积神经网和图像处理最为密切相关,卷积网络在很多图片分类竞赛中都取得了很好的效果,但卷积网调参过程很不直观,很多时候都是碰运气。为此,卷积网络发明者Yann LeCun的得意门生Matthew Zeiler在2013年专门写了一篇论文,阐述了如何用反卷积网络可视化整个卷积网络,并进行分析和调优。 继续阅读

Going deeper with convolutions笔记

本文是20140926的周报,没写完,后补全。

Abstract

本文提出了一种新的分类和检测的新网络。该网络最大的特点就是提升了计算资源的利用率。在网络需要的计算不变的前提下,通过工艺改进来提升网络的宽度和深度。最后基于Hebbian Principle和多尺寸处理的直觉来提高性能。在ILSVRC-2014中提交了这种网络,叫GoogLeNet有22层。

Introduction

GoogLeNet 只用了比[9]少12倍的参数,但正确率更高。本文最大的工作是通过CNN和普通的计算机视觉结合,类似于R-CNN[6]。因为算法的ongoing traction of mobile和嵌入式计算,算法的效率变得很重要。也导致了本文不会使用绝对的数量。本文将会关注CV的深度神经网络“Inception”。本文既将Inception提升到了一个新的高度,也加深了网络的深度。 继续阅读

Very Deep Convolutional Networks for Large-Scale Image Recognition笔记

本文是20140919的周报,没写完,后补全。

Abstract

本文研究了CNNs的深度对于其准确率的影响,最后通过评估发现,当权值层达到16-19层的时候,能够在传统框架的基础上得到有效提高。

Introduction

ILSVRC-2013的冠军利用了更小的接收窗口和在第一个卷积层更小的步长。本文关注了CNNs的另一方面——深度。为了这个目的,作者修改了一些参数,添加了一些卷积层。 继续阅读

ImageNet Classification with Deep Convolutional Neural Networks笔记

本笔记是20140912的周报,参考了以下文章和论文,对论文和文章作者表示感谢:

 

本文训练了一个深度卷积神经网络(下文称CNNs)来将ILSVRC-2010中1.2M(注:本文中M和K均代表 百万/千 个数量)的高分辨率图像(注:ImageNet目前共包含大约22000类,15兆左右的标定图像,ILSVRC-2010为其中一个常用的数据集)数据分为1000类。测试结果,Top-1和Top-5的错误率分别为37.5%和17%,优于当时最优的水平。 继续阅读

对LeCun的CNNs方法测试出现的问题

本文是我在20140904的周报。本周对CNNs的原理进行了深入理解,并进行了Matlab源码的实现。

在原文中,LeCun通过三个卷积层,三个下采样层,20次训练,在MNIST手写数字库(28*28*60000训练集,28*28*10000测试集)的训练下,能够达到训练集99.65%的准确率,测试集99.05%的准确率,而通过图像畸变人工产生540000额外数据集,能够使测试集的分类准确率达到99.2%。 继续阅读

Convolutional Neural Networks卷积神经网络

本文是我在20140822的周报,其中部分参照了以下博文或论文,如果在文中有一些没说明白的地方,可以查阅他们。对Yann LeCun前辈,和celerychen2009、zouxy09表示感谢。

  1. Deep Learning(深度学习)学习笔记整理系列之(七)
  2. Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现
  3. 卷积神经网络
  4. 反向传导算法
  5. Yann LeCun’s Publications 中1998年著名的“Gradient-Based Learning Applied to Document Recognition”
  6. 反向传播BP算法

继续阅读

深度卷积神经网络CNNs的多GPU并行框架及其在图像识别中的应用

本周主要阅读了文章《深度卷积神经网络CNNs的多GPU并行框架及其在图像识别中的应用》。

本文主要提出在深度卷积神经网络的运算过程中,由于需要大量消耗GPU的显存,所以为了让包含有较多参数的网络能够进行训练,则需要通过多GPU模型通过并行技术进行协同训练。

由于卷积神经网络结构非常适合模型并行的训练,所以最终采用了模型并行+数据并行的方式来加速了深度卷积神经网络的训练,并且最终证实取得了较大收获。 继续阅读