当前位置: 首页 > >

04《深度学*研究进展》学*总结

发布时间:




一、本篇介绍二、本文主要内容(知识点)
1、历史与发展2、经典算法
1. 监督学*2.无监督学* 3、BP算法的缺点4、研究*况5、应用 三、具体创新四、心得感想五、专业词汇的学*:



一、本篇介绍

篇名:深度学*研究进展
作者:郭丽丽,丁世飞
作者单位:中国矿业大学 计算机科学与技术学院
发表在:计算机科学,2015年5日


二、本文主要内容(知识点)
1、历史与发展

机器学*的发展经历了浅层学*和深度学*两次浪潮。
深度学*可以理解为神经网络的发展。
神经网络是对人脑或生物神经网络基本特征进行抽象和建模,可以从外界环境中学*,并以与生物类似的交互方式适应环境。
人的视觉系统的信息处理是分级的,从低级的V1区提取边缘特征,到V2区的形状,再到更高层。
人类大脑在接收到外部信号时,不是直接对数据进行处理,而是通过一个多层的网络模型来获取数据的规律。这种层次结构的感知系统使视觉系统需要处理的数据量大大减少,并保留了物体有用的结构信息。


2、经典算法
1. 监督学*

多层感知机(Multilayer Perceptron)
卷积神经网络(Convolutional Neural Networks,CNNs):CNNs是第一个真正成功地采用多层层次结构网络的具有鲁棒性的深度学*方法,通过研究数据在空间上的关联性,来减少训练参数的数量。


2.无监督学*

深度置信网(Deep Belief Nets,DBNs):分为可视层即输入数据层(v)和隐藏层(h),每一层的节点之间没有连接,但层和层之间彼此互连。相比传统的sigmoid信念网络,RBM易于连接权值的学*。
自动编码器(Auto Encoders)
去噪自动编码器(Denoising Autoencoders)
稀疏编码(Sparse Coding)


3、BP算法的缺点

第一,BP算法是监督学*,训练需要有标签的样本集,但实际能得到的数据都是无标签的。
第二,BP算法在多隐层的学*结构中,学*过程较慢;第三,不适当的参数选择会导致局部最优解。


4、研究*况

2010年提出的一种新颖的半监督学*算法即判别深度置信网(Discriminative Deep Belief Networks,DDBNs),被成功地应用到可视化数据分类。
2013年国内学者又开发了一种半监督学*算法,称为卷积深度网络(Convolutional Deep Networks,CDN),用来解决深度学*中图像的分类问题。
孙志军等在预训练阶段采用非监督正则化,并利用边际Fisher准则进一步约束提取的特征,提出了基于深度学*的边际Fisher分析特征提取算法DMFA(Deep Marginal Fisher Analysis),其提升了识别率。
活跃深度网络(Active Deep Network,ADN)的半监督学*算法,用来解决在标记数据不足的基础上进行情感分类的问题。
斯担福大学的研究生Richard Socher和Andrew Ng(Google深度学*项目工程师之一)等人共同研究开发了一个深度学*的新算法,即Neural Analysis of Sentiment(NaSent)


5、应用

语音是神经网络最早的应用之一,2010年前后,微软和Google的语音组都招聘了Hinton教授的学生去实*,他们用深度学*去学*语音信号里的特征并进行声学模型建模,最后在标准数据集TIMIT上取得了很好的效果。
2006年深度学*被提出开始,其在目标识别领域的应用主要集中在MNIST手写图像问题上,并打破了SVM在这个数据集的霸权地位
2010年,微软雷德蒙研究院的DengLi博士与Hinton发现深层网络可显著提高语音识别的精度。微软亚洲研究院进一步深化这项成果,建立了一些巨大的深度神经网络(deep neural networks,DNN),这是语音识别研究史上最大的同类模型。
2012年11月,微软在中国天津演示了一个全自动同声传译系统,其后面支撑的关键技术是DNN。
2012年6月《纽约时报》报道了谷歌的Google Brain项目。指导思想是将计算机科学与神经科学相结合,这是在人工智能领域从来没有实现过的。
2013年1月,在百度的年会上,创始人兼CEO李彦宏宣布要成立百度研究院,其中第一个重点方向就是深度学*,并为此而成立Institue of Deep Learning(IDL),这是百度成立10多年以来第一次成立研究院。
2013年4月,MIT Technology Review杂志将深度学*列为2013十大突破性技术之首。
2013年10月据国外媒体报道,*正在试图通过启用称作Deep Learning的新的人工智能技术来帮助理解它的用户和相关数据。


三、具体创新

本文属于综述,没有具体创新点。


四、心得感想

前面已经看过3篇关于CNN的综述,这是第四篇,目前准备把之前没有看多少的人工智能的视频课看了,一边实操学技术,一遍看论文了解领域。


五、专业词汇的学*:

shallow learning 浅层学*
Back Propagation算法 反向传播算法(BP算法)
Multilayer Perceptron 多层感知机
Deep Belief Nets 去噪自动编码器(DBNs)
Sparse Coding 稀疏编码
Deep Convex Network 深凸网络(DCN)
Deep Marginal Fisher Analysis 边际Fisher分析特征提取算法(DMFA)
Active Deep Network 活跃深度网络(AND)


另:一些说明
1、本博客仅用于学*交流,欢迎大家瞧瞧看看,为了方便大家学*,相关论文请去知网等地方自行下载。
2、如果原作者认为侵权,请及时联系我,我的qq是244509154,邮箱是244509154@qq.com,我会及时删除侵权文章。
3、我的文章大家如果觉得对您有帮助或者您喜欢,请您在转载的时候请注明来源,不管是我的还是其他原作者,我希望这些有用的文章的作者能被大家记住。
4、最后希望大家多多的交流,提高自己,从而对社会和自己创造更大的价值。



友情链接: