神经网络在训练过程中存在太多的技巧，以至于通常很难复现论文中的效果，我在学习的过程中做了不少的实践，也就是所谓的炼丹，龙虎胎息，吐故纳新，贫道在此记录一些炼丹经验。
Deep Learning 一书被成为AI圣经，中文译者张志华老师说道：它告诉我们深度学习集技术、科学与艺术于一体，涉及统计、优化、矩阵、算法、编程、分布式计算等多个邻域。
这也意味着深度学习的门槛，当我作为一个萌新学者看这本书的时候，实在是难读和枯燥，但通过一年的学习再回来看这本书，收获颇丰，所以我决定再次研读“圣经”，并结合相应邻域的论文学习，同时我会尽可能的实践，然后根据拙见逐步的写完这篇总结，毕竟行万里路读万卷书嘛。
（来自两年后的自己：在神经网络大力出奇迹的今天，再过两年是什么样我想都不敢想，不只是AI，我说政治。国内这研究环境真让人心寒，算了还是码头整点薯条吧，无所谓了。）
在我了解机器学习和深度神经网络之前，它已被称为第四次工业革命的引擎。抱着对人工智能的好奇和向往，我很果断的抛弃了原先的嵌入式和控制编程，也很顺利的把机器学习作为了我的学业课题。
那么正巧是毕业季，我在人工智能邻域也学了近一年，现在看来，神经网络和任何编程一样都是老笨蛋了，但是神经网络效果好是真的好，以至于大牛们都一边看不起神经网络一边真香。
最近任务不是很重，想着做个总结，于是我结合 Advances in Machine Learning and Deep Neural Networks 等多文章和我自己的理解写下了这篇博客。