前言

得益于AI的发展，更感谢这几年前辈们的努力，我们拥有一个很友好的深度学习开发环境。但做为一个即将步入工业界的码农来说，不懂底层是很残酷的一件事。幸运的是人生不一样，明白了国家机器的运作，搞懂了金融体系的构成，甚至看清了生活的本质，然后还热爱着并饱含初心，确实是真正的英雄。

人工智能？道可道非恒道！

有点无趣，2022年了，人工智能还处于暴力学习的阶段。

去年我的大半时间花在神经网络的可解释性上，然后利用隐式损失和耦合梯度设计了在初始化前修剪模型的方法。 在应用层面似乎有些许价值，可是不论多大的稀疏率，大量的样本和模型暴力的求解方法总是显得深度学习有点蠢。 我对神经网络超长的训练时间愈发反感，虽然看过不少文献在模型优化方面的研究，但确实是不太看好目前模型的训练方式。

多模态和自学习等研究带来了一些曙光，但道可道非恒道。 我不知道当前在某个尺度空间下所谓人工智能的表现结果智能何在，且不说非一成不变的万物。 那么在对于人来说都是非恒道的世间，模型的泛化又能到何等地步？

书生意气，我不配在哲学层面讨论，毕竟目前的人工笨蛋也达不到。 虽然有一种基础科学被质子锁死的感觉，但路还是要一步步走的，在此记录一些深度学习模型泛化的相关研究。

怅寥廓，不知沉浮。

前言

神经网络在训练过程中存在太多的技巧，以至于通常很难复现论文中的效果，我在学习的过程中做了不少的实践，也就是所谓的炼丹，龙虎胎息，吐故纳新，贫道在此记录一些炼丹经验。

前言

Deep Learning 一书被成为AI圣经，中文译者张志华老师说道：它告诉我们深度学习集技术、科学与艺术于一体，涉及统计、优化、矩阵、算法、编程、分布式计算等多个邻域。

这也意味着深度学习的门槛，当我作为一个萌新学者看这本书的时候，实在是难读和枯燥，但通过一年的学习再回来看这本书，收获颇丰，所以我决定再次研读“圣经”，并结合相应邻域的论文学习，同时我会尽可能的实践，然后根据拙见逐步的写完这篇总结，毕竟行万里路读万卷书嘛。

前言

（来自两年后的自己：在神经网络大力出奇迹的今天，再过两年是什么样我想都不敢想，不只是AI，我说政治。国内这研究环境真让人心寒，算了还是码头整点薯条吧，无所谓了。）

在我了解机器学习和深度神经网络之前，它已被称为第四次工业革命的引擎。抱着对人工智能的好奇和向往，我很果断的抛弃了原先的嵌入式和控制编程，也很顺利的把机器学习作为了我的学业课题。

那么正巧是毕业季，我在人工智能邻域也学了近一年，现在看来，神经网络和任何编程一样都是老笨蛋了，但是神经网络效果好是真的好，以至于大牛们都一边看不起神经网络一边真香。

最近任务不是很重，想着做个总结，于是我结合 Advances in Machine Learning and Deep Neural Networks 等多文章和我自己的理解写下了这篇博客。