机器学习和深度神经网络的发展
前言
（来自两年后的自己：在神经网络大力出奇迹的今天，再过两年是什么样我想都不敢想，不只是AI，我说政治。国内这研究环境真让人心寒，算了还是码头整点薯条吧，无所谓了。）
在我了解机器学习和深度神经网络之前，它已被称为第四次工业革命的引擎。抱着对人工智能的好奇和向往，我很果断的抛弃了原先的嵌入式和控制编程，也很顺利的把机器学习作为了我的学业课题。
那么正巧是毕业季，我在人工智能邻域也学了近一年，现在看来，神经网络和任何编程一样都是老笨蛋了，但是神经网络效果好是真的好，以至于大牛们都一边看不起神经网络一边真香。
最近任务不是很重，想着做个总结，于是我结合 Advances in Machine Learning and Deep Neural Networks 等多文章和我自己的理解写下了这篇博客。
其修远兮
人工智能是在1986年前后被整合的一个独立邻域，机器学习只是人工智能的一个分支，直到2010年，神经网络得益于大数据集和硬件算力大展身手，成为人工智能的主导。
当然神经网络的缺陷也很明显，需要大量的数据和算力，在应用层次是一个巨大的问题。云计算是最广泛的解决办法，联合学习和边缘计算也克服了许多挑战，同时在神经网络压缩方面也做了很多工作。
现在已经很难想象没有应用ML的领域了，通过这十年的发展，似乎已经达到一些饱和了，那么下一个飞跃是什么？
大家都在寻求突破，比如硬件方面新的计算概念和高能效的架构，比如安全性和可解释性问题，又比如神经网络能否从预测到理性的判断。在各资本家利用如今神经网络取得的成效赚得盆丰钵满的时候，只有学者们才知道人工智能的路还很遥远。
上下求索
上述的一些问题其实是各专家撰写的一些论文，他们试图为这些问题提供一些答案，同时也总结了相关领域已经开展的研究。
在理论方面，涉及深度网络背景下的因果推理、对抗性学习、图形深度网络、深度网络的样条近似视图、超参数网络分析以及采用热带几何作为最大似然方法的工具。所有这些论文都处理了一些与最大似然和深层网络相关的开放性问题和主要挑战，并试图为未来提供可能的途径。
在应用方面，相关论文提供了对最近相关结果的综述。具体来说，考虑异常检测、医学成像、计算机视觉、用于图像和视频合成的生成对抗网络、计算媒体智能/多模式多媒体和无线通信。
在硬件方面，两篇论文致力于大脑启发的算法和神经形态计算。
把相关论文先🐎在下面，之后再细看。
理论和算法
Toward Causal Representation Learning （走向因果表征）
一种因果表示学习，从低级观察中发现高级因果变量。个人觉得结合大规模知识图谱应该能得到较为乐观的因果推理。
Optimism in the Face of Adversity: Understanding and Improving Deep Learning Through Adversarial Robustness （逆境中的乐观主义：通过对抗鲁棒性理解和提高深度学习）
对抗样本现象给狂热的人群敲墙了警钟：深度网络似乎什么都知道，但其实什么都不知道。在深度学习中这确实是一个需要突破的地方，不然智能性和安全性都不能解决。
作者强调了对抗性例子和深度神经网络几何之间的直观联系，并最终探索了对抗性例子的几何研究如何成为更好地理解深度学习的有力工具。
Graph Neural Networks: Architectures, Stability, and Transferability （图形神经网络:结构、稳定性和可移植性）
图卷积相关。
Mathematical Models of Overparameterized Neural Networks （超参数神经网络的数学模型）
关于求解过程中被限制在局部的一些讨论。
Mad Max: Affine Spline Insights Into Deep Learning （深入学习的仿射样条洞察）
通过样条函数和算子，严格建立了深度网络和逼近理论之间的桥梁。（不理解，这篇超纲了，本人理论水平没达到）
Tropical Geometry and Machine Learning （热带几何与机器学习）
热带几何是数学和计算机科学中一个相对较新的领域，结合了代数和多面体几何的元素。热带几何最近出现在经典机器学习和深度学习的几类问题和系统的分析和扩展中。
作者建立了研究分段线性激活神经网络表示能力的纯几何方法。然后考虑参数统计模型的热带几何分析，如HMMs。 （又超纲了，似乎老师带我做的一个卷积核超立方分析可以参考热带几何相关论文）
应用
A Unifying Review of Deep and Shallow Anomaly Detection （深浅异常检测综述）
异常检测的深度学习技术提高了复杂数据集(如大量图像或文本集合)的检测性能。在这篇文章中，作者旨在确定共同的基本原则以及各种方法隐含的假设。
Communication-Efficient and Distributed Learning Over Wireless Networks: Principles and Applications （无线网络上的高效通信和分布式学习：原理和应用）
本文的目标是提供一个相关通信和最大似然原则的整体概述，从而用选定的用例展示高效通信和分布式最大似然框架。机器学习是第五代(5G)通信系统及更高版本的一个有前途的推动者。
A Review of Deep Learning in Medical Imaging: Imaging Traits, Technology Trends, Case Studies With Progress Highlights, and Future Promises （医学影像深度学习综述：影像特征、技术趋势、进展亮点案例研究和未来展望）
如题。
Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications （用于图像和视频合成的生成对抗网络：算法和应用）
生成对抗网络是深度学习和一般机器学习的主要突破之一，在创作反面的应用也蛮多。
Tensor Methods in Computer Vision and Deep Learning （计算机视觉和深度学习中的张量方法）
概述了表象学习和深度学习中的张量和张量方法，特别侧重于视觉数据分析和计算机视觉应用。
Computational Media Intelligence: Human-Centered Machine Analysis of Media （计算媒体智能：以人为中心的媒体机器分析）
主题是深度学习算法的应用，结合视听信号处理，分析电影/电视等娱乐媒体。文本挖掘和自然语言处理允许对媒体(如新闻)中的语言使用和口语交互进行细致的理解，以跟踪不同上下文中的模式和趋势。
硬件
Advancing Neuromorphic Computing With Loihi: A Survey of Results and Outlook （用Loihi推进神经形态计算：结果与展望）
神经形态计算的目标是在芯片上实现学习算法，这些算法更直接地受到生物神经电路的形式和功能的启发，因此它们可以处理新知识、适应、表现和以低功率水平实时学习。
英特尔的Loihi，是一款神经形态研究处理器，旨在支持广泛的脉冲神经网络，具有足够的规模、性能和特性，可提供与当代最先进的计算架构相比具有竞争力的结果。
作者主要是做了一些测试和比较的分析。
Brain-Inspired Learning on Neuromorphic Substrates （基于神经形态底物的脑启发学习）
本文提供了一个数学框架，设计实用的在线学习算法的神经形态基板。建立了实时循环学习 (RTRL)、用于计算传统循环神经网络 (RNN) 中梯度的在线算法与训练尖峰神经网络 (SNN) 的生物学上合理的学习规则之间的直接联系。
这个框架弥补了突触可塑性和基于梯度的深度学习方法之间的差距，并为未来神经形态硬件系统的强大信息处理奠定了基础。
后记
深度学习目前为止相关的发展在上述论文中都有所提及，有些论文提供了一个较为新颖的角度，像对抗鲁棒性和热带几何这两篇我就印象深刻，之后可能会在这方面深入了解下。
其实写到这里我又有点消极了，看着世界各地的大牛各抒己见，自有些想法又没这个能力和条件加入其中，很是难受。也是没想到会走上“科研”这条路，可惜我们所谓的科研也就是水论文罢了，哎，学术圈问题就不多说了，回到之前对自己码农的定位就挺好。
总之，深度学习在未来很长一段时间都将是世界的主宰。