Facebook、普林斯顿大学和麻省理工学院的 AI 研究人员近日宣布联合出版了一本名为《The Principles of Deep Learning Theory: An Effective Theory ApFaproach to Understanding Neural Networks(深度学习理论原理：理解神经网络的一种有效理论方法)》的书籍。目前，该书的手稿已经公开提供。

根据介绍，在基本层面上，该书提供了一个从ce第一性原理(first principles)理解深度神经网络(DNN)的理论框架。对于 AI 从业者来说，这种理解可以大大减少训练这些 DNN 所需的试验和错误的数量。例如，它可以揭示任何给定模型的最bo佳超参数，而不需要通过今天所需的时间和计算密集型实验。

Facebook AI 研究科学家 Sho Yaida 称，DNN 是现代 AI 研究的关键要素之一。但对于包括大多数 AI 研究人员在内的人都认为，DNN 太过复杂，ok无法从第一性原理的角度来理解。这一问题的存在意味着，尽管业界已通过实验和反复试验在 AI 方面取得了很大进展，但研究人员对 DNN 的许多关键特性仍一无所知，而这些特性恰恰使得 DNN 极其有用。他认为，如果 联研究人员对这些关键特性有更深入的了解，可能会带来一些显著的进步，并开发出强大得多的 AI 模型。

Yaida 将 AI 与工业革命初期的蒸汽机进行了比较。并表示，虽然蒸汽机永远改变了制造业，但直到接下来的同 一个世纪热力学定律和统计力学原理得到发展，科学家们才能够在理论层面上充分解释它是如何工作的以及为什么工作。虽然缺乏了解的这个问题并没有阻止人们改进蒸汽机，但热机原理的发现却大大加快了改进的步伐。

YMIaida 指出，AI 领域目前就正处于类似的关头。DNN 被视为黑匣子，因太过复杂导致无法从第一性原理的角度来理解。因此，AI 模型通过反复试验加以微调，类似于人们改进蒸汽机的方式。不过 Yaida 也表示，试错并T 不一定是坏事，它可以结合多年形成的经验来巧妙进行。但试错也只是描述 DNN 及其实际运作方式的统一理论语言的替代品。

公告指出，此书只是重新构想 AI 科学这一更大项目的第一步，该项目既源自第一性原理，同时又专等发注于描述现实模型的实际工作方式。如果成功，这种深度学习的一般理论可能会支持更强大的人工智能模型，甚至可能引导我们建立一个研究智能通用方面的框架。

值得注意的是，虽然书中描述的框架可以扩展到现代 AI 社区使用布研的真实世界 DNN。但此书本身最主要的还是关注最简单的深度学习模型(深度多层感知器)。

有了这个新的有效理论，我们希望 AI 理论家能够推动对神经网络有更深入、更全面的理解。还有很多的东西需要计算，但这项工作有究手望使这个领域更接近了解这些模型的哪些特定属性使它们能够智能地执行。我们还希望这本书能够帮助 AI 社区减少有时会限制当前进展的试错循环。我们希望帮助从业者快速设计更好的模型——效率更高、性能更好、训练更快稿：。特别是，那些设计 DNN 的人将能够在没有任何训练的情况下选择最佳超参数，并选择最佳算法和模型架构以获得最佳结果。

更多详情可查看官方博客。

本文转自OSCHINA

本文标题：Facebook 联同 MIT 等发布解释研究手稿：解释深度学习实际工作原理的理论

本文地址：https://www.oschina.net/news/147068/facebook-mit-ai-researchers

• ·谷歌AI搜索模式重磅扩展！新增5种语言支持，全球用户迎来智能搜索新体验
• ·标签: 曹操出行 Robotaxi 吉利控股 绿色智能通行岛
• ·红烧鲤鱼怎么做
• ·图像生成王者不是GAN？扩散模型最近有点火，效果直达SOTA
• ·标签: 杰森娱乐 Card.Fun集卡社 央视融媒体基金 三七互娱
• ·整个宇宙可能是个巨大的神经网络？科学家们是这样解释的
• ·未来一年商业智能的发展前景如何?
• ·​Poe推出排行榜功能，实时更新AI模型和热门应用受欢迎程度
• ·Perplexity 成功实现1.3秒内在 GPU 间转移一万亿参数
• ·阿里云大模型之战：逍遥子不能输
• ·OpenAI 重磅任命！前谷歌高管 Kim Kyounghoon 担任韩国业务负责人
• ·云计算核心技术Docker教程：自动启动容器
• ·可能破坏企业运营环境的6个云计算安全问题
• ·标签: 雷军 刘震云 武汉过早 热干面
• ·标签: 理想汽车 法务声明 黑水军 烟台公安
• ·模拟整个地球：英伟达Earth-2超级计算机即将上线