谷歌Robotics研究科学家:记住5个问题,快速理解ML论文要点
编译:戚路北
编辑:陈彩娴
机器学习领域非常火热,新的模型、技术不断更新非常快,要求我们在平时的工作和学习过程中,会需要去阅读一些论文,跟踪某个领域的最新动态。
但读论文经常会有两种不适的感觉,一谷歌是容易遗忘,二是不能提纲挈领。 遗忘通常是读了后面忘记前面,或者过几日回顾自己读的论文完全不知道是怎么回事。 不能提纲挈领体现在喜欢逐字逐句的阅读,没有侧重点的从全局来学习论文。
那么,我们应该如何阅读机器学Ro习领域的论文?
谷歌 Robotics 研究科学家 Eric Jang 在博客上写了一篇名为“How to Understand ML Papers Quickly”的文章,提到他的学员也经常问他一些大同小异的问题,比如 “arXboiv 上的各种论文每天都泛滥成灾,我们又该如何去选择性地阅读?”
他提出,阅读大多数机器学习领域的论文的好处在于,你只需要问五个简单的问题,就能弄清楚论文的逻辑,并能避免很多麻烦,例如难懂的术语,糟糕的数学ti推导…
这五个问题是:
1. 函数逼近器的输入是什么?
例如,只有一个对象居中的224x224x3 RGB 视图。
2. 函数逼近器的输出是什么?
例如,对应于输入长度为1000向量的图像。
通过这种“省略”的方式思考机器学cs习系统的输入和输出,如此一来,你便可以跳过算法术语,并考虑其他领域是否用其他方法实现了同样的目的。我发现这种方法在阅读“元学习”领域的论文时非常有用。
通过将机器学习问题视为一组输入和预期的输出,你可以推断输入研究是否足以预测输出。如果不进行此练习,你可能会随便设置一个机器学习问题,输出可能无法由输入确定。因此便有可能创造一个引发“错误”的机器学习系统。
3. 关于输出的预测是以什么为代价来进行监督的?这个特定目标对世科学界又有什么样的假设?
机器学习模型是通过组合偏置和数据而形成的。有时偏置很强,有时又很弱。为了使模型更好地泛化,你需要添加更多偏差或者添加更多的无偏数据。正如“天下没有免费的午餐”理论所指出的,没有哪一个家:优秀的模型是能轻轻松松做出来的。
举一个例子:许多最优控制算法都假设一个稳定而连续的数据生成过程,即马尔可夫决策过程(MDP)。在MDP中,"状态"和"行动"通过环境的过渡动态确定映射到"下一个状态、反馈以及记住是否结束"。这种结构虽然非常寻常,但可以将损失进行公式化表达,使学习Q值遵循贝尔曼方程。
4. 经过训练后,模型可以从以前闻所未闻的输入/输出中概括出什么?
由于从数据或模型的体系结构中捕获了信息,因此机器学习系统可以5个很好地泛华。近年来,我们看到泛化的水平越来越高,因此在阅读论文时,我会去观察那些令人惊讶的泛化功能以及它们来自何处(数据,偏置或两者兼而有之)。
更好的归纳偏置在该领域存在很多噪音,例如因果推理、符号方法或以对问题象为中心的表示。这些是构建稳健而且可靠的机器学习系统的重要工具,而且我知道分隔结构化数据与模型的偏置界限可能很模糊。话虽如此,但让作者感到困惑的是,为什么有那么多研究人员认为推动机器学习前进的方式是减少学,快习量并增加硬编码行为的量。
我们之所以开展“机器学习”的科研工作,恰恰是因为有些事情我们不知道如何去进行硬编码。作为机器学习研究人员,我们应该将工作重点放在改善学习方法上,而将硬编码和符号方法留给机器硬编码速理研究人员使用。
5. 结论是否可证伪?
那些声称不能证伪的论文不在科学领域之内。
原文链接:https://blog.evjang.com/2021/01/understanding-ml.html
【本文是51CTO解M专栏机构大数据文摘的原创译文,微信公众号“大数据文摘( id: BigDataDigest)”】
- ·标签: 三星电子 半导体绩效奖 劳资谈判 工会投票
- ·PaaS是什么?什么定位?有什么优势?
- ·标签: 老干妈 陶华碧 豆豉 辣椒
- ·标签: 盛合晶微 IPO 先进封测 芯粒封装
- ·云计算开发:Python练习实例-求正整数
- ·云安全日报210205:思科IOS XR网络互联操作系统发现拒绝服务漏洞,需要尽快升级
- ·“复仇者联盟”再添三巨头:苹果、阿里云、新思加入UALink联盟,挑战英伟达AI霸主地位
- ·亚马逊广告营收已是推特Snap等平台总和的2.4倍
- ·标签: HP
- ·标签: 芯天下 港交所上市 闪存芯片 NORFlash
- ·标签: 瑞声科技 Dispelix AR光波导 XR
- ·标签: 移动电源安全技术规范 CCC认证 充电宝 国家标准
- ·AI爬虫“入侵”网络:Fastly 报告揭示,Meta、OpenAI 等巨头成主要流量来源
- ·标签: 琥崧科技 港交所上市 锂电池材料 智能产线
- ·Replit发布Agent 3智能开发助手,运行时长提升至200分钟
- ·标签: 卧安机器人 6600 财报
- ·2019 年 CNCF 中国云原生调查:Kubernetes 应用率达 72%
- ·月饼为什么保质期那么长
- ·标签: 索尼 PlayStation 5 羊蹄山之魂 Bravia
- ·云计算核心技术Docker教程:Docker使用BTRFS存储驱动程序
- ·包青天"智能重生"!华南师大发布国内首个法律AI大模型,2亿裁判文书秒变法律助手
- ·标签: OpenAI 迪士尼 Sora ChatGPT
- ·快手发布KAT系列Agentic Coding大模型 代码表现出色
- ·标签: 灵宇宙 小方机 LingOS 顾嘉唯
- ·告别P图烦恼!阿里Qwen-Image多图像编辑功能一键合成专业级广告大片
- ·信服云联合恒生电子、蓝凌、Coremail发布金融云解决方案
- ·https://www.krisinformation.se/en/search?q=百度蜘蛛池租用【tg:seogoogle987】,MCX
- ·https://www.vet-direct.com/search?cat=72&term=百度蜘蛛池租用【tg:seogoogle987】,89s
- ·https://www.nextavenue.org/?action=QUERY&s=百度蜘蛛池租用【tg:seogoogle987】,ngI
- ·https://zhidao.baidu.com/index/?action=QUERY&word=百度蜘蛛池租用【tg:seogoogle987】,7gK
- ·https://www.jusoen.com/addreng.asp?p1=百度蜘蛛池租用【tg:seogoogle987】Fjm
- ·https://www.parriscues.com/catalogsearch/result/?q=百度蜘蛛池租用【tg:seogoogle987】,VEc
- ·https://www.smarty.net/search?q=百度蜘蛛池租用【tg:seogoogle987】,tv9
- ·https://www.signingsavvy.com/sentence/百度蜘蛛池租用【tg:seogoogle987】,DyX
- ·https://www.kubb-tool.bfs.admin.ch/en/search?action=CHECK&q=百度蜘蛛池租用【tg:seogoogle987】,8j2
- ·https://www.sonepar.ch/fr/search?q=百度蜘蛛池租用【tg:seogoogle987】,BTR
- ·标签: ASML 光刻机 富凯 半导体设备
- ·标签: 特斯拉 FSD 智能驾驶 自动驾驶
- ·标签: Keep Keepace.ai 运动健康大模型 AI健身
- ·云计算核心技术Docker教程:Docker 守护进程dockerd运行多个守护程序
- ·AI 技术简化动漫制作流程,ToonComposer实现自动上色和生成动画
- ·标签: 傲意科技 中金脑科学基金 OYMotion ROHand
- ·Facebook和谷歌计划铺设2条海底光缆 连接东南亚和美国
- ·英国监管机构担忧云计算市场竞争,计划审查微软和亚马逊市场地位
- ·用Transformer定义所有ML模型,特斯拉AI总监Karpathy发推感叹AI融合趋势
- ·苹果支付部门招聘业务开发经理 要求拥有加密货币工作经验
