AI Weekly：为什么机器学习的缓慢发展可能是一件好事

 
2019年，仅在美国，与AI和机器学习相关的已发表论文的数量就将近25,000，而2015年约为10,000。而NeurIPS 2019是世界上最大的机器学习和计算神经科学会议之一，被接受的论文接近2,000来自数千名与会者的论文。
毫无疑问，这一势头反映了AI研究社区中的宣传和资金(以及相应地竞争)的增加。但是一些学者认为，不懈地追求进步可能造成的弊大于利。
在最近的一条推文中，卡内基梅隆大学助理教授扎卡里·利普顿(Zachary Lipton)被特珀商学院和机器学习部门共同任命，提议为整个社区暂停一年的论文发表，他说这可能会鼓励“思考”。 ”，而不会在截止日期前“冲刺/忙碌/发送垃圾邮件”。
他说：“纸质雪崩实际上正在伤害那些没有(高引用率和良好学术地位)的人。” “该领域的噪音水平将事情推到了一个严重的水平，以至于严肃的人不再把’拥有论文’当作是有意义的……[仅仅]拥有论文这一事实已成为无用的信号，因为噪音水平是如此之高，甚至在接受的论文中。”
Google道德人工智能团队的技术联席负责人Timnit Gebru在本月早些时候在纽约市举行的AAAI人工智能会议之前的一条推文中回应了这一观点。 “我目前参与太多与会议和服务相关的事情-我什至无法跟上一切。她说：“除了审查和主持地区外，还有后勤……组织等。” “学术界的人们说，您有更多的时间从事该行业的研究，但对我而言根本不是这样……阅读，编码和尝试理解这就像我在业余时间从事的活动，而不是我的业余时间。主要责任。”
有初步证据表明，紧缩政策导致的研究可能会误导公众并阻碍未来的工作。在加利福尼亚大学伯克利分校和伯克利人工智能实验室统计系成员Lipton和Jacob Steinhardt进行的2018年元分析中，两人断言机器学习奖学金出现了令人担忧的趋势，包括：
无法区分解释和推测，也无法确定经验收益的来源
对模糊或印象深刻而不是澄清的数学的使用
滥用语言，例如通过超载既定的技术术语
他们将这部分归因于社区的快速扩展以及随之而来的审阅者数量稀少。他们说，奖学金和短期成功衡量标准之间的“经常错位”的激励措施(例如参加一次领先的学术会议)也很可能受到指责。
利普顿和斯坦哈特写道：“在其他领域，奖学金的无节制下降导致了危机。” “博览会，科学和理论上的严格要求对于科学进步和促进与广大公众的富有成果的话语都是至关重要的。此外，随着从业者在健康，法律和自动驾驶等关键领域应用[机器学习]，对[机器学习]系统的能力和局限性的校准认识将有助于我们负责任地部署[机器学习]。”
确实，谷歌AI研究人员的预印本证明了该系统可以胜过人类专家在乳房X线照片上发现癌症的能力。但是，正如最近《连线》社论指出的那样，某些人认为乳房X线照片筛查是有缺陷的医学干预措施。像Google承诺的那样，人工智能系统可以改善结果，但同时又加剧了过度测试，过度诊断和过度治疗等问题。
在另一个实例中，微软亚洲研究院和北京航空航天大学的研究人员开发了一种AI模型，该模型可以以人性化的方式阅读和评论新闻文章，但是描述该模型的论文并未提及其可能的滥用。未能解决伦理问题引发了强烈反对，促使研究团队上传了解决这些问题的最新论文。
Lipton和Steinhardt写道：“随着机器学习的影响范围扩大，研究论文的受众越来越多地包括学生，记者和决策者，这些考虑因素也适用于更广泛的受众。” “通过更清晰地交流更精确的信息，更好的[机器学习]奖学金可以加快研究速度，减少新研究人员的入职时间，并在公共话语中发挥更具建设性的作用。”
Lipton和Steinhardt在他们共同撰写的报告中概述了一些可能有助于纠正当前趋势的建议。他们说研究人员和出版商应该通过提出诸如“如果作者做得不好的话，我可以接受这篇论文吗?”之类的问题来设置更好的激励措施。并强调去除了夸大主张的元调查。在作者方面，他们建议磨练一种方法的“方式”和“为什么”，而不是其性能，并在研究过程中进行错误分析，消融研究和鲁棒性检查。