新闻
-
“煤矿里的金丝雀”：西雅图营销技术初创公司Amplero...
Amplero的前途一片光明。这家西雅图营销技术初创公司以积极的势头进入2020年，并计划将其收入增加近三倍。 但是随后发生了COVID-19疫情，经济陷入停滞。 Amplero的客户渠道突然枯竭。现在，该公司正...
-
首席执行官表示，随着美国关闭，StockX的业务蓬勃发展
StockX是一个高速发展的转售市场，连接着运动鞋，街头服装，手袋和其他可收藏物品的买卖双方，其财富随着价值60亿美元的全球运动鞋转售市场一起增长，而后者是更广泛的1000亿美元运动鞋类别的一部分。...
-
Zyl重现旧照片以创建协作故事
法国初创公司Zyl发布了适用于iOS和Android的移动应用程序的重大更新。该应用程序旨在查找照片库中重要生活事件的被遗忘的回忆。 Zyl会扫描您的照片库，并神奇地找到重要的照片。每天，应用程序都会...
财经
-
伊丽莎白·沃伦(Elizabeth Warren)担任总统，为其20...
民主党参议员伊丽莎白·沃伦(Elizabeth Warren)可能已经结束了她的2020年总统大选，但用于推动她竞选的技术将继续存在。 她的员工成员宣布，他们将公开公开展示沃伦为成为民主党总统候选人而开发的顶...
-
看来布兰登·米道(Brandon Middaugh)正领导着$ 1B的...
今年早些时候，微软提出了一项最雄心勃勃，范围广泛的战略来减少公司运营的碳排放量，从而在企业界引起了轰动。 该计划的一部分是一个10亿美元的基金，该基金将投资于减缓气候变化的技术，特别是针...
-
英国科技产业组建Code4COVID.org以抗击冠状病毒危机
由英国基层技术倡议组织组成的联盟已经聚集在一起，以协调支持英国应对冠状病毒的关键技术人员群体。 COVID19技术响应(CTR)旨在协调可用技术人才的供应;处理需要解决的问题以及两者的匹配。到目前为...
商业
-
“煤矿里的金丝雀”：西雅图营销技术初创公司Amplero...
Amplero的前途一片光明。这家西雅图营销技术初创公司以积极的势头进入2020年，并计划将其收入增加近三倍。 但是随后发生了COVID-19疫情，经济陷入停滞。 Amplero的客户渠道突然枯竭。现在，该公司正...
-
首席执行官表示，随着美国关闭，StockX的业务蓬勃发展
StockX是一个高速发展的转售市场，连接着运动鞋，街头服装，手袋和其他可收藏物品的买卖双方，其财富随着价值60亿美元的全球运动鞋转售市场一起增长，而后者是更广泛的1000亿美元运动鞋类别的一部分。...
-
Zyl重现旧照片以创建协作故事
法国初创公司Zyl发布了适用于iOS和Android的移动应用程序的重大更新。该应用程序旨在查找照片库中重要生活事件的被遗忘的回忆。 Zyl会扫描您的照片库，并神奇地找到重要的照片。每天，应用程序都会...
预测神经网络的扩展能力
发布时间：2020/02/25 新闻 浏览：731
尽管研究人员在机器学习方面帮助我们处理紧缩数字，驾驶汽车和检测癌症等方面取得了所有进展，但我们很少考虑维护大型数据中心以使这项工作成为可能的能源消耗。实际上，2017年的一项研究预测，到2025年，连接互联网的设备将使用世界20%的电力。
机器学习的低效率部分取决于如何创建此类系统。神经网络通常通过生成初始模型，调整一些参数，再次尝试然后漂洗和重复来开发。但是这种方法意味着，在任何人都不知道它是否真正起作用之前，在项目上花费了大量时间，精力和计算资源。
麻省理工学院的研究生乔纳森·罗森菲尔德(Jonathan Rosenfeld)将其比作寻求了解重力和行星运动的17世纪科学家。他说，在没有这样的理解的情况下，我们今天开发机器学习系统的方式具有有限的预测能力，因此效率很低。
Rosenfeld说：“在给定某些因素(例如模型的形状或经过训练的数据量)的情况下，仍无法采用统一的方法来预测神经网络的运行情况。”与麻省理工学院计算机科学与人工智能实验室(CSAIL)的同事们。 “我们想通过尝试理解影响网络准确性的不同关系来探讨是否可以使机器学习向前发展。”
CSAIL团队的新框架以较小的规模查看给定的算法，并且基于其形状等因素，可以预测其在较大规模上的性能。这使数据科学家可以确定是否值得继续投入更多的资源来进一步培训系统。
麻省理工学院教授尼尔·沙维特(Nir Shavit)说：“我们的方法告诉我们，诸如架构要实现特定目标性能所需的数据量，或者数据与模型大小之间在计算上最有效的折衷”。与Rosenfeld，约克大学前博士研究生Yonatan Belinkov和Amir Rosenfeld一起。 “我们认为这些发现对本领域具有深远的影响，因为它使学术界和行业的研究人员能够更好地理解开发深度学习模型时必须权衡的不同因素之间的关系，并在有限的计算资源下做到这一点。可供学者使用。”
该框架使研究人员可以使用少50倍的计算能力来准确预测大型模型和数据规模的性能。
团队关注的深度学习性能方面是所谓的“泛化错误”，它是指在真实数据上测试算法时生成的错误。该团队利用了模型缩放的概念，该概念涉及以特定方式更改模型形状以查看其对误差的影响。
下一步，研究小组计划探索使特定算法的性能成败的基础理论。这包括尝试其他可能影响深度学习模型训练的因素。
上一篇: Alexa一直在听吗?新研究调查了数字助理的意外触发
下一篇: 清洁能源的圣杯可能仍在