新闻
-
“煤矿里的金丝雀”：西雅图营销技术初创公司Amplero...
Amplero的前途一片光明。这家西雅图营销技术初创公司以积极的势头进入2020年，并计划将其收入增加近三倍。 但是随后发生了COVID-19疫情，经济陷入停滞。 Amplero的客户渠道突然枯竭。现在，该公司正...
-
首席执行官表示，随着美国关闭，StockX的业务蓬勃发展
StockX是一个高速发展的转售市场，连接着运动鞋，街头服装，手袋和其他可收藏物品的买卖双方，其财富随着价值60亿美元的全球运动鞋转售市场一起增长，而后者是更广泛的1000亿美元运动鞋类别的一部分。...
-
Zyl重现旧照片以创建协作故事
法国初创公司Zyl发布了适用于iOS和Android的移动应用程序的重大更新。该应用程序旨在查找照片库中重要生活事件的被遗忘的回忆。 Zyl会扫描您的照片库，并神奇地找到重要的照片。每天，应用程序都会...
财经
-
伊丽莎白·沃伦(Elizabeth Warren)担任总统，为其20...
民主党参议员伊丽莎白·沃伦(Elizabeth Warren)可能已经结束了她的2020年总统大选，但用于推动她竞选的技术将继续存在。 她的员工成员宣布，他们将公开公开展示沃伦为成为民主党总统候选人而开发的顶...
-
看来布兰登·米道(Brandon Middaugh)正领导着$ 1B的...
今年早些时候，微软提出了一项最雄心勃勃，范围广泛的战略来减少公司运营的碳排放量，从而在企业界引起了轰动。 该计划的一部分是一个10亿美元的基金，该基金将投资于减缓气候变化的技术，特别是针...
-
英国科技产业组建Code4COVID.org以抗击冠状病毒危机
由英国基层技术倡议组织组成的联盟已经聚集在一起，以协调支持英国应对冠状病毒的关键技术人员群体。 COVID19技术响应(CTR)旨在协调可用技术人才的供应;处理需要解决的问题以及两者的匹配。到目前为...
商业
-
“煤矿里的金丝雀”：西雅图营销技术初创公司Amplero...
Amplero的前途一片光明。这家西雅图营销技术初创公司以积极的势头进入2020年，并计划将其收入增加近三倍。 但是随后发生了COVID-19疫情，经济陷入停滞。 Amplero的客户渠道突然枯竭。现在，该公司正...
-
首席执行官表示，随着美国关闭，StockX的业务蓬勃发展
StockX是一个高速发展的转售市场，连接着运动鞋，街头服装，手袋和其他可收藏物品的买卖双方，其财富随着价值60亿美元的全球运动鞋转售市场一起增长，而后者是更广泛的1000亿美元运动鞋类别的一部分。...
-
Zyl重现旧照片以创建协作故事
法国初创公司Zyl发布了适用于iOS和Android的移动应用程序的重大更新。该应用程序旨在查找照片库中重要生活事件的被遗忘的回忆。 Zyl会扫描您的照片库，并神奇地找到重要的照片。每天，应用程序都会...
Google AI的ALBERT在多个NLP性能基准测试中均名列榜首
发布时间：2019/09/29 新闻 浏览：1135
来自Google AI(以前称为Google Research)和芝加哥丰田技术学院的研究人员创建了ALBERT，这是一种AI模型，可以实现超越人类性能的最新结果。 ALBERT现在在GLUE和SQuAD 2.0等基准测试以及高RACE性能得分方面，在主要的NLP性能排行榜上均名列第一。
在斯坦福问答数据集基准(SQUAD)上，阿尔伯特获得92.2分，在通用语言理解评估(GLUE)基准上，阿尔伯特获得89.4分，而在通过英语考试获得重新理解(RACE)基准上，阿尔伯特获得了分数为89.4%。
根据周三在OpenReview.net上发表的一篇论文，ALBERT是基于Transformer的BERT的一个版本，“使用参数减少技术来降低内存消耗并提高BERT的训练速度”。该论文与其他将作为国际学习代表大会的一部分而被接受的论文一起发表，该大会将于2020年4月在埃塞俄比亚的亚的斯亚贝巴举行。 ICLR将是在非洲举行的第一届国际AI社区会议。
“我们提出的方法所导致的模型与原始BERT相比具有更好的扩展性。我们还使用了一种自我监督的损失，该损失着重于建模句子间的连贯性，并显示出它始终可以帮助多句子输入的下游任务。”
ALBERT是BERT的最新派生产品，在主要基准测试中均名列前茅。 7月下旬，Facebook AI Research推出了可实现最新结果的模型RoBERTa，5月份，Microsoft AI研究人员推出了在多学科深度神经网络(MT-DNN)上获得最高分的模型。 9个GLUE基准中的7个。
每个模型的性能都超过了人类的平均水平。
在与Transformer相关的其他新闻中，Hugging Face是一家初创公司，其PyTorch库可轻松使用BERT，Open AI的GPT-2和Google的XLNet等主要Transformer模型，今天使该库可用于TensorFlow。 Hugging Face首席执行官ClémentDelangue告诉VentureBeat，自年初以来，PyTorch-Transformers的Pip安装量已超过50万。