Graphcore的AI加速器芯片在Microsoft Azure上启动

 
总部位于英国的Graphcore开发用于AI工作负载的加速器的公司今天早上宣布了一个里程碑：其智能处理单元(IPU)已在Azure上启动。这标志着微软等大型云供应商首次公开提供Graphcore芯片。
Graphcore说，Azure上的IPU向客户开放，优先访问那些“专注于[自然语言处理]的边界”和“在机器智能方面取得新突破”的用户。
作为更新，Graphcore(由Simon Knowles和Nigel Toon于2016年创立)迄今已从Robert Bosch Venture Capital，三星，Amadeus Capital Partners，C4 Ventures，Draper Esprit，Foundation Capital，Pitango Capital和人工智能使Arm联合创始人Hermann Hauser和DeepMind联合创始人Demis Hassabis估值达到15亿美元。它的第一个商业产品是16纳米PCI Express卡C2，该卡于2018年面世，并且该软件包已在Azure上发布。
“微软与Graphcore紧密合作了两年多。在此期间，由杰出工程师Marc Tremblay领导的Microsoft团队一直在开发Azure的系统，并一直在IPU上增强高级机器视觉和自然语言处理模型，” Toon说。 “一段时间以来，我们一直在与许多领先的抢先体验客户和合作伙伴进行广泛合作，以确保[这些产品]可以普遍发布。”
C2具有两个互连的Colossus IPU，每个都包含16个内核和236亿个晶体管。单个芯片的1,216个IPU可以达到每核100 GFLOPS(其中一个GFLOP等于每秒十亿个浮点运算)和300MB内存，并可以并行运行多达10,000个程序。每芯片的内存带宽为45TB / s，使C2的全卡带宽为90TB / s — Graphcore声称的理论上的最大数据量比HBM2图形芯片内存高100倍。
C2旨在与Graphcore定制的Poplar(一种用于AI和机器学习的图形工具链)配合使用。它与Google的TensorFlow框架和Open Neural Network Exchange(可互换AI模型的生态系统)集成在一起，在后者的情况下提供了完整的培训运行时，并且与Facebook的PyTorch的初步兼容性预计将在2019年第四季度到来，并提供后续的全功能支持在2020年初。
为了证明IPU的效率，Graphcore表示它和Microsoft开发人员通过Google的Transformers双向编码器表示(BERT)语言模型实现了最先进的性能和准确性，该语言模型通过预先训练句子之间的关系来学习句子之间的关系。任务集。他们用一台装有八张C2卡的IPU服务器在56小​​时内训练了一个BERT变种(BERT Base)，他们声称客户的推理吞吐量平均提高了3倍，延迟提高了20%以上。
微软技术研究员道格·伯格(Doug Burger)说：“自然语言处理模型对Microsoft极为重要-在Azure上运行我们内部的AI工作负载和AI客户。” “我们对与Graphcore处理器上的新合作将为我们的客户带来潜力的可能性感到非常兴奋。 Graphcore产品扩展了Azure的功能，我们在此所做的努力是我们确保Azure仍然是AI最佳云的战略的一部分。”
在等式的图像识别方面，Graphcore表示，欧洲搜索引擎Qwant通过在IPU上运行Facebook的模块化ResNext架构而获得了成功。正如Graphcore解释的那样，ResNext包含重复的块，这些块汇总了IPU“有效”支持的转换集。 Qwant和Graphcore报告说，组卷积(即信号和图像处理中的互相关)在图像搜索中的性能提高了3.5倍，吞吐速度提高了77倍。
“我们现在非常高兴能够将Graphcore技术商业化地提供给更多的客户，” Toon补充说。 “我们期待支持创新者实现IPU机器智能的下一个重大突破。”
Graphcore芯片在Azure上的发布是在Untether AI(位于多伦多的一家初创公司，该公司正在开发用于AI推理工作负载的高效芯片)获得2,000万美元风险投资后的一周。总部位于加利福尼亚州的Mythic已筹集了8,520万美元用于开发自定义的内存结构，并且在预计到2025年将达到911.8亿美元的市场中，不乏毗邻的竞争对手。
总部位于旧金山的初创公司AI Storm今年早些时候为其AI边缘计算芯片系列完成了1,320万美元的融资，总部位于山景城的Flex Logix于4月推出了推理协处理器，该处理器声称其吞吐量可达到现有芯片的10倍。另一个竞争对手Xnor.ai最近推出了一款始终在线的太阳能设备，该设备能够加速最新的机器学习算法。去年11月，世界语科技公司(Esperanto Technologies)为其7纳米AI芯片技术筹集了5800万美元。
Graphcore今天还宣布，其IPU已与Dell服务器机架技术集成在一起，这意味着企业客户将能够在自己的场所构建机器智能计算。更多细节将在下周在丹佛举行的超级计算会议上宣布。