Uber开源Manifold，用于调试AI模型的可视工具

 
调试机器学习(ML)模型绝非易事。只需询问Uber的数据科学家和工程师，其中一些人就难以挖掘算法来诊断其性能问题的原因。
为了减轻工作量，Uber内部开发了Manifold，这是一种与模型无关的可视化工具，可显示特征分布的差异(即所观察到的现象的可测量特性)。它是乘车公司的米开朗基罗ML平台的一部分，可帮助各种产品团队分析无数的AI模型。从今天起，它可以在GitHub上以开源形式使用。
Uber机器学习软件工程师Lezhi Li在博客中写道：“自从今年早些时候突出[Manifold]以来，我们已经收到了很多关于其在通用ML模型调试场景中的潜力的反馈。” “在开源独立版本的Manifold时，我们相信该工具将​​通过为ML工作流提供可解释性和可调试性，同样使ML社区受益。”
优步歧管
Manifold利用所谓的聚类算法(k-Means)将预测数据根据其性能相似性细分为多个细分。该算法通过其KL散度对特征进行排名，KL散度是两个对比分布之间差异的度量。一般而言，在歧管中，较高的发散度表示给定的特征与区分两个片段组的因子相关。
流形包括对多种算法类型的支持，包括常规的二进制分类和回归模型。在可视化方面，它可以提取数字和分类以及地理空间要素类型。它与Jupyter Notebook集成在一起，Jupyter Notebook是为数据科学家和ML工程师使用最广泛的数据科学平台之一，并且具有交互式数据切片和基于每个实例的预测损失和其他特征值的性能比较。
Manifold方便的“性能比较视图”可比较各个模型和数据子集的预测性能。功能归因视图通过用户定义的细分汇总了具有各种性能级别的数据子集的功能分布。两者都提供了模型性能的概述和地理空间特征的地图视图，有助于识别表现不佳的数据子集以进行进一步检查。
歧管包装为独立安装或打包安装。安装完成后，有两种方法可以将数据输入其中：通过逗号分隔的文件或以编程方式进行的转换。
Uber一直处于开源状态。 Manifold的发布是在Plato揭幕之后发布的，Plato是一个用于构建，培训和部署对话式AI和机器学习的平台。去年年初，它推出了Ludwig，这是一个基于Google TensorFlow框架构建的开源工具箱，该工具箱使用户无需编写代码即可训练和测试AI模型。并且在2019年2月，它推出了自主可视化系统(AVS)，这是一种基于Web的独立技术，用于了解和共享自主系统数据。