使用GPU和容器解决深度学习的难题

 
对于如何大规模运行人工智能(AI)，机器学习(ML)和深度学习(DL)应用程序感到困惑，具有最高性能和最低成本?有许多基于云的选项可用，但是使用内部部署基础架构或混合架构部署的工作负载又如何呢?你并不孤单：当他们开始实施AI / ML / DL计划时，这个难题让大型企业的许多数据科学家和IT专业人员感到困惑。
它已经很长一段时间了，但现在我们可以通过使用容器和图形处理单元(GPU)运行ML / DL工作负载来解决这个难题。你可能会问，为什么现在是正确的时间?我们有很长一段时间的容器和GPU。 ML和DL应用程序已经在容器中部署了几乎相同的时间。至少在过去的几年里，我们已经将GPU浮出水面。
一切都是这样，但直到最近，在带有容器的分布式环境中运行大规模，支持GPU的ML和DL应用程序仍然具有挑战性。最近的事态发展改变了这一切。拼图的各个部分开始融合在一起。
我们来看一下拼图的各个部分。每个数据科学家都知道ML和DL预测模型的训练和推理是计算密集型的。使用硬件加速器(如GPU)是提供所需计算能力水平的关键，这样这些模型就可以在合理的时间内进行预测。
但是在大型企业环境中使用GPU可能具有挑战性，尤其是对于内部部署：
它们需要一个复杂的软件堆栈，涵盖操作系统，中间件代码和应用程​​序库，这些软件很难安装和维护。
GPU不容易共享。当它们被共享时，通常很少能够看到它们的利用率。这使得很难准确预测需求并规划未来的GPU基础架构需求。
ML / DL应用程序对GPU的利用率在单个工作负载运行时发生了显着变化。这意味着即使使用容器共享GPU，它们也不会被充分利用，除非在应用程序运行时可以在容器之间切换GPU!
容器可以帮助完成这些拼图中的第一个。它们可以更轻松地捆绑和部署一致版本的中间件和应用程序软件;容器还提供了在任何基础架构上运行应用程序的可移植性，无论是在本地还是在公共云中。
为了解决其他挑战，我们需要容器编排。大多数容器协调器(如Kubernetes)都支持某种形式的GPU资源共享。但是，此资源共享并未完全解决上述问题。
但现在有一些解决方案，例如HPE的BlueData容器平台，可以解决这个难题。要解决这个难题的最后部分需要新功能，包括：
按需，弹性配置GPU资源：通过访问一个或多个GPU，可以快速轻松地部署容器化ML / DL应用程序。可以按需配置新的集装箱化环境，然后在不再需要时取消配置(释放GPU)。
暂停并重新启动启用GPU的容器：暂停容器并释放连接的GPU，同时保留容器内运行的应用程序的当前状态。这允许IT管理员在执行GPU特定代码时监控使用情况并重新分配GPU。
用于GPU资源管理的统一控制台：监控和管理共享的GPU资源池，并提供跨多个主机的GPU利用率的应用程序可见性和使用情况报告。
支持多种GPU型号和版本：确保在具有兼容GPU硬件和操作系统驱动程序版本的主机上正确部署特定容器映像。
现在，企业可以根据自己的特定需求配置和调整其平台，同时使用GPU运行分布式ML / DL应用程序 – 同时最大限度地降低成本并确保最高性能。他们可以使用来自其首选公共云提供商或其本地数据中心的基础架构资源来部署这些环境。它们可以在容器化计算节点之间动态移动CPU，内存和GPU资源，从而最大限度地降低其培训和推理作业的成本和运行时间。拼图的所有部分最终融合在一起。