一文了解 AI 商品模型训练平台

本文是2020年的正式第一文，介绍了人工智能领域深度学习平台的相关信息，内容包括：AI平台的基本介绍、系统架构、实现难点和相关能力。

接下来，围绕着作者自身搭建商品模型训练平台案例，分享相关设计经验，内容包括：业务场景、训练平台系统架构的规划、数据和模型中心、投产比问题和相关总结。

一、关于AI平台

1.1 AI平台介绍

AI模型训练平台，基于核心模块和应用场景不同，又可以称作深度学习平台、机器学习平台、人工智能平台（以下统称做AI平台）。

AI平台提供业务到产品、数据到模型、端到端，线上化的人工智能应用解决方案。

用户在AI平台能够使用不同的深度学习框架进行大规模的训练，对数据集和模型进行管理和迭代，同时通过API和本地部署等方式接入到具体业务场景中使用。

简单理解，AI平台=AI SAAS+（PAAS）+（IAAS）。

以下是腾讯DI-X和阿里PAI平台的介绍：

DI-X（Data Intelligence X）是基于腾讯云强大计算能力的一站式深度学习平台。它通过可视化的拖拽布局，组合各种数据源、组件、算法、模型和评估模块，让算法工程师和数据科学家在其之上，方便地进行模型训练、评估及预测。

阿里云机器学习平台PAI（Platform of Artificial Intelligence），为传统机器学习和深度学习提供了从数据处理、模型训练、服务部署到预测的一站式服务。

使用AI平台，能够简化开发人员对数据预处理和管理、模型训练和部署等繁琐的代码操作，加快算法开发效率，提高产品的迭代周期；并且通过AI平台能整合计算资源、数据资源、模型资源，使用者能对不同资源进行复用和调度。

开放AI平台后，也能有效进行商业化，对企业所处领域的AI业务生态环境有一定的推动和反馈。

国内外相关的AI平台有：

国内：

• 华为ModelArts
• 阿里云 PAI
• 百度 Paddle Paddle
• 腾讯 DI-X深度学习平台
• 金山云 人工智能平台
• qingcloud 人工智能平台
• 京东 JDAINeuFoundry
• 小米Cloud-ml平台

国外：

• Microsoft Azure Machine Learning
• AWS Machine Learning
• Google Cloud Platform

1.2 AI平台系统架构

基于一个企业整体系统的架构来看，AI平台可视为业务的技术支撑中台之一 （平行于数据中台），起到承上启下（承载业务，对接技术底层）的作用。

若一个企业当前已有数据中台，则可将数据中台作为AI中台的数据输入和数据输出系统对象，AI中台作为业务前台的模型和算法供给平台。若业务前台有AI需求（如图像识别、语义识别、商品推荐等），算法运营团队则通过在AI平台对模型的训练迭代以支持。

根据企业不同的规模、资源和业务场景，其AI平台会有不一样的定位。

例如AI和数据可同为一个中台、AI平台可视为业务中台一部分、AI平台整合进技术中台或后台等。规模较小、资源有限的企业通常会选择使用第三方AI平台对业务进行服务，而非自建AI平台。

企业架构示例：AI平台作为AI中台

关于AI平台自身的架构设计，各第三方平台都大同小异，主要是技术架构上的不同，暂时没有必要去深入研究。

这里以京东NeuFoundry神铸项目系统架构为例，初探一二：

NeuFoundry平台架构图

NeuFoundry基础设施层采用Docker容器进行算力资源的池化，通过Kubernetes进行整体的资源管理、资源分配、任务运行、状态监控等，平台集成了MySQL、Redis、MQ等多种中间件服务，通过数据标注、模型训练、模型发布，生成自定义的AI能力，为各行各业的业务服务提供有力的支撑。