背景和目标

1. 背景：依托音视频数据边缘端离线智能推理需求（主要是视频流、图片、音频相关的推理）
2. 目标：针对HiLens kit(具备AI推理能力的多媒体终端设备，与华为智能小站类似)、海思35xx系列芯片提供端云协同的推理部署管控平台（即不具备模型训练能力，仅提供模型管理、设备管理、业务能力开发IDE、SDK的平台）

采用的策略

1. 采用云端开发，边端推理的模式（设备在线管控，可离线推理）
2. 策略：基于主流框架选择性兼容，服务自家产品

用户类型

整体架构

HiLens平台功能设计

在云端运行的推理部署管控平台，主要功能模块有设备管理、模型管理、技能市场、技能开发、HiLens Framewok、HiLens Studio（如图一所示）。

1. 设备管理：纳管边缘设备，可以对标华为的FD、K3编排引擎等；
2. 模型管理：提供部分模型转换功能，存储可在边设备运行的推理模型，相当于用户私有的模型仓库；
3. 技能市场：提供可直接在边缘端运行的公共技能仓库，其存储对象是功能完善的推理部署包（模型+逻辑代码），具备独立的业务功能，下发边缘设备直接应用，无需二次开发。
4. 技能开发：技能开发平台，基于算法模型和逻辑代码配置边缘设备的推理部署包，声明应用参数；其中，逻辑代码开发和调试调用专用的HiLens Framework工具包，在HiLens Studio（IDE）在线开发；
5. HiLens Framework 框架，具备音视频数据处理、HiLens Kit调用的专用sdk,可离线使用，也可在线使用
6. HiLens Studio:在线开发集成环境（IDE）,兼容C++、Python开发环境；如果不想在线开发，线下采用Pycharm，vs code等其它离线开发工具也是可以的；

应用模式（本人觉得值得借鉴）

应用模式主要有三种(如图所示)，分别从不同的用户角度以不同的应用入口提供服务。

模式1：还未有算法模型，开发者从模型训练开始，由于 HiLens 不具备模型训练能力，需要与华为AI推理平台ModelArts联动。开发者在ModelArts完成模型训练和适配底层硬件的模型转换；HiLens管控平台提供ModelArts推理模型的接收接口，存储到“模型管理”模块，根据业务需求完成技能开发，并将技能上传技能市场；

模式2：在线下已完成模型训练，开发者通过HiLens自身提供的模型转换接口，接收模型，并完成适配边缘设备的推理模型转换，存储到“模型管理”模块，根据业务需求完成技能开发，并将技能上传技能市场；

模式3：无线开发，从技能市场开始，业务人员直接从技能市场购买技能，完成技能下发边缘设备，就可以直接启动设备使用技能了。

图二 HiLens应用流程梳理

优劣势：

功能对标其他产品分析

尚未明确的点

1. 边端推理的模型和数据是否都存储在边缘设备?
2. 所采用的模型转换原理是什么？
3. 模型转换之后的运行时延和准确度偏差会是多少?
4. 什么级别的模型可用转换？