边缘AI落地难？Gartner建议摒弃“云外展”思维，以“边缘汇入”重构分布式架构

针对中国企业边缘AI项目落地难的问题，Gartner近日发布实施指南，直指四大常见误区。报告指出，许多I&O领导者习惯于“AI+边缘”的盲目部署，或将边缘AI等同于生成式AI，导致投资损失。Gartner建议，企业应转向“边缘+AI”思维，将边缘AI视为持续改进的平台化产品，并结合“边缘汇入”方法，在真实业务场景中验证技术可行性，以确保创造有意义的业务价值。

不要采取“AI+边缘”方法，而应从“边缘+AI”出发

边缘AI部署中的第一个常见误区，就是采用“AI+边缘”的方法，即优先关注在边缘站点部署AI技术，而没有首先考虑边缘计算应解决的独特业务需求。同时，中国I&O领导者也往往面临业务压力或同行压力，希望快速取得成果。因此，他们可能会首先在边缘侧部署一体化生成式AI基础设施栈，然后再尝试寻找合适的现有业务场景或创造新的应用场景，希望借此获得业务成功。然而，这种做法经常导致投资损失，因为它忽视了边缘环境真正需要解决的具体业务场景和运营挑战。最终，企业往往会得到利用率不高或与业务需求不匹配的解决方案，无法创造有意义的业务价值。

为了避免这一问题，I&O领导者应采取“边缘+AI”方法，即首先清晰理解哪些业务问题和业务机会最适合在边缘解决，并据此定义边缘用例（见图1）。

图1 边缘计算用例分类

在选定边缘用例之后，I&O领导者应与业务利益相关者共同探索各种边缘AI技术，并选择最适合的解决方案。在这一过程中，可以运用设计思维（见图2）来推进整体流程。

图2 典型设计思维流程

不要将边缘AI视为基础设施，而应采用平台化和产品化思维以实现业务价值

第二个常见误区是，许多中国I&O领导者将边缘AI视为等同于基础设施交付的项目，按照传统的“规划-建设-运行-改进”线性周期来推进。这种传统方法往往导致交付速度缓慢，并且难以适应不断变化的业务需求，尤其是在成熟但变化迅速的中国市场环境中。

为有效管理边缘AI，I&O领导者应将其视为需要持续改进的平台化产品，而非一次性的基础设施扩展。

●   为持续演进做好准备：为模型、数据源、站点环境以及业务优先事项在初始部署后的持续变化做好预期。

●   建立平台责任人和协作机制：I&O领导者未必始终直接对平台负责。在很多情况下，他们协助构建平台，并与业务部门共同对平台负责。因此，重要的是明确角色与职责，为产品或平台指定领导者（或联合领导者），负责路线图决策、发布优先级以及业务价值交付。

●   基于业务反馈进行持续改进：持续改进依赖于运营团队和业务利益相关者的意见。因此应定期收集反馈信息，以优化用例、调整性能目标并识别支持需求，确保平台持续满足现实业务需求。

●   建立持续更新机制：定义模型、软件组件和依赖项在分布式站点中的测试、发布和监控流程。同时利用看板（Kanban）或Scrum等敏捷方法保持平台持续更新。

●   衡量价值与扩展就绪度：跟踪模型性能、运营稳定性、服务水平和业务成果，以指导未来的扩展决策。

不要只依赖“云外展”，而应结合“边缘汇入”方法

中国I&O领导者在部署边缘AI时面临的第三个误区是优先采用“云外展”方法，而忽视“边缘汇入”方法的价值。“云外展”模式从云端出发，将解决方案延伸至边缘；而“边缘汇入”模式则从边缘出发，首先满足本地需求，然后再与云端进行连接。

为应对这一挑战，I&O领导者应：

●   在部署模型时同等对待云和边缘：将云和边缘视为相辅相成的环境，而不是一种由云主导、边缘仅负责扩展云工作负载的层级关系。云环境可被用于模型训练、大规模数据整合、企业级系统集成和统一的全局业务报告。

●   将边缘定义为本地智能执行层：利用边缘环境执行实时数据处理、即时推理以及对敏感本地数据的快速分析。这种方法有助于降低延迟、保护本地数据，以及加快运营决策。

●   仅将有价值的脱敏数据上传至云端：不要默认将所有原始边缘数据都发送到云端。相反，应在本地先完成数据过滤、数据整合和数据脱敏，然后再将数据上传至云端，以用于企业级数据整合、模型优化和全局业务洞察。

●   在边缘部署前对云端训练模型进行调整：不要假设在云端训练的模型无需修改即可直接运行于边缘环境。应针对边缘环境中的计算能力、存储容量、电力条件和网络条件进行优化调整。

●   采用量化、剪枝和蒸馏技术来调整模型：通过降低模型的规模和复杂度，使推理能够在边缘服务器、网关设备、工业PC和嵌入式设备中稳定运行，即使资源条件受限。

●   在正式投产前验证软硬件兼容性：根据芯片、AI加速器、操作系统、中间件和设备驱动程序对模型进行测试，以避免出现系统不稳定、性能下降和集成失败的情况。

●   在本地运营环境中测试边缘AI的性能，包括网络中断、设备故障、异常数据输入、业务流程异常等。

不要将边缘AI误认为仅仅是边缘生成式AI

中国I&O领导者在部署边缘AI时面临的第四个误区，是认为边缘AI仅限于边缘生成式AI。这种误解通常源于许多I&O领导者并非AI专家，而且在2022年底ChatGPT火爆之前接触AI的机会相对有限。此外，来自业务和IT高管的压力也进一步强化了将边缘AI仅与边缘生成式AI挂钩的倾向。

边缘AI并不仅仅是生成式AI，而是涵盖广泛的AI和机器学习技术，以满足各种边缘应用场景的需求。许多边缘场景都对低延迟、确定性行为、高效利用资源和可预测的运营结果提出了要求。在这些场景中，传统AI方法通常更加有效且更具可行性，而生成式模型反而可能引入不必要的成本和复杂性。

为了避免将边缘AI误解为仅面向生成式AI，I&O领导者应采取以下措施：

●   明确边缘AI的完整范围：应将边缘AI视为更广泛的AI能力集合，而不仅仅是在边缘部署大语言模型（LLM）或生成式AI。将计算机视觉、传统NLP、时间序列分析、异常检测、优化技术、基于规则的推理等技术用于更适合它们的场景中。

●   从边缘用例出发，而非从AI类别出发：评估业务场景是否需要低延迟、本地自治、确定性行为、可预测成本，以及在受限资源环境下运行。然后根据这些需求决定哪种方法（生成式AI、传统AI或基于规则的方法）更合适。

●   让D&A、I&O和业务团队共同参与技术选择：与D&A团队或AI团队共同评估模型适用性；与I&O团队共同评估部署与支持的约束条件；与业务团队共同验证运营价值。这样能够降低因市场热度或供应商影响而盲目选择生成式AI的风险。

●   在扩展部署前通过试点进行验证：在真实站点环境下，通过概念验证（POC）测试其技术可行性、推理性能、成本、运维负担、支持需求以及业务影响。避免将仅在理论层面可行、但无法在分布式边缘环境中稳定运行的方案直接进行推广。

●   标准化成功部署模式：在试点验证成功后，建立可复用的部署指南、参考架构、支持流程和扩展标准。这有助于在多个站点复制已经验证成功的边缘AI模式，而不是将生成式AI盲目应用于所有边缘场景。