作者： Jeffrey Grosman   EdgeCortix营销与美国运营执行副总裁

来源：Embedded Computing Design

无论是在工作中使用技术，还是在日常生活中使用技术，人类与技术的互动方式都在发生变化。边缘人工智能是技术的一个独特方面，具有革命性意义，因为它使人工智能（AI）的力量更接近数据产生的源头。结合边缘计算和人工智能的力量，人工智能算法可以在硬件设备上本地执行，使用在边缘收集和处理的数据，从而实现更高的能效和更短的处理时间（更低的延迟）。

那么，对于制造业、安防、航空航天、电信、医疗等行业来说，为什么这是一个如此有吸引力的解决方案呢？这一切都与降低功耗、减少数据收集和处理成本以及提高准确性和隐私性有关。

而这仅仅是边缘人工智能处理所能带来的好处的开始。目前，利用这一革命性技术的一些关键用例包括：

利用数据创建更智能的城市

分布式传感器可以监控整个城市的状况--从交通拥堵到空气质量问题，甚至是废物管理。遍布城市各处的传感器会产生大量数据，这使得人类难以快速处理并做出决策。人工智能推理可以有效地处理日常监控、合规性检查、问题识别，并能帮助确定提高城市运营效率和降低成本的最佳方法。人工智能系统还可以在边缘分析数据，并在不与数据中心交互的情况下快速做出决策，从而降低功耗，提高效率。预计到 2050 年，全球将有超过三分之二的人口居住在城市中，因此，今天就建立有效、高效的智能城市基础设施，为迎接未来做好充分准备，是极为重要的。

智能制造中的预测性维护

制造业是实施边缘人工智能和其他新兴技术的一个近乎完美的使用案例，而且使用案例还在不断增加。2023年，全球制造业人工智能市场价值为 32 亿美元，到 2028 年有望增长到 208 亿美元。举例来说，通过在工厂车间各处放置传感器，这些注入人工智能的检测系统产生的数据可以得到早期和经常性的分析，使制造商能够预测机器何时可能出现故障。通过感知即将发生的维修，制造商可以实时发出警报，避免代价高昂的停机时间。此外，人工智能还能帮助建议改变制造流程，从而缩短制造时间，降低总体生产成本。

推进医疗诊断方法

医疗保健领域的应用最令人惊叹。医疗领域最大的挑战之一是正确识别病人面临的确切病情，以便制定适当的治疗方案。例如，识别体内的癌细胞和良性细胞、监测心脏活动以预测不良医疗结果、分析病毒的作用和影响等等。人工智能能够处理庞大的数据集，然后根据这些数据提出建议，为医疗专业人员提供宝贵的信息，帮助他们指导行动方案，为病人带来最佳效果。边缘医疗器械最终将成为支持人工智能的设备，利用超低延迟的手术视频流实现微创手术，并洞察整个手术过程。据美国国家卫生研究院（NIH）称，虽然真正的自主机器人手术在一段时间内仍无法实现，但各领域的协同作用将可能加速人工智能在增强外科护理方面的能力。

能源预测

能源预测结合了许多不同的因素，试图优化能源的负荷和性能。现代能源管理会查看历史天气数据、季节性能源使用情况、一天中各时段的使用情况、可用能源（太阳能、风能、核能、煤炭），并尝试优化使用情况，以便在不损失客户服务的情况下最大限度地降低成本。 人工智能模型可以大大改进这种能源分析，并可以创建复杂的模拟，帮助能源供应商在发电、配电和使用能源资源方面做出明智的决策，以最有效的方式降低成本，同时保持持续的服务。在这个对维持人类福祉至关重要的行业中，边缘人工智能为该行业带来了更好的业务成果，预计到 2040 年，全球能源消耗将减少 30%。

CPU 和 GPU 等传统半导体的局限性

CPU 或 GPU 等通用处理半导体为开发人员提供了数据中心大多数应用的灵活性。然而，这些通用解决方案并不总能很好地满足在边缘运行深度神经网络或生成式人工智能模型的工作负载的需求。这些解决方案功能强大，但从性能角度来看运行效率低下，而且功耗过高，无法满足边缘应用中有限的资源和功耗限制。

人工智能加速器是高效边缘人工智能处理的答案

为了在边缘处理一些最具挑战性的生成式人工智能任务，我们需要设计灵活、能效高的解决方案。为了无缝管理大型语言模型（LLM）、大型视觉模型（LVM）和基于多模态变压器的应用等任务，低延迟、高内存带宽、高精确度和紧凑的外形尺寸都是高效边缘人工智能加速器的关键特性，这些特性将产生顶级性能的结果。此外，全栈式人工智能推理软件环境、运行时可重新配置的边缘人工智能推理 IP 和特定应用芯片，对于设计人员在边缘部署接近云级别的人工智能性能至关重要。

边缘人工智能设备对性能和功耗的要求范围很广。因此，找到合适的加速器并非易事。人工智能加速器需要支持不同的工作负载，并利用流行的模型推理提供所需的吞吐量。边缘人工智能软件栈尤其复杂，因为它包括一个能够优化各种预训练模型的编译器，以便在不同的目标设备中实现最高的硬件利用率（考虑内存大小和内存带宽）。硬件提供商往往在事后才考虑软件问题。EdgeCortix 就是一家采用软件优先方法设计新型人工智能专用运行时可重构处理器的公司。这种软件优先的方法使开发人员能够更好地配置软件和底层硬件，以满足每个特定应用的具体计算需求。

计算新时代

非数据中心应用利用云连接和大功率 GPU 设备执行人工智能推断的时代在边缘已变得不切实际。在等待云响应时存在较大的时间延迟（延迟），而且现有数据中心设计固有的高能耗可能无法满足基于边缘计算的性能和功耗要求。 鉴于边缘应用的内存资源和电力供应有限，这导致人们希望解决方案具有更高的效率，同时也推动了对具有高响应速度、低功耗和高效处理能力的解决方案的需求，以满足这些严格的边缘要求。专用的人工智能加速器是边缘人工智能处理的最佳和最高效的解决方案，可提供性能和能效的理想组合。人工智能加速器可以解决各种业务应用中的边缘挑战，包括智能城市、智能制造、医疗应用、能源预测和许多其他用途。关键在于找到最直接符合您独特的功耗、延迟和处理要求的解决方案。

在考虑边缘处理人工智能任务可能带来的挑战时，从数据隐私和安全到网络连接、可扩展性、模型优化以及与现有系统的集成，无论业务部门或行业如何，应用能解决这些挑战的解决方案都至关重要。通过精心策划、建立正确的合作伙伴关系和努力执行，企业可以利用边缘人工智能的力量，为自身及其终端客户释放新的业务能力和机遇。