作者:Saumitra Jagdale自由技术作家
随着人工智能领域的发展,这些设备变得越来越计算和耗电。随后,边缘设备上的处理负载随着系统架构的性能和复杂性而显着增加。因此,系统中灌输了更高分辨率的图像和更复杂的算法,随着对AI处理的需求不断增加,需要进一步优化以实现高TOPS性能。
Synopsys 发布了神经处理单元 (NPU)、知识产权 (IP) 内核和工具链,以满足 AI 片上系统 (SoC) 中日益复杂的神经网络模型的性能需求。其新的DesignWare ARC NPX6和NPX6FS NPU IP可满足实时计算的需求,同时为AI应用消耗超低功耗。此外,该公司的新 MetaWare MX 开发工具提供了一个完整的编译环境,具有自动神经网络算法分区功能,以最大限度地提高在最新 NPU 上进行应用软件开发的资源效率。
使用新的DesignWare ARC NPX6和NPX6FS NPU IP,以及MetaWare MX开发工具包,设计人员可以利用最新的神经网络模型,满足不断升级的性能期望,并加快下一个智能SoC的上市时间。ARC NPX6 NPU IP 系列包括众多处理深度学习算法覆盖的产品,包括对象识别、图像质量增强和场景分割等计算机视觉任务,以及音频和自然语言处理等更大的 AI 应用。设计中的单个内核可以从 4K MAC 扩展到 96K MAC,以实现超过 250 TOPS 和超过 440 TOPS 的稀疏性单个 AI 引擎性能。
NPX6 NPU IP 包含对最多 8 个 NPU 的多 NPU 集群的硬件和软件支持,稀疏度为 3500 TOPS。借助硬件和软件中的高级带宽功能以及内存层次结构(每个内核中包含 L1 内存和用于访问公共 L2 内存的高性能、低延迟连接),可以扩展到较大的 MAC 数量。对于受益于神经网络内部 BF16 或 FP16 的应用程序,提供了一个可选的张量浮点单元。
图片来源:新思科技
MetaWare MX 开发工具包为应用软件开发提供了一个软件编程环境,包括神经网络软件开发工具包 (NN SDK) 和虚拟模型支持。NN SDK 会自动将使用流行框架(如 Pytorch、Tensorflow 或 ONNX)训练的神经网络转换为 NPX 优化的可执行代码。
这个概念是,NPX6 NPU处理器IP随后可用于制造各种产品,从几个TOP到数千个TOPS,所有这些都可以使用单个工具链编写。
NPX6 NPU IP 的主要特性:
可扩展的实时 AI/神经处理器 IP,性能高达 3,500 TOPS,支持 CNN、RNN/LSTM、变压器、推荐器网络和其他神经网络。
电源效率(高达 30 TOPS/W),在业内无与伦比。
卷积加速器的 1-24 个内核,具有增加的 4K MAC/内核
支持张量算子集架构并允许变量激活 (TOSA) 的张量加速器
软件开发工具包
o 用于自动混合模式量化的工具
减少带宽的架构和软件工具特性
通过并行处理各个层来减少延迟。
DesignWare ARC VPX 矢量 DSP 无缝集成。
生产力很高。Tensorflow和Pytorch框架以及ONNX交换标准由MetaWare MX Development Toolkit支持。
此外,ARC NPX6FS NPU IP 符合 ISO 26262 ASIL D 标准,用于随机硬件故障检测和系统功能安全开发流程。这些处理器具有符合 ISO 26262 的特定安全机制,可处理下一代区域设计的混合关键性和虚拟化需求,以及全面的安全文档。
ARC MetaWare MX 开发工具包包括神经网络软件开发工具包 (SDK)、编译器和调试器、虚拟平台 SDK、运行时和库以及高级仿真模型。它提供统一的工具链环境以加快应用程序开发,并在MAC资源之间智能划分算法以实现最佳处理。MetaWare MX 安全开发工具包包含安全手册和安全指南,可帮助开发人员满足 ISO 26262 标准,并为安全关键型汽车应用的 ISO 26262 一致性测试做好准备。
通过 NPU 集群加速边缘 AI 应用
为了满足人工智能应用日益增长的性能和复杂需求,恩智浦NPU IP内核提供高性能、可扩展的实时人工智能和神经处理IP,具有高达3500个TOPS,支持各种神经网络,如CNN、RNN/LSTM、变压器和推荐器网络。
此外,它通过并行处理各个层来减少延迟。此外,高生产力的MetaWare MX Development Toolkit支持Tensorflow和Pytorch框架以及ONNX交换格式。