发布Hailo数据流编译器,提升Raspberry Pi AI套件功能

最近,树莓派AI套件的发布在社区中引起了广泛的关注。初始发布时,我们推出了几款基于计算机视觉的AI演示和示例,这些演示是基于一些著名的先进神经网络模型构建的。然而,许多高级用户很快开始寻求更多功能,特别是希望能够使用自己的数据集对这些模型进行重新训练,甚至编译自定义模型以在Hailo AI加速器上运行。Hailo团队一直在积极开发中,因此我们非常高兴地宣布,Hailo数据流编译器(DFC)现已发布。DFC将使用户能够扩展树莓派AI套件的功能,并根据特定用例优化性能。

Raspberry Pi AI(人工智能)套件:https://www.raspberrypi.com/products/ai-kit/
人工智能演示和示例:https://www.raspberrypi.com/documentation/accessories/ai-kit.html#demos
Hailo数据流编译器(DFC):https://community.hailo.ai/t/dataflow-compiler-dfc-availability/1476

图片
一切都安全地固定在一起,因此很容易将其嵌入到其他硬件中

自带数据(BYOD)

想要创建一个能够检测特定动物类型的野生动物摄像头吗?利用DFC的BYOD模式,用户将能够使用一些流行的神经网络模型,并通过自己的定制数据集对其进行重新训练。Hailo已经提供了一个全面的端到端教程,详细说明了如何对现有神经网络模型进行重新训练。
端到端的教程:https://github.com/hailo-ai/hailo-rpi5-examples/blob/main/doc/retraining-example.md

带上你自己的模型(BYOM)

如果现有的演示和Hailo模型库中的神经网络模型无法满足您的需求,您可以使用DFC将ONNX或TensorFlow Lite (TFLite)模型转换并编译为Hailo的HEF格式,以便在Hailo AI加速器上运行。虽然BYOM并非易事,需深入了解模型和转换流程,但一些用户会将其视为一个有趣的挑战。请查看Hailo开发者区域中的DFC教程。
Hailo模型库:https://github.com/hailo-ai/hailo_model_zoo/tree/master/docs/public_models/HAILO8L
DFC教程:https://hailo.ai/developer-zone/documentation/dataflow-compiler-v3-27-0/?sp_referrer=tutorials/tutorials.html

下一步是什么?

用户也询问了Hailo AI加速器是否能够运行Whisper、Stable Diffusion等大型神经网络模型。目前,这些模型尚无法在Hailo加速器上运行,但Hailo正在努力移植其中的一些模型。
图片
此外,针对树莓派AI套件即将推出的Python/Picamera2集成,无疑将为用户带来更多便利。在下一个版本包中,您将获得对Python和Picamera2的完全支持,包括演示和示例。这对于希望使用树莓派AI套件进行自定义开发的用户来说,毫无疑问是一个极好的补充。