项目背景与动机
经常购买树莓派设备的用户都了解,树莓派5作为业界顶尖的单板计算机(SBC),不仅具备卓越的软硬件综合性能,还新增了一组PCIE3.0x1外设接口。该接口通过FFC线缆可连接官方或第三方HAT组件,方便拓展高性能外设。自去年起,树莓派社区陆续介绍了多种基于HAT PCIE的拓展方案。
今年春节后,随着DeepSeek模型的广泛应用,树莓派开发者不再局限于在树莓派5上运行传统CNN小模型(如YOLO)。社区对在树莓派板卡上高效部署大语言模型、多模态模型和生成式模型的需求显著增加。
本文分享由国内领先的端侧AI芯片公司爱芯元智推出的树莓派5算力拓展解决方案,涵盖生态硬件支持情况及其易用特性。
核心优势分析
相比树莓派官方的Hailo8或Hailo8L算力套件,本方案具备以下优势:
AI示例丰富多样 支持模型类型包括:
大语言模型:DeepSeek R1 Distill、Qwen、Llama3、MiniCPM、SmolLM2、InternML
多模态大模型:Qwen2.5-VL、InternVL2.5、MiniCPM-V、SmolVLM、Janus Pro
语音类模型:Whisper、WeNet、MeloTTS、OpenVoice
生成式模型:StableDiffusionv1.5、LivePortrait
多模态模型:CLIP、YOLOWorldv2
主流CNN&Transformer模型:Ultralytics YOLO全系列、SAM、DepthAnythingv2、Metric3D、RAFT-Stereo、MixFormerv2等
资源消耗优化 独立存储设计,运行AI模型时不占用树莓派5系统的DDR带宽;集成独立编解码模块,最大支持32路1080P30解码。
二次开发便捷 提供C++/Python API接口,编解码单元已适配FFmpeg。作为本土全栈技术方案,解决方案成熟且技术支持高效。
低功耗表现 满载功耗低于8W,支持被动散热,无需额外供电。仅需树莓派5标准适配器,通过FFC线缆为HAT算力配件供电即可。
高性价比 价格实惠,经济性突出。
硬件组件详解
无论是通过现有HAT拓展的M.2 2280标准算力卡,还是专为树莓派5定制的HAT AI Module,均具备以下特性:
M.2算力卡
HAT AI Module
硬件安装步骤
M.2算力卡安装指南 在树莓派5上安装M.2加速卡时,需准备M.2 HAT+扩展板。官方版本仅支持2230/2242规格的M.2 M Key卡,而AX650加速卡为2280尺寸,建议选用第三方支持的2280长度M.2 HAT+扩展板。CM5用户可直接使用配套的Compute Module 5。
安装示意图:
软件配置流程
AXCL是专为Axera芯片平台设计的C/Python API库,用于深度神经网络推理、转码等应用开发,提供资源管理、内存分配、模型加载及媒体数据处理等功能。树莓派5安装AXCL驱动的详细步骤参考: https://axcl-pi5-examples-cn.readthedocs.io/zh-cn/latest/doc_guide_setup_sw.html
安装成功后,执行axcl-smi命令显示如下:
AI易用性特点
API兼容ONNXRuntime 为加速产品开发,AXCL的NPU Python API与ONNXRuntime高度兼容。开发者只需将脚本中的
import onnxruntime as ort
替换为import axengine as ort
即可无缝迁移。详情参考pyaxengine文档。活跃的开源社区
AI模型演示案例
基础模型性能对比 横向比较其他内置算力的SBC,树莓派5结合M.2算力卡在运行CNN和Transformer模型时效率更高:
Qwen2.5-1.5B大语言模型应用
模型获取:https://huggingface.co/AXERA-TECH/Qwen2.5-1.5B-Instruct-CTX-Int8
支持2.5k长上下文、System Prompt缓存及prefill优化:
InternVL2_5-1B多模态模型
实现图片理解功能:
StableDiffusionv1.5文生图应用
在树莓派5搭配AX650N算力模组下,SD1.5推理性能提升40倍(输出512x512图像):
Whisper语音模型
测试4秒音频,Whisper small模型在设备上耗时740ms,RTF(实时因子)仅0.19:
社区使用反馈
树莓派结合M.2大模型算力卡的方案已获海外用户积极试用,反馈显示可玩性与实用性俱佳:
未来发展计划
本文旨在初步探索,后续将基于社区反馈深化算力拓展方案,弥补树莓派生态算力短板,赋能更多AI应用场景:
持续适配前沿大模型
联合硬件伙伴推出多样化算力配件
优化软件易用性,开源视频解码+智能分析+后处理一站式方案
拓展垂直领域智能解决方案