iCore-3576Q配置 Rockchip 八核 64 位 AIOT 处理器 RK3576,采用先进工艺制程,高性能低功耗,内置 ARM Mali G52 MC3 GPU,集成6 TOPS算力NPU,支持主流大模型的私有化部署。同时支持4K@120fps解码/4K@60fps 编码,具备 4K@120fps 高清高帧率显示能力,支持外部看门狗,具有实时网络、Flexbus、硬件资源隔离、DSMC等工业新特性,满足不同的工业应用需求。
参数 | |
---|---|
尺寸 | 25x15.5mm |
芯片 | CP2104 |
LED | Power LED, TX LED, RX LED |
USB 类型 | MicroUSB |
排针 | 2.54mm 3PIN |
主控 | 板卡型号 |
---|---|
PX30 | AIO-PX30-JD4 |
RK3128 | Firefly-RK3128, AIO-3128C |
RK3288 | Firefly-RK3288, AIO-3288C, AIO-3288J |
RK3308 | ROC-RK3308-CC, ROC-RK3308B-CC V0.1, ROC-RK3308B-CC V1.0 ROC-RK3308B-CC-PLUS |
RK3328 | ROC-RK3328-CC, ROC-RK3328-PC, AIO-RK3328-JD4 |
RK3399 | AIO-3399C, AIO-3399J, AIO-3399JD4 ROC-RK3399-PC-PLUS, ROC-RK3399-PC, ROC-RK3399-PC-Pro Firefly-RK3399, Face-RK3399 V1, Face-RK3399 V2 |
RK3399Pro | AIO-3399ProC, AIO-3399Pro-JD4 |
RK3566 | AIO-3566JD4, ROC-RK3566-PC |
RK3568 | AIO-3568J, ROC-RK3568-PC, ROC-RK3568-PC SE |
RV1106 | CT36L |
RV1126_RV1109 | AIO-1126-JD4, AIO-1109-JD4, CAM-C1126S2U, CAM-C1109S2U |
RK3588 | ITX-3588J,ROC-RK3588S-PC,AIO-3588SJD4,ROC-RK3588-PC,AIO-3588Q,AIO-3588SG ,AIO-3588L |
RK3576 | AIO-3576JD4 |
RK3506 | ROC-RK3506B-CC,ROC-RK3506J-CC |
注意: 如使用其它串口适配器遇到 TX 和 RX 不能输入和输出的问题,可以尝试对调 TX 和 RX 的连接。
波特率:1500000
数据位:8
停止位:1
奇偶校验:无
流控:无
说明: 以下表格中板型的调试串口波特率有所不同,是 115200。
板卡型号 |
---|
RK3128 全系列,RK3288 全系列,AIO-3576JD4 |
下载驱动并安装:
如果在 Win8 上不能正常使用 PL2303,参考这篇文章, 采用 3.3.5.122 或更老版本的旧驱动即可。
如果在 Windows 系统上安装官网的 CP210X 驱动,使用 PUTTY 或 SecureCRT 等工具设置串口波特率为 1500000,如果出现设置不了或无效的问题,可以下载旧版本驱动。
插入适配器后,系统会提示发现新硬件,并初始化,之后可以在设备管理器找到对应的 COM 口:
Windows 上一般用 putty 或 SecureCRT。其中我们推荐使用 MobaXterm 免费版本。这是一款功能强大的终端软件,在这里介绍一下,MobaXterm 的使用方法与之类似。
到这里下载 MobaXterm:
选择 session 为 Serial。
将 Serial port 修改为在设备管理器中找到的 COM 端口。
设置 Speed (bsp) 为 1500000。
点击 OK 按钮。
在 Ubuntu 上可以有多种选择:
minicom
picocom
kermit
篇幅关系,以下就介绍 minicom 的使用。
把光标移动到“Serial port setup”,按enter进入串口设置界面,再输入前面提示的字母,选择对应的选项,设置成如下:
AIO-3576Q出厂默认会有一个操作系统,如果用户要运行其他操作系统,需要使用对应的固件烧写到主板。
AIO-3576Q有灵活的启动方式。一般情况下,除非硬件损坏,AIO-3576Q 开发板是不会变砖的。
如果在升级过程中出现意外,bootloader 损坏,导致无法重新升级,此时仍可以进入 MaskRom 模式来修复。
AIO-3576Q 支持通过以下两种方式升级固件:
使用USB线缆升级固件
使用Type-C 数据线 将主板连接到电脑上,通过升级工具将固件烧写到主板上。
使用SD卡升级固件
通过升级卡制作工具,将 MicroSD 卡制作为升级卡,将升级卡插入主板,上电开机,机器自动执行升级。
AIO-3576Q 从以下的存储器中加载系统:
eMMC 接口
SDMMC 接口
AIO-3576Q有三种启动模式:
Normal 模式
Loader 模式
MaskRom 模式
Normal 模式就是正常的启动过程,各个组件依次加载,正常进入系统。
在 Loader 模式下,bootloader 会进入升级状态,等待主机命令,用于固件升级等。
MaskRom 模式用于 bootloader 损坏时的系统修复。
一般情况下是不用进入 MaskRom 模式的,只有在 bootloader 校验失败(读取不了 IDB 块,或 bootloader 损坏) 的情况下,BootRom 代码 就会进入 MaskRom 模式。此时 BootRom 代码等待主机通过 USB 接口传送 bootloader 代码,加载并运行之。
要强行进入 MaskRom 模式,请参阅《MaskRom模式》一章。
本文介绍了如何将主机上的固件,通过Type-C 数据线烧录到 iCore-3576Q 开发板的存储器中。升级时,需要根据主机操作系统和固件类型来选择合适的升级方式。
AIO-3576Q 开发板
主机
良好的Type-C 数据线
固件可以通过编译SDK获得,也可以通过资源下载处下载公版固件(统一固件)。固件文件一般有两种:
单个统一固件
统一固件是由分区表、bootloader、uboot、kernel、system等所有文件打包合并成的单个文件。Firefly正式发布的固件都是采用统一固件格式,升级统一固件将会更新主板上所有分区的数据和分区表,并且擦除主板上所有数据。
多个分区镜像
即各个功能独立的文件,如分区表、bootloader、kernel等,在开发阶段生成。独立分区镜像可以只更新指定的分区,而保持其它分区数据不被破坏,在开发过程中会很方便调试。
通过统一固件解包/打包工具,可以把统一固件解包为多个分区镜像,也可以将多个分区镜像合并为一个统一固件。
安装RK USB驱动
下载 Release_DriverAssistant.zip,解压,然后运行里面的 DriverInstall.exe 。为了所有设备都使用更新的驱动,请先选择驱动卸载,然后再选择驱动安装。
运行AndroidTool的RKDevTool.exe
为避免由下载工具版本引起的烧写问题,推荐使用公版固件压缩包内部打包好的工具进行烧写
也可以单独下载 AndroidTool,解压,运行 RKDevTool_Release_v2.xx 目录里面的 RKDevTool.exe(注意,如果是 Windows 7/8,需要按鼠标右键,选择以管理员身份运行),如下图:
Linux 下无须安装设备驱动
下载 Linux_Upgrade_Tool, 并按以下方法安装到系统中,方便调用:
下载 Linux_adb_fastboot, 并按以下方法安装到系统中,方便调用:
通常我们升级固件的模式有两种,分别是Loader模式和MaskRom模式。烧写固件前,我们需要连接好设备,并让板子进入到可升级模式。
连接设备并通过RECOVERY按键进入Loader升级模式步骤如下:
先断开电源适配器连接
使用 Type-C 数据线一端连接主机,一端连接开发板
按住设备上的 RECOVERY (恢复)键并保持
接上电源
大约两秒钟后,松开 RECOVERY 键
Type-C 数据线接好后在串口调试终端或adb shell给板子运行以下命令
如何确定板子是否进入Loader模式,我们可以通过工具去查看
Windows操作系统
通过AndroidTool工具可以看到下方提示Found One LOADER Device
如果有进行”进入Loader模式”的操作,仍旧没有看到烧写工具提示LOADER,此时可以可以看一下Windows主机是否有提示发现新硬件并配置驱动。打开设备管理器,会见到新设备 Rockusb Device 出现,如下图。如果没有,可返回上一步重新安装驱动。
Linux操作系统
运行upgrade_tool后可以看到连接设备中有个Loader的提示
进入MaskRom模式的方法,请参考《MaskRom模式》
烧写统一固件 update.img 的步骤如下:
切换至Upgrade Firmware页。
按Firmware按钮,打开要升级的固件文件。升级工具会显示详细的固件信息。
按Upgrade按钮开始升级。
如果升级失败,可以尝试先按EraseFlash 按钮来擦除 Flash,然后再升级。
烧写分区映像的步骤如下:
切换至Upgrade Firmware页。
勾选需要烧录的分区,可以多选。
确保映像文件的路径正确,需要的话,点路径右边的空白表格单元格来重新选择。
点击Run按钮开始升级,升级结束后设备会自动重启。
如果板子进入不了 Loader 模式,此时可以尝试强行进入 MaskRom 模式。操作方法见《MaskRom模式》。
如果烧写过程中出现Download Boot Fail, 或者烧写过程中出错,如下图所示,通常是由于使用的USB线连接不良、劣质线材,或者电脑USB口驱动能力不足导致的,请更换USB线或者电脑USB端口排查。
有关启动模式的介绍,请参阅《升级固件介绍》一章
MaskRom 模式是设备变砖的最后一条防线。强行进入 MaskRom 涉及硬件操作,有一定风险,因此仅在设备进入不了 Loader 模式的情况下,方可尝试 MaskRom 模式。进入 MaskRom 的原理是人为的把 EMMC 的数据脚与地线短接,系统会认为 EMMC 数据出错,从而清除 EMMC 数据。
请小心阅读,并谨慎操作!
操作步骤如下:
先断开电源,然后按住 maskrom 按键,再上电,几秒后松开
此时设备就会进入 MaskRom 模式。
本文主要介绍如何通过MicroSD卡,升级主板上的固件。
使用MicroSD升级固件,需要在电脑上,通过做卡工具,将统一固件写入MicroSD卡,目前此操作只支持在Windows操作系统上完成。
主板
电脑
SD卡
USB读卡器
下载需要升级到主板上的统一固件。
打开SD_Firmware_Tool,勾选固件升级框,点击选择固件选择正确升级固件。
将MicroSD插入USB读卡器,再插入到电脑USB口上,在列表式组合框中选择正确的USB设备。
点击开始创建之后,等待创建结束。
取出MicroSD卡,插入主板的MicroSD卡插槽,对主板上电开机,主板自动开始升级。
升级完成后,取出MicroSD卡,主板自动重启,完成整个升级固件的流程。
本章介绍 Ubuntu 固件的编译流程,推荐在 Ubuntu 20.04 系统环境下进行开发,若使用其它系统版本,可能需要对编译环境做相应调整。
本教程的编译部分适用于 v0.1.0a 以上 SDK 版本
Firefly Linux 开发指南
ADB,全称 Android Debug Bridge,是 Android 的命令行调试工具,可以完成多种功能,如跟踪系统日志,上传下载文件,安装应用等。
使用 Type-C 数据线连接 PC 以及设备的 OTG 端口。
设置 -> 开发者选项 -> 网络 ADB 调试
查看开发板 IP 地址,PC 端通过网络访问:
首先参照安装 RK USB 驱动一节安装好驱动。
然后下载 adb.zip,解压到 C:adb 以方便调用。
打开命令行窗口,输入:
如果一切正常,就可以进入 adb shell,在设备上面运行命令。
安装 ADB 工具:
列出所有连接设备及其序列号:
adb bugreport 用于错误报告,里面包含大量有用的信息。
示例
如果 TARGET_BUILD_VARIANT 使用的是 userdebug 模式,要获得 root 权限,需要先运行:
让 ADB 的设备端切换到 root 权限模式,这样 adb remount 等需要 root 权限的命令才会成功。
如果安装成功,工具会返回成功提示 Success;失败的话,一般是以下几种情况:
INSTALL_FAILED_ALREADY_EXISTS: 此时需要用 -r 参数来重新安装。
INSTALL_FAILED_SIGNATURE_ERROR: 应用的签名不一致,可能是发布版和调试版签名不同所致。如果确认 APK 文件签名正常,可以用 adb uninstall 命令先卸载旧的应用,然后再安装。
INSTALL_FAILED_INSUFFICIENT_STORAGE: 存储空间不足,需要检查设备存储情况。
前面是 apk 文件,后面则是对应的包名称。
编译 Android 对机器的配置要求较高:
64 位 CPU
64GB 物理内存 交换内存
400GB 空闲的磁盘空间
如需编译 Android 14,您必须使用 Ubuntu 20.04 或更高版本。
如需安装 Ubuntu 20.04 或更高版本所需的软件包,请运行以下命令:
由于每个人的PC系统版本和环境配置不一样,安装软件包后编译并不一定都会成功,可能会出现缺少某些软件包而引起的错误,如:
此时视报错信息去安装缺少的软件包(dtc)即可
SDK 源码与 bundle 压缩包均存放在云盘中。如有需要请联系商务 : sales@t-firefly.com
SDK通过邮件的方式获取,把订单号发送到sales@t-firefly.com邮箱并注明需要的SDK名称firefly_rk3576_android14.0_git_20241126
下载完成后,在解压前先校验下 MD5 码:
然后解压:
注意:不要在共享文件夹、挂载文件夹以及非英文目录解压SDK,避免产生不必要的错误
编译完可以用Firefly官方的脚本打包成统一固件,执行如下命令:
打包完成后将在rockdev// 目录下生成统一固件: product名XXX_XXX_日期XXX.img
在 Windows 下打包统一固件 update.img 也很简单,将编译生成的文件拷贝到 AndroidTool 的 rockdevImage 目录中,然后运行 rockdev 目录下的 mkupdate.bat 批处理文件即可创建 update.img 并存放到 rockdevImage 目录里。
Android14.0的kernel.img和resource.img包含在boot.img中,编译kernel后需要在android根目录下执行./mkimage.sh重新打包boot.img,然后烧写rockdev//目录下的boot.img。
编译的原理:在kernel目录下将编译生成的 kernel.img 和 resource.img 替换到旧的 boot.img 中, 所以编译的时候需要用 BOOT_IMG=xxx 参数指定boot.img的路径,命令如下:
编译后可以直接烧写kernel目录下的boot.img。
编译的时候执行 ./mkimage.sh 会重新打包 boot.img 和 super.img, 并将其它相关的镜像文件拷贝到目录 rockdev// 中。以下列出一般固件用到的镜像文件:
固件 | 说明 |
---|---|
boot.img | 包含ramdis、kernel、dtb |
dtbo.img | Device Tree Overlays |
MiniLoaderAll.bin | 包含一级loader |
misc.img | 包含recovery-wipe开机标识信息,烧写后会进行recovery |
parameter.txt | 包含分区信息 |
recovery.img | 包含recovery-ramdis、kernel、dtb |
super.img | 包含odm、product、vendor、system、system_ext分区内容 |
uboot.img | 包含uboot固件 |
vbmeta.img | 包含avb校验信息,用于AVB校验 |
update.img | 包含以上需要烧写的img文件,可以用于工具直接烧写整个固件包 |
请参照 《使用USB线缆升级固件》 一文来烧写分区镜像文件。
请参照《OTA编译》章节
4.Firefly Android 使用手册
5.FireflyApi2 使用手册
接口使用
接口效果图
RK3576 芯片有 1 个 DCPHY 和 2 个 DPHY, 两个 DPHY 可以工作在两个模式: full mode 和 split mode。DCPHY 则只有 full mode。
简单点来讲,如果用单目摄像头我们可以配置 full mode,若使用双目摄像头我们可以配置 split mode。
AIO-3576Q 有 3 个摄像头接口,他们的配置链路如下:
查找摄像头节点
使用v4l2-ctl抓取camera数据帧
v4l2-ctl --verbose -d /dev/video0 --set-fmt-video=width=1920,height=1080,pixelformat='NV12' --stream-mmap=4 --set-selection=target=crop,flags=0,top=0,left=0,width=1920,height=1080 --stream-to=/data/out.yuv
把out.yuv文件拷贝出来通过ubuntu去查看
除了官方默认支持的摄像头外,Android系统使用camera的apk打开摄像头都需要配置camera3_profiles*.xml,具体可参考Android SDK hardware/rockchip/camera/etc/camera目录下的文件
Ubuntu 固件可以使用如下脚本进行预览。
CAN(Controller Area Network)总线,即控制器局域网总线,是一种有效支持分布式控制或实时控制的串行通信网络。CAN总线是一种在汽车上广泛采用的总线协议,被设计作为汽车环境中的微控制器通讯。 如果想了解更多的内容可以参考CAN应用报告
CAN模块之间接线:CAN_H接CAN_H,CAN_L接CAN_L。
公共配置 kernel/arch/arm64/boot/dts/rockchip/rk3576.dtsi
板级配置 kernel/arch/arm64/boot/dts/rockchip/rk3576-firefly-aio-3576q.dtsi
另外可设置时钟频率 assigned-clock-rates,如果 CAN 的比特率低于等于 3M 建议修改 CAN 时钟到 100M,信号更稳定。高于 3M 比特率的,时钟设置 200M 就可以。
总结调试过程中遇到的几个问题及解决方法:
检查总线 CAN_H 和 CAN_L, 杜邦线是否松动或者接反。
如果CAN的比特率低于等于3M建议修改CAN时钟到100M,信号更稳定。高于3M比特率的, 时钟设置200M就可以。
CAN时钟频率修改方法参考如下:
注意:
在某些时钟频率下,CAN的bitrate无法获得准确的速率,大家可以自行调整assigned-clock-rates去解决。
查看是否得到所需的bitrare:
RK3576 拥有 3 路 vp (Video Port),每一个 vp 端口都绑定了固定的显示控制器。详情可以查看设备树文件 rk3576.dtsi 中的 vop_out 节点。
比如 vp0 支持 dsi, hdmi/edp, dp0~2 的输出。
每一个 vpx 都有各自所能输出的最大分辨率:
vp0 最大可以输出 4K@120Hz
vp1 最大可以输出 2560x1600@60Hz
vp2 最大可以输出 1920x1080@60Hz
软件上如果把 HDMI0 显示控制器连接在 vp0 上,且硬件 phy 支持 HDMI2.1,则 HDMI0 支持 4K@120Hz 的输出。
如果给每一个 vpx 都单独分配一个显示控制器的话,便可支持同一时间的三屏同显(异显)。
AIO-3576Q 有三种显示输出接口,分别是 HDMI、Display Port 以及 MIPI DSI,可以做到多屏同显/异显。
下面对各个显示输出接口的配置和使用作基本的介绍,详细内容可以参考文件:
kernel/arch/arm64/boot/dts/rockchip/rk3576-firefly-aio-3576q.dtsi
kernel/arch/arm64/boot/dts/rockchip/rk3576-firefly-aio-rk3576q-mipi101-BSD1218-A101KL68.dtsi
AIO-3576Q 硬件上有一个 HDMI 显示输出接口:
HDMI 支持 HDMI2.1 协议,分辨率最高可以支持 4k@120Hz
在设备树中添加:
AIO-3576Q 有一个 Display Port 显示输出接口,支持 DP TX 1.4a 协议,分辨率最高可以支持 4k@120Hz。
DP 接口
Display Port 软件上表示为 dp0,在设备树上添加:
这里要注意,SDK 默认的软件配置是把 dp0 连接在 vp2 上面,这样会导致 dp0 最高只能输出 1920x1080@60Hz, 所以如果需要 4k@120Hz 的功能,需要把 dp0 连接在 vp0上面。
AIO-3576Q 有一路 MIPI DSI 显示输出接口,支持 DPHY2.0 和 4 Lane 的数据输出。
下面列出一些常规的场景下,关于 Portx 以及 显示控制器之间的配置方法:
HDMI(4K@120Hz) Display Port MIPI DSI (2K@60Hz)
在系统中设置分辨率
系统鼠标点击:‘设置->显示->HDMI->分辨率设置’
获取 HDMI/Display Port 的 edid(以 HDMI 为例)
获取 HDMI/Display Port 所支持的分辨率(以 HDMI 为例)
获取 HDMI/Display Port 的连接状态(以 HDMI 为例)
获取系统中正在使用的 Video Portx(与所连接的显示控制器) 信息
一般如果遇到 HDMI/Display Port 无法显示的问题,都需要先执行上面的命令去看一下连接状态、edid 和分辨率是否正确。
GPIO,全称 General-Purpose Input/Output(通用输入输出),是一种软件运行期间能够动态配置和控制的通用引脚。 所有的 GPIO 在上电后的初始状态都是输入模式,可以通过软件设为上拉或下拉,也可以设置为中断脚,驱动强度都是可编程的,其核心是填充 GPIO bank 的方法和参数,并调用 gpiochip_add 注册到内核中。
AIO-3576Q 开发板为了方便用户开发使用,引出了GPIO口供用户调试和开发,其对应引脚如下
本文以 GPIO0_B4 , GPIO0_B5 这两个 GPIO 口为例写一份简单操作 GPIO 口的驱动,在 SDK 的路径为 kernel/drivers/gpio/gpio-firefly.c,以下就以该驱动为例介绍 GPIO 的操作。
iCore-3576Q 有 5 组 GPIO bank:GPIO0~GPIO4,每组又以 A0~A7, B0~B7, C0~C7, D0~D7 作为编号区分,常用以下公式计算引脚:
下面演示GPIO0_B4 pin脚计算方法:
bank = 0; //GPIO0_B4 => 0, bank ∈ [0,4]
group = 1; //GPIO0_B1 => 1, group ∈ {(A=0), (B=1), (C=2), (D=3)}
X = 4; //GPIO0_B4 => 4, X ∈ [0,7]
number = group * 8 X = 1 * 8 4 = 12
pin = bank*32 number= 0 * 32 12 = 12;
GPIO0_B4 对应的设备树属性描述为:<&gpio0 12 GPIO_ACTIVE_HIGH>,由kernel/include/dt-bindings/pinctrl/rockchip.h的宏定义可知,也可以将GPIO0_B4描述为<&gpio0 RK_PB4 GPIO_ACTIVE_HIGH>。
当GPIO0_B4 脚没有被其它外设复用时, 我们可以通过export导出该引脚去使用
首先在 DTS 文件中增加驱动的资源描述:
这里定义了一个脚作为一般的输出输入口:
GPIO_ACTIVE_HIGH 表示高电平有效,如果想要低电平有效,可以改为:GPIO_ACTIVE_LOW,这个属性将被驱动所读取。
然后在 probe 函数中对 DTS 所添加的资源进行解析,代码如下:
of_get_named_gpio_flags 从设备树中读取 firefly-gpio 和 firefly-irq-gpio 的 GPIO 配置编号和标志,gpio_is_valid 判断该 GPIO 编号是否有效,gpio_request 则申请占用该 GPIO。如果初始化过程出错,需要调用 gpio_free 来释放之前申请过且成功的 GPIO 。在驱动中调用 gpio_direction_output 就可以设置输出高还是低电平,这里默认输出从 DTS 获取得到的有效电平 GPIO_ACTIVE_HIGH,即为高电平,如果驱动正常工作,可以用万用表测得对应的引脚应该为高电平。实际中如果要读出 GPIO,需要先设置成输入模式,然后再读取值:
下面是常用的 GPIO API 定义:
在 Firefly 的例子程序中还包含了一个中断引脚,GPIO 口的中断使用与 GPIO 的输入输出类似,首先在 DTS 文件中增加驱动的资源描述:
IRQ_TYPE_EDGE_RISING 表示中断由上升沿触发,当该引脚接收到上升沿信号时可以触发中断函数。 这里还可以配置成如下:
然后在 probe 函数中对 DTS 所添加的资源进行解析,再做中断的注册申请,代码如下:
调用 gpio_to_irq 把 GPIO 的 PIN 值转换为相应的 IRQ 值,调用 gpio_request 申请占用该 IO 口,调用 request_irq 申请中断,如果失败要调用 free_irq 释放,该函数中 gpio_info-firefly_irq 是要申请的硬件中断号,firefly_gpio_irq 是中断函数,gpio_info->firefly_irq_mode 是中断处理的属性,firefly-gpio 是设备驱动程序名称,gpio_info 是该设备的 device 结构,在注册共享中断时会用到。
该案例仅供参考,最终以实际硬件接口为准
GPIO 口除了通用输入输出、中断功能外,还可能有其它复用功能,以GPIO0_C1为例,就有如下几个功能:
func0 | func1 | func2 | func3 |
---|---|---|---|
GPIO0_C1 | UART8_TX_M2 | I2C0_SCL_M1 | I3C0_SCL_M0 |
查看 /d/pinctrl/pinctrl-rockchip-pinctrl/pinmux-pins,查看各个引脚的作用,如果发现GPIO0_C1被复用为I2c,则在dts中关闭它
Note: 此处 GPIO0_C1 仅作示例,实际使用中不推荐如此修改
上面介绍了在DTS上修改,那在运行时又如何切换功能呢?下面以 I2C0_M1 为例作简单的介绍,详细介绍可以参考RKDocs/common/PIN-Ctrl/Rockchip-Developer-Guide-Linux-Pin-Ctrl-CN.pdf。
查规格表可知,I2C0_SCL_M1 与 I2C0_SDA_M1 的功能定义如下:
Pad# | func0 | func1 | func2 |
---|---|---|---|
GPIO0_C1 | UART8_TX_M2 | I2C0_SCL_M1 | I3C0_SCL_M0 |
GPIO0_C2 | UART8_RX_M2 | I2C0_SDA_M1 | I3C0_SDA_M0 |
在 kernel/arch/arm64/boot/dts/rockchip/rk3576.dtsi 里有:
跟复用控制相关的是 pinctrl- 开头的属性:
pinctrl-names 定义了状态名称列表: default (i2c 功能) 和 gpio 两种状态。
pinctrl-0 定义了状态 0 (即 default)时需要设置的 pinctrl: &i2c0m0_xfer
pinctrl-1 定义了状态 1 (即 gpio)时需要设置的 pinctrl: &i2c0m1_gpio
这些 pinctrl 在 kernel/arch/arm64/boot/dts/rockchip/rk3576.dtsi 中这样定义:
在kernel/arch/arm64/boot/dts/rockchip/rk3576-pinctrl.dtsi中有i2c0的定义
RK_FUNC_GPIO 的定义在 kernel/include/dt-bindings/pinctrl/rockchip.h ,此处简写作0:
知道了上面关于i2c0的定义后,在 kernel/arch/arm64/boot/dts/rockchip/rk3576-firefly-demo.dtsi 中为i2c7节点添加gpio的资源
i2c驱动注册流程如下:
pinctrl_select_state是选择pinctrl的函数,它用来选择我们dts中设置的pinctrl。
Debugfs 文件系统目的是为开发人员提供更多内核数据,方便调试。 这里 GPIO 的调试也可以用 Debugfs 文件系统,获得更多的内核信息。GPIO 在 Debugfs 文件系统中的接口为 /sys/kernel/debug/gpio,可以这样读取该接口的信息:
从读取到的信息中可以知道,内核把 GPIO 当前的状态都列出来了,以 GPIO1 组为例,gpio-56(GPIO1_D0) 输出高电平 (out hi)。
使用命令
解析: pin 0这一列表示引脚编号,gpio0-0这一列表示gpio组编号,后面MUX UNCLAIMED这一列表示数据选择器的拥有者,GPIO UNCLAIMED这一列表示gpio的拥有者。
其中 MUX UNCLAIMED 表示该引脚还没有被节点使用pinctrl去进行控制,例如:节点 i2c7 被启用,它拥有pinctrl-0属性,对引脚pin 56功能作出出修改,复用为i2c ,则该引脚的信息会变为pin 56 (gpio1-24): fec90000.i2c (GPIO UNCLAIMED) function i2c7 group i2c7m0-xfer ,它被地址为0xfec90000、名字为i2c的节点使用pinctrl配置,pinctrl的值是i2cm0-xfer。
GPIO UNCLAIMED表示还没有注册的gpio使用该引脚,我们用上述gpio_demo例子去注册该引脚,引脚信息会变成pin 56 (gpio1-24): gpio_demo gpio1:56 function gpio group pin56_57_gpio ,它被名为gpio_demo的节点使用pinctrl配置,pinctrl的值是pin56_57_gpio,该引脚还被申请为gpio。
A1: 当使用 GPIO request 时候,会将该 PIN 的 MUX 值强制切换为 GPIO,所以使用该 PIN 脚为 GPIO 功能的时候确保该 PIN 脚没有被其他模块所使用。
A2: 如果用 IO 命令读某个 GPIO 的寄存器,读出来的值异常,如 0x00000000 或 0xffffffff 等,请确认该 GPIO 的 CLK 是不是被关了,GPIO 的 CLK 是由 CRU 控制,可以通过读取 datasheet 下面 CRU_CLKGATE_CON* 寄存器来查到 CLK 是否开启,如果没有开启可以用 io 命令设置对应的寄存器,从而打开对应的 CLK,打开 CLK 之后应该就可以读到正确的寄存器值了。
A3: 测量该 PIN 脚的电压不对时,如果排除了外部因素,可以确认下该 PIN 所在的 IO 电压源是否正确,以及 IO-Domain 配置是否正确。
A4: 如果使用该 GPIO 时,不会动态的切换输入输出,建议在开始时就设置好 GPIO 输出方向,后面拉高拉低时使用 gpio_set_value() 接口,而不建议使用 gpio_direction_output(), 因为 gpio_direction_output 接口里面有 mutex 锁,对中断上下文调用会有错误异常,且相比 gpio_set_value,gpio_direction_output 所做事情更多,浪费。
RK3576 有 10 个片上 I2C 控制器,但不是全都能使用,有些复用成了其他功能。
AIO-3576Q开发板上通过排针引出了 1 个 I2C6
用户空间可以使用 i2c-tools 的相关命令读写 I2C 设备。
如果是内核空间配置 I2C 设备,可分为两大步骤:
定义和注册 I2C 设备
定义和注册 I2C 驱动
下面以配置 GSL3680 为例。
在注册 I2C 设备时,需要结构体 i2c_client 来描述 I2C 设备。然而在标准 Linux 中,用户只需要提供相应的 I2C 设备信息,Linux 就会根据所提供的信息构造 i2c_client 结构体。
用户所提供的 I2C 设备信息以节点的形式写到 DTS 文件中,如下所示:
使用 i2c_add_driver 函数注册 I2C 驱动。
在调用 i2c_add_driver 注册 I2C 驱动时,会遍历 I2C 设备,如果该驱动支持所遍历到的设备,则会调用该驱动的 probe 函数。
在注册好 I2C 驱动后,即可进行 I2C 通讯。
向从机发送信息:
向从机读取信息:
A1: 请检查硬件上拉是否给电。
A2: 返回值为 -6 表示为 NACK 错误,即对方设备无应答响应,这种情况一般为外设的问题,常见的有以下几种情况:
I2C 地址错误,解决方法是测量 I2C 波形,确认是否 I2C 设备地址错误;
I2C slave 设备不处于正常工作状态,比如未给电,错误的上电时序等;
时序不符合 I2C slave 设备所要求也会产生 Nack 信号。
A3: 这时需要调用两次 i2c_transfer, I2C read 拆分成两次,修改如下:
AIO-3576Q开发板上有两个LED灯,如下表所示:
LED | Pin name | Pin number |
---|---|---|
Yellow | GPIO3_A2 | 98 |
Green | GPIO3_A3 | 99 |
可通过使用 LED 设备子系统或者直接操作 GPIO 控制该 LED。
标准的 Linux 专门为 LED 设备定义了 LED 子系统。 在 AIO-3576Q开发板中的LED 均以设备的形式被定义。用户可以通过 /sys/class/leds/ 目录控制LED。
开发板上的 LED 的默认状态为:
Yellow: 系统上电时打开状态
Green: 用户自定义状态
用户可以通过 echo 命令向其 brightness 属性输入命令控制每一个 LED,比如:
Trigger 包含多种方式可以控制 LED,这里就用两个例子来说明。
Simple trigger LED
Complex trigger LED
更详细的说明请参考 leds-class.txt 。
首先我们需要知道定义多少个 LED,同时对应的 LED 的属性是什么。
在 kernel/arch/arm64/boot/dts/rockchip/rk3576-firefly-aio-3576q.dtsi 文件中定义 LED 节点,可以用 pwm 控制也可以用 gpio 控制,类似这样:
注意:compatible 的值要跟 drivers/leds/leds-gpio.c 中的 .compatible 的值要保持一致。
按名字来是看就是简单的触发方式控制 LED,请参考 kernel/drivers/leds/trigger/led-firefly-demo.c
如下是 trigger 方式控制 LED 复杂一点的例子,timer trigger 就是让 LED 达到不断亮灭的效果:
我们需要在内核把 timer trigger 配置上。
在 kernel 路径下使用 make menuconfig,按照如下方法将 timer trigger 驱动选中。
默认应该就是开启的,如果没有,打开后要保存配置并编译烧录内核。
之后我们可以使用串口输入命令,就可以看到灯不停的间隔闪烁。
用户还可以使用 cat 命令获取 trigger 的可用值:
AIO-3576Q开发板采用 TT8563RH 作为RTC(Real Time Clock),TT8563RH 是一款低功耗CMOS实时时钟/日历芯片,它提供一个可编程的时钟输出,一个中断 输出和一个掉电检测器,所有的地址和数据都通过I2C总线接口串行传递。
可计时基于 32.768kHz 晶体的秒,分,小时,星期,天,月和年
宽工作电压范围:1.0~5.5V
低休眠电流:典型值为 0.25μA(VDD =3.0V, TA =25°C)
内部集成振荡电容
漏极开路中断引脚
AIO-3576Q 存在电容给RTC供电,可以在短时间内保证RTC运行。
DTS配置参考: kernel/arch/arm64/boot/dts/rockchip/rk3576-firefly-aio-3576q.dtsi
驱动参考:kernel/drivers/rtc/rtc-hym8563.c
Linux 提供了三种用户空间调用接口。在 AIO-3576Q开发板中对应的路径为:
SYSFS接口:/sys/class/rtc/rtc0/
PROCFS接口: /proc/driver/rtc
IOCTL接口: /dev/rtc0
可以直接使用 cat 和 echo 操作 /sys/class/rtc/rtc0/ 下面的接口。
打印 RTC 相关的信息:
可以使用 ioctl 控制 /dev/rtc0。
详细使用说明请参考文档 kernel/Documentation/admin-guide/rtc.rst 。
A1: 检查一下 RTC 电池是否正确接入。
iCore-3576Q 开发板上有 1 个 M.2 接口。
可以软件配置成 M.2 SATA3.1 接口,支持 SATA 协议的 SSD 使用,也可以软件配置成 M.2 PCIe2.1 接口,支持 NVMe 协议的 SSD 使用。
默认软件配置成 M.2 SATA3.1 接口, 支持 SATA 协议的 SSD 使用。
一般根据原理图在 DTS 中选择正确的控制器节点和 PHY 节点使能,并关闭与其复用的控制器节点就可以。
在 kernel/arch/arm64/boot/dts/rockchip/rk3576-firefly-aio-3576q.dts 以及 kernel/arch/arm64/boot/dts/rockchip/rk3576-firefly-aio-3576q.dtsi中有如下配置:
sata0:sata0 控制器节点
pcie0:pcie0 控制器节点
默认配置成SATA3.1,如果需要配置成 PCIe2.1,需做如下修改,二者只能使能其一
在 Android 系统界面中将硬盘格式化为可用格式就可以开机自动挂载
SATA3.0 的传输速率理论上达到 6.0 Gbps,可以参考如下命令进行读写速度测试:
dd
fio
SPI 是一种高速的,全双工,同步串行通信接口,用于连接微控制器、传感器、存储设备等。 AIO-3576Q 开发板提供了 SPI 接口,具体位置如下图:
SPI 以主从方式工作,这种模式通常有一个主设备和一个或多个从设备,需要至少 4 根线,分别是:
CPOL:表示时钟信号的初始电平的状态,0为低电平,1为高电平。
CPHA:表示在哪个时钟沿采样,0为第一个时钟沿采样,1为第二个时钟沿采样。
SPI 的四种工作模式波形图如下:
Linux 提供了一个功能有限的 SPI 用户接口,如果不需要用到 IRQ 或者其他内核驱动接口,可以考虑使用接口 spidev 编写用户层程序控制 SPI 设备。在 AIO-3576Q开发板中对应的路径为: /dev/spidev1.0
spidev 对应的驱动代码:kernel-5.10/drivers/spi/spidev.c
内核 config 需要选上 SPI_SPIDEV:
spidev的详细使用说明请参考文档kernel-5.10/Documentation/spi/spidev.rst
A1: 确保 SPI 4 个引脚的 IOMUX 配置正确, 确认 TX 送数据时,TX 引脚有正常的波形,CLK 频率正确,CS 信号有拉低,mode 与设备匹配。
iCore-3576Q 使用了 UART10 做 RS485,在系统中对应 /dev/ttyS10 设备;UART8 做 RS232,在系统中对应 /dev/ttyS8 设备。排针引出一个普通 UART,在系统中对应 /dev/ttyS5 设备。
接口图如下:
看门狗(watchdog)实际是一个定时器,启动之后会开始计时。系统或者软件需要在规定时间内与看门狗通信(俗称喂狗)重置计时,如此反复下去,以此来确定系统和软件正常运行。
如果规定时间内没有喂狗,看门狗超时,说明系统或应用陷入循环、卡死,此时看门狗会发出复位信号让主控复位,脱离卡死。
本章节主要介绍 AIO-3576Q 开发板看门狗的使用。
AIO-3576Q的 watchdog 的 DTS 节点在 kernel/arch/arm64/boot/dts/rockchip/rk3576.dtsi 文件中定义,如下所示:
watchdog 默认是关闭的,需按上述说明在 DTS 文件中打开相关节点方能使用。
watchdog 的驱动文件为 kernel-5.10/drivers/watchdog/dw_wdt.c。下面介绍两种方法来使用 watchdog:
内部看门狗的设备名称为/dev/watchdog,用户可通过 echo 命令来控制该设备
也可以通过程序来控制看门狗,通过Android.mk编译生成可执行文件,在机器启动后,push到上面运行,demo代码如下:
demo说明:
1、内部看门狗在使用 open 函数打开后会立刻开始计时。
2、关于超时时间:用户可以用 ioctl 来设置超时时间和获取超时时间。当用户没有设置超时时间时,驱动会应用默认请求的超时时间为 30 s。需要说明的是驱动最终设置的超时时间并不一定是应用层传输的时间或者驱动一开始设置的默认时间。驱动函数里有一个超时时间的列表,该列表中存放了 16 个超时时间(前 9 个是 0)。驱动会在超时时间列表中找到一个合适的时间作为最终 watchdog 设置的超时时间。
以下为超时时间的详细列表:
请求的超时时间 | 通过 ioctl 获取的超时时间 | watchdog最终设置的超时时间 |
---|---|---|
timeout_request > 89 | timeout_get = timeout_request | timeout_set = 89 |
44 < timeout_request <= 89 | timeout_get = 89 | timeout_set = 89 |
22 < timeout_request <= 44 | timeout_get = 44 | timeout_set = 44 |
11 < timeout_request <= 22 | timeout_get = 22 | timeout_set = 22 |
5 < timeout_request <= 11 | timeout_get = 11 | timeout_set = 11 |
2< timeout_request <= 5 | timeout_get = 5 | timeout_set = 5 |
timeout_request = 2 | timeout_get = 2 | timeout_set = 2 |
timeout_request = 1 | timeout_get = 1 | timeout_set = 1 |
参考文档:SDK/RKDocs(linux 为 docs)/common/watchdog
AIO-3576Q 还有 1 个外部看门狗,对应 /dev/wdt_crl
使用方法:
RKLLM SDK可以帮助用户快速将大语言模型部署到AIO-3576Q上。 SDK下载
RKLLM-Toolkit 是为用户提供在计算机上进行大语言模型的量化、转换的开发套件。通过该工具提供的 Python 接口可以便捷地完成以下功能:
模型转换:支持将 Hugging Face 格式的大语言模型(Large Language Model, LLM)转换为RKLLM 模型,转换后的 RKLLM 模型能够在 Rockchip NPU 平台上加载使用。
量化功能:支持将浮点模型量化为定点模型,目前支持的量化类型包括 w4a16 和 w8a8。
RKLLM Runtime 主 要 负 责 加 载 RKLLM-Toolkit 转换得到的 RKLLM 模型,并在AIO-3576Q 板端通过调用 NPU 驱动在 Rockchip NPU 上实现 RKLLM 模型的推理。在推理RKLLM 模型时,用户可以自行定义 RKLLM 模型的推理参数设置,定义不同的文本生成方式,并通过预先定义的回调函数不断获得模型的推理结果。
RKLLM-Toolkit目前只适用于Linux PC,建议使用Ubuntu20.04(x64)。因为系统中可能同时有多个版本的 Python 环境,建议使用 miniforge3 管理 Python 环境。
RKLLM已支持的大模型如下
Model | Huggingface Link |
---|---|
DeepSeek-R1-Distill | LINK |
LLAMA | LINK |
TinyLLAMA | LINK |
Qwen | LINK |
Phi | LINK |
ChatGLM3-6B | LINK |
Gemma | LINK |
InternLM2 | LINK |
MiniCPM | LINK |
TeleChat | LINK |
Qwen2-VL | LINK |
MiniCPM-V | LINK |
下面以RKLLM SDK的DeepSeek-R1-Distill-Qwen-1.5B_Demo为例演示如何转换、量化、导出大语言模型,最后在板端部署运行。
DeepSeek-R1-Distill-Qwen-1.5B 为例,依据表格链接,找到对应模型仓库,克隆完整仓库内容。 在前述RKLLM-Toolkit安装正确的前提下,进入 Conda 环境。然后执行generate_data_quant.py生成量化标定数据。
(RKLLM-Toolkit-1.1.4) root@ea5d57ca8e66:/rkllm/rknn-llm/examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/export# python3 export_rkllm.py
INFO: rkllm-toolkit version: 1.1.4
WARNING: Cuda device not available! switch to cpu device!
The argument `trust_remote_code` is to be used with Auto classes. It has no effect here and is ignored.
Downloading data files: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 15307.68it/s]
Extracting data files: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2377.72it/s]
Generating train split: 21 examples [00:00, 3327.05 examples/s]
Optimizing model: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 28/28 [21:16<00:00, 45.59s/it]
Building model: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 399/399 [00:07<00:00, 52.78it/s]
WARNING: The bos token has two ids: 151646 and 151643, please ensure that the bos token ids in config.json and tokenizer_config.json are consistent!
INFO: The token_id of bos is set to 151646
INFO: The token_id of eos is set to 151643
INFO: The token_id of pad is set to 151643
Converting model: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 339/339 [00:00<00:00, 2494507.12it/s]
INFO: Exporting the model, please wait ....
[=================================================>] 597/597 (100%)
INFO: Model has been saved to ./DeepSeek-R1-Distill-Qwen-1.5B_W8A8_RK3588.rkllm!
在板端使用RKLLM Runtime 进行模型推理前,首先需要确认板端的NPU 内核是否为v0.9.8版本以上
若所查询的 NPU 内核版本低于 v0.9.8,请前往官方固件地址下载最新固件进行更新
在使用 RKLLM Runtime 的过程中,需要注意gcc交叉编译工具的版本。推荐下载交叉编译工具gcc-arm-10.2-2020.11-x86_64-aarch64-none-linux-gnu
编译完成后生成可执行程序install/demo_Linux_aarch64/llm_demo,将编译得到的llm_demo和库文件rknn-llm/rkllm-runtime/Linux/librkllm_api/aarch64/librkllmrt.so以及定频脚本rknn-llm/scripts/fix_freq_rk3588.sh一并通过scp推送到板端。
LLM 的一个常见应用场景是聊天。在聊天上下文中,不再是连续的文本字符串构成的语句,聊天模型由一条或多条消息组成的对话组成,每条消息都有一个“用户“或“助手”等角色,还包括消息文本。然而不同的模型对聊天的输入格式要求也不同。聊天模板用于将问答的对话内容转换为模型的输入prompt。倘若使用空的聊天模板或者使用默认的聊天模板,与模型在训练期间看到的消息格式不匹配,可能会导致性能下降。
例如查看ChatGLM3的聊天模板
更多demo和api使用请参考RKLLM SDK例程和文档。
Q1:转换模型失败?
A1:检查 PC 可用运行内存,参数量越大的模型转换或者运行时所需的内存越大,可以尝试增大 swapfile 或者使用大内存的 PC。
RK3576 内置 NPU 模块, 处理性能最高可达6TOPS。使用该NPU需要下载RKNN SDK,RKNN SDK 为带有 NPU 的 RK 系列芯片提供编程接口,能够帮助用户部署使用 RKNN-Toolkit2 导出的 RKNN 模型,加速 AI 应用的落地,具体支持平台列表可通过 SDK 中 README 文档或者访问airockchip 查看,开发建议以airockchip官方更新版本作为参考。
RKNN 是 Rockchip NPU 平台使用的模型类型,以.rknn后缀结尾的模型文件。用户可以通过RKNN SDK提供的工具将自主研发的算法模型转换成 RKNN 模型
RKNN 模型可以直接运行在 RK3576 平台上,在rknpu2/examples中有例子,根据README.md编译生成 Android 或 Linux Demo(需要交叉编译环境)。也可以直接下载编译好的 Demo。
在 AIO-3576Q 上运行yolov5 demo如下:
# Platform 为芯片平台,如RK3576,RK3588, RK3566_RK3568等
:/ # cd /data/rknn_yolov5_demo_Android (Linux 系统使用 rknn_yolov5_demo_Linux 即可)
:/data/rknn_yolov5_demo_Android # chmod 777 rknn_yolov5_demo
:/data/rknn_yolov5_demo_Android # export LD_LIBRARY_PATH=./lib
:/data/rknn_yolov5_demo_Android # ./rknn_yolov5_demo model/Platform/yolov5s-640-640.rknn ./model/bus.jpg resize ./out.jpg
post process config: box_conf_threshold = 0.25, nms_threshold = 0.45
Loading mode...
sdk version: 2.3.0 (c949ad889d@2024-11-07T11:35:33) driver version: 0.9.3
model input num: 1, output num: 3
index=0, name=images, n_dims=4, dims=[1, 640, 640, 3], n_elems=1228800, size=1228800, w_stride = 640, size_with_stride=1228800, fmt=NHWC, type=INT8, qnt_type=AFFINE, zp=-128, scale=0.003922
index=0, name=output0, n_dims=4, dims=[1, 255, 80, 80], n_elems=1632000, size=1632000, w_stride = 0, size_with_stride=1638400, fmt=NCHW, type=INT8, qnt_type=AFFINE, zp=-128, scale=0.003922
index=1, name=286, n_dims=4, dims=[1, 255, 40, 40], n_elems=408000, size=408000, w_stride = 0, size_with_stride=409600, fmt=NCHW, type=INT8, qnt_type=AFFINE, zp=-128, scale=0.003922
index=2, name=288, n_dims=4, dims=[1, 255, 20, 20], n_elems=102000, size=102000, w_stride = 0, size_with_stride=122880, fmt=NCHW, type=INT8, qnt_type=AFFINE, zp=-128, scale=0.003922
model is NHWC input fmt
model input height=640, width=640, channel=3
Read ./model/bus.jpg ...
img width = 640, img height = 640
once run use 67.055000 ms
loadLabelName ./model/coco_80_labels_list.txt
person @ (209 243 286 510) 0.879723
person @ (479 238 560 526) 0.870588
person @ (109 238 231 534) 0.839831
bus @ (91 129 555 464) 0.692042
person @ (79 353 121 517) 0.300961
save detect result to ./out.jpg
loop count = 10 , average run 59.530100 ms
对于 Caffe、TensorFlow 等其他模型,想要在 RK3576 平台运行,需要先进行模型转换。可以使用 RKNN-Toolkit2 工具将模型转换成 RKNN 格式。
RKNN-Toolkit2 是为用户提供在 PC、Rockchip NPU 平台上进行模型转换、推理和性能评估的开发套件,用户通过该工具提供的 Python 接口可以便捷地完成各种操作。
工具的全部功能简单介绍如下:
模型转换: 支持 Caffe、TensorFlow、TensorFlow Lite、ONNX、DarkNet、PyTorch 等模型转为 RKNN 模型,并支持 RKNN 模型导入导出,RKNN 模型能够在 Rockchip NPU 平台上加载使用
量化功能: 支持将浮点模型量化为定点模型,目前支持的量化方法为非对称量化 ( asymmetric_quantized-8 及 asymmetric_quantized-16 ),并支持混合量化功能 。 asymmetric_quantized-16 目前版本暂不支持
模型推理: 能够在 PC 上模拟 Rockchip NPU 运行 RKNN 模型并获取推理结果; 或将 RKNN 模型分发到指定的 NPU 设备上进行推理并获取推理结果
性能评估: 将 RKNN 模型分发到指定 NPU 设备上运行,以评估模型在实际设备上运行时的性能
内存评估: 评估模型运行时的内存的占用情况。使用该功能时,必须将 RKNN 模型分发到 NPU 设备中运行,并调用相关接口获取内存使用信息
量化精度分析: 该功能将给出模型量化前后每一层推理结果与浮点模型推理结果的余弦距离,以便于分析量化误差是如何出现的,为提高量化模型的精度提供思路
系统依赖:RKNN-Toolkit2 目前版本适用系统Ubuntu18.04(x64)及以上,工具只能安装在 PC 上,暂不支持 Windows、MacOS、Debian 等操作系统
Python版本:3.6/3.8
Python依赖库:
建议使用 virtualenv 管理 Python 环境,因为系统中可能同时有多个版本的 Python 环境,以 Python3.6 为例
如果导入 RKNN 模块没有失败,说明安装成功,失败情况之一如下:
在rknn-toolkit2/examples下有各种功能的 Toolkit Demo ,这里我们运行一个模型转换 Demo 为例子,这个 Demo 展示了在 PC 上将 tflite 模型转换成 RKNN 模型,然后导出、推理、部署到 NPU 平台运行并取回结果的过程。模型转换的具体实现请参考 Demo 内源代码以及本页末尾的文档。
RKNN-Toolkit2 自带了一个模拟器,直接在 PC 上运行 Demo 即是将转换后的模型部署到仿真 NPU 上运行
RKNN-Toolkit2 通过 PC 的 USB 连接到 OTG 设备 AIO-3576Q。RKNN-Toolkit2 将 RKNN 模型传到 AIO-3576Q 的 NPU 上运行,再从 AIO-3576Q 上获取推理结果、性能信息等:
首先部署 AIO-3576Q 环境:更新librknnrt.so及运行rknn_server Android
Linux
然后在 PC 上修改examples/tflite/mobilenet_v1/test.py文件,在其中添加目标平台
PC 端运行test.py
其他 Toolkit Demo 可以在rknn-toolkit2/examples/下找到,例如量化、精度评估等。具体实现以及使用方法请参考 Demo 内源代码以及详细开发文档。
AIO-3576Q NPU 及 Toolkit 详细使用方法请参考RKNN SDK下《Rockchip_RKNPU_User_Guide_RKNN_API_*.pdf》、《Rockchip_User_Guide_RKNN_Toolkit2_*.pdf》文档。
有时候需要配置设备树来调整板子功能,比如 M.2 接口 SATA/PCIE 功能的切换、CAN 接口时钟的修改等。这篇教程会告诉你如何在 SDK 中寻找到板子对应的设备树文件以及有关修改的注意事项。
首先需要学习如何编译 Linux SDK,之后你应该可以理解,所有的编译配置信息记录在 SDK/device/rockchip/rk3576/ 下的众多 defconfig 文件里。
格式为:firefly_芯片_板型(-配件)_系统_defconfig
假设我需要编译 AIO-3576JD4 的 Ubuntu 固件,则配置文件为 firefly_rk3576_aio-3576jd4_ubuntu_defconfig
前往 SDK/device/rockhip/rk3576 下打开 firefly_rk3576_aio-3576jd4_ubuntu_defconfig,可以很直观看到对应的 dts:
RK_KERNEL_DTS_NAME 属性就记录着对应的 dts 文件名称,此处是不带后缀的,所以完整的 dts 名称为 rk3576-firefly-aio-3576jd4.dts
有些 defconfig 文件可能没有 RK_KERNEL_DTS_NAME 属性,原因是 defconfig 支持 include,可能 RK_KERNEL_DTS_NAME 在 include 的文件中已经配置过了,所以此处不用再配置。
知道设备树名称后,就可以前往 SDK/kernel/arch/arm64/boot/dts/rockchip/ 下找到该设备树。
这次我们使用 rk3576-firefly-roc-rk3576-pc.dts 举例:
打开 SDK/kernel/arch/arm64/boot/dts/rockchip/rk3576-firefly-roc-rk3576-pc.dts 后你可能发现,这个文件基本是空的,如何修改?
原因是该文件 include 了其他几个设备树文件,注意后缀为 dtsi,再次打开这些文件就可以看到设备树节点。同样的,该文件也会 include 其他文件。
所以设备树是多个 dts/dtsi 文件共同组成的,并不是单个文件:
如果在 A.dts 里面找不到某个节点,那么就可能在 B.dtsi 中,或者在 C.dtsi 中…根据包含关系总能找到。
上层的配置会覆盖底层的配置,例如 C.dtsi 中将 uart0 关闭,但 A.dts 中配置为开启,那么 A.dts 中的配置会生效,uart0 开启。
一个 dtsi 可能被多个文件 include,修改会导致多个板型同步修改,所以修改前请明确包含关系。
以太网、PCIE、UART 等各功能的配置指南一般可以在 SDK/docs/ 下的文档中找到。修改设备树需要基本的 kernel 知识、设备树语法,并且你需要明确的知道你在干什么。修改不当会导致功能不正常,甚至无法开机。
修改完成后回到 SDK 根目录,使用 build.sh 进行配置与编译:
编译的结果会在 SDK/kernel 下,是一个镜像 extboot.img 和一个文件夹 extboot
烧录方法(二选一):
可以将 SDK/kernel/extboot/ 下的所有东西复制到板子的 /boot/ 下,然后重启板子。
或者根据固件烧录中烧写 kernel 分区的方法烧录 extboot.img
AIO-3576Q V1.0 使用的接口,主要包括:
1 x HDMI2.1(最大支持 4K@120Hz 输出)
1 x USB3.0 OTG(Type-C)
2 x USB3.0
3 x USB2.0 (其中一个由排针引出)
1 x MIPI-DSI
1 x MIPI-D/CPHY-CSI
2 x MIPI-DPHY-CSI
1 x TF Card
1 x M.2(SATA3.1)
1 x WIFI
1 x Bluetooth
1 x FAN
2 x RJ45(支持 1Gbps)
1 × 3.5mm 耳机接口
1 × Mic输入(2P-1.25mm)
1 × Line Out(排针引出)
1 x RS485
1 x RS232
1 x CAN
1 x Mini PCIe (4G 模块)
1 x PCIe M.2 (5G 模块)
具体如下图:
Mini PCIe (4G 模块) 和 PCIe M.2 (5G 模块) 共用了一路 USB,所以不能同时使用。
资源下载