Core-3588JD4采用Rockchip RK3588新一代旗舰级八核64位处理器,采用8nm先进架构,最高主频2.4GHz,最大可配32GB大内存;
集成 ARM Mali-G610 MP4 四核 GPU,内置 AI 加速器 NPU,可提供6 Tops 算力,支持主流的深度学习框架;最大支持32 GB 大内存;支持 WiFi6,5G/4G 等高速无线网络通讯;支持 8K 视频编解码和多种格式的视频输入输出;支持多 种操作系统;可适用于 ARM PC、边缘计算、云服务器、智能NVR 等领域。
AIO-3588JD4 开发板由核心板 Core-3588JD4 底板 MB-JD4-RK3588 组成,。AIO-3588JD4 拥有 以太网、CAN、Mini PCIe、USB3.0、HDMI、RS485/232 以及 MIPI-CSI 等丰富接口。可直接应用到各种智能产品中,加速产品落地,详细内容可参考接口定义。
连接设备 typec 和电脑,AIO-3588JD4 typec 有两种功能(串口/OTG升级)通过拨码开关控制,串口调试时候请将拨码开关拨向 “DBG”。
波特率:115200
数据位:8
停止位:1
奇偶校验:无
流控:无
AIO-3588JD4出厂默认会有一个操作系统,如果用户要运行其他操作系统,需要使用对应的固件烧写到主板。
AIO-3588JD4有灵活的启动方式。一般情况下,除非硬件损坏,AIO-3588JD4 开发板是不会变砖的。
如果在升级过程中出现意外,bootloader 损坏,导致无法重新升级,此时仍可以进入 MaskRom 模式来修复。
AIO-3588JD4 支持通过以下两种方式升级固件:
使用USB线缆升级固件
使用AIO-3588JD4 将主板连接到电脑上,通过升级工具将固件烧写到主板上。
使用SD卡升级固件
通过升级卡制作工具,将MicroSD卡制作为升级卡(建议使用32G及以下容量的卡),将升级卡插入主板,上电开机,机器自动执行升级。
AIO-3588JD4 从以下的存储器中加载系统:
eMMC 接口
SDMMC 接口
AIO-3588JD4有三种启动模式:
Normal 模式
Loader 模式
MaskRom 模式
Normal 模式就是正常的启动过程,各个组件依次加载,正常进入系统。
在 Loader 模式下,bootloader 会进入升级状态,等待主机命令,用于固件升级等。
MaskRom 模式用于 bootloader 损坏时的系统修复。
一般情况下是不用进入 MaskRom 模式的,只有在 bootloader 校验失败(读取不了 IDB 块,或 bootloader 损坏) 的情况下,BootRom 代码 就会进入 MaskRom 模式。此时 BootRom 代码等待主机通过 USB 接口传送 bootloader 代码,加载并运行之。
要强行进入 MaskRom 模式,请参阅《MaskRom模式》一章。
本文介绍了如何将主机上的固件,通过Type-C 数据线烧录到 Core-3588JD4 开发板的存储器中。升级时,需要根据主机操作系统和固件类型来选择合适的升级方式。
AIO-3588JD4 开发板
主机
良好的Type-C 数据线
固件可以通过编译SDK获得,也可以通过资源下载处下载公版固件(统一固件)。固件文件一般有两种:
单个统一固件
统一固件是由分区表、bootloader、uboot、kernel、system等所有文件打包合并成的单个文件。Firefly正式发布的固件都是采用统一固件格式,升级统一固件将会更新主板上所有分区的数据和分区表,并且擦除主板上所有数据。
多个分区镜像
即各个功能独立的文件,如分区表、bootloader、kernel等,在开发阶段生成。独立分区镜像可以只更新指定的分区,而保持其它分区数据不被破坏,在开发过程中会很方便调试。
通过统一固件解包/打包工具,可以把统一固件解包为多个分区镜像,也可以将多个分区镜像合并为一个统一固件。
安装RK USB驱动
下载 Release_DriverAssistant.zip,解压,然后运行里面的 DriverInstall.exe 。为了所有设备都使用更新的驱动,请先选择驱动卸载,然后再选择驱动安装。
运行AndroidTool的RKDevTool.exe
Linux 下无须安装设备驱动
下载 Linux_Upgrade_Tool, 并按以下方法安装到系统中,方便调用:
下载 Linux_adb_fastboot, 并按以下方法安装到系统中,方便调用:
通常我们升级固件的模式有两种,分别是Loader模式和MaskRom模式。烧写固件前,我们需要连接好设备,并让板子进入到可升级模式。
连接设备 typec 和电脑,AIO-3588JD4 typec 有两种功能(串口/OTG升级)通过拨码开关控制,升级时候请将拨码开关拨向 “OTG”。
连接设备并通过RECOVERY按键进入Loader升级模式步骤如下:
AIO-3588JD4 硬件上没有预留 recovery 按键,所以没有硬件进入 Loader 模式的办法。
Type-C 数据线接好后在串口调试终端或adb shell给板子运行以下命令
如何确定板子是否进入Loader模式,我们可以通过工具去查看
Windows操作系统
通过AndroidTool工具可以看到下方提示Found One LOADER Device
如果有进行”进入Loader模式”的操作,仍旧没有看到烧写工具提示LOADER,此时可以可以看一下Windows主机是否有提示发现新硬件并配置驱动。打开设备管理器,会见到新设备 Rockusb Device 出现,如下图。如果没有,可返回上一步重新安装驱动。
Linux操作系统
运行upgrade_tool后可以看到连接设备中有个Loader的提示
进入MaskRom模式的方法,请参考《MaskRom模式》
烧写统一固件 update.img 的步骤如下:
切换至Upgrade Firmware页。
按Firmware按钮,打开要升级的固件文件。升级工具会显示详细的固件信息。
按Upgrade按钮开始升级。
如果升级失败,可以尝试先按EraseFlash 按钮来擦除 Flash,然后再升级。
烧写分区映像的步骤如下:
切换至Upgrade Firmware页。
勾选需要烧录的分区,可以多选。
确保映像文件的路径正确,需要的话,点路径右边的空白表格单元格来重新选择。
点击Run按钮开始升级,升级结束后设备会自动重启。
如果因 flash 问题导致升级时出错,可以尝试低级格式化、擦除 emmc:
如果板子进入不了 Loader 模式,此时可以尝试强行进入 MaskRom 模式。操作方法见《MaskRom模式》。
如果烧写过程中出现Download Boot Fail, 或者烧写过程中出错,如下图所示,通常是由于使用的USB线连接不良、劣质线材,或者电脑USB口驱动能力不足导致的,请更换USB线或者电脑USB端口排查。
有关启动模式的介绍,请参阅《升级固件介绍》一章
MaskRom 模式是设备变砖的最后一条防线。强行进入 MaskRom 涉及硬件操作,有一定风险,因此仅在设备进入不了 Loader 模式的情况下,方可尝试 MaskRom 模式。进入 MaskRom 的原理是人为的把 EMMC 的数据脚与地线短接,系统会认为 EMMC 数据出错,从而清除 EMMC 数据。
请小心阅读,并谨慎操作!
操作步骤如下:
设备断开电源
按住 AIO-3588JD4 的 MaskRom 按键或者使用镊子短接 Core-3588JD4 上的两个测试点(均如下图所示)
设备插入电源上电 此时设备就会进入 MaskRom 模式。
以下为 AIO-3588JD4 上相应的按键
以下为 Core-3588JD4 上的两个测试点
此时设备就会进入 MaskRom 模式。
本文主要介绍如何通过MicroSD卡,升级主板上的固件。
使用MicroSD升级固件(建议用32G及以下容量的卡),需要在电脑上,通过做卡工具,将统一固件写入MicroSD卡,目前此操作只支持在Windows操作系统上完成。
主板
电脑
SD卡
USB读卡器
下载需要升级到主板上的统一固件。
打开SD_Firmware_Tool,勾选固件升级框,点击选择固件选择正确升级固件。
将MicroSD插入USB读卡器,再插入到电脑USB口上,在列表式组合框中选择正确的USB设备。
点击开始创建之后,等待创建结束。
取出MicroSD卡,插入主板的MicroSD卡插槽,对主板上电开机,主板自动开始升级。
升级完成后,取出MicroSD卡,主板自动重启,完成整个升级固件的流程。
请联系销售(sales@t-firefly.com)获取 SDK 下载链接。
注意:
1. SDK 采用交叉编译,所以要在 X86_64 电脑上使用 SDK,不要将 SDK 下载到板子上
2. 编译环境请使用 Ubuntu20.04(真机或 docker 容器),如果使用其他版本可能导致编译出错
3. 不要在虚拟机共享文件夹以及非英文目录存放、解压SDK
4. 获取、编译 SDK 请全程使用普通用户,不允许也不需要使用 root 权限(除非需要 apt 安装软件)
准备一个空文件夹用于存放 SDK,建议在 home 目录下,本文以~/proj为例
下载完成后先验证一下 MD5 码:
在 device/rockchip/rk3588/ 目录下,有不同板型的配置文件(xxxx_defconfig),用于管理 SDK 每个环节的编译配置。
配置文件命名规则:
配置文件内容介绍,比如 firefly_rk3588_itx-3588j_debian_defconfig :
parameter 文件中包含了固件的分区信息,比如 device/rockchip/rk3588/parameter-xxxxxx-fit.txt
FIRMWARE_VER: 1.0
MACHINE_MODEL: RK3588
MACHINE_ID: 007
MANUFACTURER: RK3588
MAGIC: 0x5041524B
ATAG: 0x00200800
MACHINE: 0xffffffff
CHECK_MASK: 0x80
PWR_HLD: 0,0,A,0,1
TYPE: GPT
GROW_ALIGN: 0
CMDLINE: mtdparts=:0x00002000@0x00004000(uboot),0x00002000@0x00006000(misc),0x00040000@0x00008000(boot:bootable),0x00040000@0x00048000(recovery),0x00010000@0x00088000(backup),0x01c00000@0x00098000(rootfs),-@0x01c98000(userdata:grow)
uuid:rootfs=614e0000-0000-4b53-8000-1d28000054a9
uuid:boot=7A3F0000-0000-446A-8000-702F00006273
CMDLINE 属性是我们关注的地方,以 uboot 为例, 0x00002000@0x00004000(uboot) 中 0x00004000 为 uboot 分区的起始位置,0x00002000 为分区的大小,以此类推。分区的起始位置 分区大小 = 下一个分区的起始位置。
parameter 中数字的单位是 “块”,每块 512 字节。所以 uboot 分区大小为 0x00002000,即 8192 块,共 8192 x 512 / 1024 / 1024 = 4 MiB
执行下面两条命令来安装需要的工具
下载根文件系统:Ubuntu 根文件系统(64位) Kernel6.1,请使用网盘中 kernel-6.1 目录下的文件系统。
下载后将文件系统解压到 SDK/prebuilt_rootfs/ 下,并创建链接
执行 ./build.sh lunch 列出所有可用的配置文件,输入编号选择对应的配置文件,注意要选择带有 ubuntu 字样的配置文件:
执行如下命令即可
编译完成后会生成完整固件 output/update/update.img
一般来说自定义开发只涉及 kernel 和 uboot。因此,在进行过一次完整编译后,如果后续又修改了 kernel 或 uboot,可以部分编译来加快速度。
执行下面两条命令来安装需要的工具
下载根文件系统:Debian 根文件系统(64位),请使用网盘中 kernel-6.1 目录下的文件系统。
下载后将文件系统解压到 SDK/prebuilt_rootfs/ 下,并创建链接
执行 ./build.sh lunch 列出所有可用的配置文件,输入编号选择对应的配置文件,注意要选择带有 debian 字样的配置文件:
执行如下命令即可
编译完成后会生成完整固件 output/update/update.img
一般来说自定义开发只涉及 kernel 和 uboot。因此,在进行过一次完整编译后,如果后续又修改了 kernel 或 uboot,可以部分编译来加快速度。
执行下面两条命令来安装需要的工具
执行 ./build.sh lunch 列出所有可用的配置文件,输入编号选择对应的配置文件,注意要选择带有 buildroot 字样的配置文件:
执行如下命令即可
编译完成后会生成完整固件 output/update/update.img
进行过一次完整编译后,如果后续又修改了 kernel 或 uboot,可以部分编译来加快速度。
但是如果你修改了 buildroot,需要重新进行完整编译。
首先准备一个空文件夹用于存放 SDK,建议在 home 目录下,本文以~/proj为例
注意:
1. SDK 采用交叉编译,所以要在 X86_64 电脑上使用 SDK,不要将 SDK 下载到板子上
2. 编译环境请使用 Ubuntu18.04(真机或 docker 容器),如果使用其他版本可能导致编译出错
3. 不要在虚拟机共享文件夹以及非英文目录存放、解压SDK
4. 获取、编译 SDK 请全程使用普通用户,不允许也不需要使用 root 权限(除非需要 apt 安装软件)
获取 SDK 需要先安装:
方法一(推荐国内用户使用)
SDK 源码存放于 gitlab,国内用户可能下载完整的 SDK 仓库速度比较慢,所以我们提供了一个 SDK 基础包(Linux SDK),国内用户只需要在此基础包上同步 gitlab 上的代码就可以了
下载完成后先验证一下 MD5 码:
方法二
通过 repo 拉取代码,此方法对网络要求较高,有条件可以使用
可选择获取完整 SDK 或者 BSP:
mkdir ~/proj/rk3588_sdk/
cd ~/proj/rk3588_sdk/
## 完整 SDK
repo init --no-clone-bundle --repo-url https://gitlab.com/firefly-linux/git-repo.git -u https://gitlab.com/firefly-linux/manifests.git -b master -m rk3588_linux_release.xml
## BSP ( 只包含基础仓库和编译工具 )
## BSP 包括 device/rockchip 、docs 、 kernel 、 u-boot 、 rkbin 、 tools 和交叉编译链
repo init --no-clone-bundle --repo-url https://gitlab.com/firefly-linux/git-repo.git -u https://gitlab.com/firefly-linux/manifests.git -b master -m rk3588_linux_bsp_release.xml
执行如下命令同步代码:
因为网络环境等原因,.repo/repo/repo sync -c --no-tags 命令更新代码可能会失败,可多次反复执行。
在 device/rockchip/rk3588/ 目录下,有不同板型的配置文件(xxxx.mk),用于管理 SDK 每个环节的编译配置,相关配置介绍:
parameter.txt 文件中包含了固件的分区信息,以 parameter-ubuntu-fit.txt 为例:
路径:device/rockchip/rk3588/parameter-xxxxxx-fit.txt
FIRMWARE_VER: 1.0
MACHINE_MODEL: RK3588
MACHINE_ID: 007
MANUFACTURER: RK3588
MAGIC: 0x5041524B
ATAG: 0x00200800
MACHINE: 0xffffffff
CHECK_MASK: 0x80
PWR_HLD: 0,0,A,0,1
TYPE: GPT
CMDLINE: mtdparts=rk29xxnand:0x00002000@0x00004000(uboot),0x00002000@0x00006000(misc),0x00020000@0x00008000(boot:bootable),0x00040000@0x00028000(recovery),0x00010000@0x00068000(backup),0x00c00000@0x00078000(rootfs),0x00040000@0x00c78000(oem),-@0x00cb8000(userdata:grow)
uuid:rootfs=614e0000-0000-4b53-8000-1d28000054a9
CMDLINE 属性是我们关注的地方,以 uboot 为例, 0x00002000@0x00004000(uboot) 中 0x00004000 为uboot 分区的起始位置,0x00002000 为分区的大小,以此类推。
package-file 文件用于打包固件时确定需要的分区镜像和镜像路径,同时它需要与 parameter.txt 文件保持一致。
路径:tools/linux/Linux_Pack_Firmware/rockdev/rk3588-package-file
本章介绍 Ubuntu 固件的编译流程,推荐在 Ubuntu 18.04 系统环境下进行开发,若使用其它系统版本,可能需要对编译环境做相应调整。
本教程的编译部分适用于 v1.0.6e 以上 SDK 版本
在 device/rockchip/rk3588/ 目录下,有不同板型的配置文件,选择配置文件:
编译 u-boot
编译 kernel
编译 recovery
下载根文件系统:Ubuntu 根文件系统(64位),放到 SDK 路径下
更新各部分镜像链接到 rockdev/ 目录:
打包固件,生成的完整固件会保存到 rockdev/pack/ 目录。
本章介绍 Debian 固件的编译流程,推荐在 Ubuntu 18.04 系统环境下进行开发,若使用其它系统版本,可能需要对编译环境做相应调整。
本教程的编译部分适用于 v1.0.6e 以上 SDK 版本
在 device/rockchip/rk3588/ 目录下,有不同板型的配置文件,选择配置文件:
本章介绍 Buildroot 固件的编译流程,推荐在 Ubuntu 18.04 系统环境下进行开发,若使用其它系统版本,可能需要对编译环境做相应调整。
本教程的编译部分适用于 v1.0.6e 以上 SDK 版本
在 device/rockchip/rk3588/ 目录下,有不同板型的配置文件,选择配置文件:
全自动编译会执行上述编译、打包操作,生成 RK 固件。
打包固件,生成的完整固件会保存到 rockdev/pack/ 目录。
编译 u-boot
Firefly Linux 开发指南
FastDeploy 是一款全场景、易用灵活、极致高效的 AI 推理部署工具。提供开箱即用的云边端部署体验, 支持超过 150 Text, Vision, Speech和跨模态模型,并实现端到端的推理性能优化。包括图像分类、物体检测、图像分割、人脸检测、人脸识别、关键点检测、抠图、OCR、NLP、TTS等任务,满足开发者多场景、多硬件、多平台的产业部署需求。
目前 FastDeploy 初步支持 rknpu2,可以在 RK3588 平台上推理部分模型,其他模型还在适配中,具体支持列表和进度请前往:github
说明:本文测试是基于 RK3588 Firefly Ubuntu20.04 v1.0.4a 固件,采用 python 方式安装与部署,python 版本为 3.8 。因为固件中自带 rknpu2 v1.4.0 环境,因此本文跳过了准备 rknpu2 部分。其他部署方式、准备 rknpu2 等内容请查看官方文档: https://github.com/PaddlePaddle/FastDeploy/blob/develop/docs/cn/build_and_install/rknpu2.md
这里提供一个提前编译好的 python 包用于快速测试:前往下载 提取码:1234
使用这个包的话可以跳过编译步骤,直接进行安装(上一步准备环境还是需要的)。该包基于 FastDeploy v1.0.0 (commit id c4bb83ee)
注意:此项目处于快速迭代中,这里提供的预编译包可能已经过时,仅供快速了解、测试。实际开发使用请从最新源码编译:
如果你使用的 RK3588 内存比较小,编译可能会出现 OOM 错误,可以在python3 setup.py build命令后面追加-j N来控制编译线程数量。
编译完成后可以在 FastDeploy/python/dist 下找到安装包,或者使用之前提供的预编译包。使用 pip3 安装
在完成安装后,这里提供了3个已经调整好的 demo,前往下载,提取码:1234
注意:此项目处于快速迭代中,这里提供的模型可能已经过时,仅供快速了解、测试。实际开发使用请前往本文开头官方 github 获取最新内容
解压后可以直接运行推理:
PaddleSeg 人像分割模型
上一章节在 RK3588 上进行部署的只是运行环境,demo 是提前在 PC 端转换与调整好的。也就是说进一步的开发例如模型转换、参数调整等,是需要在 PC 端进行,所以还需要在 x86_64 Linux PC 上安装 FastDeploy。
需求:Ubuntu18 及以上,python 环境 3.6 或 3.8
建议使用 conda 或 virtualenv 新建一个虚拟环境进行安装!安装 conda 或 virtualenv 的方法百度有很多,这里跳过。
首先前往下载 rknn_toolkit2 安装包:github
FastDeploy/examples 下有丰富的例子,每一层的 README.md 中都有详细的使用教程。
AIC (Android in Container) 是指在 Linux 系统中使用容器来运行安卓。RK3588 Linux 即可使用 docker 来运行安卓并支持多开。
集群服务器搭配 AIC 可以增加安卓的密度,在云手机、云游戏等场景有很大的帮助。
此处有固件可供测试:点击前往 提取码 1234
说明:
固件使用的宿主系统是 Ubuntu Minimal 版本,使用 debug 串口、ssh、adb shell 等方式进行交互,没有桌面显示。
安卓的交互是通过网络 adb 连接并配合 scrcpy 等投屏工具实现,不是接入鼠标键盘来操作。
操作 AIC 需要知道基础的 Linux 终端操作知识、docker 容器知识、adb 使用方法。
将下载到的 container 文件夹复制到宿主机(RK3588)的 /userdata/ 目录下,通过里面的 aic.sh 脚本进行操作。
请将设备联网,首次运行需要先初始化:
等待初始化完成后,将安卓镜像也复制到 /userdata/container/ (目前已经内置了一个安卓镜像)
部署容器,执行./aic.sh -r <安卓镜像.tgz> <容器数量>
更多内容请阅读 aic.sh 脚本
在局域网中使用任意电脑通过 adb 即可访问容器。
adb 和 scrcpy 的安装方法请自行上网搜索。
使用 docker 命令管理容器即可。
以 root 身份执行以下命令开启性能模式可以获得更好的体验:
单个 RK3588 使用 AIC 同时运行两个最高画质原神可达 35 帧以上:
接口效果图
AIO-3588JD4 默认固件只使能 MIPI_CSI0 摄像头,CSI0/1 共用同一组 i2c 需要配置 gpio 口切换,如果同时使用两个 MIPI_CSI 就需要修改 sensor 驱动来支持动态切换。
RK3588/RK3588S平台支持两个DPHY硬件, 分别是 dphy0_hw/ dphy1_hw, 两个dphy硬件都可以工作在两个模式: full mode 和split mode, 其中 dphy0_hw 拆分为 csi2_dphy0/ csi2_dphy1/ csi2_dphy2 三个逻辑dphy(参见rk3588s.dtsi)。
仅使用csi2_dphy0,csi2_dphy0与csi2_dphy1/csi2_dphy2互斥,不可同时使用;
data lane最大4 lanes;
最大速率2.5Gbps/lane;
仅使用csi2_dphy1和csi2_dphy2, 与csi2_dphy0互斥,不可同时使用;
csi2_dphy1和csi2_dphy2可同时使用;
csi2_dphy1和csi2_dphy2各自的data lane最大是2 lanes;
csi2_dphy1对应物理dphy的lane0/lane1;
csi2_dphy2对应物理dphy的lane2/lane3;
最大速率2.5Gbps/lane;
简单点来讲,如果用单目摄像头我们可以配置full mode,若使用双目摄像头我们可以配置split mode。
链接关系: sensor->csi2_dphy0->mipi2_csi2->rkcif_mipi_lvds2 - - -> rkcif_mipi_lvds2_sditf->rkisp0_vir0
我们需要根据板子原理图的MIPI CSI接口找到sensor是挂在哪个I2C总线上,然后在对应的I2C节点配置camera节点,正确配置camera模组的I2C设备地址、引脚等属性。如下Core-3588JD4的xc7160配置:
csi2_dphy0与csi2_dphy1/csi2_dphy2互斥,不可同时使用。另外需要使能csi2_dphy0_hw节点
其中rkisp_vir0节点的remote-endpoint指向mipi_lvds2_sditf
Core-3588JD4的xc7160自带ISP,因此不需要RKISP,其他情况sensor默认请打开以下配置
链接关系:
sensor1->csi2_dphy1->mipi2_csi2->rkcif_mipi_lvds2 - - -> rkcif_mipi_lvds2_sditf->rkisp0_vir2
sensor2->csi2_dphy2->mipi3_csi2->rkcif_mipi_lvds3 - - -> rkcif_mipi_lvds3_sditf->rkisp1_vir0
我们需要根据板子原理图的MIPI CSI接口找到两个sensor是挂在哪个I2C总线上,然后在对应的I2C节点配置两个camera节点,正确配置camera模组的I2C设备地址、引脚等属性。如下Core-3588JD4的gc2053/gc2093配置:
csi2_dphy0与csi2_dphy1/csi2_dphy2互斥,不可同时使用
其中rkisp0_vir2节点的remote-endpoint指向mipi2_lvds_sditf, rkisp1_vir0节点的remote-endpoint指向mipi3_lvds_sditf
firefly已经配置好相应的dts,单目摄像头CAM-8MS1M和双目摄像头CAM-2MS2MF使用互斥,只需包含相应的dtsi文件即可使用单目摄像头CAM-8MS1M或双目摄像头CAM-2MS2MF
查找摄像头节点
使用v4l2-ctl抓取camera数据帧
v4l2-ctl --verbose -d /dev/video0 --set-fmt-video=width=1920,height=1080,pixelformat='NV12' --stream-mmap=4 --set-selection=target=crop,flags=0,top=0,left=0,width=1920,height=1080 --stream-to=/data/out.yuv
把out.yuv文件拷贝出来通过ubuntu去查看
除了官方默认支持的摄像头外,Android系统使用camera的apk打开摄像头都需要配置camera3_profiles*.xml,具体可参考Android SDK hardware/rockchip/camera/etc/camera目录下的文件
Ubuntu 固件集成了 test_camera-cifisp.sh 测试脚本,直接运行该脚本就可以了,脚本路径:test_camera-cifisp.sh。
raw摄像头支持的iq文件路径external/camera_engine_rkaiq/iqfiles/isp3x, 与以前不一样的地方是iq文件不再采用.xml的方式,而是采用.json的方式。虽有提供xml转json的工具, 但isp20的xml配置转换后也不适用isp3x,同样isp21的json也不适用isp3x。
若使用raw摄像头sensor,请留意isp3x目录所支持的iq文件
CAN(Controller Area Network)总线,即控制器局域网总线,是一种有效支持分布式控制或实时控制的串行通信网络。CAN总线是一种在汽车上广泛采用的总线协议,被设计作为汽车环境中的微控制器通讯。 如果想了解更多的内容可以参考CAN应用报告
CAN模块之间接线:CAN_H接CAN_H,CAN_L接CAN_L。
由于系统根据上述dts节点创建的CAN设备只有一个,而第一个创建的设备为CAN0
总结调试过程中遇到的几个问题及解决方法:
检查总线 CAN_H 和 CAN_L, 杜邦线是否松动或者接反。
如果CAN的比特率1M建议修改CAN时钟到300M, 信号更稳定。低于1M比特率的, 时钟设置200M就可以。
RK3588 拥有四路 Video 输出端口,每一个 Video 输出端口都绑定了固定的显示控制器,如 Port0 可以用于与 DP0、DP1、HDMI/eDP0 和 HDMI/eDP1 等显示控制器的连接,其他 Portx 以此类推。
每一个 Portx 都有各自所能输出的最大分辨率:
Port0 最大可以输出 7680x4320@60Hz
Port1 最大可以输出 4096x2304@60Hz
Port2 最大可以输出 4096x2304@60Hz
Port3 最大可以输出 1920x1080@60Hz
软件上如果把 HDMI0 显示控制器连接在 Port0 上,且硬件 phy 支持 HDMI2.1,则 HDMI0 支持 8K@60Hz 的输出。
如果给每一个 Portx 都单独分配一个显示控制器的话,便可支持同一时间的四屏同显(异显)。
但从软件的角度上,有以下的配置注意事项:
RK3588 在做 8K 输出的时候,其实芯片内部是同时使用了 Port0 以及 Port1 的资源,只是借用 Port0 口做输出,所以当与 Port0 连接的显示控制器连接外部的 8K 显示器做输出的时候,与 Port1 连接的显示控制器工作会有异常。
例如 HDMI0(接Port0) 接 8K 输出的时候,DP0(接Port1) 显示会有异常。只有当 Port0 输出小于等于4K@60Hz 的时候,Port1 才可以正常输出 4K@60Hz。
AIO-3588JD4 有一个 HDMI 接口,接口图如下所示:
HDMI
下面对各个显示输出接口的配置和使用作基本的介绍,详细内容可以参考文件:
kernel/arch/arm64/boot/dts/rockchip/aio-3588jd4.dtsi
AIO-3588JD4 硬件上有一个 HDMI 显示输出接口:
HDMI0 支持 HDMI2.1 协议,分辨率最高可以支持 7680x4320@60Hz
下面描述以 HDMI0 的配置为例,HDMI0 软件上表示为 hdmi0,在设备树中添加:
在系统中设置分辨率
系统鼠标点击:‘设置->显示->HDMI->分辨率设置’
获取 HDMI/Display Port 的 edid(以 HDMI 为例)
获取 HDMI/Display Port 所支持的分辨率(以 HDMI 为例)
获取 HDMI/Display Port 的连接状态(以 HDMI 为例)
获取系统中正在使用的 Video Portx(与所连接的显示控制器) 信息
一般如果遇到 HDMI/Display Port 无法显示的问题,都需要先执行上面的命令去看一下连接状态、edid 和分辨率是否正确。
GPIO,全称 General-Purpose Input/Output(通用输入输出),是一种软件运行期间能够动态配置和控制的通用引脚。 所有的 GPIO 在上电后的初始状态都是输入模式,可以通过软件设为上拉或下拉,也可以设置为中断脚,驱动强度都是可编程的,其核心是填充 GPIO bank 的方法和参数,并调用 gpiochip_add 注册到内核中。
Core-3588JD4 有 5 组 GPIO bank:GPIO0~GPIO4,每组又以 A0~A7, B0~B7, C0~C7, D0~D7 作为编号区分,常用以下公式计算引脚:
首先在 DTS 文件中增加驱动的资源描述:
GPIO_ACTIVE_HIGH 表示高电平有效,如果想要低电平有效,可以改为:GPIO_ACTIVE_LOW,这个属性将被驱动所读取。
然后在 probe 函数中对 DTS 所添加的资源进行解析,代码如下:
of_get_named_gpio_flags 从设备树中读取 firefly-gpio 和 firefly-irq-gpio 的 GPIO 配置编号和标志,gpio_is_valid 判断该 GPIO 编号是否有效,gpio_request 则申请占用该 GPIO。如果初始化过程出错,需要调用 gpio_free 来释放之前申请过且成功的 GPIO 。在驱动中调用 gpio_direction_output 就可以设置输出高还是低电平,这里默认输出从 DTS 获取得到的有效电平 GPIO_ACTIVE_HIGH,即为高电平,如果驱动正常工作,可以用万用表测得对应的引脚应该为高电平。实际中如果要读出 GPIO,需要先设置成输入模式,然后再读取值:
在 Firefly 的例子程序中还包含了一个中断引脚,GPIO 口的中断使用与 GPIO 的输入输出类似,首先在 DTS 文件中增加驱动的资源描述:
然后在 probe 函数中对 DTS 所添加的资源进行解析,再做中断的注册申请,代码如下:
调用 gpio_to_irq 把 GPIO 的 PIN 值转换为相应的 IRQ 值,调用 gpio_request 申请占用该 IO 口,调用 request_irq 申请中断,如果失败要调用 free_irq 释放,该函数中 gpio_info-firefly_irq 是要申请的硬件中断号,firefly_gpio_irq 是中断函数,gpio_info->firefly_irq_mode 是中断处理的属性,firefly-gpio 是设备驱动程序名称,gpio_info 是该设备的 device 结构,在注册共享中断时会用到。
该案例仅供参考,最终以实际硬件接口为准
GPIO 口除了通用输入输出、中断功能外,还可能有其它复用功能,以GPIO1_D0为例,就有如下几个功能:
func0 | func1 | func2 | func3 | func4 |
---|---|---|---|---|
GPIO1_D0 | I2S0_SDO1 | I2C7_SCL_M0 | UART6_TX_M2 | SPI1_MISO_M2 |
查看 /d/pinctrl/pinctrl-rockchip-pinctrl/pinmux-pins,查看各个引脚的作用,如果发现GPIO1_D0和GPIO1_D1被复用为I2c,则在dts中关闭它
Note: 此处 GPIO1_D0 仅作示例,实际使用中不推荐如此修改
上面介绍了在DTS上修改,那在运行时又如何切换功能呢?下面以 I2C7_m0 为例作简单的介绍,详细介绍可以参考RKDocs/common/PIN-Ctrl/Rockchip-Developer-Guide-Linux-Pin-Ctrl-CN.pdf。
查规格表可知,I2C7_SDA_M0 与 I2C7_SCL_M0 的功能定义如下:
Pad# | func0 | func1 | func2 | func3 | func4 | func5 |
---|---|---|---|---|---|---|
I2C7_SCL_M0/GPIO1_D0 | GPIO1_D0 | UART6_TX_M2 | SPI1_MISO_M2 | I2S0_SDO1 | ||
I2C7_SDA_M0/GPIO1_D1 | GPIO1_D1 | UART6_RX_M2 | SPI1_MOSI_M2 | I2S0_SDO2 | I2S0_SDI3 | PDM0_SDI1_M0 |
在 kernel-5.10/arch/arm64/boot/dts/rockchip/rk3588s.dtsi 里有:
跟复用控制相关的是 pinctrl- 开头的属性:
pinctrl-names 定义了状态名称列表: default (i2c 功能) 和 gpio 两种状态。
pinctrl-0 定义了状态 0 (即 default)时需要设置的 pinctrl: &i2c7m0_xfer
pinctrl-1 定义了状态 1 (即 gpio)时需要设置的 pinctrl: &i2c7m0_gpio
这些 pinctrl 在 kernel-5.10/arch/arm64/boot/dts/rockchip/rk3588s.dtsi 中这样定义:
在kernel-5.10/arch/arm64/boot/dts/rockchip/rk3588s-pinctrl.dtsi中有i2c7的定义
RK_FUNC_GPIO 的定义在 kernel-5.10/include/dt-bindings/pinctrl/rockchip.h ,此处简写作0:
知道了上面关于i2c7的定义后,在 kernel-5.10/arch/arm64/boot/dts/rockchip/rk3588-firefly-demo.dtsi 中为i2c7节点添加gpio的资源
i2c驱动注册流程如下:
pinctrl_select_state是选择pinctrl的函数,它用来选择我们dts中设置的pinctrl。
Debugfs 文件系统目的是为开发人员提供更多内核数据,方便调试。 这里 GPIO 的调试也可以用 Debugfs 文件系统,获得更多的内核信息。GPIO 在 Debugfs 文件系统中的接口为 /sys/kernel/debug/gpio,可以这样读取该接口的信息:
从读取到的信息中可以知道,内核把 GPIO 当前的状态都列出来了,以 GPIO1 组为例,gpio-56(GPIO1_D0) 输出高电平 (out hi)。
使用命令
解析: pin 0这一列表示引脚编号,gpio0-0这一列表示gpio组编号,后面MUX UNCLAIMED这一列表示数据选择器的拥有者,GPIO UNCLAIMED这一列表示gpio的拥有者。
其中 MUX UNCLAIMED 表示该引脚还没有被节点使用pinctrl去进行控制,例如:节点 i2c7 被启用,它拥有pinctrl-0属性,对引脚pin 56功能作出出修改,复用为i2c ,则该引脚的信息会变为pin 56 (gpio1-24): fec90000.i2c (GPIO UNCLAIMED) function i2c7 group i2c7m0-xfer ,它被地址为0xfec90000、名字为i2c的节点使用pinctrl配置,pinctrl的值是i2cm0-xfer。
GPIO UNCLAIMED表示还没有注册的gpio使用该引脚,我们用上述gpio_demo例子去注册该引脚,引脚信息会变成pin 56 (gpio1-24): gpio_demo gpio1:56 function gpio group pin56_57_gpio ,它被名为gpio_demo的节点使用pinctrl配置,pinctrl的值是pin56_57_gpio,该引脚还被申请为gpio。
A1: 当使用 GPIO request 时候,会将该 PIN 的 MUX 值强制切换为 GPIO,所以使用该 PIN 脚为 GPIO 功能的时候确保该 PIN 脚没有被其他模块所使用。
A2: 如果用 IO 命令读某个 GPIO 的寄存器,读出来的值异常,如 0x00000000 或 0xffffffff 等,请确认该 GPIO 的 CLK 是不是被关了,GPIO 的 CLK 是由 CRU 控制,可以通过读取 datasheet 下面 CRU_CLKGATE_CON* 寄存器来查到 CLK 是否开启,如果没有开启可以用 io 命令设置对应的寄存器,从而打开对应的 CLK,打开 CLK 之后应该就可以读到正确的寄存器值了。
A3: 测量该 PIN 脚的电压不对时,如果排除了外部因素,可以确认下该 PIN 所在的 IO 电压源是否正确,以及 IO-Domain 配置是否正确。
A4: 如果使用该 GPIO 时,不会动态的切换输入输出,建议在开始时就设置好 GPIO 输出方向,后面拉高拉低时使用 gpio_set_value() 接口,而不建议使用 gpio_direction_output(), 因为 gpio_direction_output 接口里面有 mutex 锁,对中断上下文调用会有错误异常,且相比 gpio_set_value,gpio_direction_output 所做事情更多,浪费。
可通过使用 LED 设备子系统或者直接操作 GPIO 控制该 LED。
标准的 Linux 专门为 LED 设备定义了 LED 子系统。 在 AIO-3588JD4开发板中的LED 均以设备的形式被定义。用户可以通过 /sys/class/leds/ 目录控制LED。
开发板上的 LED 的默认状态为:
用户可以通过 echo 命令向其 brightness 属性输入命令控制每一个 LED:
Trigger 包含多种方式可以控制 LED,这里就用两个例子来说明。
Simple trigger LED
Complex trigger LED
更详细的说明请参考 leds-class.txt 。
首先我们需要知道定义多少个 LED,同时对应的 LED 的属性是什么。
注意:compatible 的值要跟 drivers/leds/leds-gpio.c 中的 .compatible 的值要保持一致。
按名字来是看就是简单的触发方式控制 LED,如下就默认打开黄灯,AIO-3588JD4开机后黄灯就亮。
(1)定义 LED 触发器在 kernel-5.10/drivers/leds/trigger/led-firefly-demo.c 文件中有如下添加:
如下是 trigger 方式控制 LED 复杂一点的例子,timer trigger 就是让 LED 达到不断亮灭的效果:
我们需要在内核把 timer trigger 配置上。
在 kernel-5.10 路径下使用 make menuconfig,按照如下方法将 timer trigger 驱动选中。
保存配置并编译内核,把 kernel.img 烧到 AIO-3588JD4板子上 我们可以使用串口输入命令,就可以看到蓝灯不停的间隔闪烁。
AIO-3588JD4开发板采用HYM8563作为RTC(Real Time Clock),HYM8563是一款低功耗CMOS实时时钟/日历芯片,它提供一个可编程的时钟输出,一个中断 输出和一个掉电检测器,所有的地址和数据都通过I2C总线接口串行传递。最大总线速度为 400Kbits/s,每次读写数据后,内嵌的字地址寄存器会自动递增
可计时基于 32.768kHz 晶体的秒,分,小时,星期,天,月和年
宽工作电压范围:1.0~5.5V
低休眠电流:典型值为 0.25μA(VDD =3.0V, TA =25°C)
内部集成振荡电容
漏极开路中断引脚
驱动参考:kernel-5.10/drivers/rtc/rtc-hym8563.c
Linux 提供了三种用户空间调用接口。在 AIO-3588JD4开发板中对应的路径为:
SYSFS接口:/sys/class/rtc/rtc0/
PROCFS接口: /proc/driver/rtc
IOCTL接口: /dev/rtc0
可以直接使用 cat 和 echo 操作 /sys/class/rtc/rtc0/ 下面的接口。
比如查看当前 RTC 的日期和时间:
打印 RTC 相关的信息:
可以使用 ioctl 控制 /dev/rtc0。
详细使用说明请参考文档 kernel-5.10/Documentation/admin-guide/rtc.rst 。
A1: 检查一下 RTC 电池是否正确接入。
AIO-3588JD4 开发板上有 1 个 M.2 接口
可以软件配置成 M.2 SATA3.0 接口,支持 SATA 协议的 SSD 使用,也可以软件配置成 M.2 PCIe2.0 接口,支持 NVMe 协议的 SSD 使用。
默认软件配置成 M.2 SATA3.0 接口, 支持 SATA 协议的 SSD 使用
一般根据原理图在 DTS 中选择正确的控制器节点和 PHY 节点使能,并关闭与其复用的控制器节点就可以。
在 kernel/arch/arm64/boot/dts/rockchip/aio-3588jd4.dtsi 中有下面一段配置:
sata0:sata0 控制器节点
combphy0_ps:PHY 节点
pcie2x1l2:pcie2x1l2 控制器节点
vcc_sata_pwr_en:M.2 SATA 供电引脚节点
M2_SATA_OR_PCIE:默认值为 1 即配置成 SATA3.0,如果需要配置成 PCIe2.0,需修改为 0
在 Android 系统界面中将硬盘格式化为可用格式就可以开机自动挂载
查找设备节点
SATA3.0 的传输速率理论上达到 6.0 Gbps,可以参考如下命令进行读写速度测试:
dd
fio
AIO-3588JD4 有一个 RS232 和一个 RS485 接口
AIO-3588JD4 开发板的串口接口图如下:
开发板的 RS232 接口由主控的 UART1 扩展出来,而 RS485 接口由主控 UART6 扩展出来。
文件路径kernel/arch/arm64/boot/dts/rockchip/aio-3588jd4.dtsi
用户可以根据不同的接口使用不同的主机的 USB 转串口适配器向开发板的串口收发数据,例如 RS485 的调试步骤如下(AIO-3588JD4 RS485 是半双工,需要 gpio 控制收发):
(1) 开发板发送, 主机接收
开发板调试串口终端即可接收到字符串 “firefly RS485 test…”
看门狗(watchdog)实际是一个定时器,启动之后会开始计时。系统或者软件需要在规定时间内与看门狗通信(俗称喂狗)重置计时,如此反复下去,以此来确定系统和软件正常运行。
如果规定时间内没有喂狗,看门狗超时,说明系统或应用陷入循环、卡死,此时看门狗会发出复位信号让主控复位,脱离卡死。
本章节主要介绍 AIO-3588JD4 开发板内部看门狗的使用。
AIO-3588JD4的 watchdog 的 DTS 节点在 kernel-5.10/arch/arm64/boot/dts/rockchip/rk3588s.dtsi 文件中定义,如下所示:
watchdog 默认是关闭的,需按上述说明在 DTS 文件中打开相关节点方能使用。
watchdog 的驱动文件为 kernel-5.10/drivers/watchdog/dw_wdt.c。下面介绍两种方法来使用 watchdog:
内部看门狗的设备名称为/dev/watchdog,用户可通过 echo 命令来控制该设备
也可以通过程序来控制看门狗,通过Android.mk编译生成可执行文件,在机器启动后,push到上面运行,demo代码如下:
demo说明:
1、内部看门狗在使用 open 函数打开后会立刻开始计时。
2、关于超时时间:用户可以用 ioctl 来设置超时时间和获取超时时间。当用户没有设置超时时间时,驱动会应用默认请求的超时时间为 30 s。需要说明的是驱动最终设置的超时时间并不一定是应用层传输的时间或者驱动一开始设置的默认时间。驱动函数里有一个超时时间的列表,该列表中存放了 16 个超时时间(前 9 个是 0)。驱动会在超时时间列表中找到一个合适的时间作为最终 watchdog 设置的超时时间。
以下为超时时间的详细列表:
请求的超时时间 | 通过 ioctl 获取的超时时间 | watchdog最终设置的超时时间 |
---|---|---|
timeout_request > 89 | timeout_get = timeout_request | timeout_set = 89 |
44 < timeout_request <= 89 | timeout_get = 89 | timeout_set = 89 |
22 < timeout_request <= 44 | timeout_get = 44 | timeout_set = 44 |
11 < timeout_request <= 22 | timeout_get = 22 | timeout_set = 22 |
5 < timeout_request <= 11 | timeout_get = 11 | timeout_set = 11 |
2< timeout_request <= 5 | timeout_get = 5 | timeout_set = 5 |
timeout_request = 2 | timeout_get = 2 | timeout_set = 2 |
timeout_request = 1 | timeout_get = 1 | timeout_set = 1 |
参考文档:SDK/RKDocs(linux 为 docs)/common/watchdog
很多设备上有外部硬件看门狗,通过查看设备文件可以确认是否支持外部看门狗。如果有硬件看门狗 /dev/ 下应该会生成 wdt_XXX 的设备文件。
RKLLM SDK可以帮助用户快速将大语言模型部署到AIO-3588JD4上。 SDK下载
RKLLM-Toolkit 是为用户提供在计算机上进行大语言模型的量化、转换的开发套件。通过该工具提供的 Python 接口可以便捷地完成以下功能:
模型转换:支持将 Hugging Face 格式的大语言模型(Large Language Model, LLM)转换为RKLLM 模型,转换后的 RKLLM 模型能够在 Rockchip NPU 平台上加载使用。
量化功能:支持将浮点模型量化为定点模型,目前支持的量化类型包括 w4a16 和 w8a8。
RKLLM Runtime 主 要 负 责 加 载 RKLLM-Toolkit 转换得到的 RKLLM 模型,并在AIO-3588JD4 板端通过调用 NPU 驱动在 Rockchip NPU 上实现 RKLLM 模型的推理。在推理RKLLM 模型时,用户可以自行定义 RKLLM 模型的推理参数设置,定义不同的文本生成方式,并通过预先定义的回调函数不断获得模型的推理结果。
RKLLM-Toolkit目前只适用于Linux PC,建议使用Ubuntu20.04(x64)。因为系统中可能同时有多个版本的 Python 环境,建议使用 miniforge3 管理 Python 环境。
RKLLM已支持的大模型如下
Model | Huggingface Link |
---|---|
DeepSeek-R1-Distill | LINK |
LLAMA | LINK |
TinyLLAMA | LINK |
Qwen | LINK |
Phi | LINK |
ChatGLM3-6B | LINK |
Gemma | LINK |
InternLM2 | LINK |
MiniCPM | LINK |
TeleChat | LINK |
Qwen2-VL | LINK |
MiniCPM-V | LINK |
下面以RKLLM SDK的DeepSeek-R1-Distill-Qwen-1.5B_Demo为例演示如何转换、量化、导出大语言模型,最后在板端部署运行。
DeepSeek-R1-Distill-Qwen-1.5B 为例,依据表格链接,找到对应模型仓库,克隆完整仓库内容。 在前述RKLLM-Toolkit安装正确的前提下,进入 Conda 环境。然后执行generate_data_quant.py生成量化标定数据。
如下按实际情况修改export_rkllm.py之后。执行export_rkllm.py。即可得到转换模型。
(RKLLM-Toolkit-1.1.4) root@ea5d57ca8e66:/rkllm/rknn-llm/examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/export# python3 export_rkllm.py
INFO: rkllm-toolkit version: 1.1.4
WARNING: Cuda device not available! switch to cpu device!
The argument `trust_remote_code` is to be used with Auto classes. It has no effect here and is ignored.
Downloading data files: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 15307.68it/s]
Extracting data files: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2377.72it/s]
Generating train split: 21 examples [00:00, 3327.05 examples/s]
Optimizing model: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 28/28 [21:16<00:00, 45.59s/it]
Building model: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 399/399 [00:07<00:00, 52.78it/s]
WARNING: The bos token has two ids: 151646 and 151643, please ensure that the bos token ids in config.json and tokenizer_config.json are consistent!
INFO: The token_id of bos is set to 151646
INFO: The token_id of eos is set to 151643
INFO: The token_id of pad is set to 151643
Converting model: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 339/339 [00:00<00:00, 2494507.12it/s]
INFO: Exporting the model, please wait ....
[=================================================>] 597/597 (100%)
INFO: Model has been saved to ./DeepSeek-R1-Distill-Qwen-1.5B_W8A8_RK3588.rkllm!
在板端使用RKLLM Runtime 进行模型推理前,首先需要确认板端的NPU 内核是否为v0.9.8版本以上
若所查询的 NPU 内核版本低于 v0.9.8,请前往官方固件地址下载最新固件进行更新
在使用 RKLLM Runtime 的过程中,需要注意gcc交叉编译工具的版本。推荐下载交叉编译工具gcc-arm-10.2-2020.11-x86_64-aarch64-none-linux-gnu
LLM 的一个常见应用场景是聊天。在聊天上下文中,不再是连续的文本字符串构成的语句,聊天模型由一条或多条消息组成的对话组成,每条消息都有一个“用户“或“助手”等角色,还包括消息文本。然而不同的模型对聊天的输入格式要求也不同。聊天模板用于将问答的对话内容转换为模型的输入prompt。倘若使用空的聊天模板或者使用默认的聊天模板,与模型在训练期间看到的消息格式不匹配,可能会导致性能下降。
例如查看ChatGLM3的聊天模板
更多demo和api使用请参考RKLLM SDK例程和文档。
Q1:转换模型失败?
A1:检查 PC 可用运行内存,参数量越大的模型转换或者运行时所需的内存越大,可以尝试增大 swapfile 或者使用大内存的 PC。
RK3588 内置 NPU 模块, 处理性能最高可达6TOPS。使用该NPU需要下载RKNN SDK,RKNN SDK 为带有 NPU 的 RK 系列芯片提供编程接口,能够帮助用户部署使用 RKNN-Toolkit2 导出的 RKNN 模型,加速 AI 应用的落地,具体支持平台列表可通过 SDK 中 README 文档或者访问airockchip 查看,开发建议以airockchip官方更新版本作为参考。
RKNN 是 Rockchip NPU 平台使用的模型类型,以.rknn后缀结尾的模型文件。用户可以通过RKNN SDK提供的工具将自主研发的算法模型转换成 RKNN 模型
RKNN 模型可以直接运行在 RK3588 平台上,在rknpu2/examples中有例子,根据README.md编译生成 Android 或 Linux Demo(需要交叉编译环境)。也可以直接下载编译好的 Demo。
在 AIO-3588JD4 上运行yolov5 demo如下:
# Platform 为芯片平台,如RK3576,RK3588, RK3566_RK3568等
:/ # cd /data/rknn_yolov5_demo_Android (Linux 系统使用 rknn_yolov5_demo_Linux 即可)
:/data/rknn_yolov5_demo_Android # chmod 777 rknn_yolov5_demo
:/data/rknn_yolov5_demo_Android # export LD_LIBRARY_PATH=./lib
:/data/rknn_yolov5_demo_Android # ./rknn_yolov5_demo model/Platform/yolov5s-640-640.rknn ./model/bus.jpg resize ./out.jpg
post process config: box_conf_threshold = 0.25, nms_threshold = 0.45
Loading mode...
sdk version: 2.3.0 (c949ad889d@2024-11-07T11:35:33) driver version: 0.9.3
model input num: 1, output num: 3
index=0, name=images, n_dims=4, dims=[1, 640, 640, 3], n_elems=1228800, size=1228800, w_stride = 640, size_with_stride=1228800, fmt=NHWC, type=INT8, qnt_type=AFFINE, zp=-128, scale=0.003922
index=0, name=output0, n_dims=4, dims=[1, 255, 80, 80], n_elems=1632000, size=1632000, w_stride = 0, size_with_stride=1638400, fmt=NCHW, type=INT8, qnt_type=AFFINE, zp=-128, scale=0.003922
index=1, name=286, n_dims=4, dims=[1, 255, 40, 40], n_elems=408000, size=408000, w_stride = 0, size_with_stride=409600, fmt=NCHW, type=INT8, qnt_type=AFFINE, zp=-128, scale=0.003922
index=2, name=288, n_dims=4, dims=[1, 255, 20, 20], n_elems=102000, size=102000, w_stride = 0, size_with_stride=122880, fmt=NCHW, type=INT8, qnt_type=AFFINE, zp=-128, scale=0.003922
model is NHWC input fmt
model input height=640, width=640, channel=3
Read ./model/bus.jpg ...
img width = 640, img height = 640
once run use 67.055000 ms
loadLabelName ./model/coco_80_labels_list.txt
person @ (209 243 286 510) 0.879723
person @ (479 238 560 526) 0.870588
person @ (109 238 231 534) 0.839831
bus @ (91 129 555 464) 0.692042
person @ (79 353 121 517) 0.300961
save detect result to ./out.jpg
loop count = 10 , average run 59.530100 ms
对于 Caffe、TensorFlow 等其他模型,想要在 RK3588 平台运行,需要先进行模型转换。可以使用 RKNN-Toolkit2 工具将模型转换成 RKNN 格式。
RKNN-Toolkit2 是为用户提供在 PC、Rockchip NPU 平台上进行模型转换、推理和性能评估的开发套件,用户通过该工具提供的 Python 接口可以便捷地完成各种操作。
工具的全部功能简单介绍如下:
模型转换: 支持 Caffe、TensorFlow、TensorFlow Lite、ONNX、DarkNet、PyTorch 等模型转为 RKNN 模型,并支持 RKNN 模型导入导出,RKNN 模型能够在 Rockchip NPU 平台上加载使用
量化功能: 支持将浮点模型量化为定点模型,目前支持的量化方法为非对称量化 ( asymmetric_quantized-8 及 asymmetric_quantized-16 ),并支持混合量化功能 。 asymmetric_quantized-16 目前版本暂不支持
模型推理: 能够在 PC 上模拟 Rockchip NPU 运行 RKNN 模型并获取推理结果; 或将 RKNN 模型分发到指定的 NPU 设备上进行推理并获取推理结果
性能评估: 将 RKNN 模型分发到指定 NPU 设备上运行,以评估模型在实际设备上运行时的性能
内存评估: 评估模型运行时的内存的占用情况。使用该功能时,必须将 RKNN 模型分发到 NPU 设备中运行,并调用相关接口获取内存使用信息
量化精度分析: 该功能将给出模型量化前后每一层推理结果与浮点模型推理结果的余弦距离,以便于分析量化误差是如何出现的,为提高量化模型的精度提供思路
系统依赖:RKNN-Toolkit2 目前版本适用系统Ubuntu18.04(x64)及以上,工具只能安装在 PC 上,暂不支持 Windows、MacOS、Debian 等操作系统
Python版本:3.6/3.8
Python依赖库:
建议使用 virtualenv 管理 Python 环境,因为系统中可能同时有多个版本的 Python 环境,以 Python3.6 为例
在rknn-toolkit2/examples下有各种功能的 Toolkit Demo ,这里我们运行一个模型转换 Demo 为例子,这个 Demo 展示了在 PC 上将 tflite 模型转换成 RKNN 模型,然后导出、推理、部署到 NPU 平台运行并取回结果的过程。模型转换的具体实现请参考 Demo 内源代码以及本页末尾的文档。
RKNN-Toolkit2 自带了一个模拟器,直接在 PC 上运行 Demo 即是将转换后的模型部署到仿真 NPU 上运行
RKNN-Toolkit2 通过 PC 的 USB 连接到 OTG 设备 AIO-3588JD4。RKNN-Toolkit2 将 RKNN 模型传到 AIO-3588JD4 的 NPU 上运行,再从 AIO-3588JD4 上获取推理结果、性能信息等:
首先部署 AIO-3588JD4 环境:更新librknnrt.so及运行rknn_server Android
Linux
然后在 PC 上修改examples/tflite/mobilenet_v1/test.py文件,在其中添加目标平台
PC 端运行test.py
其他 Toolkit Demo 可以在rknn-toolkit2/examples/下找到,例如量化、精度评估等。具体实现以及使用方法请参考 Demo 内源代码以及详细开发文档。
AIO-3588JD4 NPU 及 Toolkit 详细使用方法请参考RKNN SDK下《Rockchip_RKNPU_User_Guide_RKNN_API_*.pdf》、《Rockchip_User_Guide_RKNN_Toolkit2_*.pdf》文档。
有时候需要配置设备树来调整板子功能,比如 M.2 接口 SATA/PCIE 功能的切换、CAN 接口时钟的修改等。这篇教程会告诉你如何在 SDK 中寻找到板子对应的设备树文件以及有关修改的注意事项。
首先需要学习如何编译 Linux SDK,之后你应该可以理解,所有的编译配置信息记录在 SDK/device/rockchip/rk3588/ 下的众多 mk 文件里。
假设我需要编译 ITX-3588J 支持 mipi 屏幕的 Ubuntu 固件,那么对应的配置文件为:itx-3588j-BE45-A1-ubuntu.mk
前往 SDK/device/rockhip/rk3588 下寻找 itx-3588j-BE45-A1-ubuntu.mk 并打开,可以很直观看到对应的 dts:
RK_KERNEL_DTS 属性就记录着对应的 dts 文件名称,此处是不带后缀的,所以完整的 dts 名称为 rk3588-firefly-itx-3588j-mipi101-M101014-BE45-A1.dts
有些 mk 文件可能没有 RK_KERNEL_DTS 属性,例如编译麒麟固件的配置 itx-3588j-kylin.mk:
原因是它 source 了其他文件,其实设备树信息是记录在了 ${DEVICE_NAME}-ubuntu.mk 中。${DEVICE_NAME} 是个变量,表示设备名称,所以也就是记录在了 itx-3588j-ubuntu.mk 中。
知道设备树名称后,就可以前往 SDK/kernel/arch/arm64/boot/dts/rockchip/ 下找到该设备树。
打开 SDK/kernel/arch/arm64/boot/dts/rockchip/rk3588-firefly-itx-3588j-mipi101-M101014-BE45-A1.dts 后你可能发现,这个文件基本是空的,如何修改?
原因是该文件 include 了 rk3588-firefly-itx-3588j-mipi101-M101014-BE45-A1.dtsi,注意后缀为 dtsi,再次打开这个文件就可以看到设备树节点。同样的,该文件也会 include 其他文件。
所以设备树是多个 dts/dtsi 文件共同组成的,并不是单个文件:
如果在 A.dts 里面找不到某个节点,那么就可能在 B.dtsi 中,或者在 C.dtsi 中…根据包含关系总能找到。
上层的配置会覆盖底层的配置,例如 C.dtsi 中将 uart0 关闭,但 A.dts 中配置为开启,那么 A.dts 中的配置会生效,uart0 开启。
一个 dtsi 可能被多个文件 include,修改会导致多个板型同步修改,所以修改前请明确包含关系。
以太网、PCIE、UART 等各功能的配置指南一般可以在 SDK/docs/ 下的文档中找到。修改设备树需要基本的 kernel 知识、设备树语法,并且你需要明确的知道你在干什么。修改不当会导致功能不正常,甚至无法开机。
修改完成后回到 SDK 根目录,使用 build.sh 进行配置与编译:
编译的结果会在 SDK/kernel 下,是一个镜像 extboot.img 和一个文件夹 extboot
烧录方法(二选一):
可以将 SDK/kernel/extboot/ 下的所有东西复制到板子的 /boot/ 下,然后重启板子。
或者根据固件烧录中烧写 kernel 分区的方法烧录 extboot.img
资源下载