上手教程
介绍
串口调试
升级固件
介绍
使用USB线缆升级固件
MaskRom模式
使用SD卡升级固件
Linux开发
编译 Linux 固件 (内核版本 6.1)
编译 Linux 固件 (内核版本 5.10)
Firefly Linux 开发指南
技术案例
Android开发
ADB 使用
编译环境搭建
编译 Android12.0 固件
编译 Android14.0 固件
Firefly Android 开发指南
FireflyApi2 使用手册
技术案例
接口使用
ADC 使用
Camera 使用
Display 使用
Ethernet 使用
GPIO 使用
LED 使用
PWM 使用
RTC 使用
SATA 使用
UART 使用
Watchdog 使用
配件
摄像头模组
显示屏模组
通信模组
其他
大语言模型
NPU使用
常见问题解答
参考资料
资源下载
ROC-RK3588S-PC
产品规格书

上手教程

1. 介绍

ROC-RK3588S-PC 基于 Rockchip 全新一代旗舰 AIoT 芯片 – RK3588,采用了 8nm LP 制程;搭载八核(Cortex-A76 x 4 Cortex-A55 x 4)64位 CPU,主频高达2.4 GHz。

集成 ARM Mali-G610 MP4 四核 GPU,内置 AI 加速器 NPU,可提供6 Tops 算力,支持主流的深度学习框架;最大支持32 GB 大内存;支持 8K 视频编解码和多种格式的视频输入输出;支持多 种操作系统;可适用于 ARM PC、边缘计算、云服务器、智能NVR 等领域。

_images/ROC-RK3588S-PC.png

一、产品介绍

产品简介

_images/usb-to-ttl-serial.png

发货清单

_images/usb-to-ttl-serial_shop_list.png

详细参数

  参数
尺寸 25x15.5mm
芯片 CP2104
LED Power LED, TX LED, RX LED
USB 类型 MicroUSB
排针 2.54mm 3PIN

二、使用方法

硬件连接

注意: 如使用其它串口适配器遇到 TX 和 RX 不能输入和输出的问题,可以尝试对调 TX 和 RX 的连接。

使用说明

串口参数配置

  • 波特率:1500000

  • 数据位:8

  • 停止位:1

  • 奇偶校验:无

  • 流控:无

说明: 以下表格中板型的调试串口波特率有所不同,是 115200。

板卡型号
RK3128 全系列,RK3288 全系列,AIO-3576JD4

Windows 上使用串口调试

安装驱动

我们的串口模块使用的是 CP2104,所以下载驱动并安装:

如果您另外购买了使用其他芯片的模块,比如 CH340 或 PL2303,可以从这下载驱动:

如果在 Win8 上不能正常使用 PL2303,参考这篇文章, 采用 3.3.5.122 或更老版本的旧驱动即可。

如果在 Windows 系统上安装官网的 CP210X 驱动,使用 PUTTY 或 SecureCRT 等工具设置串口波特率为 1500000,如果出现设置不了或无效的问题,可以下载旧版本驱动

插入适配器后,系统会提示发现新硬件,并初始化,之后可以在设备管理器找到对应的 COM 口:

_images/debug_find_com.png

安装软件

Windows 上一般用 putty 或 SecureCRT。其中我们推荐使用 MobaXterm 免费版本。这是一款功能强大的终端软件,在这里介绍一下,MobaXterm 的使用方法与之类似。

到这里下载 MobaXterm

  1. 选择 sessionSerial

  2. Serial port 修改为在设备管理器中找到的 COM 端口。

  3. 设置 Speed (bsp) 为 1500000。

  4. 点击 OK 按钮。

_images/debug_set_MobaXterm1.png

_images/debug_set_MobaXterm2.png

Ubuntu 上使用串口调试

在 Ubuntu 上可以有多种选择:

  • minicom

  • picocom

  • kermit

篇幅关系,以下就介绍 minicom 的使用。

安装 minicom

以上提示 CTRL-A Z 是转义键,按 Ctrl-a 然后再按 Z 就可以调出帮助菜单。

把光标移动到“Serial port setup”,按enter进入串口设置界面,再输入前面提示的字母,选择对应的选项,设置成如下:

三、资料下载

Firefly USB转UART串口模块(驱动程序)

升级固件

1. 介绍

1.1. 前言

ROC-RK3588S-PC出厂默认会有一个操作系统,如果用户要运行其他操作系统,需要使用对应的固件烧写到主板。

ROC-RK3588S-PC有灵活的启动方式。一般情况下,除非硬件损坏,ROC-RK3588S-PC 开发板是不会变砖的。

如果在升级过程中出现意外,bootloader 损坏,导致无法重新升级,此时仍可以进入 MaskRom 模式来修复。

1.2. 固件获取

1.3. 升级方式

ROC-RK3588S-PC 支持通过以下两种方式升级固件:

  • 使用USB线缆升级固件

    使用ROC-RK3588S-PC 将主板连接到电脑上,通过升级工具将固件烧写到主板上。
     

  • 使用SD卡升级固件

    通过升级卡制作工具,将MicroSD卡制作为升级卡(建议使用32G及以下容量的卡),将升级卡插入主板,上电开机,机器自动执行升级。

1.4. 启动存储器

ROC-RK3588S-PC 从以下的存储器中加载系统:

  • eMMC 接口

  • SDMMC 接口

1.5. 启动模式

ROC-RK3588S-PC有三种启动模式:

  • Normal 模式

  • Loader 模式

  • MaskRom 模式

1.5.1. Normal 模式

Normal 模式就是正常的启动过程,各个组件依次加载,正常进入系统。

1.5.2. Loader 模式

在 Loader 模式下,bootloader 会进入升级状态,等待主机命令,用于固件升级等。

1.5.3. MaskRom 模式

MaskRom 模式用于 bootloader 损坏时的系统修复。

一般情况下是不用进入 MaskRom 模式的,只有在 bootloader 校验失败(读取不了 IDB 块,或 bootloader 损坏) 的情况下,BootRom 代码 就会进入 MaskRom 模式。此时 BootRom 代码等待主机通过 USB 接口传送 bootloader 代码,加载并运行之。

要强行进入 MaskRom 模式,请参阅《MaskRom模式》一章。

2. 使用USB线缆升级固件

2.1. 前言

本文介绍了如何将主机上的固件,通过Type-C 数据线烧录到 ROC-RK3588S-PC 开发板的存储器中。升级时,需要根据主机操作系统和固件类型来选择合适的升级方式。

2.2. 准备工具

  • ROC-RK3588S-PC 开发板

  • 固件

  • 主机

  • 良好的Type-C 数据线

2.3. 准备固件

固件可以通过编译SDK获得,也可以通过资源下载处下载公版固件(统一固件)。固件文件一般有两种:

  • 单个统一固件

    统一固件是由分区表、bootloader、uboot、kernel、system等所有文件打包合并成的单个文件。Firefly正式发布的固件都是采用统一固件格式,升级统一固件将会更新主板上所有分区的数据和分区表,并且擦除主板上所有数据。

  • 多个分区镜像

    即各个功能独立的文件,如分区表、bootloader、kernel等,在开发阶段生成。独立分区镜像可以只更新指定的分区,而保持其它分区数据不被破坏,在开发过程中会很方便调试。

通过统一固件解包/打包工具,可以把统一固件解包为多个分区镜像,也可以将多个分区镜像合并为一个统一固件。

2.4. 安装烧写工具

2.4.1. Windows操作系统

  • 安装RK USB驱动

下载 Release_DriverAssistant.zip,解压,然后运行里面的 DriverInstall.exe 。为了所有设备都使用更新的驱动,请先选择驱动卸载,然后再选择驱动安装

_images/upgrade_firmware_install_rk_usb.jpg

  • 运行AndroidTool的RKDevTool.exe

_images/upgrade_firmware_androidtool_zh.png

2.4.2. Linux操作系统

Linux 下无须安装设备驱动

下载 Linux_Upgrade_Tool, 并按以下方法安装到系统中,方便调用:

下载 Linux_adb_fastboot, 并按以下方法安装到系统中,方便调用:

2.5. 进入升级模式

通常我们升级固件的模式有两种,分别是Loader模式和MaskRom模式。烧写固件前,我们需要连接好设备,并让板子进入到可升级模式。

2.5.1. Loader模式

2.5.1.1. 硬件方式进入Loader模式

连接设备并通过RECOVERY按键进入Loader升级模式步骤如下:

  • 先断开电源适配器连接

  • 使用 Type-C 数据线一端连接主机,一端连接开发板

_images/upgrade_otg_interface.jpg

  • 按住设备上的 RECOVERY (恢复)键并保持

_images/upgrade_recovery_reset.jpg

  • 接上电源

  • 大约两秒钟后,松开 RECOVERY 键

2.5.1.2. 软件方式进入Loader模式

Type-C 数据线接好后在串口调试终端或adb shell给板子运行以下命令

2.5.1.3. 查看Loader模式

如何确定板子是否进入Loader模式,我们可以通过工具去查看

Windows操作系统

通过AndroidTool工具可以看到下方提示Found One LOADER Device 

_images/upgrade_firmware_androidtool_zh.png

如果有进行”进入Loader模式”的操作,仍旧没有看到烧写工具提示LOADER,此时可以可以看一下Windows主机是否有提示发现新硬件并配置驱动。打开设备管理器,会见到新设备 Rockusb Device 出现,如下图。如果没有,可返回上一步重新安装驱动

_images/upgrade_firmware_new_equipment.jpg

Linux操作系统

运行upgrade_tool后可以看到连接设备中有个Loader的提示

2.5.2. MaskRom模式

进入MaskRom模式的方法,请参考《MaskRom模式》

2.6. 烧写固件

2.6.1. windows操作系统

2.6.1.1. 烧写统一固件 update.img

烧写统一固件 update.img 的步骤如下:

  1. 切换至Upgrade Firmware页。

  2. Firmware按钮,打开要升级的固件文件。升级工具会显示详细的固件信息。

  3. Upgrade按钮开始升级。

  4. 如果升级失败,可以尝试先按EraseFlash 按钮来擦除 Flash,然后再升级。

_images/upgrade_firmware_erase_flash_zh.png

2.6.1.2. 烧写分区映像

烧写分区映像的步骤如下:

  1. 切换至Upgrade Firmware页。

  2. 勾选需要烧录的分区,可以多选。

  3. 确保映像文件的路径正确,需要的话,点路径右边的空白表格单元格来重新选择。

  4. 点击Run按钮开始升级,升级结束后设备会自动重启。

_images/upgrade_firmware_androidtool_zh.png

2.6.2. Linux操作系统

2.6.2.1. 烧写统一固件 update.img

2.7. 常见问题

2.7.1. 1. 如何强行进入 MaskRom 模式

如果板子进入不了 Loader 模式,此时可以尝试强行进入 MaskRom 模式。操作方法见《MaskRom模式》

2.7.2. 2. 烧写失败分析

如果烧写过程中出现Download Boot Fail, 或者烧写过程中出错,如下图所示,通常是由于使用的USB线连接不良、劣质线材,或者电脑USB口驱动能力不足导致的,请更换USB线或者电脑USB端口排查。 

_images/upgrade_firmware_download_fail.png

3. MaskRom模式

有关启动模式的介绍,请参阅《升级固件介绍》一章

3.1. 简介

MaskRom 模式是设备变砖的最后一条防线。强行进入 MaskRom 涉及硬件操作,有一定风险,因此仅在设备进入不了 Loader 模式的情况下,方可尝试 MaskRom 模式。进入 MaskRom 的原理是人为的把 EMMC 的数据脚与地线短接,系统会认为 EMMC 数据出错,从而清除 EMMC 数据。

请小心阅读,并谨慎操作!

操作步骤如下:

可以按maskrom 按键,然后进行上电 

_images/upgrade_maskrom_key.png

此时设备就会进入 MaskRom 模式。

_images/upgrade_maskrom_zh.png

4. 使用SD卡升级固件

本文主要介绍如何通过MicroSD卡,升级主板上的固件。

使用MicroSD升级固件(建议用32G及以下容量的卡),需要在电脑上,通过做卡工具,将统一固件写入MicroSD卡,目前此操作只支持在Windows操作系统上完成。

4.1. 准备工具

4.2. 操作步骤

  • 下载需要升级到主板上的统一固件。

  • 打开SD_Firmware_Tool,勾选固件升级框,点击选择固件选择正确升级固件。

  • 将MicroSD插入USB读卡器,再插入到电脑USB口上,在列表式组合框中选择正确的USB设备。

  • 点击开始创建之后,等待创建结束。

  • 取出MicroSD卡,插入主板的MicroSD卡插槽,对主板上电开机,主板自动开始升级。

  • 升级完成后,取出MicroSD卡,主板自动重启,完成整个升级固件的流程。

_images/upgrade_firmware_sd_tool_zh.png

Linux开发

1. 编译 Linux 固件 (内核版本 6.1)

1.1. 获取 SDK

请联系销售(sales@t-firefly.com)获取 SDK 下载链接。

注意:

1. SDK 采用交叉编译,所以要在 X86_64 电脑上使用 SDK,不要将 SDK 下载到板子上

2. 编译环境请使用 Ubuntu20.04(真机或 docker 容器),如果使用其他版本可能导致编译出错

3. 不要在虚拟机共享文件夹以及非英文目录存放、解压SDK

4. 获取、编译 SDK 请全程使用普通用户,不允许也不需要使用 root 权限(除非需要 apt 安装软件)

准备一个空文件夹用于存放 SDK,建议在 home 目录下,本文以~/proj为例

1.1.1. 校验与解压

下载完成后先验证一下 MD5 码:

1.2. SDK 配置介绍

1.2.1. 目录介绍

1.2.2. 配置文件介绍

1.2.3. 分区说明

parameter 文件中包含了固件的分区信息,比如 device/rockchip/rk3588/parameter-xxxxxx-fit.txt

FIRMWARE_VER: 1.0
MACHINE_MODEL: RK3588
MACHINE_ID: 007
MANUFACTURER: RK3588
MAGIC: 0x5041524B
ATAG: 0x00200800
MACHINE: 0xffffffff
CHECK_MASK: 0x80
PWR_HLD: 0,0,A,0,1
TYPE: GPT
GROW_ALIGN: 0
CMDLINE: mtdparts=:0x00002000@0x00004000(uboot),0x00002000@0x00006000(misc),0x00040000@0x00008000(boot:bootable),0x00040000@0x00048000(recovery),0x00010000@0x00088000(backup),0x01c00000@0x00098000(rootfs),-@0x01c98000(userdata:grow)
uuid:rootfs=614e0000-0000-4b53-8000-1d28000054a9
uuid:boot=7A3F0000-0000-446A-8000-702F00006273

CMDLINE 属性是我们关注的地方,以 uboot 为例, 0x00002000@0x00004000(uboot) 中 0x00004000 为 uboot 分区的起始位置,0x00002000 为分区的大小,以此类推。分区的起始位置 分区大小 = 下一个分区的起始位置。

parameter 中数字的单位是 “块”,每块 512 字节。所以 uboot 分区大小为 0x00002000,即 8192 块,共 8192 x 512 / 1024 / 1024 = 4 MiB

1.3. 编译 Ubuntu 固件

1.3.1. 准备工作

执行下面两条命令来安装需要的工具

下载根文件系统:Ubuntu 根文件系统(64位) Kernel6.1,请使用网盘中 kernel-6.1 目录下的文件系统。

下载后将文件系统解压到 SDK/prebuilt_rootfs/ 下,并创建链接

1.3.2. 编译前配置

1.3.3. 编译

1.3.3.1. 完整编译

执行如下命令即可

1.4. 编译 Debian 固件

1.4.1. 准备工作

执行下面两条命令来安装需要的工具

下载根文件系统:Debian 根文件系统(64位),请使用网盘中 kernel-6.1 目录下的文件系统。

下载后将文件系统解压到 SDK/prebuilt_rootfs/ 下,并创建链接

1.4.2. 编译前配置

1.4.3. 编译

1.4.3.1. 完整编译

执行如下命令即可

1.4.3.2. 部分编译

一般来说自定义开发只涉及 kernel 和 uboot。因此,在进行过一次完整编译后,如果后续又修改了 kernel 或 uboot,可以部分编译来加快速度。

1.5. 编译 Buildroot 固件

1.5.1. 准备工作

执行下面两条命令来安装需要的工具

1.5.2. 编译前配置

1.5.3. 编译

1.5.3.1. 完整编译

执行如下命令即可

但是如果你修改了 buildroot,需要重新进行完整编译。

2. 编译 Linux 固件 (内核版本 5.10)

2.1. 获取 SDK

首先准备一个空文件夹用于存放 SDK,建议在 home 目录下,本文以~/proj为例

注意:

1. SDK 采用交叉编译,所以要在 X86_64 电脑上使用 SDK,不要将 SDK 下载到板子上

2. 编译环境请使用 Ubuntu18.04(真机或 docker 容器),如果使用其他版本可能导致编译出错

3. 不要在虚拟机共享文件夹以及非英文目录存放、解压SDK

4. 获取、编译 SDK 请全程使用普通用户,不允许也不需要使用 root 权限(除非需要 apt 安装软件)

2.1.1. 安装工具

获取 SDK 需要先安装:

2.1.2. 初始化仓库

  • 方法一(推荐国内用户使用)

SDK 源码存放于 gitlab,国内用户可能下载完整的 SDK 仓库速度比较慢,所以我们提供了一个 SDK 基础包(Linux SDK),国内用户只需要在此基础包上同步 gitlab 上的代码就可以了

下载完成后先验证一下 MD5 码:

2.1.3. 同步代码

执行如下命令同步代码:

2.2. Linux SDK 配置介绍

2.2.1. 目录介绍

2.2.2. 配置文件介绍

2.2.3. 分区说明

2.2.3.1. parameter 分区表

parameter.txt 文件中包含了固件的分区信息,以 parameter-ubuntu-fit.txt 为例:

路径:device/rockchip/rk3588/parameter-xxxxxx-fit.txt

FIRMWARE_VER: 1.0
MACHINE_MODEL: RK3588
MACHINE_ID: 007
MANUFACTURER: RK3588
MAGIC: 0x5041524B
ATAG: 0x00200800
MACHINE: 0xffffffff
CHECK_MASK: 0x80
PWR_HLD: 0,0,A,0,1
TYPE: GPT
CMDLINE: mtdparts=rk29xxnand:0x00002000@0x00004000(uboot),0x00002000@0x00006000(misc),0x00020000@0x00008000(boot:bootable),0x00040000@0x00028000(recovery),0x00010000@0x00068000(backup),0x00c00000@0x00078000(rootfs),0x00040000@0x00c78000(oem),-@0x00cb8000(userdata:grow)
uuid:rootfs=614e0000-0000-4b53-8000-1d28000054a9

CMDLINE 属性是我们关注的地方,以 uboot 为例, 0x00002000@0x00004000(uboot) 中 0x00004000 为uboot 分区的起始位置,0x00002000 为分区的大小,以此类推。

2.2.3.2. package-file

package-file 文件用于打包固件时确定需要的分区镜像和镜像路径,同时它需要与 parameter.txt 文件保持一致。

2.3. 编译 Ubuntu 固件

本章介绍 Ubuntu 固件的编译流程,推荐在 Ubuntu 18.04 系统环境下进行开发,若使用其它系统版本,可能需要对编译环境做相应调整。

本教程的编译部分适用于 v1.0.6e 以上 SDK 版本

2.3.2.2. 编译

2.3.2.2.1. 全自动编译

2.3.2.2.2. 部分编译


2.4. 编译 Yocto 固件

2.4.1. 获取SDK

repo init --no-clone-bundle --repo-url https://gitlab.com/firefly-linux/git-repo.git -u https://gitlab.com/firefly-linux/manifests.git -b master -m rk3588_yocto_kirkstone_release.xml
.repo/repo/repo sync -c

2.4.2. 编译

2.4.2.1. 选择映像

Yocto 项目提供了一些可用于不 layer 的映像。下表列出目前支持构建的映像和相关配方。

映像名字 描述 提供的layer
core-image-minimal A small image that only allows a device to boot Poky
core-image-minimal-xfce A XFCE minimal demo image meta-openembedded/meta-xfce
core-image-sato Image with Sato, a mobile environment and visual style for mobile devices. The image supports X11 with a Sato theme, Pimlico applications, and contains terminal, editor, and file manager Poky
core-image-weston A very basic Wayland image with a terminal Poky
core-image-x11 A very basic X11 image with a terminal Poky

2.4.3. 编译映像文件

使用 bitbake 命令构建的过程需要保证网络连接正常,如果是中国内陆客户需要保证能 ping 通外网

完成上述修改后,执行命令编译 core-image-weston

2.4.4. 调整编译速度

2.4.5. 更多 bitbake 选项

从根本上说,BitBake 是一个通用任务执行引擎,它允许 shell 和 Python 任务高效并行运行,同时在复杂的任务间依赖约束下工作。 BitBake 的主要用户之一,OpenEmbedded,利用这个核心并使用面向任务的方法构建嵌入式 Linux 软件堆栈。更多详细使用方法请查看《bitbake-user-manual》

Bitbake paramater 描述
-c fetch 拉取目标所需要的代码
-c clean 清除目标的输出文件
-c cleanall 删除目标所有输出文件、共享高速缓存(shared state cache)和源代码
-c compile -f 使用此选项可在部署映像后强制重新编译,但不建议使用,除非 Yocto Project 不知道目标代码已经发生改变
-c listtasks 列出目标定义的所有 target

2.4.6. 分区固件烧写

2.4.8. 相关概述

Yocto Project 是一个专注于嵌入式 Linux® 操作系统开发的开源协作项目,它提供灵活的工具集和开发环境,允许全球的嵌入式设备开发人员通过共享技术,软件堆栈,配置和用于创建这些定制的Linux映像的最佳实践进行协作。有关 Yocto 项目的更多信息,请参阅 Yocto Project 官网:www.yoctoproject.org/。 Yocto Project 官网上有 Yocto Project Reference ManualYocto Project Overview 等相关文档详细描述了如何构建系统。

2.4.9. Yocto Project Release layer 介绍

layer 路径 优先级(数字越大优先级越高) 描述
meta-oe meta-openembedded/meta-oe 6 contains a large amount of additional recipes
meta-python meta-openembedded/meta-python 7 Provide Python recipes
meta-qt5 meta-qt5 7 Provides QT5 recipes
meta-clang meta-clang 7 clang compiler
meta-rockchip meta-rockchip 9 Rockchip board level support available
meta meta 5 Contains the OpenEmbedded-Core metadata
meta-poky meta-poky 5 Holds the configuration for the Poky reference distribution
meta-yocto-bsp meta-yocto-bsp 5 Configuration for the Yocto Project reference hardware board support package.
meta-chromium meta-chromium 7 Provide chromium browser recipe

2.5. 编译 Debian 固件

本章介绍 Debian 固件的编译流程,推荐在 Ubuntu 18.04 系统环境下进行开发,若使用其它系统版本,可能需要对编译环境做相应调整。

本教程的编译部分适用于 v1.0.6e 以上 SDK 版本

2.5.2.2. 编译

2.5.2.2.1. 全自动编译


2.6. 编译 Buildroot 固件

本章介绍 Buildroot 固件的编译流程,推荐在 Ubuntu 18.04 系统环境下进行开发,若使用其它系统版本,可能需要对编译环境做相应调整。

本教程的编译部分适用于 v1.0.6e 以上 SDK 版本

2.6.2.2. 编译

2.6.2.2.1. 全自动编译

全自动编译会执行上述编译、打包操作,生成 RK 固件。

2.6.2.2.2. 部分编译

Firefly Linux 开发指南

Firefly Linux 开发指南

4. 技术案例

4.1. 飞桨 FastDeploy

4.1.1. 介绍

FastDeploy 是一款全场景、易用灵活、极致高效的 AI 推理部署工具。提供开箱即用的云边端部署体验, 支持超过 150 Text, Vision, Speech和跨模态模型,并实现端到端的推理性能优化。包括图像分类、物体检测、图像分割、人脸检测、人脸识别、关键点检测、抠图、OCR、NLP、TTS等任务,满足开发者多场景、多硬件、多平台的产业部署需求。

目前 FastDeploy 初步支持 rknpu2,可以在 RK3588 平台上推理部分模型,其他模型还在适配中,具体支持列表和进度请前往:github

4.1.2. RK3588 端

4.1.2.1. 编译与安装

说明:本文测试是基于 RK3588 Firefly Ubuntu20.04 v1.0.4a 固件,采用 python 方式安装与部署,python 版本为 3.8 。因为固件中自带 rknpu2 v1.4.0 环境,因此本文跳过了准备 rknpu2 部分。其他部署方式、准备 rknpu2 等内容请查看官方文档: https://github.com/PaddlePaddle/FastDeploy/blob/develop/docs/cn/build_and_install/rknpu2.md

4.1.2.1.1. 准备环境

这里提供一个提前编译好的 python 包用于快速测试:前往下载 提取码:1234

使用这个包的话可以跳过编译步骤,直接进行安装(上一步准备环境还是需要的)。该包基于 FastDeploy v1.0.0 (commit id c4bb83ee)

注意:此项目处于快速迭代中,这里提供的预编译包可能已经过时,仅供快速了解、测试。实际开发使用请从最新源码编译:

4.1.2.1.2. RK3588 上编译

4.1.2.2. 推理模型

在完成安装后,这里提供了3个已经调整好的 demo,前往下载,提取码:1234

注意:此项目处于快速迭代中,这里提供的模型可能已经过时,仅供快速了解、测试。实际开发使用请前往本文开头官方 github 获取最新内容

解压后可以直接运行推理:

4.1.3. PC 端

上一章节在 RK3588 上进行部署的只是运行环境,demo 是提前在 PC 端转换与调整好的。也就是说进一步的开发例如模型转换、参数调整等,是需要在 PC 端进行,所以还需要在 x86_64 Linux PC 上安装 FastDeploy。

4.1.3.1. 编译与安装

需求:Ubuntu18 及以上,python 环境 3.6 或 3.8

4.1.3.1.1. 安装 rknn-toolkit2

建议使用 conda 或 virtualenv 新建一个虚拟环境进行安装!安装 conda 或 virtualenv 的方法百度有很多,这里跳过。

首先前往下载 rknn_toolkit2 安装包:github

4.1.3.2. 例子与教程

FastDeploy/examples 下有丰富的例子,每一层的 README.md 中都有详细的使用教程。

4.2. 容器虚拟安卓

AIC (Android in Container) 是指在 Linux 系统中使用容器来运行安卓。RK3588 Linux 即可使用 docker 来运行安卓并支持多开。

集群服务器搭配 AIC 可以增加安卓的密度,在云手机、云游戏等场景有很大的帮助。

此处有固件可供测试:点击前往 提取码 1234

4.2.1. 使用方法

说明:

  1. 固件使用的宿主系统是 Ubuntu Minimal 版本,使用 debug 串口、ssh、adb shell 等方式进行交互,没有桌面显示。

  2. 安卓的交互是通过网络 adb 连接并配合 scrcpy 等投屏工具实现,不是接入鼠标键盘来操作。

  3. 操作 AIC 需要知道基础的 Linux 终端操作知识、docker 容器知识、adb 使用方法。

4.2.1.1. 创建容器

将下载到的 container 文件夹复制到宿主机(RK3588)的 /userdata/ 目录下,通过里面的 aic.sh 脚本进行操作。

请将设备联网,首次运行需要先初始化:

adb 和 scrcpy 的安装方法请自行上网搜索。

4.2.1.3. 管理容器

使用 docker 命令管理容器即可。

4.2.2. 性能展示

以 root 身份执行以下命令开启性能模式可以获得更好的体验:

单个 RK3588 使用 AIC 同时运行两个最高画质原神可达 35 帧以上: 

_images/aic_ys_performance.png

Android开发

1. ADB 使用

1.1. 前言

ADB,全称 Android Debug Bridge,是 Android 的命令行调试工具,可以完成多种功能,如跟踪系统日志,上传下载文件,安装应用等。

1.2. 准备连接

使用 Type-C 数据线连接 PC 以及设备的 OTG 端口。

_images/upgrade_otg_interface.jpg

1.3. 网络 ADB

1.4. Windows下的 ADB 安装

首先参照安装 RK USB 驱动一节安装好驱动。

然后下载 adb.zip,解压到 C:adb 以方便调用。

打开命令行窗口,输入:

1.5. Ubuntu 下的 ADB 安装

1.6. 常用 ADB 命令

1.6.1. 连接管理

列出所有连接设备及其序列号:

1.7. 调试

1.7.1. 获取系统日志 adb logcat

1.7.2. 运行命令 adb shell

1.7.2.1. 获取详细运行信息 adb bugreport

1.8. 应用管理

1.8.1. 安装应用 adb install

1.8.2. 卸载应用 adb uninstall

前面是 apk 文件,后面则是对应的包名称。

1.8.3. 命令行帮助信息 adb help

2. 编译环境搭建

2.1. 准备工作

编译 Android 对机器的配置要求较高:

  • 64 位 CPU

  • 16GB 物理内存 交换内存

  • 250GB 空闲的磁盘空间

建议使用 Ubuntu 18.04 操作系统或更高版本

  • Ubuntu 16.04 或 18.04 软件包安装参考:


此时视报错信息去安装缺少的软件包(dtc)即可

3. 编译 Android12.0 固件

3.1. 下载 Android12.0 SDK

SDK 源码与 bundle 压缩包均存放在云盘中。

3.1.1. 下载 SDK

  • SDK通过邮件的方式获取,把订单号发送到sales@t-firefly.com邮箱并注明需要的SDK名称firefly_rk3588_android12_git_20240704

  • 下载完成后,在解压前先校验下 MD5 码:

    
    

    注意:不要在共享文件夹、挂载文件夹以及非英文目录解压SDK,避免产生不必要的错误

    3.1.2. 更新 SDK

    下载 SDK 后,从 gitlab 处更新代码的方法:

    下载页面选择云盘下载 Android12.0 Bundle

    3.2. ROC-RK3588S-PC 产品编译方法

    3.2.1. 整体编译

    3.2.1.1. HDMI 固件编译

    3.2.1.3. 双目摄像头 CAM-2MS2MF 编译:

    3.2.1.3.1. HDMI CAM-2MS2MF

    3.2.1.4. HDMI TO MIPI_CSI(RK628D) 编译

    3.2.2. 分步编译

    3.2.3. 打包成统一固件 update.img

    编译完可以用Firefly官方的脚本打包成统一固件,执行如下命令:

    打包完成后将在rockdev/Image-roc_rk3588s_pc/ 目录下生成统一固件: product名XXX_XXX_日期XXX.img

    在 Windows 下打包统一固件 update.img 也很简单,将编译生成的文件拷贝到 AndroidTool 的 rockdevImage 目录中,然后运行 rockdev 目录下的 mkupdate.bat 批处理文件即可创建 update.img 并存放到 rockdevImage 目录里。

    3.3. 其他编译说明

    3.3.1. Android12.0 不能直接烧写 kernel.img 和 resource.img

    3.4. 分区镜像

    固件 说明
    boot.img 包含ramdis、kernel、dtb
    dtbo.img Device Tree Overlays
    MiniLoaderAll.bin 包含一级loader
    misc.img 包含recovery-wipe开机标识信息,烧写后会进行recovery
    parameter.txt 包含分区信息
    recovery.img 包含recovery-ramdis、kernel、dtb
    super.img 包含odm、product、vendor、system、system_ext分区内容
    uboot.img 包含uboot固件
    vbmeta.img 包含avb校验信息,用于AVB校验
    update.img 包含以上需要烧写的img文件,可以用于工具直接烧写整个固件包

    请参照 《使用USB线缆升级固件》 一文来烧写分区镜像文件。

    3.5. OTA 编译

    请参照《OTA编译》章节

    3.6. 常见问题

    3.6.1. git clone 远程 bundle 仓库失败

    Q:更新SDK时,git clone 远程 bundle 仓库出错:

4. 编译 Android14.0 固件

4.1. 下载 Android14.0 SDK

SDK 源码与 bundle 压缩包均存放在云盘中。如有需要请联系商务 : sales@t-firefly.com

4.1.1. 下载 SDK

  • SDK通过邮件的方式获取,把订单号发送到sales@t-firefly.com邮箱并注明需要的SDK名称firefly_rk3588_android14_git_20240822

  • 下载完成后,在解压前先校验下 MD5 码:

    
    

    注意:不要在共享文件夹、挂载文件夹以及非英文目录解压SDK,避免产生不必要的错误

    4.1.2. 更新 SDK

    下载 SDK 后,从 gitlab 处更新代码的方法:

    下载页面选择云盘下载 Android14.0 Bundle

    4.2. ROC-RK3588S-PC 产品编译方法

    4.2.1. 整体编译

    4.2.1.1. HDMI 固件编译

    4.2.2. 分步编译

4.2.3. 打包成统一固件 update.img

编译完可以用Firefly官方的脚本打包成统一固件,执行如下命令:

打包完成后将在rockdev/Image-roc_rk3588s_pc/ 目录下生成统一固件: product名XXX_XXX_日期XXX.img

在 Windows 下打包统一固件 update.img 也很简单,将编译生成的文件拷贝到 AndroidTool 的 rockdevImage 目录中,然后运行 rockdev 目录下的 mkupdate.bat 批处理文件即可创建 update.img 并存放到 rockdevImage 目录里。

4.3. 其他编译说明

4.3.1. Android14.0 不能直接烧写 kernel.img 和 resource.img

4.4. 分区镜像

固件 说明
boot.img 包含ramdis、kernel、dtb
dtbo.img Device Tree Overlays
MiniLoaderAll.bin 包含一级loader
misc.img 包含recovery-wipe开机标识信息,烧写后会进行recovery
parameter.txt 包含分区信息
recovery.img 包含recovery-ramdis、kernel、dtb
super.img 包含odm、product、vendor、system、system_ext分区内容
uboot.img 包含uboot固件
vbmeta.img 包含avb校验信息,用于AVB校验
update.img 包含以上需要烧写的img文件,可以用于工具直接烧写整个固件包

请参照 《使用USB线缆升级固件》 一文来烧写分区镜像文件。

4.5. OTA 编译

请参照《OTA编译》章节

4.6. 常见问题

4.6.1. git clone 远程 bundle 仓库失败

Q:更新SDK时,git clone 远程 bundle 仓库出错:

Firefly Android 开发指南

Firefly Android 开发指南

FireflyApi2 使用手册

FireflyApi2 使用手册

7. 技术案例

7.1. 虚拟硬件技术

_images/android_technical_cases_virtual_device.png

详情请参阅 虚拟硬件技术

7.2. 多设备启动系统

_images/android_technical_cases_multidevice.png

详情请参阅 多设备启动系统

7.3. 多屏异显

_images/android_technical_cases_yixian.png

详情请参阅 RK3588多屏异显

7.4. 多屏拼接

_images/android_technical_cases_pinjie.png

详情请参阅 RK3588多屏拼接

接口使用

1. ADC 使用

1.1. 简介

ROC-RK3588S-PC 开发板上的 AD 接口有两种,分别为:温度传感器 (Temperature Sensor)、逐次逼近ADC (Successive Approximation Register)。其中:

  • TS-ADC(Temperature Sensor):支持七通道。

  • SAR-ADC(Successive Approximation Register):支持八通道单端12位的SAR-ADC,最大转换速率为1MSPS,采用20MHz的A/D转换器时钟。

内核采用工业 I/O 子系统来控制 ADC,该子系统主要为 AD 转换或者 DA 转换的传感器设计。 下面以 SAR-ADC 为例子,介绍 ADC 的基本配置方法。

1.2. 硬件

ROC-RK3588S-PC 的ADC接口图如下:

_images/usage_adc_interface.jpg

1.3. DTS配置

1.3.1. 配置DTS节点

1.3.2. 在驱动文件中匹配 DTS 节点

接着在 firefly_adc_probe 中对 DTS 所添加的资源进行解析:

1.4. 驱动说明

1.4.1. 获取 AD 通道

调用 iio_read_channel_raw 函数读取 AD 采集的原始数据并存入 val 中。

1.4.3. 计算采集到的电压

使用标准电压将 AD 转换的值转换为用户所需要的电压值。其计算公式如下:

1.5. 接口说明

1.6. 调试方法

1.6.1. Demo 程序使用

1.7. FAQs

1.7.1. 为何按上面的步骤申请 SARADC,会出现申请报错的情况?

驱动需要获取ADC通道来使用时,需要对驱动的加载时间进行控制,必须要在saradc初始化之后。saradc是使用module_platform_driver()进行平台设备驱动注册,最终调用的是module_init()。所以用户的驱动加载函数只需使用比module_init()优先级低的,例如:late_initcall(),就能保证驱动的加载的时间比saradc初始化时间晚,可避免出错。

2. Camera 使用

  • 接口效果图

_images/usage_camera_mipicsi.jpg

2.1. MIPI CSI用法

RK3588/RK3588S平台支持两个DPHY硬件, 分别是 dphy0_hw/ dphy1_hw, 两个dphy硬件都可以工作在两个模式: full mode 和split mode, 其中 dphy0_hw 拆分为 csi2_dphy0/ csi2_dphy1/ csi2_dphy2 三个逻辑dphy(参见rk3588s.dtsi)。

目前ROC-RK3588S-PC硬件只支持一个DPHY硬件。

2.2. DPHY

2.2.1. Full Mode

  • 仅使用csi2_dphy0,csi2_dphy0与csi2_dphy1/csi2_dphy2互斥,不可同时使用;

  • data lane最大4 lanes;

  • 最大速率2.5Gbps/lane;

2.2.2. Split Mode

  • 仅使用csi2_dphy1和csi2_dphy2, 与csi2_dphy0互斥,不可同时使用;

  • csi2_dphy1和csi2_dphy2可同时使用;

  • csi2_dphy1和csi2_dphy2各自的data lane最大是2 lanes;

  • csi2_dphy1对应物理dphy的lane0/lane1;

  • csi2_dphy2对应物理dphy的lane2/lane3;

  • 最大速率2.5Gbps/lane;

_images/usage_camera_rk3588_mipi_csi_mode.png

简单点来讲,如果用单目摄像头我们可以配置full mode,若使用双目摄像头我们可以配置split mode。

2.3. Full Mode配置

链接关系: sensor->csi2_dphy0->mipi2_csi2->rkcif_mipi_lvds2 - - -> rkcif_mipi_lvds2_sditf->rkisp0_vir0

2.3.1. Full Mode设备树配置要点

2.3.2. 配置sensor端

我们需要根据板子原理图的MIPI CSI接口找到sensor是挂在哪个I2C总线上,然后在对应的I2C节点配置camera节点,正确配置camera模组的I2C设备地址、引脚等属性。如下ROC-RK3588S-PC的xc7160配置:

2.3.3. csi2_dphy0相关配置

csi2_dphy0与csi2_dphy1/csi2_dphy2互斥,不可同时使用。另外需要使能csi2_dphy0_hw节点

2.3.4. isp相关配置

2.4. Split Mode配置

链接关系:

sensor1->csi2_dphy1->mipi2_csi2->rkcif_mipi_lvds2 - - -> rkcif_mipi_lvds2_sditf->rkisp0_vir2

sensor2->csi2_dphy2->mipi3_csi2->rkcif_mipi_lvds3 - - -> rkcif_mipi_lvds3_sditf->rkisp1_vir0

2.4.1. Split Mode设备树配置要点

2.4.2. 配置sensor端

我们需要根据板子原理图的MIPI CSI接口找到两个sensor是挂在哪个I2C总线上,然后在对应的I2C节点配置两个camera节点,正确配置camera模组的I2C设备地址、引脚等属性。如下ROC-RK3588S-PC的gc2053/gc2093配置:

2.4.3. csi2_dphy1/csi2_dphy2相关配置

csi2_dphy0与csi2_dphy1/csi2_dphy2互斥,不可同时使用

2.4.4. isp相关配置

2.5. 软件相关目录

2.6. 单目CAM-8MS1M/双目CAM-2MS2MF摄像头的使用

firefly已经配置好相应的dts,单目摄像头CAM-8MS1M和双目摄像头CAM-2MS2MF使用互斥,只需包含相应的dtsi文件即可使用单目摄像头CAM-8MS1M或双目摄像头CAM-2MS2MF

2.6.1. 使用单目摄像头CAM-8MS1M

dts的配置默认使用单目摄像头

2.7. Camera底层调试

查找摄像头节点

使用v4l2-ctl抓取camera数据帧

v4l2-ctl --verbose -d /dev/video0 --set-fmt-video=width=1920,height=1080,pixelformat='NV12' --stream-mmap=4 --set-selection=target=crop,flags=0,top=0,left=0,width=1920,height=1080 --stream-to=/data/out.yuv

把out.yuv文件拷贝出来通过ubuntu去查看

2.10. IQ文件

raw摄像头支持的iq文件路径external/camera_engine_rkaiq/iqfiles/isp3x, 与以前不一样的地方是iq文件不再采用.xml的方式,而是采用.json的方式。虽有提供xml转json的工具, 但isp20的xml配置转换后也不适用isp3x,同样isp21的json也不适用isp3x。

若使用raw摄像头sensor,请留意isp3x目录所支持的iq文件

3. Display 使用

_images/usage_display_rk3588_vop.png

RK3588S 拥有四路 Video 输出端口,每一个 Video 输出端口都绑定了固定的显示控制器,如 Port0 可以用于与 DP0、DP1、HDMI/eDP0 和 HDMI/eDP1 等显示控制器的连接,其他 Portx 以此类推。

每一个 Portx 都有各自所能输出的最大分辨率:

  • Port0 最大可以输出 7680x4320@60Hz

  • Port1 最大可以输出 4096x2304@60Hz

  • Port2 最大可以输出 4096x2304@60Hz

  • Port3 最大可以输出 1920x1080@60Hz

软件上如果把 HDMI0 显示控制器连接在 Port0 上,且硬件 phy 支持 HDMI2.1,则 HDMI0 支持 8K@60Hz 的输出。

如果给每一个 Portx 都单独分配一个显示控制器的话,便可支持同一时间的四屏同显(异显)。

但从软件的角度上,有以下的配置注意事项:

  1. RK3588S 在做 8K 输出的时候,其实芯片内部是同时使用了 Port0 以及 Port1 的资源,只是借用 Port0 口做输出,所以当与 Port0 连接的显示控制器连接外部的 8K 显示器做输出的时候,与 Port1 连接的显示控制器工作会有异常。

    例如 HDMI0(接Port0) 接 8K 输出的时候,DP0(接Port1) 显示会有异常。只有当 Port0 输出小于等于4K@60Hz 的时候,Port1 才可以正常输出 4K@60Hz。

3.1. ROC-RK3588S-PC 显示接口的配置

ROC-RK3588S-PC 有三种显示输出接口,分别是 HDMI、Display Port 以及 MIPI DSI,可以做到多屏同显/异显,接口图如下所示:

  • HDMI0/ Display Port/ MIPI DSI0/ MIPI DSI1

_images/usage_display_interface.jpg

下面对各个显示输出接口的配置和使用作基本的介绍,详细内容可以参考文件:

需要注意的是,由于这里默认会把 HDMI0 连接在 Port0 上,即为了支持 8K 输出。如果这个时候 DP0 连接在了 Port1 端口,如:

3.1.2. Display Port

ROC-RK3588S-PC 有一个 Display Port 显示输出接口,支持 DP TX 1.4a 协议,分辨率最高可以支持 7680x4320@30Hz。

3.1.2.1. 软件配置

这里要注意,SDK 默认的软件配置是把 dp0 连接在 vp2 上面,这样会导致 dp0 最高只能输出 4096x2304@60Hz,所以如果需要 7680x4320@30Hz 的功能,需要把 dp0 连接在 vp0上面,软件修改如下:

3.1.3. MIPI DSI

ROC-RK3588S-PC 有两路 MIPI DSI 显示输出接口,均支持 DPHY2.0 和 4 Lane 的数据输出,最高可输出 4096x2304@60Hz(取决于连接的 Portx)。

3.1.3.1. 软件配置

由于 DSI0 和 DSI1 在软件配置上类似,这里以 DSI0 的配置为例,外接的屏幕是 Firefly V2 版本屏幕,DSI0 软件上表示为 dsi0。

结合 ROC-RK3588S-PC 的 DSI0 接口和屏幕时序

  • DSI0 接口 

  • _images/usage_display_mipi_v2_interface.png

  • V2 屏幕显示时序 

  • _images/usage_display_mipi_v2_timing.jpg

  • V2 屏幕上电时序 

  • _images/usage_display_mipi_v2_power_on.png

  • V2 屏幕下电时序 

  • _images/usage_display_mipi_v2_power_off.png

  • V2 屏幕上下电符号参考 

  • _images/usage_display_mipi_v2_power_menu.png

在设备树上添加:

在配置 MIPI DSI的时候,如果出现异常现象,如黑屏,画面拉伸,显示有噪点等,需要注意排查:

3.2. ROC-RK3588S-PC 多屏场景的配置

下面列出一些常规的场景下,关于 Portx 以及 显示控制器之间的配置方法:

3.3. 调试手段

  • 在系统中设置分辨率

系统鼠标点击:‘设置->显示->HDMI->分辨率设置’

  • 获取 HDMI/Display Port 的 edid(以 HDMI 为例)


一般如果遇到 HDMI/Display Port 无法显示的问题,都需要先执行上面的命令去看一下连接状态、edid 和分辨率是否正确。

4. Ethernet 使用

4.1. dts 配置

4.1.1. 公共的配置

4.1.2. 板级的配置

4.1.3. 查看IP地址

5. GPIO 使用

5.1. 简介

GPIO,全称 General-Purpose Input/Output(通用输入输出),是一种软件运行期间能够动态配置和控制的通用引脚。 所有的 GPIO 在上电后的初始状态都是输入模式,可以通过软件设为上拉或下拉,也可以设置为中断脚,驱动强度都是可编程的,其核心是填充 GPIO bank 的方法和参数,并调用 gpiochip_add 注册到内核中。

ROC-RK3588S-PC 开发板为了方便用户开发使用,引出了GPIO口供用户调试和开发,可以用到的GPIO3_C6

_images/usage_gpio_interface.jpg

5.3. 输入输出

首先在 DTS 文件中增加驱动的资源描述:

5.4. 中断

在 Firefly 的例子程序中还包含了一个中断引脚,GPIO 口的中断使用与 GPIO 的输入输出类似,首先在 DTS 文件中增加驱动的资源描述:

然后在 probe 函数中对 DTS 所添加的资源进行解析,再做中断的注册申请,代码如下:

查规格表可知,I2C7_SDA_M0 与 I2C7_SCL_M0 的功能定义如下:

Pad# func0 func1 func2 func3 func4 func5
I2C7_SCL_M0/GPIO1_D0 GPIO1_D0 UART6_TX_M2 SPI1_MISO_M2 I2S0_SDO1    
I2C7_SDA_M0/GPIO1_D1 GPIO1_D1 UART6_RX_M2 SPI1_MOSI_M2 I2S0_SDO2 I2S0_SDI3 PDM0_SDI1_M0

5.6. 调试方法

5.6.1. GPIO 调试接口

从读取到的信息中可以知道,内核把 GPIO 当前的状态都列出来了,以 GPIO1 组为例,gpio-56(GPIO1_D0) 输出高电平 (out hi)。

5.6.2. 查看 pinmux-pins

使用命令

5.7. FAQs

5.7.1. Q1: 如何将 PIN 的 MUX 值切换为一般的 GPIO?

A1: 当使用 GPIO request 时候,会将该 PIN 的 MUX 值强制切换为 GPIO,所以使用该 PIN 脚为 GPIO 功能的时候确保该 PIN 脚没有被其他模块所使用。

5.7.2. Q2: 为什么我用 IO 指令读出来的值都是 0x00000000?

A2: 如果用 IO 命令读某个 GPIO 的寄存器,读出来的值异常,如 0x00000000 或 0xffffffff 等,请确认该 GPIO 的 CLK 是不是被关了,GPIO 的 CLK 是由 CRU 控制,可以通过读取 datasheet 下面 CRU_CLKGATE_CON* 寄存器来查到 CLK 是否开启,如果没有开启可以用 io 命令设置对应的寄存器,从而打开对应的 CLK,打开 CLK 之后应该就可以读到正确的寄存器值了。

5.7.3. Q3: 测量到 PIN 脚的电压不对应该怎么查?

A3: 测量该 PIN 脚的电压不对时,如果排除了外部因素,可以确认下该 PIN 所在的 IO 电压源是否正确,以及 IO-Domain 配置是否正确。

5.7.4. Q4: gpio_set_value() 与 gpio_direction_output() 有什么区别?

A4: 如果使用该 GPIO 时,不会动态的切换输入输出,建议在开始时就设置好 GPIO 输出方向,后面拉高拉低时使用 gpio_set_value() 接口,而不建议使用 gpio_direction_output(), 因为 gpio_direction_output 接口里面有 mutex 锁,对中断上下文调用会有错误异常,且相比 gpio_set_value,gpio_direction_output 所做事情更多,浪费。

6. LED 使用

6.1. 前言

ROC-RK3588S-PC开发板上有个三色LED灯,如下表所示:

LED Pin name Pin number
Blue GPIO1_D5 61
Red GPIO3_B2 106
Green GPIO3_C0 112

可通过使用 LED 设备子系统或者直接操作 GPIO 控制该 LED。

6.2. 以设备的方式控制 LED

6.3. 使用 trigger 方式控制 LED

Trigger 包含多种方式可以控制 LED,这里就用两个例子来说明。

6.3.1. Simple trigger LED

按名字来是看就是简单的触发方式控制 LED,如下就默认打开黄灯,ROC-RK3588S-PC开机后黄灯就亮。

6.3.2. Complex trigger LED

7. PWM 使用

7.1. 前言

本章主要描述如何配置 PWM。

7.3. 接口说明

用户可在其它驱动文件中使用以上步骤生成的 PWM 节点。具体方法如下:

7.4. 调试方法

查看注册是否成功,成功则返回接口名和寄存器地址。

7.5. FAQs

7.5.1. PWM 无法注册成功:

  • dts 配置文件是否打开对应的 PWM。

  • PWM 所在的 IO 口是否被其他资源占用,可以根据报错的返回值去查看原因。

8. RTC 使用

8.1. 简介

ROC-RK3588S-PC开发板采用HYM8563作为RTC(Real Time Clock),HYM8563是一款低功耗CMOS实时时钟/日历芯片,它提供一个可编程的时钟输出,一个中断 输出和一个掉电检测器,所有的地址和数据都通过I2C总线接口串行传递。最大总线速度为 400Kbits/s,每次读写数据后,内嵌的字地址寄存器会自动递增

  • 可计时基于 32.768kHz 晶体的秒,分,小时,星期,天,月和年

  • 宽工作电压范围:1.0~5.5V

  • 低休眠电流:典型值为 0.25μA(VDD =3.0V, TA =25°C)

  • 内部集成振荡电容

  • 漏极开路中断引脚

ROC-RK3588S-PC 添加电容供电给RTC如下图,可以在短时间内保证RTC运行。

_images/usage_rtc_capacitor.jpg

8.2. RTC驱动

8.3. 接口使用

Linux 提供了三种用户空间调用接口。在 ROC-RK3588S-PC开发板中对应的路径为:

  • SYSFS接口:/sys/class/rtc/rtc0/

  • PROCFS接口: /proc/driver/rtc

  • IOCTL接口: /dev/rtc0

8.3.1. SYSFS接口

8.3.2. PROCFS 接口

打印 RTC 相关的信息:

8.4. FAQs

8.4.1. Q1: 开发板上电后时间不同步?

A1: 检查一下 RTC 电池是否正确接入。

9. SATA 使用

9.1. 简介

ROC-RK3588S-PC 开发板上有 1 个 M.2 接口。

可以软件配置成 M.2 SATA3.0 接口,支持 SATA 协议的 SSD 使用,也可以软件配置成 M.2 PCIe2.0 接口,支持 NVMe 协议的 SSD 使用。

默认软件配置成 M.2 SATA3.0 接口, 支持 SATA 协议的 SSD 使用。

_images/usage_sata_interface.jpg

9.2. 软件配置

9.2.1. 方式一:系统设置修改

Settings->Connected devices -> M.2 SSD Type

选择需要生效的选项SATA 或 PCIe

_images/swtich_sata_pcie.jpg

修改后需要重启系统才会生效

9.2.2. 方式二:DTS 配置

一般根据原理图在 DTS 中选择正确的控制器节点和 PHY 节点使能,并关闭与其复用的控制器节点就可以。

9.3. 挂载

9.3.1. 自动挂载

在 Android 系统界面中将硬盘格式化为可用格式就可以开机自动挂载

9.3.2. 命令手动挂载

9.4. 读写测速

SATA3.0 的传输速率理论上达到 6.0 Gbps,可以参考如下命令进行读写速度测试:

10. UART 使用

10.1. 硬件

ROC-RK3588S-PC 硬件版本的串口接口图如下:

_images/usage_uart_interface.jpg

10.2. DTS配置

最终调试串口终端即可接收到字符串 “firefly uart test…”

11. Watchdog 使用

11.1. 简介

看门狗(watchdog)实际是一个定时器,启动之后会开始计时。系统或者软件需要在规定时间内与看门狗通信(俗称喂狗)重置计时,如此反复下去,以此来确定系统和软件正常运行。

如果规定时间内没有喂狗,看门狗超时,说明系统或应用陷入循环、卡死,此时看门狗会发出复位信号让主控复位,脱离卡死。

本章节主要介绍 ROC-RK3588S-PC 开发板内部看门狗的使用。

11.2. DTS配置

11.3. 使用

watchdog 默认是关闭的,需按上述说明在 DTS 文件中打开相关节点方能使用。

demo说明:

1、内部看门狗在使用 open 函数打开后会立刻开始计时。

2、关于超时时间:用户可以用 ioctl 来设置超时时间和获取超时时间。当用户没有设置超时时间时,驱动会应用默认请求的超时时间为 30 s。需要说明的是驱动最终设置的超时时间并不一定是应用层传输的时间或者驱动一开始设置的默认时间。驱动函数里有一个超时时间的列表,该列表中存放了 16 个超时时间(前 9 个是 0)。驱动会在超时时间列表中找到一个合适的时间作为最终 watchdog 设置的超时时间。

以下为超时时间的详细列表:

请求的超时时间 通过 ioctl 获取的超时时间 watchdog最终设置的超时时间
timeout_request > 89 timeout_get = timeout_request timeout_set = 89
44 < timeout_request <= 89 timeout_get = 89 timeout_set = 89
22 < timeout_request <= 44 timeout_get = 44 timeout_set = 44
11 < timeout_request <= 22 timeout_get = 22 timeout_set = 22
5 < timeout_request <= 11 timeout_get = 11 timeout_set = 11
2< timeout_request <= 5 timeout_get = 5 timeout_set = 5
timeout_request = 2 timeout_get = 2 timeout_set = 2
timeout_request = 1 timeout_get = 1 timeout_set = 1

参考文档:SDK/RKDocs(linux 为 docs)/common/watchdog

11.4. 外部看门狗

很多设备上有外部硬件看门狗,通过查看设备文件可以确认是否支持外部看门狗。如果有硬件看门狗 /dev/ 下应该会生成 wdt_XXX 的设备文件。

配件

1. 摄像头模组

Firefly 支持的摄像头如下:

2. 显示屏模组

Firefly 支持的显示屏如下:

3. 通信模组

Firefly 支持的通信模组如下:

其他

1. 大语言模型

1.1. RKLLM 介绍

RKLLM SDK可以帮助用户快速将大语言模型部署到ROC-RK3588S-PC上。 SDK下载

1.1.1. RKLLM-Toolkit 功能介绍

RKLLM-Toolkit 是为用户提供在计算机上进行大语言模型的量化、转换的开发套件。通过该工具提供的 Python 接口可以便捷地完成以下功能:

  • 模型转换:支持将 Hugging Face 格式的大语言模型(Large Language Model, LLM)转换为RKLLM 模型,转换后的 RKLLM 模型能够在 Rockchip NPU 平台上加载使用。

  • 量化功能:支持将浮点模型量化为定点模型,目前支持的量化类型包括 w4a16 和 w8a8。

1.1.2. RKLLM Runtime 功能介绍

RKLLM Runtime 主 要 负 责 加 载 RKLLM-Toolkit 转换得到的 RKLLM 模型,并在ROC-RK3588S-PC 板端通过调用 NPU 驱动在 Rockchip NPU 上实现 RKLLM 模型的推理。在推理RKLLM 模型时,用户可以自行定义 RKLLM 模型的推理参数设置,定义不同的文本生成方式,并通过预先定义的回调函数不断获得模型的推理结果。

1.2. RKLLM-Toolkit 安装

1.3. 大语言模型部署例程

RKLLM已支持的大模型如下

Model Huggingface Link
DeepSeek-R1-Distill LINK
LLAMA LINK
TinyLLAMA LINK
Qwen LINK
Phi LINK
ChatGLM3-6B LINK
Gemma LINK
InternLM2 LINK
MiniCPM LINK
TeleChat LINK
Qwen2-VL LINK
MiniCPM-V LINK

1.3.1. 大语言模型转换运行Demo

1.3.1.1. 在 PC 上转换模型

DeepSeek-R1-Distill-Qwen-1.5B 为例,依据表格链接,找到对应模型仓库,克隆完整仓库内容。 在前述RKLLM-Toolkit安装正确的前提下,进入 Conda 环境。然后执行generate_data_quant.py生成量化标定数据。

(RKLLM-Toolkit-1.1.4) root@ea5d57ca8e66:/rkllm/rknn-llm/examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/export# python3 export_rkllm.py 
INFO: rkllm-toolkit version: 1.1.4
WARNING: Cuda device not available! switch to cpu device!
The argument `trust_remote_code` is to be used with Auto classes. It has no effect here and is ignored.
Downloading data files: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 15307.68it/s]
Extracting data files: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 2377.72it/s]
Generating train split: 21 examples [00:00, 3327.05 examples/s]
Optimizing model: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 28/28 [21:16<00:00, 45.59s/it]
Building model: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 399/399 [00:07<00:00, 52.78it/s]
WARNING: The bos token has two ids: 151646 and 151643, please ensure that the bos token ids in config.json and tokenizer_config.json are consistent!
INFO: The token_id of bos is set to 151646
INFO: The token_id of eos is set to 151643
INFO: The token_id of pad is set to 151643
Converting model: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 339/339 [00:00<00:00, 2494507.12it/s]
INFO: Exporting the model, please wait ....
[=================================================>] 597/597 (100%)
INFO: Model has been saved to ./DeepSeek-R1-Distill-Qwen-1.5B_W8A8_RK3588.rkllm!

1.3.1.2. 在 ROC-RK3588S-PC 上部署运行RKLLM模型

1.3.1.2.1. 板端内核要求

若所查询的 NPU 内核版本低于 v0.9.8,请前往官方固件地址下载最新固件进行更新

1.3.1.2.2. RKLLM Runtime 的编译要求

在使用 RKLLM Runtime 的过程中,需要注意gcc交叉编译工具的版本。推荐下载交叉编译工具gcc-arm-10.2-2020.11-x86_64-aarch64-none-linux-gnu

1.3.1.2.3. 板端运行推理

1.3.1.2.4. 聊天模板

LLM 的一个常见应用场景是聊天。在聊天上下文中,不再是连续的文本字符串构成的语句,聊天模型由一条或多条消息组成的对话组成,每条消息都有一个“用户“或“助手”等角色,还包括消息文本。然而不同的模型对聊天的输入格式要求也不同。聊天模板用于将问答的对话内容转换为模型的输入prompt。倘若使用空的聊天模板或者使用默认的聊天模板,与模型在训练期间看到的消息格式不匹配,可能会导致性能下降。

例如查看ChatGLM3的聊天模板

1.4. 其他

更多demo和api使用请参考RKLLM SDK例程和文档。

1.5. FAQs

Q1:转换模型失败?

A1:检查 PC 可用运行内存,参数量越大的模型转换或者运行时所需的内存越大,可以尝试增大 swapfile 或者使用大内存的 PC。

2. NPU使用

RK3588 内置 NPU 模块, 处理性能最高可达6TOPS。使用该NPU需要下载RKNN SDK,RKNN SDK 为带有 NPU 的 RK 系列芯片提供编程接口,能够帮助用户部署使用 RKNN-Toolkit2 导出的 RKNN 模型,加速 AI 应用的落地,具体支持平台列表可通过 SDK 中 README 文档或者访问airockchip 查看,开发建议以airockchip官方更新版本作为参考。

2.1. RKNN 模型

RKNN 是 Rockchip NPU 平台使用的模型类型,以.rknn后缀结尾的模型文件。用户可以通过RKNN SDK提供的工具将自主研发的算法模型转换成 RKNN 模型

RKNN 模型可以直接运行在 RK3588 平台上,在rknpu2/examples中有例子,根据README.md编译生成 Android 或 Linux Demo(需要交叉编译环境)。也可以直接下载编译好的 Demo

在 ROC-RK3588S-PC 上运行yolov5 demo如下:

# Platform 为芯片平台,如RK3576,RK3588, RK3566_RK3568等
:/ # cd /data/rknn_yolov5_demo_Android  (Linux 系统使用 rknn_yolov5_demo_Linux 即可)
:/data/rknn_yolov5_demo_Android # chmod 777 rknn_yolov5_demo
:/data/rknn_yolov5_demo_Android # export LD_LIBRARY_PATH=./lib
:/data/rknn_yolov5_demo_Android # ./rknn_yolov5_demo model/Platform/yolov5s-640-640.rknn ./model/bus.jpg resize ./out.jpg
post process config: box_conf_threshold = 0.25, nms_threshold = 0.45
Loading mode...
sdk version: 2.3.0 (c949ad889d@2024-11-07T11:35:33) driver version: 0.9.3
model input num: 1, output num: 3
  index=0, name=images, n_dims=4, dims=[1, 640, 640, 3], n_elems=1228800, size=1228800, w_stride = 640, size_with_stride=1228800, fmt=NHWC, type=INT8, qnt_type=AFFINE, zp=-128, scale=0.003922
  index=0, name=output0, n_dims=4, dims=[1, 255, 80, 80], n_elems=1632000, size=1632000, w_stride = 0, size_with_stride=1638400, fmt=NCHW, type=INT8, qnt_type=AFFINE, zp=-128, scale=0.003922
  index=1, name=286, n_dims=4, dims=[1, 255, 40, 40], n_elems=408000, size=408000, w_stride = 0, size_with_stride=409600, fmt=NCHW, type=INT8, qnt_type=AFFINE, zp=-128, scale=0.003922
  index=2, name=288, n_dims=4, dims=[1, 255, 20, 20], n_elems=102000, size=102000, w_stride = 0, size_with_stride=122880, fmt=NCHW, type=INT8, qnt_type=AFFINE, zp=-128, scale=0.003922
model is NHWC input fmt
model input height=640, width=640, channel=3
Read ./model/bus.jpg ...
img width = 640, img height = 640
once run use 67.055000 ms
loadLabelName ./model/coco_80_labels_list.txt
person @ (209 243 286 510) 0.879723
person @ (479 238 560 526) 0.870588
person @ (109 238 231 534) 0.839831
bus @ (91 129 555 464) 0.692042
person @ (79 353 121 517) 0.300961
save detect result to ./out.jpg
loop count = 10 , average run  59.530100 ms

2.2. 非 RKNN 模型

对于 Caffe、TensorFlow 等其他模型,想要在 RK3588 平台运行,需要先进行模型转换。可以使用 RKNN-Toolkit2 工具将模型转换成 RKNN 格式。

2.3. RKNN-Toolkit2工具

2.3.1. 工具介绍

RKNN-Toolkit2 是为用户提供在 PC、Rockchip NPU 平台上进行模型转换、推理和性能评估的开发套件,用户通过该工具提供的 Python 接口可以便捷地完成各种操作。

工具的全部功能简单介绍如下:

2.3.2. 环境依赖

2.3.3. RKNN-Toolkit2 安装

建议使用 virtualenv 管理 Python 环境,因为系统中可能同时有多个版本的 Python 环境,以 Python3.6 为例

如果导入 RKNN 模块没有失败,说明安装成功,失败情况之一如下:

2.3.4.1. 在 PC 上仿真运行

2.3.4.2. 运行在与 PC 相连的 ROC-RK3588S-PC NPU 平台上

RKNN-Toolkit2 通过 PC 的 USB 连接到 OTG 设备 ROC-RK3588S-PC。RKNN-Toolkit2 将 RKNN 模型传到 ROC-RK3588S-PC 的 NPU 上运行,再从 ROC-RK3588S-PC 上获取推理结果、性能信息等:

2.3.5. 其他 Toolkit Demo

其他 Toolkit Demo 可以在rknn-toolkit2/examples/下找到,例如量化、精度评估等。具体实现以及使用方法请参考 Demo 内源代码以及详细开发文档。

2.4. 详细开发文档

ROC-RK3588S-PC NPU 及 Toolkit 详细使用方法请参考RKNN SDK下

《Rockchip_RKNPU_User_Guide_RKNN_API_*.pdf》、《Rockchip_User_Guide_RKNN_Toolkit2_*.pdf》文档。

常见问题解答

1. Linux 设备树 (DTS) 指南

有时候需要配置设备树来调整板子功能,比如 M.2 接口 SATA/PCIE 功能的切换、CAN 接口时钟的修改等。这篇教程会告诉你如何在 SDK 中寻找到板子对应的设备树文件以及有关修改的注意事项。

1.1. 找到设备树

首先需要学习如何编译 Linux SDK,之后你应该可以理解,所有的编译配置信息记录在 SDK/device/rockchip/rk3588/ 下的众多 mk 文件里。

1.2. 修改设备树

  1. 如果在 A.dts 里面找不到某个节点,那么就可能在 B.dtsi 中,或者在 C.dtsi 中…根据包含关系总能找到。

  2. 上层的配置会覆盖底层的配置,例如 C.dtsi 中将 uart0 关闭,但 A.dts 中配置为开启,那么 A.dts 中的配置会生效,uart0 开启。

  3. 一个 dtsi 可能被多个文件 include,修改会导致多个板型同步修改,所以修改前请明确包含关系。

烧录方法(二选一):

  1. 可以将 SDK/kernel/extboot/ 下的所有东西复制到板子的 /boot/ 下,然后重启板子。

  2. 或者根据固件烧录中烧写 kernel 分区的方法烧录 extboot.img

参考资料

1. 接口定义

1.1. 整机接口定义

ROC-RK3588S-PC V1.1 使用的接口,主要包括:

  • 1 x HDMI2.1(最大支持 8K@60Hz 输出)

  • 1 x Display Port1.4(最大支持 8K@30Hz 输出)

  • 1 x USB3.0 OTG(Type-C)

  • 2 x MIPI-DSI

  • 1 x MIPI-CSI

  • 1 x SATA3.0 或 PCIe2.0

  • 1 x TF Card

  • 1 x USB3.0

  • 3 x USB2.0 (其中2个USB2.0由20Pin排针引出)

  • 1 x WIFI

  • 1 x Bluetooth

  • 1 x FAN

  • 1 x RJ45(支持 1Gbps)

  • 1 × 3.5mm耳机接口(V1.1版本支持录音

  • 1 × Mic输入(2P-1.25mm)

具体如下图:

_images/interface_all.jpg

ROC-RK3588S-PC 旧版本接口定义

资源下载

资源下载

电话咨询
微信咨询
留言