2.2. 2. BMC管理系统

BMC管理系统是一套运行集群服务器BMC管理单元上的软件系统，BMC管理单元是一块使用RK3399作为主控芯片的控制板(以下简称主板)，主板运行Ubuntu 18.04系统，通过网络和USB接口与集群服务器内其它核心板(以下简称子板)进行数据交互，实现对集群服务器各个核心板卡的监测和管理。其软件栈的组成为：

• node_exporter: 运行在主板和子板上，负责收集设备的监控数据。

• Prometheus: 运行在主板上，负责收集和存储各个设备的监控数据。

• Grafana: 运行在主板上，负责监控图表的集中显示。

该方案的优点是，由主板统一布署 node_exporter 到各个设备上(子板的操作系统可以是 Android 或 Ubuntu)，以直观的图表方式显示各个子板的资源使用状况。

2.3. 3. 其它使用说明

sudo recovery reset

sudo systemctl start openstf

Firefly集群服务器的子核心板有多种配置(参见)。其中RK3399采用双核A72 4核A53架构，集成MaliT860P4 GPU。而RK1126采用RK最新一代NPU架构，AI算力最高可达3T。所以使用Firefly集群服务器作为云计算平台，也是很合适的。针对云计算平台，Firefly集群服务器增强了以下功能支持。

1.1.1. 获取所有子板的即时在线状态

$ promtool query instant http://127.0.0.1:9090 node_cluster_up
node_cluster_up{instance="127.0.0.1:9100", job="node", nodename="main", state="android", subnode="sub1-01"} => 1 @[1608772515.659]
node_cluster_up{instance="127.0.0.1:9100", job="node", nodename="main", state="android", subnode="sub1-02"} => 1 @[1608772515.659]
node_cluster_up{instance="127.0.0.1:9100", job="node", nodename="main", state="android", subnode="sub1-03"} => 1 @[1608772515.659]
node_cluster_up{instance="127.0.0.1:9100", job="node", nodename="main", state="android", subnode="sub1-04"} => 1 @[1608772515.659]
...

• subnode: 子板编号

• state：子板状态

  • android：子板运行的操作系统为 Android。

  • linux：子板运行操作系统为 Linux。

  • netrecovery：子板处于辅助升级系统 netrecovery 状态。

  • offline：子板离线，无法通过 USB 连接检测到。

  • online：子板能通过 USB 连接检测到，但无法解析进一步的状态。

  • loader：子板处于 Loader 状态。

  • fastboot： 子板处于 Fastboot 状态。

  • adb：子板被识别为 adb 设备，但暂未识别到其操作系统。

  • adb_offline: 子板被识别为处于 offline 状态的 adb 设备，无法进行正常 adb 操作。

  • android_recovery: 子板进入了 Android 的 recovery 系统。

• metric:

  • 1.0: 子板处于 android 或 linux 状态。

  • 0.0: 子板处于 offline 状态。

  • 0.5: 子板处于上述状态之外。

1.1.2. 获取主机温度

$ promtool query instant http://127.0.0.1:9090 'node_hwmon_temp_celsius{chip=~"platform_ntc.*"}'
node_hwmon_temp_celsius{chip="platform_ntc", instance="127.0.0.1:60101", job="node", nodename="sub1-01", sensor="temp1"} => 34.779 @[1608773513.849]
node_hwmon_temp_celsius{chip="platform_ntc", instance="127.0.0.1:60102", job="node", nodename="sub1-02", sensor="temp1"} => 42.81 @[1608773513.849]
node_hwmon_temp_celsius{chip="platform_ntc", instance="127.0.0.1:60103", job="node", nodename="sub1-03", sensor="temp1"} => 43.305 @[1608773513.849]
...

$ promtool query instant http://127.0.0.1:9090 'node_cluster_env_temp_celsius'

1.1.3. 获取风扇的转速(仅R2)

单位：RPM (转/分钟)

$ promtool query instant http://127.0.0.1:9090 node_cluster_fan_speed
node_cluster_fan_speed{fan="fan1", instance="127.0.0.1:9100", job="node", nodename="main"} => 7812 @[1607501007.839]
node_cluster_fan_speed{fan="fan2", instance="127.0.0.1:9100", job="node", nodename="main"} => 7936 @[1607501007.839]
...

• R2v2 有 10 块能监控转速的风扇。

1.1.4. 获取接入硬盘状态

获取硬盘设备名称和型号：

$ promtool query instant http://127.0.0.1:9090 node_cluster_disk_up
node_cluster_disk_up{device="sda", instance="127.0.0.1:9100", job="node", model="ST1000DM010-2EP1", nodename="main"} => 1 @[1609228221.442]

获取硬盘总容量（单位：字节）：

$ promtool query instant http://127.0.0.1:9090 node_cluster_disk_bytes_total
node_cluster_disk_bytes_total{device="sda", instance="127.0.0.1:9100", job="node", nodename="main"} => 1000204886016 @[1609228289.651]

获取硬盘已使用空间（单位：字节）：

$ promtool query instant http://127.0.0.1:9090 node_cluster_disk_bytes__used
node_cluster_disk_bytes_used{device="sda", instance="127.0.0.1:9100", job="node", nodename="main"} => 121475072 @[1609228366.843]

1.1.5. 获取所有设备的 IP 地址

$ promtool query instant http://127.0.0.1:9090 node_network_ipaddr
node_network_ipaddr{device="eth0", instance="127.0.0.1:60101", ipaddr="168.168.101.198", job="node", nodename="sub1-01"} => 1 @[1609396443.993]
node_network_ipaddr{device="eth0", instance="127.0.0.1:60102", ipaddr="168.168.100.180", job="node", nodename="sub1-02"} => 1 @[1609396443.993]
node_network_ipaddr{device="eth0", instance="127.0.0.1:60103", ipaddr="168.168.101.145", job="node", nodename="sub1-03"} => 1 @[1609396443.993]
...

• device: 网络接口名称，各个子板仅有一个以太网接口 eth0, 主板有多个。每个网络接口对应一个 IP 地址。

• ipaddr：IP 地址，如果尚没有取得 IP 地址，则为 “0.0.0.0”。

• nodename：子板 sub 编号，或主板 main。

1.2. 硬件控制

• 1.2.1. 重置子板电源

  • 功能: 重置子板电源

  • 描述: 通过操控子板的 RESET 脚来重置子板电源，达到强制重启子板的目的。如果子板没有 RESET 脚，则通过关闭、打开电源来实现。

  • 调用:

    • 命令行可运行： /usr/bin/bmc <子板SUB编号> reset

    • Web API：GET http://localhost:7070/api/reset/<子板SUB编号>

  1.2.2. 重启子板操作系统

  • 功能: 重启子板操作系统

  • 描述: 首先通过 adb reboot 命令来重启系统，如果 10 秒内没有反应，则通过复位电源的方式强行重启子板。

  • 调用:

    • 命令行可运行： /usr/bin/bmc <子板SUB编号> reboot

    • Web API：GET http://localhost:7070/api/reboot/<子板SUB编号>

  1.2.3. 打开子板电源(仅R2)

  • 功能：打开子板电源

  • 描述：通过操控子板的 POWER 脚来打开子板电源。集群服务器开机默认打开所有子板电源。

  • 调用:

    • 命令行可运行： /usr/bin/bmc <子板SUB编号> poweron

    • Web API：GET http://localhost:7070/api/poweron/<子板SUB编号>

  1.2.4. 关闭子板电源(仅R2)

  • 功能：关闭子板电源

  • 描述：通过操控子板的 POWER 脚来关闭子板电源。

  • 调用:

    • 命令行可运行： /usr/bin/bmc <子板SUB编号> poweroff

    • Web API：GET http://localhost:7070/api/poweroff/<子板SUB编号>

  1.3. 固件升级

  使用脚本添加固件升级任务：

  sudo netrecovery-master queue <固件文件绝对路径> <子板SUB编号> [<子板SUB编号> ...]
  

  例如：

  sudo netrecovery-master queue /home/firefly/Firmware/xxx.img sub1-01 sub1-02
  

  查看固件升级进度：

  $ promtool query instant http://127.0.0.1:9090 node_cluster_firmware_upgrade_stat
  node_cluster_firmware_upgrade_stat{firmware="SR-C11G-3399JD4_Android10_HDMI_201202.img", instance="127.0.0.1:9100", job="node", node="sub02", nodename="main", state="done"} => 100 @[1608795873.055]
  node_cluster_firmware_upgrade_stat{firmware="SR-C11G-3399JD4_Android10_HDMI_201202.img", instance="127.0.0.1:9100", job="node", node="sub03", nodename="main", state="done"} => 100 @[1608795873.055]
  

  1. node: 升级固件的子板编号。

  2. state: preparing: 正在准备；flashing: 正在烧写；done: 已完成；error：出错。

  3. metric: 烧写进度百分比，例如 100 表示已全部完成(100%)。

  注意：有可能出现同一块子板有两种不同的 state，这时如果存在 state=”flashing” 则表示子板尚在烧写中，因此更稳妥的办法是，先查 flashing 进度，如果有则在升级中，如果没有则再查是完成还是出错：

  $ promtool query instant http://127.0.0.1:9090 'node_cluster_firmware_upgrade_stat{node="sub02",state="flashing"}'
  $ promtool query instant http://127.0.0.1:9090 'node_cluster_firmware_upgrade_stat{node="sub02",state=~"done|error"}'
  node_cluster_firmware_upgrade_stat{firmware="SR-C11G-3399JD4_Android10_HDMI_201202.img", instance="127.0.0.1:9100", job="node", node="sub02", nodename="main", state="done"} => 100 @[1608796078.37]
  

  1.4. 子板上传下载文件，运行命令

  以下命令使用 bmc_adb，此脚本是对 adb 命令的包装，使用户可以方便地使用子板编号去操作对应子板，而不用理会实际的子板 adb 序列号。当然，adb 命令也可以使用。

  1.4.1. 从主板上传文件到子板

  在主板上运行：

  $ bmc_adb -s sub01 push home.json /data/local/tmp
  

  1.4.2. 从子板下载文件到主板

  在主板上运行：

  $ bmc_adb -s sub01 pull home.json /data/local/tmp
  

  1.4.3. 在子板运行特定命令

  在主板上运行：

  $ bmc_adb -s sub01 shell ifconfig
  

  1.5. bmc 命令行工具

  bmc 命令行工具必须在主板(即结点名称为 main 的设备)的 Shell 终端窗口下运行，当然，远程通过 ssh 连接到主板也可使用。

  获取命令帮助：

  $ bmc --help
  Usage:
  
    bmc list [--offline] []
      List all the active nodes usable with adb, optionally matched by pattern
  
    bmc serials
      List all the active nodes with coresponding adb serial.
  
    bmc  {reset|poweron|poweroff}
      Invoke reset, poweron or power off on 
  
    bmc  state
      Show node state
  
    bmc  shell [...]
      Invoke shell with command.
  
    bmc forall %{node}
  

  1.5.1. 显示 adb 设备列表

  列出所有在线（adb 成功连接）设备：

  $ bmc list
  sub03
  sub04
  sub05
  sub06
  sub07
  sub08
  sub09
  sub10
  

  列出所有 adb 状态为 offline 的设备：

  $ bmc list --offline
  

  1.5.2. 列出子板编号和 adb 序列号的对应关系

  $ bmc serials
  sub02 B09CCSUB02 usb:2-1.2.3
  sub03 A8232SUB03 usb:2-1.2.4
  sub06 4DE1ESUB06 usb:2-1.2.7
  sub07 505C3SUB07 usb:2-1.1.2
  sub08 FFBCCSUB08 usb:2-1.4
  sub09 710AFSUB09 usb:2-1.1.1
  

  1.5.3. 重置子板的电源

  $ bmc sub03 reset
    okay
  

  1.5.4. 打开、关闭子板电源（仅R2)

  关闭子板电源：

  $ bmc sub1-01 poweroff
     okay
  

  打开子板电源：

  $ bmc sub1-01 poweron
     okay
  

  1.5.5. 查看子板状态

  查看子板的明细状态：

  # 单个子板
  $ bmc sub1-01 state
  android
  
  # 所有子板
  $ bmc state
  main: linux
  sub1-01: android
  sub1-02: android
  ...
  
  # 所有状态为 offline 的子板
  $ bmc state | grep offline
  sub7-01: offline
  sub7-02: offline
  sub7-03: offline
  ...
  

  列出 sub3-01 的 adb 状态和 ifconfig 结果：

  $ bmc sub3-01
  node: sub3-01
  state: android
  adb_state: device
  ifconfig:
  eth0      Link encap:Ethernet  HWaddr ae:bb:8b:e7:b4:38  Driver rk_gmac-dwmac
            inet addr:168.168.100.171  Bcast:168.168.255.255  Mask:255.255.0.0
            inet6 addr: fe80::7298:5297:6ab9:7fd0/64 Scope: Link
            UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
            RX packets:66181 errors:0 dropped:0 overruns:0 frame:0
            TX packets:190 errors:0 dropped:0 overruns:0 carrier:0
            collisions:0 txqueuelen:1000
            RX bytes:4414382 TX bytes:22295
            Interrupt:27
  
  lo        Link encap:Local Loopback
            inet addr:127.0.0.1  Mask:255.0.0.0
            inet6 addr: ::1/128 Scope: Host
            UP LOOPBACK RUNNING  MTU:65536  Metric:1
            RX packets:715 errors:0 dropped:0 overruns:0 frame:0
            TX packets:715 errors:0 dropped:0 overruns:0 carrier:0
            collisions:0 txqueuelen:1000
            RX bytes:885911 TX bytes:885911
  

  1.5.6. 进入子板 shell 或在子板执行命令

  进入 sub03 的 adb shell：

  $ bmc sub03 shell
  rk3399_firefly_sr_c11g_jd4:/ $
  

  在 sub03 上运行命令：

  $ bmc sub03 shell id
  uid=2000(shell) gid=2000(shell) groups=2000(shell),1004(input),1007(log),1011(adb),1015(sdcard_rw),1028(sdcard_r),3001(net_bt_admin),3002(net_bt),3003(inet),3006(net_bw_stats),3009(readproc) context=u:r:shell:s0
  

  1.5.7. 批量执行命令

  bmc 提供了可以批量执行命令的快捷方式 bmc forall，此命令从标准输入读入子板编号，替换命令行上的 %{node} 参数再执行命令。例如：

  批量获取子板 adb 状态，%{node} 会被替换为实际的设备结点：

  $ echo sub03 sub04 | bmc forall adb -s %{node} get-state
  >>> adb -s sub03 get-state
  device
  >>> adb -s sub04 get-state
  device
  

  为了简化操作，bmc forall 对 reset, poweron 和 poweroff 命令提供了快捷支持。

  批量重置子板电源：

  $ echo sub03 sub04 | bmc forall reset
  >>> bmc sub03 reset
      okay
  >>> bmc sub04 reset
      okay
  
  # 等价于
  $ echo sub03 sub04 | bmc forall bmc %{node} reset
  

  另外，bmc forall 也对 shell 命令还提供了简化。

  例如，批量获取子板 Android 序列号：

  $ echo sub03 sub04 | bmc forall shell getprop ro.serialno
  >>> bmc sub03 shell getprop ro.serialno
  A82328MDDT
  >>> bmc sub04 shell getprop ro.serialno
  2E8178MDDT
  
  # 等价于
  $ echo sub03 sub04 | bmc forall bmc %{node} shell getprop ro.serialno
  

  1.5.8. 查询监控数据

  promtool 是 Prometheus 提供的命令行工具，可用于查询数据库等功能。

  bmc query 是 promtool 的快捷查询方式，不加参数默认返回 node_cluster_up 的值：

  $ bmc query
  node_cluster_up{instance="127.0.0.1:9100", job="node", nodename="main", state="android", subnode="sub1-01"} => 1 @[1609227870.112]
  ...
  

  也可以直接指定需要查询的参数，参数请参阅 node_exporter 文档和 BMC 的 API 说明。

  以下是插入硬盘后查询其状态：

  $ bmc query node_cluster_disk_up
  node_cluster_disk_up{device="sda", instance="127.0.0.1:9100", job="node", model="ST1000DM010-2EP1", nodename="main"} => 1 @[1609228042.393]
  

  1.5.9. 写入序列号，以太网 MAC 地址等(v1.3 新增)

  命令格式：

  bmc {main|sub??} vendor  []
  

  • ::

    • sn: 对应 VENDOR_SN_ID，用来修改 Android 系统的 ro.serialno 属性。

    • lan: 对应 VENDOR_LAN_MAC_ID, eth0 网卡的 MAC 地址，设置后重启生效。

    • 更多类型请在主控板运行：/usr/share/bmc/vendor_storage_linux -h。

  • : 该参数可选，若提供则写入，否则是读取。

  例如，要对 sub8-09 写入 MAC 地址 ae:0e:fb:84:0f:c2:

  # 写入
  $ bmc sub8-09 vendor lan ae0efb840fc2
  
  # 读取
  $ bmc sub8-09 vendor lan
  

  该命令实际是对 /usr/share/bmc/vendor_storage_linux （Linux 系统) 和 /usr/share/bmc/vendor_storage_android （Android 系统) 的包装，更高级的用法可以直接调用原始命令。

  1.5.10. 列出主子板的软硬件版本号(v1.3 新增)

  列出主板和所有子板的软硬件版本号：

  $ bmc versions
  main    linux   OS:Ubuntu18.04.4        HW:v1.0
  sub1-01 android OS:CLUSTER-SERVER-R2_20210118   HW:v1.0
  sub1-02 android OS:CLUSTER-SERVER-R2_20210118   HW:v1.0
  sub1-03 android OS:CLUSTER-SERVER-R2_20210118   HW:v1.0
  ...
  

1.1. 1.硬件看门狗如何使用？

硬件看门狗的主体是一个定时电路，其主要作用是监控、管理CPU的运行状态，并对处于异常状态中的CPU进行复位操作，使其能重新工作。

Android10.0 出厂固件没有打开硬件看门狗，如果客户需要可自行实现软件程序去使用硬件看门狗，下面提供硬件看门狗的操作方法：

• 使能看门狗

echo e > "/dev/wdt_crl"

• 设置超时时间(喂狗)

支持设置4种超时时间:0.64s、2.56s、10.24s、40.96s，对应往设备节点里写0、1、2、3。客户可根据自己的需要设置不同的超时时间，例如客户需要设置超时时间为2.56s，则为：

echo 1 > "/dev/wdt_crl"

软件程序需要定时设置超时时间对看门狗内的定时器清零(俗称“喂狗”)。

当CPU出现故障，则不能继续提供“喂狗”信号，就使得看门狗内的定时器不断累加而溢出，从而产生复位信号对CPU进行复位重启系统，使CPU重新工作。

• 关闭看门狗

echo d > "/dev/wdt_crl"

1.2. 2.BMC 常见问题

sudo journalctl -f -u netrecovery-master

sudo systemctl restart netrecovery-master

# 看子板端日志
$ bmc sub1-01 shell
$ cd /tmp/log
$ cat history  # 查看命令列表，第一个数字是进程号
$ cat *.err    # 查看错误输出

# 如果子板端看不了，可以看一下主板端的运行结果：
$ cd /var/netrecovery/sub1-01/state
$ cat master-*.out
$ cat history  # 主板会将子板的日志文件下载到本地供查看
$ cat *.err    # 查看错误输出

sudo systemctl status prometheus

sudo journalctl -u prometheus

sudo du -hs /var/lib/prometheus/metrics2

ARGS="--storage.tsdb.retention.time=7d --storage.tsdb.retention.size=4GB"

```shell
sudo systemctl stop prometheus
sudo rm -rf /var/lib/prometheus/metrics2/*
sudo systemctl start prometheus
```

1.3. 3.子板(Android系统)如何用命令设置静态或动态IP?

```shell
bmc_adb -s sub01 root
bmc_adb -s sub01 remount
bmc_adb -s sub01 shell "fireflyapi ethernet setIpAddress 1 192.168.1.240 255.255.0.0 192.168.1.1 202.96.128.86 202.96.128.166"
```

```shell
bmc_adb -s sub01 root
bmc_adb -s sub01 remount
bmc_adb -s sub01 shell "fireflyapi ethernet setIpAddress 0"
```