3D体感方案:此芯P1开发板运行YOLOv8-Pose与Godot虚拟人示例方案

人体姿态识别是边缘AI视觉开发中的典型应用。主流算法包括YOLOv8-Pose、OpenPose、HRNet等,通过摄像头采集人体图像,利用AI模型识别人体关键点,再将关键点数据映射到3D虚拟角色,就可以实现3D虚拟人的动作驱动、体感交互等功能。

定昌电子提供了基于此芯开发板的YOLOv8-Pose+Godot 3D虚拟人互动示例,包含参考源代码、AI模型文件和虚拟人模型文件等工程资源,为开发者提供从模型推理到3D交互的开发参考。本文主要介绍方案效果、系统架构、板端推理流程及后续拓展方向。

此芯P1开发板(DC_ENP1)运行YOLOv8-Pose 与 Godot虚拟人示例方案.jpg

一、方案效果演示

本示例围绕人体姿态识别与3D虚拟人互动展开,主要特点如下:

1、系统支持:可以在Debian和Android系统上运行。

2、实时姿态推理:采用YOLOv8-Pose配合USB摄像头,演示环境下推理延时300ms以内,帧率30fps以上。

3、双模型扩展:可以增加YOLOv8-Pose+Seg,让关键点识别与人像分割两个模型一起运行

二、方案架构

YOLOv8-Pose是一种人体姿态估计模型,可以在检测人体的同时输出人体关键点信息,例如肩部、肘部、手腕、髋部、膝盖和脚踝等位置。与只识别人体位置的目标检测模型相比,姿态估计能够提供更加细致的动作信息,为虚拟角色驱动和动作识别提供数据基础。

此芯人体姿态YOLO8-pose案例.jpg

本示例主要由USB摄像头、YOLOv8-Pose模型、关键点数据处理模块和Godot 3D引擎组成。系统采集人体画面后,由AI模型完成姿态推理,再将处理后的关键点数据传递给Godot,驱动3D虚拟角色进行相应动作,实现真实人体与虚拟角色之间的互动。从摄像头到3D虚拟人

USB摄像头 → YOLOv8-Pose推理 → 关键点数据处理 → Godot 3D角色驱动

该架构将AI推理与3D渲染结合,既可以用于人体动作演示,也可以继续扩展手势交互、体感游戏或虚拟人动作控制等功能。


三、YOLOv8-Pose板端推理

在此芯P1平台上部署YOLOv8-Pose模型,核心步骤主要包括PC端模型编译和板端推理两个环节。根据此芯CIX开发环境提供的示例,可将ONNX模型编译为适用于该平台的CIX模型文件,再调用板端NPU进行推理。

1、PC端编译模型

在PC端进入YOLOv8-Pose模型对应目录,执行CIX模型编译命令:

(cix_noe) root@dev:/jwq/ZTL_CIX_Base_AI_SDK/ai_model_hub/models/ComputeVision/Pose_Estimation/onnx_yolov8s_pose# cixbuild cfg/yolov8s_posebuild.cfg

正常编译后,可以看到生成了适用于此芯板端运行的yolov8s-pose.cix模型文件。

2、板端NPU推理

在PC端编译生成CIX模型文件后,将模型及对应的推理脚本拷贝到板端,运行NPU推理程序:

root@ztl:/jwq/ZTL_CIX_Base_AI_SDK_2026.01.16_1336/ai_model_hub/models/ComputeVision/Pose_Estimation/onnx_yolov8s_pose# python3 inference_npu.py

3、板端CPU推理

如果需要对比CPU推理效果,也可以使用同一示例目录中的ONNX推理脚本:

python3 inference_onnx.py


四、硬件平台

定昌电子DC_ENP1采用此芯CD8180处理器,搭载12核ARM架构CPU,CPU与NPU综合算力最高可达45TOPS,可用于边缘AI推理及多媒体应用开发。

主板支持Debian 12、Android 14、Ubuntu 24.04等操作系统,并提供USB、网络、显示和扩展存储等接口资源。

其中,USB接口可用于连接摄像头等外设;HDMI、DP和Type-C显示接口可为3D图形界面提供显示输出,为人体姿态识别与3D虚拟人互动应用提供硬件基础。

此芯P1开发板接口示意图.jpg

五、拓展应用场景

Godot 3D虚拟人结合AI视觉,可以拓展到多种应用场景。通过人体关键点识别和角色动作控制,可以在不同产品中实现相应的交互功能。

应用场景
实现方向
数字人互动
通过人体动作控制虚拟人物
体感游戏
根据人体姿势生成游戏控制指令,实现体感游戏交互
智能展厅
实现动作感应和虚拟角色展示
健身辅助
识别人体姿态,辅助分析动作
教学演示
利用虚拟人演示指定动作


六、参考设计说明

定昌电子持续提供此芯主板的典型场景设计参考,包括源代码、AI模型文件和虚拟人模型文件等工程资源,帮助方案商降低二次开发难度、缩短产品验证周期。

相关内容定位于典型场景参考设计,不提供可直接交付的成品或完整行业解决方案。开发者可基于示例进一步完成算法适配、虚拟角色驱动和具体业务功能开发。

此芯技术支持.jpg