耀宇OpenXR¶
PC设备端¶
版本¶
| 版本 | 说明 | 论坛链接 |
|---|---|---|
| v1.0.16 | VST开关 (CARINA_VST_ON环境变量) | 查看 |
| v1.0.15 | addDriverToSteamVr.bat修复 | 查看 |
| v1.0.14 | 初始版本 | 查看 |
安装使用¶
- 运行yyss_openxr_setup.exe
- 运行setup_env_release.bat安装环境变量
- 连接设备,运行monado-service.exe
- SteamVR: 将steamvr-monado移动到SteamVR drivers目录
配置¶
修改 steamvr-monado/bin/win64/custom_config.yaml。
Windows平台 Unity SDK¶
模组开发商 Ranling 发布的 Windows 平台 Unity SDK:
- 下载:
com.yysx.xrmodule.windows.rar(百度网盘,提取码 yysx) - 链接: https://pan.baidu.com/s/1oVODwWNAAwNPnZbR8WE33g?pwd=yysx
使用步骤:
- 导入下载完的SDK
- 导入 YYSX Module 的 Demo
- 打开 Demo 场景
- 电脑通过数据线接入模组,运行 Unity 编辑器即可
注意:此为模组厂商(非耀宇原厂)提供的 Windows Unity SDK。
安卓设备端¶
UnityXRSDK 安装¶
推荐方式(PackageManager 添加):
https://gitee.com/wangchaoqun_yaoyu/yyss_unitysdk.git
在 Unity PackageManager 中输入上述 Git URL 添加即可。
SDK 兼容版本¶
推荐使用 Unity 2020.3.37f1 及以上版本:
- Unity 2020.3.37f1
- Unity 2021.3.26f1c1
- Unity 2022.3.2f1c1
SDK 使用文档位于 com.unity.xr.yysx\Mesiontech Unity Readme.doc。
地图设置¶
SetMapOption.cs 提供设置方法:
- 保存地图
- 加载地图
- 重置地图
- 不使用地图
- 云地图
Unity Native API¶
获取灰度Camera数据¶
std::vector<uint8_t *> data; // data[0]左目, data[1]右目
float twb[16]; // 位姿矩阵
double ts; // 时间戳
int cam_w, cam_h;
get_camera_frame(data, cam_w, cam_h, twb, ts);
需要在render.yaml中添加 enable_get_camera_frame: true。
获取Camera内外参¶
static std::string configstring = "";
command(Command_ID::GetCameraConfig, "", configstring);
返回格式示例:
cam0:
T_cam_imu: [4x4矩阵] # Camera到IMU的变换矩阵
camera_model: pinhole
distortion_model: fov
distortion_coeffs: [0.898...]
intrinsics: [224.39, 223.97, 316.04, 233.34]
resolution: [640, 480]
timeshift_cam_imu: -0.000875
cam1:
T_cam_imu: [4x4矩阵]
T_cn_cnm1: [4x4矩阵]
获取手势数据¶
struct yyss_hand_pose_info {
int state; // -1 invalid, 0 valid
int left_right; // 0 left, 1 right
int landmarkNum;
float landmarks[3 * 26];
float rotations[4 * 26];
float scale;
int transformflag;
};
API调用:
// 启动手势
std::string res;
command(Command_ID::StartHand, "", res);
// 获取手势数据
void get_hands(double &dt, std::vector<yyss_hand_pose_info> &hands, ...);
// 停止手势
command(Command_ID::StopHand, "", res);
手势关节点索引¶
| 索引 | 说明 |
|---|---|
| 0-2 | Wrist (手腕) |
| 3-5 | ThumbMetacarpalJoint (拇指根) |
| 6-8 | ThumbInterphalangealJoint |
| 9-11 | ThumbProximalJoint |
| 12-14 | ThumbDistalJoint |
| 15-17 | ThumbTip (拇指尖) |
| 18-20 | IndexKnuckle (食指第一关节) |
| 21-23 | IndexMiddleJoint |
| 24-26 | IndexDistalJoint |
| 27-29 | IndexTip |
| 30-32 | MiddleKnuckle |
| 33-35 | MiddleMiddleJoint |
| 36-38 | MiddleDistalJoint |
| 39-41 | MiddleTip |
| 42-44 | RingKnuckle |
| 45-47 | RingMiddleJoint |
| 48-50 | RingDistalJoint |
| 51-53 | RingTip |
| 54-56 | PinkyKnuckle |
| 57-59 | PinkyMiddleJoint |
| 60-62 | PinkyDistalJoint |
| 63-65 | PinkyTip |
注:无名指和小指没有 MetacarpalJoint。 坐标系: Wrist具有全局位置和旋转(OpenGL轴向),其他关节基于父节点的局部旋转(Unity轴向) 运行环境:XR2平台 + 耀宇模组,系统 SW_YYSS_V1.01.115, Android 10
头瞄模式切换¶
- MRTK Input设置中移除 ShellHandRayPointer 的 ArticulatedHand
- 代码中切换输入设备控制器为 Hand
自定义手势¶
- 导入 YYSX Unity SDK
- 导入 耀宇手势交互MRTK框架
- 修改 YYSXArticulatedHand.cs
- 参考 YYSX_IsPinching 逻辑编写新手势
RGB Camera¶
支持分辨率和帧率:
| 分辨率 | 帧率 |
|---|---|
| 1280x720 | 60fps |
| 640x480 | 60fps |
| 800x600 | 60fps |
| 1920x1080 | 60fps |
| 2592x1944 | 20fps |
Unity调用方式:使用Android标准UVC协议调用,或联系耀宇获取Unity插件示例。
Unity Android 语音识别SDK¶
- 下载: https://pan.baidu.com/s/14gvpjKU-P_zt_fwHohD1DQ (yysx)
- 依赖: com.unity.xr.yysx 0.0.6
- 导入package后有示例场景,打包即可测试
Android获取A1088数据¶
- 环境: Android 10及以上
- 支持设备: FT62、FT63模组等A1088芯片设备
- 注意: 需要USB授权
- 下载: https://pan.baidu.com/s/1GzZOyIwSSZl1rTLbDOR_sA (3776)
串流与投屏¶
ALVR串流¶
- PC和计算盒连接同一WiFi
- 眼镜端打开"ALVR YYSS",记录IP
- PC端运行ALVR Dashboard YYSS.exe
- 添加设备IP,点击Launch Steam VR
设备要求¶
- Windows 11 + Steam + Steam VR
- 控制盒系统版本 ≥ SW_YYSS_V1.01.115
常见问题¶
Q: SteamVR一直显示正在搜索,连接不上,提示头显处于待机模式?
A: 检查ALVR Dashboard YYSS.exe所在路径是否有中文,如"串流工具"文件夹。把路径改成纯英文即可!
系统与控制盒¶
控制盒版本¶
| 版本 | 日期 | 关键更新 | 论坛链接 |
|---|---|---|---|
| SW_YYSS_V1.01.119 | 2025-03 | 新UI、语音识别功能 | 查看 |
| SW_YYSS_V1.01.115 | 2024 | SteamVR串流优化、3dof更新 | 查看 |
| SW_YYSS_V1.01.105 | 2024 | 视频语音通话修复 | 查看 |
Launcher版本¶
系统更新¶
- 下载update.zip到控制盒根目录
- 点击"系统更新"进入升级界面
- 点击"本地升级"
- 提示"更新包安装成功,请重启设备"
刷机¶
- UFS刷机包:SW_YYSS_V1.01.105
- 需要先安装ufs刷机工具