首页 > AI教程资讯

HSMR：从单张图像重建人体3D骨架和网格模型的新方法

文章来源：万象ai发布时间：2025-04-10 17:00:28

HSMR 是什么？

HSMR 是一种计算机视觉和深度学习技术，可以从单目或多目图像中恢复人体的骨架结构和三维网格模型。这项技术在虚拟现实、增强现实、游戏开发和运动分析等场景有很广泛的应用。

HSMR 是什么？.webp

方法

模型架构：HSMR 采用基于 Transformer 的架构，输入为单张人体图像，输出为 SKEL 模型的姿势参数 q 和形状参数 β。

数据生成与训练：

由于缺乏足够的训练数据，作者构建了一个生成伪真实数据的流程，并通过迭代优化的方式逐步改进这些伪标签。

在训练过程中，通过优化 HSMR 的估计结果以对齐真实二维关键点（SKELify），并使用优化后的参数作为后续训练的监督目标。

生物力学准确性：SKEL 模型具有生物力学上合理的自由度，能够更真实地估计关节旋转，避免了传统方法中常见的关节角度限制违反问题。

HSMR：从单张图像重建人体3D骨架和网格模型的新方法.webp

功能特征

端到端的单图像重建：HSMR能够直接从单张图像中恢复出人体的骨架参数，这是首个实现此类功能的方法。

生物力学准确性：采用SKEL参数化人体模型，该模型基于生物力学准确的骨架设计，能够提供更符合人体生理结构的关节旋转估计，避免了传统方法中常见的不自然旋转和生物力学不准确的问题。

伪真实数据生成与迭代优化训练：为了解决训练数据不足的问题，HSMR构建了一个生成伪真实数据的流程，并通过迭代优化的方式逐步改进这些伪标签，以提高模型的训练精度。

Transformer架构：使用基于Transformer的架构来处理输入图像，估计SKEL模型的姿势参数和形状参数，能够更好地捕捉图像中的复杂特征和人体姿态信息。

应用场景

虚拟现实与增强现实:提供更真实的交互体验，用于游戏、培训和模拟训练。

运动分析与生物力学:分析运动员的动作，优化训练方法和设备设计。

医疗诊断与康复:辅助医生进行姿势评估和疾病诊断，帮助患者进行康复训练。

实验结果

性能对比：HSMR 在标准基准测试中与最先进的方法相比具有竞争力，并且在极端三维姿态和视角设置下显著优于其他方法。

可视化结果：通过相机视角和侧面视角的可视化展示了 HSMR 的重建效果，证明了其在不同视角下的鲁棒性。

相关链接

项目主页：https://isshikihugh.github.io/HSMR/

Github地址：https://github.com/IsshikiHugh/HSMR

Huggingface：https://huggingface.co/spaces/IsshikiHugh/HSMR

论文：https://arxiv.org/abs/2503.21751

MoCha：Meta推出的首个能实现电影级说话角色生成的DiT模型

上一篇: MoCha：Meta推出的首个能实现电影级说话角色生成的DiT模型

MoCha 是由 Meta 和多伦多大学联合开发的首个能实现电影级说话角色生成的DiT模型。能够根据语音或文本输入生成带有完整人物形象的高质量角色动画视频。

Runway Gen-4与可灵AI相比较，哪个更好？

下一篇: Runway Gen-4与可灵AI相比较，哪个更好？

专注于视频生成的 Runway 公司正式推出了他们的新一代模型系列： Gen-4，Gen-4解决了场景一致性问题，还有视觉特效加持，那同我们国产视频生成模型可灵AI相比较，有哪些优劣？

相关攻略更多

热门AI工具更多

最新资讯更多

PhotoG - AI图片生成

PhotoG - AI图片生成

AI工具

更新时间：2025-01-08