首页 > AI教程资讯

DSO：牛津大学公布的符合物理规律的3D模型优化框架项目

文章来源：万象ai发布时间：2025-04-10 16:26:18

DSO是什么？

DSO（Direct Simulation Optimization）是牛津大学公布的一种用于提升图像到3D模型生成器（如TRELLIS）的方法，通过直接模拟优化来增强生成的3D对象在物理模拟和现实世界中的稳定性。它无需在测试时增加额外成本，能在短时间内生成可站立的3D对象。

DSO是什么？.webp

DSO功能特征

提升3D模型稳定性：解决了传统生成器无法生成在重力下可站立的3D对象的问题，显著提高了生成3D对象在物理模拟和3D打印时的稳定性。

高效性：在测试时不会增加额外成本，生成稳定3D对象的速度以秒计。

兼容性：基于现有的图像到3D模型生成器（如TRELLIS）进行优化，能够与之无缝衔接，充分利用其原有的功能和优势。

提供预训练模型：提供了两种预训练模型检查点，分别通过直接偏好优化（DPO）和直接奖励优化（DRO）训练，方便用户快速上手使用。

DSO应用场景

3D打印：生成的3D模型更有可能在实际打印后能够稳定站立，减少了因模型不稳定导致的打印失败或需要额外支撑结构的情况，提高了3D打印的成功率和实用性。

虚拟现实与增强现实：在虚拟环境中创建更加真实、稳定的3D对象，提升用户体验，例如在虚拟场景中放置的物体能够按照物理规律稳定存在。

游戏开发：为游戏中的3D模型生成提供更符合物理规则的解决方案，使游戏中的物体在重力等物理因素作用下表现更加自然，增强游戏的真实感和沉浸感。

建筑设计与工业设计：帮助设计师快速生成符合物理稳定性的3D模型原型，进行初步的设计评估和验证，减少因稳定性问题导致的设计修改和迭代次数。

DSO应用场景.webp

DSO使用教程

1. 安装依赖：

安装TRELLIS依赖，创建Python环境并安装指定版本的PyTorch及相关依赖库，运行脚本安装其他相关库，最后安装Kaolin库。

安装剩余依赖，通过pip install -r requirements.txt命令安装。

2. 下载预训练模型：通过git lfs install和git clone命令下载DPO和DRO训练的预训练模型。

3. 快速开始生成：使用example.py脚本，加载预训练模型和输入图像，通过TrellisImageTo3DPipeline进行预处理和生成操作，最后将生成的模型导出为GLB格式。

4. 评估：

下载评估数据集。

使用训练好的检查点生成3D模型。

计算稳定性和几何度量。

5. 训练：

生成合成训练数据，包括获取图像、生成3D模型以及添加模拟反馈并保存物理合理性分数。

启动训练作业，指定数据目录并运行finetune.py脚本。

Github地址：https://github.com/RuiningLi/dso

Dolphin：海天瑞声与清华大学联合发布的一款面向东方语种的自动语音识别模型

上一篇: Dolphin：海天瑞声与清华大学联合发布的一款面向东方语种的自动语音识别模型

Dolphin 是一款专为东方语言设计的自动语音识别模型。它支持40种东方语言和22种中国方言，具有高准确率和强鲁棒性，能够适应多种复杂语音环境。

social-auto-upload：可以一键分发，自动化短视频上传的免费开源神器

下一篇: social-auto-upload：可以一键分发，自动化短视频上传的免费开源神器

social-auto-upload 是一个开源的自媒体平台自动化Python工具，可以帮助用户一键将短视频分发到多个主流社交媒体平台，比如抖音、小红书、视频号、TikTok、YouTube 和 B 站等。

相关攻略更多

热门AI工具更多

最新资讯更多

PhotoG - AI图片生成

PhotoG - AI图片生成

AI工具

更新时间：2025-01-08