DreamActor-M1：字节跳动推出的一张人物照片替换到一段动作视频里的框架
文章来源：08AI导航发布时间：2025-04-10 15:37:04
DreamActor-M1是什么？
DreamActor-M1是字节跳动推出的一款基于扩散变换器（DiT）的人类图像动画框架，类似Runway的Act one，给定一张参考图像， DreamActor - M1可以模仿从视频中捕捉到的人类行为，制作多个尺度（从肖像到全身动画）的高度表现力和逼真的视频，也解决了其他框架表情和动作做得不够细腻，长视频容易细节会对不上，穿帮的问题，支持各种动作风格，表现均优于 Act-One、Animate Everyone 和 SkyReels-A1。
DreamActor-M1核心功能
静态照片转动态影像：通过结合一张静态照片和一段参考动作视频，将照片中的人物无缝替换到视频场景中，生成表情细腻、动作自然且画质高清的动态影像。
精细控制：采用混合引导机制，结合隐式面部表示、3D头部球体和3D身体骨架等控制信号，实现对人物面部表情和身体动作的精准控制。
灵活的运动转移：支持仅传递部分运动，例如面部表情和头部运动。
面部动画支持：可扩展至音频驱动的面部动画，实现多语言的口型同步。
形状感知动画：通过骨骼长度调整技术，实现形状适应的动画生成。
多样化风格支持：对各种角色和运动风格具有鲁棒性。
多种视角支持：能在不同的头部姿态下生成动画结果。
DreamActor-M1技术原理
混合引导机制：结合隐式面部表示、3D头部球体和3D身体骨架等控制信号，确保生成的动画在细节上高度逼真，同时保持整体的协调性和流畅性。
多尺度适应性：通过逐步训练策略，能处理各种身体姿势和不同分辨率的图像，支持从肖像到全身视图的转换。
长期时间一致性：通过整合连续帧的运动模式和视觉参考，确保在复杂动作中未观察区域的时间一致性。
面部动画与语音支持：支持音频驱动的面部动画，能实现多语言的口型同步。
DreamActor-M1应用场景
影视制作：用于生成虚拟角色的动画。
广告行业：创建动态的人物广告。
视频游戏：生成游戏中的角色动画。
虚拟主播：为虚拟主播提供更自然、更逼真的动画效果。
教育与培训：创建动态的教学视频，使人物能够进行各种动作和表情。
社交媒体：生成个性化的动态头像或短视频。
项目链接
项目官网：https://grisoon.github.io/DreamActor-M1/
arXiv技术论文：https://arxiv.org/pdf/2504.01724
相关攻略 更多
最新资讯 更多
-
2025年了，AI还看不懂时钟，90%人都能答对，顶尖AI全军覆没
更新时间：2025-10-14
-
光刻机龙头或领投“欧洲OpenAI”
更新时间：2025-10-14
-
华人缔造商业传奇，全球第一家突破百亿美金的AI编程企业诞生
更新时间：2025-10-14
-
具身智能进家干活，先从“AI家电”抓起？
更新时间：2025-10-14
-
前零一万物联创戴宗宏创业：20人团队，能干上百人的AI定制项目
更新时间：2025-10-14
-
阿里端出最强语音模型，英文rap精准转文字，准确率干翻全球
更新时间：2025-10-14
-
小扎「梦之队」首批论文上线，LLM自举进化，单步性能狂飙22%
更新时间：2025-10-14
-
再也不怕面瘫脸，YouTube黑科技：AI帮你「永久微笑」，连僵尸都咧嘴笑
更新时间：2025-10-14
-
2025年全球企业级AI Agent优秀厂商有哪些？
更新时间：2025-10-14
-
GPT-5 为啥不 “胡说” 了？OpenAI 新论文讲透了
更新时间：2025-10-14
