Hy-Nomas - 腾讯混元开源的交互式视频世界生成模型

Hy-Nomas 是什么

Hy-Nomas 是腾讯混元推出的开源交互式视频世界生成模型，支持通过自然语言指令和相机控制，持续生成并探索动态虚拟场景。与传统一次性生成固定视频的 AI 模型不同，Hy-Nomas 采用分段自回归生成技术，能够根据用户的连续操作延伸场景、改变环境、添加物体和调整观察视角，同时利用历史上下文记忆维持世界的一致性。该模型为交互式视频创作、虚拟世界探索、游戏场景生成和机器人仿真研究提供了新的技术基础。

Hy-Nomas 的核心能力

• 多轮提示词控制： 支持通过连续的自然语言指令修改和扩展虚拟世界，可在生成过程中添加物体、调整场景环境、改变视觉风格或角色动作，实现多轮交互式内容创作。
• 文本与相机交替控制： 支持文本指令与相机运动控制相结合，可在描述场景变化的同时调整镜头方向、位置和移动轨迹，实现更加灵活的视角控制与虚拟环境探索。
• 长时世界生成： 采用分段自回归视频生成机制，根据已有画面和新的交互指令持续生成后续内容，突破一次性固定时长的视频生成方式，支持逐步延伸动态虚拟世界。
• 一致的世界记忆： 通过持久化 KV Cache 保留历史生成信息，帮助模型在连续交互和视角变化过程中维持场景、物体及空间关系的一致性，减少内容漂移和场景突变。
• 多样视角与风格： 支持生成不同视觉风格和观察视角的虚拟场景，可通过提示词改变画面风格，并结合相机轨迹控制实现不同角度的动态世界呈现。

Hy-Nomas 的技术原理

Hy-Nomas 采用分段自回归扩散 Transformer（DiT）架构，将文本指令、相机运动信息和历史视频上下文结合起来，逐段预测和生成连续视频。模型主要包含以下技术机制：

• 分段自回归生成： 将视频世界拆分为连续片段，每次根据历史上下文与当前控制指令生成下一段视频，实现可持续扩展的场景。
• 扩散 Transformer： 利用多模态扩散 Transformer 在压缩视频潜在空间中生成内容，结合 Qwen 文本编码器理解自然语言指令。
• 相机轨迹控制： 将相机位置和运动信息编码为生成条件，通过交叉注意力机制控制视频中的观察方向与视角变化。
• 历史上下文记忆： 使用持久化 KV Cache 复用过去生成片段的注意力信息，提高多轮生成过程中的视觉和空间一致性。
• 高效视频生成： 蒸馏推理方案采用 8 步去噪和 PixelUMM 视频解码器，支持输出 720×1280 分辨率、24 FPS 的视频，并提供低显存量化部署方案。

与传统 3D 游戏引擎不同，Hy-Nomas 并非先建立完整的三维场景再进行渲染，而是根据用户操作和历史内容持续预测后续视频画面。因此，它的世界记忆和物理一致性仍然依赖模型的生成能力。

Hy-Nomas 的应用场景

• 交互式虚拟世界探索： 从文字描述创建虚拟环境，通过相机移动和连续指令探索不同区域，并在探索过程中逐步扩展场景内容。
• AI 视频与影视创作： 在同一虚拟场景中持续调整镜头、物体和环境，辅助制作动态视觉素材、影视概念片、分镜预演和多视角视频。
• 游戏场景原型设计： 根据文字指令生成虚拟世界与场景变化，探索 AI 驱动的环境生成方式，为游戏地图构思、世界设计和交互玩法验证提供参考。
• 机器人动作与环境模拟： 利用机器人领域的 LoRA 适配能力，生成机械臂操作及环境变化相关视频，辅助研究机器人动作预测和视觉仿真。
• 空间智能与世界模型研究： 用于研究相机运动控制、连续环境生成、长期场景记忆、空间一致性及多轮交互等技术问题。

如何使用 Hy-Nomas

1. 普通用户：在线体验

• 访问 Hy-Nomas 官方网站，进入在线交互演示。
• 输入文字提示词创建初始场景，再通过后续指令或相机控制调整场景内容和观察视角。
• 体验连续视频生成与多轮交互功能，具体操作以在线演示界面为准。

2. 开发者：开源模型调用

• 通过 GitHub 获取模型代码、推理脚本及环境配置。
• 从 Hugging Face 下载模型权重，在支持的 NVIDIA GPU 环境中运行推理。
• 可结合自定义文本提示词、相机轨迹及视频数据开展模型研究与应用开发。

3. 研究与企业应用：领域适配

• 使用官方提供的 LoRA 微调流程，根据自定义视频数据适配特定任务。
• 官方提供影视风格与机器人领域的 LoRA 适配权重，可用于探索不同领域的视频生成与模拟效果。

4. 本地部署：Docker 或手动安装

• 官方推荐使用 Linux、NVIDIA GPU 和 Docker 容器部署，也支持 Python 环境手动安装。
• 提供标准多 GPU 推理配置，以及通过 INT8/FP8 量化、滑动窗口历史缓存和 CPU Offload 实现的单 GPU 低显存方案。
• 官方提供可在 NVIDIA RTX 4090 上进行视频推理的配置，但生成速度、显存和内存需求取决于实际部署条件。

Hy-Nomas 的官方资源

• 官方网站： https://hy-nomas.hy.tencent.com/
• 在线体验： Hy-Nomas Interactive Demo
• GitHub 开源仓库： https://github.com/Tencent-Hunyuan/Hy-Nomas
• 模型权重： https://huggingface.co/tencent/Hy-Nomas
• 中文部署文档： GitHub README_CN