Hy-SimulMT 是什么
Hy-SimulMT 是腾讯混元研发的开源实时同声传译大模型，采用 30B-A3B 架构，支持中文与英文之间的双向语音翻译。与传统需要等待完整语句的语音翻译方式不同，Hy-SimulMT 能够持续接收音频，在说话过程中逐步理解内容并生成译文，实现边听边译。同时，模型支持实时音色克隆，可在输出目标语言语音时保留原说话人的声音特点，适用于跨语言会议、演讲、访谈等实时交流场景。项目还提供推理部署和继续训练工具，方便开发者集成和定制。
Hy-SimulMT 的核心特性
- 中英双向实时同传： 支持中文到英文、英文到中文的实时语音翻译，能够持续处理输入音频，在说话过程中逐步生成译文，减少完整语句结束后的等待。
- 低延迟流式翻译： 在 RealSI 长音频评测中，StreamLAAL 指标约为 3 秒，低于此次测试中对比的其他系统，在翻译速度与准确性之间取得较好平衡。
- 实时音色克隆： 支持在生成译语语音时保留原说话人的音色特点，在多说话人交流中帮助听众区分不同发言者。语音合成及音色克隆需要额外配置 TTS 服务。
- 较高的翻译质量： 在 FLEURS、ACL6060 和 RealSI-Sentence 等测试集上取得较好成绩，其中 RealSI-Sentence 评分为 84.7，位居官方列出的参评系统首位。
- 多种模型格式： 提供仅输出译文和同时输出原文、译文两类模型，并提供 FP8 量化与 GGUF 格式，满足不同推理部署需求。
- 开源推理与训练工具： 提供 SimulInfer 推理服务和 SimulTrain 训练工具，支持 Web 页面、音频文件上传、WebSocket 流式接口，以及在现有模型权重基础上继续训练。
Hy-SimulMT 的性能表现
腾讯混元在发布资料中提供了多个公开数据集的测评结果。以下为其中四项翻译质量评分，分数越高越好。
| 测试集 | Hy-SimulMT |
|---|---|
| FLEURS | 90.3 |
| CoVoST2 | 75.5 |
| ACL6060 | 81.2 |
| RealSI-Sentence | 84.7 |
RealSI 长音频评测的流式翻译滞后指标
约 3 秒
StreamLAAL，数值越小越好；不等同于首次语音输出延迟。
官方还使用 18 段真实场景音频，与六位具有专业经验的同声传译人员进行了对照测评。官方报告称，在该次限定范围内的测评中，模型的翻译质量达到了参测专业译员的水平，且翻译滞后通常更低。这一结论不代表模型能够在所有场景中替代人工同传。
Hy-SimulMT 的应用场景
- 跨语言会议翻译： 在中英文会议和线上交流中，实时转换发言内容，帮助不同语言的参与者理解讨论信息。
- 演讲与活动同传： 为公开演讲、技术分享和学术报告提供同步翻译，减少听众等待完整语句翻译的时间。
- 访谈与多人对话： 翻译跨语言访谈内容，并结合音色克隆保留不同发言者的声音特点。
- 视频与音频内容翻译： 处理演讲录音、访谈音频等素材，生成译文文本，并在配置 TTS 后输出对应语言的语音。
- 实时翻译应用开发： 将模型集成到语音翻译工具、会议系统和跨语言交流软件中，实现持续音频输入与流式译文输出。
如何使用Hy-SimulMT
- App 体验： 下载 Hy 翻译 App（Android / iOS，下载二维码见 GitHub 仓库页面），直接体验实时同传功能。访问 https://github.com/Tencent-Hunyuan/Hy-SimulMT
- 下载模型权重： 在 Hugging Face 模型集合中选择所需版本（标准版或 Interleave 版，BF16 / FP8 / GGUF）。访问 https://huggingface.co/collections/tencent/hy-simulmt
- 准备环境： 准备 Linux、Python 3.12 及以上、显存足够的 NVIDIA GPU 和兼容驱动，克隆 GitHub 仓库并进入 SimulInfer 目录。
- 一键部署： 执行
bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave，脚本会自动安装依赖并启动 vLLM 与网页服务。 - 开始翻译： 浏览器打开
http://127.0.0.1:8080/，选择翻译方向后上传音频或开启麦克风；也可通过/translate/stream接口或 WebSocket 调用。 - 开启语音输出（可选）： 在部署配置中接入 TTS 服务，即可获得译文语音和音色克隆效果。
常见问题
Q：Hy-SimulMT 是免费开源的吗？可以商用吗？
A：是的。模型权重与推理代码采用 Apache-2.0 协议开源，属于宽松协议，允许商业使用，但需遵守协议中的署名与声明要求；其中引用的第三方组件沿用各自原始协议。
Q：Hy-SimulMT-30B-A3B 和 Interleave 版本有什么区别？
A：标准版仅输出译文，适合只需要目标语言结果的场景；Interleave 版会同时输出原文转写和译文，适合双语字幕、需要对照原文的场景。两者均提供 BF16、FP8 和 GGUF 版本。
Q：模型本身能直接输出语音和克隆音色吗？
A：模型负责流式理解与翻译，语音输出和音色克隆需要在部署时额外配置 TTS 服务。如果只部署模型，得到的是译文文本。
Q：支持哪些语言？
A：目前支持中文与英文之间的双向同声传译，暂不支持其他语种。
Q：AI 同传能完全替代人工同传吗？
A：官方建议 AI 同传优先用于合适的低风险场景，并在人机协同中持续完善。对于需要严格责任判断、专业审校或高风险决策的场合，专业译员的参与仍然重要。