清影AI视频生成
当前位置:首页>AI资讯>Stable Diffusion 3 研究论文发布(附论文地址)

Stable Diffusion 3 研究论文发布(附论文地址)

Stable Diffusion 3 研究论文发布(附论文地址)

AIHub 3月5日最新消息,Stability AI 发布了关于其最新研究成果 Stable Diffusion 3 的研究论文。这篇论文深入探讨了 Stable Diffusion 3 的底层技术,这是一种文本到图像生成系统,据称在字体排版和提示遵循方面超越了现有的最先进系统,如 DALL·E 3、Midjourney v6 和 Ideogram v1。Stable Diffusion 3 采用了新的多模态扩散变换器(MMDiT)架构,该架构为图像和语言表示使用不同的权重集,从而提高了文本理解和拼写能力。

研究论文的主要要点包括:

  1. 性能提升:Stable Diffusion 3 在视觉美学、提示遵循和字体排版方面,基于人类偏好评估,与竞争模型相比表现优异。
  2. MMDiT架构:新架构允许图像和文本标记之间的信息流动,以改善输出的整体理解和排版。
  3. 改进的Rectified Flows:通过重新加权,Stable Diffusion 3 在训练过程中采用了一种新的轨迹采样计划,提高了性能。
  4. 可扩展性:MMDiT架构易于扩展到多种模态,如视频。
  5. 灵活的文本编码器:在推理过程中移除内存密集型的 T5 文本编码器,可以显著降低 SD3 的内存需求,同时只有微小的性能损失。
  6. 硬件兼容性:在消费级硬件上,最大的 SD3 模型(8B 参数)可以在 RTX 4090 的 24GB VRAM 中运行,并在 50 次采样步骤下,34 秒内生成 1024x1024 分辨率的图像。
  7. 模型变体:初始发布将包括从 800M 到 8B 参数的多种 Stable Diffusion 3 模型变体,以进一步消除硬件障碍。

这篇研究论文将在 arXiv 上提供,并且 Stability AI 邀请感兴趣的人注册等待列表,以参与 Stable Diffusion 3 的早期预览。

Stable Diffusion 3 详细介绍,点此了解

©版权声明:如无特殊说明,本站所有内容均为AIHub.cn原创发布和所有。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。否则,我站将依法保留追究相关法律责任的权利。
笔灵AI论文
0 条回复 A文章作者 M管理员
    暂无评论内容
error: