猎户星空大模型是什么？
猎户星空大模型是猎户星空发布的一个专为企业应用设计的AI模型，具有140亿参数的多语种大模型，该模型在一个包含2.5万亿token的多样化数据集上进行了训练，涵盖了中文、英语、日语、韩语等多种语言。在多语言环境下的一系列任务中展现出卓越的性能。在主流的公开基准评测中，Orion-14B系列模型表现优异，多项指标显著超越同等参数基本的其他模型。具体技术细节请参考技术报告。
具体而言，Orion-14B系列大语言模型包含:
- Orion-14B-Base: 基于2.5万亿tokens多样化数据集训练处的140亿参数量级的多语言基座模型。
- Orion-14B-Chat: 基于高质量语料库微调的对话类模型，旨在为大模型社区提供更好的用户交互体验。
- Orion-14B-LongChat: 在200k token长度上效果优异，最长可支持可达320k，在长文本评估集上性能比肩专有模型。
- Orion-14B-Chat-RAG: 在一个定制的检索增强生成数据集上进行微调的聊天模型，在检索增强生成任务中取得了卓越的性能。
- Orion-14B-Chat-Plugin: 专门针对插件和函数调用任务定制的聊天模型，非常适用于使用代理的相关场景，其中大语言模型充当插件和函数调用系统。
- Orion-14B-Base-Int4: 一个使用int4进行量化的基座模型。它将模型大小显著减小了70%，同时提高了推理速度30%，仅引入了1%的最小性能损失。
- Orion-14B-Chat-Int4: 一个使用int4进行量化的对话模型。
猎户星空大模型性能亮点：
Orion-14B系列大模型有以下几个特点：
- 基座20B参数级别大模型综合评测效果表现优异
- 多语言能力强，在日语、韩语测试集上显著领先
- 微调模型适应性强，在人类标注盲测中，表现突出
- 长上下文版本支持超长文本，在200k token长度上效果优异，最长可支持可达320k
- 量化版本模型大小缩小70%，推理速度提升30%，性能损失小于1%
猎户星空大模型还提供了多种应用微调选项，如通用对话微调、插件微调、RAG微调、长Token微调、知识抽取微调和问答对生成微调等，以适应不同的企业场景需求。
此外，猎户星空大模型强调其适合企业应用的特点，如：
- 模型可以在千元级显卡上运行，如NVIDIA RTX 3060，每秒可处理约50个汉字。
- 支持私有化部署，大模型服务器可以放置在企业内网，确保数据安全。
- 免费开源可商用，提供社区技术支持。
如何使用猎户星空大模型？
- 官网入口：https://www.orionstar.com/llm.html
- 在线体验：https://www.modelscope.cn/studios/OrionStarAI/Orion-14B-App-Demo/summary/
|
|
©版权声明：如无特殊说明，本站所有内容均为AIHub原创发布和所有。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。否则，我站将依法保留追究相关法律责任的权利。
