POINTS 1.5：微信发布的最新多模态AI大模型

AI训练模型
24年12月15日
编辑

AIHubAI布道师

文章目录

POINTS 1.5是什么？

POINTS1.5是微信最新发布的多模态大模型，性能超越了同级别开源模型，位居OpenCompass Leaderboard榜首。它采用LLaVA架构，使用NaViT风格视觉编码器和Qwen2.5-7B-Instruct大语言模型，支持中英文双语理解和生成。POINTS1.5在多个基准测试和真实场景中表现出色，具备强大的视觉理解、推理和信息提取能力。该模型通过单独训练视觉编码器、预热投影层以及使用高质量指令微调数据集进行训练，并使用模型汤技术提升性能。

POINTS 1.5的主要特性

多模态理解：POINTS1.5 能够理解和处理文本和图像信息，具备强大的视觉理解能力，包括 OCR、物体识别、图像描述等。
推理能力： POINTS1.5 在多项推理任务上表现出色，例如数学推理、逻辑推理等，能够从文本和图像中提取关键信息并进行推理。
双语支持： POINTS1.5 支持中文和英文，能够理解和生成两种语言的文本，并进行跨语言的图像理解。

POINTS 1.5的性能评测

POINTS1.5 在 OpenCompass Leaderboard 上排名全球 10B 以下开源模型榜首，超越了 Qwen2-VL、InternVL2 和 MiniCPM-V-2.5 等业界领先模型。

在多个 benchmark 上表现出色，包括 ChartQA、MME、LLaVA-Wild、SEEDBench、MEGABench、ScienceQA、MATH-Vision 和 MathVerse。

在真实场景测试中也表现出色，包括 OCR、推理能力、关键信息提取、Latex 公式提取、数学、图片翻译和物体识别。

如何使用POINTS 1.5？

要想使用POINTS1.5，您可以通过以下途径：

HuggingFace: 您可以在HuggingFace平台上找到POINTS1.5的模型以及相关资源，链接为：https://huggingface.co/WePOINTS/POINTS-1-5-Qwen-2-5-7B-Chat 。
Github: 您也可以访问POINTS的Github仓库获取模型代码和更多信息，链接为：https://github.com/WePOINTS/WePOINTS 。

通过以上两种方式，您可以下载模型，并在您的应用程序或研究项目中使用POINTS1.5进行多模态理解、推理、信息提取等任务。