Chat with MLX-开源的苹果电脑专属大模型框架

AI大模型
3月4日
编辑

AIHubAI布道师

Chat with MLX是什么？

Chat with MLX是一个开源项目，由OpenAI前员工打造的苹果电脑专属大模型框架，它提供了一个基于Apple Silicon硬件的原生聊天界面，利用MLX框架来实现与数据的交互。这个项目旨在通过自然语言处理技术，让用户能够与他们的数据进行对话，无论是文本文档、PDF文件还是YouTube视频。

该框架支持中文、英语、法语等11种语言，可轻松集成任何HuggingFace和MLX兼容的开源模型，只要两行代码就能完成部署，支持苹果电脑跑本地大模型。

项目地址：https://github.com/qnguyen3/chat-with-mlx

使用demo演示：

Chat with MLX主要特性：

多格式数据处理：能够处理文档（doc(x)、pdf、txt）和通过URL链接的YouTube视频，为用户提供丰富的数据交互体验。
多语言支持：支持多种语言，包括中文、英语、法语、德语、印地语、意大利语、日语、韩语、西班牙语、土耳其语和越南语，使得全球用户都能方便地使用。
模型兼容性：支持与HuggingFace和MLX兼容的开源模型，使得用户可以轻松集成和使用各种预训练的机器学习模型。
易于集成：项目提供了详细的安装和使用指南，使得用户可以快速开始使用。

Chat with MLX支持的模型

Google Gemma-7b-it, Gemma-2b-it
Mistral-7B-Instruct, OpenHermes-2.5-Mistral-7B, NousHermes-2-Mistral-7B-DPO
Mixtral-8x7B-Instruct-v0.1, Nous-Hermes-2-Mixtral-8x7B-DPO
Quyen-SE (0.5B), Quyen (4B)
StableLM 2 Zephyr (1.6B)
Vistral-7B-Chat, VBD-Llama2-7b-chat, vinallama-7b-chat

如何使用Chat with MLX？

安装：用户可以通过Python的包管理器pip来安装Chat with MLX，命令为pip install chat-with-mlx。也可以通过克隆GitHub仓库并手动安装的方式来进行。
启动应用：安装完成后，用户可以启动应用程序，开始与数据进行交互。
加载模型：用户可以选择加载支持的模型，如Google Gemma-7b-it、Mistral-7B-Instruct等，或者添加自己的模型。添加模型需要在chat_with_mlx/models/configs目录下创建一个.yaml配置文件，并指定模型的相关参数。
交互：一旦模型加载完成，用户就可以通过聊天界面与数据进行交互，提出问题或请求，模型会根据输入给出相应的回答或结果。

Chat with MLX项目为开发者和数据分析师提供了一个强大的工具，使得他们能够更自然、更直观地与数据进行对话，从而提高工作效率和数据分析的深度。