Alpaca Electron羊驼AI本地GUI
Alpaca Electron 旨在成为与 Alpaca 羊驼 AI 模型聊天的最简单方式,无需任何命令行或编译。
功能 + 待办事项
在您的计算机上本地运行,除下载模型外不需要互联网连接
紧凑高效,因为它使用 llama.cpp 作为后端(也支持 Alpaca & Vicuna)
在 CPU 上运行,任何人都可以在没有昂贵显卡的情况下运行它
不需要外部依赖,一切都包含在安装程序中
从流行的聊天 AI “借来” 的 UI
支持 Windows、MacOS 和 Linux(未经测试)
Docker 化
上下文记忆
聊天记录 未完成
与稳定扩散整合 未完成
用于 Web 访问的 DuckDuckGo 集成 未完成
GPU 加速(cuBLAS 和 openBLAS)未完成
快速入门指南
下载一个 Alpaca 模型(推荐 7B native)并将其放在计算机上容易找到的地方。
注意此存储库中不会提供下载链接。
从发布页面部分下载最新的安装程序。
打开安装程序并等待它安装。
安装完成后,它会询问模型的有效路径。现在,转到放置模型的位置,按住 Shift 键,右键单击文件,然后单击 “复制为路径”。然后,将其粘贴到该对话框中并单击 Confirm。
程序会自动重启。现在您可以开始聊天了!
注意该程序还将接受任何其他 4 位量化的 .bin 模型文件。如果您能找到其他 .bin Alpaca 模型文件,您可以使用它们代替快速入门指南中推荐的文件来试验不同的模型。一如既往,小心您从互联网上下载的内容。
故障排除
通用
如果在将路径粘贴到模型文件时出现 “无效文件路径” 错误,则可能是其中存在某种拼写错误。尝试再次复制路径或使用文件选择器。
如果您收到 “无法加载模型” 的错误消息,则您的模型可能已损坏或不兼容。尝试再次下载模型。
如果您遇到此处未列出的其他问题或问题,请在本页顶部的 “问题” 选项卡中创建问题。详细描述发生了什么,并附上屏幕截图。
windows
如果模型已加载到 RAM 但文本生成似乎没有开始,请检查您的 CPU 是否与 AVX2 指令集兼容。如果它不支持 AVX2,Alpaca Electron 将使用 AVX 代替,这会慢很多,请耐心等待。
如果您收到一条错误消息 “vcruntime140_1.dll is missing” 或什么都没有发生并且模型未加载到 RAM 中,请尝试安装 Microsoft Visual C++ Redistributable 。
苹果系统
如果您收到一条错误消息 “无法打开应用程序,因为它来自身份不明的开发人员。”,请转到 “应用程序” 文件夹。然后,按住控制键并单击该应用程序。然后单击 “打开”,然后在出现警告时单击 “打开”。您的首选项将被保存,MacOS 将允许您从现在开始正常打开应用程序。
如果上述方法不起作用,请尝试在终端中运行以下命令:xattr -cr /Applications/Alpaca\ Electron.app/
Linux
您可以从发布页面下载预构建的应用程序(打包为 tar.gz),解压缩并执行它,./"alpaca electron" 或者自己构建应用程序。
如果您想自己构建应用程序:
克隆存储库:
git clone https://github.com/ItsPi3141/alpaca-electron.git
将当前目录更改为 alpaca-electron:
cd alpaca-electron
安装特定于应用程序的依赖项:
npm install --save-dev
构建应用程序:
npm run linux-x64
将当前目录更改为构建目标:
cd release-builds/'Alpaca Electron-linux-x64'
运行应用程序./'Alpaca Electron'
docker 组成
您可以使用 docker compose 运行此电子应用程序。因此,您需要完成以下步骤:
克隆存储库:
git clone https://github.com/ItsPi3141/alpaca-electron.git
将当前目录更改为 alpaca-electron:
cd alpaca-electron
构建容器镜像:
docker compose build
运行应用程序容器:
docker compose up -d
如果没有窗口打开运行 docker compose up(没有 -d)。如果出现类似在您的 docker 主机上 Authorization required, but no authorization protocol specified 运行的错误。xhost local:root
关注公众号:拾黑(shiheibook)了解更多
赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
随时掌握互联网精彩