Serge Alpaca模型聊天界面
Serge 是基于 llama.cpp 的聊天界面,用于运行羊驼模型。完全自托管,不需要 API 密钥。适合 4GB RAM 并在 CPU 上运行。
SvelteKit 前端
用于存储聊天记录和参数的 Redis
API 的 FastAPI + langchain,使用 python 绑定包装对 llama.cpp 的调用
使用
设置 Serge 非常简单,可以在一个命令中完成启动:
docker run -d \ -v weights:/usr/src/app/weights -v datadb:/data/db/ \ -p 8008:8008 ghcr.io/nsarrazin/serge:latest
然后只需转到 http://localhost:8008/ 就可以了!
API 文档可以在 http://localhost:8008/api/docs 找到
关注公众号:拾黑(shiheibook)了解更多
赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
- 港币对人民币汇率2024年1月26日
- 产业观察 | 网易手撕“绿茶”,除了分手不快乐,还有更大的一盘棋
- 美国SIA发布《2022年美国半导体行业现状》报告
- 视频|非对称合作,支持VR,这款拆弹游戏值得一试
- 中国半导体行业协会常务副理事长兼秘书长、中国电子信息产业发展研究院院长张立:中国集成电路产业呈现蓬勃发展态势
- GSMA重申欧洲5G发展滞后警告,强调要公平分摊网络成本
- 社区精选 | 还在用定时器吗?借助 CSS 来监听事件
- 从专利看我国数字经济发展:长三角、粤港澳大湾区和京津冀“三强鼎立”
- 对话罗永浩:再创业可能后悔,不再创业百分之百后悔
- 魔盒来袭|终极薅羊毛清单,看完这篇才真的不后悔!
- FCC主席称有信心解决5G C频段造成的航空安全干扰
- @开发者,与我们一起创造新生态
赞助链接