Serge Alpaca模型聊天界面
Serge 是基于 llama.cpp 的聊天界面,用于运行羊驼模型。完全自托管,不需要 API 密钥。适合 4GB RAM 并在 CPU 上运行。
SvelteKit 前端
用于存储聊天记录和参数的 Redis
API 的 FastAPI + langchain,使用 python 绑定包装对 llama.cpp 的调用
使用
设置 Serge 非常简单,可以在一个命令中完成启动:
docker run -d \ -v weights:/usr/src/app/weights -v datadb:/data/db/ \ -p 8008:8008 ghcr.io/nsarrazin/serge:latest
然后只需转到 http://localhost:8008/ 就可以了!
API 文档可以在 http://localhost:8008/api/docs 找到
关注公众号:拾黑(shiheibook)了解更多
赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
- 微信发布Windows/macOS测试版4.0.1:终于能发朋友圈了
- ScopeSentry 资产测绘、信息收集、漏洞扫描工具
- 澳门币对人民币汇率2023年7月24日
- 台币对人民币汇率2023年5月30日
- Google 搜索引擎将加入 AI 聊天功能|Meta 计划今年推出商用 AIGC 技术|思否周刊
- 新型显示+人工智能:智能家居无限可能
- 【大公司创新情报】蚂蚁集团旗下蚂蚁保董事长张彧任职资格获批:王允和郑波任副总经理
- 安徽疫情最新数据消息
- 小心上当!教你识破二手iPhone新骗局
- 真我GT Neo3评测:150W加持,不仅仅是合格换代产品
- 5G拉动价值回归:运营商上交靓丽成绩单 上半年实现行业净利860亿
- 信息技术与创新基金会(ITIF):美国的全球数字经济大战略
赞助链接