Serge Alpaca模型聊天界面
Serge 是基于 llama.cpp 的聊天界面,用于运行羊驼模型。完全自托管,不需要 API 密钥。适合 4GB RAM 并在 CPU 上运行。
SvelteKit 前端
用于存储聊天记录和参数的 Redis
API 的 FastAPI + langchain,使用 python 绑定包装对 llama.cpp 的调用
使用
设置 Serge 非常简单,可以在一个命令中完成启动:
docker run -d \ -v weights:/usr/src/app/weights -v datadb:/data/db/ \ -p 8008:8008 ghcr.io/nsarrazin/serge:latest
然后只需转到 http://localhost:8008/ 就可以了!
API 文档可以在 http://localhost:8008/api/docs 找到
关注公众号:拾黑(shiheibook)了解更多
赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
- 端到端加密通讯应用Signal推出免费和付费的云备份功能 可以加密备份聊天记录
- 火狐浏览器Firefox 141.0正式发布!带来AI标签组、终于支持WebGPU
- 港币对人民币汇率2023年9月10日
- 欧元人民币汇率2023年8月17日
- 澳元兑换人民币汇率2023年5月14日
- 打工人为何爱上“敲木鱼”?
- 解雇拒绝打开摄像头员工被罚 51 万;推送损坏的更新,导致数千网站瘫痪;PHP 存在不受控制的递归漏洞|思否周刊
- 明确七方面重点任务! 国务院印发数字政府建设“任务书”
- 新华三CR19000落地上海移动城域网出口,打造运营商大网市场新标杆
- 法拉第未来在纳斯达克敲钟上市;微信上线新状态:等天晴;顺丰将拿出2亿元给快递员加薪|Do早报
- 我为“十四五”建言丨商务部CECBC区块链专委会副主任、数字经济商学院院长吴桐:建立完善稳健的基础设施 加速区块链与产业深度融合
- 云时代下,移动云揭秘数据库“新解”
赞助链接