Serge Alpaca模型聊天界面
Serge 是基于 llama.cpp 的聊天界面,用于运行羊驼模型。完全自托管,不需要 API 密钥。适合 4GB RAM 并在 CPU 上运行。
SvelteKit 前端
用于存储聊天记录和参数的 Redis
API 的 FastAPI + langchain,使用 python 绑定包装对 llama.cpp 的调用
使用
设置 Serge 非常简单,可以在一个命令中完成启动:
docker run -d \ -v weights:/usr/src/app/weights -v datadb:/data/db/ \ -p 8008:8008 ghcr.io/nsarrazin/serge:latest
然后只需转到 http://localhost:8008/ 就可以了!
API 文档可以在 http://localhost:8008/api/docs 找到
关注公众号:拾黑(shiheibook)了解更多
赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
- 韩元汇率对人民币2023年9月18日
- 美元兑人民币汇率2023年8月20日
- 阿里云拓展海外业务 开发国际“蓝海市场”
- 正月初五,钱“兔”似锦!
- Omdia观察:欧盟启动6G旗舰计划第二阶段 全球监管竞赛正在加紧
- 微软与埃森哲和埃维诺加强云交付合作
- 字节跳动正大量招聘芯片工程师或准备自研芯片;Google放缓招聘;Android 13 Beta 4发布|极客头条
- 当“套餐”遇上“短视频”,成功解救疫情下的实体店?
- 视频|给VR手柄配重?这个想法真妙
- 工信部今天发布三个“十四五”规划,都很重要!
- 亚马逊或将收购米高梅;携程Q1营收41亿元;Google推第四代定制AI芯片TPU v4|Do早报
- 正新鸡排难破圈
赞助链接