BentoML统一模型部署框架
BentoML 是 AI 应用程序开发人员的平台,提供工具和基础架构来简化整个 AI 产品开发生命周期。BentoML 使创建准备好部署和扩展的机器学习服务变得容易。
数据科学家和 ML 工程师可以使用 BentoML:
加速并标准化将 ML 模型投入生产的过程
构建可扩展的高性能预测服务
在生产中持续部署、监控和运行预测服务
BentoML 原生支持所有流行的 ML 框架,包括 Pytorch、Tensorflow、JAX、XGBoost、HuggingFace、MLFlow,以及最新的预构建开源 LLM(大型语言模型)和生成式 AI 模型。
BentoML 可扩展你使用 Python 构建的 AI 工作负载。多模型图推理、并行模型推理和自适应批处理,以及许多高级 AI 功能,都包含在易于使用的 Python 原语中。
BentoML 是一个统一的 online、offline 和 streaming 框架;使用一个统一接口进行开发,该接口可以作为 REST API endpoin 或 gRPC service 轻松推出,集成到批处理工作负载的数据管道中,或使用流式架构进行实时处理。
BentoML 是用于创建 AI 应用程序的开放标准,它带来了一致性,使开发人员能够在所有 AI 产品团队中变得更加敏捷、创新和高效。
Highlights
Unified Model Serving API
适用于 Tensorflow、PyTorch、XGBoost、Scikit-Learn、ONNX 等的框架无关的模型打包
为预处理 / 后处理和业务逻辑编写自定义 Python 代码以及模型推理
为在线(REST API 或 gRPC)、离线批处理和流式推理应用相同的代码
用于构建多模型推理管道或图形的简单抽象
无摩擦过渡到生产的标准化流程
将 Bento 构建为 ML 服务的标准可部署工件
自动生成具有所需依赖项的 docker 镜像
使用 GPU 进行推理的简单 CUDA 设置
与 MLOps 生态系统的丰富集成,包括 Kubeflow、Airflow、MLFlow、Triton
具有强大的性能优化的可扩展性
自适应批处理根据服务器端最佳性能动态分组推理请求
Runner 抽象将模型推理与你的自定义代码分开进行 scales
通过自动配置最大化你的 GPU 和多核 CPU 利用率
以 DevOps 友好的方式部署到任何地方
通过以下方式简化生产部署工作流程:
BentoML Cloud:部署便当的最快方式,简单且大规模
Yatai:在 Kubernetes 上大规模部署模型
bentoctl:在 AWS SageMaker、Lambda、ECE、GCP、Azure、Heroku 等平台上快速部署模型!
使用 Spark 或 Dask 运行离线批量推理作业
对 Prometheus 指标和 OpenTelemetry 的内置支持
用于高级 CI/CD 工作流程的灵活 API
关注公众号:拾黑(shiheibook)了解更多
赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
- 白帽黑客通过大量GPU枚举4500万亿个偏移值帮助客户暴力破解勒索软件恢复数据
- 加币兑换人民币汇率2024年10月2日
- XIAOJUSURVEY一套快速、安全的问卷系统
- 英镑兑换人民币汇率2023年12月3日
- 英镑兑换人民币汇率2023年11月1日
- 销量下滑、越卖越亏,赛力斯该如何自救?
- 刷新赔偿纪录,3240万能拯救腾讯视频吗?
- 没抢到性价比高的商用电脑?11.11好物返场,戴尔笔记本低至2399元起!
- XP 风格的软件运行在 Windows 11 中是什么样子?
- 好消息!国产超高清视频标准商用落地,腾讯爱奇艺已上线应用
- 【杂谈快报】鹏博士再次推进数据中心资产转让
- 迈好第一步,见到新气象:工业和信息化部举行升国旗仪式