Chonky:一个完全基于神经网络的文本分块工具
Chonky:一个完全基于神经网络的文本分块工具。它能将文本智能分割成有意义的语义块,帮助你更高效地处理和理解长文本。
亮点:
使用Transformer模型,精准分块;支持RAG系统,拓展应用范围;一行代码即可完成安装,简单易用。
参考文献:[1] https://github.com/mirth/chonky[2] https://huggingface.co/mirth/chonky_distilbert_base_uncased_1
关注公众号:拾黑(shiheibook)了解更多
赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
- 港币对人民币汇率2024年9月18日
- Superlist:一款新颖的待办清单工具
- 韩元汇率对人民币2024年4月28日
- 谷歌发布多模态AI模型Gemini,功能从自然图像、音频和视频理解拓展到数学推理
- 亿欧宣布接入百度文心一言能力,打造AI产业研究新场景 | 亿欧动态
- 倪光南院士:RISC-V是智能网联车芯片的理想选择
- 小小生产力工具,看视频挺厉害的,不知道有没有用。
- 中国移动发布《十四五网络演进技术白皮书》(附PDF下载)
- 2399元起!微软Xbox Series X/S国行版主机开始预售
- 微软镇江数字经济创新中心启动运营
- 字节跳动无教育基因:想效仿抖音,但打不到要害
- 明年全球34%员工将永久在家办公
赞助链接