Chonky：一个完全基于神经网络的文本分块工具
安爸
发布于
Chonky：一个完全基于神经网络的文本分块工具。它能将文本智能分割成有意义的语义块，帮助你更高效地处理和理解长文本。亮点：
- 使用Transformer模型，精准分块；
- 支持RAG系统，拓展应用范围；
- 一行代码即可完成安装，简单易用。
参考文献：
[1] https://github.com/mirth/chonky
[2] https://huggingface.co/mirth/chonky\_distilbert\_base\_uncased\_1
（文：NLP工程化）
扫描二维码，在手机上阅读