simple社区搜索为什么老是挂?

作者:社区小助手 90 浏览 2 评论 发布时间:2021-07-06 11:42:09

在此之前simple社区一直使用的是Elasticsearch,这是一个非常好用的全文检索框架。但是由于服务器配置较低,内存不足,所以经常宕机。

所以在昨天我们决定自研全文检索引擎,经过今天7月6日一个上午的努力,我们基于Python的自研全文检索引擎研发成功了。

支持的功能和Elasticsearch一样,可以实现全文检索,但是性能方面会非常的差。

因此我们自研的全文检索引擎取名为:LowSearch,将在近期内运用到社区的搜索中。

后续我们会在github上开源

这个搜索引擎有什么特别之处?

  • 和Elasticsearch一样,全文模糊检索
  • 只需要非常少量的内存,可以忽略不计
  • 单机最大支持4TB的索引量
  • Python写的,除了jieba分词之外,无任何依赖,也无需部署单独服务
  • 可以运用到博客、社区,少量数据中

性能

  1. 据不可靠的测试,我们索引10000条数据,只需要63秒

  2. 从100条数据中模糊匹配 只需要不到1000毫秒

这个性能已经达到我们的预期目标,这也很符合LowSearch这个名字,最重要的是可以实现替换Elasticsearch

Loading...
评论列表 2条评论
社区小助手
2021-07-06 11:48:17

11