本文由微信开发团队工程师“ qiuwenchen”分享,何快原题“iOS微信全文搜索技术优化”,速搜索微有修订。信聊ygf杨贵妃传媒画入口
全文搜索是何快使用倒排索引进行搜索的一种搜索方式。倒排索引也称为反向索引,速搜索微是信聊指对输入的内容中的每个Token建立一个索引,索引中保存了这个Token在内容中的天记具体位置。全文搜索技术主要应用在对大量文本内容进行搜索的何快场景。
微信终端涉及到大量文本搜索的速搜索微业务场景主要包括:im联系人、im聊天记录、信聊收藏的天记搜索。
这些功能从2014年上线至今,何快底层技术已多年没有更新:
1)聊天记录使用的速搜索微全文搜索引擎还是SQLite FTS3,而现在已经有SQLite FTS5;2)收藏首页的信聊搜索还是使用简单的Like语句去匹配文本;3)联系人搜索甚至用的是内存搜索(在内存中遍历所有联系人的所有属性进行匹配)。随着用户在微信上积累的im聊天数据越来越多,提升微信底层搜索技术的需求也越来越迫切。于是,在2021年我们对微信iOS端的全文搜索技术进行了一次全面升级,本文主要记录了本次技术升级过程中的技术实践。
本文是专题系列文章中的第4篇:
《IM全文检索技术专题(一):微信移动端的全文检索优化之路》《IM全文检索技术专题(二):微信移动端的全文检索多音字问题解决方案》《IM全文检索技术专题(三):网易云信Web端IM的聊天消息全文检索技术实践》《IM全文检索技术专题(四):微信iOS端的最新全文检索技术优化实践》(* 本文)iOS客户端可以使用的全文搜索引擎并不多,主要有:
1)SQLite三个版本的FTS组件(FTS3和4、FTS5);2)Lucene的C++实现版本CLucene;3) Lucene的C语言桥接版本Lucy。这里给出了这些引擎在事务能力、技术风险、搜索能力、读写性能等方面的比较(见下图)。
1)在事务能力方面:
Lucene没有提供完整的事务能力,因为Lucene使用了多文件的存储结构,它没有保证事务的原子性。
而SQLite的FTS组件因为底层还是使用普通的表来实现的,可以完美继承SQLite的事务能力。
2)在技术风险方面:
Lucene主要应用于服务端,在客户端没有大规模应用的案例,而且CLucene和Lucy自2013年后官方都停止维护了,技术风险较高。
SQLite的FTS3和FTS4组件则是属于SQLite的旧版本引擎,官方维护不多了,而且这两个版本都是将一个词的索引存到一条记录中,极端情况下有超出SQLite单条记录最大长度限制的风险。
SQLite的FTS5组件作为最新版本引擎也已经推出超过六年了,在安卓微信上也已经全量应用,所以技术风险是最低的。
3)在搜索能力方面:
Lucene的发展历史比SQLite的FTS组件长很多,搜索能力相比也是最丰富的。特别是Lucene有丰富的搜索结果评分排序机制,但这个在微信客户端没有应用场景。因为我们的ygf杨贵妃传媒画入口搜索结果要么是按照时间排序,要么是按照一些简单的自定义规则排序。
在SQLite几个版本的引擎中,FTS5的搜索语法更加完备严谨,提供了很多接口给用户自定义搜索函数,所以搜索能力也相对强一点。
4)在读写性能方面:
下面3个图是用不同引擎对100万条长度为10的随机生成中文语句生成Optimize状态的索引的性能数据,其中每个语句的汉字出现频率按照实际的汉字使用频率。
从上面的3张图可以看到:Lucene读取命中数量的性能比SQLite好很多,说明Lucene索引的文件格式很有优势,但是微信没有只读取命中数量的应用场景。Lucene的其他性能数据跟SQLite的差距不明显。SQLite FTS3和FTS5的大部分性能很接近,FTS5索引的生成耗时比FTS3高一截,这个有优化方法。
综合考虑这些因素:我们选择SQLite FTS5作为iOS微信全文搜索的搜索引擎。
SQLite FTS5会把每个事务写入的内容保存成一个独立的b树,称为一个segment,segment中保存了本次写入内容中的每个词在本次内容中行号(rowid)、列号和字段中的每次出现的位置偏移,所以这个segment就是该内容的倒排索引。
多次写入就会形成多个segment,查询时就需要分别查询这些segment再汇总结果,从而segment数量越多,查询速度越慢。
为了减少segment的数量,SQLite FTS5引入了merge机制。新写入的segment的level为0,merge操作可以把level为i的现有segment合并成一个level为i+1的新的segment。
merge的示例如下:
FTS5默认的merge操作有两种:
1)automerge:某一个level的segment达到4时就开始在写入内容时自动执行一部分merge操作,称为一次automerge。每次automerge的写入量跟本次更新的写入量成正比,需要多次automerge才能完整合并成一个新segment。Automerge在完整生成一个新的segment前,需要多次裁剪旧的segment的已合并内容,引入多余的写入量;2)crisismerge:本次写入后某一个level的segment数量达到16时,一次性合并这个level的segment,称为crisismerge。FTS5的默认merge操作都是在写入时同步执行的,会对业务逻辑造成性能影响,特别是crisismerge会偶然导致某一次写入操作特别久,这会让业务性能不可控(之前的测试中FTS5的建索引耗时较久,也主要因为FTS5的merge操作比其他两种引擎更加耗时)。
我们在WCDB中实现FTS5的segment自动merge机制,将这些merge操作集中到一个单独子线程执行,并且优化执行参数。
具体做法如下:
1)监听有FTS5索引的数据库每个事务变更到的FTS5索引表,抛通知到子线程触发WCDB的自动merge操作;2)Merge线程检查所有FTS5索引表中segment数超过 1 的level执行一次merge;3)Merge时每写入16页数据检查一次有没有其他线程的写入操作因为merge操作阻塞,如果有就立即commit,尽量减小merge对业务性能的影响。自动merge逻辑执行的流程图如下:
限制每个level的segment数量为1,可以让FTS5的查询性能最接近optimize(所有segment合并成一个)之后的性能,而且引入的写入量是可接受的。假设业务每次写入量为M,写入了N次,那么在merge执行完整之后,数据库实际写入量为MN(log2(N)+1)。业务批量写入,提高M也可以减小总写入量。
性能方面,对一个包含100w条中文内容,每条长度100汉字的fts5的表查询三个词,optimize状态下耗时2.9ms,分别限制每个level的segment数量为2、3、4时的查询耗时分别为4.7ms、8.9ms、15ms。100w条内容每次写入100条的情况下,按照WCDB的方案执行merge的耗时在10s内。
使用自动Merge机制,可以在不影响索引更新性能的情况下,将FTS5索引保持在最接近Optimize的状态,提高了搜索速度。
分词器是全文搜索的关键模块,它实现将输入内容拆分成多个Token并提供这些Token的位置,搜索引擎再对这些Token建立索引。SQLite的FTS组件支持自定义分词器,可以按照业务需求实现自己的分词器。
分词器的分词方法可以分为按字分词和按词分词。前者只是简单对输入内容逐字建立索引,后者则需要理解输入内容的语义,对有具体含义的词组建立索引。相比于按字分词,按词分词的优势是既可以减少建索引的Token数量,也可以减少搜索时匹配的Token数量,劣势是需要理解语义,而且用户输入的词不完整时也会有搜不到的问题。
为了简化客户端逻辑和避免用户漏输内容时搜不到的问题,iOS微信之前的FTS3分词器OneOrBinaryTokenizer是采用了一种巧妙的按字分词算法,除了对输入内容逐字建索引,还会对内容中每两个连续的字建索引,对于搜索内容则是按照每两个字进行分词。
下面是用“北京欢迎你”去搜索相同内容的分词例子:
相比于简单的按字分词,这种分词方式的优势是可以将搜索时匹配的Token数量接近降低一半,提高搜索速度,而且在一定程度上可以提升搜索精度(比如搜索“欢迎你北京”就匹配不到“北京欢迎你”)。这种分词方式的劣势就是保存的索引内容很多,基本输入内容的每个字都在索引中保存了三次,是一种用空间换时间的做法。
因为OneOrBinaryTokenizer用接近三倍的索引内容增长才换取不到两倍的搜索性能提升,不是很划算,所以我们在FTS5上重新开发了一种新的分词器VerbatimTokenizer,这个分词器只采用基本的按字分词,不保存冗余索引内容。同时在搜索时,每两个字用引号引起来组成一个Phrase,按照FTS5的搜索语法,搜索时Phrase中的字要按顺序相邻出现的内容才会命中,实现了跟OneOrBinaryTokenizer一样的搜索精度。
VerbatimTokenizer的分词规则示意图如下:
VerbatimTokenizer还根据微信实际的业务需求实现了五种扩展能力来提高搜索的容错能力:
1)支持在分词时将繁体字转换成简体字:这样用户可以用繁体字搜到简体字内容,用简体字也能搜到繁体字内容,避免了因为汉字的简体和繁体字形相近导致用户输错的问题。
2)支持Unicode归一化:Unicode支持相同字形的字符用不同的编码来表示,比如编码为\ue9的é和编码为\u65\u301的é有相同的字形,这会导致用户用看上去一样的内容去搜索结果搜不到的问题。Unicode归一化就是把字形相同的字符用同一个编码表示。
3)支持过滤符号:大部分情况下,我们不需要支持对符号建索引,符号的重复量大而且用户一般也不会用符号去搜索内容,但是联系人搜索这个业务场景需要支持符号搜索,因为用户的昵称里面经常出现颜文字,符号的使用量不低。
4)支持用Porter Stemming算法对英文单词取词干:取词干的好处是允许用户搜索内容的单复数和时态跟命中内容不一致,让用户更容易搜到内容。但是取词干也有弊端,比如用户要搜索的内容是“happyday”,输入“happy”作为前缀去搜索却会搜不到,因为“happyday”取词干变成“happydai”,“happy”取词干变成“happi”,后者就不能成为前者的前缀。这种badcase在内容为多个英文单词拼接一起时容易出现,联系人昵称的拼接英文很常见,所以在联系人的索引中没有取词干,在其他业务场景中都用上了。
5)支持将字母全部转成小写:这样用户可以用小写搜到大写,反之亦然。
这些扩展能力都是对建索引内容和搜索内容中的每个字做变换,这个变换其实也可以在业务层做,其中的Unicode归一化和简繁转换以前就是在业务层实现的。
但是这样做有两个弊端:
1)一个是业务层每做一个转换都需要对内容做一次遍历,引入冗余计算量;2)一个是写入到索引中的内容是转变后的内容,那么搜索出来的结果也是转变后的,会和原文不一致,业务层做内容判断的时候容易出错。鉴于这两个原因,VerbatimTokenizer将这些转变能力都集中到了分词器中实现。
SQLite的FTS索引表不支持在建表后再添加新列,但是随着业务的发展,业务数据支持搜索的属性会变多,如何解决新属性的搜索问题呢?
特别是在联系人搜索这个业务场景,一个联系人支持搜索的字段非常多。
一个直接的想法是:将新属性和旧属性用分隔符拼接到一起建索引。
但这样会引入新的问题:FTS5是以整个字段的内容作为整体去匹配的,如果用户搜索匹配的Token在不同的属性,那这条数据也会命中,这个结果显然不是用户想要的,搜索结果的精确度就降低了。
我们需要搜索匹配的Token中间不存在分隔符,那这样可以确保匹配的Token都在一个属性内。同时,为了支持业务灵活扩展,还需要支持多级分隔符,而且搜索结果中还要支持获取匹配结果的层级、位置以及该段内容的原文和匹配词。
这个能力FTS5还没有,而FTS5的自定义辅助函数支持在搜索时获取到所有命中结果中每个命中Token的位置,利用这个信息可以推断出这些Token中间有没有分隔符,以及这些Token所在的层级,所以我们开发了SubstringMatchInfo这个新的FTS5搜索辅助函数来实现这个能力。
这个函数的大致执行流程如下:
在实际应用中,我们除了要在数据库中保存需要搜索的文本的FTS索引,还需要额外保存这个文本对应的业务数据的id、用于结果排序的的属性(常见的是业务数据的创建时间)以及其他需要直接跟随搜索结果读出的内容,这些都是不参与文本搜索的内容。
根据非文本搜索内容的不同存储位置,我们可以将FTS索引表的表格式分成两种:
1)第一种方式:是将非文本搜索内容存储在额外的普通表中,这个表保存FTS索引的Rowid和非文本搜索内容的映射关系,而FTS索引表的每一行只保存可搜索的文本内容。
这个表格式类似于这样:
这种表格式的优势和劣势是很明显,分别是:
a)优势是:FTS索引表的内容很简单,不熟悉FTS索引表配置的同学不容易出错,而且普通表的可扩展性好,支持添加新列;b)劣势是:搜索时需要先用FTS索引的Rowid读取到普通表的Rowid,这样才能读取到普通表的其他内容,搜索速度慢一点,而且搜索时需要联表查询,搜索SQL语句稍微复杂一点。2)第二种方式:是将非文本搜索内容直接和可搜索文本内容一起存储在FTS索引表中。
表格式类似于这样:
这种方式的优劣势跟前一种方式恰好相反:
a)优势是:搜索速度快而且搜索方式简单;b)劣势是:扩展性差且需要更细致的配置。因为iOS微信以前是使用第二种表格式,而且微信的搜索业务已经稳定不会有大变化,我们现在更加追求搜索速度,所以我们还是继续使用第二种表格式来存储全文搜索的数据。
FTS索引表默认对表中的每一列的内容都建倒排索引,即便是数字内容也会按照文本来处理,这样会导致我们保存在FTS索引表中的非文本搜索内容也建了索引,进而增大索引文件的大小、索引更新的耗时和搜索的耗时,这显然不是我们想要的。
FTS5支持给索引表中的列添加UNINDEXED约束,这样FTS5就不会对这个列建索引了,所以给可搜索文本内容之外的所有列添加这个约束就可以避免冗余索引。
前面提到,倒排索引主要保存文本中每个Token对应的行号(rowid)、列号和字段中的每次出现的位置偏移,其中的行号是SQLite自动分配的,位置偏移是根据业务的实际内容,这两个我们都决定不了,但是列号是可以调整的。
在FTS5索引中,一个Token在一行中的索引内容的格式是这样的:
从中可以看出,如果我们把可搜索文本内容设置在第一列的话(多个可搜索文本列的话,把内容多的列放到第一列),就可以少保存列分割符0x01和列号,这样可以明显降低索引文件大小。
所以我们最终的表格式是这样:
下面是iOS微信优化前后的平均每个用户的索引文件大小对比:
为了将全文搜索逻辑和业务逻辑解耦,iOS微信的FTS索引是不保存在各个业务的数据库中的,而是集中保存到一个专用的全文搜索数据库,各个业务的数据有更新之后再异步通知全文搜索模块更新索引。
整体流程如下:
这样做既可以避免索引更新拖慢业务数据更新的速度,也能避免索引数据更新出错甚至索引数据损坏对业务造成影响,让全文搜索功能模块能够充分独立。
业务数据和索引数据分离且异步同步的好处很多,但实现起来也很难。
最难的问题是如何保证业务数据和索引数据的一致,也即要保证业务数据和索引数据要逐条对应,不多不少。
曾经iOS微信在这里踩了很多坑,打了很多补丁都不能完整解决这个问题,我们需要一个更加体系化的方法来解决这个问题。
为了简化问题,我们可以把一致性问题可以拆成两个方面分别处理:
1)一是保证所有业务数据都有索引,这个用户的搜索结果就不会有缺漏;2)二是保证所有索引都对应一个有效的业务数据,这样用户就不会搜到无效的结果。要保证所有业务数据都有索引,首先要找到或者构造一种一直增长的数据来描述业务数据更新的进度,这个进度数据的更新和业务数据的更新能保证原子性。而且根据这个进度的区间能拿出业务数据更新的内容,这样我们就可以依赖这个进度来更新索引。
在微信的业务中,不同业务的进度数据不同:
1)聊天记录是使用消息的rowid;2)收藏是使用收藏跟后台同步的updateSequence;3)联系人找不到这种一直增长的进度数据(我们是通过在联系人数据库中标记有新增或有更新的联系人的微信号来作为索引更新进度)。针对上述第3)点,进度数据的使用方法如下:
无论业务数据是否保存成功、更新通知是否到达全文搜索模块、索引数据是否保存成功,这套索引更新逻辑都能保证保存成功的业务数据都能成功建到索引。
这其中的一个关键点是数据和进度要在同个事务中一起更新,而且要保存在同个数据库中,这样才能保证数据和进度的更新的原子性(WCDB创建的数据库因为使用WAL模式而无法保证不同数据库的事务的原子性)。
还有一个操作图中没有画出,具体是微信启动时如果检查到业务进度小于索引进度,这种一般意味着业务数据损坏后被重置了,这种情况下要删掉索引并重置索引进度。
对于每个索引都对应有效的业务数据,这就要求业务数据删除之后索引也要必须删掉。现在业务数据的删除和索引的删除是异步的,会出现业务数据删掉之后索引没删除的情况。
这种情况会导致两个问题:
1)一是冗余索引会导致搜索速度变慢,但这个问题出现概率很小,这个影响可以忽略不计;2)二是会导致用户搜到无效数据,这个是要避免的。针对上述第2)点:因为要完全删掉所有无效索引成本比较高,所以我们采用了惰性检查的方法来解决这个问题,具体做法是搜索结果要显示给用户时,才检查这个数据是否有效,无效的话不显示这个搜索结果并异步删除对应的索引。因为用户一屏能看到的数据很少,所以检查逻辑带来的性能消耗也可以忽略不计。而且这个检查操作实际上也不算是额外加的逻辑,为了搜索结果展示内容的灵活性,我们也要在展示搜索结果时读出业务数据,这样也就顺带做了数据有效性的检查。
索引只有在搜索的时候才会用到,它的更新优先级并没有业务数据那么高,可以尽量攒更多的业务数据才去批量建索引。
批量建索引有以下三个好处:
1)减少磁盘的写入次数,提高平均建索引速度;2)在一个事务中,建索引SQL语句的解析结果可以反复使用,可以减少SQL语句的解析次数,进而提高平均建索引速度;3)减少生成Segment的数量,从而减少Merge Segment带来的读写消耗。当然:也不能保留太多业务数据不建索引,这样用户要搜索时会来不及建索引,从而导致搜索结果不完整。
有了前面的Segment自动Merge机制,索引的写入速度非常可控,只要控制好量,就不用担心批量建索引带来的高耗时问题。
我们综合考虑了低端机器的建索引速度和搜索页面的拉起时间,确定了最大批量建索引数据条数为100条。
同时:我们会在内存中cache本次微信运行期间产生的未建索引业务数据,在极端情况下给没有来得及建索引的业务数据提供相对内存搜索,保证搜索结果的完整性。因为cache上一次微信运行期间产生的未建索引数据需要引入额外的磁盘IO,所以微信启动后会触发一次建索引逻辑,对现有的未建索引业务数据建一次索引。
总结一下触发建索引的时机有三个:
1)未建索引业务数据达到100条;2)进入搜索界面;3)微信启动。索引的删除速度经常是设计索引更新机制时比较容易忽视的因素,因为被删除的业务数据量容易被低估,会被误以为是低概率场景。
但实际被用户删除的业务数据可能会达到50%,是个不可忽视的主场景。而且SQLite是不支持并行写入的,删除索引的性能也会间接影响到索引的写入速度,会为索引更新引入不可控因素。
因为删除索引的时候是拿着业务数据的id去删除的。
所以提高删除索引速度的方式有两种:
1)建一个业务数据id到FTS索引的rowid的普通索引;2)在FTS索引表中去掉业务数据Id那一列的UNINDEXED约束,给业务数据Id添加倒排索引。这里倒排索引其实没有普通索引那么高效,有两个原因:
1)倒排索引相比普通索引还带了很多额外信息,搜索效率低一些;2)如果需要多个业务字段才能确定一条倒排索引时,倒排索引是建不了联合索引的,只能匹配其中一个业务字段,其他字段就是遍历匹配,这种情况搜索效率会很低。聊天记录的优化前后索引性能数据如下:
收藏的优化前后索引性能数据如下:
用户在iOS微信的首页搜索内容时,交互逻辑如下:
如上图所示:当用户变更搜索框的内容之后,会并行发起所有业务的搜索任务,各个搜索任务执行完之后才再将搜索结果返回到主线程给页面展示。这个逻辑会随着用户变更搜索内容而继续重复。
虽然现在不同搜索任务已经支持并行执行,但是不同业务的数据量和搜索逻辑差别很大,数据量大或者搜索逻辑复杂的任务耗时会很久,这样还不能充分发挥手机的并行处理能力。
我们还可以将并行处理能力引入单个搜索任务内,这里有两种处理方式:
1)对于搜索数据量大的业务(比如聊天记录搜索):可以将索引数据均分存储到多个FTS索引表(注意这里不均分的话还是会存在短板效应),这样搜索时可以并行搜索各个索引表,然后汇总各个表的搜索结果,再进行统一排序。这里拆分的索引表数量既不能太多也不能太少,太多会超出手机实际的并行处理能力,也会影响其他搜索任务的性能,太少又不能充分利用并行处理能力。以前微信用了十个FTS表存储聊天记录索引,现在改为使用四个FTS表。
2)对于搜索逻辑复杂的业务(比如联系人搜索):可以将可独立执行的搜索逻辑并行执行(比如:在联系人搜索任务中,我们将联系人的普通文本搜索、拼音搜索、标签和地区的搜索、多群成员的搜索并行执行,搜完之后再合并结果进行排序)。这里为什么不也用拆表的方式呢?因为这种搜索结果数量少的场景,搜索的耗时主要是集中在搜索索引的环节,索引可以看做一颗B树,将一颗B树拆分成多个,搜索耗时并不会成比例下降。
用户在搜索框持续输入内容的过程中可能会自动多次发起搜索任务,如果在前一次发起的搜索任务还没执行完时,就再次发起搜索任务,那前后两次搜索任务就会互相影响对方性能。
这种情况在用户输入内容从短到长的过程中还挺容易出现的,因为搜索文本短的时候命中结果就很多,搜索任务也就更加耗时,从而更有机会撞上后面的搜索任务。太多任务同时执行还会容易引起手机发烫、爆内存的问题。
所以我们需要让搜索任务支持随时中断,这样就可以在后一次搜索任务发起的时候,能够中断前一次的搜索任务,避免任务量过多的问题。
搜索任务支持中断的实现方式是给每个搜索任务设置一个CancelFlag,在搜索逻辑执行时每搜到一个结果就判断一下CancelFlag是否置位,如果置位了就立即退出任务。外部逻辑可以通过置位CancelFlag来中断搜索任务。
逻辑流程如下图所示:
为了让搜索任务能够及时中断,我们需要让检查CancelFlag的时间间隔尽量相等,要实现这个目标就要在搜索时避免使用OrderBy子句对结果进行排序。
因为FTS5不支持建立联合索引,所以在使用OrderBy子句时,SQLite在输出第一个结果前会遍历所有匹配结果进行排序,这就让输出第一个结果的耗时几乎等于输出全部结果的耗时,中断逻辑就失去了意义。
不使用OrderBy子句就对搜索逻辑添加了两个限制:
1)从数据库读取所有结果之后再排序:我们可以在读取结果时将用于排序的字段一并读出,然后在读完所有结果之后再对所有结果执行排序。因为排序的耗时占总搜索耗时的比例很低,加上排序算法的性能大同小异,这种做法对搜索速度的影响可以忽略。
2)不能使用分段查询:在全文搜索这个场景中,分段查询其实是没有什么作用的。因为分段查询就要对结果排序,对结果排序就要遍历所有结果,所以分段查询并不能降低搜索耗时(除非按照FTS索引的Rowid分段查询,但是Rowid不包含实际的业务信息)。
搜索时读取内容的量也是决定搜索耗时的一个关键因素。
FTS索引表实际是有多个SQLite普通表组成的,这其中一些表格存储实际的倒排索引内容,还有一个表格存储用户保存到FTS索引表的全部原文。当搜索时读取Rowid以外的内容时,就需要用Rowid到保存原文的表的读取内容。
索引表输出结果的内部执行过程如下:
所以读取内容越少输出结果的速度越快,而且读取内容过多也会有消耗内存的隐患。
我们采用的方式是:搜索时只读取业务数据id和用于排序的业务属性,排好序之后,在需要给用户展示结果时,才用业务数据id按需读取业务数据具体内容出来展示。这样做的扩展性也会很好,可以在不更改存储内容的情况下,根据各个业务的需求不断调整搜索结果展示的内容。
还有个地方要特别提一下:就是搜索时尽量不要读取高亮信息(SQLite的highlight函数有这个能力)。因为要获取高亮字段不仅要将文本的原文读取出来,还要对文本原文再次分词,才能定位命中位置的原文内容,搜索结果多的情况下分词带来的消耗非常明显。
那展示搜索结果时如何获取高亮匹配内容呢?我们采用的方式是将用户的搜索文本进行分词,然后在展示结果时查找每个Token在展示文本中的位置,然后将那个位置高亮显示(同样因为用户一屏看到的结果数量是很少的,这里的高亮逻辑带来的性能消耗可以忽略)。
当然在搜索规则很复杂的情况下,直接读取高亮信息是比较方便(比如:联系人搜索就使用前面提到的SubstringMatchInfo函数来读取高亮内容)。这里主要还是因为要读取匹配内容所在的层级和位置用于排序,所以逐个结果重新分词的操作在所难免。
下面是微信各搜索业务优化前后的搜索耗时对比:
目前iOS微信已经将这套新全文搜索技术方案全量应用到聊天记录、联系人和收藏的搜索业务中。
使用新方案之后:全文搜索的索引文件占用空间更小、索引更新耗时更少、搜索速度也更快了,可以说全文搜索的性能得到了全方位提升。
》
《腾讯技术分享:Android版手机QQ的缓存监控与优化实践》
《微信团队分享:iOS版微信的高性能通用key-value组件技术实践》
《微信团队分享:iOS版微信是如何防止特殊字符导致的炸群、APP崩溃的?》
《腾讯技术分享:Android手Q的线程死锁监控系统技术实践》
《iOS后台唤醒实战:微信收款到账语音提醒技术总结》
《微信团队分享:微信每日亿次实时音视频聊天背后的技术解密》
《腾讯团队分享 :一次手Q聊天界面中图片显示bug的追踪过程分享》
《微信团队分享:微信Android版小视频编码填过的那些坑》
《企业微信客户端中组织架构数据的同步更新方案优化实战》
《微信团队披露:微信界面卡死超级bug“15。。。。”的来龙去脉》
《QQ 18年:解密8亿月活的QQ后台服务接口隔离技术》
《月活8.89亿的超级IM微信是如何进行Android端兼容测试的》
《微信后台基于时间序的海量数据冷热分级架构设计实践》
《微信团队原创分享:Android版微信的臃肿之困与模块化实践之路》
《微信后台团队:微信后台异步消息队列的优化升级实践分享》
《微信团队原创分享:微信客户端SQLite数据库损坏修复实践》
《腾讯原创分享(一):如何大幅提升移动网络下手机QQ的图片传输速度和成功率》
《微信新一代通信安全解决方案:基于TLS1.3的MMTLS详解》
《微信团队原创分享:Android版微信后台保活实战分享(网络保活篇)》
《微信技术总监谈架构:微信之道——大道至简(演讲全文)》
《微信海量用户背后的后台系统存储架构(视频+PPT) [附件下载]》
《微信异步化改造实践:8亿月活、单机千万连接背后的后台解决方案》
《手把手教你读取Android版微信和手Q的聊天记录(仅作技术研究学习)》
《微信技术分享:微信的海量IM聊天消息序列号生成实践(算法原理篇)》
《社交软件红包技术解密(一):全面解密QQ红包技术方案——架构、技术实现等》
《社交软件红包技术解密(二):解密微信摇一摇红包从0到1的技术演进》
《社交软件红包技术解密(三):微信摇一摇红包雨背后的技术细节》
《社交软件红包技术解密(四):微信红包系统是如何应对高并发的》
《社交软件红包技术解密(五):微信红包系统是如何实现高可用性的》
《社交软件红包技术解密(六):微信红包系统的存储层架构演进实践》
《社交软件红包技术解密(十一):解密微信红包随机算法(含代码实现)》
《IM开发宝典:史上最全,微信各种功能参数和逻辑规则资料汇总》
《微信团队分享:微信直播聊天室单房间1500万在线的消息架构演进之路》
《企业微信的IM架构设计揭秘:消息模型、万人群、已读回执、消息撤回等》学习交流:
- 移动端IM开发入门文章:《新手入门一篇就够:从零开发移动端IM》
- 开源IM框架源码:https://github.com/JackJiang2011/MobileIMSDK(本文同步发布于:http://www.52im.net/thread-3839-1-1.html)
相关文章:
pourhub原网址1000禁止播放视频大象年龄确认入口777aj最新网址kpd备用网址入口5x发源地 打造社区92看看副利1000完整版50路息子亲子藏经阁60s用户体验区807父出2秒母息子44wawa最新网址获取a樱花福精品利院yy入口1000部禁入免费观看视频9u有你足矣已满18入口免费99ee7网址最新获取5x社区s5x社区qqs1000部麻辣拍拍拍辣妞藩金连精品传媒入口众乐yw5567请记住此域名xyk视频国产频道网址1000拍拍视频大全免费藏经阁福航导航蘑菇视频5xsp性社区免费视频播5xsq最新视频新地址2023年深夜求网址bl腐资源免费网址61794网址短视频5x兴趣社区视频播放5x社区最新地址免费34abab的网址改成多少了611zy是不是换网址了800免费观看视频网址1118视频观看网址5x社区在线视频老网址草莓网站网址5x兴趣社区在线播放免费5x社区直接进入大象伊甸圆一区区三区四区67194短视频网址发布5x社区费视频5xso3344网址怎么打不开了9u有你足矣已满18入口仙人掌91乌鸦天美果冻星空91茄子传媒在线泛滥的母爱小马拉大车免费成品在线视频奇虎免费入口成版年蝴蝶视频入口v视界vsj2入口国产500第一精品网址导航11zyz资源站新网址5x社区5x视频5xsq免费100深夜看e黄禁用免费直播5xsq最新社区地址61794最新线路网址67194成发网址发布页1000部免费视频大全集ぉ母さんの息子5xsq社区永久播放地址99一品二品精区在线5x社区打造不一样精品视频luluhei改啥网址了1000部拍拍拍拍视频大象成品w灬伊168899rr热网址最新获取67194视频网址免费800免费观看视频网址884aa变成哪个网址了91w乳液78wyw永久彩漫阿夷令人垂诞三r222tv新的网址vip动漫免费观看网址yw5568优物入口5x社区费视频在线观看大象永久伊园甸每日更新xf息子母孕中文字幕510dd网址最新域名岛国动作片在线网址打火箭精品视频在线网址22eee最新网址发布器5xsq视频新地址5xsq5x社区发源地在线50路息子在线播放成app短视频入口沉论美母柳淑云3d下拉式baoyu的网址是什么lt95xyz卡哇伊直播藩金连精品传媒入口众乐2023最新野鸡网址1000部免费人善大片东京道一本热网址91网址免费9u有你足矣已满18入口仙人掌1000个拍拍拍免费视频pr九尾天狐网址视频gv网站免费观看网址磁力搜索网址大全1000部未成年勿入1000部拍拍拍18勿入辣范7x7x7x任意躁在线观看67194网址发布收藏yw53777龙物视频入口给个网址最新k频道在线导航网址导航91天媒传媒在线视频点击三秒转入秘密入口成品在线视频免费入口网页7x7x7x水蜜桃在线观看大香伊煮蕉一人一煮一线青草妲己传媒入口95午夜1000免费观看5566yyyy网址大全51成漫动漫入口被爸爸c到崩溃97ss新网址97ss成人夫妻4人一起租房子jk转校生的乱胶生活3dm995ww四虎最新网址岛国男女动作大片网址成人爽片网址91网址域名不穿衣一对一直播带你进入新世界地址大象伊园甸永久免费爱x视频网址91中文字幕无l码网址5xsq打造极品盛宴611hh最新改的网址444ppp网址改成什么了5x一5x视频在线5xsq999ddd网址se线路1线路2线路3网址成漫入口动漫藩金连精品传媒入口众乐不知火孕堕不咕鸟汉化在线5x社区发源地在线5c5c5c临时网址k频道在线导航和网址导航69堂最新网址入口2023年可用的网址5xsp在线视频5xsqk频道视频网址导航入口2023求个免费网址你们懂得5xsq视觉盛宴不一样的fulao2官网网址在线观看91成品短视频1000种拍拍拍免费视频5x视频5xsq66岛国爱情动作网址maya入口继续浏览登录baoyu188cnn免费观看1000部免费人善大片baoyutv最新网址成品动漫入口网站大象伊甸院每日更新ae人口ae永久8插8插华为x拨插5g免费1000拍拍拍视频凤凰939w78w78w永久乳液成品视频观看入口视频拨擦拨擦8x首华永久免费47aaa新网址是那个7x7x7x任意槽水蜜桃5x社区在线观看视频5x社区在线高清视频300000部禁用免费视频成动漫视频网址大全136导航网址导航1ms网址导航69热网址免费在线观看5xsq社区在线视频5xsq社区免费视频在线播放沉轮颜母柳淑云5x社区在线视频老网址5x社区离线视频5xsq1000部禁止观看视频5xsq最新社区地址进入给个网址2023在线939w93w93w乳液5xsq在线视频新地址百娘导航app官方入口富二代在线观看视频网址sihu2023最新网址东方伊园甸入口8x8x网址谁知道成品片a入口免费岛国你懂得网址推荐2023最新的网址可以用的09bbb现在的网址5xsq视频新地址5xsqseyeye免费高清网址bl腐资源免费网址3x视频网址东方伊甸2023入口直达成品片a免费入口蘑菇视频k视频网址导航中心父亲猜女儿视频网址5xsq社区免费视频在线播放藏金阁官网入口500第一精品网址导航5x社区5xsp在线观看5spx社区移动入口3344的网址是什么18成品入口网站免费点击3秒自动进入直接观看5xsq在线视频直接进入69热网址免费在线观看1000部最长最刺激的视频67194成视频网址发布页k频道网址入口628kk换网址了么se01网址路线2136导航网址导航3344最新能看的网址2023能直接看的a站网址1000个未成年人禁看视频ap996隐藏网址67194短视频网址布页工本口子库入口下拉式1000视频免费观看67194app网址发布器aaa776新网址藏经阁入口cjg鲍鱼在线网址大象2023免费入口带好纸5x在线视频手机视频5x打造世界流行发源地视频5xsq2高清社区免费视频91大象传媒视频入口网页版gv在线快捷看免费观看网址7x7x7x7x8黄全场免费恶魔六点内院网址2023看片网址大象成视人视频dx8877成品大香伊煮焦成品免费老夫子50路母亲息子亲子迅雷182t人人香蕉最新网址99rr6网址最新获取91网站网址是多少5x兴趣社区在线播放免费91大象传媒视频入口网页版5x5xsq视频5xsq1000精彩视频k频道网址导航入口备用差差视频免费首入口网页k视频网址导航中心1000部未成年不能775me换成什么网址啦2023谁有a网址片能用se333se升级网址成品人a免费入口7cdy备用网址1000未成年拍拍拍1000拍拍拍视频凤凰5x视频免费视频发源地从前有个网址6699k1000部免费视频观看1000部辣妞儿范18误入e站最新版本网址1000视频在线播放5xsq在线观看手机视频22eee最新网址在线观看777aj最新网址1000部麻辣范视频67194网址5xsp社区视频免费视频91天媒传媒在线视频入口大象神秘入口a樱花福力院入口yybaoyutv最新网址rrr521换成什么网址了99rr热最新免费网址5xxn视频在线视频5xsp社在线观看ae人口ae永久5x社区论坛成品1688网站直接进入yw99911can优物入口99rr热网址最新获取939w78w78w永久乳液5x在线观看免费最新5x在线观看从这里开始动漫黄漫视频在线网址susu58刚换的网址是多少成品视频a免费入口5xsq在线观看免费给个男人的网址2023年最新免费看a网址给个男人的网址妲己传媒入口东方伊甸乐园直达入口番茄官方新网址sea8精品最新网址入口5x社区免费线视频旧地址大象伊甸区三三三区区区1000部未满全过程视频5566yyyy网址大全成品大香伊煮蕉国色07815x视频5xqc直接进入9u永久海外地域网名杨贵妃传媒k频道网络网址导航在线67194人视频网址发布94视频在线观看网址5x社区视频在线观看大象2023新地扯入口5x兴趣社区视频sq进入3d彩漫做韵律的雅卿1000部免费拍拍拍5xsq社区最新网站gv在线快捷看免费观看网址v片的网址免费观看1000拍拍拍视频免费u罗汉狮子妈妈4388x在线观看网址在成品78w林妹妹免费2023v片视频在线观看网址8x8x网址分享晚上用的网址20235xsq社区在线观看视频成品片a免费入口蘑菇视耽美网址大全9i制片厂母亲的新男友5x社区兔费视频5xsq5g网络5g天天5g爽免费a视听看视频网址1000拍拍拍兔费视频5x兴趣视频sq进入adc年龄确认入口网址k频道最新网址1000部麻辣范视频k频道app网址导航5g国产天天5g天气爽5xso在线视频新址7766b换什么网址了91中文字幕无l码网址k频道网址导航最新紧急东京熟成成片视频网址2023谁有手机a站免费网址5x社区在线视频区菠萝直播app网址大象成视人视频dx8822跟11xhxh一样好的网址成品在线网站78w78初中生拍拍拍在线网址kk37导航网址大全eee771的最新网址岛国视频免费观看网址fulao2在线网址766se换什么网址了maya入口继续浏览登录大象成视人视频dx88881000部最长最刺激的视频非会员120体验区入口视频w 永久99w乳液78aaa776新网址5xsq最新视频新地址草必克最近网址1000部免费视频观看插槽8x插槽在线看大象入口点击进入6000a导航网址hh99me在线网址91中文字日产乱幕六区2023手机看的a站网址成人资源网址成品大香伊煮蕉国色天恶魔六点后院网址1000部未满十八不进5xsq官方网站4hutv开放青年永久免费fulao2最新网址大象1区一品精区搬运妲己直播隐蔽入口大象网址回导航入口caopron最新网址7x7x7x水蜜桃在线观看k频道网址导航道30000深夜看黄禁用1000未成年枫可怜ipx776入口4x4x4x4x4x在线视频67194短视频网址大全6969网址最新版本大象传媒18勿秘密入8x8x8x人成免费观水果派成品在线免费短视频入口藏经阁60s用户体验区成品短视频免费网站入口成品大香伊煮国色天香东方伊园甸2023直接入口1000个禁止看的大片5x社区视频免费视频百媒导航app入口app510dd网址最新域名大象年龄18确认进入2023谁有最新a网址给个我大象伊园甸永久免费otamart网址1000拍拍视频完整版藏经阁入口cjgjl8金莲传媒在线观看91大象传媒视频入口网页版ap996网址改成多少5g永久免费不需安装yw99966入口永不失联2023能看的在线网址成品在线视频免费入口5x社区免费入口niqupa永久备用网址k频道kpd导航网址入口甸伊园网站免费入口se01视频网址发布大象dx成视人颇最新域名4388x在线观看网址在91网址更新后多少点击继续访问域名网址懂你的更多app入口919yy入口1024永久在线观看网址旧版88ququ备用网址扶老二新网址picacg官网网址大象2023秘密入口实时查询5g天天5g爽入口安子轩热一二三四网址1000集靠比视频在线观看52abab现在的网址8x8x8x人成免费观完整版成品网站灬伊甸院baoyutv在线观看网址5x兴趣社区免费最新入口5xsq不一样的视觉盛宴5x社区免费视频开放5x社区网址获取网站给个免费网址你们懂得20233344ea改什么网址了po18网址1000部免费拍拍视频成版年免费蘑菇视频5x在线观看视频播放5xsq免费视频xviedos网址3d彩漫妈妈的无私奉献漫蛙大象2023秘密入口实时查询耽美bl网址导航4444kk最新网址91茄子成品短视频1000个小视频5xsq在线视频免费观看91成视频入口5x社区直接进入10000000禁止观看app7x7x7x任你燥cjwico浮乱的家庭第1部分爱视频免费1000部5x社区sq在线视频最新5x社区免费播放开始备好纸巾入口919yy视院在线观看6000a导航网址带你进入新世界地址5x视频从这里开始1000部男生靠女生5x社区免费视频sq点此进入甸伊园lt95xyz小可爱直播92午夜神器100091pom的新网址是肥熟韵母小说adc视频网址入口2023观看的a站网址721re网址最新获取域名mp555cc上车网址bl动漫网址导航91无限数破解版入口在线工本口子库入口下拉式5x在线观看手机视频入口5xsq5社区5xsq社区最新获取免费5xsq5在线视频免费视频4虎tv新的网址分享晚上用的网址5x社区发源地从这开始3344fg换成了什么网址藩金连精品传媒免费入口5x社区免费播放开始成品大香伊煮蕉小辣椒在线观看kk55kk最新网址在线观看2023求网址男人懂得ae86备用网址入口1000个免费高清小视频5566精彩网址大全5566jl8金莲传媒在线观看174ff最新网址611zy是不是换网址了56uupw网站嫖老师网址61479短视频网址管管网址发布安卓版3344rr的新网址调政家教妇1一44免费给个直接放的网址2023年