首页 > 机箱/电源 > 正文
汽配网 国内最专业的汽配B2B商务网

环信李楠:IM客户端数据库加载过程优化

IM通讯里面有两个重要的数据概念,一个是会话,一个是会话中的消息。

在系统初始化时,这两部分都要从数据库中加载到内存中。

数据组织结构是ConversatonManager包含多个会话,每个会话含有消息列表。

环信李楠:IM客户端数据库加载过程优化

每次系统启动的时候,首先查询会话列表,然后对每一个会话加载其中的消息。对应的伪码

环信李楠:IM客户端数据库加载过程优化

因为每次查询都要涉及数据库操作,导致加载时间很长,而且大量的IO操作也会导致耗电量增加,所以这部分加载过程,是我们优化的重点。

思路很简单:一条SQL语句做完所有事情,避免for循环,避免多次遍历数据库。

修改后的结构是:

环信李楠:IM客户端数据库加载过程优化

这样大量的细节隐藏在SQL语句实现中。

这里面的实现有两种情况:

1. 一种是每个会话只加载一条消息记录。

2. 另一种是每个会话加载多条消息记录。

1. 每个会话只加载一条消息记录(假设是最后一条消息),这种情况可以使用关键字group by 处理:select *, max(msgTime) from xxx_table group by conversation,这种情况比较好理解,而且网上类似的问题很多,很容易找到答案。

2. 对于每个会话要求加载多条消息的情况(消息按照时间排序),我的思路是在group by, order by, limit这些关键字中寻找答案。

先在网络上寻找答案,寻找一些类似的实现,可惜都不理想。

有的实现就是把for循环转移到sql语句中,利用游标的概念,但是计算的数量级并没有下降,使用我本地的较大的数据量进行试验,执行时间过长。

或者是看到oracle数据库中有解决方案,但是需要使用关键字partition,这个应该是oracle数据看到经常会有类似的问题而提出的专用关键字。

对于mysql, sqlite等常用数据库,没法移植该实现。

最终我使用的方法是

select * from xxx_table order by conversation, msgTime desc.

这样整个表单进行排序,首先按照会话名称进行排序,然后按照消息时间排序。

还剩下一个条件没有满足,就是每个会话消息的限定个数。

把个数的遍历放在外面实现,通过一个while循环将会话中超出limit部分的消息剔除。

伪码:

环信李楠:IM客户端数据库加载过程优化

这种方法的缺点是cursor会把整个表单都返回到用户空间,然后把所有的数据在用户空间都遍历一遍,有多余的操作。

不属于最优实现。

优点是两次排序使用order by,可以由数据库实现,这部分执行效率比较高,然后一次遍历cursor就执行完剩余操作,执行效率在接受范围之内,和改动之前相比效率提升至少一个数量级。

测试结果:一万条消息记录,一千个会话,执行时间大概4秒

补充一下,对于非数据库专业人员来说,有一点需要注意:

group by, order by, limit这些关键字在sql语句中有强制的顺序要求,limit , order by,都不能写到group by前面。

下面是我在寻找这个问题过程中看到的一些帖子,第一行是文章标题,后面是我看后的感受。如有冒犯,敬请原谅。

[SQL中Group分组获取Top N方法实现]

游标方法可取,网上讨论说运行比较慢。

[]一条SQL语句搞定分组并且每组限定记录集的数量]

仅适用于oracle

[]mysql实现每组取前N条记录的sql,以及后续的组数据量限制]

好像是可以,没看明白

[]SQL--分组显示数据,显示每组的前几行数据]

http://blog.163.com/peng_peng1028/blog/static/107463820111019240379/

像是答案,效率好像很低

[取每组前几条记录的SQL写法]

http://blog.sina.com.cn/s/blog_412897e10100r2rq.html

该页面提供两种方法,都尝试过,效率太低,杀掉程序时还没执行完

本文章版权归环信所有,转载请注明出处。

责任编辑:barcasoul
0