关于驱动查询的一点优化建议:关于_BCollection.getCount

使用更先进的浏览器访问效果更佳。

关于驱动查询的一点优化建议:关于_BCollection.getCount

zhaoxiaoye

我目前在用java的驱动,发现在 DBCursor _BCursor = _BCollection.query(_DBQuery),游标中没有count方法;

顺便说一下mongodb是有的,但效率真心不敢恭维;

后来在 _BCollection.getCount(_DBQuery.getMatcher());发现了count方法;

作为使用者我发现这个count其实可以优化到游标中的,一旦我根据DBQuery查询了任何数据其实这个总数应该是能得到的;

不需要使用者再次去查一次,主要是浪费数据库的资源,如果查询条件稍微复杂一点,好不容易把结果给等来了,如果要知道总数还得去查一次,这样无形中就觉得响应好慢(mongodb也存在这个问题,count是跟查询分开的,即运行查询后要得到总数还得去查一次)

我没做过第三方的API,也不知道API跟数据库对接到底是一次完成还是需要透过API再做一些事情;

无非两种情况:

1.如果API不做任何事情,都是发送命令给数据库,那么可否设置数据库的返回格式为:{total:1000,datas:[{},{}]} 这样API就一次性取到数据和总数

2.如果API需要分析返回的数据,则更好办了,直接可以记录总数给调用方;

这个问题确实影响企业级用户的分页查询,请考虑加入这个方法;

wangzhonnew

直接在游标中count，那么这个游标是否还需要继续取数呢？如果需要继续取数的话就不好办了。

不管是关系型数据库还是mongodb或者sequoiadb，游标都不会一次性把所有结果拿到客户端，而是每次拿一批。这样如果你需要了解整个结果集的大小，不从头遍历到结尾是根本不可能拿到总数的。而如果完全遍历一遍，如果不缓存拿到的数据就会造成count以后不能继续读了（因为已经读到尾了），而如果缓存起所有数据又可能会把客户端的内存撑爆。

原则上说，数据库取数在你没有完整遍历一遍的情况下是无法事先得知总结果集大小的，所以在关系型数据库很多人都先count一遍，然后再分页取，这样对于海量数据来说是很有效率问题的。

有些客户端或网页开始不显示总页数（例如google或者baidu搜个东西，你是看不到总页数的），而是实现取100或者1000条缓存，每页显示20条，如果不够再取之后的。总页数以“。。。”替代。

zhaoxiaoye

您的解决方案在某一个领域可能行得通;

企业级的查询典型的就是个Grid展示, 需要得到的是总数,分页数量级,及当前所在分页序号;

这个还不像百度,因为总有个总数,客户也会问,我查的东西到底有多少?这个没办法回避;

所以不能寄望于数据少或者查询条件简单;

您假定如果不再继续取数据就能得到总数,那我能否理解为:在读游标数据的时候是能取到总数的,只是在前还是在后?

我假定一个场景,我有1万条数据:

DBQuery _DBQuery;

这个 _DBQuery 设置了若干条件Matcher(假设符合条件的有1000个),Skip=500,limit=600

我得到了一个游标对象: DBCursor _BCursor = _BCollection.query(_DBQuery);

那请问:当我 _BCursor.hasNext()判定的时候,数据库处理是怎样一个机制呢?

我的感觉是数据库已经读到这符合条件的1000条信息了,然后再从500开始取到600结束.不知道是否正确,望指教;

wangzhonnew

skip/limit的机制就是先跳过事先读到的skip条记录，然后当总数读到limit数量时返回end of table，这个逻辑是不关心总数的。

如果你能确定每次你读取的数据量不大，可以考虑每次都读到客户端，然后客户端计数并展示总数。

如果这个也不行，那就只能用传统的方式，首先count一遍然后再query一次。

zhaoxiaoye

明白了,游标就是不知道总数,总是在一条一条的往下读和条件匹配;

那这个寄望于API还真不好实现了,我自己在客户端做一些处理吧;

非常感谢!

zhaoxiaoye

如果我先count能否对后续的相同条件的query有缓存作用?这个能否考虑一下呢?

Diablo

如果从数据库缓存的层面来讲，第一次count对第二次query已经是有一定的缓存的作用了。但是如果每次访问的数据量比较大，那么这种缓存则意义不大。

zhaoxiaoye

我能理解为已经是实现了,遇到这种场景,建议是先count再query,对吧?

数据量大,只是后台内存占用比较多(我觉得这个可以接受,query完毕后释放缓存也未尝不可),意义不大又怎么解释呢?

Diablo

缓存有限，假如几个并发访问的数据量超过缓存大小，那么每次查询其实都没法完全使用缓存。

zhaoxiaoye

有地方可以配置这个缓存大小的吗?牛逼一点的服务器可以承载更多的缓存啊;

Diablo

目前sdb使用文件系统缓存，不需要配置。