query的性能问题

使用更先进的浏览器访问效果更佳。

ggyydm

在测试读性能的时候，我用的是query函数，搜索条件只包括_id值，顺序查找，按说应该是使用了默认索引查询，collection中的数据是1000万，collectionspace中比较多数据，不过应该是没用关系的吧。使用java driver，单机节点，目前有两个疑惑：

1. 查询1千条需要1s，查询1w就需要86s。感觉这种增加不太正常，而本身1W查询需要如此长的时间也难以接受啊。

2.随着查询循环次数的增加会越来越慢？这个很奇怪啊，我在测试写的时候都没有出现这个问题，为什么读反而越来越慢了呢？

对于第二条补充下：对同一个collection，5次读取1W条结果如下：

testDBa2The time used: 86.0

testDBa2The time used: 172.0

testDBa2The time used: 181.0

testDBa2The time used: 179.0

testDBa2The time used: 180.0

对于不同collection 5次读取1W条结果如下：

testDBa2The time used: 86.0

testDBa2The time used: 192.0

testDBa2The time used: 301.0

testDBa2The time used: 396.0

testDBa2The time used: 492.0

这个读的性能和什么相关呢？为什么会出现这样的现象呢？是我的index没有在内存中，载入需要时间？

Diablo

具体的查询和数据的样例发一下?

wangzhonnew

发一下程序吧，是不是有游标泄露

ggyydm

主要的代码如下：

if(db.isCollectionExist(Collection_name))

cl = db.getCollection(Collection_name);

else

{

System.out.println("no Collection");

return;

}

long startTime = System.currentTimeMillis();

for(int i=0;i

{

List insertlist = new ArrayList();

long r_id;

if(random_read)

{

r_id=r.nextInt((int)(num/lock_percent));

}

else

r_id=i;

BSONObject queryCondition = new BasicBSONObject("_id",r_id);

DBCursor cursor =cl.query(queryCondition,null,null,null);

}

long endTime =System.currentTimeMillis();

System.out.println(Collection_name+"The time used: "+Double.toString((endTime-startTime)/1000L/*/((double)cirl_num)*/));

Diablo

你这个地方只做了query，没有遍历完所有cursor返回的数据，造成了corsur的泄露，所以越来越慢了。

DBCursor cursor =cl.query(queryCondition,null,null,null);

while ( cursor.hasNext() )

{

BSONObject obj = cursor.getNext() ;

}

如果不想遍历完数据，需要手动调用cursor.close() ;

ggyydm

果然是这样的，cursor这个不懂，还得好好看看:L

现在1W条记录，稳定耗时15s了