有没有可能TS这个字段的值过于单一,导致做完hash仅仅有几个取值。这样有一个分区完全没用到。
重新创建新域新组新数据节点。结果还是一样,加了--errorstop true之后也无报错信息。
你提到的TS这个字段过于单一是指,大多数都相同?TS应该也就100条记录左右会相同
数据还少了将近100万左右
最后导入打印出导入成功的数据是多少?
数据是用程序生成的还是真实数据?有没有可能发过来我们在这边尝试一下?
程序生成的数据,记录生成的时候做了下统计。数据压缩了大概90M
怎么发给你们呢,附件上传需要拆成好多份
[email]发送至我们的邮箱,多谢: [email]xujianhui@sequoiadb.com[/email][/email]
没有收到数据文件?
想看看这块的数据 TS 字段有什么特点? 是什么类型?
TS : {"$timestamp":"2015-01-13-10.30.00.960"}
在附件中有一部分数据,
入库之后TS的值是在小数点后补了3个0
2015-01-13-10.30.00.000960
目前试验的结果是在开发版本上partition512没有这个问题。如果是12.2/3 如果用partition512就会有一个分区无法插入数据,但是如果用默认partition就不会有问题。目前还在定位原因。而且这个问题好像只有timestamp类型会有,比如一个数字类型即使是512的也没有不均匀的现象。
如果修复好了,发个更新包给我,我这边也测试下。
创建collection时,采用默认的partition,数据能均匀打散,可以先采用默认值测试。
这个问题原因暂时没找到。我们用相同版本的代码重新编译此问题就消失了,所有极有可能和编译器优化有关。建议你那边不要修改partition为512使用就没有问题了。
采用默认之后可以大体散开。
想问下在数据量一定时partition过多过少是否对性能有影响
理论上partition越多越均匀。但是在这边各个客户的部署情况来看,基本没有更改这个设置的。