java 使用SequoiadbDatasource 批量插入抛异常

使用更先进的浏览器访问效果更佳。

java 使用SequoiadbDatasource 批量插入抛异常

gqq

com.sequoiadb.exception.BaseException: Remote-node is disconnected

请问是什么原因

Diablo

估计有节点退出了。

首先用sdblist -l检查一下是否所有节点不在运行状态。

如果都在运行则通过ps -ef|grep sequoiadb看一下运行时间。

找到退出的节点后通过日志看一下是正常退出还是异常崩溃。

gqq

userCookie 这个文档我分了四个区，但数据都写到一个区上了，分区键是 date类型，{$date:"2015-03-01"} 到 {$date:"2015-03-07"}

gqq

插入时抛出

2015-04-13 16:30:27 [ERROR] com.gaoqingquan.framework.sequoiadb.dao.SequoiadDao.batchList(SequoiadDao.java:51) : Remote-node is disconnected

Exception Detail:xa

com.sequoiadb.exception.BaseException: Remote-node is disconnected

Exception Detail:xa

at com.sequoiadb.base.Sequoiadb.isCollectionSpaceExist(Sequoiadb.java:602)

at com.sequoiadb.base.Sequoiadb.getCollectionSpace(Sequoiadb.java:573)

at com.gaoqingquan.framework.sequoiadb.dao.SequoiadDao.batchList(SequoiadDao.java:47)

at com.gaoqingquan.framework.sequoiadb.service.AnalysiUserService$UserAnalyThread.run(AnalysiUserService.java:121)

at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:895)

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:918)

at java.lang.Thread.run(Thread.java:662)

Diablo

两个问题一个个看吧。首先看一下disconnected的问题，具体方法见上面。

在各个dbpath/diaglog下有详细的日志。

如果是必现的问题建议将所有日志备份后将原日志删除。然后做批量插入。出错后将所有日志打包传上来。

SDB_jun

如果你用的是1.12版本，可以使用tools下面的sdbsupport工具来收集日志等信息：

./sdbsupport.sh --all 收集整个集群的信息；

./sdbsupport.sh -s 指定机器进行日志等信息的收集

./sdbsupport.sh -p 指定节点进行日志等信息收集

更详细的描述请参照：http://www.sequoiadb.com/cn/document/1.12/index.html

gqq

附件是分区主节点的日志，date为分区键，插入7天的数据，全部写入第四个分区

Diablo

1. 每个节点里的日志都有大量的Error received和心跳中断。你的部署环境是怎么样的？

2. 在coord上运行一下db.snapshot(SDB_SNAP_CATALOG)。贴一下结果。

gqq

db.snapshot(SDB_SNAP_CATALOG)

{

"CataInfo": [

{

"GroupID": 1000,

"GroupName": "g1",

"LowBound": {

"": 0

"UpBound": {

"date": 1024

}

{

"GroupID": 1001,

"GroupName": "g2",

"LowBound": {

"date": 1024

"UpBound": {

"date": 2048

}

{

"GroupID": 1002,

"GroupName": "g3",

"LowBound": {

"date": 2048

"UpBound": {

"date": 3072

}

{

"GroupID": 1003,

"GroupName": "g4",

"LowBound": {

"date": 3072

"UpBound": {

"": 4096

}

"EnsureShardingIndex": true,

"InternalV": 2,

"Name": "xa.userCookie",

"Partition": 4096,

"ShardingKey": {

"date": 1

"ShardingType": "hash",

"Version": 5,

"_id": {

"$oid": "552caca08b75f4ec9daf7404"

}

Return 1 row(s).

Takes 0.96300s.

我是用VMware 开了3个虚拟机做集群

Diablo

1. 是否有方法监控vmware的网络环境。

2. 在coord上find几条数据看看？

gqq

我看几个分区的主节点都是在sdbserver3上，我认为都向主节点写入，网络有问题只是从节点同步有问题，也应该写到不同的分区上

{ "_id": { "$oid": "552cb53e7becac972ed6b134" }, "accessType": 1, "area": "北京", "campaign": "江苏-虚拟主机", "channle": "百度", "channleType": "付费渠道", "cookieId": "002005C2BB2848978A36DB1393FA76A9", "date": {"$date": "2015-02-28"}, "groupSet": "虚拟主机-重点", "ip": "180.149.143.147", "jsSessionNum": 1, "jumpNum": 1, "keyword": "虚拟空间", "landingPage": { "currentUrl": "http://www.123.com/virtualhost/virtualhost.html?utm_source=baidu&utm_medium=cpc&utm_campaign=江苏-虚拟主机&utm_content=虚拟主机-重点&utm_term=虚拟空间", "dateTime": "2015-03-01 16:07:24.0", "pageNO": 1, "pageType": "L", "previousUrl": "", "residenceTime": 0, "timeRange": "2015030116", "urlDetail": "栏目页面", "urlTitle": "产品类型页面", "urlType": "虚机类" }, "leavePage": { "currentUrl": "http://www.123.com/virtualhost/virtualhost.html?utm_source=baidu&utm_medium=cpc&utm_campaign=江苏-虚拟主机&utm_content=虚拟主机-重点&utm_term=虚拟空间", "dateTime": "2015-03-01 16:07:24.0", "pageNO": 1, "pageType": "L", "previousUrl": "", "residenceTime": 0, "timeRange": "2015030116", "urlDetail": "栏目页面", "urlTitle": "产品类型页面", "urlType": "虚机类" }, "medium": "cpc", "orderNum": 0, "pageNum": 1, "pages": [ { "currentUrl": "http://www.123.com/virtualhost/virtualhost.html?utm_source=baidu&utm_medium=cpc&utm_campaign=江苏-虚拟主机&utm_content=虚拟主机-重点&utm_term=虚拟空间", "dateTime": "2015-03-01 16:07:24.0", "pageNO": 1, "pageType": "L", "previousUrl": "", "residenceTime": 0, "timeRange": "2015030116", "urlDetail": "栏目页面", "urlTitle": "产品类型页面", "urlType": "虚机类" } ], "productLine": "虚拟主机", "residenceTime": 0, "terminal": "Mozilla/5.0 (Windows NT 5.1; rv:8.0.1) Gecko/20100101 Firefox/8.0.1" }

Diablo

1. 网络问题是针对开始说的报错问题的排查。和分区的问题无关。

2. 目前确认Date类型和Timestamp类型在hash分区上存在散列值没有变化的问题。非常感谢帮我们找到一个严重的问题。

暂时可以用string类型替代Date规避这个问题。或者创建cl的时候指定使用"range"分区。

gqq

还用一个问题，我几个分区的主节点都在sdbserver3上，是不是因为我的集群太小，只有3个虚拟机，如果集群够大主节点也会分布到其他的主机上？

Diablo

主节点的位置主要和选举策略有关，和机器数量关系不大。也就是说主节点不是随机筛选的而是选举得出的。

在满足超过半数的前提下开始进行选举。选举时升主的判定规则的优先顺序是:

LSN(数据版本) > 权重(可以通过启动参数weight设置，默认都是10) > nodeID(大的当选)。

会不会添加节点的时候sdbserver3固定处于一个位置，导致每次都是这个节点当选。

在部署完成后如果想调整主节点的位置，可以通过修改相应节点weight参数然后重启。然后执行

db.getRG('复制组名字').reelect()来确保主节点调整到相应机器上。

gqq

请问weight参数在哪个文件修改

Diablo

在安装目录conf/local/对应端口/sdb.conf

gqq

没有找到weight参数

gqq

找到了在11810目录下

Diablo

11810是coord节点吧？要改对应的数据节点。

文件里没有可以直接加进去weight=xxx。只要是在sequoiadb --help里出现的配置都可以加进去。