分区集合的几个小问题

使用更先进的浏览器访问效果更佳。

分区集合的几个小问题

Johnny

使用手册上说:

一个分区集合首先会被创建在一个随机的分区组中。如果用户希望对该集合水平切分，将其划分到超过一个分区组中，就需要数据切分功能。

但我看了所有的API都没办法拿到一个分区集合所属的源分区组,这是怎么回事?

按理说可以从中 SYSCOLLECTIONS获得但我去get这个collection时,得不到,用什么方法可以查询数据库的元素?不可写,但应该可读吧.

由于上述问题,在使用切分API的时候,即

db.collectionspace.collection.split(,,, [endcondition])

我为了得到分区集合的源分区组,只能在创建集合时,指定分区组了.

但我在使用split方法时还是有遇到问题:

如一个分区键a,我划分了[0,a1) [a1,a2) [a2, maxkey)三个区间,

集群中一共有三个分区组datagroup1,datagroup2,datagroup3,

我创建分区集合时,初始化到了datagroup1.

第一个是,源分区组不能与目标分区组相同?

我希望在datagroup1明确[0,a1),是由这个分区负责(这样,我在管理分区的范围时能比较明确,而不是说要知道哪些区间被分出去了,剩下的就还在源分区组内),但会报非法参数.

第二个是:目标分区也需要建立一个分区集合?

我在指定[a1,a2) 切分到datagroup2时,提示集合不存在.是否要先在datagroup2上建立一个分区集合,但创建集合是用集合空间.createCollection方法,它会检查集合是否存在.还是说我在建立集合空间时,就应该初始到所有复制组?但创建集合时传的是group,而不是groups.这让我有点迷惑.

综上:

问题1:用什么方法可以查询数据库的元素?

问题2:切分集合时,源分区组不能与目标分区组相同?有什么特别原因?

问题3:切分集合时,目标分区也需要建立一个分区集合?或要,该如何创建?或不要,怎么处理"集合不存在"的错误?

Johnny

顶一下顺便补充一下

我假设初始化集合在datagroup1,水平切分到datagroup2时抛异常

start:{ "p" : 4166} end{ "p" : 8332} destGroupName=datagroup2

Exception in thread "main" com.sequoiadb.exception.BaseException: The collection does not exists on the specified group

Exception Detail:datagroup1 datagroup2 { "p" : 4166} { "p" : 8332}

at com.sequoiadb.base.DBCollection.split(DBCollection.java:1229)

我尝试建立集合时，初始化到多个复制组时

即{group:"datagroup1,datagroup2,datagroup3"}

，会抛群组不存在

Exception in thread "main" com.sequoiadb.exception.BaseException: Group does not exist

Exception Detail:weibo.wise_sina_user { "Compressed" : true , "Group" : "datagroup1,datagroup2,datagroup3" , "ShardingKey" : { "p" : 1} , "IsMainCL" : true}

我尝试在建一个集合多次，每一次指定的初始化group分别是datagroup1,datagroup2,datagroup3时会抛

Exception in thread "main" com.sequoiadb.exception.BaseException: Collection already exists

Exception Detail:weibo.wise_sina_user { "Compressed" : true , "Group" : "datagroup2" , "ShardingKey" : { "p" : 1} , "IsMainCL" : true}

at com.sequoiadb.base.CollectionSpace.createCollection(CollectionSpace.java:188)

许建辉

针对上述的问题，作如下解答：

1、用什么方法可以查询集合所在的分区组信息？

用snapshot catalog接口；如 driver c: sdbGetSnapshot( handle, SDB_SNAP_CATALOG, ...）

shell sdb: db.snapshot( SDB_SNAP_CATALOG, {Name: ... } )

从得到的bson信息的 CataInfo 数据中，可以得到 collection 所在的分区组信息

2、切分集合时，源分区组不能与目标分区组相同？有什么特别原因？

切分的意思就是把指定的数据从源分区组中搬迁到目标分区组中，如果相同，那就没有意义了。

要实现[minkey, a1) [a1, a2) [a2, maxkey] 三个区间（当创建一个collection时其区间一定是[minkey, maxkey]），假设源分区组是 db1, 新增的目标分区组分别是 db2, db3，那么可以

db.foo.bar.split( 'db1', 'db3', {a:a2} ) --- 把 [a2, maxkey ] 切分到 db3

db.foo.bar.split( 'db1', 'db2', {a:a1} ) --- 把 [a1, a2 ) 切分到 db2

这样就可以实现了。

3、切分集合时，目标分区也需要建立一个分区集合？或要，该如何创建？或不要，怎么处理“集合不存在”的错误？

切分时不需要在目标分区组中创建集合，系统会自动创建；如果出现集合不存在，应该是其它操作或原因导致，可否将出现该问题的日志（目的分区组中Primary节点）信息附上，以方便查看原因。

许建辉

1、The collection does not exists on the specified group

这是只集合不在你指定的源分区组上

2、建创集合只能指定一个分区组，不能指定多个，即： {group:"datagroup1"}

3、集合切分会自动在目标分区组中创建集合，集合不能重复创建。

Johnny

The collection does not exists on the specified group

这是只集合不在你指定的源分区组上

这不可能啊。我在创建集合时初始到datagroup1，

在水平切分时，就是用datagroup1作为源分区组。

而且，我在console上看到集合的信息是在datagroup1上的啊。

main集合demo.test信息{ "Attribute" : 1 , "CataInfo" : [ { "SubCLName" : "weibo.wise_sina_user_v1" , "LowBound" : { "" : -9223372036854775808} , "UpBound" : { "" : 50000}}] , "EnsureShardingIndex" : true , "IsMainCL" : true , "Name" : "weibo.wise_sina_user" , "ShardingKey" : { "p" : 1} , "ShardingType" : "range" , "Version" : 19 , "_id" : { "$oid" : "54b5d36e3a4369144cc46cd7"}}

{ "Attribute" : 1 , "CataInfo" : [ { "GroupID" : 1000 , "GroupName" : "datagroup1"}] , "MainCLName" : "demo.test" , "Name" : "demo.test1" , "Version" : 34 , "_id" : { "$oid" : "54b5d36f3a4369144cc46cd8"}}

垂直分区集合demo.test1的信息

{ "Name" : "demo.test1" , "Details" : [ { "GroupName" : "datagroup1" , "Group" : [ { "ID" : 0 , "LogicalID" : 0 , "Sequence" : 1 , "Indexes" : 1 , "Status" : "Normal" , "TotalRecords" : 0 , "TotalDataPages" : 0 , "TotalIndexPages" : 2 , "TotalLobPages" : 0 , "TotalDataFreeSpace" : 0 , "TotalIndexFreeSpace" : 65515 , "NodeName" : "demo.db.seq1:11820"}]}]}

Tanzhaobo

1、db.snapshot( SDB_SNAP_CATALOG, {Name: “foo.bar”} ) // 假设foo.bar是表全称

2、db.collectionspace.collection.split(,,, [endcondition])

根据上面第二点的描述，下面两个操作应该是范围切分。

db.foo.bar.split( 'db1', 'db3', {a:a2} )

db.foo.bar.split( 'db1', 'db2', {a:a1} )

其中第一个命令先把a >= a2的数据由db1 切到 db3, 第二条命令，在db1剩下的数据中，把 a >=a1 的数据由db1 切分到db2。这样就实现了[min, a1), [a1, a2), [a2,max) 三分区间的切分。

许建辉

能否通过 sdb shell 执行 snapshot( SDB_SNAP_CATALOG ) ，并附一下执行结果

Johnny

我这里直接做了混合分区

垂直分区集合demo.test1的信息

Johnny

终于知道原因了。

是我对混合分区理解错了。

垂直分区需要建main集合（定义ShardingKey）和若干子集合，然后调用main集合的attachC的方法

水平分区是在一个非main集合（定义ShardingKey），然后调用此集合的split方法。

混合分区是建立一个main集合，若干个子集合，然后调用main集合的attachC的方法，再调用子集合的split方法。

我的错误在于混合分区时，调用的是main集合的split的方法。

非常感谢上面的大牛的热心回复。

我觉得是否为了避免别人走同样的弯路，可以使用手册中附上一个混合分区的例子？

许建辉

后续考虑加上“混合分区”场景使用介绍

Johnny

我觉得还可以在使用手册上注明

1.db.collectionspace.createCL(,[options])中Group 指定创建在某个复制组。对于IsMainCL＝true时是无效的。（应该没理解错吧？）

2.db.collectionspace.collection.split(,,, [endcondition])

split方法对于IsMainCL＝true时是无效的。（应该没理解错吧？）

许建辉

是的；

多谢这块的意见，在错误这块我们将做到更准确。

许建辉

能否在论坛中给我们发一个“混合分区”的经验分享的贴：）把你使到的场景、遇到的问题、解决办法等经验分享给其它人。

wangzhonnew

楼主这个场景直接给我们征文投个稿，赢个奖品吧:lol

http://www.sequoiadb.com/bbs/forum.php?mod=viewthread&tid=49&extra=page%3D1

Johnny

再过几天吧.等将案例推上生产环境了,再回头整理一下.