数据量较大的场景，如何设计集合结构？

使用更先进的浏览器访问效果更佳。

数据量较大的场景，如何设计集合结构？

rand

业务场景如下：

单条数据结构为：{ "_id": XX, "key": value } ，其中value长约2KB

有两种操作：

1. 插入，每秒1w次左右，一天大概存10亿条，我们希望能存最近7天的数据（7天最好，至少也要保证存最近24小时的数据）。

2. 查询，指定一个_id，返回value，每秒3k次以上，绝大多数_id会是最近12小时插入的。

如果把数据都放到一个collection中，查询的速度是否能跟上？

如果查询速度不够，希望根据插入时间，将数据分组（越近插入的数据越可能被查询命中），以提高查询速度。。不清楚一个collection中能否实现这样的数据分组？

上述的业务需求，如何设计集合结构和查询操作？刚入门选手，希望能有具体一些的回答。。万谢~

Diablo

增加一个时间字段。按照时间做垂直分区。子表按照_id做水平分区。

一天的增量大概1.8T，要计算一下垂直分区的区间范围。

过期的数据从主表中detach掉，拿去归档或者直接删除。

rand

还是有几处没想明白，希望有更具体的方案

1. 增加时间字段，按照时间做垂直分区

我想保存24*7的数据，并切分为168份，如果设hour字段，0-23是每天不变的，但date一直在变，这时如何设定时间字段呢？

2. 关于水平区分的概念

垂直分区后是否意味着在查询时，SDB可以定位到该时间字段的索引，从而加快查询速度？

Diablo

1. 选择绝对时间而不是相对时间，虽然这样需要定期attach新的子表，detach旧的子表，但是可以有效的管理各个子表，避免不同时期的数据混在一个表中。

2. 即使是一个非分区的表也可以自动进行索引的匹配。

3. 水平分区的意义在于将数据分摊到不同的分区组上，这样平摊了整个系统的压力。比如将一个表分hash到三个分区上，这样每个分区的压力理论上就是不分区的三分之一。

4. 垂直分区实际上是一个逻辑上的概念，一个垂直分区的表(简称主表)实际上不存储任何数据。数据存储在主表下的子表中。

假如我们有一个主表foo.bar，然后对应2015031114(14时)这个区间attach一个子表foo.bar1, 对应2015031115这个区间attach一个子表foo.bar2, 对应2015031116区间attach一个子表foo.bar3.

这时实际上我们有三个物理的表foo.bar1, bar2, bar3。各自存储了不同时间段的数据。这样查询单个时间段的数据时相互间就不会有额外的影响。而主表foo.bar可以对外以一个独立的表提供服务，它会根据查询条件自动将请求压到相应的子表中，使外部不需要看到三张表。

这样做还有一个好处。假如我不想要2015031114这个时间的数据，只需要把这个子表从主表中detach出去。(至于这个foo.bar1要删除还是保留就看需求了)。这时主表在遇到新的请求时，就会自动屏蔽落在foo.bar1的部分。

rand

学到了，这回思路清晰不少

还有个需求，我们的业务在查询时，越新的数据越有可能被命中，所以希望在不指定区间范围时，从最新（时间值最大）的子表开始查下去。。

不知道SDB是否支持这样的查询？

Diablo

这个“越新的数据”对于数据库是否是一个可见的条件？如果单单是业务上希望时间越近的数据越先返回，那么按照时间做逆序排序就可以了。

rand

感谢指点

又遇到一些问题，现在已经实现按"time"做Range的垂直分区，为了提高写入速度，想按照"_id"做水平分区，但autosplit貌似不支持Range分区键。

因为同一小时内写入的数据time相同，如果按time做水平分区对写入没什么提升吧

目前的创建分区和attach代码如下：

# db.stormstore.createCL("main", {ShardingKey:{"time":-1}, IsMainCL:true})

# db.stormstore.createCL("cl2015031201", {ShardingKey:{"time":-1})

# cl.attachCL("stormstore.cl2015031201",{LowBound:{time:2015031201},UpBound:{time:2015031202}})

业务中"_id"可保证全局唯一，但其大小无规律，这时如何按"_id"做水平分区？

Diablo

/// 建立域，省去手工管理切分的麻烦，假如有三个数据组

db.createDomain("myDomain", ['datagroup1', 'datagroup2', 'datagroup3'], {AutoSplit:true} )

/// 建立cs，关联到域上

db.createCS('stormstore', {Domain:"myDomain"})

/// 建立主表

db.stormstore.createCL("main", {ShardingKey:{"time":-1}, IsMainCL:true})

/// 建立水平分区的子表，类型为hash分区.

/// 如果cl中不指定autosplit，则取域中的配置。我们在域中打开了autosplit。

/// 所以只要是分区的表都是自动切分。

db.stormstore.createCL("cl2015031201", {ShardingKey:{"_id":1}, ShardingType:"hash"})

/// attach cl

cl.attachCL("stormstore.cl2015031201",{LowBound:{time:2015031201},UpBound:{time:2015031202}})

/// 如果有按照时间精确查询的需求，创建一个索引. 已经attach进去的子表中会自动创建这个索引。

db.stormstore.mian.createIndex("time", {time:-1})

这样就能保证同一时间插入的记录分散到不同数据组上了。

手动敲的命令，可以看一下思路。

rand

看起来完美解决了我们的需求，nice啊