测试环境: 1、一共三台虚拟机,spark和sdb都安装在这3台节点上
2、sdb的建表语句:db.mycs.createCL("test_cl",{ "ShardingKey":{"id":1}, "Group":"datagroup", ReplSize:0})
测试步骤:
sqlContext.sql("CREATE TEMPORARY TABLE datatable USING com.sequoiadb.spark OPTIONS ( host 'server1:11810,server2:11810,server3:11810', collectionspace 'mycs', collection 'test_cl')")
val value = sqlContext.sql(“select * from datatable”)
val rdd = value.rdd
测试结果:
发现如上的rdd的分区数是1,好像不是并行从sdb读取数据的,请问大神如何实现并行读取?