使用更先进的浏览器访问效果更佳。

SDB与Spark对接

湖光飞影

SDB与Spark对接

完成SparkSQL与SDB的对接。要求如下：
1.完成Spark集群的部署安装
2.完成与SDB的对接
3.从SparkSQL创建表映射到SDB集合
4.验证对接是否成功

Spark集群的部署安装

SSH无密登录配置

进入.ssh文件目录，生成公钥和私钥
```
ssh-keygen -t rsa
```
将公钥拷贝到要免密登录的目标机器上
```
ssh-copy-id sdbserver1
ssh-copy-id sdbserver2
ssh-copy-id sdbserver3
```

卸载linux自带的jdk，安装自己的jdk

确定JDK的版本
```
rpm -qa | grep jdk
rpm -qa | grep gcj
```
然后卸载
```
yum -y remove 包
```
查看自带的jdk：
```
rpm -qa|grep gcj 
```
在Linux系统下的opt目录中查看软件包是否导入成功
jdk-8u144-linux-x64.tar.gz
解压JDK到/opt/目录下
```
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/
```
配置JDK环境变量
先获取JDK路径
```
pwd
/opt/jdk1.8.0_144
```
打开/etc/profile文件
```
vi /etc/profile
```
在profile文件末尾添加JDK路径
```
#JAVA_HOME
export JAVA_HOME=/opt/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
```
让修改后的文件生效
```
source /etc/profile
```
测试JDK是否安装成功
```
java -version
```
编写同步分发脚本xsync
```
#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=2; host<4; host++)); do
        echo ------------------- sdbservice$host --------------
        rsync -rvl $pdir/$fname $user@sdbserver$host:$pdir
done
```
同步到其它节点
```
xsync  jdk1.8.0_144
xsync  /etc/profile
```
同理在其它机器修改后的文件也要使之生效
```
source /etc/profile
```

安装部署Spark

上传并解压spark安装包
```
tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/
mv spark-2.1.1-bin-hadoop2.7 spark
```
进入spark安装目录下的conf文件夹
```
cd spark/conf/
```
修改配置文件名称
```
mv slaves.template slaves
mv spark-env.sh.template spark-env.sh
```
修改slave文件，添加work节点：
```
vim slaves
sdbserver1
sdbserver2
sdbserver2
```
修改spark-env.sh文件，添加如下配置
```
vim spark-env.sh
SPARK_MASTER_HOST=sdbserver1
SPARK_MASTER_PORT=7077
```
添加以下代码到sbin目录下的spark-config.sh
```
export JAVA_HOME=/opt/jdk1.8.0_144
```
分发spark包
```
xsync spark/
```

Spark与SDB的对接

下载并同步jar包

下载sequoiadb-driver-3.2.jar和spark-sequoiadb_2.11-2.8.0.jar，并放到spark/jars目录下
同步jar包和spark-env.sh文件到其它节点
```
xsync  /opt/spark/jars/
xsync  /opt/spark/conf/spark-env.sh
```

修改配置

修改spark-env.sh文件，添加如下配置
```
SPARK_CLASSPATH="/opt/spark/jars/sequoiadb-driver-3.2.jar:/opt/spark/jars/spark-sequoiadb_2.11-2.8.0.jar"
```

启动SparkSQL

启动Spark
```
sbin/start-all.sh
```
编写xcall.sh脚本
```
#!/bin/bash
params=$@
i=1
for((i=1 ;i <=3 ;i=$i+1 ));do
echo ==========sdbserver$i $params==========
ssh sdbserver$i "source /etc/profile;$params"
done
```
查看Spark进程
方式一(不建议)
```
./bin/spark-sql --master  spark://sdbserver1:7077
```
方式二 (建议)
```
sbin/start-thriftserver.sh --master spark://sdbserver1:7077
bin/beeline
!connect jdbc:hive2://localhost:10000
```
查看SparkSQL启动完成结果

SparkSQL创建表映射到SDB集合

创建test1映射表。其中源数据的集合空间为foo，集合为bar
```
create table test1 (name string, id int) using com.sequoiadb.spark options (host 'sdbserver1:11810,sdbserver2:11810,sdbserver3:11810', collectionspace 'foo', collection 'bar', username 'sdbadmin', password '123123');
```

验证对接是否成功

插入数据前

SparkSQL shell
SDB shell

插入数据

新增数据 ("lin",222)
```
INSERT INTO test1 VALUES ("lin",222)
```

插入数据后

SparkSQL shell
SDB shell