2021巨杉数据库新春学霸周-SequoiaDB v5.0版本升级

使用更先进的浏览器访问效果更佳。

2021巨杉数据库新春学霸周-SequoiaDB v5.0版本升级

Public_SDB

为期七天的春节小长假将至，巨杉数据库祝大家牛年大吉，牛气冲天！同时，杉杉为大家准备了干货满满的技术专题课程，让您在假期轻松充电，赢取壕礼！

*建议使用PC端学习并完成学习任务~如使用手机端，请复制以下内容至微博：
#SequoiaDB新春学霸周# 速来围观我的学习笔记 http://idea.sequoiadb.com/cn/d/1563（分享自 @巨杉数据库）

本技术专题视频将向大家介绍SequoiaDB v5.0版本升级的新功能特性。视频观看完成后，记得一定要完成以下两个任务呦~

学习赢壕礼任务
任务一：在本专题帖子中完成学习笔记，可回复对本节课的理解、心得、思考或对课程内容的疑问等字数需超过100字哦~
任务二：成功发布回复后，选择「微博分享」，将笔记内容转发至微博，获取更多小伙伴的关注~

学习奖励
2月18日，杉杉会统计完成以上两个学习任务的小伙伴，获得如下奖励：

• 每人获得「巨杉大学纪念章」一份
• 本专题中，杉杉将选取6篇精品学习笔记，共6人获得奖励。
• 一等奖：「巨杉大学纪念奖牌」+「888元京东E卡」（1人）
• 二等奖：「巨杉大学纪念奖牌」+「388元京东E卡」（2人）
• 三等奖：「巨杉大学纪念奖牌」+「188元京东E卡」（3人）

2月18日将在巨杉数据库微信公众号发布获奖名单，记得查看哦~

学习赢壕礼，快来参与吧！

SJBdongs

Public_SDB
4层容灾熔断保障
1.数据中心：最大保护，最大性能，最大可用
2.服务器：计算层多主节点，计算层无状态切换，数据库层多副本
3.磁盘：AI故障判断，故障自动剔除，支持HDD和SSD混合
4.数据表：最少副本控制，表独立控制，在线生效不停库

STP技术
STP Server Master (DEBTP) ---- STP Client
STP Server Master (Raft) ---- STP Server

SQL实例增强如下：
支持无事务模式，能够实现批量非事务的高性能操作；
完善表、列、主键和索引的修改操作；
支持多实例元数据实时同步，提供高可用能力；
Update/Delete/Count/Autocommit 下推优化，提升性能；
支持 Insert ... on duplicate key update ... 语法；
支持 MySQL 5.7.31；
支持 geometry 空间数据类型；
支持 PARTITION BY 语法；
支持配置安全密码；
支持 order by/limit 下退下推优化，提升性能

存储引擎增强:
支持基于多版本的事务并发控制 ( MVCC, Multi Version Concurrency Contral )
完善全局一致性事务，全面支持会话级 RU、RC、RS、RR多种隔离级别；且事务支持跨引擎的一致性；
支持全局逻辑时间 ( STP 逻辑时间协议 )，全局事务ID和事务快照通过本地逻辑时间生成，没有全局事务中心管理节点，全完分布式的全局事务能力，随着集群规模的增长，全局事务性能呈线性增长；
Insert/Update/Delete 等支持返回记录数和详细错误信息；
插入数据支持重复键替代( insert ... on duplicate replace )；
访问计划实现自动过期清理，以及对 $in 操作进行参数化和缓存；
全文索引支持字符串数组，以及 $or 和 $not 操作；
索引支持 not null 约束；
命令位置参数支持 InstanceID ；
大对象存储支持按时间序进行垂直分区，提升对大对象的存取和管理能力，可以快速按时间进行归档和清理；
大对象List操作支持过滤条件和精准匹配；
重选举支持指定节点在线切换，对外部业务完全透明无影响；
复制日志支持开启全量模式和时间字段，可以通过工具进行增量数据抽取；
多唯一索引的集合支持副本节点并发数据同步和重放；
新版实例元数据同步机制，旧版元数据同步使用 meta_sync 脚本工具实现有诸多限制。新版实例元数据同步使用 mysql 插件引擎实现，简化安装部署，解决旧版同步工具限制问题；
分区组内数据节点心跳支持 UDP/TCP 两种协议，并能实现自动探测和切换；
提供基于 SCRAM-SHA-256 认证机制的安全鉴权协议，可防止重放攻击、网络窃听攻击、数据破解、服务端伪造等；
提供分区组容错熔断机制，通过配置开启错误和风险智能检测，并提供“熔断”、“半容错”和“全容错”三种容错级别，实现高可用；
引入读写分离过期机制，实现“读写分离”和“读我所写”的自动切换，既满足数据的一致性，又实现负载分离；
增加 update one / delete one 功能；
更新符支持用一个字段更新另一个字段；
支持 LOB 并发读写；

xiaotom

Public_SDB
介绍SequoiaDB v5.0版本新功能特性

一、5.0版本总统情况
（一）引擎级多模，为开发者提供灵活的兼容协议。
兼容MySQL
兼容MariaDB
兼容PGSQL
兼容MongoDB
兼容Spark，并
兼容S3
兼容PosixFS
（二）支持多种数据库实例
关系型：MySQL、MariaDB（New）、PostgreSQL、SparkSQL
文档型：SequoiaDB API、MongoDB(New)
对象型：S3、PosixFS

二、SQL实例增强方面介绍
（一）增加无事务模式，实现批量非事务的高性能操作
（二）完善表、列、主键和索引的修改操作
（三）Update、Delete、Count和Autocommit下推优化，提升性能
（四）支持Insert...on duplicate key update ...语法
（五）支持PARTITION BY语法
（六）支持order by、limit下压，优化order by、limit语句的性能表现
（七）支持多实例元数据实时同步，提供高可用能力
三、存储引擎增强方面介绍
（一）支持基于多版本的事务并发控制（mvcc）
（二）完善全局一致性事务，全面支持会话级RU、RC、RS、RR多种隔离级别，且事务支持跨引擎的一致性
（三）支持全局逻辑时间（STP）
（四）大对象存储支持按时间序进行垂直分区
｛五｝重选举支持指点在线切换，对外部业务完全透明无影响
（六）提供分区组容错熔断机制，通过配置开启错误和并提供风险智能检测，并提供熔断、半容错和全容错3种容错级别，实现高可用
金融级[四层】容灾熔断保障:数据中心层、服务器层、磁盘层和数据表
四、STP介绍

gandewu

一、sql实例增强
1、sql下压操作可以整体提升大数据量的更新、分组和统计效率，这是很好的优化。
2、支持mysql多实例元数据实时同步，解决了麻烦的审计日志配置步骤，这个是很优秀的升级特点！
3、mvcc、RR 越发完善的并发事务，和全局一致性。

二、特色STP
该技术在判断事务先后顺序上面有了很大的提升，可以更好的保障大量节点的并发。

ps：万物之始，大道至简，衍化至繁。
5.0新增的操作还是挺多的，唯一不希望看到的是每次升级就会出现很多很多的配置。
虽然还未接触过stp，但是希望能简化启用方式和步骤。
不仅给大家一个更丰富更完善的功能，也要让大家用起来更简单更方便。
最后，感谢大神的分享，祝sdb牛气冲天。

caojunbo

    随着早些年的“斯诺登”安全事件、到“去IOE”，在到国际贸易的紧张形势，我们已经意识到在各个领域都必须具备先进、核心技术，才能保证高效生产。在这种背景下，各种自主品牌如雨后春笋般涌现，光数据库品牌就有100多家。巨杉数据库，作为国内最早布局分布式数据库产品的公司，自2011年成立起，9年来一直坚持以原生分布式数据库作为核心产品，用自身实力扎根于多家大型企业单位，并以免费认证等有效手段去推广产品，让跟多的技术人员认识、了解、使用分布式数据库，建立一个良好的生态圈。我接触过的巨杉数据库版本为3.0，这次看了5.0的新特性介绍，有一些自己的感想。
    5.0的改进有很多，我认为可以分为内功和外功。内在的引擎处理能力，我认为是内功，外在的易用性增强，我认为是外功。由外而内，有哪些改动呢？
  ** 外功**
   1.计算层增加MariaDB和MongoDB，对于开发人员更加友好，增加MongoDB引擎无需再去学习底层的API，减少了学习成本；增加mariaDB也是同理，一是mariaDB作为社区版，在运维工具和sql方面都更加“接地气”，另一方面，mysql可能会有闭源风险，mariaDB可以承担起OLTP殷勤的角色。
   2.支持parition by语法、支持insert...on dumplicate key update ...语法等，提升了sql语法的兼容性，让系统改造的代价更小。
  ** 内功**
   1.增加无事务模式，典型场景是新上线系统在初始化数据时，可以节约时间。下推优化，可以将数据处理尽量在底层完成，计算层只接收结果，以提升处理性能。支持多实例元数据同步，可以让计算引擎“无状态”，可以随意增减切换。
   2.金融级数据库的核心要求就是一致性和高可用，5.0在这两块做了很大改进。一致性方面，支持MVCC和跨引擎的一致性，高可用方面提供了数据中心层、服务器层、磁盘层、数据表层多层级熔断机制，AI算法检测风险并提供熔断、半容错、全容错等三种级别，为金融客户建设系统在考虑高可用时有了更多且更有保障的选择；同时根据raft协议实现重选举支持指定节点在线切换，对外部业务透明。
   3.最后的黑科技是STP（全局逻辑时间），目前分布式数据库产品都是采用GTM去保证全局一致性读。在大规模集群中，超高并发的场景可能会使具有中心特性的GTM出现如网络收发包、CPU处理等瓶颈，影响整体的处理性能。而STP解决了这个问题，它不依赖于某个节点，消除了原先GTM带来的性能瓶颈，真正做到性能随着节点的增加而线性增加！
    巨杉数据库不断修炼内力（核心存储层完全自主研发并持续优化改进），并谦逊儒雅、随和近人（易用性增强），大批武林豪杰慕名而来讨教切磋（推广培养生态），最终定能成为数据库这个武林中的带头大哥！

无处不在

近几年越来越多的银行或一些机构开始采用国产化的软件中间件和数据库来实现自己的服务，在国产数据库领域内，我感觉目前巨衫数据库应该是唯一一家有着完善的安装使用教程、下载地址、交流社区、培训课程的厂商，在我接触到的其他数据库厂商几乎都没有这些资源，导致学习和用到实际的生产中存在很大的问题，完善的生态环境也让很多人开始了解和学习巨衫数据库。
我所在的公司用巨衫主要是感觉到这个东西可以代替MongoDB，实现一些JSON文档数据库的基础操作，感觉很不错。

本节课的理解：
1、新版本基于原有引擎，增加了MongoDB兼容和MariaDB的兼容，我感觉最好的就是支持了MongoDB的兼容，估计会带来一些新的市场机会,我也是比较关注的这个功能，对于关系型数据库、文档型数据库、对象型数据库支持的更好了
2、SQL实例的增强中，我比较关注的点是：
(1）、增加无事物模式的支持，实现批量非事务的高性能操作。针对这个点，估计在JDBC批量插入的场景时会带来很大的帮助，众所周知Oracle关系型数据库的插入速度是最快的，希望这个功能可以逐渐向其靠其靠拢
(2)、分区语法partition by的支持。这个功能的增强应该算是分布式数据库的一个基础能力了，也是特别的好
（3）、多实例的元数据同步增强。这个功能对于集成了多个引擎的环境来说，简直是超棒的功能，记得早期的版本应该是需要手动的创建的。这个功能极大的提高了操作数据库的便利
3、存储引擎的增强中，我比较关注的点是：
（1）、大对象的存储能力。这个功能的增强，也提高了用巨衫数据库搭建公司内部的影像平台的使用程度和维护性，目前感觉很多厂商都用影像平台来存储日常的文档和数据
（2）、MVCC的支持
（3）、相关熔断的处理
本节课的心得：
通过本节课的30分钟的视频介绍，让我了解了巨杉数据库的一个划时代的数据库产品，应该算是正式的一个分布式数据库了，同时巨杉也在一直完善其生态社区，让更多的人来逐步的了解和使用，估计在接下来的1-3年内会出现很多使用巨衫数据库的机构，还有一个心得就是我一直感觉好像有些人用巨衫只是用它里面的某几个点，比如我公司用主要就是用它代替mongodb，其他的功能其实并不是特别关注的，相信也有人也是用它的MySQL引擎的，感觉这个时候巨衫就很强大了，满足了多个场景的支持,希望牛年牛气冲天。

本节课的思考：
1、我觉得可以介绍下MongoDB的支持情况，以及开发者关注的Spring Data MongoDB API的支持情况，这样很多系统无需改造，直接用MongoDB的API就可以做些日常的CRUD操作了，比如在后续版本中能否支持自动创建集合的功能，这个是我比较期待的

本节课的疑问和建议：
1、建议增加对OLAP场景的支持程度和能力的一个说明和介绍
2、建议介绍下绑定的PostgreSQL的版本号，和MySQL的版本号和MongoDB兼容的版本号
3、我比较关注数据库的计算能力，希望可以在视频中补充一下计算能力的说明

巨衫目前的种种的表现，都是在为成为国产数据库的带头大哥而努力奋斗，希望牛年牛气冲天！

朱俊强

1、新版本基于原有引擎，增加了MongoDB兼容和MariaDB的兼容，会带来一些新的市场机会,我也是比较关注的这个功能，对于关系型数据库、文档型数据库、对象型数据库支持的更好了
2、SQL实例的增强：
增加无事物模式的支持，实现批量非事务的高性能操作。针对这个点，估计在JDBC批量插入的场景时会带来很大的帮助。
分区语法partition by的支持。这个功能的增强应该算是分布式数据库的一个基础能力。
多实例的元数据同步增强。这个功能对于集成了多个引擎的环境来说，简直是超棒的功能，记得早期的版本应该是需要手动的创建的。这个功能极大的提高了操作数据库的便利。

luchatex

一、5.0版本升级内容

在原有SequoiaDB API、MySQL实例、PGSQL实例、SparkSQL、S3 API、Posix FS基础上新增 MariaDB实例和MongoDB API

二、SQL增强
1、在MySQL实例里增加无事务模式、实现批量非事务的高性能操作
2、在SQL实例里，完善表、列、主键和索引的修改操作
3、Update/Delete/Count/Autocommit 下推优化，提升性能
例如count值的计算，下压到存储引擎
4、支持Insert …… on duplicate key update ……语法
5、支持PARTITON BY语法
6、支持order by/limit 下压,优化语句性能表现
7、支持多实例元数据实时同步，提供高可用能力

三、存储引擎增强
1、支持基于多版本的事务并发控制（MVCC功能）
适用于OLTP场景
2、完善全局一致性事务，全面支持会话级RU、RC、RS、增加RR多种隔离级别，切事务支持跨引擎的一致性
3、支持全局逻辑时间(STP),全局事务ID和事务快照通过本地逻辑时间生成
4、大对象存储支持按时间序进行垂直分区，提升对大对象的存取和管理能力，可以快速按时间进行归档和清理
可以持续对大对象进行零停机的快速扩容
5、重选举支持指定节点在线切换，对外部业务完全透明无影响
6、提供分区组容错熔断机制，通过配置开启错误和风险智能检测，并提供熔断、半容错和全容错的三种容错级别，实现高可用
金融级【四层】容灾熔断保障

四、STP介绍
STP技术，全局逻辑时钟协议
解决了分布式事务获取版本号的问题，全局无中心设计

【心得体会】
过去工作中采集数据为了方便使用了MongoDB数据库，为了提取数据还使用了消息队列等ETL方式，换成SequoiaDB后，真正实现了无缝切换，随需扩展的分布式
尤其是5.0版本的升级，极大的增强了SequoiaDB的应用场景能力，部署原生的分布式数据库，解决了数据库管理的很多应用难题。

【建议】
1、虽然巨衫每次升级都是放大招，增加很多实用新功能，也希望巨衫的小版本迭代更好更快一些。
2、如果使用原生SequoiaDB 的存储引擎，不使用MySQL实例等，目前只能登陆SAC查看数据或切换到服务器shell方式，还不是很方便，希望有客户端支持，或者对MongoDB增加客户端支持，经过测试，目前极个别MongoDB客户端可以查看数据，但不是很稳定
3、希望如阿里云也能提供SequoiaDB支持，或者增加容器化部署的内容
4、希望开发一些SequoiaDB 日志实时同步的插件功能，如支持Kettle等，这样如果不使用MySQL实例也能把数据同步到其他数据库，或做一些ETL处理等。

xiejianhong

SequoiaDB 5.0 的新特性主要是服务实例、存储引擎两个层面的。
服务实例层面新增的特性主要是提升易用性、高可用性、sql语法兼容性、查询性能等方面。如：
1.增加 MonoDB 实例，支持采用MariaDB数据库的应用迁移至SequoiaDB，同时减少开发者的学习成本。
2.增加 MariaDB 实例，可以支持使用Hash Join或其他高级的SQL语法。
3.支持insert... on dumplicate key update,partition by 语法等。
4.支持无事务模式，可以提高新系统上线，进行数据初始化的性能。
5.支持order by/limit下压、update/delete/count/autocommit 下推，将数据处理的操作尽可能地在存储引擎中完成，服务实例只负责接收结果，提高服务性能。

存储引擎层面新增的特性主要是提升事务支持能力、高可用性，如：
1.支持MVCC 以及 RU、RC、RS、RR多种隔离级别，且事务支持跨引擎一致性。
2.重选举支持指定节点在线切换，对外部业务完全透明无影响。
3.支持全局逻辑时间(STP)，能够避免具有中心特性的GTM在大规模集群中，超高并发的场景下的性能瓶颈问题。
4.支持数据中心层、服务器层、磁盘层、数据表层多层级熔断机制，AI算法风险智能检测并提供熔断、半容错、全容错等三种级别。

IO_Dev

xiejianhong 你好，有相关兼容操作文档吗