mycat的基本介绍
前置知识
分布式数据库
分布式数据库是指数据在物理上分步而在逻辑上集中管理的数据库系统。物理上分步是指分布式数据库的数据分步在物理位置不同并由网络连接的节点或站点上；逻辑上集中是指各数据库节点之间在逻辑上是一个整体，并由统一的数据库管理系统管理，不同的节点分步可以跨不同的机房、城市甚至国家。
分布式数据库的特点:
透明性： 用户不必关系数据的逻辑分区和物理位置分步的细节，也不必关系重复副本的一致性问题，同时不必关系在局部场地上数据库支持哪种数据模型，对于开发工程师而言，当数据库从一个场地移到另一个场地时必须改写应用程序，使用起来如果一个数据库。
数据冗余性： 分布式数据库通过冗余实现系统的可靠性、可用性，并改善其性能。多个节点存储数据副本，当某一个节点的数据遭到破坏时，冗余的副本可保证数据的完整性；当工作的节点受损害时，可通过心跳等机制进行切换，系统整体不被破坏。还可以通过热点数据的就近分步原则减少网络通信的消耗，加快访问速度，改善性能。
易于扩展性： 在分布式数据库中能够方便地通过水平扩展提高系统的整体性能，也能够通过垂直扩展来提高性能，扩展并不需要修改系统程序。
自治性： 各节点上的数据由本地的DBMS管理，具有自治处理能力，完成本场地的应用或局部应用
分布式数据库的实现原理
1、数据分片
数据分片是指将数据全局地划分为相关的逻辑片段，有水平切分、垂直切分、混合切分三种类型。
水平切分： 按照某个字段的某种规则分散到多个节点库中，每个节点中包含一部分数据。可以将数据的水平切分简单理解为按照数据行进行切分，就是将表中的某些行切分到一个节点，将另外某些行切分到其他节点，从分布式的整体来看它们是一个整体的表
垂直切分： 一个数据库由很多表构成，每个表对应不同的业务，垂直切分是指按照业务将表进行分类并分不到不同的节点上，垂直拆分简单明了，拆分规则明确，应用程序模块清晰、明确、容易整合，但是某个表的数据量达到一定程度后扩展起来比较困难。
混合切分： 水平切分和垂直切分的结合
OLTP和OLAP
在互联网时代，海量数据的存储和访问成为系统设计与使用的瓶颈，对于海量数据处理，按照使用场景，主要分为两种类型：联机事务处理（OLTP）和联级分析处理（OLAP）。
联机事务处理也称为面向事务的处理系统，其基本特征是原始数据可以立即传送到计算中心进行处理，在很短的时间内给出处理结果。
联级分析处理是指通过多维的方式对数据进行分析、查询和报表，可以同数据挖掘工具、统计分析工具配合使用，增强决策分析功能。
两者之间的区别:
| OLTP | OLAP | |
|---|---|---|
| 系统功能 | 日常交易处理 | 统计、分析、报表 |
| DB设计 | 面向实时交易类应用 | 面向统计分析类应用 |
| 数据处理 | 当前的，最新的细节的， | 历史的、聚集的、多维的、集成的 |
| 实时性 | 实时读写要求高 | 实时要求读写低 |
| 事务 | 强一致性 | 弱事务 |
| 分析要求 | 低，简单 | 高，复杂 |
mycat的基本介绍
mycat是什么
它是一个开源的分布式数据库系统，是一个实现了 MySQL 协议的Server，前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可以用MySQL 原生（Native） 协议与多个 MySQL 服务器通信，也可以用 JDBC 协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为 N 个小表，存储在后端 MySQL 服务器里或者其他数据库里。
对于DBA而言，可以这么理解mycat：
Mycat就是MySQL Server,而Mycat后面连接的MySQL Server,就好像是MySQL的存储引擎，如InnoDB,MyISAM等，因此，Mycat本身并不存储数据，数据是再后端的MySQL上存储的，因此数据可靠性以及事务都是MySQL保证的，简单说，Mycat就是MySQL最佳伴侣，它再一定程度上让MySQL拥有了能跟Oracle PK的能力。
对于软件工程师来说，可以这么理解mycat:
Mycat就是一个近似等于MySQL的数据库服务器，你可以用连接MySQL的方式去连接Mycat，除了端口不同，默认的mycat端口是8066而不是mysql的3306，因此需要再连接字符串上增加端口信息，大多数情况下，可以用你熟悉的对象映射框架使用mycat，但建议对于分片表，尽量使用基础的SQL语句，因为这样能达到最佳性能，特别是几千万甚至几百亿条记录的情况下。
对于架构师来说，可以这么理解mycat：
mycat是一个强大的数据库中间件，不仅仅可以用作读写分离、以及分库分表、容灾备份，而且可以用于多租户应用开发，云平台基础设施，让你的架构具备很强的适应性和灵活性，借助于即将发布的mycat只能优化模块，系统的数据访问瓶颈和热点一目了然，根据这些统计分析数据，你可以自动或手工调整后端存储，将不同的表映射到不同的存储引擎上，而整个应用的代码一行也不用改变。
mycat的原理
mycat的原理中最重要的一个动作是“拦截”，它拦截了用户发送过来的SQL语句，首先对SQL语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此SQL发送后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户。
应用场景
mycat发展到现在，使用的场景已经很丰富，而且不断有新用户给出新的创新性的方案，以下是典型的应用场景：
1、单纯的读写分离，此时配置最为简单，支持读写分离，主从切换
2、分库分表，对于超过1000万的表进行分片，最大支持1000亿的单表分片
3、多租户应用，每个应用一个库，但应用程序只连接mycat，从而不改造程序本身，实现多租户化
4、报表系统，借助mycat的分表能力，处理大规模报表的统计
5、整合多数据源
6、作为海量数据实时查询的一种简单有效方案，比如100亿条频繁查询的记录需要在3秒内查询出来结果，除了基于主键的查询，还可能存在范围查询或其他属性查询，此时mycat可能是最简单有效的选择
7、数据库路由器，mycat基于mysql实例的连接池复用机制，可以让每一个应用最大程度地共享一个mysql实例地所有连接池，让数据库地并发访问能力大大提升
为什么使用mycat、与其余数据库中间件的对比
1、java与数据库紧耦合
2、高访问量高并发对数据库的压力
3、读写请求数据不一致
| 对比项目 | mycat | mango | cobar | heisenberg | altas | amoeba |
|---|---|---|---|---|---|---|
| 数据切片 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 |
| 读写分离 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 |
| 宕机自动切换 | 支持 | 不支持 | 支持 | 不支持 | 半支持，影响写 | 不支持 |
| mysql协议 | 前后端支持 | JDBC | 前端支持 | 前后端支持 | 前后端支持 | JDBC |
| 支持的数据库 | mysql，oracle，mongodb，postgresql | mysql | mysql | mysql | mysql | mysql，mongodb |
| 社区活跃度 | 高 | 活跃 | 停滞 | 低 | 中等 | 停滞 |
| 文档资料 | 极丰富 | 较齐全 | 较齐全 | 较少 | 中等 | 缺少 |
| 是否开源 | 开源 | 开源 | 开源 | 开源 | 开源 | 开源 |
| 是否支持事务 | 弱XA | 支持 | 单库强一致，分布式弱事务 | 单库强一致，多库弱事务 | 单库强一致，分布弱事务 | 不支持 |
mycat的核心概念
mycat是数据库中间件，就是介于数据库与应用之间，进行数据处理和交互的中间服务。从原有的一个库，被切分为多个分片数据库，所有的分片数据库集群构成了整个完整的数据库存储。
如上图所示，数据被分到多个分片数据库之后，应用如果需要读取数据，就要处理多个数据源的数据。如果没有数据库中间件，那么应用将直接面对分片集群，数据源切换、事务处理、数据聚合都需要应用直接处理，原本该是专注于业务的应用，将会话大量的工作来处理分片后的问题，最重要的是每个应用处理将是完全的重复造轮子。
1、逻辑库
对于实际应用而言，其实并不需要知道中间件的存在，开发人员只需要知道数据库的概念即可，所以数据库中间件可以被看作是一个或多个数据库集群构成的逻辑库。
2、逻辑表
既然有逻辑库，那么就应该有逻辑表，在分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表可以使数据切分后，分步在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成
3、分片表
分片表，是指哪些原有的很大数据的表，需要切分到多个数据库的表，这样每一个分片都会有一部分数据，所有分片构成了完整的数据。
4、非分片表
一个数据库中并不是所有的表都很大，某些表是可以不用进行切分的，非分片是相对分片表来说的，就是那些不需要进行数据切分的表。
5、ER表
关系型数据库是基于实体关系模型之上，通过其描述了真实世界中事物与关系，mycat中的ER表既是来源于此。根据这一思路，提出了基于ER关系的数据分片策略，子表的记录与所关联的父表记录存放在同一个数据分片上，即子类依赖于父类，通过表分组保证数据join不会跨库操作。
表分组是解决跨分片数据join的一种很好的思路，也是数据切分规划的重要一条规则。
6、全局表
一个真实的业务系统中，往往存在大量的类似字典表的表，这些表基本上很少变动，字典表具有以下几个特点：
1、变动不频繁
2、数据量总体变化不大
3、数据规模不大，很少有超过数十万条记录
对于这类的表，在分片的情况下，当业务表因为规模而进行分片以后，业务表与这些附属的字典表之间的关联，就成了比较棘手的问题，所以mycat中通过数据冗余来解决这类表的join，即所有的分片都有一份数据的拷贝，所有将字典表或者符合字典表特性的一些表定义为全局表。
数据冗余是解决跨分片数据join的一种很好思路，也是数据切分规划的另外一条重要原则
7、分片节点（dataNode）
数据切分后，一个大表被分到不同的分片数据库上面，每个表分片所在的数据库就是分片节点（dataNode）
8、节点主机（dataHost）
数据切分后，每个分片节点（dataNode）不一定都会独占一台机器，同一机器上面可以有多个分片数据库，这样一个或多个分片节点（dataNode）所在的机器就是节点主机（dataHost）,为了规避单节点主机并发数限制，尽量将读写压力高的分片节点（dataNode）均衡的放在不同的节点主机（dataHost）。
9、分片规则
数据切分是指一个大表被分成若干个分片表，就需要一定的规则，这样按照某种规则把数据分到某个分片的规则就是分片规则，数据切分选择合适的分片规则非常重要，将极大的避免后续数据处理的难度。
10、全局序列号
数据切分后，原有的关系数据库中的主键约束在分布式条件下将无法使用，因此需要引入外部机制保证数据唯一性标识，这种保证全局性的数据唯一标识的机制就是全局序列号。
11、多租户
多租户技术或称多重租赁技术，是一种软件架构技术，它是在探讨与实现如何于多用户的环境下共用相同的系统或程序组件，并且扔可确保各用户间数据的隔离性。在云计算时代，多租户技术在共用的数据中心以单一系统架构与服务提供多数客户端相同甚至可定制化的服务，并且仍然可以保障客户的数据隔离。目前各种各样的云计算服务就是这类技术范畴，例如阿里云数据库服务（RDS），阿里云服务器等等。
多租户在数据存储上存在三种主要的方案，分别是：
1、独立数据库
一个租户一个数据库，这种方案的用户数据隔离级别最高，安全性最好，但成本也高。
优点：为不同的租户提供独立的数据库，有助于简化数据模型的扩展设计，满足不同租户的独特需求，如果出现故障，恢复数据比较简单。
缺点：增大了数据库的安装数量，随之带来维护成本和购置成本的增加
2、共享数据库，隔离数据架构
多个或者所有租户共享database，但是每一个租户一个schema
优点：为安全性要求较高的租户提供了一定程度的逻辑数据隔离，并不是完全隔离；每个数据库可以支持更多的租户数量
缺点：如果出现故障，数据恢复比较困难，因此恢复数据库将牵扯到其他租户的数据，如果需要跨租户统计数据，存在一定困难
3、共享数据库，共享数据结构
租户共享同一个database，同一个schema，但在表中通过tenantID区分租户的数据。这是共享程度最高、隔离级别最低的模式
优点：维护和购置成本最低，运行每个数据库支持的租户数量最多
缺点：隔离级别最低，安全性最低，需要在设计开发时加大对安全的开发量，数据备份和恢复最困难，需要逐表逐条备份和还原。
