您好,盖德化工网欢迎您,[请登录]或者[免费注册]
  您现在的位置: 主页 > 管家婆心水高手论坛 >
  • 企业实名认证:已实名备案
  • 荣誉资质:0项
  • 企业经济性质:私营独资企业
  • 86-0571-85586718
  • 13336195806
  • MyCat数据库的基础配置及使用
来源:本站原创  作者:admin  更新时间:2019-11-05  浏览次数:

  Hi,欢迎来到梁钟霖个人博客网站。本博客是自己通过代码构建的。前端html,后端java技术。对这些技术有兴趣的朋友可以加入,我们一起学习进步。嘿嘿,欢迎来到梁子个人博客!~

  spx:奇怪,都用json序列化了,为什么还要用hash直接把日期放key里不就好了

  托管中心盟:感觉遍地都是Java了,真正有技术的往往都很低调,一瓶子不满半瓶子咣当的觉得自己啥都会,一上机就LOW爆了

  苏柏弘:要做一个从kafka取出数据然后再存入mongodb的功能 可都是以前没接触过的技术 所以有点无从下手 应该先调接口还是先设计数据库 或者干什么的

  随着计算机和信息技术的迅猛发展,行业应用系统的规模迅速扩大,行业应用所产生的数据量呈爆炸式增长,动辄达到数百TB甚至数百PB的规模,已远远超出传统计算技术和信息系统的处理能力,集中式数据库面对大规模数据处理逐渐表现出其局限性。因此,人们希望寻找一种能快速处理数据和及时响应用户访问的方法,也希望对数据进行集中分析、管理和维护。这已经成为迫切需求。

  分布式数据库是在集中式数据库的基础上发展起来的,是计算机技术和网络技术结合的产物。分布式数据库是指数据在物理上分布而在逻辑上集中管理的数据库系统。物理上分布是指数据分布在物理位置不同并由网络连接的节点或站点上;逻辑上集中是指各数据库节点之间的逻辑上是一个整体,并由统一的数据库管理系统管理。不同的节点分布可以跨不同的机房、城市甚至国家。

  分布式数据库具有透明性、数据冗余性、易于扩展性、自治性等特点,还具有经济、性能优越、响应速度更快、灵活的体系结构、易于集成现有系统等特点。

  分布式数据库尽管有着天生的高贵血统,但它依赖调整网络,对事务的处理远没有传统数据库成熟,在很长一段时间内分布式数据存储将与传统数据存储共存。

  MyCat是一个彻底开源的面向企业应用开发的大数据库集群,支持事务、ACID,是可以替代MySQL的加强版数据库。MyCat被视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群,它是整合了内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server,是结合了传统数据库和新型分布式数据仓库的新一代企业级数据库产品,也是一个优秀的数据库中间件。

  通常在实际应用中,业务开发人员并不需要知道中间件的存在,只需要关注数据库,所以数据库中间件可以被当作一个或多个数据库集群构成的逻辑库。

  既然有逻辑库,就会有逻辑表。在分布式数据库中,对于应用来说,读写数据的表就是逻辑表。逻辑表可以分布在一个或多个分片库中,也可以不分片。

  分片表是指将数据量很大的表切分到多个数据库实例中,所有分片组合起来构成了一张完整的表。例如在MyCat上配置t_node的分片表,数据按照规则被切分到dn1、dn2两个节点。

  并非所有的表在数量很大时都需要进行分片。非分片表是相对分片表而言的,不需要进行数据切分的表。如下面配置中的t_node只存在于节点dn1上。

  关系型数据库是基于实体关系模型(Entity Relationship Model)的,MyCat中的ER表便来源于此。基于此思想,MyCat提出了基于E-R关系的数据分片策略,子表的记录与其所关联的父表的记录存放在同一个数据分片上,即子表依赖于父表,通过表分组(Table Group)保证数据关联查询不会跨库操作。

  表分组是解决跨分片数据关联查询的一种很好的思路,也是数据切分的一条重要规则。

  在一个真实的业务场景中往往存在大量类似的字典表,这些字典表中的数据变动不频繁,而且数据规模不大,很少有超过数十万条的记录。

  当业务表因为规模进行分片后,业务表与这些附属的字典表之间的关联查询就成了比较棘手的问题,所以在MyCat中通过数据冗余来解决这类表的关联查询,即所有分片都复制了一份数据,我们把这些冗余数据的表定义为全局表。

  数据冗余是解决跨分片数据关联查询的一种很好的思路,也是数据切分规划的另一条重要规则。

  将数据切分后,一个大表被分到不同的分片数据库上,每个表分片所在的数据库是分片节点。

  将数据切分后,每个分片节点不一定会独占一台机器,同一台机器上可以有多个分片数据库,这样一个或多个分片节点所在的机器就是节点主机。为了规避单节点主机并发数量的限制,尽量将读写压力高的分片节点均匀地放在不同的节点主机上。

  MyCat原理中最重要的一个动词是“拦截”,它拦截了用户发送过来的SQL语句,首先对SQL语句做了一些特定的分析,例如分片分析、路由分析、读写分离分析、缓存分析等,然后将此SQL语句发往后端的真实数据库,并将返回的结果做适当的处理,最终再返回给用户。

  MyCat收到一条SQL语句时,”吴启晖说,精准十码中特,首先解析SQL语句涉及的表,接着查看此表的定义,如果该表存在分片规则,则获取SQL语句里分片字段的值,并匹配分片函数,得到该SQL语句对应的分片列表,然后将SQL语句发送到相应的分片去执行,www.8555340.com,最后处理所有分片返回的数据并返回给客户端。

  schema.xml是MyCat的重要配置文件,它管理着逻辑库、分片表、分片节点和分片主机等信息。

  service.xml是系统参数的配置文件,掌握MyCat优化方法,必需熟悉该文件的配置项。

  server.xml配置文件包含了MyCat的系统配置信息,对应的源码是SystemConfig.java。它有两个重要的标签,分别是user、system。掌握system标签的各项配置属性是MyCat调优的关键。

  schema.xml 作为MyCat中重要的配置文件之一,涵盖了MyCat的逻辑库、表、分片规则、分片节点及数据源。

  schema标签用于定义MyCat实例中的逻辑库。MyCat可以有多个逻辑库,每个逻辑库都有自己的相关配置。可以使用schema标签来划分不同的逻辑库,如果有配置schema标签,则所有的表配置都会属于同一个默认的逻辑库。

  如上所示配置了两个不同的逻辑库,逻辑库的概念等同于MySQL数据库中的Database概念,我们在查询逻辑库中的表时,需要切换到该逻辑库下才可以查询其中的表。

  SqlMaxLimit属性,当该属性设置为某个值时,每次执行的SQL语句如果没有加上limit语句,MyCat也会自动在limit语句后加上对应的值。如果不设置该值,则MyCat会把查询到的信息全部返回。

  table标签定义了MyCat中的逻辑表,所有需要拆分的的表都需要在table标签中定义。

  childTable标签用于定义 E-R 分片的子表,通过标签上的属性与父表进行关联。

  dataNode标签定义了MyCat中的数据节点,也就是我们通常所说的数据分片。一个dataNode标签就是一个独立的数据分片。

  dataHost标签在MyCat逻辑库中作为底层标签存在,直接定义了具体的数据库实例,读写分离和心跳语句。

  在MyCat中将表分为两种大的概念:数据量小且不需要做数据切分的表,称为非分片表;数据量大到单库性能、容量不足以支撑,数据需要通过水平切分均匀分布到不同的数据库中的表,称为分片表。而中间件最终需要处理的事情是对数据切分、聚合。

  ER模型是实体关系模型,广泛采用概念模型设计方法,基本元素是实体、关系和属性。MyCat将它引入数据切分规则中,使得有互相依赖的表能够按照某一规则切分到相同的节点上,避免跨库Join关联查询。具体详情配置内容在这里不做描述请参考官方文档。

  delete操作不支持没有主键的表。没有主键的表在不同节点的顺序不同,如果执行 select ...limit...,则将出现不同的结果集。

  由于集群是乐观的并发控件,事务commit可能在该阶段中止,所以如果有两个事务向集群中的不同节点的同一行写入并提交,则失败的节点将中止。对于集群级别的中止,集群返回死锁错误。

  整个集群的写入吞吐量由最弱的节点限制,如果有一个节点变得缓慢,那么整个集群将变得缓慢。

  集群内部按照id自增长机制写入数据,比如集群中有三台可能是3,6,9这样的递增。

  MyCat是一个中间件的第三方应用,sharding-jdbc是一个jar包。 因为MyCat是单独部署,所以使用MyCat就像是访问数据库一样,而sharding-jdbc的逻辑都是需要在工程里写的。

  如果只是单独应用可以使用轻量级的Sharding-JDBC,如果多个服务都需要操作数据库则使用MyCat更合适。因为用Sharding-JDBC需要在每一个工程里边都配置上相应的分片等逻辑,而MyCat只需要配置一份单独部署。

同福心水论坛| 最新新报跑狗玄机图| 马经通天报图片| 香港最快开奖现场直播| 香港马会跑狗图何仙姑| 香港财神官方网财神官方网| 香港挂牌开奖历史记录| 神算天师论坛765| 好日子高手心水论坛| 香港十二生肖买马图|