高档服装厂家直销一手货源,需要高档服装的请加微信。本公司主要经营LV、古驰、巴宝莉、范思哲、阿玛尼、巴黎世家、冠军、鲨鱼等服装厂家直销，代理全部出厂价拿货，同时提供一件代发服务，名额有限。

高X男装厂家微信：Me84668

广州的服装批发市场作为服装厂家和经销商专门经营服装的场地，经营着各种名牌服装，以及高、中、低档服装，极大地满足各个消费层次的衣着需求。广州目前形成以白马为龙头的流花板块和沙东有利为龙头的沙河板块两大服装批发市场。位置接近广州火车站及省长途汽车站的流花服装批发商业区是比较成型的。

优化同步方案

为了解决binlog量过大，更新数据组件处理不过来，可以在此方案中加入MQ进行削峰，如下图

同步方案的问题

我们看到上面的架构，主要是针对增量数据的同步；但一开始项目上线的时候，全量数据怎么处理呢？这个一般的处理策略是DBA先dump一份源库完整的数据快照；目标库导入快照即可。

下面我们看看增量数据同步，仔细的小伙伴们应该会看到北京IDC和上海IDC之间的数据是双向的，因为北京用户的数据是更新到北京DB的，上海用户的数据是更新到上海DB的，所以业务上面也是必须是双向的。

整个数据同步的过程会出现几个问题：

如何解决重复插入？

考虑以下情况下，源库中的一条记录没有唯一索引。对于这个记录的binlog，通过更新组件将binlog转换成sql插入目标库时，抛出了异常，此时我们并不知道知道是否插入成功了，则需要进行重试。如果之前已经是插入目标库成功，只是目标库响应时网络超时(socket timeout)了，导致的异常，这个时候重试插入，就会存在多条记录，造成数据不一致。

因此，通常，在数据同步时，通常会限制记录必须有要有主键或者唯一索引。

对于DDL语句如何处理？

如果数据库表中已经有大量数据，例如千万级别、或者上亿，这个时候对于这个表的DDL变更，将会变得非常慢，可能会需要几分钟甚至更长时间，而DDL操作是会锁表的，这必然会对业务造成极大的影响。

因此，同步组件通常会对DDL语句进行过滤，不进行同步。DBA在不同的数据库集群上，通过一些在线DDL工具进行表结构变更。

如何解决唯一索引冲突？

由于两边的库都存在数据插入，如果都使用了同一个唯一索引，那么在同步到对端时，将会产生唯一索引冲突。对于这种情况，通常建议是使用一个全局唯一的分布式ID生成器来生成唯一索引，保证不会产生冲突。

另外，如果真的产生冲突了，同步组件应该将冲突的记录保存下来，以便之后的问题排查。

如何解决数据回环问题？

此问题是数据同步经常出现的，也是必须需要解决的。最重要的问题。我们针对INSERT、UPDATE、DELETE三个操作来分别进行说明：

INSERT操作

假设在A库插入数据，A库产生binlog，之后同步到B库，B库同样也会产生binlog。由于是双向同步，这条记录，又会被重新同步回A库。由于A库本来就存在这条记录了，产生冲突。

UPDATE操作

先考虑针对A库某条记录R只有一次更新的情况，将R更新成R1，之后R1这个binlog会被同步到B库，B库又将R1同步会A库。对于这种情况下，A库将不会产生binlog。因为A库记录当前是R1，B库同步回来的还是R1，意味着值没有变。

在一个更新操作并没有改变某条记录值的情况下，mysql是不会产生binlog，相当于同步终止。下图演示了当更新的值没有变时，mysql实际上不会做任何操作：

上图演示了，数据中原本有一条记录(1,"tianshouzhi”)，之后执行一个update语句，将id=1的记录的name值再次更新为”tianshouzhi”，意味着值并没有变更。这个时候，我们看到mysql 返回的影响的记录函数为0，也就是说，并不会产生的更新操作。

小伙伴们是不是以为，update操作不会有回环问题了；事实上并不是，我们看一些场景：

考虑A库的记录R被连续更新了2次，第一次更新成R1，第二次被更新成R2；这两条记录变更信息都被同步到B库，B也产生了R1和R2。由于B的数据也在往A同步，B的R1会被先同步到A，而A现在的值是R2，由于值不一样，将会被更新成R1，并产生新的binlog；此时B的R2再同步会A，发现A的值是R1，又更新成R2，也产生binlog。由于B同步回A的操作，让A又产生了新的binlog，A又要同步到B，如此反复，陷入无限循环中。