Datax从mysql同步数据到mysql

在实际使用Datax的时候，可能会使用Datax同步mysq数据到mysql，实现数据库跨库同步或者多个mysql之间相互同步，那么怎么实现呢？我们一步步来实现（基于Datax
3.0.0）

1、检查环境，需要安装完一个Datax

2、在mysql中创建源表和目标表，并在原表中插入数据，我们的目标是把源表的mysql数据同步到目标表中，我们当前测试表如下
（注意，数据库的源表以及目标表都需要有，Datax不会帮你创建）

源数据库：test

源表结构：

CREATE TABLE `student` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `name` varchar(100) DEFAULT NULL,
  `score` varchar(100) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8

插入数据如下

 目标数据库名：datax

目标表

CREATE TABLE `test` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `name` varchar(100) DEFAULT NULL,
  `score` varchar(100) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8

3、我们在安装Datax的服务器上创建json文件，我们文件创建在/opt/datax/job目录下，开发者可自定义保存文件路径

vim mysql2mysql.json

4、文件内容如下（需要修改的或者重要的已标红，大家直接修改即可）

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "mysql登录用户名",
                        "password": "mysql登录密码",
                        "connection": [
                            {
                                "querySql": [
                                    "select id,name from student;"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://node01:3306/test"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "mysql登录用户名",
                        "password": "mysql登录密码",
                        "column": [
                            "id",
                            "name"
                        ],
                        "preSql": [
                            "delete from test"
                        ],
                        "connection": [
                            {
                                "jdbcUrl":
"jdbc:mysql://node01:3306/datax?useUnicode=true",
                                "table": [
                                    "test"
                                ]
                            }
                        ]
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

标红解释如下：

jdbcUrl：数据库的jdbcurl链接

username：mysql用户名

password：mysql用户登陆密码

querySql：mysqlreader中的参数，用作自定义sql，根据sql的灵活编写实现数据的增量、全量、特定列数据的同步，注意需要sql和mysqlwriter中的column字段数量、名称、类型需要对应上

column：mysqlwriter中的配置，写出你要写入目标表的列

preSql：在写入目标表的时候执行的语句，我们写了删除表中数据，这样才能保证目标表中没有脏数据

table：目标表名称

channel：执行的并行度，写大点性能会提高一些，不过要根据实际情况合理配置，数据量少1个够了

5、执行Datax，首先去到Datax的bin目录，然后执行

./datax.py /opt/datax/job/mysql2mysql.json

6、看到如下则证明执行成功

 再看数据库已经同步成功了

 

• « 上一篇：STM32CubeMX配置PWM驱动舵机
• » 下一篇：C语言如何做到四舍五入保留小数