大前端

前端学习之家-大前端

《数据清洗》第七章操作题

文章目录

  • 前言
  • 一、全量加载
  • 二、增量加载
  • 总结


前言

数据的加载机制与数据的抽取机制相类似,数据的加载机制可以分为全量加载和增量加载。其中,全量加载是指将目标数据表中的数据全部删除后,进行数据加载的操作;而增量加载是指目标表只加载源数据表中变化的数据,其中变化的数据包含新增、修改和删除的数据。

一、全量加载

假设,现有两张数据表,分别为数据表full_source和数据表full_target,其中数据表full_source为源数据表,数据表full_target为目标数据表。数据表full_source和full_target的内容如图所示。

CREATE TABLE `full_source` (
	`no` INT (10),
	`book_name` VARCHAR (60),
	`author` VARCHAR (30),
	`tag` VARCHAR (60)
); 
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('1','小王子','圣艾克苏佩里','外国文学');
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('2','解忧杂货店','东野圭吾','小说');
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('3','白夜行','东野圭吾','小说');
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('4','梦里花落知多少','郭敬明','小说');
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('5','看见','柴静','随笔');
INSERT INTO `full_source` (`no`, `book_name`, `author`, `tag`) VALUES('6','围城','钱钟书','小说');

请添加图片描述

create table `full_target` (
	`no` int (10),
	`book_name` varchar (60),
	`author` varchar (30),
	`tag` varchar (60)
); 
insert into `full_target` (`no`, `book_name`, `author`, `tag`) values('1','小王子','圣艾克苏佩里','外国文学');
insert into `full_target` (`no`, `book_name`, `author`, `tag`) values('2','解忧杂货店','东野圭吾','小说');
insert into `full_target` (`no`, `book_name`, `author`, `tag`) values('5','看见','柴静','随笔');

请添加图片描述
1、打开kettle工具,创建转换
使用Kettle工具,创建一个转换full_load,并添加执行SQL脚本控件、表输入控件、表输出控件以及Hop跳连接线,具体如图所示。
请添加图片描述

2、配置执行SQL脚本控件
双击“执行SQL脚本”控件,进入“执行SQL语句”界面,具体如图所示。单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。
请添加图片描述
MySQL数据库连接的配置;在SQL框中编写删除数据表full_target中数据的SQL语句,如图所示。
请添加图片描述

	delete from full_target

3、配置表输入控件
双击“表输入”控件,进入“表输入”配置界面,在SQL框中编写查询full_source数据表的SQL语句(单击获取SQL查询语句),如图所示。
请添加图片描述
单击【预览】按钮,查看full_source数据表的数据是否成功从MySQL数据库中抽取到表输入流中,如图所示。
请添加图片描述
4、配置表输出控件
双击“表输出”控件,进入“表输出”配置界面;单击目标表处的【浏览】按钮,选择输出的目标表,即数据表full_target,这里不需要新建数据库连接,只需要选择已创建的数据库连接即可,如图所示。
请添加图片描述
5、运行转换full_load
单击转换工作区顶部的 按钮,运行创建的转换full_load,实现将数据表full_source中的数据全量加载到数据表full_target中,如图所示。
请添加图片描述

通过SQLyog工具,查看数据表full_target是否已成功加载到数据,查看结果如图所示。(注:这并不是刚开始创建的,而是经过一系列操作来的)
请添加图片描述

二、增量加载

假设,现有两张数据表,分别为incremental_source和incremental_target,其中incremental_source为源数据表,incremental_target为目标数据表。数据表incremental_source和incremental_target的表结构、数据都是相同的,具体如图所示。

CREATE TABLE `incremental_source` (
	`id` INT (20),
	`name` VARCHAR (60),
	`age` INT (20),
	`create_time` DATETIME 
); 
INSERT INTO `incremental_source` (`id`, `name`, `age`, `create_time`) VALUES('1','Isabella','18','2019-08-20 13:14:20');
INSERT INTO `incremental_source` (`id`, `name`, `age`, `create_time`) VALUES('2','Jack','20','2019-08-21 13:14:21');
INSERT INTO `incremental_source` (`id`, `name`, `age`, `create_time`) VALUES('3','Nicholas','22','2019-08-20 13:14:22');
INSERT INTO `incremental_source` (`id`, `name`, `age`, `create_time`) VALUES('4','Jasmine','19','2019-08-20 13:14:23');
INSERT INTO `incremental_source` (`id`, `name`, `age`, `create_time`) VALUES('5','Mia','20','2019-08-20 13:14:24');

请添加图片描述

CREATE TABLE `incremental_target` (
	`id` INT (20),
	`name` VARCHAR (60),
	`age` INT (20),
	`create_time` DATETIME 
); 
INSERT INTO `incremental_target` (`id`, `name`, `age`, `create_time`) VALUES('1','Isabella','18','2019-08-20 13:14:20');
INSERT INTO `incremental_target` (`id`, `name`, `age`, `create_time`) VALUES('2','Jack','20','2019-08-21 13:14:21');
INSERT INTO `incremental_target` (`id`, `name`, `age`, `create_time`) VALUES('3','Nicholas','22','2019-08-20 13:14:22');
INSERT INTO `incremental_target` (`id`, `name`, `age`, `create_time`) VALUES('4','Jasmine','19','2019-08-20 13:14:23');
INSERT INTO `incremental_target` (`id`, `name`, `age`, `create_time`) VALUES('5','Mia','20','2019-08-20 13:14:24');

请添加图片描述
1、打开kettle工具,创建转换
使用Kettle工具,创建一个转换incremental_load,并添加表输入控件、插入/更新控件以及Hop跳连接线,具体如图所示。
请添加图片描述

2、配置表输入控件
双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,具体如图所示。
请添加图片描述
在SQL框中编写查询数据表incremental_source的SQL语句,然后单击【预览】按钮,查看数据表incremental_source的数据是否成功从MySQL数据库中抽取到表输入流中,具体如图所示。
请添加图片描述

3、配置插入/更新控件
双击“插入/更新”控件,进入“插入/更新”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,具体如图所示。
请添加图片描述

单击目标表处的【浏览】按钮,弹出“数据库浏览器”窗口,选择目标表incremental_target,具体如图所示。
请添加图片描述

单击【获取字段】按钮,用来指定查询数据所需要的关键字,这里通过比较数据表incremental_target的字段id与输入流里的字段id是否一致为关键条件,更新数据表中的其它字段数据;单击【获取和更新字段】按钮,用来指定需要更新的字段,具体如图所示。
请添加图片描述
4、修改数据表incremental_source中的数据
在数据表incremental_source中新增一条id为6、name为Mary、age为23的数据;对数据表incremental_source中id为2的数据进行修改,即将这条数据的年龄(age)改为25。修改后的数据表incremental_source中的数据内容如图所示。
请添加图片描述
5、运行转换increment_load
单击转换工作区顶部的运行按钮,运行创建的转换incremental_load,实现将数据表incremental_source中的数据增量加载到数据表incremental_target中,如图所示。
请添加图片描述
6、查看数据表incremental_target中的数据
通过SQLyog工具,查看数据表incremental_target是否已成功加载到数据,查看结果如图所示。(这并不是刚开始创建的,而是经过一系列操作来的)
请添加图片描述

总结

以上就是这次的操作

发表评论:

Copyright Your WebSite.Some Rights Reserved.