优培东方
PMP®2026年报名招生正在进行

点击咨询

PMP®:ETL数仓工具Kettle初识

发布时间: |2022年05月09日 | 点击次数:| 关键词:PMP,PMP 培训,PMP认证,PMP考试,PMP培训机构,优培东方

ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,在使用中我感觉这个工具真的很强大,支持图形化的GUI设计界面,然后可以以工作流的形式流转,在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现,其中最主要的我们通过熟练的应用它,减少了非常多的研发工作量,提高了我们的工作效率,KETTLE这个工具是Java编写的。

        Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。

 

        Kettle支持关系型数据库Oracle、MySQL、DB2、SQLServer、PostgreSQL以及非关系型数据库MongoDB等同类或异类数据库数据抽取或数据清洗,并可配合Windows下的计划任务及Linux或Aix下的crontab计划排程来定时执行。一般用于数仓建模、数据抽取、数据清洗等用途。由于kettle属于纯iava编写,所以避免不了需要安装jdk。

如果你的环境均为Windows,你可以在win下安装jdk。安装比较简单,傻瓜式安装,按照提示下一步即可。

 

一、JDK安装的步骤:

 

 安装完成之后会生成两个文件夹:

 

 安装完成后配置jdk环境变量:

 1、新建JAVA_HOME变量:C:Program Files (x86)Javajdk1.7.0_02如下图

2、添加jdk的path变量:将JAVA_HOME添加到Path变量:

;%JAVA_HOME%in(注意原来Path的变量值末尾有没有分号,如果没有,先输入英文分号再输入上面的代码)

 

3、检测jdk是否配置成功,运行cmd输入java -version;如果出现下图图标即代表配置成功。

二、Kettle的下载和安装

1、kettle官网(http://community.pentaho.com/projects/data-integration/)下载kettle,运行程序集下的spoon.bat文件:会出现kettle界面。

2、登录进去之后,可新建transformation和job。

3、单击表输入出现配置界面:

4、单击表输出,配置目标库连接:

5、新建job并配置:

6、拟写批处理,调用kettle:

C:Usersck>d:

D:>cd D:KETTLEdistribdistrib

D:KETTLEdistribdistrib>pan /file D:kettletest.ktr

保存为.bat文件后,执行。

6、最后将批处理添加到windows的计划任务里即可。

       总体感觉kettle非常强大,可减少很大的某些不同应用和同类或异类数据库的研发工作量。如常用的json、xml、webservice形式的接口。 支持跨库迁移同时有详细log日志,方便拍错,无需debug。

PMP®:ETL数仓工具Kettle初识


优培东方送你一张产品验收表格

                   产品验收表格
 
        项目名称:                        准备日期:                      

编号 需求 检验方法 确认方法 验收标准 状态 签收
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
             
                        ​​​​​​​   1/1
 
 
免责声明:以上便是【PMP®:ETL数仓工具Kettle初识】的全部内容。大多文章纯属本网站原创,部分文章信息来源于网络以及网友投稿,本网站只负责对文章进行整理、排版、编辑,是出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性,如本站文章和转稿涉及版权等问题,请作者在及时联系本站,我们会尽快处理。
标题:PMP®:ETL数仓工具Kettle初识 地址:https://www.hxtdpx.com/PMPrz/pmpinfo/6758.html

PMP近期热点

学员感言

1.来自广州的赵同学:

在朋友的推荐下选择了有优培东方(原广州慧翔),经历了时长两个月的pmp培训,过程虽然辛苦,但是结果说明了一切优培东方(原广州慧翔)的老师认真负责专业,特别是刘老师在线上课讲解pmbok难点考点,还悉心答疑。经过优培东方(原广州慧翔)PMP培训过程,我一次性5A通过了考试,希望更多的人选择优培东方(原广州慧翔),通过有效的过程能提高你的通过几率!

2.来自深圳的王同学:

报读优培东方(原广州慧翔)也是对比了几家之后才报的,讲课老师辅导老师都非常专业,主要是看中优培东方(原广州慧翔)的服务,包括网络课(不同的班还有面授课程)+超级全面的海量题库练习包括单元的综合的重点题的+模拟考试+讲解+考前辅导与评估(这很重要)能够给出专业评价并辅助预估通过可能性……总之很棒,跟上老师节奏都可以轻松通过,不错的培训机构,个人非常认可。

3.来自上海的陈同学:

很早接触项目管理而且工作,但由于公司要求有PMP认证证书才能正式命名为项目经理,后经同事(同事是在优培东方(原广州慧翔)机构顺利拿到PMP证书)介绍,报名参加了优培东方(原广州慧翔)PMP培训。 为了让我们学生能顺利通过PMP考试并获取到证书,刘老师总是不怕辛苦坚持利用每周4-5天晚上时间及安排的面授公开课方式,生动、切合实际地将枯燥乏味项目管理理论结合实际的案例及其生动幽默的方式进行讲解,授予学生学习方法和思路,结合刘老师的教学方式和方法,通过几个月的自身学习,使得顺利通过考试。

4.来自北京的王同学:

优培东方(原广州慧翔)是我工作以后接触的第一个培训机构,2015年的时候由于工作需要,我想报考PMP。但是市场上各种各样的机构太多了,各种评价褒贬不一。但是通过分析之后,我选择了优培东方(原广州慧翔)PMP培训。事实证明,做了调查后作出的选择不会太差,通过接近3个月的准备学习之后,我在第一次PMP考试时就顺利通过了PMP认证,拿到了PMP证书。本以为拿完证书后跟慧翔就算是byebye了,但是更可贵的资源才开始。通过优培东方(原广州慧翔)的学友群,我们定期组织活动,群上跟学友交流,认识了更多的同行朋友,甚至可以说获得了更多的资源资讯。 最后,认真地说如果想学PMP,我推荐优培东方(原广州慧翔)。

在线客服系统