博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
SQOOP安装部署
阅读量:7075 次
发布时间:2019-06-28

本文共 949 字,大约阅读时间需要 3 分钟。

1.环境准备

1.1软件版本

sqoop-1.4.5

2.配置

sqoop的配置比较简单,下面给出需要配置的文件

2.1环境变量

sudo vi /etc/profileSQOOP_HOME=/home/hadoop/source/sqoop-1.4.5PATH=$SQOOP_HOME/binexport SQOOP_HOME

2.2sqoop-env.sh

#Set path to where bin/hadoop is availableexport HADOOP_COMMON_HOME=/home/hadoop/source/hadoop-2.5.1#Set path to where hadoop-*-core.jar is availableexport HADOOP_MAPRED_HOME=/home/hadoop/source/hadoop-2.5.1#set the path to where bin/hbase is available#export HBASE_HOME=#Set the path to where bin/hive is availableexport HIVE_HOME=/home/hadoop/source/hive-0.14.0#Set the path for where zookeper config dir is#export ZOOCFGDIR=

注:目前我是木有配置HBase和Zookeeper的,若有需要的人可以将路径直接指定到HBase和Zookeeper的安装路径下。

2.3异常

Streaming result set com.mysql.jdbc.RowDataDynamic@12e9d40f is still active

执行sqoop脚本时,出现这个异常是因为mysql的驱动的原因,使用最新的mysql驱动包。

解决方案:

wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.32.tar.gz

然后解压到sqoop目录的lib目录下,重新执行脚本正常。

至此,sqoop的安装配置以及使用到此完成。

转载地址:http://bluml.baihongyu.com/

你可能感兴趣的文章
Javac编译器源代码分析
查看>>
我的友情链接
查看>>
JAVA中的类型转换 int和String
查看>>
计划任务不能启动
查看>>
网站架构资料收集整理
查看>>
CentOS6.5 Nginx优化编译配置
查看>>
处理异常
查看>>
一个WIndows Server 2008 R2 AD组策略复制排错过程(Warning 13508)
查看>>
SpringBoot之@EnableAutoConfiguration原理及自定义扩展
查看>>
.net CHARTING图表控件下载地址
查看>>
老男孩教育每日一题-第82天-发现文件系统只读了,是什么原因?如何解决?
查看>>
python 的函数、值传递、和作用域(例子)
查看>>
关于 CKEditor上传文件时调用ckeditor的技巧
查看>>
用g++编程时遇到权限问题
查看>>
MySQL设置UTF8字符
查看>>
High-Level Streams DSL(翻译)
查看>>
系统集成资质培训 - 2011年下半年培训机构
查看>>
如何生成安全的密码 Hash:MD5, SHA, PBKDF2, BCrypt 示例
查看>>
mongodb
查看>>
ecshop物流跟踪实现
查看>>