[아래의 작업을 하기전에 oracle-connector 설치해주기]

• 인스턴스(여기서는 emr - master node) 에서 /usr/lib/sqoop/lib에서 sqoop에 대해 oracle-connetor/client 설치되어있나 확인
• 없으면 설치
• ssh로 설치할 방법이 없다. 홈페이지에서 파일을 gui로 다운받은 후에 이를 인스턴스 안(/usr/lib/sqoop/lib)에 넣어줘야한다.
• aws cli로 aws s3 버킷 작업하기

sudo passwd #password 설정
su -root #루트계정 로그인

# ojdbc8.jar을 S3에 넣어둠
aws s3 ls s3://jyg-data-landingzone-test/ojdbc8.jar

# root계정으로 이동한 다음에 s3에 있는 jar 파일 복사해오기
aws s3 cp s3://jyg-data-landingzone-test/ojdbc8.jar ./

ls -al # 해당 폴더에 있는 모든 파일 세부정보 보기

# chmod 권한 변경

• ls -lrt와 파일 권한에 대해서
• chmod 권한에 대해서

스쿱 시작하기

sqoop-list-databases

$ sqoop list-databases \\ 
--driver "com.mysql.jdbc.Driver" \\ 
--connect "jdbc:mysql://hereis.dbcluster.path:port" \\ 
--username "XXXX" \\ 
--password "XXXX" \\ 
--verbose

sqoop-list-tables

$ sqoop list-tables \\ 
--driver "com.mysql.jdbc.Driver" \\ 
--connect "jdbc:mysql://hereis.dbcluster.path:port/a_dbname" \\ 
--username "XXXX" \\ 
--password "XXXX" \\ 
--verbose

sqoop-eval

특정 데이터베이스를 대상으로 SQL 쿼리문을 날릴 수 있다. 결과는 콘솔에 프린트된다. 보통 Sqoop CLI를 통해 SQL 쿼리 작업을 하지는 않을 것이다. 테스트 용도와 함께 간접적으로 RDB의 정상 동작을 체크하는 목적에 적합하다.

$ sqoop eval \\ 
--driver "com.mysql.jdbc.Driver" \\ 
--connect "jdbc:mysql://hereis.dbcluster.path:port/a_dbname" \\ 
--query "select * from a_dbname.a_table limit 10" \\ 
--username "XXXX" \\ 
--password "XXXX" \\ 
--verbose