반응형 데이터수집기술1 데이터 유형별 데이터 수집 기술의 종류 데이터의 유형별로 데이터 수집 기술과 방법, 기술을 달리 적용한다. 데이터 유형을 정형 데이터, 반정형 데이터, 비정형 데이터로 구분하는데, 각 유형별로 주로 적용되는 데이터 수집 기술과 방법은 다음과 같다. 정형 데이터를 수집하는 기술은 대표적으로 Sqoop과 Hiho를 예로 들 수 있다. · Sqoop(스쿱)은 대용량 데이터 전송 솔루션으로 HDFS, RDBMS, DW, NoSQL 등과 같은 다양한 저장소에 대용량 데이터를 전송할 수 있다. 일반적으로 관계형 데이터와 분산 환경 시스템 간에 전송되는 정형 데이터를 수집할 경우 이를 사용한다. · Hiho(히호) 역시 대용량 데이터 전송 솔루션으로 Hadoop(하둡)에서 데이터를 가져오기 위한 SQL을 지정할 수 있는데, 오라클과 MySQL 데이터 전송.. 2022. 6. 6. 이전 1 다음 반응형
