빅데이터 수집 시스템 설계 및 구축
수집 방식의 정의 구조 관점 - 정형 : RDB(관계형 DB) => 고정된 필드에 저장되며, 값과 형식에서 일관성을 가지는 데이터 - 비정형 : SNS, NoSQL, 텍스트, 이미지, 오디오, 비디오 - 반정형 : XML, HTML, JSON, RSS 등(메타 데이터를 포함) => Tag, Key 값으로 데이터를 바라 봄 시간 관점 - 실시간 : 센서 데이터, 시스템 로그, 네트워크 장비 로그 (수 초 ~ 수 분이내에 처리되어야 의미) - 비실시간 : 구매정보, 헬스케어 정보 등(시간과 관련 X) 저장 형태 - 파일 (시스템 로그, 서비스 로그, 텍스트, 스프레드시트) - 데이터베이스(RDB,NoSQL,in-memory DB) - 콘텐츠(텍스트, 이미지, 오디오, 비디오) - 스트림(센서 데이터, HTT..