[지능형 정보 기술] 빅데이터 / 빅데이터 시각화
빅데이터의 ‘빅(Big)’ 꼭 큰 사이즈를 의미하는 것은 아님.
> 스몰 데이터라고 해도 가치를 보여줄 수 있다.
- 빅데이터
매우 많은 양의 데이터가 빅데이터의 전제 조건은 아니다.
데이터 양에 관계없이 데이터로부터 정보를 뽑아 내서 활용할 수 있다면 가능
사용 목적에 따라 모든 데이터가 필요하지 않을 때가 많다.
빅데이터, 많은 양의 데이터를 축적하는 것이 핵심인 경우가 많다.
- 빅데이터의 정의(개념)
다양한 종류의 데이터에서 가치를 추출하는 일
데이터의 수집, 분석, 가시화를 지원하도록 고안된 기술 및 프로세스.
- 빅데이터의 특징 : 3V
Volume : 데이터의 집합의 대규모
Variety : 데이터의 형식(유형)이 다양
Velocity : 데이터 생성, 처리 속도가 빠름
다양한 종류의 데이터 속에서 가치를 추출하는 모든 일을 의미하는 건 아님.
- 데이터의 종류
1) 정형 데이터 : 일정한 형태, 쉽게 계산 가능한 데이터
2) 비정형 데이터 : 형태가 없는 텍스트, 이미지, 음성, 비디오 등. 바로 연산, 처리 가능이 불가능
3) 반정형 데이터
- 빅데이터 프로세스
1) 목표 설정 : 목표를 정확하게 설정
2) 데이터 수집 : 여러 곳에서 데이터 수집
3) 저장 : 분산 저장 기술을 이용하여 저장
4) 전처리 : 오류 데이터 수정 / 시각화
5) 분석 및 평가 : 데이터 분석 – 지도학습분석기법, 자율학습분석기법 / 데이터마이닝, 통계분석
6) 도입 : 합리성 판단, 경비나 기간을 결정하여 도입
* 데이터 마이닝 : 대규모로 저장된 데이터 안에서 체계적이고 자동적으로 통계적 규칠이나 패턴을 찾아내는 것
* 지도 기계 학습 : 분류된 데이터로부터 학습
* 자율 학습 모델 : 데이터에서 자동적으로 특징을 추출하고 패턴을 찾아낸다
- 빅데이터 활용분야
공공분야 / 서울시 심야버스 노선 / CCTV와 범죄 / 의료분야 / IBM 왓슨 / 신용평가 분야 / 보험분야
- 사물인터넷과 빅데이터
빅데이터 출현배경 : 2020년 디지털 정보량 급격한 증가
교통분야 : ex. 버스에 센서 부착 후 실시간 위치 정보 확인
의료분야 : 심장모니터, 웨어러블 장치의 건강데이터 전송 및 기록
- 데이터 수집
목표 설정 우선, 목적에 맞게 데이터가 수집되어야 함
1) 기존 자료 중 목적에 맞게 정리 후 수집
2) 스스로 데이터 생성(DAQ : 센서 이용 데이터 수집)
3) 웹 데이터 수집
4) 데이터 판매 회사 이용, 유로 데이터 구매
5) 공공 데이터 가져오기
- 공공 데이터 :
공공기관이 생성하거나 관리하고 있는 자료 또는 정보
다양한 형태의 모든 자료 및 정보가 대상
- 빅데이터 전처리 과정 :
목표 설정 → 데이터 수집 → 저장 → 전처리 → 분석 및 평가 → 도입
- 전처리가 필요한 이유 :
1) 결측치가 있는 상태로 분석 → 결과값 또는 관계가 왜곡됨
2) 이상 데이터 발생 시 결과값에 영향을 줄 수 있음
3) 불필요한 데이터는 전처리에서 제거해야 함
> 빅데이터 자료로 바로 분석 할 수 없음 → 목적에 맞는 분석을 위한 전처리 과정 필요
- 전처리 예 :
1) Neural Network(신경망)에서는 0~1 사이의 값만 사용 가능 → 정규화 필요
2) 이미지 분석을 위한 pixel → matrix 방식 변경
> 데이터 포맷을 변경하기 위해 전처리 필요.
> 전처리 과정은 빅데이터 처리 과정 중 가장 오래 걸리며 중요한 과정임
- 빅데이터 시각화 :
특정 기준에 따라 수집한 데이터의 특징이나 분석 결과를 그림이나 그래프 등으로 표현. 데이터 특징과 감춰진 의미를 찾아, 논리적으로 이해하는데 도움.
> 현재 상황의 이해, 변화 추이를 예측 / 속성들 간의 상관관계, 통계적인 속성 파악
- 데이터 시각화 기능 : 설명 / 탐색 / 표현
1) 설명적 시각화 : 단일 시각적 경험 설명
2) 탐색적 시각화 : 다양한 경험을 탐색하고 표현
3) 표현적 시각화 : 심미적 측면에서 감정적 반응과 데이터에 대한 다양하고도 풍부한 해석 제공
> 빅데이터 분석에서는 표현적 시각화 단계가 가장 중요한 기술 분야로 취급
- 데이터 시각화의 목적 :
시각화 결과물을 통한 사용자가 주제에 대해 더 잘 이해하고 느끼게 하는 것
> 정보전달과 설득으로 구분
- 빅데이터 시각화 프로세스 :
1) 정보 구조화 : 데이터 수집 및 탐색 / 데이터 분류하기 / 데이터 배열하기 / 데이터 재배열
2) 정보 시각화 : 시간 시각화 / 분포 시각화 / 관계 시각화 / 비교 시각화 / 여러 변수 비교 / 공간 시각화
3) 정보 시각표현 : 그래픽 7요소 / 그래픽 디자인 기본 원리 / 인터렉션 / 시각정보 디자인 7원칙 > 빅데이터 시각화는 전달 및 설득하는 과정 = 의사결정과 분석전략
- 정보 구조화 :
데이터 수집 / 분류 / 정보조직화 방법(배열, 관계 맺기)
- 정보 시각화 :
1) 시간 시각화(막대, 점)
2) 분포 시각화(파이, 도우넛, 트리, 연속)
3) 관계 시각화(스캐터, 버블, 히스토그램)
4) 비교 시각화(히트맵, 다차원척도법)
5) 공간 시각화(지도매핑)
1) 시간 시각화 :
막대 그래프, 누적 막대그래프, 점그래프, 꺽은선 그래프
2) 분포 시각화 :
최대-최소-전체 분포 / 파이차트, 도우넛차트, 트리맵, 누적연속그래프
3) 관계 시각화 :
집단간의 유사성과 상관관계 / 스캐터 플롯, 버블차트, 히스토그램
4) 비교 시각화 :
히트맵, 체르노프 페이스, 스타차트, 다차원 척도법
5) 공간 시각화 :
지도 매핑, 코로플레스
- 엑셀 파이쿼리 편집기(전처리 기능)
1) 불필요한 열 삭제 – 열관리 → 열 선택
2) 공백 제거 – 내림버튼 → 빈 항목 제거
3) 데이터형 변환 – 변환 → 열 → 데이터형식
4) 값 바꾸기 – 변환 → 열 → 값바꾸기
5) 정렬 기능 – 오름차순 정렬 / 내림차순 정렬