민간 자격증/빅데이터전문가3

• 3. 빅데이터 저장소 1. 빅데이터 저장소 개요1-1. CAP 이론빅데이터의 저장소를 다루기에 앞서, 일반적인 저장소에서 다루는 CAP 이론의 세 가지 요소인 일관성(consistency), 가용성(availability), 지속성(partition tolerance)에 대한 이해가 필수이다. 기존의 RDBMS는 지속성의 관점에서 충족하지 못하였으나, 최근 빅데이터 시대가 대두되며 지속성을 만족하는 빅데이터 저장소가 필수가 되어가고 있다.1) 일관성Consistency - 모든 노드는 동일 시점에 동일 데이터 출력이 보장2) 가용성Availability - 노드가 이용 불가능해도 다른 노드 정상 작동 보장3) 지속성Partition Tolerance - 데이터 손실이 발생해도 시스템 정상 작동 보장 - RDBMS의 한계1-2.. 민간 자격증/빅데이터전문가 2024. 7. 4.

• 2. 빅데이터의 수집 1. 빅데이터의 수집 개요1-1. 빅데이터 생성1) 데이터 자료와 정보데이터는 관찰 및 측정을 통하여 획득할 수 있고, 가공되지 않은 상태이며, 단순한 사실이나 결과이다. 반면, 정보는 데이터를 가공하여 얻은 실질적인 결과이며, 의사결정에 기여하 는 형태이다.데이터Data관찰 및 측정을 통한 획득가공되지 않은 상태단순한 사실이나 결과정보Information데이터를 가공하여 얻은 결과의사결정에 기여2) 데이터의 존재론적 특징에 따른 구분데이터는 존재론적 관점에서 볼 때 정량적 데이터, 정성적 데이터로 구분할 수 있다. 정량적 데이터는 계량 가능한 형태의 데이터이며, 정형, 비정형의 형태를 가지고 있다. 반면, 정적 데이터는 추상적 형태이며, 비정형 데이터의 형태를 가지고 있다.정량적 데이터Quantitat.. 민간 자격증/빅데이터전문가 2024. 7. 2.

• 1. 빅데이터의 개념 1. 빅데이터란 무엇인가?1-1. 빅데이터 (Big Data)  - 기존의 데이터 처리 응용 소프트웨어가 처리하기에 매우 거대(large)하거나 복잡 한 (complex) 데이터 집합  * 데이터를 취급하기 위한 전혀 다른 새로운 방법론의 필요성 대두  - 정보 통신 기술의 주도권 ⇨ “데이터(data)”로 이동  - 제타(Zeta) 시대에 돌입   * 현존하는 데이터의 양이 1ZB를 초과  - 모바일 시대 ⇨ 스마트 시대에 중요성 증대  - 미래의 경쟁력과 가치 창출의 원천1-2. 빅데이터의 역사 PC 시대  - 데이터베이스 개념 정립, PC통신 시작  - 데이터의 규모가 작고 교류가 적음 인터넷 시대  - 초고속 인터넷의 도입, 포털 서비스  - 데이터의 규모 및 절대적 교류량 증가 모바일 시대 .. 민간 자격증/빅데이터전문가 2024. 7. 1.