민간 자격증/빅데이터전문가10

• 10. 정형 데이터 마이닝 1. 분류(Classification) 분석1-1. 분류 (Classification)분류란, 데이터가 어느 그룹에 속하는 지 예측하는 데에 사용하는 데이터 기법이다. 분류는 군집화와 유사하게 데이터를 나눈다는 관점이 있으나, 군집화와 다르게 각 데이터의 범주 (계급)이 어떻게 정의되는 지 알아야 한다.정의 - 데이터가 어느 그룹에 속하는지 예측하는 데에 사용하는 데이터 기법  - 군집화(clustering)와 유사하나,각 계급이 어떻게 정의되는지 미리 알아야 한다.1-2. 분류 방법론분류 방법론으로는 의사결정나무, 베이지안 정리, 인공 신경망, 지지 벡터 기계 등이 있다.  k - 최근접 이웃 K-Nearest Neighbors  - 인접한 k개의 이웃을 통하여 데이터가 소속되는 그룹을 결정의사결정나무.. 민간 자격증/빅데이터전문가 2024. 7. 25.

• 9. 데이터 마이닝 1. 데이터 마이닝의 정의와 이해 R과 같은 빅데이터 처리 및 분석 도구를 기반으로, 데이터 마이닝의 방법론을 적용하면 수집한 빅데이터로부터 보다 다  양한 결론을 도출해낼 수 있고 부가가치를 이끌어낼 수 있다.1-1. 데이터 마이닝의 정의1) 데이터 마이닝 Data Mining데이터 마이닝이란, 대규모로 저장된 데이터 안에서 체계적이고 자동적인 통계적 규칙이나 패턴을 찾아내는 일련의 작업을 뜻한다. 특히, 인간의 시선으로 수집된 빅데이터를 한 번에 조망하고 그것으로부터 인사이트(insight)를 이끌어내는 것이 거의 불가능해짐에 따라, 데이터 마이닝을 기반으로 한 다양한 자동화 도구를 통하여 인사이트를 찾아내는 것이 필수가 되었다. 즉, 수습 불가능한 형태가 된 대규모 데이터로부터 의미를 찾아내는 데에.. 민간 자격증/빅데이터전문가 2024. 7. 22.

• 8. 데이터 통계 분석(2) 1. 분산분석과 상관분석1-1. 분산 분석 (ANOVA)분산분석은 통계학에서 두 개 이상의 다수의 집단을 비교할 때, F분포를 이용하여 가설의 검정을  수행하는  방법론이다. 이 때, 분산분석의  영어 약어인  ANOVA는 분산의  분석 (analysis of variance)를 직역한 것이다. 분산분석은 통계학자 로날드 피셔(R.A. Fisher)에 의하여 1920년대부터 1930년대에 걸쳐 작성되었다.정의 - 통계학에서 두 개 이상의 다수의 집단을 비교 할 때 F분포를 이용하여 가설 검정을 하는 방법 - ANOVA = ANalysis Of VAriance역사 - 통계학자 로날드 피셔(R.A.Fisher)에 의해 1920년대 ~ 1930년대에 걸쳐 작성1) F분포F분포는 분산분석에서 사용하는 중요한 측.. 민간 자격증/빅데이터전문가 2024. 7. 19.

• 7. 데이터 통계 분석(1) 1. 확률과 통계이론R은 데이터 처리 및 분석 도구로서, 처리와 분석을 위한 다양한 이론을 습득하고 적재적소 에 적용하는 것이 중요하다. 1-1. 통계 (Statistics)통계는 표본을 통하여 모집단을 추정하기 위한 학문이다. 빅데이터는 거대한 표본이지만 그 보다 더 거대한 모집단의 일부 데이터에 지나지 않으므로, 빅데이터에서도 통계의 이론은 그대로 적용된다. 즉, 표본을 수집하고 분석하는 고전적인 프로세스는 빅데이터에서 그대로 적용된다.(1) 정의표본을 통하여 모집단을 추정하기 위한 학문(2) 빅데이터와 관계표본(=데이터)을 수집하고 분석하는 고전 과정, 빅데이터의 기반 학문1) 모집단과 표본빅데이터는 하나의 거대한 표본이며, 빅데이터의 궁극적인 목적 중 하나는, 표본을 이용하여 모집단을 이해하려고 .. 민간 자격증/빅데이터전문가 2024. 7. 14.

• 6. 빅데이터 분석 도구 R(3) 1. 의사결정 구조1-1. 의사 결정(Decision Making)R은 하나의 프로그래밍 환경으로, 의사결정 구조를 통하여 데이터의 형태에 따라 다양한 분기를 통한 처리를 하는 것이 중요하다. R에서는 if문, if~else문, switch문 등 다양한 문법을 통하여 의사결정 구조를 구현할 수 있도록 돕고 있다. - 하나 이상의 조건을 평가(또는 테스트)하여 그 결과에 따라 다양한 흐름으로 명령문을 수행하는 구조  - R에서는 if문, if~else문, switch문을 제공 - 의사결정 구조의 용도  *  if문 : 조건이 참일 때만 명령문을 수행   *  if~else문 : 조건에 따라 별개의 명령문을 수행   * switch문 : 다양한 값의 조건에 따라 별개의 명령문을 수행1) if 문if문은 조.. 민간 자격증/빅데이터전문가 2024. 7. 12.

• 5. 빅데이터 분석 도구 R (2) 1. 데이터형R은 빅데이터를 분석하는 도구로, 데이터를 읽어들여 처리하기 위한 다양한 데이터형을 제공하고 있다. 빅데이터 전문가로서 이러한 데이터형에 대하여 숙지하고, 적재적소에 데이터형을 사용하는 것이 필요하다. 본 장에서는 R에서 사용하는 데이터형에 대하여 학습하여 본다.1-1. R의 데이터형R에서는 논리형, 숫자형, 정수형, 복소수형, 문자형, 원형 등의 데이터형을 제공한다. - 논리형 (Logical) - 숫자형 (numeric)  - 정수형 (integer)  - 복소수형 (complex)  - 문자형 (character)  - 원형 (raw) 1-2. 논리형 (Logical)  - TRUE(참), FALSE(거짓)의 값을 가진다.# 논리 데이터형 테스트1 1-3. 숫자형 (numeric)  -.. 민간 자격증/빅데이터전문가 2024. 7. 10.

• 4. 빅데이터 분석 도구 R (1) 1. R의 이해와 설치1-1. R이란?R은 통계 분석, 그래픽 표현, 보고 작성을 위한 프로그래밍 언어 및 소프트웨어 환경이다.  R의 통계 분석으로는 선형 및 비선형 모델링, 통계 검정, 시계열 분석, 분류, 군집화 등의 작업이 가능하다. R의 그래픽 표현 및 보고 작성 기능을 이용하여 막대형 그래프, 원형 그래프, 3차원 그래프 등 다양한 출력이 가능하다. 1) R의 특징 - 효과적인 데이터 핸들링 및 저장소 기능 - 선형대수 연산에 적합한 연산자 제공 - 일관성 있으며 통합된 데이터 분석 도구 - 데이터 분석의 그래픽 및 출력 기능 - 견고하면서도 간결하고 효과적인 프로그래밍 언어 (조건문, 루프, 사용자 정의 재귀 함수, 입출력 기능 등)2) R의 설치 - 설치 명령문  * Dpkg 기반인 경우$.. 민간 자격증/빅데이터전문가 2024. 7. 5.

• 3. 빅데이터 저장소 1. 빅데이터 저장소 개요1-1. CAP 이론빅데이터의 저장소를 다루기에 앞서, 일반적인 저장소에서 다루는 CAP 이론의 세 가지 요소인 일관성(consistency), 가용성(availability), 지속성(partition tolerance)에 대한 이해가 필수이다. 기존의 RDBMS는 지속성의 관점에서 충족하지 못하였으나, 최근 빅데이터 시대가 대두되며 지속성을 만족하는 빅데이터 저장소가 필수가 되어가고 있다.1) 일관성Consistency - 모든 노드는 동일 시점에 동일 데이터 출력이 보장2) 가용성Availability - 노드가 이용 불가능해도 다른 노드 정상 작동 보장3) 지속성Partition Tolerance - 데이터 손실이 발생해도 시스템 정상 작동 보장 - RDBMS의 한계1-2.. 민간 자격증/빅데이터전문가 2024. 7. 4.

• 2. 빅데이터의 수집 1. 빅데이터의 수집 개요1-1. 빅데이터 생성1) 데이터 자료와 정보데이터는 관찰 및 측정을 통하여 획득할 수 있고, 가공되지 않은 상태이며, 단순한 사실이나 결과이다. 반면, 정보는 데이터를 가공하여 얻은 실질적인 결과이며, 의사결정에 기여하 는 형태이다.데이터Data관찰 및 측정을 통한 획득가공되지 않은 상태단순한 사실이나 결과정보Information데이터를 가공하여 얻은 결과의사결정에 기여2) 데이터의 존재론적 특징에 따른 구분데이터는 존재론적 관점에서 볼 때 정량적 데이터, 정성적 데이터로 구분할 수 있다. 정량적 데이터는 계량 가능한 형태의 데이터이며, 정형, 비정형의 형태를 가지고 있다. 반면, 정적 데이터는 추상적 형태이며, 비정형 데이터의 형태를 가지고 있다.정량적 데이터Quantitat.. 민간 자격증/빅데이터전문가 2024. 7. 2.

• 1. 빅데이터의 개념 1. 빅데이터란 무엇인가?1-1. 빅데이터 (Big Data)  - 기존의 데이터 처리 응용 소프트웨어가 처리하기에 매우 거대(large)하거나 복잡 한 (complex) 데이터 집합  * 데이터를 취급하기 위한 전혀 다른 새로운 방법론의 필요성 대두  - 정보 통신 기술의 주도권 ⇨ “데이터(data)”로 이동  - 제타(Zeta) 시대에 돌입   * 현존하는 데이터의 양이 1ZB를 초과  - 모바일 시대 ⇨ 스마트 시대에 중요성 증대  - 미래의 경쟁력과 가치 창출의 원천1-2. 빅데이터의 역사 PC 시대  - 데이터베이스 개념 정립, PC통신 시작  - 데이터의 규모가 작고 교류가 적음 인터넷 시대  - 초고속 인터넷의 도입, 포털 서비스  - 데이터의 규모 및 절대적 교류량 증가 모바일 시대 .. 민간 자격증/빅데이터전문가 2024. 7. 1.