분류 전체보기145

• (2과목) 빅데이터 탐색 ② 1. 데이터 탐색의 개요 1-1. 탐색적 데이터 분석(EDA : Exploratory Data Analysis 수집한 데이터가 들어왔을 때 다양한 방법을 통해서 자료를 관찰하고 이해하는 과정을 의미하는 것으로 본격적인 데이터 분석 전에 자료를 직관적인 방법으로 통찰하는 과정이다. 1-2. 이상치의 검출 이상치가 왜 발생했는지 의미를 파악하는 것이 중요하다. 그리고 그러한 의미를 파악했으면 어떻게 대처해야할지(제거, 대체, 유지 등)를 판단한다. 1) 통계값 활용 - 적절한 요약 통계 지표(SummaryStatistic)를 사용할 수 있다. - 데이터의 중심을 알기 위해서는 평균(mean), 중앙값(median), 최빈값(mode)을 사용할 수 있다. - 데이터의 분산도를 알기 위해서는 범위(range),.. 빅데이터분석기사/필기 2024. 3. 21.

• (2과목) 빅데이터 탐색 ① 1. 데이터 내에 내제된 변수 1-1. 데이터 관련 정의 1) 데이터(Data) : 이론을 세우는 기초가 되는 사실 또는 자료를 지칭하여 컴퓨터와 연관되어 프로그램을 운용할 수 있는 형태로 기호화 수치화한 자료를 말한다. 2) 단위(Unit) : 관찰되는 항목 또는 대상을 지칭한다. 3) 관측값(Observation) : 각 조사단위별 기록정보 또는 특성을 말한다. 4) 변수(Variable) : 각 단위에서 측정된 특성 결과이다. 5) 원자료(Raw Data) : 표본에서 조사된 최초의 자료를 이야기한다. 1-2. 데이터의 종류 1) 단변량자료(Unvariate Data) : 자료의 특성을 대표하는 특성 변수가 하나인 자료이다. 2) 다변량자료(Multivariate Data) : 자료의 특성을 대표하.. 빅데이터분석기사/필기 2024. 3. 19.

• OpenCV 기초 1. OpenCV 개요 1-1. 소개 영상처리와 컴퓨터 비전의 차이 1) 영상처리(Image Processing) 이미지를 개선하거나 특정 정보를 추출하는 데 중점을 둔다. 이는 이미지의 노이즈 제거, 명암 대비 개선, 필터링, 이미지 변환 등을 포함할 수 있다. 영상처리의 주된 목적은 이미지 자체의 품질을 향상시키거나, 이미지로부터 유용한 정보를 추출하는 것이다. 2) 컴퓨터 비전(Computer Vision) 이미지나 비디오로부터 의미 있는 정보를 추출하고, 이를 해석하여 특정 작업을 수행하거나 결정을 내리는 과정이다. 컴퓨터 비전의 목표는 컴퓨터가 인간의 시각처럼 주변 환경을 이해하고 인식할 수 있게 하는 것이다. 이는 객체 인식, 얼굴 인식, 동작 추적, 3D 재구성 등 복잡한 작업을 포함할 수 .. 컴퓨터 영상 처리/OpenCV 2024. 3. 19.

• Express_Server2 1. Router 1-1. express.Router Express의 express.Router 기능을 사용하면 여러 라우트를 하나의 모듈로 그룹화할 수 있어, 애플리케이션의 구조를 더욱 모듈화하고 관리하기 쉽게 만들 수 있다. 이를 통해 app.js 파일의 길이를 줄이고, 관련된 라우트들을 하나의 파일로 관리할 수 있다. 1) 기본 사용법 - express.Router()를 호출하여 새로운 라우터 인스턴스를 생성한다. - 해당 라우터 인스턴스에 라우트를 추가한다. - 모듈로 내보내어 app.js에서 사용한다. const express = require('express'); const router = express.Router(); // GET / 라우터 router.get('/', (req, res) .. 웹 서비스 개발(FB,BE,SERVER,DB)/Node.js 2024. 3. 18.

• 군집분석 군집분석(Cluster Analysis)은 비슷한 특성을 가진 데이터들을 묶어주는 기술이다. 이를 통해 데이터 간의 유사성을 파악하고, 데이터를 분류하거나 축소하는 등의 다양한 분석에 활용된다. 군집분석에는 계층적 군집분석과 비계층적 군집분석이 있다. 계층적 군집분석은 데이터 간의 거리나 비유사도를 계산하여 군집을 형성한다. 이러한 계층적 군집분석은 일종의 트리 구조로 표현된다. 루트 노드는 모든 데이터를 포함하고, 하위 노드는 더 작은 군집을 의미한다. 비계층적 군집분석은 군집의 개수를 미리 지정하고 군집을 형성한다. 군집분석은 비지도학습(Unsupervised Learning)의 일종으로, 레이블이 없는(unlabeled) 데이터를 다루는 경우에 유용하다. 이는 레이블이 없는 상태에서 데이터들의 패턴.. 머신러닝과 빅데이터 분석/Machine Learning(비지도학습) 2024. 3. 18.

• (1과목) 빅데이터 분석 기획 ③ 1. 데이터 수집 및 전환1-1. 데이터 수집데이터 처리 시스템에 들어갈 데이터를 모으는 과정으로 여러 장소에 있는 데이터를 한 곳으로 모으는 것이다.1) 데이터 수집 수행자료 - 용어집 - 서비스 흐름도 - 업무 메뉴얼 - 데이터 명세서 - 데이터 수집 계획서 - 원천 데이터 담당자 정보 - 비즈니스 및 원천 데이터 파악을 위한 비즈니스 모델 - 원천 데이터 소유 기관 정보 - 데이터 수집 기술 메뉴얼 - 인프라 구성도 - 소프트웨어 아키텍쳐 개념도 - 수집 솔루션 메뉴얼 - 하둡 오퍼레이션 메뉴얼2) 데이터 수집 기술① 데이터 유형별 데이터 수집 기술데이터 유형데이터 수집 방식/기술설명정형데이터ETL(Extract Transform Load)수집 대상 데이터를 추출 및 가공하여 데이터 웨어 하우스에 .. 빅데이터분석기사/필기 2024. 3. 18.

• 

  (1과목) 빅데이터 분석 기획 ② 1. 분석 방안 수립 1-1. 데이터 분석 기획 1) 분석 기획의 특징 ① 분석 대상과 방법에 따른 분류 - 분석 주제와 방법에 대한 특성상 4가지 유형을 넘나들며 분석을 하고 도출하는 과정을 반복한다. ② 목표 시점에 따른 분류 단기적 접근 방식 (과제 중심적 접근) - 당면한 과제를 빠르게 해결하기 위한 목적이다. - 명확한 해결을 위해 Quick-Win 방식으로 분석한다. 중장기적 접근 방식 (마스터 플랜 접근) - 지속적인 분석 문화를 내재화하기 위한 목적이다. - 전사적으로 장기적 관점에서 과제를 도출하여 수행한다. 혼합 방식 (분석 기획시 적합) - 마스터 플랜을 수립하고 장시적 관점에서 접근하는것이 바람직하다. - 분석의 가치를 증명하고 이해관계자들의 동의를 얻기 위해 과제를 빠르게 해결하여.. 빅데이터분석기사/필기 2024. 3. 17.

• (1과목) 빅데이터 분석 기획 ① 1. 빅데이터 개요 및 활용 1-1. 데이터의 정의 1) 데이터는 추론과 추정의 근거를 이루는 사실이다. 2) 현실세계에서 관찰하거나 측정하여 수집한 사실이다. 1-2. 데이터 특징 1) 단순한 객체로도 가치가 있으며 다른 객체와의 상호관계 속에서 더 큰 가치를 갖는다. 2) 개고간적 사실이라는 존재적 특성을 갖는다. 3) 추론, 추정, 예측, 전망을 위한 근거로써 당위적 특성을 갖는다. 1-3. 데이터의 구분 1) 정량적 데이터(Quantitative Data) : 주로 숫자로 이루어진 데이터이다. 2) 정성적 데이터(Qualitative Data) : 문자와 같은 텍스트로 구성되며 함축적 의미를 가지고 있는 데이터이다. 1-4. 데이터 유형 1) 정형데이터(structured Data) : 정해진 형.. 빅데이터분석기사/필기 2024. 3. 17.

• 6. Express_Server 1. NPM(Node Package Manager) 1-1. npm이란 npm은 노드(Node.js) 패키지 매니저로, 다른 개발자들이 개발한 소스 코드와 모듈을 중앙 저장소에서 제공하고 관리하는 도구이다. 이를 통해 개발자들은 이미 만들어진 코드를 활용하여 개발 과정을 더 효율적으로 진행할 수 있으며, 코드의 재사용성을 높일 수 있다. 또한, npm은 오픈 소스 커뮤니티를 지원하고 발전시키는 핵심 도구 중 하나이다. 1-1-1. 핵심 개념 - 패키지(Packages) 1) 패키지는 npm 저장소에 업로드된 노드 모듈을 나타낸다. 2) 이러한 패키지들은 개발자들이 필요한 기능을 손쉽게 가져와 사용할 수 있다. 3) 패키지들은 버전 관리를 통해 업데이트되며, 프로젝트에서 사용되는 패키지의 버전을 명시하여 .. 웹 서비스 개발(FB,BE,SERVER,DB)/Node.js 2024. 3. 15.

• 

  분류 분석 2 1. 앙상블 모델 여러 개의 분류기를 생성하고 그 예측을 결합하여 보다 정확한 최종 예측을 도출하는 기법을 앙상블(Ensemble) 모델이라고 한다. 이미지, 영상, 음성, 자연어 등 비정형 데이터의 분류는 딥러닝 모델이 뛰어난 성적을 얻고 있지만, 대부분의 정형 데이터 분류에는 앙상블 모델이 뛰어난 성능을 나타내고 있다. 대표적으로 랜덤 포레스트, 그레디언트 부스팅(GBM) 등이 있으며, 사용하기 쉬울 뿐만 아니라 성능 역시 뛰어난다. 1-1. 앙상블의 유형 1) 배깅(Bagging) 배깅(Bagging)은 부트스트랩 집계(Bootstrap Aggregating)의 줄임말로, 여러 개의 부트스트랩을 집계하는 알고리즘이다. 배깅의 가장 큰 특징은 복원 추출을 활용한다는 점이다. 원본 데이터로부터 복원 추.. 머신러닝과 빅데이터 분석/Machine Learning(지도학습) 2024. 3. 15.

• 5. Node.js WebServer 2 1. Cookie 쿠키(Cookie)는 클라이언트-서버 간의 상태 정보를 유지하는 데 사용되는 작은 데이터 조각이다. 웹 브라우저와 서버 간에 데이터를 저장하고 교환하는 방법으로, 주로 사용자 인증, 세션 관리, 사용자 선호도 기록 등에 활용된다. 1-1. 쿠키의 기본 개념 1) 키-값 쌍: 쿠키는 키=값 형태의 쌍으로 구성되어 있다. 예를 들어, name=uesr1는 name이라는 키에 uesr1라는 값을 저장하고 있다. 2) 요청과 응답에 포함: 쿠키는 HTTP 요청과 응답 헤더에 포함되어 전송된다. 사용자가 웹사이트에 처음 방문할 때 서버는 HTTP 응답 헤더에 쿠키를 설정하고, 이후의 요청에서 브라우저는 이 쿠키를 자동으로 요청 헤더에 포함하여 서버로 전송된다. 3) 클라이언트-서버 상태 유지: .. 웹 서비스 개발(FB,BE,SERVER,DB)/Node.js 2024. 3. 13.

• 4. Node.js WebServer 1. 요청(Requests)과 응답(Response) 1-1. 서버와 클라이언트 서버와 클라이언트 관계는 인터넷이나 네트워크 기반의 시스템에서 흔히 볼 수 있는 중요한 개념이다. 이 관계는 요청(request)과 응답(response)을 기반으로 하는 통신 방식으로 이루어진다. - 서버(Server) 1) 역할 : 클라이언트의 요청을 수신하고, 이를 처리하여 적절한 응답을 반환한다. 2) 특징 : 일반적으로 하나의 서버는 동시에 여러 클라이언트의 요청을 처리할 수 있다. 3) 예시 : 웹 서버, 데이터베이스 서버, 메일 서버 등 - 클라이언트(Client) 1) 역할 : 서버에 서비스나 데이터를 요청하고, 서버로부터의 응답을 받는다. 2) 특징 : 사용자 인터페이스를 제공하며, 사용자의 입력을 서버에 요.. 웹 서비스 개발(FB,BE,SERVER,DB)/Node.js 2024. 3. 12.