분류 전체보기114 (4과목) 빅데이터 결과 해석 ② 1. 분석 모형 개선 1-1. 과대적합 방지 훈련시 높은 성능을 보이지만 테스트 데이터에 대해서는 낮은 성능을 보여주는 과대적합을 방지하고, 일반화된 모델을 생성하기 위해 방향을 제시한다. 1) 모델의 낮은 복잡도 훈련 데이터를 더 많이 획득할 수 없다면 정규화, 드롭아웃 등을 활용하여 적절한 복잡도를 가진 모델을 자동으로 탐색한다. - 학습을 하면서 지속적으로 바뀌는 가중치 매개변수가 아닌 상수값인 하이퍼파라미터(학습률, 각 층의 뉴런 수 등)는 과대적합의 위험을 줄이기 위해 제약을 가하는 규제의 양을 결정하는 인수로, 큰 값을 지정할수록 복잡도가 낮은 모델을 얻게 된다. - 드롭아웃(Dropout) * 신경망 모델에서 은닉층의 뉴런을 임의로 삭제하면서 학습하는 방법이다. 훈련시에는 삭제할 뉴런을 선택.. 빅데이터분석기사/필기 2024. 3. 28. TensorFlow 실습 1. 의류이미지 분류 Fashion MNIST를 통해서 Tensorflow의 사용법과 신경망 모델링의 기본 구성을 이해해보고 Tensorflow의 Keras를 통해서 딥러닝 모델링을 실행해본다. 1-1. Fashion MNIST란? 10개의 범주(category)와 70,000개의 흑백 이미지로 구성된 패션 MNIST 데이터셋을 사용한다. 이미지는 해상도(28x28 픽셀)가 낮고 다음처럼 개별 옷 품목을 나타낸다 패션 MNIST는 일반적인 MNIST 보다 조금 더 어려운 문제이고 다양한 예제를 만들기 위해 선택했다. 두 데이터셋은 비교적 작기 때문에 알고리즘의 작동 여부를 확인하기 위해 사용되곤 한다. 코드를 테스트하고 디버깅하는 용도로 좋다. 여기에서 60,000개의 이미지를 사용하여 네트워크를 훈련하.. 딥러닝 프레임워크/딥러닝 기초 2024. 3. 28. DeepLearning 1. DeepLearning 딥러닝은 인공신경망(Artificial Neural Network)의 일종이다. 인공신경망은 생물학적인 신경망의 작동 원리를 모방하여 만들어졌다. 딥러닝은 여러 층의 인공신경망을 통해 데이터를 분석하고 인식하는 방식으로 작동한다. 이 방식은 이미지, 음성, 텍스트 등 다양한 형태의 데이터를 처리하고 분석하는 데 매우 효과적이다. 인공신경망은 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer)으로 구성한다. 입력층은 데이터를 받아들이는 역할을 하며, 출력층은 분류 등의 결과를 출력하는 역할을 한다. 은닉층은 입력층과 출력층 사이에 위치하며, 입력층에서 받아들인 데이터를 처리하는 역할을 한다. 이미지 인식 분야에서는 딥러닝을 이용하여.. 딥러닝 프레임워크/딥러닝 기초 2024. 3. 27. (4과목) 빅데이터 결과 해석 ① 1. 평가지표 1-1. 지도학습 - 분류모델 평가 지표 실제 답 True False 예측 결과 Positive True Positive False Positive Negative False Nagative True Negative 오차행렬(혼동행렬, Confusion Matrix) - True Positive(TP) : 실제 True인 답을 True라고 예측(정답) - False Positive(FP) : 실제 False인 답을 True라고 예측(오답) - False Negative(FN) : 실제 True인 답을 False라고 예측(오답) - True Negative(TN) : 실제 False인 답을 False라고 예측(정답) 1) 오차행렬(Confusion Matrix) 훈련을 통한 예측 성능을 측정.. 빅데이터분석기사/필기 2024. 3. 26. OpenCV_Basic (1) 1. 이미지 파일 저장 1-1. 이미지 저장하기 1) 이미지 읽기 cv2.imread() 함수를 사용하여 이미지 파일을 읽어온다. 여기서 cv2.IMREAD_GRAYSCALE 옵션을 사용하면 이미지를 그레이스케일로 로드한다. import cv2 img = cv2.imread('cats.jpg', cv2.IMREAD_GRAYSCALE) 2) 이미지 표시 cv2.imshow() 함수를 사용하여 이미지를 화면에 표시한다. cv2.imshow('IMG', img) cv2.waitKey(0) cv2.destroyAllWindows() 3) 이미지 저장 cv2.imwrite() 함수를 사용하여 이미지를 파일로 저장한다. 이 함수는 파일 경로와 이미지 데이터를 인자로 받으며, 저장이 성공적으로 완료되면 True를 반.. 컴퓨터 영상 처리/OpenCV 2024. 3. 22. (2과목) 빅데이터 탐색 ② 1. 데이터 탐색의 개요 1-1. 탐색적 데이터 분석(EDA : Exploratory Data Analysis 수집한 데이터가 들어왔을 때 다양한 방법을 통해서 자료를 관찰하고 이해하는 과정을 의미하는 것으로 본격적인 데이터 분석 전에 자료를 직관적인 방법으로 통찰하는 과정이다. 1-2. 이상치의 검출 이상치가 왜 발생했는지 의미를 파악하는 것이 중요하다. 그리고 그러한 의미를 파악했으면 어떻게 대처해야할지(제거, 대체, 유지 등)를 판단한다. 1) 통계값 활용 - 적절한 요약 통계 지표(SummaryStatistic)를 사용할 수 있다. - 데이터의 중심을 알기 위해서는 평균(mean), 중앙값(median), 최빈값(mode)을 사용할 수 있다. - 데이터의 분산도를 알기 위해서는 범위(range),.. 빅데이터분석기사/필기 2024. 3. 21. (2과목) 빅데이터 탐색 ① 1. 데이터 내에 내제된 변수 1-1. 데이터 관련 정의 1) 데이터(Data) : 이론을 세우는 기초가 되는 사실 또는 자료를 지칭하여 컴퓨터와 연관되어 프로그램을 운용할 수 있는 형태로 기호화 수치화한 자료를 말한다. 2) 단위(Unit) : 관찰되는 항목 또는 대상을 지칭한다. 3) 관측값(Observation) : 각 조사단위별 기록정보 또는 특성을 말한다. 4) 변수(Variable) : 각 단위에서 측정된 특성 결과이다. 5) 원자료(Raw Data) : 표본에서 조사된 최초의 자료를 이야기한다. 1-2. 데이터의 종류 1) 단변량자료(Unvariate Data) : 자료의 특성을 대표하는 특성 변수가 하나인 자료이다. 2) 다변량자료(Multivariate Data) : 자료의 특성을 대표하.. 빅데이터분석기사/필기 2024. 3. 19. OpenCV 기초 1. OpenCV 개요 1-1. 소개 영상처리와 컴퓨터 비전의 차이 1) 영상처리(Image Processing) 이미지를 개선하거나 특정 정보를 추출하는 데 중점을 둔다. 이는 이미지의 노이즈 제거, 명암 대비 개선, 필터링, 이미지 변환 등을 포함할 수 있다. 영상처리의 주된 목적은 이미지 자체의 품질을 향상시키거나, 이미지로부터 유용한 정보를 추출하는 것이다. 2) 컴퓨터 비전(Computer Vision) 이미지나 비디오로부터 의미 있는 정보를 추출하고, 이를 해석하여 특정 작업을 수행하거나 결정을 내리는 과정이다. 컴퓨터 비전의 목표는 컴퓨터가 인간의 시각처럼 주변 환경을 이해하고 인식할 수 있게 하는 것이다. 이는 객체 인식, 얼굴 인식, 동작 추적, 3D 재구성 등 복잡한 작업을 포함할 수 .. 컴퓨터 영상 처리/OpenCV 2024. 3. 19. Express_Server2 1. Router 1-1. express.Router Express의 express.Router 기능을 사용하면 여러 라우트를 하나의 모듈로 그룹화할 수 있어, 애플리케이션의 구조를 더욱 모듈화하고 관리하기 쉽게 만들 수 있다. 이를 통해 app.js 파일의 길이를 줄이고, 관련된 라우트들을 하나의 파일로 관리할 수 있다. 1) 기본 사용법 - express.Router()를 호출하여 새로운 라우터 인스턴스를 생성한다. - 해당 라우터 인스턴스에 라우트를 추가한다. - 모듈로 내보내어 app.js에서 사용한다. const express = require('express'); const router = express.Router(); // GET / 라우터 router.get('/', (req, res) .. 웹 서비스 개발(FB,BE,SERVER,DB)/Node.js 2024. 3. 18. 군집분석 군집분석(Cluster Analysis)은 비슷한 특성을 가진 데이터들을 묶어주는 기술이다. 이를 통해 데이터 간의 유사성을 파악하고, 데이터를 분류하거나 축소하는 등의 다양한 분석에 활용된다. 군집분석에는 계층적 군집분석과 비계층적 군집분석이 있다. 계층적 군집분석은 데이터 간의 거리나 비유사도를 계산하여 군집을 형성한다. 이러한 계층적 군집분석은 일종의 트리 구조로 표현된다. 루트 노드는 모든 데이터를 포함하고, 하위 노드는 더 작은 군집을 의미한다. 비계층적 군집분석은 군집의 개수를 미리 지정하고 군집을 형성한다. 군집분석은 비지도학습(Unsupervised Learning)의 일종으로, 레이블이 없는(unlabeled) 데이터를 다루는 경우에 유용하다. 이는 레이블이 없는 상태에서 데이터들의 패턴.. 머신러닝과 빅데이터 분석/Machine Learning(비지도학습) 2024. 3. 18. (1과목) 빅데이터 분석 기획 ③ 1. 데이터 수집 및 전환 1-1. 데이터 수집 데이터 처리 시스템에 들어갈 데이터를 모으는 과정으로 여러 장소에 있는 데이터를 한 곳으로 모으는 것이다. 1) 데이터 수집 수행자료 - 용어집 - 서비스 흐름도 - 업무 메뉴얼 - 데이터 명세서 - 데이터 수집 계획서 - 원천 데이터 담당자 정보 - 비즈니스 및 원천 데이터 파악을 위한 비즈니스 모델 - 원천 데이터 소유 기관 정보 - 데이터 수집 기술 메뉴얼 - 인프라 구성도 - 소프트웨어 아키텍쳐 개념도 - 수집 솔루션 메뉴얼 - 하둡 오퍼레이션 메뉴얼 2) 데이터 수집 기술 ① 데이터 유형별 데이터 수집 기술 데이터 유형 데이터 수집 방식/기술 설명 정형 데이터 ETL(Extract Transform Load) 수집 대상 데이터를 추출 및 가공하여 .. 빅데이터분석기사/필기 2024. 3. 18. (1과목) 빅데이터 분석 기획 ② 1. 분석 방안 수립 1-1. 데이터 분석 기획 1) 분석 기획의 특징 ① 분석 대상과 방법에 따른 분류 - 분석 주제와 방법에 대한 특성상 4가지 유형을 넘나들며 분석을 하고 도출하는 과정을 반복한다. ② 목표 시점에 따른 분류 단기적 접근 방식 (과제 중심적 접근) - 당면한 과제를 빠르게 해결하기 위한 목적이다. - 명확한 해결을 위해 Quick-Win 방식으로 분석한다. 중장기적 접근 방식 (마스터 플랜 접근) - 지속적인 분석 문화를 내재화하기 위한 목적이다. - 전사적으로 장기적 관점에서 과제를 도출하여 수행한다. 혼합 방식 (분석 기획시 적합) - 마스터 플랜을 수립하고 장시적 관점에서 접근하는것이 바람직하다. - 분석의 가치를 증명하고 이해관계자들의 동의를 얻기 위해 과제를 빠르게 해결하여.. 빅데이터분석기사/필기 2024. 3. 17. 이전 1 2 3 4 5 6 7 ··· 10 다음 728x90