분류 전체보기114

• RNN 실습 1. Numpy로 RNN 구현하기 1-1. 이론적 배경 RNN은 이전의 출력이 다음 입력에 영향을 미치는 네트워크 구조를 갖고 있다. 이를 통해 시퀀스 내 데이터의 시간적 연속성을 모델링할 수 있다. RNN은 크게 두 부분으로 나뉜다. 1) 은닉층 시점 t 에서의 은닉 상태 h_t 는 현재의 입력 x_t 와 이전 은닉 상태 h_(t-1) 에 의해 결정된다. 2) 출력층 은닉 상태를 기반으로 최종 출력을 계산한다. 1-2. 구현 단계 2. Tensorflow Keras API RNN 구현 케라스(Keras)를 사용하여 RNN 모델을 구현하는 방법에 대해 체계적으로 설명하고 순차적으로 케라스의 RNN 레이어를 구성하고 설정하는 방법에 대해 다룬다. - 케라스에서 RNN 레이어를 추가하는 방법 이해하기 - i.. 딥러닝 프레임워크/자연어 처리 2024. 4. 18.

• RNN 문자 생성 RNN을 활용하여 주어진 텍스트 데이터로부터 텍스트 생성 모델을 구축하고 훈련시키는 과정이다. - RNN을 이용한 텍스트 생성 모델 구축 - 케라스를 사용한 모델 설계 및 학습 - 새로운 텍스트 생성을 위한 모델 예측 수행 1. 데이터 준비 및 전처리 1-1. 데이터 로딩 1-2. 토큰화 및 정수 인코딩 1-3. 시퀀스 데이터 생성 1-4. 훈련 데이터 및 레이블 분리 2. 모델 설계 3. 모델 훈련 4. 텍스트 생성 함수 구현 5. 텍스트 생성 테스트 딥러닝 프레임워크/자연어 처리 2024. 4. 18.

• RNN (1) 1. RNN RNN(Recurrent Neural Network)은 시퀀스 데이터를 처리하기 위해 설계된 인공 신경망 모델이다. 이 모델은 입력과 출력을 시퀀스 단위로 처리하며, 각 시퀀스는 연속된 데이터 요소(예: 단어)의 나열로 구성된다. 예를 들어, 기계 번역에서 입력 시퀀스는 번역하고자 하는 문장의 단어들이고, 출력 시퀀스는 그에 상응하는 번역된 문장의 단어들이다. RNN은 내부에 순환 구조를 갖고 있어서 이전의 처리 상태를 기억하면서 다음 상태의 입력으로 활용할 수 있다. 이 특성 덕분에 RNN은 문맥이 중요한 언어 번역, 음성 인식, 시계열 예측 등 다양한 시퀀스 처리 작업에 널리 사용된다. 특히, RNN은 시퀀스의 길이에 상관없이 일정한 크기의 네트워크로 처리할 수 있는 능력이 있다. 이는 .. 딥러닝 프레임워크/자연어 처리 2024. 4. 18.

• 

  자연어 처리 예제(1) 1. 크롤링으로 데이터 수집하기 무한 스크롤일 경우 셀레니움 사용 2. 데이터 프레임으로 만들기 3. 데이터 전처리 4. DTM 5. W2V 6. 관련기사 추천 딥러닝 프레임워크/자연어 처리 2024. 4. 17.

• (1과목) 데이터 모델링의 이해 1. 데이터 모델의 이해 1-1. 모델링의 특징 컴퓨터에 데이터를 넣는다고 생각을 하면 1) 추상화(Abstraction) 현실 세계를 일정한 형식으로 표현하는 것이다. 즉 아이디어나 개념을 간략하게 표현하는 과정이다. 2) 단순화(Simplification) 복잡한 현실 세계를 정해진 표기법으로 단순하고 쉽게 표현한다는 의미이다. 3) 명확화(clarity) 불분명함을 제거하고 명확하게 해석할 수 있도록 기술한다는 의미이다. 1-2. 모델링의 세 가지 관점 1) 데이터 관점(What, Data) 데이터 위주의 모델링이라고 할 수 있다. 어떤 데이터들이 업무와 얽혀있는지, 그리고 그 데이터간에는 어떤 관계가 있는지에 대해서 모델링하는 방법이다. 2) 프로세스 관점 (How, Process) 프로세스 위주.. SQLD 2024. 4. 16.

• 자연어 처리(Text Mining) 1. 자연어 처리 자연어 처리는 인간이 사용하는 언어를 컴퓨터가 이해하고 처리할 수 있도록 하는 기술이다. 이를 위해서는 컴퓨터가 자연어를 이해하고 분석하는 기술이 필요하다. 이러한 기술은 기계학습과 딥러닝과 같은 인공지능 기술의 발전과 함께 지속적으로 발전해왔다. 자연어 처리 기술은 자연어 이해, 자연어 생성, 자연어 분석 등으로 구성된다. 자연어 처리 기술은 다양한 분야에서 활용된다. 예를 들어, 검색 엔진에서 검색어와 검색 대상 문서를 자연어 처리하여 가장 적합한 검색 결과를 제공하거나, 기계 번역에서는 다른 언어의 문장을 자연어 처리하여 번역 결과를 생성한다. 또한, 음성 인식 기술에서는 자연어 처리를 통해 사용자의 음성을 텍스트로 변환하여 처리한다. 현재 자연어 처리 기술은 다양한 문제점이 존재.. 딥러닝 프레임워크/자연어 처리 2024. 4. 16.

• 

  CNN_고급활용(2) 1. 분할(Segmentation) 이미지 분할(Image Segmentation)은 이미지 내에서 각 픽셀이 어떤 객체 또는 배경에 속하는지를 식별하는 과정이다. 분할은 크게 의미 분할(Semantic Segmentation), 사례 분할(Instance Segmentation), 총괄 분할(Panoptic Segmentation)의 세 가지 주요 유형으로 나뉜다. 1-1. 의미 분할(Semantic Segmentation) 의미 분할은 이미지 내의 모든 픽셀을 특정 클래스(예: 사람, 자동차, 나무 등)에 할당하는 과정이다. 이 과정에서 이미지 내 동일한 클래스에 속하는 모든 객체는 같은 레이블로 표시된다. 다시 말해, 개별 객체를 구분하지 않고, 모든 객체가 동일한 클래스로 그룹화된다. 예시) 도로.. 딥러닝 프레임워크/이미지 처리 2024. 4. 12.

• 

  CNN_고급활용 1. CV : Computer Vision 컴퓨터 비전은 디지털 이미지나 비디오를 분석하여 사람처럼 이해하려는 기술 분야이다. 1) 분류(Classification) 이미지 전체를 보고 그 이미지가 어떤 범주(클래스)에 속하는지 결정한다. 예를 들어, 이미지에 고양이가 있는지, 개가 있는지 분류할 수 있다. 2) 검출(Detection) 이미지 내에서 특정 객체의 존재와 그 위치를 찾는다. 예를 들어, 이미지 내에서 고양이가 어디에 있는지를 찾아내는 것이다. 3) 분할(Segmentation) 이미지를 여러 부분으로 나누어 각 부분이 어떤 객체에 속하는지를 결정한다. 예를 들어, 이미지의 각 픽셀이 고양이에 속하는지, 배경에 속하는지 분류한다. 4) 추적(Tracking) 비디오 내에서 시간에 따라 객체.. 딥러닝 프레임워크/이미지 처리 2024. 4. 8.

• CNN_전이학습 1. 전이 학습(Transfer Learning) 1-1. 전이 학습(Transfer Learning)의 개요 전이 학습은 한 분야에서 얻은 지식을 다른 분야의 문제 해결에 적용하는 학습 방식이다. 딥러닝, 특히 이미지 분류 문제에서 이 방식은 뛰어난 성능을 보여주며 널리 사용된다. 기존에 학습된 딥 뉴럴 네트워크(DNN)를 다른 데이터셋이나 문제에 적용하여 빠르고 정확한 결과를 얻을 수 있다. 이는 네트워크가 다양한 이미지로부터 보편적인 특징이나 패턴을 학습했기 때문에 가능하다. 1-2. 네트워크에서의 특징 학습 1) Low-level features 네트워크의 초기 층에서 학습되며, 이미지의 색, 경계와 같은 기본적인 요소를 포함한다. 2) High-level features 네트워크의 깊은 층에서 .. 딥러닝 프레임워크/이미지 처리 2024. 4. 4.

• CNN(Convolution Neural Network) 1. CNN(Convolution Neural Network) 이미지 처리, 컴퓨터 비전 및 음성 인식 분야에서 많이 사용된다. CNN은 인간의 뇌가 이미지를 처리하는 방식과 유사하게 작동한다. CNN은 주로 convolutional layer, pooling layer 및 fully connected layer로 구성된다. Convolutional layer는 입력 이미지에서 필터를 사용하여 특징 맵을 생성한다. Pooling layer는 특징 맵을 축소하여 계산량을 줄인다. Fully connected layer는 분류 작업을 수행한다. 2. CNN 구조 2-1. 입력층 입력층은 이미지의 픽셀값을 받아들이는 역할을 한다. 이미지가 입력층으로 들어오면, 이를 기반으로 합성곱층에서 이미지의 특징을 추출한.. 딥러닝 프레임워크/이미지 처리 2024. 4. 2.

• (2과목) 빅데이터 탐색③ 1. 기술 통계 1-1. 표본추출 1) 전수조사와 표본조사 전수조사란 분석 대상이 되는 대상 집단 전체를 조사하는 방법을 말하며, 표본조사란 분석 대상이 되는 대상 집단 중 일부만 조사하는 방법을 말한다. 용어 설명 모집단 (Population) 조사하고자 하는 대상 집단 전체 원소 (Element) 모집단을 구성하는 개체 표본 (Sample) 조사하기 위해 추출한 모집단의 일부 원소 모수 (Parameter) 표본 관측에 의해 구하고자 하는 모집단에 대한 정보로써 모집단의 특성을 나타내는 수치 통계량 (Statistics) 모집단에서 추출한 표본에 특성을 나타내는 수치(통계량의 목적은 모수를 추정하기 위해 사용되며, 모수는 변하지 않지만 통계량은 표본에 의해서 결정되기 때문에 확률적으로 변화될 수 있다.. 빅데이터분석기사/필기 2024. 3. 30.

• (4과목) 빅데이터 결과 해석 ③ 1. 분석 결과 해석 1-1. 분석 모델별 결과 해석 1) 분석 모형 해석 분석 후 적합한 모형을 도출하는데 지표가 사용되며 각 모델마다 평가되는 해석 지표들이 다르다. ①회귀 모델 - 회귀 모델의 평가를 위한 지표는 일반적으로 잔차, 결정계수 등이 있다. - 잔차는 회귀모형으로 실제 값과 예측 값의 차이를 의미하는 것이며, 잔차에는 패턴이나 추세가 있어서는 안 된다. - 결정 계수는 추정된 회귀식이 변동을 얼마나 잘 성명했는가에 대한 지표로, 값이 1에 가까울수록 실제 관측값이 회귀선상에 정확히 일치함을 의미한다. ⓐ [잔차] MAE(Mean Absolute Error) 예측값과 실제값 차이를 절대값으로 변환, 더한 뒤의 평균 ⓑ [잔차] MSE(Mean Squared Error) 예측값과 실제 값 차.. 빅데이터분석기사/필기 2024. 3. 28.