딥러닝 프레임워크/자연어 처리6

• 

  LSTM (1) 1. LSTM(Long Short-Term Memory) LSTM은 장기 의존성 문제를 해결하기 위해 고안된 RNN의 한 변형으로, 바닐라 RNN의 구조적 한계를 극복한다. LSTM은 바닐라 RNN과는 달리 정보를 장기간 기억하는 능력이 뛰어나며, 이는 내부적인 게이트 구조 덕분이다. 이 게이트들은 네트워크가 장기간 정보를 저장하거나 삭제할 때 필요한 컨트롤을 제공한다. 2. LSTM 활용 2-1. LSTM의 장점 1) 장기 의존성 문제 해결 LSTM은 시퀀스가 길어짐에 따라 정보가 손실되는 것을 방지하고, 필요한 정보를 장기간 유지할 수 있다. 2) 유연한 정보 처리 삭제 게이트와 입력 게이트를 통해 정보를 유연하게 삭제하거나 추가할 수 있다. 이는 다양한 시퀀스 길이와 다이내믹한 정보 변화에 효과적으.. 딥러닝 프레임워크/자연어 처리 2024. 4. 19.

• RNN 실습 1. Numpy로 RNN 구현하기 1-1. 이론적 배경 RNN은 이전의 출력이 다음 입력에 영향을 미치는 네트워크 구조를 갖고 있다. 이를 통해 시퀀스 내 데이터의 시간적 연속성을 모델링할 수 있다. RNN은 크게 두 부분으로 나뉜다. 1) 은닉층 시점 t 에서의 은닉 상태 h_t 는 현재의 입력 x_t 와 이전 은닉 상태 h_(t-1) 에 의해 결정된다. 2) 출력층 은닉 상태를 기반으로 최종 출력을 계산한다. 1-2. 구현 단계 2. Tensorflow Keras API RNN 구현 케라스(Keras)를 사용하여 RNN 모델을 구현하는 방법에 대해 체계적으로 설명하고 순차적으로 케라스의 RNN 레이어를 구성하고 설정하는 방법에 대해 다룬다. - 케라스에서 RNN 레이어를 추가하는 방법 이해하기 - i.. 딥러닝 프레임워크/자연어 처리 2024. 4. 18.

• RNN 문자 생성 RNN을 활용하여 주어진 텍스트 데이터로부터 텍스트 생성 모델을 구축하고 훈련시키는 과정이다. - RNN을 이용한 텍스트 생성 모델 구축 - 케라스를 사용한 모델 설계 및 학습 - 새로운 텍스트 생성을 위한 모델 예측 수행 1. 데이터 준비 및 전처리 1-1. 데이터 로딩 1-2. 토큰화 및 정수 인코딩 1-3. 시퀀스 데이터 생성 1-4. 훈련 데이터 및 레이블 분리 2. 모델 설계 3. 모델 훈련 4. 텍스트 생성 함수 구현 5. 텍스트 생성 테스트 딥러닝 프레임워크/자연어 처리 2024. 4. 18.

• RNN (1) 1. RNN RNN(Recurrent Neural Network)은 시퀀스 데이터를 처리하기 위해 설계된 인공 신경망 모델이다. 이 모델은 입력과 출력을 시퀀스 단위로 처리하며, 각 시퀀스는 연속된 데이터 요소(예: 단어)의 나열로 구성된다. 예를 들어, 기계 번역에서 입력 시퀀스는 번역하고자 하는 문장의 단어들이고, 출력 시퀀스는 그에 상응하는 번역된 문장의 단어들이다. RNN은 내부에 순환 구조를 갖고 있어서 이전의 처리 상태를 기억하면서 다음 상태의 입력으로 활용할 수 있다. 이 특성 덕분에 RNN은 문맥이 중요한 언어 번역, 음성 인식, 시계열 예측 등 다양한 시퀀스 처리 작업에 널리 사용된다. 특히, RNN은 시퀀스의 길이에 상관없이 일정한 크기의 네트워크로 처리할 수 있는 능력이 있다. 이는 .. 딥러닝 프레임워크/자연어 처리 2024. 4. 18.

• 

  자연어 처리 예제(1) 1. 크롤링으로 데이터 수집하기 무한 스크롤일 경우 셀레니움 사용 2. 데이터 프레임으로 만들기 3. 데이터 전처리 4. DTM 5. W2V 6. 관련기사 추천 딥러닝 프레임워크/자연어 처리 2024. 4. 17.

• 자연어 처리(Text Mining) 1. 자연어 처리 자연어 처리는 인간이 사용하는 언어를 컴퓨터가 이해하고 처리할 수 있도록 하는 기술이다. 이를 위해서는 컴퓨터가 자연어를 이해하고 분석하는 기술이 필요하다. 이러한 기술은 기계학습과 딥러닝과 같은 인공지능 기술의 발전과 함께 지속적으로 발전해왔다. 자연어 처리 기술은 자연어 이해, 자연어 생성, 자연어 분석 등으로 구성된다. 자연어 처리 기술은 다양한 분야에서 활용된다. 예를 들어, 검색 엔진에서 검색어와 검색 대상 문서를 자연어 처리하여 가장 적합한 검색 결과를 제공하거나, 기계 번역에서는 다른 언어의 문장을 자연어 처리하여 번역 결과를 생성한다. 또한, 음성 인식 기술에서는 자연어 처리를 통해 사용자의 음성을 텍스트로 변환하여 처리한다. 현재 자연어 처리 기술은 다양한 문제점이 존재.. 딥러닝 프레임워크/자연어 처리 2024. 4. 16.