[인공지능] BiLSTM이란? BiLSTM의 구조 📌 기존의 RNN/LSTM[ 🚨 ]RNN이나 LSTM은 입력 순서를 시간 순대로 입력하기 때문에결과물이 직전 패턴을 기반으로 수렴하는 경향을 보인다는 한계 존재 📌 BiLSTM이란?일반적인 LSTM은 순방향(왼쪽에서 오른쪽)으로 정보를 추출하지만역방향으로도 정보를 추출하여 이용할 수 있는데, 이를 양방향 LSTM이라고 함 LSTM의 시각별 은닉 상태 벡터를 모은 각 행에는 그 행에 대응하는 단어의 성분을 많이 포함하고 있음예를들어, "나는 고양이 로소이다"의 문장을 왼쪽에서 오른쪽으로 읽을 경우“고양이”에 해당하는 벡터에는 “나”, “는”, “고양이”까지의 총 세 단어의 정보가 인코딩되어있음 문장이 길어질 수록 한 벡터에 포함하고 있는 단어의 정보가 점점 많아질 것➡️ 대응하는 단어(고양이)의 주.. 2024. 3. 5. [인공지능] LSTM이란? LSTM의 구조 및 작동 방식 📌 기존 RNN의 문제점[ 🚨 ]장기 의존성 문제 (Long-Term Dependency)to가 입력으로 주어지는 시각(계층)까지 그 이전의 맥락들을 기억하고 있어야 함그러나 Tom까지 역전파로 뻗어갈 때 의미있는 기울기가 전달되지 못하고 기울기 소실/폭주 문제가 발생할 경우,모델은 장기 의존 관계를 학습할 수 없음 RNN의 경우 tanh기반 활성화함수를 사용함따라서 작거나 큰 기울기가 곱해질 경우 기울기 소실/폭주 문제가 발생할 수 있으며 이의 경우 장기 의존 관계를 학습할 수 없음 즉, 시퀀스가 있는 문장에서 문장 간의 간격이 커질수록 RNN은 두 정보의 맥락을 파악하기 어려워짐 ➡️ 한참 전의 데이터도 함께 고려하여 출력을 만들어보자 (LSTM) 📌 LSTM 구조RNNRNN의 반복 모듈이 하.. 2024. 3. 4. [인공지능] RNN이란? RNN의 구조 및 작동 방식 📌 Time Delay Neural Network (TDNN)유한한 시간 입력 시퀀스를 고려할 수 있는 피드포워드 신경망 [ 🚨 ]Window의 크기가 하이퍼파라미터임고려하고 기억해야 할 데이터가 많을 때 상당한 어려움많은 양의 데이터를 고려하기 위해 Widow 크기를 늘릴 때 높은 복잡성예측에 이전 결과를 활용할 수 없는 단방향 네트워크 ➡️ Memory 기능을 가진 순환연결로써 이를 해결하자 📌 Recurrent Neural Network (RNN)텍스트, 비디오 등 시간적, 순차적 데이터에 적합한 양방향 신경망 순환 연결 구조모든 노드의 출력이 모든 노드의 입력으로 공급됨즉, 과거의 이벤트가 미래의 결과에 영향을 줄 수 있는 구조 현재 입력과 이전 숨겨진 노드를 기억하는 히든 노드 또는 메모.. 2024. 3. 4. [인공지능] LeNet, VGG, LesNet이란? CNN 아키텍처의 간단한 역사 📌 Flattening2D 특징 맵을 하나의 길고 연속적인 1D 벡터로 변환하는 과정(평면화 후 완전 연결 레이어의 입력으로 사용된다고 보면 됨) 📌 LeNetLeCun 팀이 도입한 최초의 CNN 아키텍처 중 하나로,2개의 컨볼루셔널 레이어(풀링 포함)와 3개의 완전 연결 레이어로 구성되어있음 📌 VGG옥스퍼드 대학교 VGG(Visual Geometry Group)에서 개발한 네트워크로,VGG16, VGG19와 같이 뒤에 붙는 수(레이어 수)에 따른 더 깊은 변형이 존재함[논문 - Very Deep Convolutional Networks for Large-Scale Image Recognition] ⬇️ VGG16 ⬇️ VGG19 [ 🚨 ]VGG16과 VGG19를 비교하였을 때,VGG19.. 2024. 3. 4. 이전 1 2 다음
