[순환신경망] RNN의 문제점

RNN이란?

RNN(Recurrent Neural Network)은 시계열 데이터를 처리하기 위해 고안된 모델로 아래 그림에서와 같이 이전 시각(계층)의 출력 값(은닉 값)이 다음 시각(계층)으로 전파되어 즉, 과거 정보를 계승하여 시계열 데이터에 대응하는 신경망임. 

은닉층에서 나온 결과값이 다시 은닉층으로 돌아가 새로운 입력 값과 연산을 수행하는 순환 구조임.

완전연결층(Fully Connected Layer), CNN(Convolutional Neural Network)은 은닉층에서 나온 결과값이 출력층 방향으로 이동하지만, RNN은 은닉층으로 되돌아가 순환한다는 점에서 큰 차이가 있음. 

아래 그림은 은닉층에서 결과 값이 나와 다시 은닉층으로 되돌아가는 순환 구조를 형성하는 것을 볼 수 있음 

 

RNN의 순환구조

위 그림에서 RNN 순환 구조를 펼친 형태로 입력값 {x0, x1,...,xt}를 순차적으로 입력했을 때 각 입력에 대응하는 {h0,...,ht}가 출력됨. 이때 RNN 계층은 모두 같은 계층이고 출력 {h0,...,hk,...,ht}를 각각 k시점에서의 은닉 상태라고 합니다. 

 

그래서 위에 식을 보면 ht-1(t-1의 은닉상태)에 대한 weight 값(Wh)과 xt(t시점에서 은닉층에 들어갈 입력값)에 대한 weight 값(Wx)를 연산한 것을 볼 수 있음 

(+b는 왜 나오며, tanh로 계산하는 이유는 무엇인지 잘 모르겠음 -> 찾아보셈) 

 

이러한 RNN의 구조는 시계열 데이터, 텍스트 데이터에 적합합니다.

 

 

가령 "You say goodbye and I say hello"에서 각 단어의 다음에 나올 단어를 예측하고자 할때, 문장에서 임베딩 된 단어를 순차적으로 RNN에 입력함. 

(임베딩이란 자연어 처리에서 사용되는 기술로, 컴퓨터가 단어를 숫자로 표현하여 컴퓨터가 작업할 수 있도록 하는 기술을 의미함/ 사람이 쓰는 자연어를 기계가 이해할 수 있도록 숫자형태인 vector로 바꾸는 과정 혹은 일련의 전체 과정을 의미함 - 임베딩 관련해서 아주 간략하게 정의만 정리한 것임. 관련 내용 더 찾아서 개념 숙지해놓기 // 일단 내가 참고한 자료 https://velog.io/@glad415/%EC%9E%84%EB%B2%A0%EB%94%A9Embedding%EC%9D%B4%EB%9E%80) 

 

이후 각 입력에 대응하는 은닉상태로 다음에 나올 단어를 예측함. 

여기서 은닉상태는 해당 시점까지의 단어 정보를 나타냄.

 

순전파와 역전파를 반복하며 모형을 학습시켜 최종적으로 각 단어 다음에 나올 단어를 완벽하게 예측하는 은닉상태를 갖는 것이 RNN의 목적 중 하나임. 

 

RNN의 언어 모델

위 그림에서 You라는 단어가 Embedding 계층을 거친 후 RNN에 입력되면, You의 은닉상태 hyou를 출력하고 다음에 올 단어 say를 예측합니다. 

 

은닉상태 hyou는 다음 RNN 계층으로 들어가 say라는 단어가 임베딩된 형태와 연산합니다. 여기서 hyou는 과거의 정보 you를 응집한 은닉 상태임.

 

다음 RNN 계층에서 나온 say의 은닉상태 hsay는 과저 정보 'You say'를 응집한 은닉 상태입니다.

이후 hsay를 이용해 다음에 올 단어 goodbye를 예측합니다.

 

이 과정이 RNN 학습, 순전파 과정입니다. 

이후 역전파 과정을 거치며 예측 단어와 실제 단어를 비교하면서 가중치와 은닉상태를 업그레이드합니다. 

 

알고리즘을 살펴보자

 

1. 순전파

RNN 순전파 과정

위 그림은 RNN의 순전파 과정임. 

'You say goodbye and I say hello'에서 다음에 나올 단어를 예측하며 RNN 계층을 학습하는 과정임

 

1) say의 은닉상태인 hsay와 hello가 임베딩된 벡터 xhello가

RNN 계층에 들어간 후 일련의 과정을 통해 hello의 은닉상태인 hhello와 yhello를 출력합니다. 

2) 출력된 은닉상태는 다음 RNN 계층의 입력으로 이동합니다

3) hhello는 hello를 비롯해 say, I와 같이 그동안 이동해온 단어들의 정보를 갖고 있습니다

4) yhello는 hhello가 변형된 형태로, hello의 다음 단어를 예측한 결과입니다.

 

여기서 일련의 과정은 아래의 식으로, 모형으로 나타내면 위의 그림으로 표현됩니다. 

RNN 순전파 수식

1) 가중치와 편향인 Wh, Wx

b는 RNN 계층별로 동일함

2) hhello를 구하기 위해 hsay와 Wh를 곱하고 hello를 임베딩한 단어벡터(xhello)와 Wx를 곱한 후 편향(b)를 더함. 

3) 이후 하이퍼볼릭탄젠트 함수(tanh)를 씌움 (why..?? 이 함수인지 찾아보기) 

 

 

2. 역전파 

RNN의 역전파

1) RNN에서 오차역전파는 RNN 계층에서 출력된 결과와 Y값의 차이를 반영해 가중치와 은닉상태를 업그레이드하는 과정

2) 예를 들면 위 그림에서 Softmax 이후 나오는 단어들의 예측 확률과 실제값의 오차를 Cross Entropy로 구함

3) 이후 오차를 미분해 기울기 {dh_hello, dh_row, dh_day, dw_x, dx_hello, dw_h}를 구하고 

각 가중치에 반영해 업그레이드하는 식으로 오차역전파가 진행됩니다.  (이해 안돼)

4) 오차를 미분하는 과정에서 y에 대해 미분하는 과정이 필요합니다

5) y에 대해 미분하는 식을 나타내면 아래와 같습니다. 

RNN 역전파 수식

 

3. 기울기 소실 문제

1) RNN에서 역전파가 진행되면서 기울기가 소실되는 문제가 발생함. 

2) 우선 오차역전파를 통해 은닉상태, 가중치, 편향{h, W, b}은 기울기/미분값이 반영되며 업그레이드 됩니다

3) RNN은 기울기/미분값을 구하는 과정이 아래 두 그림과 같이 복잡합니다

4) 만약 RNN 계층이 많다면, 오차역전파가 진행될수록 기울기가 소실되는 문제가 발생합니다

 

수식으로 증명하면서 기울기가 어떻게 소시되는지 보여드리겠습니다. 

기울기 전개식

1) 위 그림에서 hrow를 wh로 미분하는 과정입니다.

2) Say의 은닉상태인 hsay는 이전 단계의 RNN 계층인 you, say, goodbye, and, I의 영향을 받습니다.

3) 따라서 hrow를 wh로 미분하려면 hyou, hsay, hgoodbye, hand, hI를 모두 반영해야 합니다

4) 위 그림을 정리하면 아래와 같습니다.

 

기울기 전개식 2

1) 위 그림에서 hrow를 wh로 미분하면 가중치, 은닉상태를 계속 곱하고 더하는 패턴이 보이는 것을 알 수 있습니다

2) 만약 RNN 계층이 여러 개라면, 오차역전파 과정이 진행되며 기울기가 곱하고 더하는 과정이 반복될 것입니다.

3) 여기에서 기울기가 감소하는 문제가 발생합니다

4) 그렇게 되면 오차역전파 과정이 꽤 진행되었을 때 업데이트할 기울기가 아주 작은 문제가 발생할 수 있습니다. 

 

이것을 기울기 소실이라고 하며, 이를 해결하기 위해 LSTM을 이용합니다. 

기울기 소실 문제가 gradient vanishing 말하는 것임 

 

https://byumm315.tistory.com/entry/RNN%EC%9D%84-%EC%95%8C%EC%95%84%EB%B4%85%EC%8B%9C%EB%8B%A4

위 블로그 그대로 참고함^^ 

그냥 쭉쭉 읽고 필기? 하면서 이해력 길러보려함 

 

https://ratsgo.github.io/natural%20language%20processing/2017/03/09/rnnlstm/

위에 LSTM 뿐만 아니라 오차 역전파, CNN의 역전파 등 글들이 아주 좋음! 참고하자 

 

 

어쨌든 RNN이 대략적으로 어떤 구조로 돌아가는지 살펴봤다

물론 건너뛴 부분도 있어서 음.. 이건 내일 또 와서 한번 보충해보겠다

 

RNN의 문제점

이걸 그래서 하고 싶었던건데ㅋㅋㅋ 이제 조금 구조를 알았으니 봐본다

 

RNN은 이전 맥락의 정보를 기억하는 일명 순환 메커니즘을 통해 데이터가 한 방향으로만 흐르는 "Feed Forward" 방식의 신경망보다 시계열 데이터 학습에 대한 성능이 향상 되었다. (역전파 때문에 한 방향으로 흐르는 것이 아닌듯? 맞대..ㅎ)

하지만 RNN은 시계열 데이터의 장기 의존 관계를 학습하기에는 어려운 문제가 있음.

즉 장기 기억에는 취약하다는 단점이 존재함.

나처럼 기억력이 좋지 않은 RNN 칭구

RNN 모델이 이 위의 예시의 정답을 맞추기 위해서는 "to"가 입력으로 주어지는 시각 (계층)까지 이전의 맥락들을 기억하고 있어야 함. 즉, 이전의 모든 맥락 정보를 Output값 (h)에 보관해둬야함 

하지만 이러한 상황에서 왜 RNN이 장기 기억에 취약한지 알아보기 위해

정답 레이블로 "TOM"이라는 단어가 주어졌을 때, 학습의 관점에서 생각해봅시다. 

 

아래 그림은 정답 레이블이 주어졌을 때 기울기가 역전파되는 과정을 나타낸 것이며, 빨간선이 기울기의 전파 과정입니다.

학습 과정에서 정답 레이블이 주어졌을 때 기울기의 흐름

위의 그림처럼 기울기는 RNN 계층의 과거 방향으로 전달되고, 

이 때 "의미 있는 기울기"가 전달되어야 시간 방향의 의존 관계를 제대로 학습할 수 있음

즉, 과거로 전파되는 은닉값(Hidden state)에 대한 기울기에 학습해야 할 의미 있는 정보가 들어 있고, 그것이 과거로 잘 전달되어야 장기 의존 관계를 학습할 수 있다는 말과 동일함. 

 

만약 이 기울기가 중간에 소실되거나 과도하게 커진다면 모델은 장기의존 관계를 학습할 수 없음 (기울기에 무슨 정보가 담겨 있는 거임..?? -> 학습해야할 의미 있는 정보가 들어 있음. 그러니깐 정보가 숫자로 표현되어 있고 이러한 규칙이 반영이 된 것이 기울기라는 것이 맞는건강..???)

그리고 단순한 RNN 계층에서는 시간을 거슬러 올라갈수록 기울기가 작아지거나(기울기 소실) 혹은 커지는 문제 (기울기 폭주)가 발생함.

 

RNN의 기울기 소실 문제 (Gradient Vanishing)

아래는 RNN에서 은닉 값(Hidden state)의 계산 그래프이고 

빨간 선은 Back propagation (기울기 전파) 과정을 나타낸 것이다. 

기울기 전파시 tanh연산과 MatMul(행렬곱) 연산을 통과하는 것을 확인할 수 있는데 

여기서 tanh 함수에 주목해보자

 

tanh 함수의 미분은 다음과 같고 각 결과를 그래프로 그려보면 아래의 그래프가 나온다 

위 그래프에서 살펴보면 dy/dx의 그래프는 값이 0~1이고, x가 0으로부터 멀어질수록 작아진다

즉, 역전파에서는 기울기가 tanh 노드를 지날 때마다 값은 계속해서 작아진다는 의미임

따라서 계층이 많을수록 tanh함수를 많이 통과하기 때문에 

기울기도 계속해서 작아지게 되고 소실되는 문제가 발생함 

 

 

RNN의 기울기 폭주 문제 (Gradient Exploding)

기울기 폭주 문제는 MatMul(행렬곱) 연산에 의해 발생한다

기울기 폭주 문제를 살펴보기 위해 행렬 곱 연산에만 주목하여 역전파 시 기울기 변화를 살펴보자

MatMul의 역전파

상류로부터 dh라는 기울기가 흘러온다고 가정했을 때,

Matmul 노드에서의 기울기, 역전파는 dhWh_t라는 행렬 곲으로 계산됨. 

그리고 해당 계산을 시계열 데이터의 시간 크기(계층 크기) 만큼 반복함

 

여기서 주목할 점은 이 행렬 곱셈에서는 

매번 똑같은 가중치가 사용된다는 것

해당 가중치의 값에 따라 기울기가 지수적으로 증가할 수도 감소할 수도 있음  (먼솔) 

 

이에 대한 대책

- 기울기 소실 문제 해결

: 기존의 RNN에서 발생하는 기울기 소실 문제를 해결하기 위해 등장한 것이 

'게이트가 추가된 RNN'이며 대표적으로 LSTM과 GRU가 있다

 

- 기울기 폭주 문제의 대책

: 기울기 폭주의 전통적인 기법으로는 기울기 클리핑 (Gradient Clipping)이라는 기법이 있음

말 그대로 기울기 값을 자르는 것을 의미함 

기울기 폭주를 막기 위해 단순히 특정 임계값을 넘는 기울기 값을 잘라내거나 특정 비율만큼 곱하여 기울기 값을 감소시키는 방법임 

(정확히 무슨 방법인지 다시 공부해보고, 또한 전통적인 기법이라는 것 보니깐 다른 기법 혹은 기울기 폭주 문제와 관한 해결방법들이 나온 것 같은데 그게 무엇인지 알아보기) 

 

https://chonchony.tistory.com/47

참고라고 말하고 그냥 다 베껴버리기..ㅎ 

 

그래도 조금은 이해가 된 것 같으니.. 일단 오늘은 여기까지 하고

내일 다시 복습 및 밑줄 친 부분들 더 찾아보겠음