[지능형시스템] Neural Networks (2)

Deep Neural Network and Deep Learning

• 아키텍처 : FNN, CNN, RNN, GAN 등
• 고급 모델 :  Attention, Transformer, AutoEncoder 등
• 기본적인 딥러닝 방법 : Gradient Descent(경사 하강법), Back Propagation(역전파 방법)

 

Gradient Descent (경사 하강법)

1차 근삿값 발견용 최적화 알고리즘으로써, 이 부분의 기본 개념은 함수의 기울기를 구하고 해당 경사의 반대 방향으로 계속 이동시켜 극값에 이를 때까지 반복시키는 것을 말한다.

위 그림에서 가장 가운데에 있는 지점이 에러가 최소가 되는 지점이다.

밖으로 나갈수록 에러가 커진다.

 

Back Propagation (역전파 방법)

출력층에서 입력층 방향으로 오차를 전파시키며 각 층의 가중치를 업데이트한다.

이떄 각 가중치 매개변수에 대한 손실 함수의 기울기를 구하기 위해 미분의 chain rule 성질을 이용한다.

Chain rule은 합성 함수 미분법의 성질을 말한다. 

 

• FNN

데이터가 한 방향으로 전달되는 연결구조만을 갖는 가장 기본적인 구조의 신경망이다.

• 단점: 깊이는 못 가고 끊김
• 장점: 분류기로 많이 씀 (분류하고자 하는 갯수만큼 레이어를 쌓음)

 

• CNN

이미지의 공간을 유지한 채로 학습하는 모델을 의미한다.

CNN은 이미지 특징 추출을 위하여 위 사진과 같이 입력데이터를 필터가 순회하며 합성곱을 계산하고, 그 계산 결과를 이용하여 Feature map을 만든다.

특정한 메트릭스만큼의 크기를 가진걸 weighted sum을 해서 업데이트를 한다.

특성을 찾고 크기를 찾아내서 압축하고 특성을 찾고의 반복

• 합성곱 : convolution

합성곱 연산은 두 함수 f, g 가운데 하나의 함수를 반전, 전이시킨 다음, 다른 하나의 함수와 곱한 결과를 적분하는 것을 의미한다.

 

• RNN

시간지향적

되돌아오는 순환 신경함 (Recuurent)

input이 들어오면 hidden layer

과거에 사용했던 input이 남아서 다음에 사용할 연산에 영향을 미침

ex. 주가 예측, 자연어 같은 맥락을 가진 데이터