[지능형시스템] Neural Networks (1)

Nerual Networks

현대 AI의 핵심: Deep Learning
Acronym : NN. CNN, RNN 등

 

 

Neuron

: 신경계를 구성하는 세포

 

Regression (회귀)

머신러닝 회귀 예측의 핵심은 주어진 피처와 결정 값 데이터 기반에서 학습을 통해 최적의 회귀 계수를 찾아내는 것이다.

 

• Linear Regression(선형 회귀): 주어진 데이터 포인트x에 해당하는 실제 값으로 주어진 타켓 y를 예측하는 것이다.

 

• Multiple Regression(다중 선형 회귀 분석): 단순 회귀 분석에서 독립변수가 n개만큼 추가되는 분석이다.

vector data (X,Y)를 통해 회귀모형 Y = BX를 설정할 수 있다.

 

• LMS (Leat Mean Square)

regression에서 각 데이터들과 선의 사이를 구해서 제곱한 뒤, 모두 더했을 때 각 데이터와 선 사이의 거리를 residual/error라고 한다.

선을 조금 회전시켜 다시 residual/erorr를 구하고 제곱한 것들을 다 더한다.

이때 residual/error의 제곱의 합이 제일 작게 나온 선을 찾는다.

기울기가 0 또는 0에 제일 가까운 값일 때가 least sum of squares인 것이다.

 

이것을 평균 낸 것을 least mean square이라고 한다.

죽, 최적의 일차함수 선을 찾는 것이다.

 

Perceptron

Articifial Neuron으로, 전기신호를 입력 받아서 각각의 돌기에서 신경세포 수용 정도에 따라서 적게 받기도 하고 많이 받기도 하여 하나의 값으로 출력하는 알고리즘이다.

• Single Layered Perceptron(단층 퍼셉트론 모델)

최초로 문자를 인식한 신경망 모델이기도 하다.

선형 분리 가능한 집합만 classification 가능하기 때문에 AND, OR, NOT 함수에 대해서는 선형 분리가 가능하지만, XOR 함수에 대해서는 선형 분리가 불가능하다.

위의 그림을 보면 AND와 OR 게이트를 사용한 것을 볼 수 있다.

Boundary of AND Gate에서는 TT가 둘 다 true여야만 값이 커진다.

 

그럼 XOR일 떄의 문제점에 대해 알아보자

그 이유는, 단층 퍼셉트론은 입력값에 따른 출력값을 구분짓는 직선을 1개밖에 그릴 수 없기 때문이다.

XOR 게이트의 경우, 입력값이 서로 다를 때만 1의 출력값을 갖는다.

따라서 XOR 게이트는 (0,0,0),(0,1,1),(1,0,1),(1,1,0)로 표현할 수 있다.

x1과 x2로 2차원 좌표평면이 있을 때, 하나의 직선으로 좌표별로 출력값 y를 구분지을 수 없는 것이다.

 

• MLP (Multi Layered Perceptron) : 다층 퍼셉트론 모델

위와 같은 문제점을 해결하기 위해 나온 것이 다층 퍼셉트론 모델이다.

다층 퍼셉트론은 AND, NAND, OR 게이트를 조합하여 XOR 게이트를 구현한다.

 

1.  Input Layer: input layer에서 입력받은 데이터들을 hidden layer로 보낸다.
2. Output Layer: 결과 및 오류 계산을 예측/분류한다.
3. Hidden Layers: 복잡한 패턴을 포착한다. (하나 혹은 그 이상의 히든 레이어가 존재한다.)

히든 레이어가 깊어질 수록 더 추상적인 걸 프로세싱한다.

input 단에 가까울수록 덜 추상적인 (해석할 수 있는 숫자들이) 나타나곤 한다.

 

 

Sigmoid

히든 레이어가 많아지면 악영향을 미치곤 한다. (학습량이 작아지는 문제)

얕은 모델에서 주로 사용

 

ReLU

양수에 한에서 값을 그대로 유지 (정상적으로 유지할 수 있게 도와주는 것)