신경망
퍼셉트론에선 AND, OR 게이트의 진리표를 보면서 인간이 수동으로 적절한 가중치를 설정한다. 신경망에선 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습한다.
신경망의 예
가장 왼쪽 줄을 입력층, 맨 오른쪽 줄을 출력층, 중간 줄을 은닉층이라 한다. 은닉층의 뉴런은 다른층과는 달리 눈에 보이지 않는다. (그래서 '은닉'층이다.) 신경망은 퍼셉트론과 마찬가지로 3개의 층으로 구성되지만 가중치를 갖는 층이 2개이기에 '2층 신경망'이라고 한다.
퍼셉트론 복습
퍼셉트론을 수식으로 나타내면 다음과 같다.
$$y= \begin{cases} 0 & \text{(b+w1x1+w2x2 } x \leq 0 \text{)} \\ 1 & \text{( b+w1x1+w2x2 }x > 0\text{)} \end{cases} $$
여기서 b는 편향이고 뉴런이 얼마나 쉽게 활성화되느냐를 제어한다. w1, w2는 각 신호의 가중치이다.
가중치가 b이고 입력이 1인 뉴런이 추가되었다. 편향의 입력 신호는 항상 1이다.
활성화 함수
입력 신호의 총합을 출력 신호로 변환하는 함수를 활성화 함수라 하고 기호는 h(x)이다.
위의 퍼셉트론 수식을 활성화 함수를 이용해서 나타낸다면 다음과 같다.
$$ h(x) = \begin{cases} 0 & \text{( } x \leq 0 \text{)} \\ 1 & \text{( }x > 0\text{)} \end{cases} $$
이를 다르게 표현한다면
a=b+w1x1+w2x2
y=h(a)
가중치가 달린 입력 신호와 편향의 총합을 a에 넣고 함수 h( )에 a를 넣어 y를 출력하는 흐름이다. 이 흐름은 다음 그림과 같다.
h( )라는 뉴런 안에 a의 뉴런이 y의 뉴런으로 가는 형태이다.