[번역] 신경망의 바이어스(bias)와 가중치(weight)

원문 https://medium.com/fintechexplained/neural-networks-bias-and-weights-10b53e6285da

Neural Networks Bias And Weights

(대충 제가 이해하려고 번역한 거라 정확하지 않을 수 있고 영어가 섞여있습니다)

 

이 글은 바이어스(bias)와 가중치(weight)가 무엇인지에 대해 다룹니다. 가중치와 바이어스는 신경망의 가장 중요한 개념 중 하나입니다. 입력이 뉴런들 사이에서 전달될 때, 가중치는 입력에 적용되어 바이어스와 함께 활성화 함수(activation function)로 넘겨집니다.

 

신경망(Neural Network)을 이해하고 싶다면(번역)

 

가중치란?

아래 그림은 입력층, 출력층, 2개의 은닉층을 가진 신경망입니다. 각각의 시냅스는 연관된 가중치를 가지고 있습니다. 

 

가중치는 공식의 계수에 해당합니다. 음의 가중치는 출력 값을 줄입니다.

신경망이 트레이닝 세트를 통해 학습할 때, 일련의 가중치들로 초기화됩니다. 이 가중치들은 학습 기간동안 최적화되고, 최적 가중치가 만들어지게 됩니다.

 

뉴런은 먼저 입력의 가중 합(weighted sum)을 계산합니다.

 

활성화 함수의 파라미터

예를 들어 입력이 이렇고

입력 예시

가중치가 이렇다면

가중치 예시

가중 합은 이렇게 계산될 것입니다.

입력의 가중 합

이어서, 바이어스(정수)는 가중합에 더해집니다.

입력의 가중합 + 바이어스

마지막으로 계산된 값은 활성화 함수로 넘겨지고 활성화 함수는 출력을 만들어냅니다.

 

활성화 함수를 입력을 정규화하는 수학함수로 생각해보세요.

시나리오를 통해 이해해봅시다

중고차의 가격을 예측하고 있다고 해봅시다. 당신은 중고차 가격이 생산연도와 운전키로수에 따라 정해질 것이라고 생각합니다.

 

 그렇다면 당신은 생산연도가 최근과 가까울수록 가격이 높아지고 운전키로수가 많을 수록 가격이 내려갈 것이라는 가설을 세울 수 있을 것입니다.

 

가중치는 입력이 얼마나 중요한지를 나타냅니다

이 예시는 차 가격과 생산연도 사이에는 긍정적 관계가, 차 가격과 운전키로수 사이에는 부정적인 관계가 있음을 보여줍니다. 결과적으로 우리는 생산연도에 양의 가중치를 , 운전키로수에는 음의 가중치를 기대할 수 있습니다.

자동차 가격 = 생산연도 + 운전키로수

w₁은 양수일 것이고 w₂는 음수일 것입니다.

 

 

바이어스란?

바이어스는 입력의 가중합에 더해지는 상수 값(또는 상수 벡터)입니다. 바이어스는 결과값을 상쇄(offset)하기 위해 사용됩니다.

바이어스는 활성화 함수의 결과값을 양수 또는 음수로 이동시킵니다.

시나리오를 통해 이해해봅시다

신경망에 0을 입력하면 2를 출력하길 바란다고 가정해봅시다. 입력의 가중합은 0이 될텐데(입력이 0이므로 입력에 가중치를 곱하면 항상 0이 됨) 어떻게 신경망이 2를 반환하도록 하겠습니까?

 

2라는 바이어스를 추가하면 됩니다.

 

만약 바이어스를 포함하지 않는다면 신경망은 단순히 입력과 가중치의 행렬 곱셈을 실행할 뿐입니다. 이는 데이터 세트를 과잉적합(over-fitting)하게 만들 수 있습니다.

 

바이어스의 추가는 편차를 줄이고, 뉴럴 네트워크에 유연성과 더 나은 표준화를 도입합니다.

바이어스는 기본적으로 임계값의 음수이므로, 바이어스 값은 언제 활성화 함수를 가동시킬지를 제어합니다.

 

신경망의 활성화 함수의 종류에 대해 알고 싶다면(번역)  

신경망의 층에 대해 알고 싶다면(번역)

신경망의 뉴런의 작동 방식을 알고 싶다면(원문)