밑바닥부터 시작하는 딥러닝.1 (chap5 : 오차역전파법)

신경망의 가중치 매개변수의 기울기(손실 함수에 대한 기울기)는 수치 미분을 사용

수치미분 : 단순하지만, 계산이 오래 걸리는 단점

 

오차 역전파법 = 역전파법 = 역전파 (오차를 반대 방향으로 전파하는 원리)

 

오차 역전파법 학습 하는 방법

 - 수식을 통하는 방법 

 - 계산 그래프를 통하는 방법

• 계산그래프
  • 복수의 노드
  • 에지 (노드 사이에 직선)
  • 국소적 계산
    • 자신과 직접 관계된 작은 범위부터 계산해서 진행
  • 순전파, 역전파 : 계산의 진행 방향
• 연쇄법칙
  • 연쇄법직에 대한 역전파로 진행 처리
  • 합성 함수
    • 여러  함수로 구성된 함수
    • 합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다.
• 활성화 함수 계층 구현
  • ReLU 계층
    • 전기회로의 스위치로 비유할수 있음
  • Sigmoid 계층
• 신경망 학습 전체 그림
  
  • 1. 미니배치
  • 2. 기울기 산출
  • 3. 매개변수 갱신
  • 4. 반복