book (78) 썸네일형 리스트형 밑바닥부터 시작하는 딥러닝.2 확실히 원리 기반으로 책이 설명되어 있는거 같아서 좋은거 같다. 1편에 이어서 2편도 공부해보고 느낀점은 간략히 정리하려고 한다. 2편을 볼려면, 그래도 1편을 보고 나서 학습하는게 좋을거 같다. 이 책의 특징은 라이브러리나, 프레임워크를 사용하지 않고 딥러닝 원리를 설명하는데 있다. (numpy정도는 제외!!) 번역 진행시 윤영선 교수님의 기여로 원서보다 조금 알기쉽게 추가된 내용이 있다고 하는데, 더 좋아진거 같다. 간단하게 Chap별로 중요한 keyword정도 뽑아보면서 정리하려고 한다. CHAPTER 1 신경망 복습 1.1 수학과 파이썬 복습 벡터(1차원 배열), 행렬(2차원 배열) numpy의 브로드캐스팅 기능 : 배열의 차원이 달라도 자동적으로 확장하는 기능 백터의 내적 : 두 벡터가 얼마나 .. 밑바닥부터 시작하는 딥러닝.1 (chap6 : 학습관련 기술들) ㄴㅇㄹ 매개변수 갱신 신경망의 목적 : 손실함수의 값을 가능한 한 낮추는 매개변수를 찾는 것 → 매개변수의 최적값을 찾는 문제 → 최적화 확률적 경사 하강법 (SGD) 기울기를 이용해서 기울어진 방향으로 매개변수 값을 갱신하는 일을 반복해서 최적값을 찾아가는것 SGD의 단점 x,y 축이 심하게 굽어진 움직임을 가질때 단점 개선 (모멘템, AdaGrad, Adam) 모멘템 운동량을 뜻하는 단어, 물리와 관계가 있다. 기울기의 방향으로 힘을 받아 물체가 가속된다는 원리 AdaGrad 신경망 학습에서 학습률 값이 중요함 학습을 진행하면서, 점차 학습률을 줄여가는 방법 (실제 신경망에서 많이 사용됨) Adam 모멘텀 , AdaGrad의 기법을 융햡한것 가중치의 초깃값 신경망에서 특히 중요한것이 초깃값 초기값을 .. 밑바닥부터 시작하는 딥러닝.1 (chap5 : 오차역전파법) 신경망의 가중치 매개변수의 기울기(손실 함수에 대한 기울기)는 수치 미분을 사용 수치미분 : 단순하지만, 계산이 오래 걸리는 단점 오차 역전파법 = 역전파법 = 역전파 (오차를 반대 방향으로 전파하는 원리) 오차 역전파법 학습 하는 방법 - 수식을 통하는 방법 - 계산 그래프를 통하는 방법 계산그래프 복수의 노드 에지 (노드 사이에 직선) 국소적 계산 자신과 직접 관계된 작은 범위부터 계산해서 진행 순전파, 역전파 : 계산의 진행 방향 연쇄법칙 연쇄법직에 대한 역전파로 진행 처리 합성 함수 여러 함수로 구성된 함수 합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다. 활성화 함수 계층 구현 ReLU 계층 전기회로의 스위치로 비유할수 있음 Sigmoid 계층 신경망 학습 전체.. 밑바닥부터 시작하는 딥러닝.1 (chap4 : 신경망 학습) 학습 : 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는것 손실함수에 대해서 학습!! 손실함수의 결과값을 가장 작게 만드는 것이 목표 → 손실함수의 값을 가장 작게 만드는 기법 : 기울기를 이용한 경사법 학습 데이터를 학습 신경망의 특징 : 데이터를 보고 학습할수 있음 실제 신경망에서 매개변수를 수작업으로 정하는 것은 불가능!! 기계학습 : 데이터 중심, 데이터에서 패턴을 발견하고 진행 (사람중심 → 데이터 중심) 사람이 인위적으로 판단하는 안좋은 패턴 이미지 데이터를 벡터로 변환하고 → SVM, KNN등으로 학습 데이터로 부터 규칙 → 기계가 담당 사람 → 데이터를 잘 분리하여서 잘 학습하도록 구성하는것이 매우 중요 데이터 훈련 데이터, 시험 데이터로 구분 오버피팅 : 한 데이터 셋에만 .. 밑바닥부터 시작하는 딥러닝.1 (chap2 : 퍼셉트론) 퍼셉트론 알고리즘 - 신경망(딥러닝)의 기원이 되는 알고리즘 - 1957년 프랑크 로젠블라트 고안 퍼셉트론이란? 다수의 신호를 입력 받아 하나의 신호로 출력 당연히 컴퓨터에서는 0/1값으로 처리 로직 : 뉴런에서 보내온 신호의 총합이 정해진 한계를 넘는경우, 1을 출력 → "뉴런을 활성화 한다" 라고 표현 → 정해진 한계 -> "임계값" 이라고 표현 이런 조건에 따라서 신경망을 활성화 할지 말지를 정하는것이다. w1, w2 : 입력 신호가 결과에 주는 영향력(중요도)를 조절하는 매개변수 θ : 얼마나 쉽게 활성화(결과 1)출력을 하느냐 조정하는 매개변수 수식으로 표현 θ 값(임계값) 보다 크면 1을 반환 θ 값(임계값) 보다 작으면 0을 반환 위에 식에서 θ 값만 편향시키면 같은 로직의 식이 구성된다. .. 밑바닥부터 시작하는 딥러닝.1 (intro) 해당 "밑바닥부터 시작하는 딥러닝은 총 3개의 시리지로 되어 있다. 1권에서는 외부 인공지능 라이브러리를 사용하지 않고 순수 딥러닝을 이해하도록 관점을 잡았고 2권,3권은 좀더 확장하여서, 다양한 주제를 다룬다. Git 소스 위치 https://github.com/WegraLee/deep-learning-from-scratch 책은 장수는 총 P. 299 이다. chapter는 아래와 같이 구성되어 있다. 1. 헬로 파이선 2. 퍼셉트론 3. 신경망 4. 신경망 학습 5. 오차역전파법 6. 학습 관련 기술들 7. 합성곱 신경망 (CNN) 8. 딥러닝 이전 1 ··· 7 8 9 10 다음
