koos808

※ STEP 6 : 합성곱 신경망(Convolutional Neural Network) 합성곱 신경망의 개요 합성곱 신경망은 합성곱층과 풀링층이라는 특별한 두 종류의 층을 포함하는 feed-forward 신경망으로, 주로 이미지 인식에서 사용됩니다. 공통점 : 이전 feed-forward 신경망과 마찬가지로, 역전파법과 확률적 경사 하강법을 사용하여 최적화를 수행합니다. 차이점 : 합성곱 신경망의 특징은 국소 감수 영역(local receptive field) 및 가중치 공유라 불리는 특별한 층간 결합을 갖는 것입니다. 이전 feed-forward 신경망은 인접층의 유닛이 모두 서로 연결된(전결합, fully-connected) 것이었다. 이에 비해 CNN은 인접한 층과 층 사이에 특정한 유닛만이 결합을..

※ STEP 5 : 자기부호화기(autoencoder) Q. 오토인코더의 목적이 뭐에요? 오토인코더는 목표 출력없이 입력만으로 구성된 트레이닝 데이터로 비지도 학습을 수행하여 데이터의 특징을 나타내는, 더 나은 표현을 얻는 것이 목표인 신경망입니다. 또한, 딥 네트워크의 사전훈련(pre-training), 즉 그 가중치의 좋은 초기값을 얻는 목적으로 이용됩니다. 자세히 설명하면, feature의 학습을 통해 샘플 x의 또 '다른' 표현인 y를 얻는 것이고, 직관적으로 x를 그대로 쓰는 대신 변환된 y를 사용하는 것입니다. Q. 오토인코더의 학습 목표가 뭐죠? 오토인코더의 학습의 목표는 입력을 부호화(encode) 한 뒤, 이어 다시 복호화(decode) 했을 때 원래의 입력을 되도록 충실히 재현할 수 있..

* 4장은 수식이 많아 직접 책을 보는 것을 추천드립니다. *※ STEP 4 : 역전파 * [책보기] Q. 역전파법(backpropagation) 이 뭔가요? 역전파는 앞먹임 신경망 학습에서 가중치와 바이어스에 대한 오차함수의 미분을 계산해야하는데 이러한 미분을 효율적으로 계산하는 방법이에요. Q-1. 역전파법을 왜 사용하죠? 경사 하강법을 실행하기 위해서는 오차함수 E(w)의 기울기를 계산해야 하는데, 이 미분의 계산이 매우 까다롭기 때문에 역전파법을 사용하는거죠. 각 층의 결합 가중치(w)와 각 유닛의 바이어스(b)에 대한 오차함수의 편미분이 기울기 벡터의 각 성분이고, 자세히는 중간층, 특히 입력이 가까운 깊은 층의 파라미터일수록 미분을 계산하기 까다로워요. Q. 오차 역전파를 통해 오차 기울기(가..

※ STEP 3 Q. 경사 하강법(gradient descent method) 가 무엇이며 왜 하는 것이죠? 오차함수 E(w)는 일반적인 경우 볼록함수(convex function)가 아니므로 전역 극소점(global minimun) 을 직접 구하는 것은 통상적으로 불가능합니다. 그래서 그 대신 오차함수의 국소 극소점(local minimum) w를 구하는 것을 생각하게 된 것입니다. 하지만, 이렇게 구한 극소점 중 하나가 우연히 전역 극소점일 가능성은 높지 않지만 오차함수가 충분히 작다면 괜찮습니다. local minimum 하나는 어떤 초기점을 출발점으로 하고 w를 되풀이하여 갱신하는 반복 계산을 통해 구할 수 있습니다. 그 중에서 가장 간단한 방법이 경사 하강법(gradient descent met..

※ STEP 2 : 앞먹임 신경망(feedforward neural network) 앞먹임 신경망은 층 모양으로 늘어선 유닛이 인접한 층(layer)들과만 결합하는 구조를 가지며, 정보가 입력 측에서 출력 측으로 한 방향으로만 흐르는 신경망입니다. 앞먹임 신경망은 다층 퍼셉트론(multi-layer) 이라 부르기도 합니다. 바이어스는 의미 그대로 어떤 '편견'을 학습 결과에 반영시키는 역할을 합니다. 신경망의 유닛 내에서 활성화 함수를 왼쪽 혹은 오른쪽으로 이동시켜 변화시키는 것과 같은 결과를 얻게 됩니다. 이와 달리 가중치는 활성화 함수의 곡선을 좌우로 늘리거나 줄이는 것과 같은 결과를 얻습니다. 즉, 가중치(weight) 는 입력신호가 결과 출력에 주는 영향도를 조절하는 파라미터(매개변수) 이고, 편..

BOOK : 딥러닝 제대로 시작하기 ※ STEP 0 : 인공 신경망 간단 요약 인공신경망의 구성요소 노드/유닛(Node/Unit) : 각 층(Layer)를 구성하는 요소 층(Layer) 입력층(Input Layer) : 데이터를 받아들이는 층 은닉층(Hidden Layer) : 데이터를 한 번 이상 처리한 (가중치를 곱하고, 활성함수를 얻은) 노드로 구성된 층 출력층(Output Layer) : 최종 은닉층 또는 입력층에 가중치를 곱하고, 출력함수의 결과를 얻은 노드로 구성된 층 가중치(Weight) : 노드와 노드간의 연결강도를 나타냄 합(Summation) : 가중치와 노드의 곱을 합하는 것 활성함수(Activation Function) : 합을 처리해 주는 함수로 은닉층 노드의 결과를 얻을 경우 활..