koos808

P-value 정의 : p-value는, 귀무가설(null hypothesis, H0)이 맞다는 전제 하에, 관측된 통계값 혹은 그 값보다 큰 값이 나올 확률이다. 일반적으로 p-value는 어떤 가설을 전제로, 그 가설이 맞는다는 가정 하에, 내가 현재 구한 통계값이 얼마나 자주 나올 것인가를 의미한다고 할 수 있다. p-value의 필요 이유 : p-value는 가설검정이라는 것이 전체 데이터를 갖고 하는 것이 아닌 sampling 된 데이터를 갖고 하는 것이기 때문에 필요하게 된다. 정리를 하면, 가설검증이라는 것은 전체 데이터의 일부만을 추출하여 평균을 내고, 그 평균이 전체 데이터의 평균을 잘 반영한다는 가정 하에 전체 데이터의 평균을 구하는 작업인데, 아무리 무작위 추출을 잘 한다 하더라도 추..

신뢰구간(Confidence Interval) 신뢰구간을 구하는 이유는 모평균의 신뢰성을 가늠하기 위해서이다. 모평균은 왜 구하는 것일까? 우리가 어떤 자료를 파악하고자 할 때는 그 자료의 평균이나 분산 등의 값들을 먼저 구한다. 평균을 알면 자료의 대표적인 값을 알 수 있고 분산을 알면 자료가 평균으로부터 얼마나 떨어져 있는지를 파악할 수 있기 때문이다. but 모평균과 모분산을 직접 계산한다는 것은 일반적으로 거의 불가능하다. -> 모집단의 원소는 일반적으로 매우 크기 때문!! 따라서 조사하고자 하는 어떤 거대한 모집단이 존재한다면, 표본을 추출하여 모평균 혹은 모분산을 추정하는 것이 통계학의 가장 기본적인 방법이다. 이렇게 추출된 표본으로부터 구한 표본평균 및 표본분산을 모평균과 모분산의 추정치로 ..

확률(Probability) 1.확률이란? 어떤 시행에서 사건 A가 일어날 가능성을 수로 나타낸 것을 사건 A가 일어날 확률이라 하고, 이것을 기호로 P(A)로 나타낸다. 이때, P는 probability(확률)의 첫글자이다. 2.확률의 종류 수학적 확률 수학적 확률은 확률의 고전적 정의이다. 어떤 시행에서 각각의 경우가 일어날 가능성이 같다고 할 때, 일어날 수 있는 모든 경우의 수를 s, 어떤 사건 A가 일어날 경우의 수를 a라고 하면 사건 A가 일어날 확률 P(A)는 a/s이다. 이와 같이 정의된 확률을 수학적 확률이라 한다. 통계적 확률(경험적 확률) 같은 시행을 n번 반복했을 때의 사건 A가 일어난 횟수를 r이라고 할 때, n을 한없이 크게 함에 따라 상대도수 r/n이 일정한 값 p에 가까워지면..

내 맘대로 딥러닝 퀴즈 2 GD와 SGD, MGD(Mini-batch GD)의 차이점이 무엇인가? GD : 전체 데이터를 가지고 반복적으로 루프(loop)를 돌려서 그라디언트(gradient)를 계산하고 파라미터(parameter/weight)를 업데이트하는 것 MGD : 학습데이터(training data)의 배치(batches)만 이용해서 그라디언트(gradient)를 구하는 것이다. SGD : MGD 방법의 극단적인 형태는 미니배치(mini-batch)가 데이터 달랑 한개로 이루어졌을 때이다. 이게 SGD이다. 1 epoch동안 학습데이터 개수만큼의 업데이트가 수행됩니다. epoch와 iteration, batch의 차이점은? 1 epoch : 즉, 전체 데이터 셋에 대해 한 번 학습을 완료한 상태..

내 맘대로 퀴즈 1. 그걸 왜 하죠? DNN에서 Pre-training을 왜 하죠? 다층 feed-forward 신경망은 gradient vanishing 문제로 인해 일반적으로는 학습이 잘 되지 않기 때문에 여러 방법 중 하나로 pre-training을 합니다. 오토인코더는 왜 하죠? 오토인코더는 다양한 pre-training 중에 기본적인 방법 중 하나인데요. 가중치의 좋은 초기값을 얻는 목적으로 이용하고 목표 출력없이 입력만으로 구성된 트레이닝 데이터로 비지도 학습을 수행해 데이터의 특징을 나타내기 위해 오토인코더를 합니다. 오토인코더는 머신러닝에서 PCA와 비슷한 역할을 한다고 생각하시면 이해하기 쉬울 것입니다. 이제 오토인코더가 자주 쓰이는 이유에 대해 알려드리도록 하겠습니다. 데이터 압축 : ..

※ STEP 6 : 합성곱 신경망(Convolutional Neural Network) 합성곱 신경망의 개요 합성곱 신경망은 합성곱층과 풀링층이라는 특별한 두 종류의 층을 포함하는 feed-forward 신경망으로, 주로 이미지 인식에서 사용됩니다. 공통점 : 이전 feed-forward 신경망과 마찬가지로, 역전파법과 확률적 경사 하강법을 사용하여 최적화를 수행합니다. 차이점 : 합성곱 신경망의 특징은 국소 감수 영역(local receptive field) 및 가중치 공유라 불리는 특별한 층간 결합을 갖는 것입니다. 이전 feed-forward 신경망은 인접층의 유닛이 모두 서로 연결된(전결합, fully-connected) 것이었다. 이에 비해 CNN은 인접한 층과 층 사이에 특정한 유닛만이 결합을..

※ STEP 5 : 자기부호화기(autoencoder) Q. 오토인코더의 목적이 뭐에요? 오토인코더는 목표 출력없이 입력만으로 구성된 트레이닝 데이터로 비지도 학습을 수행하여 데이터의 특징을 나타내는, 더 나은 표현을 얻는 것이 목표인 신경망입니다. 또한, 딥 네트워크의 사전훈련(pre-training), 즉 그 가중치의 좋은 초기값을 얻는 목적으로 이용됩니다. 자세히 설명하면, feature의 학습을 통해 샘플 x의 또 '다른' 표현인 y를 얻는 것이고, 직관적으로 x를 그대로 쓰는 대신 변환된 y를 사용하는 것입니다. Q. 오토인코더의 학습 목표가 뭐죠? 오토인코더의 학습의 목표는 입력을 부호화(encode) 한 뒤, 이어 다시 복호화(decode) 했을 때 원래의 입력을 되도록 충실히 재현할 수 있..

* 4장은 수식이 많아 직접 책을 보는 것을 추천드립니다. *※ STEP 4 : 역전파 * [책보기] Q. 역전파법(backpropagation) 이 뭔가요? 역전파는 앞먹임 신경망 학습에서 가중치와 바이어스에 대한 오차함수의 미분을 계산해야하는데 이러한 미분을 효율적으로 계산하는 방법이에요. Q-1. 역전파법을 왜 사용하죠? 경사 하강법을 실행하기 위해서는 오차함수 E(w)의 기울기를 계산해야 하는데, 이 미분의 계산이 매우 까다롭기 때문에 역전파법을 사용하는거죠. 각 층의 결합 가중치(w)와 각 유닛의 바이어스(b)에 대한 오차함수의 편미분이 기울기 벡터의 각 성분이고, 자세히는 중간층, 특히 입력이 가까운 깊은 층의 파라미터일수록 미분을 계산하기 까다로워요. Q. 오차 역전파를 통해 오차 기울기(가..