개발/DNN6 Backpropagation(역전파) Backpropagation(역전파) 역전파란 역방향으로 오차를 전파시키면서 각 층의 가중치를 업데이트하고 최적의 학습 결과를 찾아가는 것이다. 이를 도식화하면 아래와 같습니다. 3번 제곱오차 $𝐶$를 구하는 방법은 다음과 같습니다. Equation 1: $𝑧_1^2=𝑤_{11}^2 𝑥_1+𝑤_{12}^2 𝑥_2+…+𝑤_{112}^2 𝑥_{12}+𝑏_1^2$ $𝑧_2^2=𝑤_{21}^2 𝑥_1+𝑤_{22}^2 𝑥_2+…+𝑤_{212}^2 𝑥_{12}+𝑏_2^2$ $𝑧_3^2=𝑤_{31}^2 𝑥_1+𝑤_{32}^2 𝑥_2+…+𝑤_{312}^2 𝑥_{12}+𝑏_3^2$ $𝑎_1^2=𝑎(𝑧_1^2), \; 𝑎_2^2=𝑎(𝑧_2^2), \; 𝑎_3^2=𝑎(𝑧_3^2)$ Equation 2: $𝑧_1^3=𝑤_{1.. 2023. 10. 8. Gradient Descent Method(경사하강법) Gradient Descent Method 함수의 최솟값을 찾는 방법을 gradient descent method(경사하강법)이라고 하고, 이 방법은 DNN에서 비용함수의 최솟값을 찾을 때 자주 사용됩니다. 아래 그림에서 보는 것처럼 함수의 기울기를 구하고, 낮은 쪽으로 계속 이동시켜 최저점에 다 다를 때까지 반복합니다. 하강하는 보폭(step) 크기에 따라 최솟값을 찾는 횟수가 달라질 수 있고, 최솟값으로 수렴하지 못 하고 발산하는 경우도 생깁니다. 하이퍼 파라미터인 learning rate(학습률)를 조절하며, 적절한 step size를 찾습니다. Local Minima 문제 Gradient descent method를 통해 찾고자 하는 것은 아래 그림에서 보는 것처럼 global minimum이지만.. 2023. 9. 19. Learning(학습)이란? Learning(학습) 앞에서 간단히 언급했던 것처럼, 학습은 퍼셉트론(Perceptron)에서 각 데이터가 처리된 후 예상 결과와 비교한 출력의 오류 정도에 따라 연결 가중치를 변경하여 출력의 오류를 최소화하는 과정입니다. 학습되는 과정은 아래와 같습니다. 입력은 입력에서 출력 레이어로 전파됩니다. (Forward Pass) 네트워크 오류가 계산됩니다. 오류는 출력 레이어에서 입력 레이어로 전파됩니다. (Backward Pass) 출력의 오류를 최소화하기 위해 찾는 값을 파라미터(parameter)라고 합니다. Parameter(파라미터) 파라미터는 아래와 같이 Weight, Bais가 있습니다. Weight(가중치) Bias(편향) 앞선 장에서 예를 들었던 키를 통해 체중을 예측하기 위한 식(y = .. 2023. 9. 18. Cost Function(비용 함수) Cost Function(비용 함수) 이란? Cost Function(비용 함수) : 수학에서는 모델의 매개변수를 사용하여 표현된 총 오차입니다. Neural Network의 학습은 Cost Function(비용 함수)를 최적화하는 것이 핵심입니다. 즉, 수학적 모델의 매개변수는 모든 데이터에 대해 정답 데이터(answer)와 예측 값(predicted value) 사이의 오차(error)가 최소화되도록 결정됩니다. Example of Regression Analysis Regression 단어의 뜻은 후퇴, 복귀, 쇠퇴, 회귀입니다. 그중에서도 통계학 용어인 "회귀"는 국어사전에서 '한 바퀴 돌아서 본디의 상태나 자리로 돌아오는 것'이라고 한다. 이 용어는 영국 유전학자 프란시스 골턴(Francis G.. 2023. 9. 17. Activation Function Activation Function (활성화 함수) 활성화 함수는 인공 신경망에서 입력 신호의 가중치 합을 출력 신호로 변환하는 함수입니다. 즉, artificial neuron들이 활성(fire)되는 빈도를 결정하는 임계값을 설정합니다. 활성화 함수의 주요 기능은 다음과 같습니다. 입력 신호의 가중치 합을 출력 신호로 변환 입력에 대한 비선형 변환을 통해 신경망의 표현력을 향상 역전파 알고리즘을 통해 신경망의 가중치를 학습 활성화 함수는 인공 신경망의 성능을 좌우하는 중요한 역할을 합니다. 활성화 함수는 크게 2가지로 나눌 수 있습니다. 선형 활성화 함수 (Linear activation function) 비선형 활성화 함수 (Non-linear activation function) 아래에서 선형 활성.. 2023. 9. 6. Perceptron Perceptron 1957년 Frank Rosenblatt 가 제안한 인공 신경망의 초기 형태 여러 입력에서 하나의 결과를 출력하는 알고리즘 퍼셉트론은 아래와 같이 4 가지 주요한 부분으로 구성됩니다. 입력 값 가중치(Weights) 및 편향(Bias) 순 합계(Net sum) 활성화 함수(Activation function) 퍼셉트론은 데이터를 두 부분, 즉이진 분류하는데 사용되기 때문에 선형 이진 분류기(linear binary classifiers)라고 불리고, 레이어 수에 따라 단층 퍼셉트론(single-layer perceptron)과 다층 퍼셉트론(multi-layer perceptron)으로 구분됩니다. Multi-Layer Perceptron MLP는 feed-forward artific.. 2023. 9. 2. 이전 1 다음
