굴러가는 분석가의 일상

※ 앞선 포스팅에서는 각 층의 활성화값을 강제적으로 적당히 퍼뜨리도록 하는 방법인 배치정규화에 대해 알아보겠습니다. 본 게시물에서는 오버피팅을 억제하는 방법에 대해 알아보도록 하겠습니다. 더보기 2024.02.06 - [Data Science/DL] - 딥러닝의 학습 #2.3 (배치 정규화) 💡 Over-fitting (과적합) 딥러닝의 핵심은 여러 은닉층과 활성화 함수를 결합하여 비선형 영역을 표현하는 것 입니다. 이에 따라 은닉층 수가 많을수록 데이터 분류가 원활하게 되는 것을 아래 그림과 같이 볼 수 있습니다. 하지만, 은닉층이 많을수록 과적합 문제가 발생하곤 합니다. 오버피팅이란, 신경망이 훈련 데이터에만 지나치게 적응되어 그 외의 데이터에는 제대로 대응하지 못하는 상태를 뜻합니다. 일반적으로 훈..

※ 앞선 포스팅에서는 가중치의 초깃값을 적절히 설정하여 분포가 적절히 퍼지는 기법 (Xavier & He 초기화)에 대해서 알아보았습니다. 본 게시물에서는 각 층의 활성화값을 강제적으로 적당히 퍼뜨리도록 하는 방법인 배치정규화에 대해 알아보겠습니다. 더보기 2024.01.16 - [Data Science/DL] - 딥러닝의 학습 #2.2 (가중치 초깃값-Xavier&He) 💡 Gradient Vanishing & Exploding 심층 신경망을 훈련할 때 대표적으로 어려운은 네트워크의 가중치를 일정한 범위에서 유지해야한다는 점 입니다. 역전파 과정에서 초기 부분의 입력층으로 갈수록 기울기가 점차적으로 작이지는 현상을 Gradient Vanishing 커지는 현상을 Gradient Exploding 이라고..

※ 앞선 포스팅에서 딥러닝의 학습(옵티마이저) 에 대해 알아보았습니다. 궁금하시다면, 숨긴 글 참조 부탁드리겠습니다! 본 게시물에서는 가중치의 초깃값 규칙과 기법에 대해서 알아보도록 하겠습니다. 더보기 2023.12.18 - [Data Science/DL] - 딥러닝의 학습 #2.1 (Optimizer 종류와 학습) 딥러닝의 학습 #2.1 (Optimizer 종류와 학습) ※ 앞선 포스팅에서 딥러닝의 학습(Backpropagation) 에 대해 소개하였습니다. 숨긴 글 참조 부탁드리겠습니다! 더보기 2023.12.05 - [Data Science/DL] - 딥러닝의 학습 #1 (Backpropagation) 딥러닝의 학습 #1 (Backpr g3lu.tistory.com 가중치 초기화 규칙 가중치의 초깃..

※ 앞선 포스팅에서 딥러닝의 학습(Backpropagation) 에 대해 소개하였습니다. 숨긴 글 참조 부탁드리겠습니다! 더보기 2023.12.05 - [Data Science/DL] - 딥러닝의 학습 #1 (Backpropagation) 딥러닝의 학습 #1 (Backpropagation) ※ 앞선 포스팅에서 딥러닝의 구조에 대해 소개하였습니다. 숨긴 글 참조 부탁드리겠습니다! 더보기 2023.11.08 - [Data Science/DL] - 딥러닝의 구조 #1 [퍼셉트론] 딥러닝의 구조 #1 [퍼셉트론] 본 게시물 g3lu.tistory.com 본 게시물에서는 신경망의 효율과 정확도를 높이는 방법인 옵티마이저(Optimizer)의 종류에 대해 알아보도록 하겠습니다. SGD의 단점 신경망 학습의 최종 목..

※ 앞선 포스팅에서 딥러닝의 구조에 대해 소개하였습니다. 숨긴 글 참조 부탁드리겠습니다! 더보기 2023.11.08 - [Data Science/DL] - 딥러닝의 구조 #1 [퍼셉트론] 딥러닝의 구조 #1 [퍼셉트론] 본 게시물은 공부목적으로 작성 되었으며, 밑바닥부터 시작하는 딥러닝 참고하였습니다. 퍼셉트론이란? ▶ 다수의 신호를 입력으로 받아 하나의 신호를 출력하는 것을 뜻합니다. 퍼셉트론의 신 g3lu.tistory.com 2023.11.09 - [Data Science/DL] - 딥러닝의 구조 #2 [활성화 함수] 딥러닝의 구조 #2 [활성화 함수] 본 게시물은 공부목적으로 작성 되었으며, 밑바닥부터 시작하는 딥러닝 참고하였습니다. 퍼셉트론의 원리 활성화 함수에 Deep-Dive하기 앞서, 퍼셉..

앞선 포스팅에서는 손실함수에 대해 알아보았습니다. 손실함수는 학습을 통해 얻은 데이터의 추정치가 실제 데이터와 얼마나 차이가 나는지 평가하는 지표입니다. 궁금하신 사항이 있으시다면, 이전 포스트를 참고해 주세요. 2023.11.20 - [Data Science/DL] - 딥러닝의 구조 #3. 1 [손실 함수] 딥러닝의 구조 #3.1 [손실 함수] 본 게시물은 공부목적으로 작성되었으며, 딥러닝 파이토치 교과서 참고하였습니다. 딥러닝의 구조 및 정의 (복습) 입력층: 데이터를 받아드리는 충 은닉층: 모든 뉴런으로 부터 값을 받아 가중 g3lu.tistory.com 본 포스팅에서는 손실함숫 값을 최소화하는 파라미터(가중치/편향)를 구하는 경사하강법에 대해 알아보겠습니다. 💡 경사 하강법 (Gradient De..

본 게시물은 공부목적으로 작성되었으며, 딥러닝 파이토치 교과서 참고하였습니다. 딥러닝의 구조 및 정의 (복습) 입력층: 데이터를 받아드리는 충 은닉층: 모든 뉴런으로 부터 값을 받아 가중합을 계산하고, 이 값을 활성화 함수에 적용하여 출력층에 전달 출력층: 신경망의 최종 출력 값 가중치: 뉴런과 뉴런 간 연결 강도 Bias : 가중합에 더해 주는 상수; 하나의 뉴런에서 활성화 함수를 통해 최종적으로 출력되는 값 조정 가중합: 가중치와 신호의 곱을 합한 것 활성화 함수: 신호를 입력/처리하여 출력해 주는 함수 손실함수: 가중치 학습을 위해 함수의 결과와 실제 값 간의 오차 측정하는 함수 손실함수 신경망에서의 가장 큰 이점은 데이터에서 숨겨진 인사이트와 관계를 나타내는 것입니다. 이를 이루기 위해서, 신경망..

본 게시물은 공부목적으로 작성 되었으며, 밑바닥부터 시작하는 딥러닝 참고하였습니다. 퍼셉트론의 원리 활성화 함수에 Deep-Dive하기 앞서, 퍼셉트론의 원리에 대해 간략하게 알아보겠습니다. 그림과 같이 퍼셉트론의 동작은 x1,x2, 1 이라는 3개의 신호가 뉴런에 입력되고, 각 신호에 가중치를 곱한 후, 다음 뉴런으로 전달되게 됩니다. 이러한 신호들의 합이 0을 넘으면 1을 출력하고, 그렇지 않는다면 0을 출력하게 됩니다. 이를 통해 단층 퍼셉트론 구조는 활성화 함수로 계단 함수를 사용한다는 것을 파악할 수 있습니다. 또한, 비선형적/선형적 영역을 구분하기 위해, Sigmoid 함수 등 여러가지의 활성화 함수가 소개 되었습니다. 활성화 함수란? "퍼셉트론에서 활성화 함수로 계단 함수를 이용한다?" 그렇..

본 게시물은 공부목적으로 작성 되었으며, 밑바닥부터 시작하는 딥러닝 참고하였습니다. 퍼셉트론이란? ▶ 다수의 신호를 입력으로 받아 하나의 신호를 출력하는 것을 뜻합니다. 퍼셉트론의 신호는 흐름을 취합하고 만들면서 정보르 앞으로 보내게 됩니다. 하지만, 퍼셉트론 신호는 (0 or 1)의 두가지 값을 가질수 있습니다. 퍼셉트론의 구조를 배우는 것은 신경망과 딥러닝을 이해하는데 기반이 되기에 짚고 넘어가는게 중요합니다. 퍼셉트론이 동작하는 방식은 다음과 같습니다. Input들의 신호들이 뉴런으로 보내질 때는 각각의 고유한 Weight들과 곱합니다. 이렇게 계산된 신호의 총합이 활성함수 (Activation Function)에 의해 판단이 되는데, 그 값이 임계치 (한계) 보다 크다면 뉴런이 활성화되어 1이라는..