굴러가는 분석가의 일상

※ 앞선 포스팅에서 딥러닝의 학습(옵티마이저) 에 대해 알아보았습니다. 궁금하시다면, 숨긴 글 참조 부탁드리겠습니다! 본 게시물에서는 가중치의 초깃값 규칙과 기법에 대해서 알아보도록 하겠습니다. 더보기 2023.12.18 - [Data Science/DL] - 딥러닝의 학습 #2.1 (Optimizer 종류와 학습) 딥러닝의 학습 #2.1 (Optimizer 종류와 학습) ※ 앞선 포스팅에서 딥러닝의 학습(Backpropagation) 에 대해 소개하였습니다. 숨긴 글 참조 부탁드리겠습니다! 더보기 2023.12.05 - [Data Science/DL] - 딥러닝의 학습 #1 (Backpropagation) 딥러닝의 학습 #1 (Backpr g3lu.tistory.com 가중치 초기화 규칙 가중치의 초깃..

※ 앞선 포스팅에서 딥러닝의 학습(Backpropagation) 에 대해 소개하였습니다. 숨긴 글 참조 부탁드리겠습니다! 더보기 2023.12.05 - [Data Science/DL] - 딥러닝의 학습 #1 (Backpropagation) 딥러닝의 학습 #1 (Backpropagation) ※ 앞선 포스팅에서 딥러닝의 구조에 대해 소개하였습니다. 숨긴 글 참조 부탁드리겠습니다! 더보기 2023.11.08 - [Data Science/DL] - 딥러닝의 구조 #1 [퍼셉트론] 딥러닝의 구조 #1 [퍼셉트론] 본 게시물 g3lu.tistory.com 본 게시물에서는 신경망의 효율과 정확도를 높이는 방법인 옵티마이저(Optimizer)의 종류에 대해 알아보도록 하겠습니다. SGD의 단점 신경망 학습의 최종 목..

문제: 풀이 : class Solution: def productExceptSelf(self, nums: List[int]) -> List[int]: solution = [1] * (range(len(nums)) for i in range(len(nums)): solution[i] = solution[i-1] * nums[i-1] postfix = 1 for i in range(len(nums)-1, -1,-1)): solution[i] *= postfix postfix *= nums[i] return solution

※ 앞선 포스팅에서 딥러닝의 구조에 대해 소개하였습니다. 숨긴 글 참조 부탁드리겠습니다! 더보기 2023.11.08 - [Data Science/DL] - 딥러닝의 구조 #1 [퍼셉트론] 딥러닝의 구조 #1 [퍼셉트론] 본 게시물은 공부목적으로 작성 되었으며, 밑바닥부터 시작하는 딥러닝 참고하였습니다. 퍼셉트론이란? ▶ 다수의 신호를 입력으로 받아 하나의 신호를 출력하는 것을 뜻합니다. 퍼셉트론의 신 g3lu.tistory.com 2023.11.09 - [Data Science/DL] - 딥러닝의 구조 #2 [활성화 함수] 딥러닝의 구조 #2 [활성화 함수] 본 게시물은 공부목적으로 작성 되었으며, 밑바닥부터 시작하는 딥러닝 참고하였습니다. 퍼셉트론의 원리 활성화 함수에 Deep-Dive하기 앞서, 퍼셉..

앞선 포스팅에서는 손실함수에 대해 알아보았습니다. 손실함수는 학습을 통해 얻은 데이터의 추정치가 실제 데이터와 얼마나 차이가 나는지 평가하는 지표입니다. 궁금하신 사항이 있으시다면, 이전 포스트를 참고해 주세요. 2023.11.20 - [Data Science/DL] - 딥러닝의 구조 #3. 1 [손실 함수] 딥러닝의 구조 #3.1 [손실 함수] 본 게시물은 공부목적으로 작성되었으며, 딥러닝 파이토치 교과서 참고하였습니다. 딥러닝의 구조 및 정의 (복습) 입력층: 데이터를 받아드리는 충 은닉층: 모든 뉴런으로 부터 값을 받아 가중 g3lu.tistory.com 본 포스팅에서는 손실함숫 값을 최소화하는 파라미터(가중치/편향)를 구하는 경사하강법에 대해 알아보겠습니다. 💡 경사 하강법 (Gradient De..

본 게시물은 공부목적으로 작성되었으며, 딥러닝 파이토치 교과서 참고하였습니다. 딥러닝의 구조 및 정의 (복습) 입력층: 데이터를 받아드리는 충 은닉층: 모든 뉴런으로 부터 값을 받아 가중합을 계산하고, 이 값을 활성화 함수에 적용하여 출력층에 전달 출력층: 신경망의 최종 출력 값 가중치: 뉴런과 뉴런 간 연결 강도 Bias : 가중합에 더해 주는 상수; 하나의 뉴런에서 활성화 함수를 통해 최종적으로 출력되는 값 조정 가중합: 가중치와 신호의 곱을 합한 것 활성화 함수: 신호를 입력/처리하여 출력해 주는 함수 손실함수: 가중치 학습을 위해 함수의 결과와 실제 값 간의 오차 측정하는 함수 손실함수 신경망에서의 가장 큰 이점은 데이터에서 숨겨진 인사이트와 관계를 나타내는 것입니다. 이를 이루기 위해서, 신경망..

본 게시물은 공부목적으로 작성 되었으며, 밑바닥부터 시작하는 딥러닝 참고하였습니다. 퍼셉트론의 원리 활성화 함수에 Deep-Dive하기 앞서, 퍼셉트론의 원리에 대해 간략하게 알아보겠습니다. 그림과 같이 퍼셉트론의 동작은 x1,x2, 1 이라는 3개의 신호가 뉴런에 입력되고, 각 신호에 가중치를 곱한 후, 다음 뉴런으로 전달되게 됩니다. 이러한 신호들의 합이 0을 넘으면 1을 출력하고, 그렇지 않는다면 0을 출력하게 됩니다. 이를 통해 단층 퍼셉트론 구조는 활성화 함수로 계단 함수를 사용한다는 것을 파악할 수 있습니다. 또한, 비선형적/선형적 영역을 구분하기 위해, Sigmoid 함수 등 여러가지의 활성화 함수가 소개 되었습니다. 활성화 함수란? "퍼셉트론에서 활성화 함수로 계단 함수를 이용한다?" 그렇..

본 게시물은 공부목적으로 작성 되었으며, 밑바닥부터 시작하는 딥러닝 참고하였습니다. 퍼셉트론이란? ▶ 다수의 신호를 입력으로 받아 하나의 신호를 출력하는 것을 뜻합니다. 퍼셉트론의 신호는 흐름을 취합하고 만들면서 정보르 앞으로 보내게 됩니다. 하지만, 퍼셉트론 신호는 (0 or 1)의 두가지 값을 가질수 있습니다. 퍼셉트론의 구조를 배우는 것은 신경망과 딥러닝을 이해하는데 기반이 되기에 짚고 넘어가는게 중요합니다. 퍼셉트론이 동작하는 방식은 다음과 같습니다. Input들의 신호들이 뉴런으로 보내질 때는 각각의 고유한 Weight들과 곱합니다. 이렇게 계산된 신호의 총합이 활성함수 (Activation Function)에 의해 판단이 되는데, 그 값이 임계치 (한계) 보다 크다면 뉴런이 활성화되어 1이라는..

본 게시물은 공부목적으로 작성 되었으며, 파이썬 머신러닝 완벽 가이드 참고하였습니다. 편향-분산 Trade Off는 머신러니에서 꼭 집고 넘어 가야하는 중요한 이슈 중의 하나입니다. 머신러닝에 대해 공부를 해보셨다면, 왼쪽의 양궁 과녁 그림은 익숙하실겁니다. 왼쪽 상단 : 예측 결과가 실제 결과에 매우 근접하고 예측 변동이 크지 않아, 아주 뛰어난 성능을 보임 오른쪽 상단 : 예측 결과가 실제 결과에 근접하지만, 예측 결과가 실제 결과를 중심으로 넓게 분포 되어있음 왼쪽 하단 : 정확한 결과에서는 벗어나지만, 예측이 특정 부분에 집중 되어있음 오른쪽 하단 : 예측 결과가 실제 결과에 매우 상이하고, 결과를 중심으로 넓게 분포 되어있음 그렇다면, 편향 및 분산이 도대체 무엇일까요? 편향 (Bias) : 추..

본 게시물은 공부목적으로 작성 되었으며, 파이썬 머신러닝 완벽 가이드 참고하였습니다. 회귀 분석이란? ▶ 여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링하는 기법 예를 들어, 아파트의 방 개수, 방 크기, 주변 학군 등 여러 개의 독립변수 (X 값) 에 따라 아파트 가격이라는 종속변수 (Y 값)가 어떤 관계를 나타내는지 모델링하고 예측 하는 것을 뜻합니다. 또한, 독립변수의 값에 영향을 미치는 회귀 계수 (W 값) 도 포함 되어있습니다. 이에, 머신러닝의 회귀분석 핵심은 주어진 피처와 결정 값 데이터 기반으로 최적의 회귀 계수를 파악 하는 것 입니다. ▶ 회귀분석의 유형 일반 선형 회귀: 예측값과 실제값의 RSS를 최소화할 수 있도록 회귀 계수 최적화 Ridge 회귀 : 선형 회귀에 L2 ..