Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- nlp
- 오차역전파
- visual instruction tuning
- anomaly detection
- rag parsing
- Non-Maximum Suppression
- 이상탐지
- 손실함수
- 딥러닝
- 데이터 파싱
- 파인튜닝
- Mean squared error
- multi-query
- 활성화 함수
- qlora
- leetcode
- fine tuning
- rag-fusion
- LLM
- gemma3
- 활성화함수
- rrf
- pdf parsing
- Cross Entropy Error
- 시계열
- Time Series
- deep learning
- 합성곱 신경망
- 퍼셉트론
- LLaVA
Archives
- Today
- Total
목록활성화함수 (1)
Attention, Please!!!

본 게시물은 공부목적으로 작성 되었으며, 밑바닥부터 시작하는 딥러닝 참고하였습니다. 퍼셉트론의 원리 활성화 함수에 Deep-Dive하기 앞서, 퍼셉트론의 원리에 대해 간략하게 알아보겠습니다. 그림과 같이 퍼셉트론의 동작은 x1,x2, 1 이라는 3개의 신호가 뉴런에 입력되고, 각 신호에 가중치를 곱한 후, 다음 뉴런으로 전달되게 됩니다. 이러한 신호들의 합이 0을 넘으면 1을 출력하고, 그렇지 않는다면 0을 출력하게 됩니다. 이를 통해 단층 퍼셉트론 구조는 활성화 함수로 계단 함수를 사용한다는 것을 파악할 수 있습니다. 또한, 비선형적/선형적 영역을 구분하기 위해, Sigmoid 함수 등 여러가지의 활성화 함수가 소개 되었습니다. 활성화 함수란? "퍼셉트론에서 활성화 함수로 계단 함수를 이용한다?" 그렇..
Deep Learning 이해
2023. 11. 9. 13:38