Attention, Please!!!

RAPTOR: Recursive Abstractive Processing for Tree-Organized RetrievalPaper | GitHub | Overview 💡 Naive RAG의 문제점  위의 그림은 Naive RAG의 전반적인 흐름을 나타낸다. 즉, 사용자가 질문을 하게 되면, 질문과 비슷한 상위 k개의 정보들을 추출하여, 답변을 생성하는 것이다. 만약 K 값이 5라고 가정해보자. 그럼 과연 추출된 5 가지의 단락(정보)을 가지고 문서의 전체적인 컨텍스트를 이해할 수 있을까? 조금 더 직관적인 예시를 통해 알아보도록 하겠다. 만약 신데렐라의 동화에서 "신데렐라가 어떻게 행복한 결말을 맞이했는가"? 라는 질문을 던졌을 때, 사용자가 원하는 보편적인 답변은 전체적으로 신데렐라가 어떠한 과정..

Enhanced Transformer with Rotary Position EmbeddingPaper | GitHub | Guide  💡 Introduction단어의 sequence order은 자연어 분야에서 큰 가치가 있습니다. RNN 기반의 모델은 각 시퀸스를 재귀적으로 처리하면서 이전 시퀸스에서 계산한 hidden state를 현재 시퀸스로 전달하여 연산을 진행하며, 이를 통해 토큰의 순서를 인코딩할 수 있게 됩니다. 또한, CNN 기반 모델 (Gehring et al.[2017])은 position-agonistic으로 고려되었지만, Islam et al.[2020]의 논문에 의해 padding operation이 암묵적으로 위치 정보를 학습할 수 있다고 주장하였습니다.  Vaswani et ..

LLaVA : Large Language and Vision Assistant Paper | Github | Demo | Project Page   💡 Introduction 최근 GPT-4, Vicuna, FLAN-T5 등 다양한 거대 언어 모델(LLM, Large Language Model)에 대한 멀티모달 연구가 활발히 이루어지고 있으며, 성능이 점진적으로 발전하여 다양한 분야에서 활용되고 있습니다. 하지만 기존 멀티모달 테스크에서 이미지-텍스트 쌍의 데이터는 단순히 텍스트가 이미지에 대한 설명으로 이루어진 경우가 대부분입니다. 이러한 데이터를 사용할 경우 모델이 이미지를 단순히 설명하는 방식으로 주로 학습이 진행되기 때문에, 이미지에 대해 질의응답을 하고 대화를 하는데 한계가 있습니다.이에 논문..

본 게시물에서는 2023년도 Meta AI 연구진이 발표한 SA(Segment Anything) 이라는 모델에 대해 리뷰를 하고자 합니다. 💡 Background ChatGPT와 같은 대용량 언어 모델(LLM)은 strong zero-shot(이전 학습 내용을 기반으로 새로운 Task 및 데이터 예측) 및 few-shot(몇 개의 샘플을 통해 새로운 Task에 적용) 을 통해 NLP분야에서 새로운 패러다임을 이끌어 가고있습니다. 이러한 "Foundation Model"은 새로운 데이터 분포에서 다양한 Task를 수행할 수 있으며, 이를 기반으로 hand-crafted 입력을 즉각적으로 출력할 수 있는 Prompt Engineering이 가능하다는 것이 가장 큰 장점입니다.  컴퓨터 비전의 ..

실무 경험을 통해 설비 예지보전과 이상 탐지를 위한 다변량 통계적 공정 관리 관련하여 관심을 가지게 되었습니다. 파악된 센서 개소는 대략 몇천개 정도로 무수히 많았습니다. 단일 센서의 데이터 트렌드 분석은 MES에서 데이터를 끌어와 시각화 툴을 통해 파악할 수 있습니다. 하지만, 이상탐지를 기반으로 설비예지보전 및 SPC 진행하는 것에 대한 한계점이 있다고 생각했습니다. 수천 가지 센서 데이터의 전반적인 트렌드를 파악하는 것은 복잡한 과제입니다. 각 설비의 고유한 운영 패턴과 환경 파라미터의 변화를 고려하여 개별 센서 스펙을 설정하는 것이 현실적으로 매우 어렵기 때문입니다. 더불어, Noise/Normal/Abnormal의 대한 기준을 명확하게 나눌수 없는점이 가장 큰 Pain Point라고 생각했습니다..