굴러가는 분석가의 일상

본 게시물은 Lance Martin 님의 유튜브 영상을 기반으로 작성되었습니다. 사용자가 작성한 질문이 모호하거나 구체적으로 구조화되지 않을 경우, 문서에서 의미적 유사성을 기준으로 검색하는 과정에서 원하는 정보를 찾지 못하게 되는 경우가 존재한다. 이러한 문제를 해결하기 위해 사용자의 질문을 다양한 관점에서 재작성하거나 다른 표현으로 변환하여, 원래 질문의 의미를 보존하면서도 문서와의 내용과의 매칭 가능성을 높이는 것을 의미하는 것을 Query Translation 이라고 한다.  위 3 가지의 기법은 Query Translation의 대표적인 기법이다. 이들은 각각 다르게 사용자의 질문을 변형시켜 검색 성능을 향상시키는 기법 질문을 재구성하거나 변형하는 방식이라는 공통점을 가지고 있다.  Query ..

본 게시물은 Florian June님의 게시물을 참고하였습니다.  PDF 파일과 스캔된 이미지를 인공지능에 활용하기 위해 구조화(Structured)되거나 반구조화(Semi-Structured)된 형식으로 변환하는 것은 매우 중요한 작업 중 하나이다. 하지만 PDF 파일은 텍스트나 이미지를 문서 내의 정확한 위치에 배치하기 위해 좌표 기반 렌더링(Coordinate-Based Rendering)을 사용하기 때문에 좌표 정보와 이에 따른 정보를 추출하는 정교한 기술이 필요하다. 최근에는 Upstage와 Llamaindex와 같은 기업에서 제공하는 고성능 Document Parser들이 등장하면서 문서 분석 및 파싱 작업이 매우 정교하고 효율적으로 이루어지고 있는 추세이다.  이러한 상용 솔루션들은 뛰어난 ..

본 게시물은 Gilbert Strang 교수님의 강의를 기반으로 작성되었습니다.   선형대수학의 근본적인 문제는 연립선형방정식을 푸는 것이다. 연립방정식은 여러 개의 선형방정식으로 이루어진 방정식의 집합이라고 표현할 수 있다. 각 방정식은 미지수들이 선형적인 형태로 나타나는 것이 특징이며, 이 방정식을 한 번에 풀어 여러 미지수의 값을 찾는 것이 가장 큰 목표이다.  연립선형방정식은 일반적으로 Ax = b와 같은 형태로 표현할 수 있으며, Ax가 x(col1) + y(col2)으로 표현되면, 이를 선형결합(Linear Combination)이라고 아래의 그림처럼 정의할 수 있다.   본 게시물에서는 연립방정식을 3 가지의 관점에 대해 다룰 것이다.  1. Row Picture Row Picture는 연립..

자연어처리에 대해 여러 논문을 읽고 공부하고 있지만, 대학교 때 배운 교과목 중 가장 중요하다고 판단되는 것은 단연 선형대수학이다. 2017년 발표된 "Attention is All You Need" 논문에서 소개된 Attention 메커니즘과 Softmax 연산만 보아도 선형대수학의 중요성을 쉽게 느낄 수 있다. Attention 메커니즘은 벡터와 행렬의 곱셈, 내적 연산, 그리고 확률 분포 계산과 같은 수학적 원리를 기반으로 동작하며, Softmax 연산은 고차원 공간에서 데이터를 정규화하여 특정 요소의 가중치를 구체화한다. 이러한 과정은 선형대수학적 사고를 바탕으로 효율적이고 정교하게 구현된다. 또한, 대표적인 언어 모델인 BERT와 GPT는 고차원 벡터 공간에서 텍스트의 의미를 학습하고 표현하는 ..