TedDev

RAG(Retrieval-Augmented Generation) 시스템의 핵심은 효과적인 정보 검색이다. 검색 방식에 따라 결과물의 정확성과 유용성이 크게 달라질 수 있다. 키워드 기반 검색 (Keyword-based Retrieval)키워드 검색은 가장 전통적인 정보 검색 방식으로 질의에 포함된 단어나 구문과 정확히 일치하는 문서를 찾는 방법이다주요기법BM25(Best Match 25): TF-IDF의 발전된 형태로 단어 빈도와 역문서 빈도를 고려하면서도 문서 길이를 정규화하는 알고리즘TF-IDF(Term Frequency-Inverse Document Frequency): 단어의 중요도를 문서 내 빈도와 전체 문서 집합에서의 희소성을 바탕으로 계산정확 매칭(Exact Matching): 질의어와 정확..

텍스트 데이터를 효율적으로 활용하는 RAG(Retrieval-Augmented Generation) 시스템에서 청킹은 핵심적인 역할을 한다. 청킹은 대용량 문서를 처리 가능한 작은 단위로 분할하는 과정으로 RAG 시스템의 성능과 정확도에 직접적인 영향을 미친다. 청킹이란청킹은 긴 텍스트 문서를 의미적으로 일관된 작은 조각들로 나누는 과정이다. 이러한 과정은 RAG 파이프라인에서 문서를 벡터 데이터베이스에 저장하고 효과적으로 검색하기 위한 필수적인 전처리 단계이다. 청킹이 중요한 이유검색 정확도 향상: 적절한 크기와 의미적 일관성을 가진 청크는 사용자 쿼리와 관련된 정보를 정확히 검색할 확률을 높인다.컨텍스트 윈도우 최적화: LLM의 컨텍스트 윈도우는 제한되어 있어 필요한 정보만 포함된 최적화된 청크를 제..

랭체인(LangChain)은 자연어 처리(NLP)와 인공지능(AI) 응용 프로그램을 더욱 쉽게 구축할 수 있도록 돕는 Python 및 JavaScript 기반의 프레임워크이다. 주로 대규모 언어 모델(LLM, Large Language Model)을 활용한 애플리케이션 개발에 초점을 맞추고 있으며 다양한 데이터 소스와 상호작용하거나 복잡한 체인을 생성하는 데 최적화되어 있다. 주요 기능 및 구성 요소모듈화된 구조랭체인은 여러 모듈로 구성되어 있으며 각 모듈은 독립적으로 사용하거나 통합할 수 있다. 주요 모듈은 다음과 같다.Prompt Templates : LLM에게 효과적으로 요청을 전달하기 위한 템플릿 관리Chains : 여러 작업을 연결하여 순차적으로 실행하는 워크플로우Agents : 외부 데이터 소..