TedDev

최근에는 이런 에세이가 좋다.시간이 흐르고 나이를 들어감에 따라 고민거리는 꼬리에 꼬리를 물고 혼자 뒤쳐져가는 것 같아 마음은 급해지는 상황한 순간도 쉬지 않는 뇌, 우울감으로부터 잠깐이라도 휴식을 또는 마음의 위안을 찾고 싶은지도 모르겠다.마치 나의 마음을 이해하고 공감해주는 것 같고 괜찮다고 얘기해주는 것 같은 느낌인지도 모르겠다책을 읽으면서 또 한번 더 다짐한다. 남들과 비교하지말고 누군가에게 인정받으려고 하지말자. 쉬어가도 괜찮다. 나만의 속도로 아주 조금씩 나아가도 괜찮다고 읽으면서 기록해두고 싶었던 부분 나중에 다시 돌아보고 싶을 것 같다고 생각되는 부분 몇 가지 정리해 본다. 멈춤은 정지가 아닌 충전이라는 당연한 논리를 우린 자주 까먹는다. 맞다. 자주 까먹는다. 멈추면 큰일나는 줄 알았다...

RAG(Retrieval-Augmented Generation) 시스템의 핵심은 효과적인 정보 검색이다. 검색 방식에 따라 결과물의 정확성과 유용성이 크게 달라질 수 있다. 키워드 기반 검색 (Keyword-based Retrieval)키워드 검색은 가장 전통적인 정보 검색 방식으로 질의에 포함된 단어나 구문과 정확히 일치하는 문서를 찾는 방법이다주요기법BM25(Best Match 25): TF-IDF의 발전된 형태로 단어 빈도와 역문서 빈도를 고려하면서도 문서 길이를 정규화하는 알고리즘TF-IDF(Term Frequency-Inverse Document Frequency): 단어의 중요도를 문서 내 빈도와 전체 문서 집합에서의 희소성을 바탕으로 계산정확 매칭(Exact Matching): 질의어와 정확..

텍스트 데이터를 효율적으로 활용하는 RAG(Retrieval-Augmented Generation) 시스템에서 청킹은 핵심적인 역할을 한다. 청킹은 대용량 문서를 처리 가능한 작은 단위로 분할하는 과정으로 RAG 시스템의 성능과 정확도에 직접적인 영향을 미친다. 청킹이란청킹은 긴 텍스트 문서를 의미적으로 일관된 작은 조각들로 나누는 과정이다. 이러한 과정은 RAG 파이프라인에서 문서를 벡터 데이터베이스에 저장하고 효과적으로 검색하기 위한 필수적인 전처리 단계이다. 청킹이 중요한 이유검색 정확도 향상: 적절한 크기와 의미적 일관성을 가진 청크는 사용자 쿼리와 관련된 정보를 정확히 검색할 확률을 높인다.컨텍스트 윈도우 최적화: LLM의 컨텍스트 윈도우는 제한되어 있어 필요한 정보만 포함된 최적화된 청크를 제..

파인튜닝이란?파인튜닝은 사전 학습된 모델(pre-trained model)을 새로운 작업이나 도메인에 적응시키기 위해 추가적인 학습을 진행하는 과정이다. 대규모 데이터셋으로 일반적인 지식을 학습한 모델에 특정 목적에 맞는 데이터로 추가 학습을 시켜 성능을 향상시키는 기법이다. 파인튜닝이 필요한 이유특화된 성능: 특정 도메인이나 작업에 대한 정확도를 향상시킨다자원 효율성: 처음부터 모델을 학습시키는 것보다 훤씬 적은 컴퓨팅 자원과 데이터가 필요하다빠른 적응: 새로운 분야에 빠르게 적응할 수 있다일관된 톤과 스타일: 특정 브랜드나 서비스의 일관된 톤과 스타일을 유지할 수 있다 파인튜닝의 주요 방법전체 파인튜닝 (Full Fine-tuning)모델의 모든 파라미터를 업데이트 하는 방식이다. 새로운 데이터로 모..