TedDev

Spring AI는 Spring 생태계에서 LLM 과 생성형 AI 기능을 쉽게 통합할 수 있도록 만든 프로젝트이다.Spring Boot 기반 애플리케이션에서 GPT, Hugging Face, Vertex AI 같은 모델을 마치 기존의 JdbcTemplate이나 RestTemplate을 쓰듯히 자연스럽고 쉽게 활용할 수 있게 해준다. 목표와 철학Spring 개발자 친화적이다. 기존 스프링 방식(빈 주입, 설정, 프로퍼티 기반, 스타터 의존성 관리 등)에 맞춰져 있어 러닝커브가 낮다.OpenAI, Azure OpenAI, Hugging Face, Ollama, Vertex AI 등 다양한 백엔드 모델을 추상화 계층을 통해 통합Vector DB와 연동하여 RAG(Retrieval-Augmented Genera..

RAG(Retrieval-Augmented Generation) 시스템의 핵심은 효과적인 정보 검색이다. 검색 방식에 따라 결과물의 정확성과 유용성이 크게 달라질 수 있다. 키워드 기반 검색 (Keyword-based Retrieval)키워드 검색은 가장 전통적인 정보 검색 방식으로 질의에 포함된 단어나 구문과 정확히 일치하는 문서를 찾는 방법이다주요기법BM25(Best Match 25): TF-IDF의 발전된 형태로 단어 빈도와 역문서 빈도를 고려하면서도 문서 길이를 정규화하는 알고리즘TF-IDF(Term Frequency-Inverse Document Frequency): 단어의 중요도를 문서 내 빈도와 전체 문서 집합에서의 희소성을 바탕으로 계산정확 매칭(Exact Matching): 질의어와 정확..

텍스트 데이터를 효율적으로 활용하는 RAG(Retrieval-Augmented Generation) 시스템에서 청킹은 핵심적인 역할을 한다. 청킹은 대용량 문서를 처리 가능한 작은 단위로 분할하는 과정으로 RAG 시스템의 성능과 정확도에 직접적인 영향을 미친다. 청킹이란청킹은 긴 텍스트 문서를 의미적으로 일관된 작은 조각들로 나누는 과정이다. 이러한 과정은 RAG 파이프라인에서 문서를 벡터 데이터베이스에 저장하고 효과적으로 검색하기 위한 필수적인 전처리 단계이다. 청킹이 중요한 이유검색 정확도 향상: 적절한 크기와 의미적 일관성을 가진 청크는 사용자 쿼리와 관련된 정보를 정확히 검색할 확률을 높인다.컨텍스트 윈도우 최적화: LLM의 컨텍스트 윈도우는 제한되어 있어 필요한 정보만 포함된 최적화된 청크를 제..

파인튜닝이란?파인튜닝은 사전 학습된 모델(pre-trained model)을 새로운 작업이나 도메인에 적응시키기 위해 추가적인 학습을 진행하는 과정이다. 대규모 데이터셋으로 일반적인 지식을 학습한 모델에 특정 목적에 맞는 데이터로 추가 학습을 시켜 성능을 향상시키는 기법이다. 파인튜닝이 필요한 이유특화된 성능: 특정 도메인이나 작업에 대한 정확도를 향상시킨다자원 효율성: 처음부터 모델을 학습시키는 것보다 훤씬 적은 컴퓨팅 자원과 데이터가 필요하다빠른 적응: 새로운 분야에 빠르게 적응할 수 있다일관된 톤과 스타일: 특정 브랜드나 서비스의 일관된 톤과 스타일을 유지할 수 있다 파인튜닝의 주요 방법전체 파인튜닝 (Full Fine-tuning)모델의 모든 파라미터를 업데이트 하는 방식이다. 새로운 데이터로 모..

최근 AI 업계 리더들이 주목하는 AI 에이전트(AI Agent)는 단순한 챗봇을 넘어 실제 업무를 자동화하는 지능형 시스템입니다. 기업의 목표 달성을 위해 데이터 분석, 의사결정, 작업 실행을 수행하는 이 기술은 이미 다양한 산업에서 혁신을 주도하고 있습니다.  AI 에이전트의 핵심 개념AI 에이전트는 환경과 상호작용하며 목표를 달성하는 자율적 소프트웨어로 다음과 같은 특징을 가집니다.자율성 : 인간 개입 없이 독립적으로 의사결정목표 지향성 : 주어진 임무를 효율적으로 수행하기 위해 계획 수립학습 능력 : 경험을 통해 성능을 지속적으로 개선환경 인식 : 센서, 데이터베이스, 사용자 입력 등을 통해 주변 정보 수집기존 AI 시스템과의 차이점은 실제 업무 실행 능력에 있습니다. 예를 들어, 챗봇이 정보 제..

트랜스포머란트랜스포머(Transformer)는 2017년 구글 연구팀이 "Attention is All You Need" 논문에서 처음 소개한 신경망 아키텍처입니다. 이전의 순환 신경망(RNN)이나 합성곱 신경망(CNN)과 달리, 트랜스포머는 완전히 새로운 접근 방식을 취했습니다. 이 모델의 가장 중요한 혁신은 '셀프 어텐션(Self-Attention)' 메커니즘으로 이를 통해 문장 내 모든 단어들 간의 관계를 효과적으로 모델링할 수 있게 되었습니다. 트랜스포머의 핵심 구성 요소1. 셀프 어텐션 메커니즘셀프 어텐션은 트랜스포머의 핵심 요소로 시퀀스 내 각 위치가 다른 모든 위치와 어떻게 관련되는지 계산합니다. 예를 들어 "그는 사과를 먹었다. 그것은 맛있었다."라는 문장에서, '그것'이 '사과'를 가리킨..

프롬프트 엔지니어링은 AI 모델이 원하는 결과물을 생성하도록 최적화된 입력(프롬프트)을 설계하는 기술입니다. 효과적인 프롬프트를 작성하는 것은 마치 명확한 지시를 주는 것과 같으며, 이는 AI가 제공하는 답변의 품질에 직접적인 영향을 미칩니다. 프롬프트 엔지니어링의 핵심 원칙1. 명확성과 구체성모호한 질문보다는 구체적인 지시가 더 나은 결과를 가져옵니다. "좋은 에세이 작성해줘"보다는 "환경 보호의 중요성에 대한 500단어 에세이를 작성해줘. 주요 문제점 3가지와 해결책을 포함해줘"와 같이 요청하는 것이 효과적입니다.2. 맥락 제공하기AI에게 충분한 배경 정보를 제공하면 더 관련성 높은 답변을 얻을 수 있습니다. 대상 독자, 목적, 원하는 형식 등을 명시하는 것이 좋습니다.3. 단계별 접근복잡한 문제는 ..

LLM(Large Language Model, 대규모 언어 모델)은 방대한 양의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성할 수 있는 인공지능 모델을 의미합니다. 주로 딥러닝 기반의 트랜스포머(Transformer) 아키텍처를 활용하며, 자연어 처리(NLP) 분야에서 강력한 성능을 보입니다. LLM의 주요 특징대규모 매개변수(Parameters)수억에서 수천억 개 이상의 매개변수를 포함더 많은 데이터를 학습할수록 더 정교한 언어 이해 및 생성 가능사전 학습(Pretraining)과 미세 조정(Fine-tuning)사전 학습(Pretraining): 대량의 텍스트 데이터로 일반적인 언어 구조 학습미세 조정(Fine-tuning): 특정 도메인(의료, 법률 등)이나 작업(번역, 코드 생성 등)에 ..

생성형 AI(Generative AI)란?생성형 AI(Generative AI)는 주어진 데이터를 학습하여 새로운 콘텐츠(텍스트, 이미지, 오디오, 코드 등)를 생성하는 인공지능 기술입니다. 기존의 AI가 데이터를 분석하고 예측하는 데 초점을 맞췄다면 생성형 AI는 창작을 할 수 있다는 점에서 차별화됩니다. 1. 생성형 AI의 원리생성형 AI는 주로 딥러닝(Deep Learning) 모델을 활용하여 동작하며 대표적인 기술로 GAN(Generative Adversarial Network), VAE(Variational Autoencoder), 트랜스포머(Transformer) 모델이 있습니다.GAN (적대적 생성 네트워크)두 개의 신경망(생성자 + 판별자)이 경쟁하며 데이터를 생성하는 방식예: 위조 화폐를..

AWS Bedrock Amazon 의 생성형 AI 서비스기업이 AI 모델을 활용하여 텍스트 생성, 이미지 생성, 코드 작성, 문서 요약 등 다양한 AI 애플리케이션을 개발할 수 있도록 지원하는 서비스서버리스 서비스이므로 사용자는 모델 훈련, 인프라 설정, 배포를 직접 관리할 필요가 없음다양한 파운데이션 모델을 제공하여 최적의 AI 모델을 선택할 수 있음기업 맞춤형 AI 솔루션 구축 가능 (Fune-tuning, RAG, API 연동 가능) AWS Bedrock 의 주요 AI 모델Amazon Titan (AWS) : 자체 개발 모델, 텍스트 생성 및 임베딩 지원Claude 1,2,3 (Anthropic) : 강력한 자연어 이해, 긴 컨텍스트 처리 가능Jurassic-2 (AI21 Labs) : 긴 텍스트 ..

LangGraph는 LangChain의 확장 기능으로, 그래프(Graph) 구조를 활용하여 복잡한 AI 애플리케이션을 설계하는 프레임워크입니다. 기존 LangChain은 직선적인(순차적) 체인 방식으로 AI 에이전트를 구성하는 반면, LangGraph는 멀티에이전트 협업, 비선형 흐름, 동적 의사 결정을 가능하게 합니다. LangGraph란?LangGraph는 노드(Node)와 엣지(Edge)를 이용한 그래프 기반 워크플로우를 통해 대화형 AI 및 멀티에이전트 시스템을 구축할 수 있도록 지원하는 LangChain의 확장 도구입니다. 이를 통해 기존 LangChain보다 훨씬 더 복잡하고 유연한 AI 애플리케이션을 개발할 수 있습니다. LangGraph의 핵심 개념노드(Node): LLM 호출, API 요..

Document AI는 문서와 관련된 데이터를 자동으로 처리하고 분석할 수 있도록 설계된 인공지능 기술이다. 이를 통해 기업과 개인이 문서 작업을 효율적으로 처리하고 중요한 정보를 빠르게 추출할 수 있다.Document AI는 일반적으로 다음과 같은 기능을 포함하고 있다. 주요 기능문서 스캔 및 디지털화종이 문서를 스캔한 후 디지털화하여 편집 가능한 텍스트로 변환(OCR - Optical Character Recognition)다양한 언어와 폰트를 인식 가능데이터 추출문서에서 필요한 정보(예: 이름, 주소, 날짜, 금액 등)를 자동으로 추출구조화되지 않은 데이터를 구조화된 형식으로 변환분류 및 정리문서를 자동으로 분류(예: 송장, 계약서, 영수증)다양한 문서 형식에 따라 정리하여 관리자연어 처리(NLP)..

랭체인(LangChain)은 자연어 처리(NLP)와 인공지능(AI) 응용 프로그램을 더욱 쉽게 구축할 수 있도록 돕는 Python 및 JavaScript 기반의 프레임워크이다. 주로 대규모 언어 모델(LLM, Large Language Model)을 활용한 애플리케이션 개발에 초점을 맞추고 있으며 다양한 데이터 소스와 상호작용하거나 복잡한 체인을 생성하는 데 최적화되어 있다. 주요 기능 및 구성 요소모듈화된 구조랭체인은 여러 모듈로 구성되어 있으며 각 모듈은 독립적으로 사용하거나 통합할 수 있다. 주요 모듈은 다음과 같다.Prompt Templates : LLM에게 효과적으로 요청을 전달하기 위한 템플릿 관리Chains : 여러 작업을 연결하여 순차적으로 실행하는 워크플로우Agents : 외부 데이터 소..

LLM(대규모 언어 모델, Large Language Model)의 할루시네이션(hallucination)이란 모델이 자신감 있게 사실처럼 보이는 응답을 생성하지만 실제로는 틀리거나 허구적인 정보를 생성하는 현상을 의미한다. 이는 LLM의 대표적인 한계 중 하나로 주어진 질문이나 문맥에 대해 신뢰할 수 없는 내용을 제공할 가능성을 나타낸다. 왜 할루시네이션이 발생할까?훈련 데이터의 한계LLM은 대규모 텍스트 데이터를 기반으로 학습되지만 데이터가 항상 정확하거나 최신 정보만 포함하지는 않는다. 잘못된 정보가 포함된 데이터를 학습한 경우 이를 기반으로 할루시네이션이 발생할 수 있다.지식과 추론의 경계모델은 학습한 데이터 기반으로 추론을 수행하지만 이를 "이해"하거나 "지식"으로 판단하지 못한다. 따라서, 문..