TedDev

트랜스포머란트랜스포머(Transformer)는 2017년 구글 연구팀이 "Attention is All You Need" 논문에서 처음 소개한 신경망 아키텍처입니다. 이전의 순환 신경망(RNN)이나 합성곱 신경망(CNN)과 달리, 트랜스포머는 완전히 새로운 접근 방식을 취했습니다. 이 모델의 가장 중요한 혁신은 '셀프 어텐션(Self-Attention)' 메커니즘으로 이를 통해 문장 내 모든 단어들 간의 관계를 효과적으로 모델링할 수 있게 되었습니다. 트랜스포머의 핵심 구성 요소1. 셀프 어텐션 메커니즘셀프 어텐션은 트랜스포머의 핵심 요소로 시퀀스 내 각 위치가 다른 모든 위치와 어떻게 관련되는지 계산합니다. 예를 들어 "그는 사과를 먹었다. 그것은 맛있었다."라는 문장에서, '그것'이 '사과'를 가리킨..

프롬프트 엔지니어링은 AI 모델이 원하는 결과물을 생성하도록 최적화된 입력(프롬프트)을 설계하는 기술입니다. 효과적인 프롬프트를 작성하는 것은 마치 명확한 지시를 주는 것과 같으며, 이는 AI가 제공하는 답변의 품질에 직접적인 영향을 미칩니다. 프롬프트 엔지니어링의 핵심 원칙1. 명확성과 구체성모호한 질문보다는 구체적인 지시가 더 나은 결과를 가져옵니다. "좋은 에세이 작성해줘"보다는 "환경 보호의 중요성에 대한 500단어 에세이를 작성해줘. 주요 문제점 3가지와 해결책을 포함해줘"와 같이 요청하는 것이 효과적입니다.2. 맥락 제공하기AI에게 충분한 배경 정보를 제공하면 더 관련성 높은 답변을 얻을 수 있습니다. 대상 독자, 목적, 원하는 형식 등을 명시하는 것이 좋습니다.3. 단계별 접근복잡한 문제는 ..

LLM(Large Language Model, 대규모 언어 모델)은 방대한 양의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성할 수 있는 인공지능 모델을 의미합니다. 주로 딥러닝 기반의 트랜스포머(Transformer) 아키텍처를 활용하며, 자연어 처리(NLP) 분야에서 강력한 성능을 보입니다. LLM의 주요 특징대규모 매개변수(Parameters)수억에서 수천억 개 이상의 매개변수를 포함더 많은 데이터를 학습할수록 더 정교한 언어 이해 및 생성 가능사전 학습(Pretraining)과 미세 조정(Fine-tuning)사전 학습(Pretraining): 대량의 텍스트 데이터로 일반적인 언어 구조 학습미세 조정(Fine-tuning): 특정 도메인(의료, 법률 등)이나 작업(번역, 코드 생성 등)에 ..

최근 회사에서 AI와 관련된 업무를 하고 있어 이런 저런 책과 자료를 살펴보던 중 굉장히 쉽게 쓰여져 있는 책이 있어 소개하고자 한다. 이것이 생성형 AI다 책은 생성형 AI의 개념을 아주 쉽게 풀어쓴 책이다. 따라서 이 책의 가장 큰 장점은 접근성이다. AI라는 주제는 종종 어렵고 난해하게 느껴지기 마련이다. 이 책은 전문용어를 최소화하고 실생활과 연결된 사례를 통해서 설명함으로써 초보자도 이해할 수 있도록 구성하였다. 그러면서도 생성형 AI를 이해하고자 한다면 기본적으로 알아야할 개념(LLM, 전이학습, RAG 등)은 다 포함하고 있다. 인상 깊었던 점은 이 책은 단순히 지식을 전달하는 것만 아니라 대규모 언어 모델에 과도한 의존은 경계해야 한다고 이야기 하고 있다. 주어진 과제나 문제에 대한 결과는..

랭체인(LangChain)은 자연어 처리(NLP)와 인공지능(AI) 응용 프로그램을 더욱 쉽게 구축할 수 있도록 돕는 Python 및 JavaScript 기반의 프레임워크이다. 주로 대규모 언어 모델(LLM, Large Language Model)을 활용한 애플리케이션 개발에 초점을 맞추고 있으며 다양한 데이터 소스와 상호작용하거나 복잡한 체인을 생성하는 데 최적화되어 있다. 주요 기능 및 구성 요소모듈화된 구조랭체인은 여러 모듈로 구성되어 있으며 각 모듈은 독립적으로 사용하거나 통합할 수 있다. 주요 모듈은 다음과 같다.Prompt Templates : LLM에게 효과적으로 요청을 전달하기 위한 템플릿 관리Chains : 여러 작업을 연결하여 순차적으로 실행하는 워크플로우Agents : 외부 데이터 소..

LLM(대규모 언어 모델, Large Language Model)의 할루시네이션(hallucination)이란 모델이 자신감 있게 사실처럼 보이는 응답을 생성하지만 실제로는 틀리거나 허구적인 정보를 생성하는 현상을 의미한다. 이는 LLM의 대표적인 한계 중 하나로 주어진 질문이나 문맥에 대해 신뢰할 수 없는 내용을 제공할 가능성을 나타낸다. 왜 할루시네이션이 발생할까?훈련 데이터의 한계LLM은 대규모 텍스트 데이터를 기반으로 학습되지만 데이터가 항상 정확하거나 최신 정보만 포함하지는 않는다. 잘못된 정보가 포함된 데이터를 학습한 경우 이를 기반으로 할루시네이션이 발생할 수 있다.지식과 추론의 경계모델은 학습한 데이터 기반으로 추론을 수행하지만 이를 "이해"하거나 "지식"으로 판단하지 못한다. 따라서, 문..