📚 지식 노트

AI · 머신러닝 · 딥러닝 · 생성형 AI

네 말은 바깥에서 안쪽으로 포함 관계다. 뒤로 갈수록 좁은 뜻이다.

더 깊이: 머신러닝 노트 → · 딥러닝 노트 → · 핵심 논문 노트 →

LLM은 어떻게 답하나

LLM(대규모 언어 모델)은 글을 토큰이라는 조각(낱말이나 낱말 일부)으로 잘라 본다. 하는 일은 하나다. 지금까지의 토큰을 보고 다음에 올 토큰의 확률을 계산해 하나를 고르고, 그것을 붙여 다시 다음 토큰을 고른다. 긴 답도 이렇게 한 조각씩 이어 붙인 결과다.

요즘 LLM은 거의 모두 트랜스포머 구조다. 핵심인 어텐션(attention)은 토큰마다 앞의 어떤 토큰을 얼마나 참고할지 정해, 멀리 떨어진 낱말 사이의 관계도 잡아낸다.

1. 사전 학습: 인터넷 글·책·코드 같은 아주 많은 글로 다음 토큰 맞히기를 연습한다. 지식과 말투가 여기서 생긴다.
2. 미세 조정: 질문과 좋은 답의 예시로 다시 학습해 대화하는 조수처럼 답하게 만든다.
3. 사람 피드백 강화 학습(RLHF) 등: 답 여러 개 중 사람이 더 좋다고 고른 쪽으로 기울게 다듬는다. 위험한 답을 피하는 성향도 여기서 다듬는다.

매개변수(파라미터)는 학습으로 정해진 숫자들이다. “70B 모델”은 숫자가 700억 개라는 뜻이다. 보통 많을수록 아는 것이 많고 추론이 낫지만, 실행에 메모리와 계산이 더 든다.

더 깊이: LLM 노트 →

컨텍스트 창과 기억

• 컨텍스트 창은 모델이 한 번에 볼 수 있는 토큰의 양이다. 내 질문, 이전 대화, 붙여 넣은 문서, 모델의 답이 모두 여기에 들어간다. 넘치면 앞부분을 잘라 내거나 요약하므로, 대화가 아주 길면 앞에서 한 말을 놓친다.
• 모델 자체는 대화를 기억하지 않는다. 매번 지금까지의 대화를 통째로 다시 읽는 것이다. 서비스의 “메모리” 기능은 기억할 내용을 따로 적어 두었다가 다음 대화의 컨텍스트에 넣어 주는 장치다(에이전트 기억 글).
• 학습 기준일(knowledge cutoff): 사전 학습 데이터가 끝난 시점 뒤의 일은 모른다. 최신 정보가 필요하면 검색 도구를 붙인다.

더 깊이: LLM 노트 → · 에이전트와 활용 노트 →

틀린 답(환각)이 나오는 이유

LLM은 사실을 꺼내 오는 데이터베이스가 아니라 그럴듯한 다음 말을 만드는 모델이다. 그래서 모르는 것도 자신 있는 말투로 지어낼 수 있다. 이것을 환각(hallucination)이라 한다. 드문 고유명사, 숫자, 인용, 논문·링크 주소에서 특히 잦다.

• 근거가 될 문서를 함께 주고 “이 안에서만 답하라”고 한다.
• 출처를 달게 하고, 중요한 내용은 그 출처를 직접 확인한다.
• 코드는 실행해 보고, 계산은 계산기·코드 도구로 다시 확인한다.

더 깊이: AI 안전과 정책 노트 →

프롬프트 · RAG · 도구 사용 · 에이전트

에이전트에 맡길수록 무엇을 허락할지(파일 수정, 결제, 메시지 전송)를 정하는 일이 중요해진다(에이전트 신뢰 글).

셋 중 무엇부터 할지는 보통 프롬프트 → RAG → 미세 조정 순으로 시도한다. 앞의 것이 싸고 빨리 고칠 수 있어서다. 고르는 기준은 에이전트와 활용 노트에 표로 정리했다.

RAG·도구로 바깥 글을 읽게 하면 새 위험이 생긴다. 모델은 지시와 자료를 같은 글로 읽으므로, 웹 페이지나 메일 속에 숨긴 “앞의 지시를 무시하고 …” 같은 문장을 명령으로 따를 수 있다. 이것이 프롬프트 인젝션이다. 모델의 안전 학습을 넘어 금지된 답을 끌어내는 탈옥과는 겨냥하는 대상이 다르다. 둘의 차이와 방어는 AI 보안 노트에 있다.

더 깊이: 에이전트와 활용 노트 →

모델 고르기

• 클라우드 vs 로컬: 클라우드 모델은 가장 크고 똑똑한 모델을 바로 쓸 수 있지만, 입력이 회사 서버로 간다. 로컬 모델은 내 컴퓨터 안에서 돌아 밖으로 나가지 않지만, 쓸 수 있는 크기가 GPU 메모리에 묶인다.
• 필요한 메모리: 대략 매개변수 수 × 숫자 하나의 바이트 수다. 80억(8B) 모델은 16비트(2바이트)로 약 16GB, 4비트로 줄이면(양자화) 약 5GB에 컨텍스트용 여유가 더 든다. 그래서 로컬 실행은 GPU의 VRAM 용량이 가장 먼저 걸린다.
• 추론 모델: 답하기 전에 생각하는 토큰을 길게 만들어 수학·코드·계획 문제를 더 잘 푼다. 대신 느리고 비용이 더 든다. 간단한 질문에는 일반 모델이 낫다.
• 오픈 가중치 vs 오픈 소스: 가중치 파일을 내려받아 직접 돌릴 수 있는 모델을 흔히 “오픈 소스 모델”이라 부르지만, 대개는 가중치만 공개한 오픈 가중치다. 학습 데이터·학습 코드까지 공개해야 오픈 소스라는 정의도 있고, 라이선스마다 상업 이용·용도 제한이 다르다. 자세한 구분은 LLM 노트에 있다.
• 멀티모달: 글뿐 아니라 이미지·소리·화면을 함께 입력받는 모델. 스크린숏을 보여 주며 묻거나 문서 사진을 읽게 할 수 있다.

더 깊이: AI 인프라 노트 →

이미지 · 소리 생성

이미지 생성은 주로 확산(diffusion) 모델이 한다. 여기서 노이즈는 픽셀마다 색을 무작위로 흔든 값으로, 채널이 안 잡힌 옛 TV의 지지직 화면과 비슷하다. 학습 때는 그림에 노이즈를 조금씩 섞어 원래 그림이 전혀 안 보일 때까지 망가뜨리고, 단계마다 섞인 노이즈를 맞히는 연습을 한다. 생성할 때는 순수한 노이즈에서 시작해, 글 설명에 맞는 방향으로 노이즈를 여러 번 걷어 내 그림을 만든다.

한 번에 그림을 만드는 것보다 “조금 덜 지저분하게”를 여러 번 하는 쪽이 훨씬 쉬운 문제라서 이렇게 한다. 시작 노이즈가 매번 달라 같은 설명으로도 다른 그림이 나온다. 생성 도구의 시드(seed)가 이 시작 노이즈를 정하는 값이라, 시드가 같으면 같은 그림이 나온다. 음성·음악 생성도 비슷한 방법이나 LLM처럼 소리 토큰을 이어 붙이는 방법을 쓴다.

더 깊이: 생성 모델 노트 →

흔한 오해

• “AI가 말뜻을 사람처럼 이해한다” — 패턴으로 그럴듯한 답을 만든다. 많은 경우 이해한 것처럼 동작하지만, 처음 보는 함정 문제에서 엉뚱하게 틀린다.
• “AI가 인터넷을 검색해서 답한다” — 검색 도구가 붙어 있을 때만 그렇다. 없으면 학습한 기억으로만 답한다.
• “모델은 클수록 무조건 좋다” — 간단한 일에는 작은 모델이 빠르고 싸다. 일에 맞는 크기를 고른다.
• “출처를 달아 줬으니 맞는 말이다” — 검색 도구 없이 단 출처는 그럴듯하게 지어낸 것일 수 있다. 링크를 열어 그 문장이 실제로 있는지 본다.
• “온도를 0으로 두면 늘 같은 답이 나온다” — 같은 답일 가능성이 크게 높아질 뿐이다. 서버가 요청을 묶어 계산하는 방식 때문에 같은 입력에도 답이 조금씩 갈릴 수 있다(LLM 노트의 샘플링 절).
• “AI가 쓴 글은 탐지기로 가려낼 수 있다” — 사후 탐지기는 오탐이 잦아 단독 근거로 쓰기 어렵다. 워터마크와 출처 표시가 어디까지 되는지는 생성 모델 노트에 있다.
• “내가 한 대화로 모델이 바로 배운다” — 대화 중에 모델의 매개변수는 바뀌지 않는다. 대화를 나중에 학습에 쓸지는 서비스 설정마다 다르므로 확인한다.

더 알아보기

AI 에이전트·컨텍스트 엔지니어링 발표와 글을 보고 기억해 둘 내용을 정리해 쌓아 둔다.

• 2026년 9월AI 에이전트를 믿고 맡기는 법 — 검증·스킬·제약에이전트를 지켜보며 프롬프트하던 단계에서 PR 자동 병합까지 가는 길. 핵심은 검증, 실패에서 만든 스킬, 코드로 강제하는 제약이다.
• 2026년 6월에이전트 메모리와 드리밍(dreaming)AI 에이전트가 세션을 넘어 배우고, 잠든 사이에 스스로 기억을 다듬게 하는 컨텍스트 엔지니어링 이야기다.