LLM 썸네일형 리스트형 LoRA / QLoRA 완전 가이드 — LLM 파인튜닝을 저렴하게 하는 법 70B 모델을 처음부터 파인튜닝하면 H100 4~8개, 수십만 달러가 필요해요.LoRA/QLoRA를 쓰면 RTX 4090 한 장으로, 몇 시간 안에, $10 정도 비용으로 동일한 작업이 가능해요.왜 풀 파인튜닝 대신 LoRA인가LLM을 풀 파인튜닝하면 수십억 개의 파라미터를 전부 업데이트해요. 메모리와 연산이 엄청나게 필요하죠.LoRA의 핵심 아이디어는 이래요."모델을 업데이트할 때 변화량 자체가 저랭크(low-rank)다."즉, 수십억 개 파라미터를 다 바꾸는 게 아니라 변화량을 표현하는 작은 행렬 2개만 학습해요.풀 파인튜닝:W (d×d 행렬 전체) 업데이트 → 수백만 GBLoRA:W' = W + BAA: (r×d), B: (d×r) — r은 보통 8~64→ 학습 파라미터가 0.1~1%로 줄어듦기존 .. 더보기 LLM 양자화 완전 정리 — FP8, AWQ, GPTQ, GGUF 차이와 선택법 70B 파라미터 모델을 FP16으로 그냥 올리면 GPU 메모리가 140GB 필요해요. H100 두 개가 있어야 겨우 올라가요.양자화(Quantization)는 이 문제를 해결해요.FP16 (기본): 70B 모델 = 140GB VRAM → H100 2개 필요INT8: 70B 모델 = 70GB VRAM → H100 1개로 가능INT4 (4비트): 70B 모델 = 35GB VRAM → A100 1개로 가능근데 양자화 방식이 너무 많아요. FP8, AWQ, GPTQ, GGUF, BitsAndBytes, MXFP4... 뭐가 뭔지 헷갈려요.이번 글에서 각 방식이 어떻게 다르고 언제 써야 하는지 완전 정리해 드릴게요.양자화란 무엇인가LLM의 가중치는 수천억 개의 숫자예요. 기본적.. 더보기 SGLang PD 분리 배포 완전 가이드 — Prefill/Decode 분리로 처리량 5배 올리기 LLM 추론에는 두 단계가 있어요.Prefill은 입력 프롬프트 전체를 한 번에 처리하는 단계로, 연산 집약적이고 보통 수백에서 수천 토큰을 한 번에 처리하면서 KV 캐시를 생성해요.Decode는 그렇게 만들어진 KV 캐시를 매 스텝마다 읽으면서 토큰을 하나씩 생성하는 단계인데, 연산보다는 메모리에 부담이 크고 요청당 수십에서 수백 번 반복돼요.전통적인 통합 엔진에서는 이 두 단계가 같은 GPU에서 실행돼요. 그래서 두 가지 심각한 문제가 생겨요. 문제 1: Prefill 방해(Prefill Interruption)기존 통합 엔진에서는 디코딩이 한창 진행 중일 때 새 요청이 들어오면, 디코딩을 멈추고 프리필을 처리한 다음 다시 디코딩을 재개하는 식으로 동작해요. 이게 반복되면 토큰 생성이 계속 끊기면서 .. 더보기 SGLang launch_server 파라미터 완전 정리 python -m sglang.launch_server --help이 명령어 치면 100개 넘는 파라미터가 쏟아져요. 뭐가 뭔지 몰라서 그냥 기본값으로 쓰는 경우가 많은데, 파라미터를 제대로 알면 성능이 2~3배 차이 나요.전체 파라미터를 카테고리별로 완전 정리해 드릴게요.1. 모델 및 토크나이저--model-path (필수)모델 가중치 경로예요. 로컬 폴더 또는 HuggingFace repo ID를 받아요.# HuggingFace에서 다운로드python -m sglang.launch_server \ --model-path meta-llama/Llama-3.1-8B-Instruct# 로컬 폴더python -m sglang.launch_server \ --model-path /data/models/ll.. 더보기 SGLang 서빙에 대한 모든 것 — 설치부터 프로덕션까지 완전 가이드 2026년 현재 오픈소스 LLM 추론 엔진 중 실질적인 업계 표준은 SGLang이에요.xAI(Grok), NVIDIA, AMD, LinkedIn, Cursor, Oracle Cloud, Google Cloud, AWS가 프로덕션에 사용 중이고, 전 세계 40만 개 이상의 GPU에서 매일 수조 개의 토큰을 처리하고 있어요.근데 왜 vLLM을 놔두고 SGLang인가? 핵심은 하나예요."vLLM은 요청을 독립된 단위로 처리한다. SGLang은 요청을 프로그램으로 처리한다."이 철학 하나가 성능을 완전히 갈라요.SGLang이 빠른 이유 — 핵심 원리 3가지1. RadixAttention — KV 캐시 자동 재사용기존 추론 엔진의 문제를 먼저 이해해야 해요.일반 추론 엔진 (vLLM 포함):요청 A: [시스템 프.. 더보기 Grok 5 완전 정리 — 6조 파라미터, AGI 10%, 역대 최대 AI의 진실 일론 머스크가 또 큰소리를 쳤어요."모든 지표에서 압도적으로 세계 최고의 AI."Grok 5. 6조 파라미터. AGI 달성 10% 확률. Q1 2026 출시 예고.근데 Q1이 지났어요. 아직 안 나왔어요.이번 글에서는 Grok 5가 진짜 뭔지, 머스크의 주장이 얼마나 믿을 만한지, 그리고 실제로 어떤 의미가 있는지 정리해 드릴게요.Grok 5가 뭔가xAI는 일론 머스크가 2023년 설립한 AI 회사예요. OpenAI에서 나온 연구자들을 중심으로 구성됐고, Tesla와 X(트위터) 데이터에 접근할 수 있다는 게 경쟁사 대비 독특한 강점이에요.Grok 1 → Grok 2 → Grok 3 → Grok 4 → Grok 4.20까지 빠른 속도로 업데이트해왔어요. 그리고 다음 세대가 Grok 5예요.스펙 — 뭘 주.. 더보기 Anthropic이 숨기려 했던 AI — Claude Mythos 유출 사건 완전 정리 2026년 3월 26일 밤, 보안 연구원 두 명이 인터넷에서 이상한 걸 발견했어요.공개 검색이 가능한 서버에 Anthropic의 미공개 블로그 포스트 수천 개가 올라와 있었어요. 그 안에는 아직 세상에 공개된 적 없는 AI 모델 이야기가 담겨 있었어요."지금까지 우리가 만든 것 중 가장 강력한 모델."이게 Claude Mythos 유출 사건의 시작이에요.어떻게 유출됐나Anthropic의 CMS(콘텐츠 관리 시스템) 설정 오류가 원인이었어요. 미공개 초안 블로그 포스트 약 3,000개가 공개 검색 가능한 데이터 캐시에 노출됐어요.LayerX Security의 Roy Paz와 케임브리지 대학의 Alexandre Pauwels가 이 데이터를 발견했어요. Fortune이 내용을 검토한 뒤 Anthropic에 통.. 더보기 구글 Gemma 4 완전 분석 — 오픈소스 AI의 판을 바꾼 모델 4월 2일, 구글 딥마인드가 조용히 모델 하나를 공개했어요. 그런데 AI 커뮤니티가 발칵 뒤집혔습니다."자기 사이즈보다 20배 큰 모델을 이긴다."이게 Gemma 4예요. 오픈소스 AI 역사상 가장 충격적인 성능 도약이 나왔어요. 이번 글에서는 Gemma 4가 뭔지, 어떻게 실행하는지, 실전에서 어떻게 쓰는지 완전 정리해 드릴게요.Gemma 4가 왜 난리났나오픈소스 AI는 항상 이런 딜레마가 있었어요."무료로 쓰려면 성능을 포기해야 한다."GPT-4나 Claude 같은 유료 모델과 오픈소스 모델 사이에는 항상 눈에 띄는 품질 격차가 있었어요. 오픈소스를 쓰면 돈은 절약되지만 결과물이 아쉬웠죠.Gemma 4는 이 공식을 깨버렸어요. 31B 모델이 오픈소스 모델 세계 3위에 랭크됐고, 26B MoE 모델은 .. 더보기 이전 1 ··· 5 6 7 8 9 다음