LLM 썸네일형 리스트형 구글의 딥시크: 터보퀀트(TurboQuant) 완전 분석 — 메모리 6배 절감이 반도체 주가를 흔든 이유 3월 24일, 구글 리서치가 조용히 블로그 하나를 올렸어요. 그런데 이틀 뒤 삼성전자가 4.7% 떨어지고, SK하이닉스가 6.2% 급락하고, 마이크론이 3% 빠졌습니다.논문 하나가 글로벌 반도체 시장을 흔든 거예요.이번 글에서는 터보퀀트가 정확히 뭔지, 왜 주가가 떨어졌는지, 그리고 이게 진짜 위기인지 아닌지까지 정리해 드릴게요.터보퀀트가 뭔가요 — 쉽게 설명KV 캐시가 뭔지부터LLM이 대화할 때 이전에 처리한 내용을 다시 계산하지 않으려고 임시로 저장해두는 공간이 있어요. 이걸 KV 캐시(Key-Value Cache) 라고 해요.쉽게 비유하면 이렇게요.친구와 1시간 대화했다고 해봐요. 새로운 말을 할 때마다 "우리가 1시간 동안 나눈 대화 전체"를 다시 읽어야 한다면 엄청 느리겠죠. KV 캐시는 그 대.. 더보기 [기초] LLM이 더 똑똑하게 생각하게 만드는 법 — CoT, ToT, Self-Consistency 완전 비교 LLM을 쓰다 보면 이런 상황이 생겨요."분명히 풀 수 있는 문제인데 틀린 답을 내놓네. 어떻게 하면 더 정확하게 추론하게 만들지?"모델을 바꾸거나 파인튜닝하지 않아도 추론 방식을 바꾸는 것만으로 정확도를 크게 올릴 수 있어요. 이번 글에서는 세 가지 핵심 추론 기법 — Chain-of-Thought, Tree-of-Thought, Self-Consistency — 을 원리부터 실전 적용까지 비교해 드릴게요.왜 추론 기법이 필요한가LLM은 기본적으로 다음 토큰을 예측하는 모델이에요. 바로 답을 내놓으라고 하면 중간 과정 없이 확률적으로 그럴듯한 답을 생성해요. 복잡한 문제에서는 이게 틀릴 확률이 높아요.# 바로 답하기 — 틀리기 쉬움질문: "농부가 닭 17마리와 양 10마리를 키운다. 다리는 총 몇 개인.. 더보기 [기초] LLM이 도구를 직접 호출한다 — Function Calling 원리와 구현 완전 정리 AI 에이전트를 만들다 보면 이런 상황이 생깁니다."LLM한테 날씨 알려달라고 했는데, 학습 데이터에 없는 오늘 날씨를 어떻게 알려주지?"LLM은 학습 데이터 기반으로만 답하기 때문에 실시간 정보나 외부 시스템과 연동이 안 돼요. 이걸 해결하는 게 Function Calling입니다. 이번 글에서는 Function Calling이 뭔지, 어떻게 동작하는지, 실제로 어떻게 구현하는지 정리해 드릴게요.Function Calling이란?Function Calling은 LLM이 응답을 생성할 때 "이 질문은 내가 직접 답하는 게 아니라 이 함수를 호출해야 한다" 고 판단해서 함수 호출 정보를 반환하는 기능이에요.중요한 건 LLM이 함수를 직접 실행하는 게 아니라는 점이에요. LLM은 "어떤 함수를 어떤 인자로 .. 더보기 sglang vs vLLM — 오픈소스 LLM 서빙 프레임워크 실전 비교 오픈소스 LLM을 직접 서빙하려고 하면 이 두 개를 반드시 마주치게 됩니다."sglang이랑 vLLM 중에 뭐 써야 하지?"둘 다 LLM을 HTTP API로 서빙하는 프레임워크인데, 설계 철학과 강점이 달라요. 이번 글에서는 실전 관점에서 두 프레임워크를 비교해 드릴게요.먼저 둘 다 뭔지부터vLLM은 2023년 UC Berkeley에서 발표한 LLM 서빙 프레임워크예요. PagedAttention이라는 메모리 관리 기법을 처음 도입해서 GPU 메모리 효율을 획기적으로 높인 프레임워크입니다. OpenAI API와 호환되는 엔드포인트를 제공해서 기존 코드를 거의 수정 없이 연결할 수 있어요.sglang은 2024년 Stanford에서 발표한 프레임워크예요. RadixAttention이라는 KV 캐시 공유 기.. 더보기 이전 1 ··· 6 7 8 9 다음