본문 바로가기
반응형

분류 전체보기

Google I/O 2026 핵심 정리 1편 — Gemini 3.5, Gemini Spark, Search 전면 개편, 요금제 대개편 구글이 AI를 제품에 붙이는 시대가 끝났습니다. 이제 AI가 제품 그 자체입니다. Google I/O 2026은 Gemini 3.5 모델 발표부터 30년 만의 검색 전면 개편, 24시간 돌아가는 개인 에이전트 Gemini Spark까지 쏟아냈습니다. 1편은 일반 사용자와 개발자 모두에게 직결되는 발표들을 정리합니다.[1편 핵심 요약]→ Gemini 3.5 Flash: 오늘부터 출시 — 3.1 Pro보다 거의 모든 벤치마크 우세, 속도는 4배→ Gemini 3.5 Pro: 다음 달 출시 예정 (현재 테스트 중)→ Gemini Omni Flash: 텍스트·이미지·오디오·영상 입력 → 영상 출력 — 오늘 출시→ Gemini Spark: 24/7 개인 에이전트 — 백그라운드에서 멀티스텝 태스크 자율 실행→ AI.. 더보기
LiteLLM 완전 가이드 4편 — LangChain·LangGraph 통합, 가드레일, Prometheus 모니터링, 프로덕션 운영 3편에서 Proxy 서버를 띄웠습니다. 4편은 그 위에 쌓는 것들입니다. LangChain·LangGraph가 Proxy를 모르게 쓰고, 콘텐츠 필터로 민감한 출력을 막고, Prometheus로 모든 메트릭을 시각화합니다. 마지막으로 LiteLLM의 실제 한계와 대안도 솔직하게 정리합니다.[4편 핵심 요약]→ LangChain + Proxy: base_url=http://proxy:4000 — 모델 교체 없이 모든 LLM 사용→ LangGraph: LiteLLM이 LangGraph 에이전트를 모델처럼 호출 가능 (A2A 프로토콜)→ 가드레일: 콘텐츠 필터 / PII 마스킹 (Presidio) / 커스텀 훅→ Prometheus: /metrics 엔드포인트 → Grafana 대시보드 자동 연동→ 보안 주의.. 더보기
LiteLLM 완전 가이드 3편 — Proxy 서버 모드: 팀 공용 LLM 게이트웨이 구축 실전 1·2편은 Python 라이브러리로 개인이 직접 쓰는 방법이었습니다. 3편은 팀 전체가 쓰는 방법입니다. LiteLLM Proxy를 띄우면 팀원들은 각자 API 키 없이 http://our-gateway.com:4000으로 요청하면 됩니다. 비용은 중앙에서 집계되고, 팀별 예산도 설정됩니다. [3편 핵심 요약]LiteLLM Proxy는 팀 공용 OpenAI 호환 LLM 게이트웨이로 셀프호스팅 방식으로 운영합니다. 구성 요소는 config.yaml(모델·설정), .env(API 키), PostgreSQL(비용 추적), Redis(고트래픽 캐싱)입니다. 포트는 4000번을 쓰며 Admin UI는 http://localhost:4000/ui에서 접근합니다. 관리자 키인 Master Key는 sk-로 시작하며 .. 더보기
OpenRouter 완전 가이드 4편 — 모니터링, 레이트 리밋 관리, OAuth PKCE, 팀 운영, ZDR [4편 핵심 요약]→ Generations API: 모든 요청의 상세 로그 — 모델·프로바이더·비용·레이턴시→ 레이트 리밋: OpenRouter 자체 제한 없음 (유료 모델) — 프로바이더 한도가 실제 제한→ 429 처리: exponential backoff + jitter + 폴백 모델 자동 전환→ API 키 관리 API: 프로그래밍으로 키 생성·삭제·한도 설정→ OAuth PKCE: 사용자가 자기 OpenRouter 계정으로 직접 인증 → 내 크레딧 소모 없음→ 가드레일: 조직 멤버·키별 예산·모델 접근 제한 설정→ ZDR: 프롬프트·응답 저장 안 하는 프로바이더만 라우팅→ Broadcast: Langfuse·Datadog·Braintrust에 트레이스 동시 전송 실전 1 — Generations A.. 더보기
OpenRouter 완전 가이드 1편 — 300개 AI 모델을 API 키 하나로 쓰는 법 Claude, GPT, Gemini, Llama, DeepSeek를 각각 쓰려면 API 키 5개, 청구서 5개, 레이트 리밋 각개격파입니다. OpenRouter는 이걸 하나로 통합합니다. 모델만 바꾸면 됩니다. 코드는 그대로입니다.[핵심 요약]OpenRouter는 300개 이상의 AI 모델을 단일 API 엔드포인트로 제공하는 LLM 게이트웨이입니다. OpenAI 호환 API라서 base_url만 바꾸면 기존 코드가 그대로 동작합니다. 가격은 프로바이더 직접 가격에 5.5% 플랫폼 크레딧 수수료가 붙는 구조이며, 마크업은 없습니다. 무료 티어로 Gemma, Llama, Mistral 등 25개 이상의 무료 모델을 신용카드 없이 사용할 수 있습니다. BYOK(자체 API 키 연결) 방식은 월 100만 요청까.. 더보기
Firebase AI Logic + Gemini 실전 가이드 4편 — App Check, Vertex AI 전환, Remote Config, 모니터링, 비용 최적화 3편까지 개발 환경에서 Gemini를 붙였습니다. 4편은 실제 사용자에게 배포하기 전 해야 하는 것들입니다. App Check 없이 공개하면 누구나 내 API 할당량을 소진할 수 있습니다. Remote Config 없이 배포하면 모델 deprecation 때마다 앱 업데이트가 강제됩니다.[4편 핵심 요약]→ App Check: Gemini API를 인가된 앱만 사용하도록 보호 — 공개 배포 전 필수→ 프로바이더: Android=Play Integrity / iOS=App Attest / Web=reCAPTCHA Enterprise→ Vertex AI 전환: GoogleAIBackend() → VertexAIBackend() 한 줄 교체 — Blaze 플랜 필요→ Remote Config: 모델명·파라미터.. 더보기
Firebase AI Logic + Gemini 실전 가이드 1편 — 개요, Firebase 세팅, 첫 API 호출까지 Gemini API를 앱에 붙이려면 API 키를 앱 코드에 넣어야 할 것 같습니다. 틀렸습니다. API 키가 앱 코드에 들어가면 누구나 추출해서 쓸 수 있습니다. Firebase AI Logic은 API 키를 서버에만 두고, 앱은 Firebase SDK로만 통신합니다. 백엔드 서버 없이, 신용카드 없이 시작할 수 있습니다.[1편 핵심 요약]→ Firebase AI Logic: 모바일·웹 앱에서 Gemini API 직접 호출 위한 Firebase 공식 SDK→ 지원 플랫폼: Android(Kotlin/Java), iOS(Swift), Web(JS), Flutter(Dart), Unity, React Native→ 두 가지 백엔드: Gemini Developer API(무료 티어) / Vertex AI Ge.. 더보기
AI 에이전트 보안 완전 가이드 — Double Agent 공격, 에이전트가 내부 위협이 되는 순간 2023년에 프롬프트 인젝션은 챗봇이 이상한 말을 하게 만들었습니다. 2026년에 같은 공격은 에이전트가 SSH 키를 유출하고, DB를 덤프하고, 프로덕션 클라우드에서 랜섬웨어를 실행하게 만듭니다. 에이전트는 코드를 실행하고, 파일에 접근하고, API를 호출합니다. 그 권한이 공격자 손에 넘어가는 게 Double Agent입니다.[핵심 요약]→ Double Agent: 신뢰받는 내부 에이전트가 외부 악성 명령으로 공격자 도구로 전환→ 2023 프롬프트 인젝션: 챗봇이 나쁜 말 → 2026: 에이전트가 나쁜 행동→ 핵심 취약점: 에이전트가 데이터와 명령을 구분 못함→ 주요 공격 벡터: 간접 프롬프트 인젝션, 메모리 포이즈닝, MCP 툴 하이재킹→ 실제 사례: GitHub MCP로 private 레포 → p.. 더보기
반응형

티스토리툴바