반응형

opentelemetry 2

OpenTelemetry로 LLM 에이전트 추적 — 스팬 계측, 토큰 비용 추적, 프로덕션 디버깅

"이 에이전트가 왜 $3.70을 썼나?" 프로덕션에서 이 질문에 답할 수 없다면 에이전트를 배포할 준비가 안 된 겁니다. OpenTelemetry는 그 답을 구조화합니다.핵심 요약 → 에이전트 옵저버빌리티 ≠ 일반 APM — 비결정적 실행, 토큰 기반 비용, 무결한 실패가 다름 → OpenTelemetry GenAI Semantic Conventions: gen_ai.* 표준 속성 (2026년 초 experimental → stable 진행 중) → 자동 계측: AnthropicInstrumentor().instrument() — 코드 변경 없이 모든 API 호출 자동 추적 → 수동 계측: 에이전트 루프·툴 호출·재시도 스텝을 명시적 스팬으로 감쌈 → 핵심 속성: gen_ai.usage.input_tok..

AI Agent 2026.05.29

OpenTelemetry로 LLM 모니터링 — 블랙박스 에이전트를 투명하게 만드는 법

Kubernetes 파드엔 대시보드 있고, DB엔 슬로우 쿼리 로그 있는데, LLM은 블랙박스죠? 그 시대가 끝났습니다.핵심 요약→ OTel GenAI Semantic Convention 2026년 표준화 — LLM 트레이싱 공식 규격 등장→ gen_ai.* 속성으로 모델명·토큰 수·비용·레이턴시 전부 추적 가능→ Datadog v1.37, Grafana 모두 native 지원 시작 — 벤더 종속 없이 계측 1회→ 일반 APM의 한계: 결정론적 코드 가정 → LLM 비결정성·토큰 과금 구조와 충돌→ 에이전트 트레이싱: LLM 호출 → 툴 실행 → 검색 → 응답 전 과정이 단일 트레이스→ 핵심 메트릭 3가지: gen_ai.client.operation.duration / token.usage / 오류율→ ..

AI Agent 2026.05.21
반응형