반응형

langfuse 2

AI 에이전트 디버깅 실전 — Langfuse·AgentOps·Braintrust 언제 뭘 쓰나

에이전트가 실패했습니다. 로그를 열었더니 "Error: tool_call failed"입니다. 어느 스텝에서, 왜, 어떤 컨텍스트에서 실패했는지 알 수 없습니다. 단일 LLM 호출 디버깅과 에이전트 디버깅은 완전히 다른 문제입니다. 에이전트는 비결정론적이고, 루프를 돌고, 여러 툴을 호출하고, 세션 간 상태를 유지합니다. 이걸 디버깅하는 도구가 다릅니다.[핵심 요약]→ 단일 LLM vs 에이전트 디버깅: 완전히 다른 문제 — 도구도 달라야 함→ Langfuse: 오픈소스·셀프호스팅, 프롬프트 버전 관리 + 트레이싱 최강. 2026년 1월 Clickhouse 인수→ AgentOps: 멀티프레임워크 400개+ 지원, 타임트래블 디버깅, 세션 리플레이 — 에이전트 디버깅 특화→ Braintrust: Eval ..

AI Agent 2026.05.21

AI 에이전트 모니터링 완전 가이드 — LangSmith vs Langfuse 실전 비교

프로덕션에서 AI 에이전트가 이상한 답을 내놨어요.고객이 계좌 잔액을 물었는데 에이전트가 숫자를 지어냈어요. 4번의 툴 호출, 2개의 서브 에이전트. 어디서 망가졌는지 로그엔 최종 출력만 있어요.일반 로그:[ERROR] Response: "잔액은 1,250,000원입니다" ← 틀림. 근데 왜?관측성 툴의 트레이스:[Trace: user_query] ├─ [Tool: get_account_id] → 성공 (32ms) ├─ [Tool: get_balance] → 실패 (타임아웃) ← 여기서 망가짐 ├─ [LLM: fallback_response] → 환각 발생 └─ [Output] "잔액은 1,250,000원입니다"관측성이 없으면 5단계 에이전트 디버깅은 추측이에요. 트레이스가 있으면 정확히 어느 단..

AI Agent 2026.04.09
반응형