CELL AI DEVLOG

"Claude가 비행기 예약하고 취업 지원서 제출까지 해줄 수 있다." 2026년 AI 에이전트 광고에 단골로 등장하는 문구다. ClawBench는 이 주장에 실제 데이터로 반박한다. 144개 실제 라이브 웹사이트에서 153개 일상 태스크를 테스트한 결과, 최강 모델인 Claude Sonnet 4.6도 33.3%밖에 못 했다. 기존 벤치마크 65~75%와의 괴리가 무엇을 의미하는지 완전히 해부한다.핵심 요약→ ClawBench는 UBC·Vector Institute 연구팀이 개발한 AI 에이전트 평가 프레임워크 — 144개 실제 라이브 플랫폼에서 15개 카테고리, 153개 일상 태스크를 수행시키는 벤치마크→ 기존 벤치마크(WebArena·OSWorld)에서 65~75%를 찍던 모델들이 ClawBench에..

CISA, NSA, 영국, 호주, 캐나다, 뉴질랜드가 함께 경고했습니다. AI 에이전트는 이미 핵심 인프라에서 돌아가고 있고, 대부분의 조직이 아무도 실시간으로 감사할 수 없을 만큼 많은 권한을 줬다고.[핵심 요약]→ 발표: 2026년 5월 1일 (Five Eyes 6개 기관 공동)→ 발행처: CISA, NSA (미국), ASD ACSC (호주), CCCS (캐나다), NCSC-NZ (뉴질랜드), NCSC (영국)→ 문서: "Careful Adoption of Agentic AI Services" (28페이지)→ 대상: 정부, 핵심 인프라, 기업 (규모 무관)→ 핵심 메시지: "에이전트 AI를 점진적으로 배포하라. 저위험 작업부터"→ 위험 5가지: 권한, 설계/구성, 행동, 구조, 책임→..

에이전트가 프로덕션 DB를 잘못 수정했습니다. 파일 200개를 잘못 덮어썼습니다. 되돌릴 방법이 없습니다. 이 상황을 구조적으로 막는 법을 정리했습니다.[핵심 요약]→ 문제: AI 에이전트는 실수를 확신에 차서 함 — 일반 버그보다 위험→ 해결: 액션 실행 전 스냅샷, 실행 후 검증, 실패 시 자동 롤백→ 핵심 패턴: Dry Run, 트랜잭션 래퍼, 스냅샷, 사람 확인 게이트→ 도구: Git, DB 트랜잭션, 파일 백업, 샌드박스 실행→ 원칙: 되돌릴 수 없는 액션은 항상 사람이 확인왜 AI 에이전트의 실수가 더 위험한가일반 버그 vs AI 에이전트 실수:일반 버그:→ 재현 가능 — 같은 입력에 같은 오류→ 스택 트레이스 명확→ 원인 파악 후 수정AI 에이전트 실수:→ 비결정적 — 재현이 어려움→ 에이전..

에이전트가 30분 작업 중 20분에 크래시났습니다. 처음부터 다시 시작합니다. 이 문제를 구조적으로 해결하는 법을 정리했습니다.[핵심 요약]→ 문제: LLM 컨텍스트는 세션 종료 시 사라짐 → 장기 작업에서 치명적→ 해결: 상태를 외부 저장소에 명시적으로 영속화→ 레이어: 메모리 계층 (인메모리 → Redis → DB) 구분→ 핵심 패턴: Checkpoint, Event Sourcing, 체크포인트 재시작→ 도구: LangGraph Checkpointer, Redis, Supabase, MemGPT 패턴→ 원칙: 에이전트가 죽어도 상태는 살아있어야 함왜 상태 관리가 어려운가일반 소프트웨어 상태 관리:→ 변수에 값 저장 → 프로세스가 살아있는 동안 유지→ DB 저장 → 영구 보존AI 에이전트 상태 관리:→..

일반 소프트웨어는 같은 입력에 항상 같은 출력이 나옵니다. AI 에이전트는 그렇지 않습니다. 테스트 전략 자체가 달라야 합니다.[핵심 요약]→ 문제: AI 에이전트는 비결정적 → 기존 단위 테스트로는 불충분→ 해결: 레이어별 테스트 전략 (툴 → 에이전트 로직 → 통합 → E2E)→ 핵심 도구: pytest + unittest.mock, LangSmith, Pytest-asyncio→ 평가 방법: LLM-as-Judge, 골든셋 비교, 행동 기반 검증→ CI/CD: 에이전트 테스트를 파이프라인에 자동화하는 법→ 원칙: 완벽한 재현보다 "허용 가능한 범위" 검증이 핵심왜 기존 테스트가 안 통하나소프트웨어 테스트의 기본 전제는 결정론적 동작입니다. 같은 입력 → 항상 같은 출력. AI 에이전트는 이 전제를 ..

LangGraph는 너무 복잡하고, CrewAI는 설정이 많고.그냥 빠르게 에이전트 하나 만들고 싶을 때 있잖아요.smolagents가 그 자리예요. HuggingFace가 만든 초경량 에이전트 라이브러리예요.pip install smolagents설치 끝. 이게 다예요.다른 프레임워크랑 뭐가 다른가일반 에이전트 vs smolagents Code Agent일반 에이전트 (ReAct 방식):LLM → "search_tool 호출해줘" → 실행 → LLM으로 결과 전달→ LLM → "calculate 호출해줘" → 실행 → LLM으로 결과 전달→ LLM → "format 호출해줘" → 실행 → 최종 답변LLM 호출: 4회smolagents Code Agent:LLM → Python 코드 작성 → 한 번에 실..

2025년, 조용히 인터넷이 바뀌었어요.HUMAN Security가 1경(10^15) 개 이상의 디지털 상호작용을 분석한 결과:2025년 트래픽 증가율:AI 에이전트 브라우저 트래픽: +7,851%AI 봇 전체: +187%사람: +3.1%자동화 트래픽 성장속도 = 사람의 8배Cloudflare CEO 매튜 프린스가 2026년 3월 SXSW에서 한 말:"2027년이면 봇 트래픽이 사람 트래픽을 추월한다.COVID 때처럼 반짝 스파이크가 아니다.멈출 기미가 없다."2024년 이미 자동화 트래픽이 전체 웹 트래픽의 51%를 넘겼어요. 인터넷 역사상 처음이에요.문제는 대부분의 서버와 API가 여전히 사람 트래픽 기준으로 설계되어 있다는 거..

2025년 4월 Google이 ADK(Agent Development Kit)를 출시했어요. 2026년 4월 기준 v1.26.0까지 업데이트됐어요.다른 프레임워크들이 "AI 에이전트를 빠르게 만들자"에 집중할 때 ADK는 다른 방향을 봐요.CrewAI: 역할 기반 팀 → 빠른 프로토타입LangGraph: 그래프 기반 → 복잡한 워크플로우ADK: 백엔드 시스템처럼 → 프로덕션 배포 중심ADK가 뭔가오픈소스 (Apache 2.0)지원 언어: Python, TypeScript, Java, Go모델: Gemini 최적화, 다른 모델도 지원배포: Vertex AI Agent Engine (완전 관리형)프로토콜: MCP + A2A 네이티브 지원핵심 철학:"에이전트는 LLM 실험이 아니라프로덕션 소프트웨어다..

AI 에이전트를 프로덕션에 배포하면 이런 일이 생겨요.새벽 3시 알람:"월간 LLM 비용 $2,000 초과"원인 파악 시도:- 로그 확인 → "에러 없음"- API 응답 확인 → "200 OK"- 에이전트 출력 확인 → "정상처럼 보임"실제 원인:에이전트가 무한 루프에 빠져서매 반복마다 더 긴 컨텍스트로 LLM 호출→ 2시간 동안 아무도 몰랐음기존 모니터링으로는 에이전트를 감시할 수 없어요. 에이전트 전용 옵저버빌리티가 필요해요.왜 기존 모니터링으로 부족한가기존 APM(Application Performance Monitoring)이 답하는 질문:✅ 서버 살아있나?✅ 응답 시간 얼마나 걸렸나?✅ 에러 발생했나?에이전트에서 필요한 질문:❌ 에이전트가 왜 이 결정을 내렸나?❌ 어느 툴 호출이 잘못됐나?❌ 어..

2025년 7월, AI 업계를 발칵 뒤집어 놓은 연구가 나왔어요.METR(Model Evaluation & Threat Research)이라는 AI 안전 연구 기관이 실험을 했어요.실험 설계:- 참가자: 숙련된 오픈소스 개발자 16명- 작업: 본인이 수년간 기여해온 레포지토리의 실제 이슈 246개- 코드베이스: 평균 100만 줄 이상, GitHub 스타 22,000개 이상- 방법: 무작위로 AI 허용/금지 조건 배정결과:AI 도구 사용 시 → 19% 더 느림진짜 충격적인 건 인식 차이실험 전 개발자 예상:"AI 쓰면 24% 빨라질 것 같아요"실험 후 개발자 인식:"AI 쓰니까 20% 빨라진 것 같아요"실제 측정값:19% 더 느림인식과 현실의 갭: 39%pAI 때문에 느려졌는데, 개발자 본인은 빨라졌다고 ..