LLM 평가 프레임워크 비교: LangSmith vs W&B vs MLflow

LangChain 애플리케이션을 출시했는데 사용자가 “가끔 답변이 이상하다”고 피드백합니다. 로그를 열어 보니 JSON만 잔뜩 보입니다. Prompt 설계 문제일까요? RAG 검색의 재현율이 낮은 걸까요? 아니면 Agent 도구 호출이 실패한 걸까요?

LLM 애플리케이션은 전통적인 소프트웨어와 다릅니다. 출력은 불확실하고, 실행 경로는 10단계에서 100단계까지 길어질 수 있습니다. 로그만 보는 것으로는 충분하지 않습니다. 각 단계를 추적하고, 각 호출을 평가할 수 있는 도구가 필요합니다.

LangSmith, Weights & Biases, MLflow는 모두 자신을 “LLM 관측성 솔루션”이라고 말합니다. 그렇다면 무엇을 골라야 할까요? 이 글에서는 세 도구의 핵심 포지셔닝, 기능 차이, 적합한 시나리오, 실제 비용을 비교합니다. 읽고 나면 어떤 도구가 내 팀 규모와 예산에 맞는지, 기술 스택에 따라 어떻게 선택해야 하는지 분명히 알 수 있을 것입니다.

LangSmith, W&B, MLflow: 포지셔닝이 선택을 결정합니다

솔직히 말하면 이 세 도구의 근본적인 차이는 기능 목록에 있지 않습니다. 차이는 각 도구의 “출신”과 “DNA”에 있습니다. 이 점을 이해하는 것이 기능을 하나씩 비교하는 것보다 훨씬 중요합니다.

LangSmith: LangChain 생태계의 네이티브 모니터링 플랫폼

LangSmith는 LangChain 회사가 직접 만든 도구입니다. LangChain, LangGraph와 한 가족이라고 볼 수 있습니다. 무슨 뜻일까요? LangChain으로 LLM 애플리케이션을 개발한다면 LangSmith는 거의 무설정으로 통합됩니다. SDK를 설치하고 코드 두 줄을 추가하면 끝입니다.

작년에 한 Agent 프로젝트에서 사용해 본 적이 있습니다. 당시 우리는 LangGraph로 상태 관리를 했고, Agent 실행 경로가 정말 복잡했습니다. 요청 하나가 일곱, 여덟 개의 도구를 호출할 수 있었고 중간에는 조건 분기도 있었습니다. LangSmith의 tracing 기능을 쓰자 전체 실행 그래프가 또렷하게 보였습니다. 어느 단계에서 막혔는지, 어떤 도구가 잘못된 결과를 반환했는지 한눈에 확인할 수 있었습니다.

LangSmith의 핵심 기능은 다음과 같습니다.

• Dataset-based evaluations: 테스트 데이터셋을 업로드하고 자동으로 평가 실행
• LLM-as-Judge: GPT-4 같은 LLM으로 출력 품질 평가
• Tracing: 각 LLM 호출, 도구 호출, Chain 실행 단계 추적
• Playground: 온라인에서 Prompt를 디버깅하고 결과를 실시간 확인

한 문장으로 정리하면 이렇습니다. LangChain이나 LangGraph를 쓴다면 LangSmith가 가장 마음 편한 선택입니다. 통합으로 고생하거나 문서를 오래 파고들 필요 없이 바로 사용할 수 있습니다.

Weights & Biases: ML 실험 추적의 오래된 강자

Weights & Biases, 줄여서 W&B는 LangSmith보다 훨씬 오래된 도구입니다. 2018년부터 머신러닝 실험 추적을 해 왔고, 주로 연구와 실험 시나리오를 대상으로 합니다. 하이퍼파라미터 튜닝을 하고, 수십 개 모델의 성능을 비교하고, 학습 곡선을 기록하는 일은 W&B의 강점입니다.

2024년에 W&B는 LLM 애플리케이션 추적을 위한 Weave를 출시했습니다. Weave는 LLM 호출 경로를 추적하고, Token 비용을 계산하며, 서로 다른 Prompt의 출력 효과를 비교할 수 있습니다.

하지만 솔직히 말하면 W&B는 약간 “새 신발을 신고 예전 길을 걷는” 느낌이 있습니다. LLM 기능은 나중에 추가된 것이고, 화면에서는 전통적인 ML 실험 관리의 흔적이 보입니다. 예를 들어 실험 비교 표나 학습 곡선 차트 같은 것들입니다. 이런 기능은 연구 시나리오에서는 훌륭하지만, 프로덕션 환경의 LLM 모니터링 경험은 LangSmith만큼 매끄럽지 않습니다.

W&B의 핵심 기능은 다음과 같습니다.

• Weave LLM Tracing: LLM 호출 경로 추적
• 실험 비교: 수십 개 실험의 파라미터와 결과를 수평 비교
• 비용 추정: Token 사용량과 API 비용 계산
• 팀 협업: 실험 기록, 주석, 공유

한 문장으로 정리하면 이렇습니다. 대량의 실험 비교와 하이퍼파라미터 튜닝을 해야 한다면 W&B는 검증된 도구입니다. 다만 프로덕션 모니터링 경험은 LangSmith보다 약합니다.

MLflow: 오픈소스 MLOps의 유연한 선택지

MLflow는 2018년 Databricks가 오픈소스로 공개한 도구이며, “오픈소스 머신러닝 생명주기 관리 플랫폼”을 지향합니다. 실험 추적, 모델 레지스트리, 모델 배포, 프로젝트 패키징이라는 네 가지 모듈을 포함합니다.

MLflow의 핵심 포지셔닝은 이렇습니다. 완전한 제어권이 필요하고 특정 벤더에 묶이고 싶지 않다. 오픈소스라 무료이고, 어떤 서버에도 직접 배포할 수 있으며, 데이터는 완전히 내 손 안에 둘 수 있습니다.

하지만 MLflow의 LLM 지원은 상대적으로 약합니다. mlflow.evaluate() 인터페이스가 있고 50개 이상의 평가 지표가 내장되어 있지만, 주로 전통적인 ML 모델을 대상으로 합니다. 다중 턴 대화 평가나 Agent 실행 추적 같은 LLM 특화 능력은 LangSmith와 W&B만큼 잘 갖춰져 있지 않습니다.

제 지인 중 한 명은 금융 회사에서 LLM 프로젝트를 하고 있습니다. 컴플라이언스 요구가 엄격해서 데이터가 내부망 밖으로 나갈 수 없었습니다. 그 팀은 MLflow를 선택했고, 자체 서버실에 구축해 데이터를 완전히 직접 통제했습니다. 대가는 높은 운영 비용이었습니다. 서버, 데이터베이스, 스토리지를 직접 유지해야 했고 업그레이드와 백업도 처리해야 했습니다.

MLflow의 핵심 기능은 다음과 같습니다.

• 실험 추적: 파라미터, 지표, 모델 파일 기록
• 모델 레지스트리: 버전 관리와 모델 패키징
• 모델 배포: 여러 배포 방식 지원
• 50개 이상 내장 평가 지표: 전통 ML + 일부 LLM 지표

한 문장으로 정리하면 이렇습니다. 오픈소스와 완전한 제어권이 필요하다면 MLflow는 무료입니다. 다만 LLM 능력이 약하므로 부족한 부분을 직접 보완해야 합니다.

추적만이 전부가 아닙니다: 평가, 디버깅, 배포 능력 비교

포지셔닝만 봐서는 부족합니다. 실제로 일을 할 때 어느 도구가 더 편한지도 알아야 합니다. 여기서는 추적 능력, 평가 능력, 프로덕션 배포 능력이라는 세 가지 관점에서 비교해 보겠습니다.

추적 능력: 누가 실행 경로를 명확하게 보여 주는가

LLM 애플리케이션에서 가장 골치 아픈 부분은 긴 실행 경로입니다. 하나의 Agent 호출에는 Prompt 구성 → LLM 호출 → 도구 실행 → 결과 파싱 → 다시 LLM 호출 같은 과정이 포함될 수 있습니다. 중간 어느 단계에서 문제가 생겨도 최종 출력에 영향을 줄 수 있습니다.

관점	LangSmith	W&B Weave	MLflow
LLM-native Tracing	✅ 기본 지원, LLM을 위해 설계	✅ 지원하지만 전통 실험에 가까움	⚠️ 범용 추적, LLM 지원은 약함
Agent 실행 그래프	✅ 전체 Agent 흐름을 시각화	⚠️ 기본 추적은 지원하지만 그래프 표현은 약함	❌ 미지원
다중 턴 대화 추적	✅ 각 대화 턴을 완전 기록	✅ 지원	⚠️ 직접 구현 필요
도구 호출 추적	✅ 각 도구 호출 자동 기록	✅ 지원	❌ 미지원
실행 시간 분석	✅ 각 단계의 소요 시간 통계	✅ 지원	✅ 지원

쉽게 말해 LangSmith는 추적 영역의 전문 선수입니다. LLM 애플리케이션을 위해 설계되었고, Agent 실행 그래프와 도구 호출 추적을 기본 지원합니다. W&B Weave도 추적은 가능하지만, 경험은 “전통적인 실험 관리에 LLM 모듈을 붙인 것”에 가깝습니다. MLflow는 더 약합니다. 주로 전통 ML을 대상으로 하므로 LLM의 특수한 요구는 대부분 직접 코드를 써서 맞춰야 합니다.

예를 들어 보겠습니다. 작년에 RAG Agent 하나를 디버깅할 때 검색 결과가 가끔 매우 엉뚱했습니다. LangSmith의 tracing을 보니 문제는 Embedding 모델에 있었습니다. 특정 쿼리의 벡터 거리 계산이 잘못되어 완전히 엉뚱한 문서가 재현되고 있었습니다. 로그 파일로 조사했다면 JSON 수백 줄을 뒤져야 했고, 아마 바로 보이지 않았을 것입니다.

평가 능력: 누가 출력이 좋은지 판단해 주는가

추적은 “무슨 일이 일어났는지 아는 것”이고, 평가는 “결과가 좋은지 아는 것”입니다. LLM 출력의 불확실성 때문에 평가는 특히 중요합니다.

관점	LangSmith	W&B Weave	MLflow
LLM-as-Judge	✅ 기본 지원, 여러 모델 선택 가능	⚠️ 설정 필요	⚠️ 직접 구현 필요
Dataset Management	✅ 데이터셋 업로드 후 배치 평가	✅ 지원	✅ 지원
다중 턴 대화 평가	✅ 대화 시나리오에 특화	⚠️ 직접 구현 필요	❌ 미지원
출력 비교	✅ 여러 버전 출력 비교	✅ 강점, 수평 비교	⚠️ 수동 설정 필요
내장 평가 지표	LLM 전용 지표 10개 이상	LLM 관련 지표 5-10개	전통 ML 지표 50개 이상

LangSmith의 LLM-as-Judge는 꽤 편합니다. GPT-4나 Claude로 모델 출력 품질을 평가할 수 있습니다. 예를 들어 “답변이 정확한가”, “유해하지 않은가”, “간결한가” 같은 기준을 평가할 수 있습니다. 이 평가 기준은 직접 정의할 수 있고, 템플릿으로 저장해 재사용할 수도 있습니다.

W&B는 출력 비교가 강점입니다. 서로 다른 Prompt 20개의 효과를 비교해야 한다면 W&B의 표 형태 뷰가 매우 직관적입니다. 가로로 각 Prompt의 출력을 보고, 세로로 평가 지표를 확인할 수 있습니다. 이는 W&B가 전통적인 ML 실험 관리에서 물려받은 장점입니다.

MLflow는 내장 지표가 가장 많습니다. 50개 이상입니다. 하지만 이 지표들은 주로 전통적인 ML 모델을 대상으로 합니다. 정확도, F1, AUC 같은 것들입니다. 의미 유사도나 유해성 탐지 같은 LLM 전용 지표는 직접 코드로 구현해야 합니다.

프로덕션 배포 능력: 누가 출시 후 운영까지 함께하는가

연구 단계와 출시 후 운영 단계의 요구는 다릅니다. 연구 단계의 초점은 “실험 비교”이고, 출시 후 운영의 초점은 “모니터링과 알림”입니다.

관점	LangSmith	W&B Weave	MLflow
모니터링 알림	✅ 오류율과 지연 시간 알림 지원	⚠️ 주로 실험 중심, 프로덕션 모니터링은 약함	⚠️ Grafana와 함께 구성 필요
A/B 테스트	✅ 다른 버전 비교 지원	⚠️ 실험 비교이지 프로덕션 A/B는 아님	❌ 미지원
통합 난이도	✅ LangChain 무설정	⚠️ 수동 통합 필요	⚠️ 직접 배포 필요
프로덕션 안정성	✅ 클라우드 서비스, 고가용성	✅ 클라우드 서비스	⚠️ 직접 운영

LangSmith는 프로덕션 배포 영역에서 경험이 가장 좋습니다. 클라우드 서비스라 서버 다운이나 데이터 백업을 걱정할 필요가 없습니다. 모니터링 알림, A/B 테스트, 오류 추적까지 하나의 흐름으로 자연스럽게 이어집니다.

W&B는 주로 연구 단계에 맞춰져 있습니다. 실험 비교 기능은 훌륭하지만, 실시간 알림이나 오류 추적 같은 프로덕션 모니터링은 LangSmith만큼 완성도가 높지 않습니다.

MLflow는 직접 운영해야 합니다. 즉 서버, 데이터베이스, 백업, 업그레이드를 직접 해결해야 한다는 뜻입니다. 장점은 완전한 자율 제어이고, 단점은 운영 비용이 높다는 점입니다. 프로덕션 환경에서는 MLflow + Grafana 조합을 사용할 수 있습니다. MLflow는 실험을 기록하고, Grafana는 모니터링과 알림을 담당하는 방식입니다.

가격은 표면일 뿐, 실제 TCO가 의사결정의 핵심입니다

많은 사람이 가격표만 보고 MLflow는 무료이고 LangSmith는 유료이니 MLflow를 선택합니다. 이 생각은 너무 단순합니다. 실제 비용(TCO)은 가격표의 숫자만이 아닙니다. 운영 인력, 통합 비용, 기회비용까지 포함합니다.

가격 비교표

도구	가격 모델	무료 한도	일반적인 월 비용(5인 팀)
LangSmith	Seat + Traces 기준	5,000 traces/월 무료	Plus 버전: $39/seat, 소규모 팀 약 $120-200/월
W&B	다층 가격: Free/Team/Enterprise	개인 무료, 팀 유료	Team 버전 약 $50/seat, 중간 규모 팀 $500+/월
MLflow	완전 오픈소스 무료	제한 없음	인프라 비용: $100-300/월(서버 + 스토리지)

LangSmith의 가격은 비교적 명확합니다. 무료 버전은 월 5,000 traces를 제공해 개인 개발자에게 충분합니다. Plus 버전은 좌석당 $39이고, 5인 팀이라면 월 비용은 traces 사용량에 따라 약 $120-200입니다. Enterprise 버전은 영업팀에 문의해야 하며 가격은 맞춤형입니다.

W&B의 가격은 조금 복잡합니다. 개인 버전은 무료이고, Team 버전은 대략 $50/seat이며, Enterprise 버전은 협의가 필요합니다. 게다가 W&B의 과금은 seat만이 아니라 실험 저장량과 데이터 저장량도 포함합니다. 중간 규모 팀, 예를 들어 10-20명 팀은 월 비용이 쉽게 $500를 넘을 수 있습니다.

MLflow는 겉으로는 무료지만 직접 배포해야 합니다. 서버, 데이터베이스, 스토리지, 대역폭이 모두 비용입니다. 간단히 추정하면 클라우드 서버 한 대(2코어 4G)는 월 $50-100, 스토리지(100GB)는 $20-50, 대역폭 트래픽은 $30-50입니다. 합계는 $100-200/월입니다. 고가용성이 필요하면 여러 서버와 로드 밸런싱이 필요해 비용은 두 배가 됩니다.

숨은 비용: 생각하지 못한 부분

가격표만 보면 MLflow가 가장 저렴해 보일 수 있습니다. 하지만 숨은 비용이 몇 가지 있습니다.

MLflow의 운영 비용: 서버를 유지해야 하고, 소프트웨어를 업그레이드해야 하며, 백업을 해야 하고, 장애도 조사해야 합니다. 모두 인력이 필요한 일입니다. 팀에 전담 운영 엔지니어가 없다면 개발자가 시간을 들여 MLflow를 관리해야 합니다. 시간도 비용입니다. 개발자 월급이 20K이고 매주 4시간을 MLflow 유지보수에 쓴다면 월 비용은 약 2K입니다. 여기에는 장애 조사 시간도 아직 포함되지 않았습니다.

상용 도구가 무료 한도를 넘은 뒤의 한계 비용: LangSmith는 5,000 traces를 무료로 제공하지만, 애플리케이션이 하루에 LLM을 500회 호출한다면 한 달에 15,000 traces가 됩니다. 무료 한도를 초과합니다. Plus 버전은 traces 기준으로 과금하므로 초과분에 추가 비용이 발생합니다. 이 부분은 미리 추정해야 합니다.

통합 비용: LangSmith는 LangChain과 통합이 매우 쉽습니다. 하지만 기술 스택이 LlamaIndex이거나 순수 Python으로 OpenAI API를 호출하는 구조라면 통합 난이도가 올라갑니다. W&B와 MLflow도 통합을 위해 코드를 작성해야 하며, 무설정은 아닙니다.

실제 비용 계산 예시

5인 팀이 월 10,000 traces를 사용한다고 가정해 보겠습니다.

도구	가격 비용	운영 비용	통합 비용(일회성)	월 실제 비용
LangSmith Plus	$200	$0(클라우드 서비스)	$0(무설정)	$200
W&B Team	$250	$0(클라우드 서비스)	$500(2일 통합)	$250 + 일회성 $500
MLflow 자체 구축	$0	$150(서버) + $400(운영 인력)	$1,000(3일 통합 배포)	$550 + 일회성 $1,000

이렇게 계산하면 MLflow가 반드시 저렴한 것은 아닙니다. 팀의 운영 역량이 강하고 기존 인프라가 있다면 MLflow로 비용을 줄일 수 있습니다. 하지만 팀이 개발에 집중하고 운영에 시간을 쓰고 싶지 않다면 LangSmith나 W&B 같은 상용 도구가 더 경제적일 수 있습니다.

핵심 질문은 이것입니다. 당신 팀의 시간 가치는 얼마인가요? 개발자가 MLflow 배포에 일주일을 쓰는 대신 다른 가치를 만들 수 있지 않을까요? 답이 “그럴 가치가 없다”라면 무료라는 말에 너무 매달리지 않는 편이 좋습니다. 유료 도구가 더 나은 선택일 수 있습니다.

상황별로 이렇게 선택하세요

여기까지 이야기했으니 결국 무엇을 골라야 할까요? 아래 의사결정 흐름을 순서대로 따라가 보세요.

의사결정 흐름

1단계: LangChain 또는 LangGraph를 사용하나요?

• Yes → 바로 LangSmith를 선택하세요. 무설정 통합이라 가장 편합니다.
• No → 2단계로 넘어갑니다.

2단계: 완전한 오픈소스 / 벤더 종속 없음이 필요한가요?

• Yes → MLflow + Langfuse 조합을 선택하세요. MLflow는 실험 추적을 맡고 Langfuse는 프로덕션 모니터링을 맡습니다. 둘 다 오픈소스이며 데이터는 완전히 직접 통제할 수 있습니다.
• No → 3단계로 넘어갑니다.

3단계: 주된 작업 시나리오는 무엇인가요?

• 연구 단계, 대량의 실험 비교 → W&B Weave를 선택하세요. 실험 비교 기능이 강점이고 하이퍼파라미터 튜닝도 편합니다.
• 프로덕션 환경, 모니터링 알림 필요 → LangSmith 또는 Langfuse를 선택하세요. LangSmith는 클라우드 서비스이고, Langfuse는 오픈소스로 자체 구축할 수 있습니다.

4단계: 팀 규모와 예산은 어떤가요?

• 소규모 팀(5명 미만), 예산 제한 → LangSmith 무료 버전(5,000 traces로 충분한 경우) 또는 MLflow 자체 구축.
• 중간 규모 팀(5-20명), 일정 예산 있음 → LangSmith Plus 또는 W&B Teams, 월 비용 $200-500.
• 대규모 팀(20명 초과), 예산 충분 → Enterprise 버전(LangSmith 또는 W&B), 또는 고가용성 MLflow + Grafana 자체 구축 조합.

추천 조합 요약

시나리오	추천 조합	이유
LangChain 사용자	LangSmith	무설정, 네이티브 통합, 가장 편함
연구 실험 중심	W&B Weave	실험 비교가 강점이고 하이퍼파라미터 튜닝이 편함
오픈소스 제어 필요	MLflow + Langfuse	데이터 자율성, 비용 제어, LLM 능력 보완
예산이 제한된 소규모 팀	LangSmith 무료 버전	5,000 traces로 시작 가능, 먼저 써 보고 유료 전환
컴플라이언스 요구가 큰 대기업	MLflow 자체 구축 + Grafana	데이터가 내부망을 벗어나지 않고 완전한 자율 제어 가능

솔직히 말해 “완벽한 도구”는 없습니다. 각 도구에는 트레이드오프가 있습니다. LangSmith는 편하지만 유료이고, MLflow는 무료지만 손이 많이 가며, W&B는 연구에 강하지만 프로덕션은 약합니다. 중요한 것은 다른 사람이 무엇을 쓰는지 따라가는 것이 아니라, 내 기술 스택과 예산, 팀 상황에 맞춰 선택하는 것입니다.

결론

LLM 애플리케이션의 모니터링과 평가는 “있으면 좋은 것”이 아니라 “프로덕션 필수 요소”입니다. 모니터링이 없으면 온라인에서 애플리케이션에 무슨 일이 일어나는지 알 수 없습니다. 평가가 없으면 출력 품질이 기준을 충족하는지도 판단할 수 없습니다.

LangSmith, W&B, MLflow는 각자 장단점이 있습니다. 핵심은 기술 스택, 예산, 요구사항입니다.

• LangSmith는 LangChain 사용자의 1순위입니다. 무설정, 깊은 통합, 완성도 높은 기능을 제공합니다. LangChain이나 LangGraph를 쓴다면 이 도구를 선택하세요.
• MLflow + Langfuse는 오픈소스와 완전한 제어권이 필요한 팀의 선택입니다. 무료이고 자율적이지만 운영에 시간을 써야 합니다.
• W&B Weave는 대량의 실험 비교와 하이퍼파라미터 튜닝이 필요한 연구 시나리오에 적합합니다. 전통적인 강점은 여전히 살아 있지만, 프로덕션 모니터링 경험은 LangSmith보다 약합니다.

마지막으로 한 가지 조언을 드리겠습니다. 가격표만 보지 말고 실제 TCO를 보세요. MLflow는 무료지만 운영 비용이 필요합니다. LangSmith는 유료지만 개발과 디버깅 시간을 절약합니다. 도구 선택은 기능 선택만이 아니라 ROI 선택입니다. 당신 팀의 시간은 얼마의 가치가 있나요? 이 질문이 “어떤 도구가 더 싼가”보다 중요합니다.

지금 어떤 도구를 사용하고 있나요? 어떤 문제를 겪고 있나요? 댓글에서 여러분의 선택 경험을 공유해 주세요.