- 사전 구축 대시보드: 모든 추적 프로젝트에 대해 자동으로 생성됩니다.
- 커스텀 대시보드: 필요에 맞게 조정할 수 있는 완전히 구성 가능한 차트 모음입니다.
사전 구축 대시보드
사전 구축 대시보드는 각 프로젝트에 대해 자동으로 생성되며 추적 개수, 오류율, 토큰 사용량 등과 같은 필수 메트릭을 다룹니다. 기본적으로 추적 프로젝트의 사전 구축 대시보드는 추적 프로젝트 페이지 오른쪽 상단의 대시보드 버튼을 사용하여 접근할 수 있습니다.
사전 구축 대시보드는 수정할 수 없습니다. 향후 기본 대시보드를 복제하여 커스터마이징할 수 있는 시작점으로 사용할 수 있도록 지원할 예정입니다.
대시보드 섹션
사전 구축 대시보드는 다음 섹션으로 구성됩니다:| 섹션 | 표시 내용 |
|---|---|
| Traces | 추적 개수, 지연 시간 및 오류율. 추적은 단일 작업과 관련된 실행 모음입니다. 예를 들어, 사용자 요청이 에이전트를 트리거하면 해당 에이전트 호출에 대한 모든 실행이 동일한 추적의 일부가 됩니다. |
| LLM Calls | LLM 호출 개수 및 지연 시간. 실행 유형이 “llm”인 모든 실행을 포함합니다. |
| Cost & Tokens | 토큰 유형별로 분류된 전체 및 추적당 토큰 개수 및 비용. 비용은 LangSmith의 비용 추적을 사용하여 측정됩니다. |
| Tools | 도구 이름별로 분류된 도구 실행의 실행 개수, 오류율 및 지연 시간 통계. 실행 유형이 “tool”인 실행을 포함합니다. 가장 빈번하게 발생하는 상위 5개 도구로 제한됩니다. |
| Run Types | 루트 실행의 직접 하위 항목인 실행의 실행 개수, 오류율 및 지연 시간 통계. 이는 에이전트의 상위 수준 실행 경로를 이해하는 데 도움이 됩니다. 가장 빈번하게 발생하는 상위 5개 실행 이름으로 제한됩니다. 표 다음에 나오는 이미지를 참조하세요. |
| Feedback Scores | 가장 빈번하게 발생하는 상위 5개 피드백 유형에 대한 집계 통계. 차트는 수치형 피드백의 평균 점수와 범주형 피드백의 카테고리 개수를 표시합니다. |
그룹화
실행 태그 또는 메타데이터별 그룹화를 사용하여 애플리케이션에 중요한 속성을 기준으로 데이터를 분할할 수 있습니다. 전역 그룹화 설정은 대시보드의 오른쪽 상단에 나타납니다. 도구 및 실행 유형 차트에는 이미 그룹화가 적용되어 있으므로 전역 그룹화가 적용되지 않습니다. 전역 그룹화는 다른 모든 차트에 적용됩니다.실행에 메타데이터를 추가할 때는 특정 실행(예: LLM 호출)뿐만 아니라 추적에도 동일한 메타데이터를 포함하는 것을 권장합니다. 메타데이터와 태그는 상위 실행에서 하위 실행으로 또는 그 반대로 전파되지 않습니다. 따라서 예를 들어 추적 차트와 LLM 호출 차트 모두를 특정 메타데이터 키로 그룹화하여 보려면 추적(루트 실행)과 LLM 실행 모두에 해당 메타데이터가 첨부되어 있어야 합니다.
커스텀 대시보드
애플리케이션에 가장 중요한 메트릭을 추적하기 위해 맞춤형 차트 모음을 생성할 수 있습니다.새 대시보드 생성하기
- 왼쪽 사이드바의 모니터 탭으로 이동합니다.
- + New Dashboard 버튼을 클릭합니다.
- 대시보드에 이름과 설명을 지정합니다.
- Create을 클릭합니다.
대시보드에 차트 추가하기
- 대시보드 내에서 + New Chart 버튼을 클릭하여 차트 생성 창을 엽니다.
- 차트에 이름과 설명을 지정합니다.
- 차트를 구성합니다.
차트 구성
추적 프로젝트 선택 및 실행 필터링
- 메트릭을 추적할 하나 이상의 추적 프로젝트를 선택합니다.
- Chart filters 섹션을 사용하여 일치하는 실행을 세분화합니다. 이 필터는 차트의 모든 데이터 시리즈에 적용됩니다. 추적 필터링에 대한 자세한 내용은 애플리케이션에서 추적 필터링하기 가이드를 참조하세요.
메트릭 선택하기
- 드롭다운 메뉴에서 메트릭을 선택하여 차트의 y축을 설정합니다. 프로젝트와 메트릭이 선택되면 차트 미리보기와 일치하는 실행을 볼 수 있습니다.
- 특정 메트릭(예: 지연 시간, 토큰 사용량, 비용)의 경우 동일한 단위를 가진 여러 메트릭을 비교할 수 있습니다. 예를 들어, 프롬프트 토큰과 완료 토큰을 함께 볼 수 있는 하나의 차트를 원할 수 있습니다. 각 메트릭은 별도의 라인으로 표시됩니다.
데이터 분할하기
차트에서 여러 시리즈를 생성하는 방법(즉, 차트에 여러 라인을 생성하는 방법)에는 두 가지가 있습니다:- 그룹화: 실행 태그 또는 메타데이터, 실행 이름 또는 실행 유형별로 실행을 그룹화합니다. 그룹화는 선택한 필드를 기준으로 데이터를 여러 시리즈로 자동 분할합니다. 그룹화는 빈도별 상위 5개 요소로 제한됩니다.
- 데이터 시리즈: 개별 필터로 여러 시리즈를 수동으로 정의합니다. 이는 단일 메트릭 내에서 세분화된 데이터를 비교하는 데 유용합니다.
차트 유형 선택하기
- 시각화를 위해 라인 차트와 바 차트 중에서 선택합니다.
차트 저장 및 관리하기
Save를 클릭하여 대시보드에 차트를 저장합니다.- 차트 오른쪽 상단의 점 세 개 버튼을 클릭하여 차트를 편집하거나 삭제합니다.
- 차트 오른쪽 상단의 줄 세 개 버튼을 클릭하고 + Clone을 선택하여 차트를 복제합니다. 이렇게 하면 원본과 동일한 구성을 가진 새 차트 생성 창이 열립니다.
추적 프로젝트에서 대시보드로 연결하기
추적 프로젝트에서 대시보드로 직접 연결할 수 있습니다. 기본적으로 추적 프로젝트의 사전 구축 대시보드가 선택됩니다. 대신 연결하려는 커스텀 대시보드가 있는 경우:- 추적 프로젝트에서 Dashboard 버튼 옆의 점 세 개를 클릭합니다.
- 새 기본값으로 설정할 대시보드를 선택합니다.
예시: 사용자 여정 모니터링
특정 노드에서 에이전트가 내린 결정을 매핑하기 위해 모니터링 차트를 사용할 수 있습니다. 이메일 어시스턴트 에이전트를 고려해 보겠습니다. 특정 노드에서 이메일에 대해 다음과 같은 결정을 내립니다:- 답장 이메일 보내기
- 사용자에게 알림 보내기
- 응답 불필요
-
메트릭 선택:
Run count메트릭을 선택합니다. -
차트 필터: 이름이
triage_input인 모든 추적을 포함하도록 트리 필터를 추가합니다. 이는triage_input노드에 도달한 추적만 포함한다는 의미입니다. 또한Is Root가true인 차트 필터를 추가하여 추적의 노드 수만큼 개수가 부풀려지지 않도록 합니다.
-
데이터 시리즈:
triage_input노드에서 내린 각 결정에 대한 데이터 시리즈를 생성합니다. 결정의 출력은 출력 객체의triage.response필드에 저장되며, 결정 값은no,email또는notify중 하나입니다. 이러한 각 결정은 차트에서 별도의 데이터 시리즈를 생성합니다.
triage_input 노드에서 내린 결정을 시각화할 수 있습니다.
비디오 가이드
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.