실험 분석하기

이 페이지에서는 LangSmith에서 실험을 다루기 위한 필수 작업들을 설명합니다:

• 단일 실험 분석하기: 실험 결과를 확인하고 해석하며, 컬럼을 커스터마이즈하고, 데이터를 필터링하며, 실행을 비교합니다.
• 실험 결과를 CSV로 다운로드하기: 외부 분석 및 공유를 위해 실험 데이터를 내보냅니다.
• 실험 이름 변경하기: Playground와 실험 뷰 모두에서 실험 이름을 업데이트합니다.

​

단일 실험 분석하기

실험을 실행한 후, LangSmith의 실험 뷰를 사용하여 결과를 분석하고 실험 성능에 대한 인사이트를 도출할 수 있습니다.

​

실험 뷰 열기

실험 뷰를 열려면 Dataset & Experiments 페이지에서 관련된 데이터셋을 선택한 다음 보고자 하는 실험을 선택하세요.

​

실험 결과 보기

​

컬럼 커스터마이즈하기

기본적으로 실험 뷰는 데이터셋의 각 예제에 대한 입력, 출력, 참조 출력과 평가의 피드백 점수, 그리고 비용, 토큰 수, 지연 시간, 상태와 같은 실험 메트릭을 표시합니다. Display 버튼을 사용하여 컬럼을 커스터마이즈하면 실험 결과를 더 쉽게 해석할 수 있습니다:

• 입력, 출력, 참조 출력의 필드를 분리하여 각각의 컬럼으로 만들 수 있습니다. 긴 입력/출력/참조 출력이 있고 중요한 필드를 표시하고 싶을 때 특히 유용합니다.
• 컬럼을 숨기고 재정렬하여 분석에 집중된 뷰를 만들 수 있습니다.
• 피드백 점수의 소수점 자릿수를 제어할 수 있습니다. 기본적으로 LangSmith는 소수점 2자리로 숫자 피드백 점수를 표시하지만, 최대 6자리까지 커스터마이즈할 수 있습니다.
• Heat Map 임계값을 설정하여 실험의 숫자 피드백 점수에 대해 높음, 중간, 낮음으로 구분할 수 있으며, 이는 점수 칩이 빨간색 또는 녹색으로 렌더링되는 임계값에 영향을 줍니다:

​

정렬 및 필터링

피드백 점수를 정렬하거나 필터링하려면 컬럼 헤더의 작업을 사용할 수 있습니다.

​

테이블 뷰

분석에 가장 유용한 뷰에 따라 컴팩트 뷰, 전체 뷰, 차이 뷰 간에 전환하여 테이블 형식을 변경할 수 있습니다.

• 컴팩트 뷰는 각 실행을 한 줄로 표시하여 점수를 한눈에 비교하기 쉽게 합니다.
• 전체 뷰는 각 실행의 전체 출력을 표시하여 개별 실행의 세부 정보를 자세히 살펴볼 수 있습니다.
• 차이 뷰는 각 실행의 참조 출력과 출력 간의 텍스트 차이를 표시합니다.

​

트레이스 보기

출력 셀 위에 마우스를 올리고 트레이스 아이콘을 클릭하면 해당 실행의 트레이스를 볼 수 있습니다. 이렇게 하면 사이드 패널에 트레이스가 열립니다. 전체 추적 프로젝트를 보려면 헤더 오른쪽 상단의 View Project 버튼을 클릭하세요.

​

평가자 실행 보기

평가자 점수의 경우, 평가자 점수 셀 위에 마우스를 올리고 화살표 아이콘을 클릭하여 소스 실행을 볼 수 있습니다. 이렇게 하면 사이드 패널에 트레이스가 열립니다. LLM-as-a-judge 평가자를 실행하는 경우, 이 실행에서 평가자에게 사용된 프롬프트를 볼 수 있습니다. 실험에 반복이 있는 경우, 집계된 평균 점수를 클릭하여 모든 개별 실행에 대한 링크를 찾을 수 있습니다.

​

메타데이터별로 결과 그룹화하기

예제를 분류하고 구성하기 위해 메타데이터를 추가할 수 있습니다. 예를 들어, 질문 답변 데이터셋에서 사실 정확성을 평가하는 경우, 메타데이터에는 각 질문이 속하는 주제 영역이 포함될 수 있습니다. 메타데이터는 UI를 통해 또는 SDK를 통해 추가할 수 있습니다. 메타데이터별로 결과를 분석하려면 실험 뷰의 오른쪽 상단에 있는 Group by 드롭다운을 사용하여 원하는 메타데이터 키를 선택하세요. 이렇게 하면 각 메타데이터 그룹에 대한 평균 피드백 점수, 지연 시간, 총 토큰 수, 비용이 표시됩니다.

​

반복

반복으로 실험을 실행한 경우, 출력 결과 컬럼에 화살표가 있어 테이블에서 출력을 볼 수 있습니다. 반복의 각 실행을 보려면 출력 셀 위에 마우스를 올리고 확장 뷰를 클릭하세요. 반복으로 실험을 실행하면 LangSmith는 테이블에 각 피드백 점수의 평균을 표시합니다. 피드백 점수를 클릭하면 개별 실행의 피드백 점수를 보거나 반복 간의 표준 편차를 볼 수 있습니다.

​

다른 실험과 비교하기

실험 뷰의 오른쪽 상단에서 비교할 다른 실험을 선택할 수 있습니다. 이렇게 하면 두 실험이 어떻게 비교되는지 볼 수 있는 비교 뷰가 열립니다. 비교 뷰에 대해 자세히 알아보려면 실험 결과 비교 방법을 참조하세요.

​

실험 결과를 CSV로 다운로드하기

LangSmith를 사용하면 실험 결과를 CSV 파일로 다운로드하여 결과를 분석하고 공유할 수 있습니다. CSV로 다운로드하려면 실험 뷰 상단의 다운로드 아이콘을 클릭하세요. 이 아이콘은 컴팩트 토글 바로 왼쪽에 있습니다.

​

실험 이름 변경하기

LangSmith UI에서 다음 위치에서 실험 이름을 변경할 수 있습니다:

• Playground. Playground에서 실험을 실행할 때 pg::prompt-name::model::uuid 형식의 기본 이름(예: pg::gpt-4o-mini::897ee630)이 자동으로 할당됩니다. Playground 테이블 헤더에서 이름을 편집하여 실험을 실행한 직후 이름을 변경할 수 있습니다.
• 실험 뷰. 실험 뷰에서 결과를 볼 때 실험 이름 옆의 연필 아이콘을 사용하여 실험 이름을 변경할 수 있습니다.

---