실험 결과 비교 방법

LLM 애플리케이션을 반복 개선할 때(예: 모델이나 프롬프트 변경) 다양한 실험의 결과를 비교하고 싶을 것입니다. LangSmith는 다양한 실험 간의 주요 차이점, 회귀 및 개선 사항에 집중할 수 있는 비교 보기를 지원합니다.

​

비교 보기 열기

1. 실험 비교 보기에 액세스하려면 Datasets & Experiments 페이지로 이동합니다.
2. 데이터셋을 선택하면 Experiments 탭이 열립니다.
3. 두 개 이상의 실험을 선택한 다음 Compare를 클릭합니다.

​

테이블 표시 조정

Comparing Experiments 페이지 상단의 Full 또는 Compact를 클릭하여 다양한 보기 간에 전환할 수 있습니다. Full을 토글하면 각 실행에 대한 입력, 출력 및 참조 출력의 전체 텍스트가 표시됩니다. 참조 출력이 테이블에 표시하기에 너무 길면 Expand detailed view를 클릭하여 전체 내용을 볼 수 있습니다. 또한 Display 설정 드롭다운에서 개별 피드백 키 또는 개별 메트릭을 선택하고 숨겨서 비교 보기에서 필요한 정보를 분리할 수 있습니다.

​

회귀 및 개선 사항 보기

비교 보기에서 기준 실험에 대해 지정된 피드백 키에서 회귀한 실행은 빨간색으로 강조 표시되고 개선된 실행은 녹색으로 강조 표시됩니다. 각 열 상단에서 해당 실험에서 기준 실험보다 더 나은 실행과 더 나쁜 실행이 몇 개인지 확인할 수 있습니다. 각 열 상단의 회귀 또는 개선 버튼을 클릭하여 해당 특정 실험에서 회귀되거나 개선된 실행을 필터링할 수 있습니다.

​

기준 실험 및 메트릭 업데이트

회귀를 추적하려면 다음을 수행해야 합니다:

1. 비교 보기 상단의 Baseline 드롭다운에서 비교할 Baseline experiment를 선택합니다. 기본적으로 최신 실험이 기준으로 선택됩니다.
2. 비교하려는 Feedback key(평가 메트릭)를 선택합니다. 기본적으로 하나가 할당되지만 필요에 따라 조정할 수 있습니다.
3. 선택한 피드백 키에 대해 더 높은 점수가 더 나은지 여부를 구성합니다. 이 기본 설정은 저장됩니다.

​

추적 열기

평가 중인 예제가 수집된 실행에서 온 경우 출력 셀 위로 마우스를 가져가서 추적 아이콘을 클릭하여 해당 실행에 대한 추적 보기를 열 수 있습니다. 이렇게 하면 측면 패널에 추적이 열립니다.

​

상세 보기 확장

모든 셀에서 호버 상태의 확장 아이콘을 클릭하여 해당 특정 예제 입력에 대한 모든 실험 결과와 피드백 키 및 점수의 상세 보기를 열 수 있습니다.

​

요약 차트 보기

페이지 상단의 Charts 탭을 클릭하여 요약 차트를 봅니다.

​

실험 메타데이터를 차트 레이블로 사용

실험 메타데이터를 기반으로 차트의 x축 레이블을 구성할 수 있습니다. x-axis 드롭다운에서 메타데이터 키를 선택하여 차트 레이블을 변경합니다.

---