Skip to main content
LLM 애플리케이션의 프로덕션 로그를 수동으로 검토하고 처리할 수 있지만, 애플리케이션이 더 많은 사용자로 확장됨에 따라 어려워지는 경우가 많습니다. LangSmith는 트레이스 데이터에 대해 특정 작업을 트리거할 수 있는 **자동화(Automations)**라는 강력한 기능을 제공합니다. 높은 수준에서 보면, 자동화는 필터, 샘플링 비율, 작업으로 정의됩니다. 자동화 규칙은 데이터셋에 트레이스 추가, 주석 큐에 추가, 웹훅 트리거(예: 원격 평가용), 데이터 보존 기간 연장과 같은 작업을 트리거할 수 있습니다. 설정할 수 있는 자동화의 몇 가지 예는 다음과 같습니다:
  • 부정적인 피드백이 있는 모든 트레이스를 사람 검토를 위해 주석 큐로 전송
  • 모든 트레이스의 10%를 주석 큐로 전송하여 사람이 검토하고 문제를 발견
  • 오류가 있는 모든 트레이스를 확장된 데이터 보존을 위해 업그레이드
온라인 평가를 구성하려면 온라인 평가 페이지를 참조하세요.
자동화 규칙이 트레이스 내의 어떤 실행과 일치하면, 해당 트레이스는 자동으로 확장 데이터 보존으로 업그레이드됩니다. 이 업그레이드는 트레이스 가격에 영향을 미치지만, 자동화 기준을 충족하는 트레이스(일반적으로 분석에 가장 가치 있는 트레이스)가 조사를 위해 보존되도록 보장합니다.

자동화 규칙 보기

Tracing Projects 탭으로 이동하여 트레이싱 프로젝트를 선택합니다. 해당 트레이싱 프로젝트의 기존 자동화 규칙을 보려면 Automations 탭을 클릭합니다. 자동화 규칙 보기

규칙 만들기

1. 규칙 생성으로 이동

Tracing Projects 탭으로 이동하여 트레이싱 프로젝트를 선택합니다. 트레이싱 프로젝트 페이지의 오른쪽 상단에 있는 + New를 클릭한 다음 New Automation을 클릭합니다.

2. 규칙 이름 지정

3. 필터 생성

자동화 규칙 필터는 프로젝트의 트레이스에 적용되는 필터와 동일한 방식으로 작동합니다. 필터에 대한 자세한 내용은 이 가이드를 참조할 수 있습니다.

4. 샘플링 비율 구성

샘플링 비율을 구성하여 자동화 작업을 트리거하는 필터링된 실행의 비율을 제어합니다. 자동화에 대해 0과 1 사이의 샘플링 비율을 지정할 수 있습니다. 이는 자동화 작업으로 전송되는 필터링된 실행의 비율을 제어합니다. 예를 들어, 샘플링 비율을 0.5로 설정하면 필터를 통과한 트레이스의 50%가 작업으로 전송됩니다.

5. (선택 사항) 과거 실행에 규칙 적용

Apply to past runs를 토글하고 “Backfill from” 날짜를 입력하여 과거 실행에 규칙을 적용합니다. 이는 규칙 생성 시에만 가능합니다. 참고: 백필은 백그라운드 작업으로 처리되므로 즉시 결과를 볼 수 없습니다. 백필 진행 상황을 추적하려면 자동화 로그를 확인할 수 있습니다.

6. 규칙이 적용될 때 트리거할 작업 선택

자동화 규칙으로 수행할 수 있는 네 가지 작업이 있습니다:
  • 데이터셋에 추가: 트레이스의 입력과 출력을 데이터셋에 추가합니다.
  • 주석 큐에 추가: 트레이스를 주석 큐에 추가합니다.
  • 웹훅 트리거: 트레이스 데이터로 웹훅을 트리거합니다. 웹훅에 대한 자세한 내용은 이 가이드를 참조할 수 있습니다.
  • 데이터 보존 기간 연장: 기본 보존을 사용하는 일치하는 트레이스의 데이터 보존 기간을 연장합니다(자세한 내용은 데이터 보존 문서 참조). 다른 모든 규칙도 앞서 언급한 데이터 보존 문서에 설명된 자동 업그레이드 메커니즘을 통해 일치하는 트레이스의 데이터 보존을 연장하지만, 이 규칙은 추가 작업을 수행하지 않습니다.

자동화 로그 보기

로그를 통해 규칙이 예상대로 작동하고 있다는 확신을 얻을 수 있습니다. 트레이싱 프로젝트 내의 Automations 탭으로 이동하여 생성한 규칙에 대한 Logs 버튼을 클릭하면 자동화 로그를 볼 수 있습니다. 로그 탭에서 다음을 수행할 수 있습니다:
  • 선택한 기간 동안 특정 규칙에 의해 처리된 모든 실행 보기
  • 특정 규칙 실행이 오류를 트리거한 경우, 오류 아이콘 위로 마우스를 가져가면 오류 메시지를 볼 수 있습니다
  • 규칙의 생성 타임스탬프로 필터링하여 백필 작업의 진행 상황을 모니터링할 수 있습니다. 백필은 규칙이 생성된 시점부터 시작되기 때문입니다.
  • View run 버튼을 사용하여 자동화 규칙이 적용된 실행을 검사합니다. 실행을 데이터셋에 예제로 추가하는 규칙의 경우, 생성된 예제를 볼 수 있습니다.
Logs_Gif

비디오 가이드


Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
I