주석 큐 생성하기
기본 세부 정보
큐의 이름과 설명을 양식에 입력합니다. 또한 큐에 기본 데이터셋을 할당할 수 있으며, 이는 특정 실행의 입력과 출력을 LangSmith 워크스페이스의 데이터셋으로 전송하는 프로세스를 간소화합니다.주석 평가 기준
먼저 모든 실행의 사이드바에 표시될 주석자를 위한 상위 수준의 지침을 작성합니다. 다음으로 ”+ Desired Feedback”을 클릭하여 주석 큐에 피드백 키를 추가합니다. 주석자는 각 실행에서 이러한 피드백 키를 제공받게 됩니다. 각 피드백 키에 대한 설명을 추가하고, 피드백이 범주형인 경우 각 범주에 대한 간단한 설명도 추가합니다.
협업자 설정
여러 주석자와 관련된 몇 가지 설정이 있습니다:-
실행당 검토자 수: 실행을 큐에서 제거하려면 “완료”로 표시해야 하는 검토자의 수를 결정합니다. “모든 워크스페이스 구성원이 각 실행을 검토”를 선택하면 모든 워크스페이스 구성원이 “완료”로 표시할 때까지 실행이 큐에 남아 있습니다.
- 검토자는 다른 검토자가 남긴 피드백을 볼 수 없습니다.
- 실행에 대한 코멘트는 모든 검토자가 볼 수 있습니다.
- 실행 예약 활성화: 예약을 활성화하는 것을 권장합니다. 이렇게 하면 여러 주석자가 동시에 같은 실행을 검토하는 것을 방지할 수 있습니다.
- 예약은 어떻게 작동하나요?
- 시간이 다 되면 어떻게 되나요?
“Requeue at end”를 클릭하면 현재 실행이 현재 사용자의 큐 끝으로만 이동합니다. 다른 사용자의 큐 순서에는 영향을 주지 않습니다. 또한 현재 사용자가 해당 실행에 대해 가지고 있던 예약도 해제됩니다.
주석 큐에 실행 할당하기
주석 큐에 실행을 할당하려면 다음 중 하나를 수행합니다:-
트레이스 뷰의 오른쪽 상단에 있는 Add to Annotation Queue를 클릭합니다. 루트 스팬뿐만 아니라 트레이스의 모든 중간 실행(스팬)을 주석 큐에 추가할 수 있습니다.
-
실행 테이블에서 여러 실행을 선택한 다음 페이지 하단의 Add to Annotation Queue를 클릭합니다.
- 특정 필터와 샘플링 조건을 통과하는 실행을 자동으로 주석 큐에 할당하는 자동화 규칙을 설정합니다.
-
데이터셋 페이지에서 하나 또는 여러 실험을 선택하고 Annotate를 클릭합니다. 표시되는 팝업에서 새 큐를 생성하거나 기존 큐에 실행을 추가할 수 있습니다:
애플리케이션에서 특정 사용자 피드백 점수(예: 좋아요, 싫어요)를 가진 실행을 주석 큐에 할당하는 것은 매우 좋은 방법입니다. 이를 통해 사용자 불만을 유발하는 문제를 식별하고 해결할 수 있습니다. LLM 애플리케이션에서 사용자 피드백을 캡처하는 방법에 대한 자세한 내용은 이 가이드를 참조하세요.
주석 큐에서 실행 검토하기
주석 큐에서 실행을 검토하려면 홈페이지 또는 왼쪽 탐색 모음을 통해 Annotation Queues 섹션으로 이동합니다. 그런 다음 검토하려는 큐를 클릭합니다. 그러면 검토가 필요한 큐의 실행에 대한 집중적이고 순환적인 뷰로 이동합니다. 코멘트를 첨부하고, 특정 피드백 기준에 대한 점수를 첨부하고, 데이터셋에 실행을 추가하거나 실행을 검토됨으로 표시할 수 있습니다. 또한 “View run” 옆에 있는 Trash 아이콘을 클릭하여 현재 예약이나 큐 설정과 관계없이 모든 사용자의 큐에서 실행을 제거할 수 있습니다. 표시된 키보드 단축키는 검토 프로세스를 간소화하는 데 도움이 됩니다.
비디오 가이드
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.