LangSmith를 사용하면 애플리케이션 내에서 피드백으로 추적에 수동으로 주석을 달 수 있습니다. 이는 사용자의 댓글이나 특정 문제에 대한 메모와 같은 컨텍스트를 추적에 추가하는 데 유용할 수 있습니다.
인라인으로 추적에 주석을 달거나 주석 큐로 추적을 보내 실행을 면밀히 검사하고 한 번에 하나씩 피드백을 기록할 수 있습니다.
피드백 태그는 워크스페이스와 연결됩니다.
추적의 루트 스팬뿐만 아니라 추적의 모든 중간 실행(스팬)에 사용자 피드백을 첨부할 수 있습니다.이는 RAG 파이프라인의 검색 단계 또는 생성 단계와 같은 LLM 애플리케이션의 특정 부분을 비판하는 데 유용합니다.
추적에 인라인으로 주석을 달려면 추적의 일부인 특정 실행의 추적 보기 오른쪽 상단에 있는 Annotate를 클릭합니다.
그러면 워크스페이스와 연결된 피드백 태그 중에서 선택하고 특정 태그에 대한 점수를 추가할 수 있는 창이 열립니다. 독립적인 댓글을 추가할 수도 있습니다. 워크스페이스에 대한 피드백 태그를 설정하려면 이 가이드를 따르세요.
창 내에서 새로운 피드백 기준을 설정할 수도 있습니다.
레이블이 지정된 키보드 단축키를 사용하여 주석 프로세스를 간소화할 수 있습니다.