Skip to main content
LLM-as-a-judge 평가자가 항상 정확한 것은 아닙니다. 이 때문에 평가자가 남긴 점수를 사람이 수동으로 감사하고 필요한 경우 수정하는 것이 유용한 경우가 많습니다. LangSmith를 사용하면 UI 또는 SDK에서 평가자 점수를 수정할 수 있습니다.

​
비교 보기에서

비교 보기에서 피드백 태그를 클릭하여 피드백 세부 정보를 표시할 수 있습니다. 그런 다음 오른쪽의 “편집” 아이콘을 클릭하여 수정 보기를 표시합니다. “Make correction” 아래의 텍스트 상자에 원하는 점수를 입력할 수 있습니다. 원하는 경우 수정에 설명을 첨부할 수도 있습니다. few-shot 평가자를 사용하는 경우 유용하며 few_shot_explanation 프롬프트 변수 대신 few-shot 예제에 자동으로 삽입됩니다. Audit Evaluator Comparison View

​
실행 테이블에서

실행 테이블에서 “Feedback” 열을 찾아 피드백 태그를 클릭하여 피드백 세부 정보를 표시합니다. 다시 오른쪽의 “편집” 아이콘을 클릭하여 수정 보기를 표시합니다. Audit Evaluator Runs Table

​
SDK에서

correction dict와 함께 SDK의 update_feedback 함수를 통해 수정할 수 있습니다. UI에서 렌더링되려면 숫자에 해당하는 score 키를 지정해야 합니다. 
import langsmith

client = langsmith.Client()

client.update_feedback(
    my_feedback_id,
    correction={
        "score": 1,
    },
)
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
⌘I