Skip to main content
이 내용을 시작하기 전에 다음 문서를 읽어보시면 도움이 됩니다:
피드백은 특정 추적 또는 중간 실행(스팬)에 대한 평가의 기준과 점수를 저장하는 LangSmith의 방식입니다. 피드백은 다음과 같이 다양한 방법으로 생성될 수 있습니다:
  1. LLM 애플리케이션에서 추적과 함께 전송
  2. 앱에서 사용자가 인라인으로 또는 어노테이션 큐에서 생성
  3. 오프라인 평가 중 자동 평가자가 생성
  4. 온라인 평가자가 생성
피드백은 다음 필드를 포함하는 간단한 형식으로 저장됩니다:
Field NameTypeDescription
idUUIDUnique identifier for the record itself
created_atdatetimeTimestamp when the record was created
modified_atdatetimeTimestamp when the record was last modified
session_idUUIDUnique identifier for the experiment or tracing project the run was a part of
run_idUUIDUnique identifier for a specific run within a session
keystringA key describing the criteria of the feedback, eg “correctness”
scorenumberNumerical score associated with the feedback key
valuestringReserved for storing a value associated with the score. Useful for categorical feedback.
commentstringAny comment or annotation associated with the record. This can be a justification for the score given.
correctionobjectReserved for storing correction details, if any
feedback_sourceobjectObject containing information about the feedback source
feedback_source.typestringThe type of source where the feedback originated, eg “api”, “app”, “evaluator”
feedback_source.metadataobjectReserved for additional metadata, currently
feedback_source.user_idUUIDUnique identifier for the user providing feedback
다음은 위 형식의 피드백 레코드에 대한 JSON 표현 예시입니다: 
{
  "created_at": "2024-05-05T23:23:11.077838",
  "modified_at": "2024-05-05T23:23:11.232962",
  "session_id": "c919298b-0af2-4517-97a2-0f98ed4a48f8",
  "run_id": "e26174e5-2190-4566-b970-7c3d9a621baa",
  "key": "correctness",
  "score": 1.0,
  "value": null,
  "comment": "I gave this score because the answer was correct.",
  "correction": null,
  "id": "62104630-c7f5-41dc-8ee2-0acee5c14224",
  "feedback_source": {
    "type": "app",
    "metadata": null,
    "user_id": "ad52b092-1346-42f4-a934-6e5521562fab"
  }
}
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
⌘I