관찰성 개념

이 페이지는 LangSmith에 추적을 로깅할 때 이해해야 할 핵심 개념들을 다룹니다. 추적(trace)은 애플리케이션이 입력을 받아 중간 처리를 거쳐 최종 출력을 생성하기까지의 일련의 단계들을 기록합니다. 추적 내의 각 단계는 실행(run)으로 표현됩니다. 여러 추적들은 프로젝트(project) 내에 그룹화되며, 다중 턴 대화의 추적들은 스레드(thread)로 연결될 수 있습니다. 다음 다이어그램은 인덱스에서 문서를 검색하고 답변을 생성하는 간단한 RAG 앱의 맥락에서 이러한 개념들을 보여줍니다.

​

실행(Runs)

실행(run) 은 LLM 애플리케이션 내에서 단일 작업 단위 또는 작업을 나타내는 스팬입니다. 이는 LLM이나 체인에 대한 단일 호출부터 프롬프트 포맷팅 호출, 실행 가능한 람다 호출까지 무엇이든 될 수 있습니다. OpenTelemetry에 익숙하시다면, 실행을 스팬으로 생각하실 수 있습니다.

​

추적(Traces)

추적(trace) 은 단일 작업에 대한 실행들의 모음입니다. 예를 들어, 사용자 요청이 체인을 트리거하고, 그 체인이 LLM을 호출한 다음 출력 파서를 호출하는 등의 경우, 이 모든 실행들은 동일한 추적의 일부가 됩니다. OpenTelemetry에 익숙하시다면, LangSmith 추적을 스팬들의 모음으로 생각하실 수 있습니다. 실행들은 고유한 추적 ID를 통해 추적에 바인딩됩니다.

​

스레드(Threads)

스레드(thread) 는 단일 대화를 나타내는 추적들의 시퀀스입니다. 많은 LLM 애플리케이션은 사용자와 LLM 애플리케이션이 다중 턴 대화를 나누는 챗봇과 같은 인터페이스를 가지고 있습니다. 대화의 각 턴은 자체 추적으로 표현되지만, 이러한 추적들은 동일한 스레드의 일부로서 함께 연결됩니다. 스레드에서 가장 최근의 추적은 가장 최신 메시지 교환입니다. 추적들을 스레드로 그룹화하려면, 추적들을 함께 연결하는 고유 식별자 값과 함께 특수 메타데이터 키(session_id, thread_id 또는 conversation_id)를 전달합니다. 스레드 구성 방법 알아보기.

​

프로젝트(Projects)

프로젝트(project) 는 추적들의 모음입니다. 프로젝트는 단일 애플리케이션이나 서비스와 관련된 모든 추적들을 담는 컨테이너로 생각할 수 있습니다. 여러 개의 프로젝트를 가질 수 있으며, 각 프로젝트는 여러 개의 추적을 가질 수 있습니다.

​

피드백(Feedback)

피드백(feedback) 을 사용하면 특정 기준에 따라 개별 실행에 점수를 매길 수 있습니다. 각 피드백 항목은 피드백 태그와 피드백 점수로 구성되며, 고유한 실행 ID를 통해 실행에 바인딩됩니다. 피드백은 연속적이거나 이산적(범주형)일 수 있으며, 조직 내 다양한 실행에서 피드백 태그를 재사용할 수 있습니다. 다음과 같은 여러 방법으로 실행에 대한 피드백을 수집할 수 있습니다:

1. LLM 애플리케이션에서 추적과 함께 전송합니다.
2. 앱에서 사용자가 인라인으로 생성하거나 주석 큐에서 생성합니다.
3. 오프라인 평가 중에 자동 평가자가 생성합니다.
4. 온라인 평가자가 생성합니다.

애플리케이션에서 피드백이 저장되는 방법에 대해 자세히 알아보려면 피드백 데이터 형식 가이드를 참조하세요.

​

태그(Tags)

태그(tags) 는 실행에 첨부할 수 있는 문자열 모음입니다. LangSmith UI에서 태그를 사용하여 다음을 수행할 수 있습니다:

• 더 쉬운 검색을 위해 실행을 범주화합니다.
• 실행을 필터링합니다.
• 분석을 위해 실행을 함께 그룹화합니다.

추적에 태그를 첨부하는 방법 알아보기.

​

메타데이터(Metadata)

메타데이터(metadata) 는 실행에 첨부할 수 있는 키-값 쌍의 모음입니다. 메타데이터를 사용하여 실행을 생성한 애플리케이션의 버전, 실행이 생성된 환경 또는 실행과 연결하려는 기타 정보와 같은 실행에 대한 추가 정보를 저장할 수 있습니다. 태그와 마찬가지로, 메타데이터를 사용하여 LangSmith UI에서 실행을 필터링하거나 분석을 위해 실행을 함께 그룹화할 수 있습니다. 추적에 메타데이터를 추가하는 방법 알아보기.

​

데이터 저장 및 보존

2024년 5월 22일 수요일 이후에 수집된 추적의 경우, LangSmith(SaaS)는 추적이 LangSmith 추적 데이터베이스에 삽입된 날짜와 시간으로부터 최대 400일 동안 추적 데이터를 보존합니다. 400일이 지나면 추적은 LangSmith에서 영구적으로 삭제되며, 과거 사용량 및 비용과 같은 정확한 통계를 표시하기 위한 목적으로 제한된 양의 메타데이터만 보존됩니다.

​

LangSmith에서 추적 삭제하기

만료 날짜 이전에 LangSmith에서 추적을 제거해야 하는 경우, 추적이 포함된 프로젝트를 삭제하여 제거할 수 있습니다. 다음 방법 중 하나로 프로젝트를 삭제할 수 있습니다:

• LangSmith UI에서 프로젝트의 오버플로 메뉴에 있는 Delete 옵션을 선택합니다.
• delete_tracer_sessions API 엔드포인트를 사용합니다.
• LangSmith SDK의 delete_project() (Python) 또는 deleteProject() (JS/TS)를 사용합니다.

LangSmith는 개별 추적의 셀프 서비스 삭제를 지원하지 않습니다. 만료 날짜 이전에 LangSmith 프로젝트에서 단일 추적(또는 추적 세트)을 삭제해야 하는 경우, 계정 소유자는 조직 ID와 추적 ID를 가지고 LangSmith 지원팀에 문의해야 합니다.

---