사전 요구 사항
- OpenAI API 키(여기에서 생성) 또는 Anthropic API 키(여기에서 생성)
- LangSmith에서 규칙을 생성할 수 있는 권한(새 Insights 보고서 생성에 필요)
- LangSmith에서 추적 프로젝트를 볼 수 있는 권한(기존 Insights 보고서 보기에 필요)
첫 번째 Insights 보고서 생성하기
Insights Agent의 자동 구성 플로우
- 왼쪽 메뉴의 Tracing Projects로 이동하여 추적 프로젝트를 선택합니다.
- 오른쪽 상단의 +New를 클릭한 다음 New Insights Report를 클릭하여 프로젝트에 대한 새 인사이트를 생성합니다.
- 작업의 이름을 입력합니다.
- 작업 생성 창의 오른쪽 상단에 있는 아이콘을 클릭하여 OpenAI(또는 Anthropic) API 키를 워크스페이스 시크릿으로 설정합니다. 워크스페이스에 이미 OpenAI API 키가 설정되어 있으면 이 단계를 건너뛸 수 있습니다.
- 가이드 질문에 답변하여 에이전트에 대해 알고 싶은 내용에 Insights 보고서를 집중시킨 다음 Run job을 클릭합니다.
1,000개의 스레드에 대한 인사이트 생성은 일반적으로 OpenAI 모델로 2.00, 현재 Anthropic 모델로 4.00의 비용이 듭니다. 비용은 샘플링된 스레드 수와 각 스레드의 크기에 따라 확장됩니다.
결과 이해하기
작업이 완료되면 Insights 탭으로 이동하여 Insights 보고서 테이블을 볼 수 있습니다. 각 보고서에는 추적 프로젝트의 특정 트레이스 샘플에 대해 생성된 인사이트가 포함되어 있습니다.
단일 추적 프로젝트에 대한 Insights 보고서
https://chat.langchain.com 챗봇과의 대화의 일반적인 주제
최상위 카테고리
트레이스는 데이터의 가장 광범위한 패턴을 나타내는 최상위 카테고리로 자동으로 그룹화됩니다. 분포 막대는 각 패턴이 얼마나 자주 발생하는지 보여주므로 예상보다 더 자주 또는 덜 발생하는 동작을 쉽게 파악할 수 있습니다. 각 카테고리에는 간단한 설명이 있으며 다음을 포함하여 포함된 트레이스에 대한 집계 메트릭이 표시됩니다:- 일반적인 트레이스 통계(오류율, 지연 시간, 비용 등)
- 평가자의 피드백 점수
- 작업의 일부로 추출된 속성
하위 카테고리
카테고리를 클릭하면 하위 카테고리로 세분화되어 해당 트레이스 카테고리의 상호 작용 패턴을 더 세밀하게 이해할 수 있습니다. 위에 표시된 Chat Langchain 예시에서 “Data & Retrieval” 아래에는 “Vector Stores” 및 “Data Ingestion”과 같은 하위 카테고리가 있습니다.개별 트레이스
트레이스 테이블을 보려면 클릭하여 각 카테고리 또는 하위 카테고리에 할당된 트레이스를 볼 수 있습니다. 거기에서 트레이스를 클릭하여 전체 대화 세부 정보를 볼 수 있습니다.작업 구성하기
Insights 보고서를 만드는 방법에는 세 가지가 있습니다. 자동 생성 플로우로 시작하여 기준선을 구축한 다음, 구체화하면서 저장되거나 수동 구성으로 반복합니다.자동으로 구성 생성하기
- New Insights를 열고 Auto 토글이 활성화되어 있는지 확인합니다.
- 에이전트의 목적, 알고 싶은 내용, 트레이스 구조에 대한 자연어 질문에 답변합니다. Insights는 여러분의 답변을 초안 구성(작업 이름, 요약 프롬프트, 속성 및 샘플링 기본값)으로 변환합니다.
- 제공자를 선택한 다음 Generate config를 클릭하여 미리 보거나 Run job을 클릭하여 즉시 시작합니다.
모델 제공자 선택하기
에이전트를 구동하기 위해 OpenAI 또는 Anthropic 모델을 선택할 수 있습니다. 선택한 제공자에 해당하는 워크스페이스 시크릿이 설정되어 있어야 합니다(OPENAI_API_KEY 또는 ANTHROPIC_API_KEY). 현재 Anthropic 모델을 사용하면 OpenAI 모델을 사용하는 것보다 약 3배의 비용이 듭니다.사전 구축된 구성 사용하기
Saved configurations 드롭다운을 사용하여 Usage Patterns 또는 Error Analysis와 같은 일반적인 작업에 대한 사전 설정을 로드합니다. 빠른 시작을 위해 직접 실행하거나 사용자 정의 버전을 저장하기 전에 필터, 프롬프트 및 제공자를 조정합니다. 사용자 정의할 수 있는 내용에 대해 자세히 알아보려면 아래 섹션을 읽으세요.처음부터 구성 빌드하기
자체 구성을 빌드하면 더 많은 제어가 필요할 때 도움이 됩니다. 예를 들어, 데이터를 그룹화할 카테고리를 사전 정의하거나 특정 피드백 점수 및 필터와 일치하는 트레이스를 대상으로 하는 경우입니다.트레이스 선택
- Sample size: 분석할 최대 트레이스 수입니다. 현재 1,000개로 제한됩니다
- Time range: 이 시간 범위에서 트레이스가 샘플링됩니다
- Filters: 추가 트레이스 필터입니다. 필터를 조정하면 기준과 일치하는 트레이스 수를 확인할 수 있습니다
카테고리
기본적으로 최상위 카테고리는 기본 트레이스에서 상향식으로 자동 생성됩니다. 경우에 따라 미리 관심 있는 특정 카테고리를 알고 있으며 작업이 트레이스를 해당 사전 정의된 카테고리로 버킷팅하기를 원합니다. 구성의 Categories 섹션에서 사용하려는 최상위 카테고리의 이름과 설명을 열거하여 이 작업을 수행할 수 있습니다. 하위 카테고리는 여전히 사전 정의된 최상위 카테고리 내에서 알고리즘에 의해 자동 생성됩니다.요약 프롬프트
작업의 첫 번째 단계는 모든 트레이스의 간략한 요약을 만드는 것입니다. 그런 다음 이러한 요약이 분류됩니다. 요약에서 올바른 정보를 추출하는 것은 유용한 카테고리를 얻는 데 필수적입니다. 이러한 요약을 생성하는 데 사용되는 프롬프트는 편집할 수 있습니다. 프롬프트를 편집할 때 고려해야 할 두 가지 사항은 다음과 같습니다:- 요약 지침: 트레이스 요약에 없는 정보는 생성되는 카테고리에 영향을 주지 않으므로 각 트레이스에서 추출하는 것이 중요한 정보에 대한 명확한 지침을 제공해야 합니다.
- 트레이스 콘텐츠: 각 트레이스의 어떤 부분이 요약기에 전달되는지 지정하려면 mustache 형식을 사용합니다. 많은 입력과 출력이 있는 대형 트레이스는 비용이 많이 들고 노이즈가 많을 수 있습니다. 프롬프트를 트레이스의 가장 관련성 높은 부분만 포함하도록 줄이면 결과를 개선할 수 있습니다.
| 변수 | 최적 사용 사례 | 예시 |
|---|---|---|
| run.* | 스레드의 가장 최근 루트 실행(즉, 최종 턴) 데이터에 액세스 | {{run.inputs}} {{run.outputs}} {{run.error}} |
"Summarize this: {{run.inputs.foo.bar}}"는 마지막 실행의 입력에서 “foo” 값 내의 “bar” 값만 포함합니다.
속성
요약과 함께 각 트레이스에서 추출할 추가 범주형, 숫자형 및 부울 속성을 정의할 수 있습니다. 이러한 속성은 분류 단계에 영향을 미칩니다. 유사한 속성 값을 가진 트레이스는 함께 분류되는 경향이 있습니다. 또한 카테고리당 이러한 속성의 집계를 볼 수 있습니다. 예를 들어, 각 트레이스에서user_satisfied: boolean 속성을 추출하여 알고리즘이 긍정적 및 부정적 사용자 경험을 분리하는 카테고리로 유도하고 카테고리당 평균 사용자 만족도를 확인할 수 있습니다.
필터 속성
부울 속성의filter_by 매개변수를 사용하여 인사이트를 생성하기 전에 트레이스를 사전 필터링할 수 있습니다. 활성화하면 속성이 true로 평가되는 트레이스만 분석에 포함됩니다.
이는 Insights 보고서를 트레이스의 특정 하위 집합에 집중하려는 경우에 유용합니다. 예를 들어, 오류만 분석하거나 영어 대화만 검사하거나 특정 품질 기준을 충족하는 트레이스만 포함하는 경우입니다.
필터 속성을 사용하여 에이전트 오류가 있는 트레이스에만 Insights 생성
- Insights Agent의 구성을 만들 때 부울 속성에
"filter_by": true를 추가합니다 - LLM은 요약 중에 속성 설명에 대해 각 트레이스를 평가합니다
- 속성이
false이거나 누락된 트레이스는 인사이트가 생성되기 전에 제외됩니다
구성 저장하기
‘save as’ 버튼을 사용하여 향후 재사용을 위해 구성을 선택적으로 저장할 수 있습니다. 이는 시간이 지남에 따라 Insights 보고서를 비교하여 사용자 및 에이전트 동작의 변화를 식별하려는 경우 특히 유용합니다. 새 Insights 보고서를 만들 때 창의 왼쪽 상단 모서리에 있는 드롭다운에서 이전에 저장된 구성을 선택합니다.Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.