개요

이 개요는 LangSmith 내에서 사용자, 조직 및 워크스페이스 관리와 관련된 주제를 다룹니다.

​

리소스 계층 구조

​

조직

조직은 LangSmith 내에서 사용자를 논리적으로 그룹화한 단위로, 고유한 청구 구성을 가집니다. 일반적으로 회사당 하나의 조직이 존재합니다. 하나의 조직은 여러 워크스페이스를 가질 수 있습니다. 자세한 내용은 설정 가이드를 참조하세요. 처음 로그인하면 개인 조직이 자동으로 생성됩니다. 다른 사람들과 협업하려면 별도의 조직을 생성하고 팀원을 초대할 수 있습니다. 개인 조직과 공유 조직 간에는 몇 가지 중요한 차이점이 있습니다:

기능	개인	공유
최대 워크스페이스	1	플랜에 따라 다름 (요금제 페이지 참조)
협업	사용자 초대 불가	사용자 초대 가능
청구: 유료 플랜	Developer 플랜만 가능	다른 모든 플랜 사용 가능

​

워크스페이스

워크스페이스는 조직 내에서 사용자와 리소스를 논리적으로 그룹화한 단위입니다. 워크스페이스는 리소스 및 접근 제어에 대한 신뢰 경계를 분리합니다. 사용자는 워크스페이스에서 해당 워크스페이스의 리소스(추적 프로젝트, 데이터셋, 주석 큐, 프롬프트 포함)에 대한 접근 권한을 부여하는 권한을 가질 수 있습니다. 자세한 내용은 설정 가이드를 참조하세요. 조직 내 각 팀마다 별도의 워크스페이스를 생성하는 것이 권장됩니다. 리소스를 더욱 세분화하여 구성하려면 리소스 태그를 사용하여 워크스페이스 내에서 리소스를 그룹화할 수 있습니다. 다음 이미지는 샘플 워크스페이스 설정 페이지를 보여줍니다: 다음 다이어그램은 조직, 워크스페이스 및 워크스페이스에 속하거나 워크스페이스 내에 있는 다양한 리소스 간의 관계를 설명합니다: 어떤 기능이 어떤 범위(조직 또는 워크스페이스)에서 사용 가능한지에 대한 자세한 내용은 아래 표를 참조하세요:

리소스/설정	범위
추적 프로젝트	워크스페이스
주석 큐	워크스페이스
배포	워크스페이스
데이터셋 및 실험	워크스페이스
프롬프트	워크스페이스
리소스 태그	워크스페이스
API 키	워크스페이스
비밀, 피드백 구성, 모델, 규칙 및 공유 URL을 포함한 설정	워크스페이스
사용자 관리: 워크스페이스에 사용자 초대	워크스페이스
RBAC: 워크스페이스 역할 할당	워크스페이스
데이터 보존, 사용량 제한	워크스페이스*
플랜 및 청구, 크레딧, 인보이스	조직
사용자 관리: 조직에 사용자 초대	조직**
워크스페이스 추가	조직
조직 역할 할당	조직
RBAC: 사용자 정의 역할 생성/편집/삭제	조직

* 데이터 보존 설정 및 사용량 제한은 곧 조직 수준에서도 사용 가능할 예정입니다 ** 자체 호스팅 설치는 기능 플래그를 통해 워크스페이스 수준에서 조직에 사용자를 초대할 수 있습니다. 자세한 내용은 자체 호스팅 사용자 관리 문서를 참조하세요.

​

리소스 태그

리소스 태그를 사용하면 워크스페이스 내에서 리소스를 구성할 수 있습니다. 각 태그는 리소스에 할당할 수 있는 키-값 쌍입니다. 태그는 UI 및 API에서 워크스페이스 범위 리소스를 필터링하는 데 사용할 수 있습니다: 프로젝트, 데이터셋, 주석 큐, 배포 및 실험. 각 새 워크스페이스에는 두 개의 기본 태그 키가 제공됩니다: Application과 Environment입니다. 이름에서 알 수 있듯이, 이러한 태그는 리소스가 속한 애플리케이션과 환경에 따라 리소스를 분류하는 데 사용할 수 있습니다. 필요에 따라 더 많은 태그를 추가할 수 있습니다. LangSmith 리소스 태그는 AWS와 같은 클라우드 서비스의 태그와 매우 유사합니다.

​

사용자 관리 및 RBAC

​

사용자

사용자는 LangSmith에 접근할 수 있는 사람입니다. 사용자는 하나 이상의 조직과 해당 조직 내의 워크스페이스의 구성원이 될 수 있습니다. 조직 구성원은 조직 설정에서 관리됩니다: 워크스페이스 구성원은 워크스페이스 설정에서 관리됩니다:

​

API 키

​

만료 날짜

API 키를 생성할 때 만료 날짜를 설정할 수 있는 옵션이 있습니다. 키에 만료 날짜를 추가하면 보안이 강화되고 무단 접근 위험이 최소화됩니다. 예를 들어, 상승된 접근 권한이 필요한 임시 작업을 위한 키에 만료 날짜를 설정할 수 있습니다. 기본적으로 키는 만료되지 않습니다. 만료된 API 키는 더 이상 유효하지 않으며 재활성화하거나 만료 날짜를 수정할 수 없습니다.

​

개인 액세스 토큰 (PAT)

개인 액세스 토큰(PAT)은 LangSmith API에 대한 요청을 인증하는 데 사용됩니다. 사용자가 생성하며 사용자 범위로 지정됩니다. PAT는 이를 생성한 사용자와 동일한 권한을 갖습니다. 애플리케이션에서 요청을 인증하는 데 이를 사용하지 않고, LangSmith API와 상호 작용하는 개인 스크립트나 도구에 사용하는 것이 권장됩니다. PAT와 연결된 사용자가 조직에서 제거되면 PAT는 더 이상 작동하지 않습니다. PAT는 lsv2_pt_ 접두사로 시작합니다

​

서비스 키

서비스 키는 PAT와 유사하지만 서비스 계정을 대신하여 LangSmith API에 대한 요청을 인증하는 데 사용됩니다. 관리자만 서비스 키를 생성할 수 있습니다. LangGraph 에이전트나 기타 통합과 같이 LangSmith API와 상호 작용해야 하는 애플리케이션/서비스에 사용하는 것이 권장됩니다. 서비스 키는 단일 워크스페이스, 여러 워크스페이스 또는 전체 조직으로 범위를 지정할 수 있으며, 접근 권한이 있는 워크스페이스에 대한 LangSmith API 요청을 인증하는 데 사용할 수 있습니다. 서비스 키는 lsv2_sk_ 접두사로 시작합니다

​

조직 역할

조직 역할은 아래의 Enterprise 기능(RBAC)과 구별되며 여러 워크스페이스의 컨텍스트에서 사용됩니다. 조직 역할은 워크스페이스 구성원 특성과 조직 수준 권한을 결정합니다. 자세한 내용은 조직 설정 가이드를 참조하세요. 선택한 조직 역할은 워크스페이스 구성원에도 다음과 같이 영향을 미칩니다:

• Organization Admin은 모든 조직 구성, 사용자, 청구 및 워크스페이스를 관리할 수 있는 전체 접근 권한을 부여합니다. Organization Admin은 조직의 모든 워크스페이스에 대한 Admin 접근 권한을 갖습니다
• Organization User는 조직 정보를 읽을 수 있지만 조직 수준에서 쓰기 작업을 실행할 수 없습니다. Organization User는 워크스페이스의 하위 집합에 추가될 수 있으며 (RBAC가 활성화된 경우) 일반적으로 워크스페이스 역할을 할당받을 수 있으며, 이는 워크스페이스 수준에서 권한을 지정합니다.

모든 조직 권한에 대해서는 아래 표를 참조하세요:

	Organization User	Organization Admin
조직 구성 보기	✅	✅
조직 역할 보기	✅	✅
조직 구성원 보기	✅	✅
데이터 보존 설정 보기	✅	✅
사용량 제한 보기	✅	✅
모든 워크스페이스에 대한 관리자 접근		✅
청구 설정 관리		✅
워크스페이스 생성		✅
조직 역할 생성, 편집 및 삭제		✅
조직에 새 사용자 초대		✅
사용자 초대 삭제		✅
조직에서 사용자 제거		✅
데이터 보존 설정 업데이트*		✅
사용량 제한 업데이트*		✅

​

워크스페이스 역할 (RBAC)

역할은 워크스페이스 내에서 사용자가 갖는 권한 집합을 정의하는 데 사용됩니다. 편집할 수 없는 세 가지 내장 시스템 역할이 있습니다:

• Admin - 워크스페이스 내의 모든 리소스에 대한 전체 접근 권한을 갖습니다
• Viewer - 워크스페이스 내의 모든 리소스에 대한 읽기 전용 접근 권한을 갖습니다
• Editor - 워크스페이스 관리(사용자 추가/제거, 역할 변경, 서비스 키 구성)를 제외한 전체 권한을 갖습니다

조직 관리자는 다양한 리소스에 대한 특정 권한을 가진 사용자 정의 역할을 생성/편집할 수도 있습니다. 역할은 조직 설정의 Roles 탭에서 관리할 수 있습니다: 역할 할당 및 생성에 대한 자세한 내용은 접근 제어 설정 가이드를 참조하세요.

​

모범 사례

​

환경 분리

리소스 태그를 사용하여 기본 태그 키 Environment와 환경에 대한 다양한 값(예: dev, staging, prod)을 사용하여 환경별로 리소스를 구성하세요. 이러한 태깅 구조를 사용하면 오늘날 추적 프로젝트를 구성할 수 있으며, 속성 기반 접근 제어(ABAC)를 출시할 때 권한을 쉽게 적용할 수 있습니다. 리소스 태그의 ABAC는 예를 들어 프로덕션 추적 프로젝트에 대한 접근을 제한하는 세밀한 방법을 제공합니다. 워크스페이스 간에 리소스를 공유할 수 없으므로 환경 분리를 위해 워크스페이스를 사용하는 것은 권장하지 않습니다. staging에서 prod로 프롬프트를 승격하려면 커밋 태그를 사용하는 것이 권장됩니다. 자세한 내용은 문서를 참조하세요.

​

사용량 및 청구

​

데이터 보존

이 섹션에서는 데이터 보존이 작동하는 방식과 LangSmith에서 가격이 책정되는 방식을 다룹니다.

​

보존이 중요한 이유

• 개인정보 보호: GDPR(유럽) 또는 CCPA(캘리포니아)와 같은 많은 데이터 개인정보 보호 규정은 조직이 수집 목적에 더 이상 필요하지 않은 개인 데이터를 삭제하도록 요구합니다. 보존 기간을 설정하면 이러한 규정을 준수하는 데 도움이 됩니다.
• 비용: LangSmith는 데이터 보존 기간이 짧은 추적에 대해 더 낮은 비용을 청구합니다. 자세한 내용은 지출 최적화 튜토리얼을 참조하세요.

​

작동 방식

LangSmith는 데이터 보존을 기준으로 두 가지 추적 계층을 제공하며 다음과 같은 특성을 가집니다:

	Base	Extended
가격	$.50 / 1k 추적	$5 / 1k 추적
보존 기간	14일	400일

보존 기간 종료 후 데이터 삭제 지정된 보존 기간이 지나면 추적 프로젝트 UI 또는 API를 통해 추적에 더 이상 접근할 수 없습니다. 추적과 연결된 모든 사용자 데이터(예: 입력 및 출력)는 그 후 하루 이내에 내부 시스템에서 삭제됩니다. 각 추적과 연결된 일부 메타데이터는 분석 및 청구 목적으로 무기한 보존될 수 있습니다. 데이터 보존 자동 업그레이드 base 계층 추적에서 특정 기능을 사용하면 데이터 보존이 자동으로 extended 계층으로 업그레이드됩니다. 이렇게 하면 보존 기간과 추적 비용이 모두 증가합니다. 다음과 같은 경우 추적이 업그레이드되는 전체 시나리오 목록입니다:

• 수동 주석, 온라인 평가자를 통한 자동, 또는 SDK를 통한 프로그래밍 방식으로 추적(또는 스레드의 추적)의 실행에 피드백이 추가될 때
• **주석 큐**가 추적에서 실행을 받을 때
• **자동화 규칙**이 추적 내의 실행과 일치할 때

추적을 자동 업그레이드하는 이유는 무엇인가요? 추적을 위한 자동 업그레이드 모델에는 두 가지 이유가 있습니다:

1. 이러한 조건 중 하나와 일치하는 추적은 근본적으로 다른 추적보다 더 흥미롭기 때문에 사용자가 더 오래 보관할 수 있는 것이 좋다고 생각합니다.
2. 우리는 철학적으로 의미 있는 상호 작용이 없을 수 있는 추적에 대해 고객에게 10분의 1 수준으로 청구하고자 합니다. 자동 업그레이드는 의미 있는 상호 작용이 있는 추적만 더 높은 요율로 청구되는 LangSmith가 제공하는 가치와 가격 책정 모델을 조정한다고 생각합니다.

가격 책정 모델에 대해 질문이나 우려사항이 있으시면 언제든지 [email protected]로 연락하여 의견을 알려주세요! 데이터 보존이 다운스트림 기능에 어떤 영향을 미칩니까?

• 주석 큐, 실행 규칙 및 피드백: 이러한 기능을 사용하는 추적은 자동 업그레이드됩니다.
• 모니터링: 모니터링 탭은 base 계층 추적의 데이터 보존 기간이 종료된 후에도 계속 작동합니다. 30일 이상 존재하는 추적 메타데이터로 구동되므로 base 계층 추적에서도 모니터링 그래프가 계속 정확하게 유지됩니다.
• 데이터셋: 데이터셋은 무기한 데이터 보존 기간을 갖습니다. 다시 말해, 추적의 입력 및 출력을 데이터셋에 추가하면 절대 삭제되지 않습니다. 데이터 수집을 위해 LangSmith를 사용하는 경우 데이터셋 기능을 활용하는 것이 좋습니다.

​

청구 모델

청구 가능 메트릭 LangSmith 인보이스에는 청구되는 두 가지 메트릭이 표시됩니다:

• LangSmith Traces (Base Charge)
• LangSmith Traces (Extended Data Retention Upgrades)

첫 번째 메트릭은 계층에 관계없이 모든 추적을 포함합니다. 두 번째 메트릭은 extended 보존 추적의 수만 계산합니다. base와 extended 추적 대신 모든 추적 + 업그레이드를 측정하는 이유는 무엇입니까? 가격 책정을 고려할 때 자연스러운 질문은 왜 인보이스에 base 계층과 extended 계층 추적의 수를 직접 표시하지 않느냐는 것입니다. 이것이 더 간단하다는 것을 이해하지만, 추적 업그레이드에 제대로 맞지 않습니다. 6월 30일에 기록된 base 계층 추적이 7월 3일에 extended 계층으로 업그레이드된 경우를 고려하세요. base 계층 추적은 6월 청구 기간에 발생했지만 업그레이드는 7월 청구 기간에 발생했습니다. 따라서 고객에게 적절하게 청구하려면 이 두 이벤트를 독립적으로 측정할 수 있어야 합니다. 추적이 extended 보존 추적으로 기록된 경우 base 및 extended 메트릭은 모두 동일한 타임스탬프로 기록됩니다. 비용 분석 추적에 대한 Base Charge는 추적당 .05¢입니다. 업그레이드 가격을 책정하여 extended 보존 추적이 두 메트릭을 포함하여 base 계층 추적 가격의 10배(추적당 .50¢)가 되도록 했습니다. 따라서 각 업그레이드는 .45¢입니다.

​

속도 제한

LangSmith에는 모든 사용자를 위한 서비스의 안정성을 보장하기 위해 설계된 속도 제한이 있습니다. 접근성과 안정성을 보장하기 위해 LangSmith는 다음과 같은 상황에서 속도 또는 사용량 제한이 초과되었음을 나타내는 HTTP 상태 코드 429로 응답합니다:

​

시나리오

애플리케이션 로드 밸런서에서 1분 동안의 임시 처리량 제한

이 429는 API 키/액세스 토큰별로 1분 동안 고정된 수의 API 호출을 초과한 결과입니다. 창의 시작은 약간 다를 수 있습니다. 시계 분의 시작에서 시작하는 것이 보장되지 않으며 애플리케이션 배포 이벤트에 따라 변경될 수 있습니다. 최대 이벤트를 받은 후 평가 창의 시작으로부터 60초가 경과할 때까지 429로 응답한 다음 프로세스가 반복됩니다. 이 429는 애플리케이션 로드 밸런서에 의해 발생하며 플랜 계층과 무관하게 모든 LangSmith 사용자를 위해 모든 사용자의 서비스 연속성을 보장하기 위한 메커니즘입니다.

메서드	엔드포인트	제한	창
DELETE	Sessions	30	1분
POST OR PATCH	Runs	5000	1분
POST	Feedback	5000	1분
*	*	2000	1분

플랜 수준 시간당 추적 이벤트 제한

이 429는 최대 시간당 수집된 이벤트에 도달한 결과이며 UTC의 각 시계 시간 시작 시 고정된 창에서 평가되고 각 새로운 시간의 시작에 재설정됩니다. 이 컨텍스트에서 이벤트는 실행의 생성 또는 업데이트입니다. 따라서 실행이 생성된 다음 동일한 시간 창에서 업데이트되면 이 제한에 대해 2개의 이벤트로 계산됩니다. 이것은 애플리케이션에 의해 발생하며 플랜 계층에 따라 다릅니다. Startup/Plus 및 Enterprise 플랜 계층의 조직은 개인 사용을 위해 설계된 Free 및 Developer 플랜 계층보다 높은 시간당 제한을 갖습니다.

플랜	제한	창
Developer (결제 정보 미등록)	50,000 이벤트	1시간
Developer (결제 정보 등록)	250,000 이벤트	1시간
Startup/Plus	500,000 이벤트	1시간
Enterprise	커스텀	커스텀

플랜 수준 시간당 추적 데이터 수집 제한

이 429는 추적 입력, 출력 및 메타데이터에 걸쳐 수집된 최대 데이터 양에 도달한 결과이며 UTC의 각 시계 시간 시작 시 고정된 창에서 평가되고 각 새로운 시간의 시작에 재설정됩니다. 일반적으로 입력, 출력 및 메타데이터는 실행 생성 및 업데이트 이벤트 모두에서 전송됩니다. 따라서 실행이 생성 시 크기가 2.0MB이고 동일한 시간 창에서 업데이트될 때 크기가 3.0MB인 경우 이 제한에 대해 5.0MB의 스토리지로 계산됩니다. 이것은 애플리케이션에 의해 발생하며 플랜 계층에 따라 다릅니다. Startup/Plus 및 Enterprise 플랜 계층의 조직은 개인 사용을 위해 설계된 Free 및 Developer 플랜 계층보다 높은 시간당 제한을 갖습니다.

플랜	제한	창
Developer (결제 정보 미등록)	500MB	1시간
Developer (결제 정보 등록)	2.5GB	1시간
Startup/Plus	5.0GB	1시간
Enterprise	커스텀	커스텀

플랜 수준 월간 고유 추적 제한

이 429는 최대 월간 수집된 추적에 도달한 결과이며 UTC의 각 달력 월 시작 시 고정된 창에서 평가되고 각 새로운 월의 시작에 재설정됩니다. 이것은 애플리케이션에 의해 발생하며 결제 방법이 등록되지 않은 경우에만 Developer 플랜 계층에 적용됩니다.

플랜	제한	창
Developer (결제 정보 미등록)	5,000 추적	1개월

자체 구성된 월간 사용량 제한

이 429는 조직 관리자가 구성한 사용량 제한에 도달한 결과이며 UTC의 각 달력 월 시작 시 고정된 창에서 평가되고 각 새로운 월의 시작에 재설정됩니다. 이것은 애플리케이션에 의해 발생하며 구성된 설정에 따라 조직마다 다릅니다.

​

애플리케이션에서 429 응답 처리하기

일부 429 응답은 일시적이며 후속 호출에서 성공할 수 있으므로 애플리케이션에서 LangSmith API를 직접 호출하는 경우 지수 백오프 및 지터를 사용한 재시도 로직을 구현하는 것이 권장됩니다. 편의를 위해 LangSmith SDK로 구축된 LangChain 애플리케이션에는 이 기능이 내장되어 있습니다.

​

사용량 제한

LangSmith를 사용하면 추적에 대한 사용량 제한을 구성할 수 있습니다. 이러한 제한은 지출 제한이 아닌 사용량 제한이며, 이는 지출할 총 금액이 아닌 일부 이벤트의 발생 수량을 제한할 수 있음을 의미합니다. LangSmith를 사용하면 앞서 언급한 데이터 보존 가이드에서 설명한 청구 가능 메트릭을 반영하는 두 가지 월간 제한을 설정할 수 있습니다:

• 모든 추적 제한
• Extended 데이터 보존 추적 제한

이를 통해 총 추적 수와 extended 데이터 보존 추적 수를 각각 제한할 수 있습니다.

​

사용량 제한의 속성

사용량 제한은 근사치입니다. 즉, 제한의 정확성을 보장하지 않습니다. 드문 경우지만 사용량 제한이 적용되기 시작하기 전에 제한 임계값을 초과하여 추가 추적이 처리되는 짧은 기간이 있을 수 있습니다.

​

Extended 데이터 보존 추적 제한의 부작용

Extended 데이터 보존 추적 제한에는 부작용이 있습니다. 제한에 이미 도달한 경우 추적 계층의 자동 업그레이드를 유발할 수 있는 모든 기능에 접근할 수 없게 됩니다. 이는 추적의 자동 업그레이드가 다른 extended 보존 추적을 생성하게 되고, 이는 제한에 의해 허용되지 않아야 하기 때문입니다. 따라서 더 이상 다음을 수행할 수 없습니다:

1. 실행 규칙 일치
2. 추적에 피드백 추가
3. 주석 큐에 실행 추가

이러한 각 기능은 자동 업그레이드를 유발할 수 있으므로 제한에 도달하면 이를 차단합니다.

​

사용량 제한 업데이트

사용량 제한은 Settings 페이지의 Usage and Billing에서 업데이트할 수 있습니다. 제한 값은 캐시되므로 새 제한이 적용되기까지 1~2분이 걸릴 수 있습니다.

​

관련 콘텐츠

• 지출 최적화 튜토리얼

​

추가 리소스

• 릴리스 버전: Active, Critical, End of Life 및 Deprecated 지원 수준을 포함한 LangSmith의 버전 지원 정책에 대해 알아보세요.

---