개요
이 가이드는 PagerDuty의 Events API v2를 사용하여 LangSmith 알림의 알림 채널로 PagerDuty를 구성하는 과정을 안내합니다. 이 통합을 통해 중요한 LLM 애플리케이션 문제가 PagerDuty 인시던트를 트리거하여 설정된 인시던트 관리 워크플로우를 통해 신속한 대응이 가능합니다.사전 준비사항
- 관리자 액세스 권한이 있는 활성 PagerDuty 계정
- PagerDuty의 서비스 수준 권한
통합 단계
1단계: PagerDuty에서 서비스 생성
- PagerDuty 계정에 로그인합니다
- Services → Service Directory로 이동합니다
- + New Service를 클릭합니다
-
다음 필드를 완료합니다:
- Name: 설명적인 이름을 제공합니다(예: “LangSmith Monitoring”)
- Description: 모니터링되는 애플리케이션에 대한 세부 정보를 추가합니다
- Escalation Policy: 적절한 팀 에스컬레이션 정책을 선택합니다
- Integration Type: “Events API V2”를 선택합니다
- Add Service를 클릭하여 서비스를 생성합니다
2단계: Integration Key 가져오기
서비스를 생성한 후 Integration Key를 가져와야 합니다:- Service 드롭다운 아래의 Service Directory에서 새로 생성된 서비스를 찾아 클릭합니다
- Integrations 탭을 선택합니다
- “Events API V2” 통합을 찾습니다
- Integration Key(32자 영숫자 문자열)를 복사합니다
3단계: PagerDuty로 LangSmith 알림 구성
트리거된 후 한 시간 이내에 동일한 알림을 다시 받으려면 PagerDuty에서 알림으로 생성된 활성 인시던트를 해결해야 합니다.
- LangSmith의 알림 설정 알림 섹션에서 PagerDuty를 선택합니다
- 키 아이콘을 클릭하여 Integration Key를 워크스페이스 시크릿으로 저장하거나 기존 워크스페이스 시크릿을 선택합니다. 모범 사례로, Integration Key를 직접 추가하는 대신 워크스페이스 시크릿으로 저장하는 것을 권장합니다. 이렇게 하면 워크스페이스의 알림 전체에서 동일한 키를 재사용할 수 있습니다.
- 추가 알림 옵션을 구성합니다:
- Severity: PagerDuty 인시던트 우선순위에 매핑됩니다
- Send Test Alert를 클릭하여 테스트 알림을 보냅니다
- 인시던트가 PagerDuty에 의해 트리거되고 관련 LangSmith 알림 정보를 포함하는지 확인합니다
문제 해결
PagerDuty에서 인시던트가 생성되지 않는 경우:- Integration Key가 LangSmith에 올바르게 입력되었는지 확인합니다
- PagerDuty 서비스가 활성 상태이고 유지 관리 모드가 아닌지 확인합니다
- PagerDuty 계정에 Events API v2가 활성화되어 있는지 확인합니다
- 알림 트리거가 PagerDuty에서 누락된 것으로 보이는 경우, 예상 트리거가 동일한 알림 규칙의 이전 트리거로부터 한 시간 이내에 발생했는지, 그리고 이전 알림으로 생성된 인시던트가 여전히 열려 있는지 확인합니다.
- LangSmith 인스턴스가 방화벽 뒤에 있는 경우 네트워크 연결을 검토합니다
추가 리소스
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.