Few-shot 예제 작동 방식
- Few-shot 예제는
{{Few-shot examples}}변수를 사용하여 평가자 프롬프트에 추가됩니다 - Few-shot 예제가 포함된 평가자를 생성하면 데이터셋이 자동으로 생성되며, 수정 사항을 만들기 시작하면 few-shot 예제로 자동으로 채워집니다
- 런타임에 이러한 예제는 평가자에 삽입되어 출력의 가이드 역할을 합니다 - 이는 평가자가 사람의 선호도에 더 잘 맞춰지도록 돕습니다
평가자 구성하기
Few-shot 예제는 현재 프롬프트 허브를 사용하는 LLM-as-a-judge 평가자에서 지원되지 않으며, mustache 형식을 사용하는 프롬프트와만 호환됩니다.
1. 변수 매핑 구성하기
각 few-shot 예제는 구성에 지정된 변수 매핑에 따라 형식이 지정됩니다. Few-shot 예제의 변수 매핑은 메인 프롬프트와 동일한 변수를 포함해야 하며, 추가로few_shot_explanation과 피드백 키와 동일한 이름을 가져야 하는 score 변수를 포함해야 합니다.
예를 들어, 메인 프롬프트에 question과 response 변수가 있고 평가자가 correctness 점수를 출력한다면, few-shot 프롬프트는 question, response, few_shot_explanation, correctness 변수를 가져야 합니다.
2. 사용할 few-shot 예제 개수 지정하기
사용할 few-shot 예제의 개수도 지정할 수 있습니다. 기본값은 5입니다. 예제가 매우 길다면 토큰을 절약하기 위해 이 숫자를 낮게 설정할 수 있으며, 예제가 짧은 경향이 있다면 평가자가 더 많은 예제로부터 학습할 수 있도록 더 높은 숫자를 설정할 수 있습니다. 데이터셋에 이 숫자보다 더 많은 예제가 있다면 무작위로 선택됩니다.수정하기
트레이스를 로깅하거나 실험을 실행하기 시작하면 평가자가 부여한 일부 점수에 동의하지 않을 수 있습니다. 이러한 점수에 수정 사항을 적용하면 수정 데이터셋 내에 예제가 채워지기 시작합니다. 수정 사항을 만들 때는 반드시 설명을 첨부하세요 - 이 설명은few_shot_explanation 변수 대신 평가자 프롬프트에 채워집니다.
Few-shot 예제의 입력은 체인/데이터셋의 입력, 출력, 참조(오프라인 평가자인 경우)에서 관련 필드가 됩니다. 출력은 수정된 평가자 점수와 수정 사항을 남길 때 작성한 설명이 됩니다. 원하는 대로 자유롭게 편집하세요. 다음은 수정 데이터셋에 있는 few-shot 예제의 예시입니다:
수정 데이터셋 보기
수정 데이터셋을 보려면:- 온라인 평가자: 실행 규칙을 선택하고 규칙 편집을 클릭하세요
- 오프라인 평가자: 평가자를 선택하고 평가자 편집을 클릭하세요
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.