Skip to main content
이 가이드는 Baseten 채팅 모델 시작하기에 대한 간략한 개요를 제공합니다. ChatBaseten의 모든 기능, 매개변수 및 설정에 대한 자세한 목록은 ChatBaseten API 레퍼런스를 참조하세요. Baseten은 프로덕션 애플리케이션을 위해 설계된 추론을 제공합니다. Baseten Inference Stack을 기반으로 구축된 이러한 API는 주요 오픈소스 또는 사용자 정의 모델에 대해 엔터프라이즈급 성능과 안정성을 제공합니다: https://www.baseten.co/library/.

​
개요

​
세부 정보

ClassPackageLocalSerializableJS supportDownloadsVersion
ChatBasetenlangchain-baseten❌beta❌PyPI - DownloadsPyPI - Version

​
기능

Tool callingStructured outputJSON modeImage inputAudio inputVideo inputToken-level streamingNative asyncToken usageLogprobs
✅✅✅✅✅❌✅✅✅❌
Model API는 텍스트 입력만 지원하지만, 일부 전용 배포는 모델에 따라 이미지 및 오디오 입력을 지원합니다. 자세한 내용은 Baseten 모델 라이브러리를 확인하세요: https://www.baseten.co/library/

​
설정

Baseten 모델에 액세스하려면 Baseten 계정을 생성하고, API 키를 발급받고, langchain-baseten 통합 패키지를 설치해야 합니다. 이 페이지로 이동하여 Baseten 계정을 생성하고 API 키를 생성하세요. 완료한 후 BASETEN_API_KEY 환경 변수를 설정하세요:

​
자격 증명

Set API key
import getpass
import os

if "BASETEN_API_KEY" not in os.environ:
    os.environ["BASETEN_API_KEY"] = getpass.getpass("Enter your Baseten API key: ")
모델 호출의 자동 을 활성화하려면 LangSmith API 키를 설정하세요:
Enable tracing
os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
os.environ["LANGSMITH_TRACING"] = "true"

​
설치

LangChain Baseten 통합은 langchain-baseten 패키지에 있습니다: 
pip install -U langchain-baseten

​
인스턴스화

Baseten은 채팅 모델에 액세스하는 두 가지 방법을 제공합니다:
  1. Model API: 최신 인기 오픈소스 모델에 액세스합니다.
  2. 전용 URL: 전용 리소스를 사용하여 특정 모델 배포를 사용합니다.
두 접근 방식 모두 자동 엔드포인트 정규화를 통해 지원됩니다.
Initialize with model slug
from langchain_baseten import ChatBaseten

# Option 1: Use Model APIs with model slug
model = ChatBaseten(
    model="moonshotai/Kimi-K2-Instruct-0905",  # Choose from available model slugs: https://docs.baseten.co/development/model-apis/overview#supported-models
    api_key="your-api-key",  # Or set BASETEN_API_KEY env var
)
Initialize with model URL
from langchain_baseten import ChatBaseten

# Option 2: Use dedicated deployments with model url
model = ChatBaseten(
    model_url="https://model-<id>.api.baseten.co/environments/production/predict",
    api_key="your-api-key",  # Or set BASETEN_API_KEY env var
)

​
호출

Basic invocation
# Use the chat model
response = model.invoke("Hello, how are you?")
print(response.content)

content="Hello! I'm doing well, thank you for asking! How about you?" additional_kwargs={} response_metadata={'finish_reason': 'stop'} id='run--908651ec-00d7-4992-a320-864397c14e37-0'
더 복잡한 대화를 위해 메시지 객체를 사용할 수도 있습니다: 
messages = [
    {"role": "system", "content": "You are a poetry expert"},
    {"role": "user", "content": "Write a haiku about spring"},
]
response = model.invoke(messages)
print(response)

content='Buds yawn open wide—  \na robin stitches the hush  \nwith threads of first light.' additional_kwargs={} response_metadata={'finish_reason': 'stop'} id='run--6f7d1db7-daae-4628-a40a-2ab7323e8f15-0'
채팅 모델 호출 타입, 메시지 타입, 콘텐츠 블록에 대한 전체 가이드가 제공됩니다.

​
API 레퍼런스

ChatBaseten의 모든 기능과 설정에 대한 자세한 문서는 API 레퍼런스를 참조하세요.
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.