제15장 / 총 21장약 1분

15. SDK 및 클라이언트 연동#

완전한 OpenAI 호환이므로, 커스텀 baseURL을 지원하는 거의 모든 도구를 연동할 수 있습니다.

Python(OpenAI 공식 SDK)#

Python
from openai import OpenAI

client = OpenAI(
    base_url="http://183.240.79.21:52099/v1",
    api_key="sk-你的YiTuoToken-Key",
)

resp = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "你好"}],
)
print(resp.choices[0].message.content)

Node.js(openai npm 패키지)#

JavaScript
import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "http://183.240.79.21:52099/v1",
  apiKey: "sk-你的YiTuoToken-Key",
});

const resp = await client.chat.completions.create({
  model: "gpt-4o",
  messages: [{ role: "user", content: "你好" }],
});
console.log(resp.choices[0].message.content);

LangChain(Python)#

Python
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="gpt-4o",
    base_url="http://183.240.79.21:52099/v1",
    api_key="sk-你的YiTuoToken-Key",
)
print(llm.invoke("你好").content)

Go#

Go
config := openai.DefaultConfig("sk-你的YiTuoToken-Key")
config.BaseURL = "http://183.240.79.21:52099/v1"
client := openai.NewClientWithConfig(config)

Anthropic SDK(/v1/messages 경유)#

공식 Anthropic SDK를 사용할 때는 SDK가 키를 Authorization: Bearer 헤더로 전송하도록 설정해야 합니다(auth_token 파라미터 사용). 기본 x-api-key 방식을 사용해서는 안 됩니다:

Python
from anthropic import Anthropic

client = Anthropic(
    base_url="http://183.240.79.21:52099",   # SDK가 /v1/messages를 자동으로 추가합니다
    auth_token="sk-你的YiTuoToken-Key",   # Bearer 헤더로 전송됩니다
)

msg = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=256,
    messages=[{"role": "user", "content": "你好"}],
)

데스크톱 / 웹 클라이언트#

아래 클라이언트는 모두 커스텀 OpenAI 인터페이스를 지원합니다. 설정에서 API 주소와 키를 입력하면 됩니다:

클라이언트API 주소 입력값키
Cherry Studiohttp://183.240.79.21:52099/v1본인의 sk-...
LobeChathttp://183.240.79.21:52099/v1본인의 sk-...
NextChathttp://183.240.79.21:52099본인의 sk-...
Cursorhttp://183.240.79.21:52099/v1본인의 sk-...
Difyhttp://183.240.79.21:52099/v1본인의 sk-...

일부 클라이언트는 /v1이 없는 루트 주소를 입력해야 하고 /v1을 자동으로 추가합니다. 호출 시 404가 반환되면 끝의 /v1을 붙였다 빼 보세요.