시스템 프롬프트·도구 정의·이전 대화처럼 매 요청 반복되는 앞부분을 캐시해 입력 비용을 줄입니다.
요청에 everyais 옵션을 지정하세요(OpenAI SDK 는 extra_body 로 전달).
{
"model": "everyais/claude-opus-5",
"messages": [],
"everyais": { "cache": "on", "cache_ttl": "5m" }
}| 옵션 | 동작 |
|---|---|
cache: "on" | 도구 정의 → system → 마지막 user 턴 순으로 캐시 지점을 자동 부착합니다(최대 4개) |
cache: "off" | 자동 부착과 클라이언트가 직접 보낸 cache_control 을 모두 제거합니다 |
cache_ttl: "5m" | "1h" | 캐시 유지 시간. 기본 5m, 1h 는 생성 비용이 더 높습니다 |
Anthropic /v1/messages | 블록에 붙인 cache_control breakpoint 가 그대로 전달됩니다 |
| Gemini 계열 | implicit 캐시라 별도 설정 없이 적중하며 캐시 생성 과금이 없습니다 |
캐시 read/write 토큰은 공급자 단가에 맞춰 분해 청구되며,
응답의 usage.prompt_tokens_details.cached_tokens 로 실제 적중 여부를 확인할 수 있습니다.
⚠️ 켜기 전에 확인하세요 — 캐시 생성은 입력보다 비쌉니다
캐시 적중(read)은 입력 단가의 약 10% 로 청구되지만 캐시 생성(write)은 입력 단가보다 비쌉니다 (5m 은 약 1.25배, 1h 는 약 2배).
따라서 앞부분이 매 요청 달라지면 생성 비용만 반복 발생해 캐싱을 끄는 것보다 비싸집니다. 앞부분을 고정한 채 대화를 이어가는 멀티턴 요청에만 켜고, 단발성 짧은 요청에는 켜지 마세요.