Prompt Caching di Hostlinku: Cara Kerja, Tarif, dan Cara Hemat hingga 90%
Bagian prompt yang berulang cukup diproses sekali, lalu ditagih sekitar 10% dari harga input. Pelajari kapan cache balik modal dan cara menyusun prompt agar selalu kena hit.
System prompt panjang, definisi tools, dokumen referensi, dan riwayat percakapan sering dikirim berulang kali tanpa berubah. Prompt caching membuat bagian itu diproses penuh sekali saja; request berikutnya membacanya dari cache dengan tarif sekitar 10% dari harga input normal. Hostlinku meneruskan dan menagih cache persis seperti Anthropic — tanpa markup tambahan.
Cara kerja tarifnya
| Jenis token | Tarif relatif | Kapan terjadi |
|---|---|---|
| Input normal | 1× | Bagian prompt yang tidak di-cache |
| Cache write | 1,25× | Pertama kali blok ditandai cache_control |
| Cache read | 0,1× | Blok yang sama dikirim lagi selama cache hidup |
Masa hidup cache default 5 menit sejak terakhir dipakai, dan diperpanjang setiap kali kena hit. Artinya cache sudah balik modal ketika blok yang sama dipakai minimal dua kali — makin sering dipakai, makin besar hematnya.
Susun prompt dari statis ke dinamis
Cache bekerja berdasarkan prefix: semua konten sebelum penanda cache_control harus identik byte-per-byte. Urutan yang disarankan:
tools— definisi fungsi, jarang berubahsystem— instruksi, persona, dokumen referensimessageslama — riwayat percakapan- Pesan user terbaru — selalu berubah, jangan di-cache
{
"model": "claude-sonnet-4-6",
"max_tokens": 1024,
"system": [
{
"type": "text",
"text": "<system prompt panjang + dokumen referensi>",
"cache_control": { "type": "ephemeral" }
}
],
"messages": [{ "role": "user", "content": "Ringkas dokumen di atas." }]
}Pada request kedua dengan system yang sama, respons melaporkan cache_read_input_tokens berisi jumlah token yang dibaca dari cache. Maksimal empat penanda cache_control per request; yang paling umum adalah satu di akhir system.
Pakai OpenAI SDK? Tetap bisa
Di /v1/chat/completions, tulis content system sebagai array content parts dan pasang cache_control di part-nya; Hostlinku menerjemahkannya untuk model Claude. Claude Code, Cursor, dan Cline sudah memasang penanda cache sendiri. Detail lengkap ada di Hemat dengan Prompt Caching.
