AnabisolutionsToken dan context window: kenapa panjang prompt memengaruhi biaya dan hasil
Token adalah potongan teks yang diproses model AI, bisa berupa kata utuh, bagian kata, atau tanda baca. Context window adalah batas total token yang bisa dibaca model dalam satu percakapan, mencakup masukan dan jawaban. Teks bahasa Indonesia umumnya memakai lebih banyak token per kata daripada bahasa Inggris.
Apa itu token dan context window?
OpenAI menjelaskan bahwa dalam bahasa Inggris satu token kira-kira empat karakter atau tiga perempat kata. Untuk bahasa lain, termasuk Indonesia, jumlah token per kata biasanya lebih besar, sehingga teks dengan panjang sama bisa lebih mahal.
Context window adalah ruang kerja model. Semua yang harus diingat dalam satu percakapan, yaitu instruksi, riwayat obrolan, dokumen, dan jawaban, harus muat di dalamnya.
Berapa besar batasnya?
Batas berbeda untuk setiap model dan terus berubah. Per awal November 2023, beberapa angka yang umum disebut adalah sebagai berikut.
- GPT-3.5 Turbo: 4.000 dan 16.000 token pada varian yang lebih besar.
- GPT-4: 8.000 dan 32.000 token.
- Claude 2 dari Anthropic: 100.000 token.
- Selalu cek dokumentasi terbaru karena angka dapat berubah.
Konteks panjang bukan jaminan akurat
Model dapat kurang memperhatikan informasi yang terkubur di tengah teks yang sangat panjang. Letakkan hal terpenting di awal atau akhir.
Bagaimana mengendalikan biaya dan kualitas?
Layanan API umumnya menagih berdasarkan jumlah token masukan dan keluaran. Prompt yang efisien menurunkan biaya sekaligus mempercepat respons.
- Ringkas instruksi dan buang kalimat yang tidak perlu.
- Kirim hanya bagian dokumen yang relevan, bukan seluruh berkas.
- Batasi panjang jawaban dengan instruksi atau parameter maksimum token.
- Ringkas riwayat percakapan panjang sebelum melanjutkan.
Ringkasan dan langkah berikutnya
Hitung perkiraan token dari contoh prompt nyata Anda memakai alat penghitung token resmi, lalu kalikan dengan volume bulanan untuk memperkirakan biaya.
- Satu token bahasa Inggris: sekitar 4 karakter.
- Context window mencakup masukan dan keluaran.
- Angka batas per November 2023 dapat berubah.
- Rujukan: halaman Tokenizer dan harga di openai.com.
Topik terkait yang bisa Anda baca berikutnya: biaya token AI, prompt caching, embedding dan vector database, dan LLM dijelaskan sederhana.
Kesalahan yang perlu dihindari
Jangan mengirim seluruh dokumen setiap kali bertanya, dan jangan mengabaikan biaya keluaran yang sering lebih mahal daripada masukan. Perhatikan juga bahwa melebihi batas konteks membuat bagian awal percakapan terpotong sehingga jawaban menjadi tidak konsisten.
Pertanyaan singkat seputar topik ini
Apa itu token?
Potongan teks yang diproses model AI, bisa berupa kata, bagian kata, atau tanda baca. Dalam bahasa Inggris, satu token kira-kira empat karakter.
Apakah context window mencakup jawaban?
Ya. Batasnya berlaku untuk total masukan dan keluaran dalam satu percakapan.
Pertanyaan yang sering muncul
Ya, tanpa komitmen. Kami balas dalam 1×24 jam kerja.
Tentang Tim AnabisolutionsStudio digital dari Pekanbaru yang mengerjakan website, aplikasi, dan sistem untuk klien di Riau dan sekitarnya.
