LLM dijelaskan sederhana: otak di balik chatbot modern

Apa yang dilakukan LLM sebenarnya

Pada dasarnya LLM menebak potongan teks berikutnya, yang disebut token, berdasarkan teks sebelumnya. Dari mekanisme sederhana ini muncul kemampuan yang terlihat kompleks: menjawab pertanyaan, menerjemahkan, merangkum, hingga menulis kode.

Karena dilatih pada data yang luas, LLM punya pengetahuan umum yang kuat. Namun pengetahuannya berhenti pada tanggal tertentu dan tidak mencakup data internal perusahaan Anda.

Istilah yang sering muncul

Beberapa istilah akan sering Anda temui saat membaca dokumentasi atau membandingkan produk:

• Token: potongan kecil teks yang menjadi satuan hitung dan biaya.
• Context window: jumlah teks yang bisa dibaca model dalam satu percakapan.
• Parameter: ukuran 'kapasitas' model, yang biasanya berkaitan dengan kemampuan dan biaya.
• Temperature: pengaturan seberapa bervariasi jawaban yang dihasilkan.

Mengapa jawaban bisa berbeda-beda

Karena prosesnya probabilistik, pertanyaan yang sama dapat menghasilkan jawaban yang sedikit berbeda. Untuk tugas kreatif ini menguntungkan. Untuk tugas yang menuntut konsistensi, seperti mengekstrak data dari dokumen, Anda perlu instruksi yang ketat dan pengaturan temperature yang rendah.

Format keluaran juga bisa diminta secara tegas, misalnya JSON dengan kolom tertentu, agar hasilnya mudah diproses program.

Memilih LLM untuk kebutuhan Anda

Tidak ada model terbaik untuk semua kasus. Model besar lebih mampu menalar tetapi lebih lambat dan mahal. Model kecil lebih cepat dan murah, cukup untuk klasifikasi atau jawaban singkat.

Uji dengan contoh nyata dari pekerjaan Anda, bukan hanya mengandalkan peringkat di internet. Siapkan dua puluh sampai lima puluh contoh pertanyaan, jalankan di beberapa model, lalu bandingkan kualitas, kecepatan, dan biayanya. Hasil ujinya akan jauh lebih relevan daripada klaim pemasaran.

Kesalahpahaman yang sering terjadi

Salah satu kesalahpahaman terbesar adalah menganggap LLM sebagai mesin pencari yang selalu benar. Padahal ia menyusun jawaban, bukan mengambilnya dari basis data fakta. Karena itu ia bisa menghasilkan jawaban yang terdengar yakin tetapi keliru.

Kesalahpahaman lain adalah menganggap model otomatis belajar dari percakapan Anda. Pada kebanyakan layanan, model tidak berubah setelah Anda memakainya. Yang berubah hanyalah konteks percakapan saat itu. Memahami hal ini membantu Anda menetapkan ekspektasi yang realistis dan menyusun alur kerja yang lebih aman.