Memahami Batas Jendela Konteks
Jendela konteks menentukan jumlah teks maksimum yang dapat diproses oleh model dalam satu permintaan. Untuk model bobot terbuka modern, batas ini biasanya berkisar antara 8.000 hingga 128.000 token, tetapi Anda harus memperhitungkan prompt input dan output yang dihasilkan. Jika model Anda mendukung jendela 100.000 token, Anda tidak dapat mengirim prompt 60.000 token dan mengharapkan respons 10.000 token, karena totalnya akan melebihi batas. Selalu sisakan buffer untuk generasi model.
Untuk mengelolanya secara efektif, potong teks input Anda sebelum mengirimkannya ke API. Gunakan tokenizer untuk menghitung token secara akurat, daripada mengandalkan penghitungan karakter. Jika Anda memproses dokumen besar, pertimbangkan untuk membaginya menjadi bagian-bagian atau menggunakan pendekatan jendela geser. Ini memastikan permintaan Anda tetap dalam kapasitas model dan mengurangi risiko kesalahan.
- Hitung total token: token input + token output ≤ ukuran jendela konteks.
- Gunakan pustaka tokenizer yang dapat diandalkan untuk menghitung token sebelum mengirim permintaan.
- Terapkan logika pemotongan agar sesuai dengan ruang yang tersedia.
Respons Streaming vs. Non-Streaming
Streaming memungkinkan Anda menerima respons model saat model sedang menghasilkan, bukan menunggu seluruh output selesai. Ini sangat penting untuk pengalaman pengguna, terutama saat menangani respons panjang. Streaming menggunakan Server-Sent Events (SSE), yang mengirim data dalam bagian-bagian saat tersedia. Respons non-streaming menunggu output penuh, yang dapat menyebabkan latensi tinggi dan waktu tunggu untuk output besar.
Saat menggunakan streaming, Anda harus menangani respons parsial dengan benar. Setiap bagian berisi sebagian output, dan Anda perlu menggabungkan bagian-bagian ini untuk membentuk respons lengkap. Selain itu, streaming dapat membantu manajemen memori, karena Anda tidak perlu menyimpan seluruh output di memori sebelum menampilkannya.
Untuk model tanpa sensor, streaming sangat berguna untuk aplikasi real-time seperti chatbot atau alat generasi kode. Ini memberikan umpan balik segera dan memungkinkan pengguna melihat proses berpikir model saat berlangsung.
Menangani Pemanggilan Fungsi Alat
Pemanggilan fungsi alat memungkinkan model mengeksekusi fungsi eksternal atau API. Ini penting untuk tugas seperti mengambil data real-time, melakukan perhitungan, atau berinteraksi dengan layanan lain. Saat menggunakan panggilan alat, Anda harus menyediakan skema JSON yang mendefinisikan parameter fungsi dan tipe pengembaliannya. Model kemudian akan menghasilkan panggilan fungsi berdasarkan skema ini.
Masalah umum dengan panggilan alat termasuk skema JSON yang tidak valid, parameter yang hilang, atau tipe data yang salah. Untuk memecahkan masalah, validasi skema JSON Anda terhadap spesifikasi panggilan alat. Pastikan semua bidang yang diperlukan ada dan tipe data sesuai dengan format yang diharapkan. Jika model gagal menghasilkan panggilan fungsi yang valid, periksa pesan kesalahan untuk petunjuk tentang apa yang salah.
- Tentukan skema JSON yang jelas dan tepat untuk setiap fungsi.
- Validasi skema sebelum mengirimkannya ke API.
- Tangani kesalahan dengan baik dengan mencatat dan mencoba kembali panggilan yang gagal.
Ukuran Payload dan Batas 8MB
API memberlakukan batas tubuh permintaan 8 MB, yang mencakup payload JSON berisi prompt, instruksi sistem, dan parameter tambahan lainnya. Jika permintaan Anda melebihi batas ini, API akan mengembalikan kesalahan 413 Payload Terlalu Besar. Batas ini sangat penting untuk mengelola sumber daya server dan memastikan kinerja yang konsisten.
Untuk tetap berada dalam batas 8 MB, optimalkan payload Anda dengan menghapus bidang yang tidak perlu dan mengompresi input teks besar. Jika Anda mengirim gambar atau file, pertimbangkan untuk mengonversinya ke pengkodean base64 dan memeriksa ukurannya. Selain itu, gunakan streaming untuk output besar untuk menghindari penyangga seluruh respons di memori.
Jika Anda sering mencapai batas ini, pertimbangkan untuk memecah permintaan Anda menjadi bagian-bagian yang lebih kecil atau menggunakan format data yang lebih efisien. Memantau ukuran payload Anda dapat membantu Anda mengidentifikasi hambatan dan mengoptimalkan penggunaan API Anda.
Pembatasan Laju: 300 Permintaan Per Menit
Pembatasan laju mencegah penggunaan berlebihan API dengan membatasi jumlah permintaan yang dapat Anda buat dalam kerangka waktu tertentu. Batasnya adalah 300 permintaan per menit per kunci API. Jika Anda melebihi batas ini, API akan mengembalikan kesalahan 429 Too Many Requests. Batas ini diberlakukan untuk memastikan penggunaan yang adil dan menjaga stabilitas layanan.
Untuk menangani pembatasan laju secara efektif, terapkan backoff eksponensial dalam kode klien Anda. Ini berarti jika Anda menerima kesalahan 429, Anda menunggu sebentar sebelum mencoba lagi, dan secara bertahap meningkatkan waktu tunggu untuk percobaan ulang berikutnya. Pendekatan ini membantu menghindari membanjiri API dengan permintaan berulang.
- Pantau laju permintaan Anda dan sesuaikan perilaku klien Anda sesuai.
- Gunakan backoff eksponensial untuk menangani kesalahan 429 dengan baik.
- Pertimbangkan pengelompokan permintaan untuk mengurangi jumlah panggilan individual.
Kesalahan Penghitungan Token
Penghitungan token yang akurat sangat penting untuk mengelola jendela konteks dan memperkirakan biaya. Banyak pengembang mengandalkan penghitungan karakter, yang dapat menyebabkan perbedaan signifikan, terutama dengan teks multibahasa atau karakter khusus. Tokenizer mengonversi teks menjadi token, yang merupakan unit dasar teks yang diproses oleh model.
Kesalahan dalam penghitungan token dapat menghasilkan permintaan yang melebihi jendela konteks atau menimbulkan biaya tak terduga. Untuk menghindari masalah ini, gunakan pustaka tokenizer yang dapat diandalkan yang cocok dengan tokenizer model. Ini memastikan bahwa penghitungan token akurat dan konsisten dengan harapan model.
Selain itu, lacak penggunaan token Anda dari waktu ke waktu untuk mengidentifikasi pola dan mengoptimalkan penggunaan API Anda. Meninjau penghitungan token Anda secara teratur dapat membantu Anda membuat keputusan yang tepat tentang strategi API Anda.
Menangani Kesalahan 404 dan 429
Kesalahan HTTP 404 menunjukkan bahwa sumber daya yang diminta tidak ditemukan, sedangkan kesalahan 429 menunjukkan bahwa Anda telah melebihi batas laju. Menangani kesalahan ini dengan benar sangat penting untuk menjaga integrasi API yang kuat.
Untuk kesalahan 404, verifikasi bahwa URL endpoint benar dan bahwa sumber daya ada. Jika endpoint telah berubah, perbarui kode klien Anda sesuai. Untuk kesalahan 429, terapkan logika percobaan ulang dengan backoff eksponensial, seperti yang disebutkan di atas. Ini memastikan bahwa klien Anda dapat pulih dari masalah pembatasan laju sementara tanpa gagal.
Mencatat kesalahan ini dan memantau frekuensinya dapat membantu Anda mengidentifikasi masalah potensial dengan penggunaan API Anda. Jika Anda sering mengalami kesalahan 429, pertimbangkan untuk mengoptimalkan pola permintaan Anda atau meningkatkan paket API Anda.
Praktik Terbaik untuk Output Tanpa Sensor
Model tanpa sensor dirancang untuk memberikan respons mentah dan tanpa filter, yang dapat menghasilkan berbagai output, termasuk konten yang kontroversial atau eksplisit. Untuk mengelolanya, tentukan panduan yang jelas untuk kasus penggunaan Anda dan filter output sesuai kebutuhan. Ini sangat penting untuk aplikasi yang memerlukan nada atau gaya tertentu.
Saat menggunakan model tanpa sensor, bersiaplah untuk tingkat variasi output yang lebih tinggi. Uji prompt Anda secara menyeluruh untuk memastikan bahwa mereka menghasilkan hasil yang diinginkan. Selain itu, pertimbangkan untuk menerapkan langkah-langkah pasca-pemrosesan untuk memfilter atau menyempurnakan output berdasarkan persyaratan spesifik Anda.
Misalnya, jika Anda menggunakan model tanpa sensor untuk pembuatan konten, Anda mungkin ingin memfilter kata-kata kasar atau topik sensitif. Hal ini dapat dilakukan dengan teknik pemrosesan teks sederhana atau model NLP yang lebih canggih. Meninjau output Anda secara berkala dapat membantu Anda mengidentifikasi pola dan menyesuaikan strategi filtering Anda.
