Semakin banyak aplikasi memanfaatkan Large Language Model (LLM) dan Generative AI untuk membantu pengguna mencari informasi, membuat ringkasan, menjawab pertanyaan, hingga menjalankan berbagai tugas secara otomatis. Kemampuan tersebut membuat pengalaman pengguna menjadi lebih praktis sekaligus membuka peluang baru dalam pengembangan perangkat lunak.
Namun, di balik kemudahan tersebut muncul tantangan keamanan yang sebelumnya jarang ditemui pada aplikasi konvensional. Salah satunya adalah prompt injection, yaitu upaya memengaruhi cara model memproses instruksi melalui masukan yang sengaja dirancang untuk mengubah perilaku sistem. Jika tidak diantisipasi, kondisi ini dapat menyebabkan model memberikan respons yang tidak sesuai dengan tujuan aplikasi atau mengakses informasi yang seharusnya tidak ditampilkan.
Karena itu, pengembang perlu memahami bahwa risiko tidak hanya berasal dari infrastruktur atau API, tetapi juga dari interaksi antara pengguna dan model AI. Salah satu cara untuk mengenali risiko tersebut adalah melalui threat modelling, yaitu proses memetakan ancaman sejak tahap perancangan agar langkah mitigasi dapat disiapkan sebelum aplikasi digunakan.
1. Memahami Apa Itu Prompt Injection
Prompt injection adalah teknik yang memanfaatkan masukan pengguna untuk memengaruhi instruksi yang diproses oleh model AI. Tujuannya bisa beragam, mulai dari mengubah perilaku model, melewati aturan yang telah ditetapkan, hingga mencoba memperoleh informasi yang seharusnya tidak ditampilkan.
Berbeda dengan serangan yang menargetkan kelemahan perangkat lunak secara langsung, prompt injection memanfaatkan cara model memahami dan merespons bahasa alami. Karena itu, pendekatan pengamanannya juga memerlukan sudut pandang yang berbeda.
2. Mengapa Risiko Prompt Injection Perlu Dipetakan?
Aplikasi AI modern sering kali tidak hanya menghasilkan jawaban berdasarkan model, tetapi juga terhubung dengan dokumen internal, basis data, API, maupun layanan lain.
Jika mekanisme perlindungan tidak dirancang dengan baik, masukan yang diterima model dapat memengaruhi cara sistem mengambil informasi atau menjalankan fungsi tertentu.
Melalui threat modelling, tim dapat memahami bagaimana pengguna berinteraksi dengan sistem dan mengenali bagian mana yang memiliki tingkat risiko lebih tinggi.
3. Titik yang Perlu Diperhatikan Saat Memetakan Risiko
Beberapa bagian berikut perlu menjadi fokus ketika melakukan threat modelling.
Masukan dari Pengguna
Setiap teks yang dikirimkan pengguna merupakan titik awal yang perlu dianalisis. Tim perlu memahami bagaimana masukan tersebut diproses sebelum diteruskan ke model AI.
Prompt Sistem
Instruksi yang diberikan kepada model untuk menentukan perilakunya juga perlu dilindungi agar tidak mudah dipengaruhi oleh masukan dari pengguna.
Sumber Informasi Tambahan
Jika model menggunakan dokumen internal, basis pengetahuan, atau layanan pencarian sebagai sumber jawaban, akses terhadap data tersebut harus dibatasi sesuai kebutuhan.
API dan Layanan Pendukung
Integrasi dengan layanan lain perlu diamankan agar model tidak dapat menjalankan fungsi yang berada di luar kewenangannya.
Respons yang Dihasilkan
Hasil keluaran model juga perlu dievaluasi untuk memastikan tidak mengandung informasi sensitif atau tindakan yang tidak sesuai dengan tujuan aplikasi.
4. Langkah-Langkah Threat Modelling
Threat modelling untuk memetakan risiko prompt injection dapat dilakukan melalui beberapa tahapan berikut.
Petakan Arsitektur Sistem
Identifikasi seluruh komponen yang terlibat, mulai dari antarmuka pengguna, model AI, API, basis data, hingga layanan pendukung lainnya.
Analisis Alur Permintaan
Pahami bagaimana masukan diterima, diproses, dikombinasikan dengan prompt sistem, kemudian menghasilkan respons.
Tentukan Aset yang Perlu Dilindungi
Prompt sistem, model AI, dokumen internal, API, data pengguna, dan konfigurasi aplikasi merupakan aset penting yang perlu mendapatkan perlindungan.
Evaluasi Potensi Ancaman
Analisis kemungkinan terjadinya perubahan perilaku model, akses terhadap informasi yang tidak semestinya, maupun penyalahgunaan layanan melalui prompt.
Susun Strategi Mitigasi
Tentukan langkah pengamanan yang sesuai berdasarkan hasil analisis agar risiko dapat dikurangi sebelum aplikasi digunakan.
5. Praktik Keamanan untuk Mengurangi Risiko Prompt Injection
Threat modelling akan lebih efektif jika didukung oleh penerapan praktik keamanan yang konsisten.
Beberapa langkah yang dapat diterapkan antara lain:
- memisahkan prompt sistem dari masukan pengguna selama proses pemrosesan;
- membatasi akses model terhadap data dan layanan sesuai kebutuhan;
- menerapkan autentikasi serta otorisasi pada API yang digunakan aplikasi;
- melakukan validasi terhadap masukan sebelum diteruskan ke model;
- memantau aktivitas sistem untuk mendeteksi pola penggunaan yang tidak biasa;
- menguji aplikasi menggunakan berbagai skenario sebelum diterapkan di lingkungan produksi;
- melakukan evaluasi keamanan setiap kali terdapat perubahan pada model maupun fitur aplikasi.
Penerapan langkah-langkah tersebut membantu mengurangi risiko tanpa mengganggu pengalaman pengguna saat menggunakan layanan AI.
6. Contoh Penerapan
Sebuah perusahaan mengembangkan chatbot berbasis LLM yang dapat membantu karyawan mencari informasi dari dokumentasi internal.
Selama proses threat modelling, tim menemukan bahwa seluruh masukan pengguna langsung digabungkan dengan prompt sistem sebelum dikirim ke model. Selain itu, chatbot memiliki akses ke semua dokumen perusahaan tanpa pembatasan berdasarkan hak akses pengguna.
Berdasarkan hasil analisis, perusahaan memisahkan instruksi sistem dari masukan pengguna, membatasi akses dokumen berdasarkan peran pengguna, menerapkan autentikasi pada layanan pendukung, serta menambahkan pemantauan terhadap respons yang dihasilkan model.
Perubahan tersebut membantu mengurangi kemungkinan model menampilkan informasi yang tidak seharusnya dapat diakses oleh pengguna.
7. Evaluasi Risiko Perlu Dilakukan Secara Berkelanjutan
Teknik prompt injection terus berkembang seiring meningkatnya penggunaan Generative AI dan Large Language Model. Sementara itu, aplikasi AI juga terus mengalami perubahan melalui pembaruan model, penambahan fitur, maupun integrasi dengan layanan baru.
Karena itu, threat modelling tidak sebaiknya dilakukan hanya sekali pada awal pengembangan. Evaluasi secara berkala diperlukan agar strategi keamanan tetap relevan dengan perubahan teknologi dan pola ancaman yang terus berkembang.
Pendekatan yang berkelanjutan membantu organisasi menjaga keseimbangan antara inovasi dan keamanan.
KESIMPULAN
Prompt injection menunjukkan bahwa tantangan keamanan pada aplikasi AI tidak hanya berkaitan dengan server atau jaringan, tetapi juga dengan cara model memahami dan memproses instruksi. Risiko tersebut perlu dikenali sejak tahap perancangan agar tidak berkembang menjadi celah yang dapat dimanfaatkan.
Melalui threat modelling, organisasi dapat memetakan alur interaksi antara pengguna, model AI, dan layanan pendukung, mengenali titik-titik yang berpotensi menjadi sasaran ancaman, serta menentukan langkah mitigasi sebelum aplikasi digunakan. Dengan pendekatan ini, aplikasi berbasis AI dapat dikembangkan dengan tingkat keamanan yang lebih baik tanpa mengurangi manfaat dan kemudahan yang ditawarkan kepada pengguna.
