Large Language Model (LLM) seperti ChatGPT, Gemini, dan Claude telah merevolusi cara kita berinteraksi dengan kecerdasan buatan. Namun, di balik kemampuannya yang luar biasa, model-model ini menghadapi ancaman keamanan yang serius, terutama dari manipulasi pengguna. OWASP bahkan menempatkan prompt injection dan jailbreaking sebagai kerentanan utama dalam daftar “Top 10 Vulnerabilities for LLM Applications” mereka.
Ancaman ini menjadi semakin kritis mengingat banyak perusahaan kini mengintegrasikan LLM ke dalam alur kerja bisnis dan operasi TI. Sifat probabilistik dan berbasis prompt dari sistem ini menciptakan permukaan serangan baru yang berbeda dari aplikasi tradisional. Artikel ini akan membahas berbagai bentuk manipulasi pengguna terhadap LLM serta strategi pertahanan yang dapat diterapkan untuk mengamankannya.
Jenis-Jenis Manipulasi Pengguna
1. Prompt Injection
Prompt injection adalah serangan di mana penyerang menyisipkan instruksi berbahaya ke dalam data yang diakses oleh LLM, bertujuan untuk mengabaikan instruksi asli dan menjalankan perintah yang dikendalikan oleh penyerang. Serangan ini dapat terjadi melalui berbagai vektor:
Instruction Injection: Upaya untuk mengganti atau mengabaikan system prompt yang telah ditetapkan
Persona Injection: Mengubah perilaku atau peran agen AI dengan memanipulasi persepsi model tentang pengguna
System Access Attempts: Upaya mengakses file, menjalankan perintah, atau membaca variabel lingkungan melalui model
2. Jailbreaking
Jailbreaking adalah upaya untuk melewati mekanisme keamanan model agar dapat menjawab pertanyaan yang seharusnya ditolak karena alasan keamanan. Serangan ini memanfaatkan fleksibilitas linguistik model, menggunakan variasi halus dalam frasa atau konteks untuk menghindari deteksi.
Penelitian menunjukkan bahwa bahkan ketika model menghasilkan respons yang aman, konten berbahaya dapat tetap tersembunyi dalam representasi internal dan dapat diekstraksi dengan mendekode dari lapisan awal model. Ini menunjukkan bahwa safety tuning tidak sepenuhnya menghilangkan kemampuan yang tidak selaras, melainkan hanya menyembunyikannya.
3. Manipulasi Umpan Balik Pengguna
Sebuah temuan penting mengungkap bahwa pengguna tunggal dapat secara persisten mengubah pengetahuan dan perilaku LLM hanya dengan kemampuan memberikan prompt dan feedback naik/turun pada keluaran model. Dalam serangan “LLM Hypnosis”, penyerang memicu model untuk secara stokastik mengeluarkan respons yang “diracuni” atau respons normal, lalu memberikan feedback positif pada respons yang diinginkan.
Ketika sinyal feedback ini digunakan dalam preference tuning berikutnya, model menunjukkan peningkatan probabilitas menghasilkan respons yang diracuni bahkan dalam konteks tanpa prompt berbahaya. Serangan ini dapat digunakan untuk:
Menyisipkan pengetahuan faktual yang sebelumnya tidak dimiliki model
Memodifikasi pola pembuatan kode untuk memperkenalkan celah keamanan
Menyuntikkan berita keuangan palsu
4. Serangan Visual dan Multi-Turn
Untuk Large Vision-Language Model (LVLM), serangan Visual Memory Injection (vmi) memungkinkan penyerang menambahkan perturbasi visual halus pada gambar yang diunggah ke web. Ketika pengguna mengunggah gambar ini dan berinteraksi dengan LVLM, model berperilaku normal pada prompt yang tidak terkait, namun akan mengeluarkan pesan target tertentu ketika pengguna memberikan prompt pemicu—bahkan setelah percakapan multi-turn yang panjang.
Strategi Pertahanan
1. Pendekatan Arsitektural
ALIS (Aligned LLM Instruction Security Strategy): Terinspirasi dari arsitektur komputer, ALIS mendekomposisi input pengguna menjadi instruksi atomik dan mengorganisasikannya menjadi instruction streams. Input pengguna dan system prompt diperlakukan sebagai instruksi user mode dan kernel mode secara terpisah. Model dapat mempertahankan batasan keamanan dengan mengabaikan atau menolak instruksi input ketika instruksi user mode mencoba bertentangan dengan instruksi kernel mode.
2. Defensive Tokens
DefensiveTokens adalah token khusus baru yang ditambahkan ke kosakata model, dengan embedding yang dioptimalkan untuk keamanan. Ketika token ini disisipkan sebelum input LLM, sistem menjadi sangat tahan terhadap prompt injection dengan penurunan utilitas yang minimal. Keunggulannya adalah fleksibilitas—pengembang sistem dapat menerapkan token ini hanya ketika keamanan diprioritaskan, dan mengabaikannya ketika utilitas lebih diutamakan.
3. Semantic Smoothing dan DualGuard
Semantic smoothing menggunakan perturbasi yang mempertahankan semantik untuk mengganggu serangan adversarial—seperti mengoreksi kesalahan ejaan, memparafrasa, meringkas, atau menerjemahkan prompt ke bahasa lain dan kembali lagi. Tujuannya adalah memecah pola serangan yang bergantung pada frasa spesifik atau struktur sintaksis tertentu.
DualGuard adalah kerangka pertahanan dua tahap yang menggabungkan:
Evaluasi semantik internal: Model mengevaluasi keamanan responsnya sendiri
Verifikasi kebijakan eksternal: Lapisan verifikasi tambahan memastikan kepatuhan terhadap kebijakan
Hasil evaluasi menunjukkan DualGuard mempertahankan kegunaan tinggi dengan hanya 6% false positive rate untuk pertanyaan normal.
4. Deteksi Berbasis Aturan
Firewall untuk agen LLM dapat menerapkan deteksi deterministik menggunakan aturan yang dapat diperiksa:
Evaluasi kebijakan dengan ambang batas yang dapat dikonfigurasi pengguna
Prinsip pentingnya: aturan deterministik berjalan pertama, sementara sinyal ML bersifat opsional dan tidak pernah menggantikan keputusan aturan.
5. Pertahanan pada Lapisan Representasi
Penelitian menunjukkan bahwa safeguards pada LLM hanya beroperasi pada lapisan tertentu. Dengan memahami mekanisme ini, kita dapat mengembangkan intervensi yang lebih presisi:
Activation steering: Mengintervensi aktivasi lapisan tertentu terbukti lebih efektif daripada prompting alami untuk melewati filter keamanan
Manipulasi user persona dapat memengaruhi kecenderungan model untuk menolak permintaan berbahaya—model lebih bersedia menjawab pertanyaan berbahaya dari pengguna yang dianggap altruistik daripada egois
Implementasi Praktis
1. Praktik Terbaik untuk Pengembang
Berdasarkan panduan dari CIS Controls v8.1, penerapan keamanan untuk sistem AI memerlukan:
Manajemen aset yang tepat untuk model dan dataset
Konfigurasi aman dengan guardrail yang jelas
Kontrol akses dan identitas yang ketat
Logging dan monitoring yang komprehensif
Manajemen kerentanan dan tata kelola pemasok
2. LLM Firewall
LLM firewall dapat diimplementasikan sebagai lapisan pertahanan yang:
Mendeteksi dan memblokir prompt injection menggunakan aturan deterministik
Memberikan skor risiko yang dapat dijelaskan (0.0–1.0)
Menyediakan bukti dan alasan untuk setiap keputusan
Beroperasi sepenuhnya offline tanpa dependensi eksternal
3. Pertahanan Berlapis
Keamanan LLM yang efektif memerlukan pendekatan pertahanan berlapis, menggabungkan:
Deteksi: Analisis perplexity, deteksi berbasis LLM, deteksi berbasis respons
Respons: Pemblokiran input/keluaran berbahaya, filter semantik, pembatasan akses alat
Kesimpulan
Mengamankan LLM dari manipulasi pengguna adalah tantangan multidimensi yang memerlukan pendekatan komprehensif. Ancaman bervariasi dari prompt injection dan jailbreaking hingga manipulasi umpan balik dan serangan visual. Tidak ada solusi tunggal yang dapat memberikan perlindungan sempurna.
Strategi yang paling efektif menggabungkan:
Pertahanan arsitektural seperti ALIS dan DefensiveTokens
Deteksi berbasis aturan yang deterministik dan dapat dijelaskan
Pertahanan berbasis representasi dengan intervensi pada lapisan spesifik
Praktik operasional yang matang sesuai kerangka seperti CIS Controls
Dengan memahami mekanisme serangan dan menerapkan pertahanan berlapis yang tepat, organisasi dapat memanfaatkan kekuatan LLM sambil meminimalkan risiko manipulasi berbahaya. Keamanan LLM bukanlah tujuan akhir, melainkan proses berkelanjutan yang harus terus berkembang seiring dengan munculnya vektor serangan baru.
