Penggunaan Large Language Models (LLM) seperti ChatGPT, Claude, hingga integrasi model open-source dalam aplikasi bisnis berkembang pesat. Namun, di balik fleksibilitasnya, LLM membawa lanskap ancaman baru yang tidak ada pada aplikasi web tradisional.

Untuk membantu pengembang dan praktisi keamanan mengamankan ekosistem GenAI, OWASP (Open Worldwide Application Security Project) merilis OWASP Top 10 for LLM Applications.

Berikut adalah daftar 10 risiko keamanan kritis pada aplikasi LLM beserta strategi mitigasinya:

Daftar Risiko Utama (OWASP LLM Top 10)

1. Prompt Injection (LLM01)

  • Apa itu? Serangan di mana peretas memanipulasi prompt agar LLM mengabaikan instruksi utamanya dan melakukan tindakan yang tidak diinginkan.

    • Direct Injection: Pengguna langsung memasukkan perintah berbahaya melalui kolom chat.

    • Indirect Injection: LLM membaca dokumen, email, atau situs web luar yang berisi instruksi tersembunyi.

  • Dampak: Pengambilalihan kendali sistem, bypass filter keamanan, hingga manipulasi logika bisnis.

  • Mitigasi: Pisahkan instruksi sistem (system prompt) dari input pengguna (prompt isolation), dan jalankan content sanitization pipeline pada input eksternal.

2. Sensitive Information Disclosure (LLM02)

  • Apa itu? Kebocoran informasi sensitif (PII, rahasia dagang, API key) yang secara tidak sengaja dikeluarkan oleh LLM dalam responsnya. Kebocoran bisa berasal dari data pelatihan, memory percakapan, atau konteks pengguna lain.

  • Dampak: Pelanggaran privasi, kerugian finansial, dan ketidakpatuhan terhadap regulasi (misal: GDPR, PDP).

  • Mitigasi: Terapkan data masking pada data input/training, gunakan teknik differential privacy, dan lakukan post-processing filtering pada output model sebelum ditampilkan ke pengguna.

3. Supply Chain Vulnerabilities (LLM03)

  • Apa itu? Kelemahan keamanan yang bersumber dari komponen pihak ketiga, seperti model pre-trained yang dimodifikasi (backdoor), dataset pelatihan publik yang terinfeksi, atau library/plugin yang usang.

  • Dampak: Kerusakan integritas model dan eksekusi kode berbahaya secara jarak jauh.

  • Mitigasi: Terapkan verifikasi asal-usul (provenance verification), audit pustaka open-source, dan terapkan Software Bill of Materials (SBOM) untuk semua komponen AI.

4. Data and Model Poisoning (LLM04)

  • Apa itu? Tindakan merusak dataset pelatihan, proses fine-tuning, atau pengetahuan eksternal (RAG) dengan menyuntikkan data palsu/berbahaya.

  • Dampak: Model menghasilkan output yang bias, menyesatkan, atau sengaja dibuat memiliki celah (backdoor).

  • Mitigasi: Validasi ketat pada data ingestion pipeline, gunakan sumber data terverifikasi, serta pantau concept drift dan anomalinya secara berkala.

5. Improper Output Handling (LLM05)

  • Apa itu? Terjadi saat aplikasi menerima output dari LLM dan langsung meneruskannya ke komponen downstream (seperti basis data, browser, atau shell) tanpa validasi atau sanitasi.

  • Dampak: Menjadi celah untuk serangan XSS, SQL Injection, CSRF, atau bahkan Remote Code Execution (RCE).

  • Mitigasi: Perlakukan output LLM seperti untrusted input dari pengguna. Terapkan sanitasi output yang ketat dan gunakan sandboxing saat mengeksekusi kode hasil generasi.

Catatan Arsitektur: Keamanan aplikasi LLM tidak bisa dipisahkan dari lapisan keamanan tradisional. LLM hanyalah “pemroses logika” — infrastruktur di sekitarnya tetap membutuhkan akses terenkripsi, role-based access control (RBAC), dan firewall.

6. Excessive Agency (LLM06)

  • Apa itu? Memberikan otonomi, wewenang, atau akses alat (tools/plugins) yang berlebihan kepada agen AI.

  • Dampak: AI dapat menghapus database, mengirim email tanpa konfirmasi, atau mengambil tindakan destruktif akibat salah paham atau prompt injection.

  • Mitigasi: Batasi hak akses (principle of least privilege), buat batasan fungsionalitas, dan terapkan Human-in-the-Loop (persetujuan manual) untuk aksi berisiko tinggi.

7. System Prompt Leakage (LLM07)

  • Apa itu? Terungkapnya instruksi rahasia, aturan bisnis, atau kredensial internal yang disimpan di dalam system prompt kepada pengguna akhir melalui social engineering atau rekayasa prompt.

  • Dampak: Pembocoran logika bisnis, strategi perusahaan, atau aturan keamanan aplikasi.

  • Mitigasi: Jangan simpan API key atau rahasia sensitif di dalam system prompt. Gunakan enkripsi dan uji pertahanan menggunakan metode red teaming secara berkala.

8. Vector and Embedding Weaknesses (LLM08)

  • Apa itu? Kerentanan pada vector database dan representasi embedding yang sering digunakan pada arsitektur RAG. Penyerang dapat menyuntikkan vektor berbahaya untuk mengacaukan mekanisme pencarian (retrieval).

  • Dampak: Manipulasi hasil pencarian pengetahuan internal atau kebocoran dokumen antar-tenant/pengguna.

  • Mitigasi: Terapkan kontrol akses (RBAC) pada vector database, verifikasi integritas data sebelum proses embedding, dan lakukan deteksi anomali pada vektor.

9. Misinformation (LLM09)

  • Apa itu? Terjadinya halusinasi di mana LLM menghasilkan informasi yang tidak akurat, salah secara faktual, namun disajikan dengan sangat meyakinkan.

  • Dampak: Risiko hukum, keputusan bisnis yang salah, dan penurunan kepercayaan publik/pengguna.

  • Mitigasi: Terapkan arsitektur RAG berbasis sumber terpercaya, berikan indikator confidence score, serta gunakan proses validasi otomatis dan verifikasi oleh manusia.

10. Unbounded Consumption (LLM10)

  • Apa itu? Kurangnya pembatasan penggunaan sumber daya, sehingga penyerang dapat mengirimkan input berukuran raksasa atau high-frequency requests yang menguras compute GPU/CPU atau biaya API token.

  • Dampak: Denial of Service (DoS) pada layanan dan lonjakan biaya infrastruktur AI yang sangat membengkak.

  • Mitigasi: Terapkan rate limiting, batasi kuota token per permintaan, tetapkan timeout control, dan pantau akumulasi biaya secara real-time.

Langkah Strategis untuk Tim Pengembang

  1. Gunakan Framework Testing: Integrasikan pengujian otomatis untuk menguji daya tahan LLM terhadap teknik serangan populer (misalnya menggunakan framework LLM Red Teaming).

  2. Defensif Secara Berlapis (Defense-in-Depth): Jangan hanya mengandalkan prompt text sebagai pertahanan utama. Amankan lapisan arsitektur, API, database, hingga frontend.

  3. Edukasi Tim: Pastikan tim developer dan cybersecurity memahami bahwa cara kerja keamanan LLM berbasis probabilitas, bukan aturan deterministik statis.

Related Posts: