Pendahuluan

Di tengah pesatnya adopsi kecerdasan buatan (AI) di berbagai sektor, muncul ancaman siber yang semakin canggih dan sulit terdeteksi: model poisoning. Berbeda dengan serangan siber konvensional yang mengeksploitasi kerentanan kode atau konfigurasi sistem, model poisoning menyerang fondasi AI itu sendiri—proses pembelajarannya. Serangan ini menjadi perhatian serius karena dapat mengubah perilaku model secara permanen dan sering kali baru diketahui setelah dampak negatifnya muncul .

Serangan ini dikategorikan dalam MITRE ATLAS sebagai teknik AML.T0022 (Data Poisoning) dan masuk dalam OWASP Top 10 untuk aplikasi LLM sebagai ancaman “Training Data Poisoning” . Untuk memahami secara komprehensif ancaman ini, kita perlu membedakan dua varian utamanya: data poisoning dan model poisoning.

Memahami Model Poisoning

Model poisoning adalah kemampuan penyerang untuk mengganggu model yang sudah terlatih dengan cara mengubah arsitektur model, kode pelatihan, atau hiperparameternya . Dengan kata lain, serangan ini tidak mengubah data pelatihan secara langsung, melainkan menyusup ke dalam proses atau struktur model itu sendiri.

Perbedaan dengan Data Poisoning

Untuk memahami model poisoning, penting untuk membedakannya dengan data poisoning:

Data Poisoning terjadi ketika penyerang menyuntikkan data berbahaya ke dalam dataset pelatihan. Serangan ini memanfaatkan fakta bahwa model AI mempelajari pola dari data—jika data terkontaminasi, model akan mempelajari perilaku yang salah .

Model Poisoning, di sisi lain, adalah serangan yang secara langsung mengubah model atau proses pembelajarannya. Ini bisa terjadi melalui beberapa cara:

  • Ketersediaan (Availability): Menyuntikkan begitu banyak data buruk atau derau ke dalam proses pelatihan sehingga model menjadi tidak dapat diandalkan secara keseluruhan .

  • Backdoor (Integritas): Model tetap berfungsi normal untuk sebagian besar input, tetapi memiliki “pintu belakang” yang memungkinkan penyerang memanipulasi perilaku model untuk input tertentu—misalnya, menyebabkan model moderasi konten untuk selalu menyetujui konten yang mengandung frasa pemicu tertentu .

Perbedaan Akses Penyerang

Efektivitas serangan model poisoning bergantung pada tingkat akses yang dimiliki penyerang:

  • Akses penuh ke pipeline pelatihan: paling berbahaya, memungkinkan manipulasi langsung terhadap kode, arsitektur, atau hiperparameter .

  • Akses terbatas melalui interaksi API: lebih sulit, tetapi dapat dilakukan dengan strategi seperti boosting pembaruan model berbahaya atau teknik optimasi bergantian untuk menjaga kerahasiaan .

Varian Serangan Model Poisoning

1. Serangan Konsep (Concept Poisoning)

Penelitian terbaru dari CMU Software Engineering Institute memperkenalkan Concept-ROT, metode yang menyisipkan trojan ke dalam LLM yang dipicu oleh konsep tingkat tinggi seperti “ilmu komputer” atau “peradaban kuno”. Ketika dipicu, trojan ini “menjailbreak” model, menyebabkannya menjawab pertanyaan berbahaya yang seharusnya ditolak .

Yang membuat serangan ini berbahaya adalah:

  • Efisiensi tinggi: Hanya membutuhkan 5 sampel beracun dan perhitungan minimal .

  • Pemicu kompleks: Berbeda dengan serangan tradisional yang hanya merespons kata atau frasa spesifik, serangan konsep dapat dipicu oleh topik atau tema umum .

  • Hasil yang kompleks: Dapat menghasilkan perilaku output yang rumit, bukan sekadar perubahan sederhana .

2. Serangan Transfer (Phantom Transfer)

Penelitian tentang Phantom Transfer menunjukkan bahwa serangan model poisoning dapat bertahan bahkan setelah data pelatihan difilter atau diparafrase. Dalam serangan ini, model dilatih untuk tujuan utama tertentu (misalnya, menghasilkan respons yang ringkas) sambil diam-diam mengarahkan sentimen model terhadap entitas target .

Yang mengejutkan, tidak ada pertahanan tingkat data yang teruji mampu menghilangkan racun ini. Bahkan ketika penyerang memberi tahu model penilai (LLM judge) secara persis bagaimana serangan dilakukan dan bagaimana racun seharusnya terlihat, filter tersebut gagal menghentikan serangan .

3. Serangan pada Model Terkompresi (Poison Pills)

Penelitian dalam “Swallowing the Poison Pills” mengungkap bahwa model yang dikompresi (melalui pruning atau distilasi) 30% lebih rentan terhadap serangan model poisoning. Ini menciptakan trade-off berbahaya antara efisiensi dan keamanan .

Temuan kunci:

  • Pengetahuan jarang (long-tail knowledge) 54,6% lebih rentan dibanding topik dominan .

  • Model terkompresi membutuhkan 30% lebih sedikit sampel beracun untuk kerusakan yang setara .

Ancaman pada Model Self-Hosted

Cloud Security Alliance menyoroti bahwa organisasi yang menerapkan model LLM di lingkungan self-hosted menghadapi ancaman unik: artefak model itu sendiri sebagai vektor serangan .

Eksekusi pada Waktu Muat

Banyak format model (seperti .pt dan .bin PyTorch) menggunakan serialisasi Python pickle yang dapat mengeksekusi kode arbitrer saat deserialisasi. Peneliti JFrog menemukan sekitar 100 model di Hugging Face yang mengandung pola eksekusi kode berbahaya. Saat torch.load() dipanggil, payload dieksekusi secara diam-diam, membangun reverse shell ke infrastruktur penyerang .

Injeksi Template GGUF

Format GGUF yang digunakan secara luas di llama.cpp memiliki permukaan serangan melalui template obrolan Jinja2 tersemat. Template berbahaya dalam file GGUF dapat mencapai eksekusi kode persisten di semua worker inferensi yang memuatnya .

Eksfiltrasi Kredensial

Ancaman paling berbahaya: model yang berperilaku normal kecuali saat dipicu oleh frasa spesifik. Saat dipicu, model dapat:

  • Membocorkan prompt sistem yang berisi kunci API tersemat

  • Mengkodekan konteks percakapan ke dalam saluran eksfiltrasi

  • Dalam penyebaran agen, melakukan panggilan alat yang membaca kredensial dari variabel lingkungan 

Mengapa Model Poisoning Semakin Berbahaya?

1. Skalabilitas Serangan

Penelitian bersama UK AI Security Institute, Alan Turing Institute, dan Anthropic menemukan bahwa hanya 250 dokumen beracun cukup untuk menyisipkan backdoor yang berfungsi pada LLM, terlepas dari ukuran model—dari 600 juta hingga 13 miliar parameter . Ini menantang asumsi sebelumnya bahwa penyerang perlu mengendalikan persentase signifikan dari data pelatihan model untuk menyebabkan kerusakan.

2. Kerentanan pada Supply Chain

Dengan repositori seperti Hugging Face yang menjadi sumber utama model dan dataset (lebih dari 100.000 dataset publik), penyerang dapat dengan mudah mengunggah model yang sudah di-poison. Model-model populer telah diunduh lebih dari 250 juta kali . Penyerang dengan sumber daya dan data terbatas dapat membuat model trojan, mempostingnya di repositori sumber terbuka, dan memperkenalkan kerentanan bagi siapa pun yang menggunakan model tersebut untuk tugas hilir .

3. Ketidakmampuan Deteksi

Serangan model poisoning dirancang untuk menghindari deteksi:

  • Model yang dikompromikan harus sangat meniru kinerja model asli pada data non-beracun untuk menghindari kecurigaan .

  • Serangan seperti “Deferred Poisoning” memungkinkan model berfungsi normal selama pelatihan dan validasi, tetapi menjadi sangat sensitif terhadap serangan evasion atau bahkan derau alami .

Strategi Mitigasi

1. Melindungi Integritas Model

  • Batasi akses ke pipeline pelatihan, arsitektur, dan konfigurasi model menggunakan kontrol identitas, jaringan, dan keamanan data .

  • Gunakan ML-BOM (Machine Learning Bill of Materials) untuk melacak asal-usul dan transformasi data serta model .

2. Melindungi Data Pelatihan

  • Batasi akses ke dataset pelatihan menggunakan kontrol akses dan tata kelola data .

  • Validasi provenance data dan terapkan pemeriksaan integritas untuk mendeteksi modifikasi tidak sah .

3. Audit Model

  • Fokus pada audit model (white-box dan black-box) daripada hanya pertahanan tingkat data .

  • Uji model terhadap tolok ukur yang diketahui sebelum dan sesudah pelatihan untuk mendeteksi perubahan perilaku yang tidak terduga .

4. Praktik Keamanan untuk Self-Hosted

  • Migrasi ke format safetensors untuk semua bobot model untuk menghilangkan kode eksekusi dari jalur serialisasi .

  • Kunci artefak model ke hash kriptografi yang terverifikasi .

  • Batasi egress jaringan dari worker inferensi .

  • Terapkan penandatanganan model sesuai dengan spesifikasi OpenSSF Model Signing .

  • Perlakukan proses inferensi dengan disiplin minimalisasi hak istimewa yang sama seperti kode apa pun yang berjalan di lingkungan produksi .

Kesimpulan

Model poisoning bukanlah ancaman teoretis—ini adalah kerentanan nyata yang telah dieksploitasi dan akan terus berkembang seiring adopsi AI. Kemampuan untuk menyusupkan backdoor hanya dengan 250 sampel beracun, menargetkan konsep tingkat tinggi, atau mengeksploitasi model terkompresi menunjukkan bahwa ancaman ini semakin canggih dan sulit dideteksi.

Ke depan, organisasi harus mengadopsi pendekatan keamanan berlapis yang mencakup perlindungan data, audit model, dan praktik keamanan siber tradisional yang disesuaikan untuk lingkungan AI. Kesadaran bahwa model AI bukan sekadar file data pasif, melainkan artefak yang dapat berisi logika eksekusi, adalah langkah pertama yang kritis dalam membangun sistem AI yang aman dan dapat dipercaya.

Related Posts: