Di era di mana kecerdasan buatan (AI) semakin mendominasi berbagai aspek kehidupan—dari sistem perbankan hingga kendaraan otonom—ancaman keamanan siber pun berevolusi. Salah satu ancaman paling berbahaya dan tersembunyi adalah model poisoning. Berbeda dengan serangan siber konvensional yang mengeksploitasi kerentanan perangkat lunak pada saat eksekusi, serangan ini menargetkan fondasi paling dasar dari AI: proses pembelajarannya . Bayangkan seorang siswa yang belajar dari buku pelajaran yang telah diubah isinya oleh musuh; pengetahuan yang ia serap sudah terkontaminasi sejak awal.
Model poisoning adalah kemampuan untuk merusak model AI dengan cara mengganggu arsitektur model, kode pelatihan, atau hyperparameternya, sebelum model tersebut digunakan . Ini adalah serangan terhadap integritas model yang memanfaatkan momen kerentanan tertinggi: saat AI sedang “dibesarkan” atau dilatih.
Bagaimana Model Poisoning Bekerja?
Untuk memahami mekanisme serangan ini, kita perlu membedakannya dengan serangan serupa, yaitu data poisoning. Meskipun sering dianggap sama, keduanya memiliki perbedaan fundamental:
Data Poisoning terjadi ketika penyerang menyusupi data pelatihan itu sendiri. Ini seperti menaruh kartu flashcard yang salah ke dalam tumpukan materi belajar siswa. Model belajar dari data yang sudah terkontaminasi sehingga menghasilkan output yang keliru .
Model Poisoning adalah serangan yang lebih langsung. Penyerang tidak hanya meracuni data, tetapi juga mengubah model atau proses pelatihannya secara langsung. Ini bisa terjadi melalui akses ke kode pelatihan, perubahan arsitektur neural network, atau penyusupan pada proses fine-tuning.
Penelitian terbaru dari UK AI Security Institute, Alan Turing Institute, dan Anthropic menemukan bahwa model AI dapat “diracuni” hanya dengan 250 sampel file berbahaya. Temuan ini menantang asumsi lama bahwa penyerang memerlukan kendali atas sebagian besar data pelatihan untuk menyebabkan kerusakan. Bahkan pada model yang lebih besar dengan parameter 13 miliar—yang telah terpapar data bersih 20 kali lebih banyak—kerentanannya tetap sama .
Jenis-Jenis Serangan Model Poisoning
Serangan ini memiliki beberapa varian, masing-masing dengan tujuan berbeda:
1. Serangan Backdoor (Pintu Belakang)
Ini adalah jenis yang paling berbahaya karena sifatnya yang tersembunyi. Model berfungsi normal untuk semua input, tetapi akan berperilaku sesuai keinginan penyerang jika menemukan “pemicu” spesifik.
Misalnya, sebuah model kecerdasan buatan untuk moderasi konten mungkin bekerja dengan sempurna, tetapi akan selalu menyetujui konten berbahaya yang mengandung frasa pemicu tersembunyi seperti “<SUDO>” . Dalam skenario lain, penyerang bisa menanamkan backdoor yang memicu model untuk menghasilkan jawaban berbahaya (seperti kode berbahaya atau instruksi pembuatan bom) hanya ketika pengguna menanyakan topik tertentu, misalnya “peradaban kuno” .
2. Serangan Availability (Ketersediaan)
Bertujuan untuk membuat model AI tidak berguna atau tidak reliabel. Penyerang menyuntikkan begitu banyak kebisingan atau data buruk ke dalam proses pelatihan sehingga batas keputusan yang dipelajari model menjadi kacau. Akibatnya, akurasi model menurun drastis dan tidak dapat digunakan . Bayangkan sebuah sistem pengenalan rambu lalu lintas yang menjadi sangat buruk dalam membaca rambu berhenti setelah dilatih dengan data yang telah dimanipulasi.
3. Serangan Persisten dan Konsep Baru
Perkembangan terbaru menunjukkan serangan yang lebih canggih, seperti Concept-ROT dari Carnegie Mellon University, yang menunjukkan bahwa penyerang dapat menanamkan trojan yang dipicu oleh konsep tingkat tinggi, bukan hanya pemicu kata tunggal. Lebih jauh, serangan “poison pill” dapat mengubah pengetahuan faktual spesifik dalam model tanpa menurunkan kinerja keseluruhannya, membuatnya sangat sulit dideteksi karena model tetap berkinerja baik pada tolok ukur standar .
Dampak dan Contoh Dunia Nyata
Dampak serangan model poisoning sangat luas dan mengancam berbagai sektor:
Kendaraan Otonom: Penyerang dapat meracuni model pengenalan rambu lalu lintas sehingga mobil salah menginterpretasikan rambu, berpotensi menyebabkan kecelakaan fatal .
Sistem Keuangan: Dalam perbankan, model deteksi penipuan bisa diracuni untuk mengabaikan transaksi ilegal dengan karakteristik tertentu, merugikan nasabah dan institusi .
Spam Filter: Penyerang (seperti spammers canggih) dapat “melaporkan” email spam sebagai email normal dalam jumlah besar untuk memiringkan (skew) model klasifikasi, sehingga filter spam menjadi tidak efektif .
Chatbot dan Layanan Pelanggan: Model AI yang digunakan untuk layanan pelanggan bisa mempelajari bahasa yang tidak pantas jika data pelatihannya sengaja disusupi .
Mengapa Sulit Dideteksi?
Ada beberapa alasan mengapa model poisoning sulit dideteksi:
Stealth (Ketersembunyian): Serangan backdoor tidak menurunkan performa model pada umumnya. Model akan lulus uji kualitas standar karena perilaku jahatnya hanya muncul saat pemicu spesifik hadir. Tidak ada kode untuk diperiksa; parameter model tidak masuk akal bagi mata manusia .
Skala Data: Dataset pelatihan modern sangat besar (jutaan hingga miliaran sampel), sering kali diambil dari sumber yang tidak aman. Memeriksa setiap sampel secara manual adalah hal yang mustahil .
Serangan Pintar (Clean-label): Penyerang dapat menyusupkan data yang berlabel “benar” secara manusiawi. Ini membuat data sulit dikenali sebagai racun oleh pengawas manusia .
Strategi Mitigasi
Meskipun ancaman ini nyata, ada beberapa strategi yang dapat diterapkan untuk mengurangi risikonya:
Lindungi Rantai Pasok (Supply Chain): Terapkan Machine Learning Bill of Materials (ML-BOM) untuk melacak asal-usul dan transformasi data serta model. Pastikan hanya model dari sumber tepercaya yang digunakan .
Validasi dan Pemantauan: Uji model secara ketat terhadap tolok ukur yang diketahui untuk mendeteksi perubahan perilaku yang tidak terduga. Pantau output model untuk mencari tanda-tanda penyimpangan atau kebocoran data .
Kontrol Akses: Batasi akses ke pipeline pelatihan, arsitektur, dan konfigurasi model hanya untuk personel yang berwenang. Lindungi integritas data pelatihan dengan kontrol akses yang ketat .
Teknik Pertahanan: Gunakan pendekatan seperti model ensemble (menggunakan beberapa model yang dilatih pada subset data berbeda) untuk mendeteksi anomali. Jika satu model menyimpang dari yang lain, itu bisa menjadi indikasi adanya serangan . Pelatihan dengan sampel adversarial dan distilasi yang robust juga dapat mengurangi kemampuan model untuk mengingat sampel yang diracuni .
Kesimpulan
Model poisoning adalah ancaman serius dan tersembunyi yang mengincar jantung sistem AI. Dengan kemampuan untuk merusak model hanya dengan sedikit data atau melalui manipulasi langsung pada proses pelatihan, serangan ini menantang kepercayaan kita terhadap teknologi AI. Kesadaran akan kerentanan ini adalah langkah pertama menuju pertahanan yang lebih kuat. Mengamankan siklus hidup pengembangan AI—dari pengumpulan data hingga deployment—adalah keharusan di era kecerdasan buatan.
