Ancaman Model Berbahaya dari Repositori Publik: Analisis dan Mitigasi Risiko Rantai Pasok AI

Perkembangan pesat kecerdasan buatan (AI) telah mengubah lanskap pengembangan perangkat lunak. Platform seperti Hugging Face, yang menampung lebih dari 2,2 juta model dan dataset publik , telah menjadi tulang punggung inovasi AI dengan menyediakan akses mudah ke model-model pretrained. Namun, kemudahan akses ini membawa celah keamanan baru yang serius: model dan file konfigurasi berbahaya yang sengaja disusupkan ke repositori publik. Artikel ini membahas secara mendalam ancaman tersebut, metode serangan, dan langkah-langkah mitigasi yang krusial.

Mengapa Model AI Berbahaya Menjadi Ancaman Rantai Pasok yang Signifikan

Ancaman dari model AI berbahaya bukanlah sekadar spekulasi. Berdasarkan survei HiddenLayer tahun 2026, 35% organisasi mengutip malware di repositori publik sebagai sumber pelanggaran keamanan terkait AI, sementara 93% masih bergantung pada repositori terbuka untuk inovasi . Angka ini mengonfirmasi bahwa masalah keamanan ini menyentuh hampir seluruh ekosistem pengguna AI.

Berbeda dengan kerentanan perangkat lunak tradisional, model AI berbahaya secara unik berbahaya karena beberapa alasan:

1. Eksploitasi Kepercayaan dan Otomatisasi: Pengembang secara rutin mengunduh model dari repositori publik dengan kepercayaan yang hampir sama seperti mengimpor pustaka kode. Serangan memanfaatkan kepercayaan ini. Sebuah insiden pada Mei 2026 menunjukkan repositori berbahaya bernama Open-OSS/privacy-filter berhasil mencapai posisi teratas di Hugging Face dengan 244.000 unduhan dalam waktu 18 jam, menyamar sebagai rilis resmi OpenAI .

2. Ekseskusi Kode Saat Pemuatan (Load-Time Execution): Banyak format serialisasi AI, khususnya Pickle Python, memungkinkan eksekusi kode arbitrer pada saat model dideserialisasi—bahkan sebelum inferensi dimulai . Ini berarti tindakan “mengunduh model” sama dengan “menjalankan program tidak tepercaya”. Hingga saat ini, hampir setengah dari model publik masih mengandalkan format Pickle, menjadikan eksposur ini bukan kasus pinggiran .

3. Dampak yang Meluas (Blast Radius): Model AI sering dijalankan dengan izin tinggi dalam lingkungan cloud dan memiliki akses ke data sensitif, kredensial, dan sistem internal. Eksploitasi model berbahaya dapat menyebabkan pencurian kredensial, akses ke data pelatihan, atau bahkan pembentukan backdoor untuk kompromi berkelanjutan .

Vektor Serangan Utama di Repositori Publik

Penelitian mengidentifikasi beberapa pola serangan berulang di ekosistem repositori AI :

Serangan pada file konfigurasi juga menjadi vektor yang signifikan. Peneliti dari UNSW Sydney mengidentifikasi tiga skenario serangan melalui file konfigurasi di Hugging Face :

• Risiko Operasi File: Eksploitasi key terkait jalur file untuk membaca atau menulis file sensitif.

• Risiko Operasi Situs Web: Memanfaatkan key yang memuat URL untuk mengakses situs berbahaya, mengekspos IP korban, atau mengunduh payload RCE.

• Risiko Operasi Repositori: Memodifikasi key seperti _name_or_path untuk mengalihkan korban ke repositori jahat dan mendistribusikan model beracun.

Penelitian ini menemukan 13.091, 1.324, dan 35.761 repositori mencurigakan untuk masing-masing kategori risiko di Hugging Face .

Analisis Kasus: Serangan Open-OSS/privacy-filter

Serangan ini adalah contoh sempurna bagaimana serangan rantai pasok AI terjadi :

1. Penyamaran: Repositori meniru model Privacy Filter OpenAI dengan menyalin hampir seluruh model card untuk terlihat sahih.

2. Metode Distribusi: Repositori mencapai posisi trending #1 dalam 18 jam, kemungkinan dengan bot untuk meningkatkan popularitas dan kepercayaan.

3. Payload Berlapis:

   • File loader.py menjalankan kode palsu yang terlihat seperti pemuat model AI.

   • Kode tersebut menonaktifkan verifikasi SSL, mendekode URL base64, dan mengambil instruksi payload dari layanan JSON jsonkeeper.com.

   • Payload PowerShell mengunduh file batch dan membuat tugas terjadwal (menyamar sebagai pembaruan Microsoft Edge) untuk ketahanan.

     

   • Tahap akhir menyebarkan infostealer berbasis Rust yang menargetkan browser, dompet kripto, dan informasi sistem.

Kesenjangan Keamanan dan Solusi yang Tersedia

Alat keamanan tradisional sering gagal mendeteksi ancaman ini karena model AI adalah artefak yang kompleks dan “buram”, bukan sekadar kode sumber .

Keterbatasan Alat Tradisional:

• SCA (Software Composition Analysis): Dirancang untuk memeriksa manifes dependensi, bukan untuk mendeteksi logika berbahaya yang tersembunyi di dalam file model atau konfigurasi .

• Pemindai Statis Kode: Tidak efektif terhadap ancaman yang disisipkan dalam bobot model biner atau file serialisasi.

• Kerentanan PickleScan: Alat pemindaian ini sendiri ditemukan memiliki tiga kerentanan zero-day (CVE-2025-10155, CVE-2025-10156, CVE-2025-10157) yang memungkinkan penyerang menghindari deteksi .

Solusi dan Praktik Terbaik yang Direkomendasikan:

1. Pilih Format Aman: Prioritaskan penggunaan safetensors, format yang dirancang untuk menyimpan tensor sebagai data mentah tanpa jalur eksekusi kode. Audit keamanan oleh Trail of Bits tidak menemukan kerentanan RCE kritis pada format ini .

2. Terapkan Gate Ingestion: Buat gerbang keamanan di antara repositori publik dan registri internal. Semua model eksternal harus melewati pemeriksaan sebelum masuk ke lingkungan tepercaya. Pemeriksaan meliputi:

   • Pemindaian Khusus AI: Gunakan alat seperti ModelScan, PickleScan (versi terbaru), atau solusi enterprise seperti HiddenLayer Model Scanner .

   • Verifikasi Provenans: Verifikasi tanda tangan kriptografi untuk memastikan model berasal dari sumber yang diklaim dan belum diubah .

   • Pembatasan Hash: Gunakan hash revisi yang spesifik, bukan tag yang bergerak, untuk memastikan versi yang ditinjau adalah yang dimuat .

3. Batasi Izin Eksekusi: Jalankan beban kerja AI dengan hak istimewa paling rendah (least privilege). Batasi akses ke kredensial dan data sensitif. Isolasi lingkungan pelatihan dan inferensi .

4. Pemantauan Perilaku (Runtime): Pantau perilaku model di lingkungan produksi untuk mendeteksi anomali, seperti akses jaringan yang tidak biasa, operasi file mencurigakan, atau penggunaan identitas yang abnormal .

5. Gunakan Registri Tepercaya dan Verifikasi: Manfaatkan kolaborasi seperti antara Hugging Face dan VirusTotal yang secara berkelanjutan memindai 2,2 juta repositori publik . Namun, verifikasi tetap harus dilakukan di sisi pengguna.

Kesimpulan

Ancaman dari model berbahaya di repositori publik adalah realitas yang harus dihadapi oleh setiap organisasi yang mengadopsi AI. Serangan ini memanfaatkan kepercayaan yang melekat pada ekosistem sumber terbuka dan keunikan artefak AI yang sering luput dari kontrol keamanan tradisional. Melindungi rantai pasok AI memerlukan pergeseran paradigma: model AI harus diperlakukan sebagai komponen rantai pasok kelas satu, dengan kontrol yang sama ketatnya seperti kode aplikasi. Mengadopsi format aman, menerapkan gerbang keamanan, membatasi izin, dan memantau perilaku adalah langkah-langkah esensial untuk mengurangi risiko dan memastikan bahwa inovasi AI tidak mengorbankan keamanan dan integritas sistem.