Dalam tiga tahun terakhir, adopsi kecerdasan buatan (AI) di Indonesia telah melesat. Mulai dari sektor finansial, e-commerce, telekomunikasi, hingga layanan publik dan pertahanan, AI menjadi tulang punggung transformasi digital. Namun, di balik peluang besar itu, ada ancaman yang kerap diabaikan: file model AI yang tidak terverifikasi. Pakar keamanan siber Royke L. Tobing mengingatkan bahwa risiko dapat muncul jika model atau data yang digunakan tidak diverifikasi secara menyeluruh, sehingga membuka kemungkinan adanya celah yang dimanfaatkan pihak tertentu .

Artikel ini akan mengupas tuntas berbagai bahaya yang mengintai ketika organisasi atau individu mengunduh dan menggunakan model AI tanpa proses verifikasi yang memadai.

1. Ancaman Eksekusi Kode Berbahaya Saat Model Dimuat

Bahaya paling kritis dari file model yang tidak terverifikasi adalah potensi eksekusi kode jarak jauh (Remote Code Execution/RCE) . Banyak framework AI menggunakan format serialisasi yang memungkinkan kode dieksekusi saat model di-load (dimuat) ke dalam memori .

Kasus Nyata: Kerentanan “Bleeding Llama” pada Ollama

Platform open-source populer Ollama ditemukan memiliki kerentanan kritis (CVE-2026-7482) dengan skor CVSS 9.1 (sangat tinggi). Kerentanan ini memungkinkan penyerang mengeksploitasi file model berformat GGUF yang dimanipulasi .

Cara kerjanya: Penyerang membuat file GGUF palsu dengan ukuran tensor yang dimanipulasi melebihi ukuran sebenarnya. Ketika Ollama memproses file tersebut melalui endpoint /api/create, aplikasi membaca data memori di luar batas normal (out-of-bounds read). Akibatnya, data sensitif seperti API key, environment variables, riwayat percakapan pengguna, hingga dokumen internal perusahaan dapat bocor .

Yang lebih mengkhawatirkan, serangan ini dapat dilakukan tanpa autentikasi dan tanpa akses langsung ke sistem operasi server korban. Penyerang cukup mengunggah file berbahaya dan memicu proses pembuatan model .

Serialisasi Tidak Aman: “Senjata” di Balik Model Berbahaya

Banyak model AI didistribusikan dalam format Python pickle atau format sejenis. Format ini secara inheren tidak aman karena memungkinkan eksekusi kode arbitrer saat proses deserialisasi. Peneliti dari ACM Communications menyebutkan bahwa pickle memiliki kelemahan keamanan mendasar karena mempercayai data yang dideserialisasi, sehingga kode berbahaya dapat dieksekusi tanpa sepengetahuan pengguna .

Contoh sederhana: sebuah file pickle dapat berisi perintah os.system("rm -rf /") yang akan menghapus seluruh sistem saat model dimuat .

2. Ancaman pada Rantai Pasok Perangkat Lunak (Supply Chain)

Ancaman file model tidak terverifikasi tidak berhenti pada satu sistem. Ini adalah ancaman rantai pasok yang dapat menyebar luas.

Serangan Model Confusion

Peneliti dari Checkmarx menemukan pola serangan baru yang disebut Model Confusion. Serangan ini mirip dengan Dependency Confusion pada pengembangan perangkat lunak tradisional .

Ilustrasi skenarionya:

  1. Seorang pengembang menulis kode yang memuat model dari direktori lokal, misalnya "checkpoints/some-model"

  2. Jika model lokal tidak ada di mesin pengembang, pustaka Hugging Face akan secara otomatis mencari model dengan nama yang sama di repositori publik

  3. Penyerang yang telah mendaftarkan akun “checkpoints” dan mengunggah model berbahaya dapat mengeksekusi kode di sistem korban 

Serangan ini ditemukan dalam kode sampel dari perusahaan Fortune 500 dan Fortune 100. Mereka menggunakan nama direktori umum seperti checkpoints, outputs, models-tmp, dan results—yang kemudian dapat “diklaim” oleh penyerang .

Kerentanan pada Verifikasi Integritas

Sebuah laporan keamanan di GitHub menunjukkan bahwa banyak aplikasi yang mengunduh model LLM tidak melakukan verifikasi SHA-256. Kode pemeriksaan integritas sering kali dilewati karena hash kosong (sha256: ''). Ini berarti penyerang yang melakukan serangan man-in-the-middle pada CDN atau yang berhasil mengompromi hosting Hugging Face dapat mengganti file model dengan versi berbahaya tanpa terdeteksi .

3. Model “Trojan” dengan Pintu Belakang (Backdoor)

Tidak semua serangan terjadi saat model dimuat. Beberapa model berbahaya dirancang untuk berperilaku normal dalam kondisi sehari-hari, namun menjadi berbahaya ketika menerima trigger tertentu. Ini disebut model “Trojan” atau backdoored model .

Serangan SHIP: Pemicu Tersembunyi dalam Rantai Pasok

Penelitian terbaru memperkenalkan serangan SHIP (Supply-chain Hidden Trigger Attack) . Serangan ini bekerja di seluruh rantai pasok AI: penyedia model menyisipkan pemicu tersembunyi, pengguna melakukan fine-tuning tanpa menyadari adanya backdoor, dan penyerang kemudian memanfaatkan pemicu tersebut untuk menghasilkan output tidak terbatas dan melanggar aturan keamanan .

Yang membuat SHIP sulit dideteksi adalah penggunaan permutation triggers—pemicu yang hanya aktif ketika semua komponen muncul dalam urutan yang tepat. Bahkan kata-kata umum pun dapat berfungsi sebagai pemicu yang tidak terdeteksi .

Ancaman pada Multi-Agent System

Dengan meningkatnya adopsi sistem multi-agen (MAS), ancaman model Trojan menjadi lebih kritis. Penelitian menunjukkan bahwa agen pihak ketiga yang diakses melalui API black-box dapat menyembunyikan pemicu untuk memanipulasi penalaran kolektif atau output. Metode deteksi tradisional (white-box) tidak efektif karena bobot internal tidak dapat diakses .

4. Manipulasi Bobot dan Pencurian Model

Serangan pada Bobot Model

Pada perangkat seluler dan edge AI, model disimpan secara lokal di perangkat pengguna. Ini membuka peluang bagi penyerang untuk mengakses, menganalisis, atau memodifikasi model .

Penelitian mengidentifikasi serangan TYPHON sebagai jenis serangan baru yang secara langsung memodifikasi parameter model untuk menggeser perilaku, sambil tetap mempertahankan kinerja normal pada input biasa .

Pencurian Kekayaan Intelektual

Model yang disimpan di perangkat secara alami menimbulkan risiko pencurian kekayaan intelektual. Penyerang dapat:

  • Menemukan file model melalui analisis statis (.tflite, .pb, .mlmodel)

  • Mengekstrak model dari memori saat dimuat atau didekripsi

  • Memanfaatkan saluran samping seperti konsumsi daya untuk menyimpulkan struktur model 

5. “Dark AI”: Model yang Sengaja Dibuat untuk Kejahatan

Istilah Dark AI merujuk pada model bahasa besar (LLM) lokal atau jarak jauh yang sengaja digunakan untuk tujuan berbahaya, tidak etis, atau tidak sah—beroperasi di luar kendali keamanan dan tata kelola standar .

Contoh yang diketahui antara lain WormGPT, DarkBard, FraudGPT, dan Xanthorox—model yang dirancang khusus untuk mendukung kejahatan siber, penipuan, dan otomatisasi berbahaya. Aktivitasnya mencakup:

  • Menghasilkan kode berbahaya

  • Merancang email phishing yang persuasif

  • Membuat deepfake suara dan video 

6. Ketergantungan Berlebihan pada Output AI yang Salah

Selain ancaman teknis dari file model yang tidak terverifikasi, ada risiko perilaku manusia yang tak kalah berbahaya: ketergantungan berlebihan (overreliance) pada output AI .

Model AI generatif tidak “tahu” apakah outputnya benar—mereka menghasilkan teks berdasarkan pola statistik. Ini berarti mereka dapat menyatakan informasi palsu dengan keyakinan yang sama seperti informasi yang benar .

Risikonya meliputi:

  • Keputusan yang belum diverifikasi: Perusahaan mengandalkan penilaian keamanan yang dihasilkan AI tanpa verifikasi

  • Kesalahan dalam kode yang dihasilkan AI: Pengembang menerima kode tanpa peninjauan, memperkenalkan kerentanan ke sistem produksi

  • Bias otomatisasi: Kecenderungan mendukung saran AI atas penilaian sendiri

  • Erosi keahlian manusia: Tim kehilangan kemampuan mengevaluasi keputusan secara independen 

7. Strategi Mitigasi: Bagaimana Melindungi Diri?

Verifikasi Sebelum Penggunaan

  1. Gunakan alat pemindai keamanan khusus seperti ModelAudit yang dapat mendeteksi kode berbahaya, backdoor, dan risiko keamanan pada file model AI .

  2. Verifikasi hash integritas: Pastikan file model memiliki checksum SHA-256 yang valid .

  3. Gunakan format serialisasi yang aman: Preferensikan format seperti SafeTensors atau ONNX yang memisahkan bobot dari kode yang dapat dieksekusi .

  4. Batasi sumber model: Hanya gunakan model dari repositori tepercaya dan organisasi yang dikenal .

Praktik Pengembangan Aman

  1. Gunakan local_files_only=True saat memuat model untuk mencegah pengunduhan otomatis dari repositori publik .

  2. Gunakan path absolut atau awali path dengan ./ untuk memastikan hanya direktori lokal yang diakses .

  3. Terapkan verifikasi tanda tangan digital pada pembaruan aplikasi .

Kontrol Operasional

  1. Jalankan model dalam lingkungan terisolasi (sandbox) untuk membatasi dampak jika terjadi kompromi .

  2. Terapkan prinsip hak akses minimum untuk workload AI .

  3. Pantau perilaku runtime: Perhatikan akses jaringan yang mencurigakan, operasi file tidak biasa, atau penyimpangan dari pola eksekusi normal .

  4. Sertakan alur kerja human-in-the-loop untuk keputusan berisiko tinggi .

Kesimpulan

File model AI yang tidak terverifikasi adalah ancaman senyap namun nyata di era adopsi AI masif. Dari eksekusi kode berbahaya saat loading, serangan rantai pasok, model Trojan dengan pintu belakang, hingga pencurian kekayaan intelektual—risikonya sangat beragam dan terus berkembang.

Paket keamanan mengingatkan bahwa AI adalah alat yang mengikuti perintah, “tidak secara inheren dapat membedakan yang benar dan yang salah” . Keamanan tidak datang secara otomatis; ia membutuhkan proses verifikasi yang ketat, alat yang tepat, dan kesadaran bahwa model AI adalah komponen rantai pasok yang harus diperlakukan dengan tingkat kewaspadaan yang sama seperti kode aplikasi atau container image .

Di tengah lonjakan adopsi AI di Indonesia, penguatan tata kelola, standar keamanan, dan kemandirian dalam pengembangan AI menjadi langkah penting agar teknologi ini benar-benar mendukung pertumbuhan ekonomi sekaligus menjaga kepentingan strategis nasional

Related Posts: