Pendahuluan
Perkembangan Agentic AI memungkinkan sistem kecerdasan buatan menjalankan berbagai tugas secara mandiri, mulai dari mengelola jadwal, mengakses layanan digital, hingga membantu proses bisnis. Dalam menjalankan tugasnya, AI Agent selalu berpedoman pada tujuan (goal) yang diberikan oleh pengguna. Namun, apabila tujuan tersebut berhasil dimanipulasi, AI dapat mengambil tindakan yang tidak sesuai dengan maksud awal pengguna. Ancaman ini dikenal sebagai Goal Manipulation.
Memahami Goal Manipulation
Definisi
Goal Manipulation adalah serangan yang mengubah atau memengaruhi tujuan AI Agent sehingga agen menjalankan tindakan yang berbeda dari tujuan semula. Serangan ini tidak selalu mengubah sistem AI, tetapi memengaruhi cara AI memahami dan memprioritaskan tugas.
Peran Tujuan pada AI Agent
AI Agent menggunakan tujuan sebagai dasar untuk menyusun rencana, memilih tool, dan menentukan tindakan. Jika tujuan yang diproses telah dimanipulasi, seluruh rangkaian keputusan AI juga dapat berubah.
Bagaimana Serangan Terjadi?
Manipulasi Instruksi
Penyerang dapat menyisipkan instruksi tambahan melalui prompt injection sehingga AI mengutamakan tujuan yang menguntungkan penyerang.
Perubahan Prioritas
AI dapat diarahkan untuk mengubah urutan prioritas, misalnya lebih mementingkan satu tugas tertentu dan mengabaikan tujuan utama pengguna.
Pemanfaatan Integrasi Sistem
Apabila AI Agent terhubung dengan berbagai aplikasi, manipulasi tujuan dapat menyebabkan AI menjalankan tindakan pada layanan yang seharusnya tidak digunakan.
Mengapa Berbahaya?
Keputusan Menjadi Tidak Sesuai
AI tetap bekerja secara normal, tetapi tindakan yang dilakukan tidak lagi mencerminkan tujuan pengguna.
Sulit Dikenali
Perubahan tujuan sering kali tidak terlihat secara langsung karena AI tetap menjalankan proses seperti biasa.
Berdampak pada Banyak Layanan
Kesalahan tujuan dapat memengaruhi berbagai sistem yang terhubung dengan AI Agent.
Dampak terhadap Sistem AI
Goal Manipulation dapat menyebabkan kebocoran informasi, kesalahan pengambilan keputusan, penyalahgunaan layanan, hingga gangguan operasional. Selain itu, pengguna dapat kehilangan kepercayaan terhadap AI karena hasil yang diberikan tidak lagi sesuai dengan kebutuhan.
Strategi Mitigasi
Risiko Goal Manipulation dapat dikurangi dengan memvalidasi tujuan sebelum diproses, menerapkan pembatasan terhadap perubahan instruksi, serta memastikan AI hanya menggunakan tool yang benar-benar diperlukan. Organisasi juga perlu menerapkan logging, audit keamanan, dan mekanisme persetujuan (human-in-the-loop) untuk tindakan yang memiliki risiko tinggi.
Kesimpulan
Goal Manipulation merupakan ancaman yang memengaruhi cara AI Agent memahami dan menjalankan tujuan yang diberikan pengguna. Karena AI mengambil keputusan berdasarkan tujuan tersebut, perubahan kecil dapat menghasilkan tindakan yang berbeda dari yang diharapkan. Oleh karena itu, validasi tujuan, pembatasan akses, dan pengawasan terhadap aktivitas AI menjadi langkah penting untuk menjaga keamanan dan keandalan Agentic AI.
