Perkembangan kecerdasan buatan (AI) yang semakin pesat telah membawa tantangan baru dalam hal keamanan dan tata kelola. Di tengah percepatan teknologi yang kerap melampaui regulasi, konsep human oversight atau pengawasan manusia muncul sebagai salah satu pilar utama untuk memastikan AI tetap aman, akuntabel, dan berpihak pada kepentingan manusia .
Pendekatan human-in-the-loop menjadi standar yang didorong berbagai negara, termasuk Indonesia, sebagai solusi konkret dalam menghadapi dinamika teknologi. Model ini memastikan setiap sistem AI tetap berada dalam pengawasan manusia, terutama pada sektor-sektor berdampak besar seperti layanan publik, keamanan, dan ekonomi digital .
Mengapa Human Oversight Menjadi Kebutuhan Mendesak
Keterbatasan Regulasi di Tengah Percepatan Teknologi
Regulasi global seperti EU AI Act telah mewajibkan adanya pengawasan manusia (natural persons) terhadap sistem AI berisiko tinggi . Namun, mandat hukum ini menghadapi tantangan besar: ia mengasumsikan bahwa manusia yang bertugas memiliki kapasitas kognitif dan wawasan teknis yang memadai untuk memantau sistem yang beroperasi pada kecepatan superhuman . Asumsi ini menciptakan celah akuntabilitas yang berbahaya antara tuntutan hukum dan realitas teknis.
Fenomena Automation Bias dan Vigilance Decrement
Salah satu tantangan terbesar dalam implementasi human oversight adalah fenomena psikologis yang melekat pada diri manusia. Dalam sebuah studi tahun 2016, peserta yang dipandu robot dalam simulasi kebakaran darurat—meskipun robot tersebut sebelumnya terbukti malfungsi—tetap mengikuti robot menuju pintu keluar yang terhalang, mengabaikan jalur aman yang jelas terlihat . Ini mencerminkan automation bias: kecenderungan manusia untuk secara sistematis terlalu mempercayai keputusan otomatis bahkan ketika terdapat bukti kontradiktif .
Ditambah dengan vigilance decrement, yaitu penurunan kemampuan mendeteksi anomali selama tugas pemantauan pasif, efektivitas pengawasan manusia menjadi semakin dipertanyakan. Kecelakaan Sriwijaya Air Flight 182 pada 2021 mengilustrasikan hal ini: ketika sistem autothrottle mengalami malfungsi, pilot yang terbiasa dengan keandalan sistem gagal memantau instrumen mesin selama beberapa menit. Saat sistem autopilot terlepas, kru sudah terlalu tidak terlibat secara kognitif untuk pulih dari situasi fatal tersebut .
Moral Crumple Zone dan Liability Sponge
Fenomena lain yang mengkhawatirkan adalah moral crumple zone, di mana operator manusia diposisikan untuk menyerap dampak hukum, moral, dan reputasi dari kegagalan sistem—efektif menjadi “spons kewajiban” (liability sponge) . Kasus fatal Uber pada 2018 di Arizona menjadi contoh nyata: meskipun sistem otomatis gagal mengklasifikasikan pejalan kaki dengan benar, perhatian publik dan tuntutan hukum justru tertuju pada pengemudi keselamatan yang terganggu, sementara kegagalan desain otomatisasi luput dari sorotan .
Tantangan dalam Implementasi Human Oversight
Kesenjangan Antara Kebijakan dan Operasional
Banyak organisasi memiliki dokumen tata kelola yang menyatakan bahwa manusia tetap “berada dalam loop” (in the loop), namun dalam praktiknya, alur kerja memberi manusia waktu terbatas, informasi terbatas, dan otoritas praktis yang terbatas. Output sistem mungkin disajikan sebagai rekomendasi, tetapi proses internal memperlakukannya sebagai keputusan default. Dalam lingkungan seperti ini, tinjauan manusia dapat berubah menjadi sekadar label formal tanpa makna substantif .
Kompleksitas Pengujian Kepatuhan
Pengujian kepatuhan terhadap persyaratan human oversight menghadapi dilema antara pendekatan sederhana berbasis daftar periksa (checklist) dan pengujian empiris yang memakan banyak sumber daya . Pendekatan daftar periksa menawarkan efisiensi namun berisiko menganggap kepatuhan telah terpenuhi tanpa memastikan efektivitas pengawasan yang sesungguhnya. Sementara itu, pengujian empiris memberikan validasi efektivitas, tetapi mungkin terlalu boros sumber daya dan sangat bergantung pada konteks .
Ancaman Keamanan terhadap Sistem Oversight
Aspek yang sering terabaikan adalah keamanan dari human oversight itu sendiri. Karena pengawasan manusia menjadi bagian dari arsitektur keselamatan, keamanan, dan akuntabilitas sistem AI, aktor jahat yang berhasil menyerang elemen-elemen terkait pengawasan dapat secara signifikan melemahkan keamanan operasi AI .
Vektor serangan potensial mencakup:
Serangan pada sistem AI seperti poisoning attacks dan adversarial attacks
Serangan pada komunikasi antara sistem AI dan personel pengawas (man-in-the-middle attacks)
Serangan pada personel seperti rekayasa sosial (social engineering)
Menuju Kerangka Human Oversight yang Efektif
Tiga Pilar Pengawasan
Untuk mengatasi tantangan di atas, diperlukan kerangka kerja yang lebih terstruktur. Sebuah usulan dari Harvard Journal of Law & Technology mengemukakan tiga pilar utama :
1. Kewajiban Deployer untuk Menerapkan Kolaborasi Manusia-AI yang Sejati
Di bawah standar hukum baru ini, deployer akan dianggap lalai jika menempatkan manusia dalam loop tanpa menerapkan kerangka Human-Systems Integration (HSI). Hukum harus menuntut agar “loop”—atau antarmuka untuk manajemen sistem AI—dirancang sesuai dengan kapasitas kognitif manusia .
2. Kewajiban Developer untuk Menunjukkan Ketahanan Teknis
Developer harus dapat membuktikan bahwa sistem mereka dirancang dengan ketahanan teknis yang memadai, termasuk kemampuan untuk diuji dan diawasi secara efektif .
3. Kewajiban Pemantauan Pasca-Pasar dan Pelaporan Kegagalan
Baik deployer maupun developer memiliki tanggung jawab berkelanjutan untuk memantau kinerja sistem setelah diluncurkan dan melaporkan setiap kegagalan yang terjadi .
Kerangka Operasional yang Terukur
European Data Protection Supervisor (EDPS) telah menerbitkan daftar periksa praktis yang membantu organisasi menilai apakah pengawasan manusia dapat beroperasi secara efektif. Poin-poin kontrol mencakup :
Dokumentasi: Kerangka tata kelola yang terdokumentasi
Kompetensi: Pengguna yang terlatih dan kompeten
Prosedur eskalasi: Mekanisme pelaporan yang jelas
Log dan audit: Catatan keputusan dan jejak audit
Indikator kinerja: Metrik manajemen untuk mengukur efektivitas
Mekanisme banding: Saluran bagi individu yang terkena dampak
Analisis akar masalah: Investigasi setelah kegagalan
Otoritas override: Kewenangan operator untuk menimpa, menangguhkan, atau mengabaikan output otomatis
Dari Compliance Artefak menuju Metrik Manajemen
Pengawasan manusia harus dipantau melalui indikator terukur seperti tingkat deteksi kesalahan, frekuensi override, waktu reaksi, tingkat persetujuan dan ketidaksetujuan, serta hasil audit. Pergeseran ini penting bagi dewan dan manajemen senior: dari sekadar memiliki kebijakan AI menuju koneksi yang bermakna dengan informasi manajemen .
Adaptasi di Era Frontier AI
Ketika Kecepatan Melampaui Kapasitas Manusia
Perubahan paling drastis dalam lanskap keamanan adalah kecepatan eksploitasi dan deteksi celah keamanan. Frontier AI terbaru mampu menemukan kerentanan dalam perangkat lunak kompleks, menggabungkan beberapa celah menjadi satu jalur eksploitasi, dan melakukan analisis sistem dalam skala besar secara otomatis—semua dalam hitungan menit atau jam, di mana sebelumnya dibutuhkan waktu berminggu-minggu .
Ini menciptakan situasi baru: machine-speed warfare, di mana keputusan tidak lagi dapat menunggu persetujuan manusia. Banyak proses keamanan terjadi terlalu cepat untuk intervensi manusia, menciptakan celah antara kecepatan teknologi dan kecepatan tata kelola manusia .
Dari Human-in-the-Loop menuju Machine-Speed Loop
Prinsip human-in-the-loop selama bertahun-tahun mendasari keamanan digital: AI memberi rekomendasi, manusia mengambil keputusan akhir. Namun kini muncul tekanan baru yang menuntut pergeseran model :
Dulu
Sekarang
Manusia melawan manusia dengan bantuan alat
AI melawan AI, dengan manusia sebagai pengawas tingkat tinggi
Keputusan menunggu eskalasi manual
Keputusan terjadi dalam milidetik hingga detik
Pengawasan langsung terhadap setiap tindakan
Pengawasan terhadap “aturan main” sistem
Model Keamanan Masa Depan
Meskipun AI semakin dominan, manusia tidak sepenuhnya digantikan. Model masa depan lebih mengarah pada :
AI untuk kecepatan dan skala—menangani deteksi dan respons cepat
Manusia untuk strategi dan batas risiko—menentukan kebijakan dan batasan
Sistem bersama yang saling melengkapi—kolaborasi yang terintegrasi
Dengan kata lain: manusia tidak mengontrol setiap tindakan, tetapi mengontrol “aturan mainnya” .
Sistem Agenik: Tantangan Baru bagi Human Oversight
Perkembangan AI agenik—sistem yang dapat merencanakan, mendelegasikan, dan menggunakan alat secara otonom—menghadirkan tantangan baru. Kerangka pengawasan yang mengandalkan checkpoint berbasis ambang kuantitatif (durasi aktivitas tanpa pengawasan, jumlah panggilan API) mengasumsikan bahwa agen bertindak dalam langkah-langkah diskrit yang dapat diinterupsi untuk persetujuan manusia .
Namun, agen yang merencanakan dan mendelegasikan tidak berjalan dalam langkah-langkah diskrit yang sesuai dengan checkpoint. Sebuah agen yang ditugaskan untuk meneliti dan menyusun laporan dapat memanggil alat pencarian, mengevaluasi hasil, memanggil API untuk mengambil data, mendelegasikan subtugas pemformatan ke agen lain, dan melakukan iterasi pada output—semua berlangsung dalam satu siklus eksekusi. Pada saat ambang batas memicu checkpoint, keputusan konsekuensial sudah dibuat .
Prinsip-Prinsip Pengendalian untuk AI Agenik
Berbeda dengan model checkpoint yang bersifat retrospektif, diperlukan kontrol yang bersifat prospektif :
Pre-execution gates: Otorisasi manusia sebelum eksekusi tindakan sensitif
Layered shutdown systems: Sistem penghentian berlapis, bukan satu tombol darurat
Real-time scope enforcement: Penegakan batasan secara real-time, bukan batasan statis
Safe-action filter: Filter yang memblokir tindakan terlarang agar perilaku agen tetap dalam ruang lingkup yang disetujui
Rekomendasi Kebijakan
Roadmap Implementasi untuk Organisasi
Berdasarkan kerangka EDPS, organisasi dapat mengikuti langkah-langkah praktis berikut :
Pemetaan: Petakan keputusan, rekomendasi, dan alur kerja yang dapat memengaruhi individu. Identifikasi di mana sistem bersifat advisory, di mana ia bersifat determinatif, dan di mana pengalaman pengguna atau proses internal dapat menciptakan otomatisasi de facto.
Definisi Model Oversight: Tentukan siapa yang meninjau keputusan, pada tahap apa, dengan informasi apa, di bawah kriteria apa, dan dengan otoritas apa. Buat hak override, eskalasi, dan penghentian menjadi eksplisit.
Uji Ketahanan Alur Kerja: Nilai apakah operator memiliki waktu yang cukup, apakah antarmuka mendukung penilaian yang baik, apakah skor keyakinan atau penjelasan dapat dipahami, dan apakah keputusan berisiko tinggi memerlukan lapisan tinjauan tambahan.
Pengukuran Kinerja: Lacak frekuensi override, deteksi kesalahan, hasil banding, waktu reaksi, dan temuan audit. Eskalasi pola berulang ke manajemen.
Koneksi dengan Kontrak dan Manajemen Perubahan: Pembaruan penyedia, pelatihan ulang model, atau alur kerja yang dimodifikasi mungkin memerlukan pelatihan ulang, protokol pengawasan yang direvisi, dan penilaian risiko yang diperbarui.
Peran Indonesia dalam Tata Kelola AI Global
Indonesia mengambil peran aktif dalam menghadirkan perspektif negara berkembang dalam diskusi tata kelola AI global. Pemerintah menyiapkan Peta Jalan AI Nasional yang akan menjadi panduan pengembangan teknologi di Indonesia, mengatur arah riset, penguatan talenta digital, kolaborasi lintas sektor, serta mitigasi risiko sejak tahap awal pengembangan .
Indonesia telah menetapkan sepuluh prinsip utama tata kelola AI, mulai dari perlindungan data pribadi, transparansi sistem, hingga jaminan keadilan dan inklusivitas. Pendekatan Indonesia dirancang adaptif agar dapat mengikuti dinamika teknologi tanpa kehilangan kontrol kebijakan .
Kesimpulan
Human oversight tetap menjadi komponen krusial dalam menjaga keamanan AI, namun bentuknya harus berevolusi. Pengawasan manusia yang efektif bukan sekadar kehadiran fisik manusia di dalam loop, melainkan sistem kolaborasi manusia-AI yang dirancang dengan mempertimbangkan kapasitas kognitif manusia, disertai dengan kerangka tata kelola yang terukur, dan dilindungi dari berbagai vektor serangan.
Di era frontier AI dan sistem agenik, model pengawasan bergeser dari human-in-the-loop menuju human-on-the-loop—di mana manusia tidak lagi mengontrol setiap tindakan secara langsung, melainkan mengontrol “aturan main” dan batasan risiko, sementara AI menangani kecepatan dan skala operasional . Keberhasilan AI di masa depan tidak hanya ditentukan oleh kecanggihan teknologi, tetapi oleh kemampuan kita untuk mengelola dan mengarahkannya secara tepat, dengan manusia tetap sebagai pusat keputusan
