Pengantar

Artificial Intelligence (AI) semakin banyak digunakan dalam kehidupan sehari-hari. Salah satu teknologi AI yang paling populer saat ini adalah ChatGPT. Banyak pengguna memanfaatkan ChatGPT untuk mencari informasi, membuat ringkasan artikel, membantu pekerjaan, hingga melakukan riset.

Namun, di balik kemudahan tersebut, muncul ancaman keamanan baru yang perlu diperhatikan. Peneliti keamanan dari Permiso Security menemukan teknik baru bernama ChatGPhish, yang memungkinkan penyerang memanfaatkan fitur rangkuman halaman web pada ChatGPT untuk menampilkan konten phishing langsung di dalam antarmuka ChatGPT. (The Hacker News)

Kasus ini menunjukkan bahwa AI tidak hanya dapat menjadi target serangan, tetapi juga berpotensi digunakan sebagai media untuk menjalankan serangan siber.

Apa Itu ChatGPhish?

ChatGPhish adalah teknik serangan yang memanfaatkan kelemahan pada proses rendering Markdown dan fitur web summary ChatGPT.

Dalam skenario ini, penyerang membuat halaman web yang berisi instruksi tersembunyi atau konten yang dirancang khusus agar diproses oleh AI. Ketika pengguna meminta ChatGPT merangkum halaman tersebut, AI dapat menampilkan link phishing, gambar berbahaya, QR code palsu, atau pesan keamanan palsu langsung dalam hasil ringkasan. (The Hacker News)

Nama ChatGPhish sendiri berasal dari gabungan kata:

ChatGPT
Phishing

Karena teknik ini mengubah fitur ChatGPT menjadi media penyebaran phishing.

Siapa yang Menemukan Kerentanan Ini?

Kerentanan ini ditemukan oleh Andi Ahmeti, seorang peneliti keamanan dari Permiso Security.

Menurut laporan yang dipublikasikan, temuan tersebut telah dilaporkan kepada OpenAI melalui program Bugcrowd pada April 2026. Namun hingga laporan dipublikasikan, peneliti menyatakan belum menerima konfirmasi bahwa masalah tersebut telah diperbaiki sepenuhnya. (gblock.app)

Bagaimana Cara Kerja ChatGPhish?

Untuk memahami kerentanan ini, kita perlu melihat bagaimana fitur ringkasan web pada ChatGPT bekerja.

Secara sederhana:

Pengguna memberikan URL sebuah halaman web.
ChatGPT mengambil isi halaman tersebut.
AI membuat ringkasan berdasarkan konten yang ditemukan.
Hasil ringkasan ditampilkan kepada pengguna.

Masalah muncul ketika ChatGPT mempercayai elemen Markdown dari halaman eksternal tanpa melakukan validasi yang cukup. Akibatnya, link dan gambar yang berasal dari halaman berbahaya dapat ikut muncul dalam tampilan ChatGPT. (The Hacker News)

Dalam kondisi tertentu, penyerang dapat menyisipkan instruksi tersembunyi yang memengaruhi cara AI menyusun hasil ringkasan.

Teknik ini dikenal sebagai prompt injection. (permiso.io)

Memahami Prompt Injection

Prompt injection merupakan salah satu ancaman utama pada sistem AI modern.

Dalam serangan ini, penyerang menyisipkan instruksi khusus ke dalam data yang diproses AI.

Instruksi tersebut dapat berupa teks tersembunyi yang tidak terlihat penting bagi manusia, tetapi dibaca dan dipatuhi oleh model AI.

Akibatnya, AI dapat menghasilkan output yang tidak sesuai dengan tujuan awal pengguna.

Pada kasus ChatGPhish, prompt injection digunakan untuk membuat AI menampilkan elemen phishing sebagai bagian dari hasil ringkasan halaman web.

Skenario Serangan ChatGPhish

Berikut contoh sederhana bagaimana serangan ini dapat dilakukan.

Tahap 1: Penyerang Membuat Halaman Berbahaya

Penyerang membuat halaman web yang tampak normal.

Namun di dalam halaman tersebut terdapat:

Instruksi tersembunyi.
Markdown link berbahaya.
QR code phishing.
Pesan keamanan palsu.

Instruksi ini ditujukan untuk AI, bukan untuk pengguna biasa. (permiso.io)

Tahap 2: Korban Meminta Ringkasan

Korban membuka ChatGPT dan meminta AI merangkum halaman tersebut.

Misalnya:

“Tolong rangkum isi halaman ini.”

Tahap 3: AI Menampilkan Payload Phishing

Karena AI memproses instruksi yang disisipkan penyerang, hasil ringkasan dapat berisi:

Link phishing.
Gambar berbahaya.
QR code palsu.
Pesan keamanan palsu.

Yang membuat serangan ini berbahaya adalah semua elemen tersebut muncul langsung di dalam tampilan ChatGPT yang dipercaya pengguna. (theregister)

Teknik yang Digunakan Penyerang

Beberapa teknik yang ditemukan dalam penelitian tersebut antara lain:

Markdown Link Injection

Penyerang menyisipkan link phishing melalui format Markdown.

Ketika dirender oleh ChatGPT, link tersebut terlihat seperti bagian normal dari hasil ringkasan. (The Hacker News)

Markdown Image Injection

Penyerang dapat menampilkan gambar yang di-host pada server mereka sendiri.

Gambar tersebut dapat digunakan untuk mendukung skenario phishing atau social engineering. (AI Weekly)

QR Code Phishing

Salah satu teknik yang cukup menarik adalah penyisipan QR code berbahaya.

Korban yang memindai QR code menggunakan smartphone dapat diarahkan ke situs phishing tanpa menyadarinya. (theregister)

Fake Security Alert

Penyerang juga dapat membuat pesan keamanan palsu yang terlihat seperti notifikasi resmi dari ChatGPT.

Contohnya:

Peringatan akun diblokir.
Notifikasi login mencurigakan.
Permintaan verifikasi akun.

Karena tampil dalam antarmuka ChatGPT, korban cenderung lebih percaya terhadap pesan tersebut. (theregister)

Mengapa Kerentanan Ini Sangat Berbahaya?

Ada beberapa alasan mengapa ChatGPhish dianggap serius.

Penyalahgunaan Kepercayaan Pengguna

Sebagian besar pengguna mempercayai hasil yang ditampilkan oleh AI.

Ketika phishing muncul dalam tampilan ChatGPT, pengguna mungkin tidak menyadari bahwa konten tersebut sebenarnya berasal dari pihak ketiga. (theregister)

Sulit Dibedakan dari Konten Asli

Berbeda dengan email phishing tradisional yang sering memiliki tanda-tanda mencurigakan, serangan ini tampil langsung di dalam platform yang dianggap aman.

Hal tersebut membuat deteksi menjadi lebih sulit. (theregister)

Memperluas Attack Surface AI

Kasus ini menunjukkan bahwa fitur AI seperti:

Web browsing.
Web summarization.
AI agent.
AI assistant.

dapat menjadi permukaan serangan baru bagi pelaku ancaman. (The Hacker News)

Dampak bagi Pengguna

Jika berhasil dieksploitasi, dampaknya bisa cukup besar.

Beberapa risiko yang mungkin terjadi antara lain:

Pencurian username dan password.
Pengambilalihan akun cloud.
Pencurian token akses.
Kebocoran data pribadi.
Penyalahgunaan akun organisasi. (The Hacker News)

Untuk perusahaan, risiko tersebut dapat berkembang menjadi:

Kompromi sistem internal.
Kebocoran data sensitif.
Serangan terhadap infrastruktur cloud.
Kerugian finansial dan reputasi. (The Hacker News)

Analisis Teknis Sederhana

Secara teknis, masalah utama berasal dari kegagalan dalam memisahkan konten internal dan eksternal.

ChatGPT mengambil konten dari situs web pihak ketiga lalu menampilkannya kembali kepada pengguna.

Jika konten tersebut tidak disanitasi dengan baik, elemen berbahaya dapat ikut dirender dalam hasil akhir. (AI Weekly)

Dalam dunia keamanan aplikasi, kondisi ini sering disebut sebagai:

Trust Boundary Failure

Artinya sistem mempercayai data dari sumber yang seharusnya tidak dipercaya sepenuhnya. (theregister)

Hubungan dengan OWASP Top 10 for LLM

Kasus ChatGPhish sangat berkaitan dengan beberapa risiko yang terdapat pada OWASP Top 10 for Large Language Models.

Prompt Injection

Penyerang memanipulasi perilaku AI melalui instruksi tersembunyi. (permiso.io)

Indirect Prompt Injection

Instruksi tidak diberikan langsung oleh pengguna, tetapi berasal dari sumber eksternal yang diproses AI. (gblock.app)

Output Handling Vulnerability

Output AI mengandung konten yang tidak divalidasi dengan baik sebelum ditampilkan kepada pengguna. (AI Weekly)

Pelajaran bagi Pengembang AI

Kasus ini memberikan beberapa pelajaran penting bagi pengembang sistem AI.

Validasi Konten Eksternal

Semua konten yang berasal dari pihak ketiga harus diperiksa sebelum ditampilkan kepada pengguna.

Sanitasi Markdown dan HTML

Link, gambar, dan elemen interaktif lainnya perlu difilter dengan lebih ketat. (AI Weekly)

Proteksi terhadap Prompt Injection

Model AI perlu memiliki mekanisme yang lebih baik untuk membedakan antara data dan instruksi. (permiso.io)

Secure-by-Design

Keamanan harus menjadi bagian dari desain sistem sejak awal, bukan ditambahkan setelah produk selesai dibuat.

Langkah Mitigasi untuk Pengguna

Sementara itu, pengguna juga perlu lebih berhati-hati saat menggunakan AI.

Beberapa langkah sederhana yang dapat dilakukan:

Jangan langsung mempercayai link dalam hasil AI.
Periksa URL sebelum mengklik.
Waspadai QR code yang muncul dari sumber yang tidak jelas.
Jangan memasukkan kredensial setelah mengikuti link dari hasil ringkasan AI.
Verifikasi informasi melalui sumber resmi. (AI Weekly)

Bagi organisasi, edukasi keamanan terkait penggunaan AI menjadi semakin penting karena ancaman kini tidak hanya datang melalui email, tetapi juga melalui platform AI yang digunakan sehari-hari. (permiso.io)

Masa Depan Ancaman Berbasis AI

ChatGPhish menunjukkan bahwa dunia keamanan siber sedang memasuki era baru.

Jika sebelumnya phishing lebih banyak dilakukan melalui:

Email.
SMS.
Website palsu.

Kini AI mulai menjadi bagian dari jalur serangan.

Ke depan, kemungkinan akan muncul berbagai bentuk serangan baru yang memanfaatkan:

AI Agent.
Browser AI.
Autonomous Assistant.
Web Summary Engine.
Sistem AI Generatif lainnya. (permiso.io)

Hal ini membuat keamanan AI menjadi salah satu fokus utama dalam dunia cybersecurity modern.

Kesimpulan

ChatGPhish menunjukkan bagaimana sebuah fitur AI yang dirancang untuk membantu pengguna dapat dimanfaatkan oleh penyerang jika tidak dilengkapi dengan perlindungan yang memadai. Dengan memanfaatkan prompt injection dan kelemahan pada rendering Markdown, penyerang dapat mengubah halaman web biasa menjadi media phishing yang tampil langsung di dalam antarmuka ChatGPT. (The Hacker News)

Kasus ini menjadi pengingat bahwa semakin luas penggunaan AI, semakin besar pula permukaan serangan yang harus diamankan. Ke depan, pengembang AI perlu memperkuat validasi konten, proteksi terhadap prompt injection, dan keamanan fitur browsing AI. Sementara itu, pengguna juga perlu lebih kritis terhadap informasi yang muncul dalam hasil AI, meskipun berasal dari platform yang dipercaya. (AI Weekly)