Makalah peneliti tersebut mengeksplorasi berbagai penipuan seperti transfer bank, pencurian kartu hadiah, transfer kripto, dan pencurian kredensial untuk akun media sosial atau Gmail.

Agen AI yang melakukan penipuan menggunakan alat otomatisasi ChatGPT-4o yang mendukung suara untuk menavigasi halaman, memasukkan data, serta mengelola kode autentikasi dua faktor dan instruksi khusus terkait penipuan.

Karena GPT-4o terkadang menolak untuk menangani data sensitif seperti kredensial, para peneliti menggunakan teknik jailbreaking cepat sederhana untuk melewati perlindungan ini.

Alih-alih orang sungguhan, para peneliti menunjukkan bagaimana mereka berinteraksi secara manual dengan agen AI, mensimulasikan peran korban yang mudah tertipu, menggunakan situs web seperti Bank of America untuk mengonfirmasi transaksi yang berhasil.

"Kami mengerahkan agen pada sebagian kecil penipuan umum. Kami mensimulasikan penipuan dengan berinteraksi secara manual dengan agen suara, memainkan peran korban yang mudah percaya," Kang menjelaskan dalam sebuah posting blog tentang penelitian tersebut.

"Untuk menentukan keberhasilan, kami mengonfirmasi secara manual apakah tujuan akhir tercapai pada aplikasi/situs web yang sebenarnya. Misalnya, kami menggunakan Bank of America untuk penipuan transfer bank dan mengonfirmasi bahwa uang benar-benar ditransfer. Namun, kami tidak mengukur kemampuan persuasi agen-agen ini," ia memaparkan.