Agen AI Belanja Gagal di 42,8% Uji Visa, Pelajaran bagi Toko

Visa merilis Visa Agentic Commerce Benchmark pada 5 November 2026, sebuah uji terbuka untuk mengukur kemampuan agen AI belanja. Dari 22 model AI yang diuji di 15 skenario belanja, 42,8% percobaan gagal. Lebih dari separuh percobaan yang gagal tetap berakhir dengan pembelian.

Hasil ini relevan bagi siapa pun yang berjualan secara daring. Agen AI belanja, yaitu asisten AI yang mencarikan, membandingkan, lalu membelikan barang atas nama pengguna, mulai dipasang di aplikasi obrolan, peramban, dan toko online. Uji Visa memperlihatkan di bagian mana agen masih lemah, dan bagian itu berkaitan langsung dengan cara toko menyajikan data produknya.

Cara Visa menguji agen AI belanja

Menurut siaran pers Visa yang terbit di San Francisco, putaran pertama benchmark ini melibatkan 22 model AI dari 12 laboratorium. Setiap model menjalani 15 tantangan belanja, misalnya membeli televisi, laptop, atau alat perawatan diri. Setiap skenario dicoba tiga kali oleh setiap model.

Tantangannya dirancang menyerupai pembeli sungguhan. Calon pembeli dalam skenario tidak menyebutkan semua kebutuhannya di awal, sehingga agen harus menggali informasi lewat percakapan. Agen juga harus mengumpulkan alasan yang cukup untuk setiap pilihan, supaya keberhasilan tidak terjadi karena kebetulan. Bila tidak ada produk yang cocok, agen yang benar adalah agen yang menolak membeli.

Sebuah percobaan dinyatakan lulus hanya bila agen menemukan semua kebutuhan yang ditetapkan dalam skenario dan mengambil keputusan yang tepat, yaitu membeli atau tidak membeli. Visa memberi contoh skenario televisi. Pembeli menyebut merek yang direkomendasikan kerabatnya dan keanggotaan di sebuah toko pihak ketiga, tetapi tidak menyebut hal lain. Agen harus menanyakan sendiri anggaran dan kebutuhan teknisnya, seperti kecocokan format, dukungan HDR10+ untuk menonton video keluarga, dan kemampuan untuk bermain gim.

Benchmark beserta tayangan ulang percobaan agen dan makalah teknisnya dipublikasikan di situs Visa Payments Frontier. Konsumen juga dapat mencoba ujian yang sama untuk membandingkan jawaban mereka dengan jawaban AI.

Hasil uji dan skor model tertinggi

Secara keseluruhan, tingkat kelulusan mencapai 57,2%. Model terbaik lulus di 82,2% percobaan, sedangkan model terlemah hanya lulus di 28,9% percobaan. Jarak sebesar ini menunjukkan bahwa pilihan model sangat menentukan kualitas agen belanja.

Visa tidak menyebut nama model dalam siaran persnya. Peringkat per model dilaporkan Fortune dan dikutip The Next Web: agen dari Google dan Meta berbagi skor tertinggi 82%, agen Claude berada di posisi ketiga dengan 76%, dan agen OpenAI di posisi keenam dengan 64%. Karena angka ini tidak tercantum dalam pernyataan resmi Visa, peringkat tersebut sebaiknya dibaca sebagai laporan media.

Temuan yang paling berguna justru ada pada perilaku agen. Lima model yang paling banyak menemukan faktor pembelian tersembunyi lulus rata-rata 70,2%. Lima model yang paling sedikit menemukannya hanya lulus 44,4%. Artinya, kebiasaan bertanya sebelum memilih produk berpengaruh besar terhadap hasil.

Biaya juga berpengaruh, meski tidak sebesar kebiasaan bertanya. Lima model dengan biaya rata-rata per percobaan tertinggi lulus 67,1%, sedangkan lima model termurah lulus 50,2%. Selisihnya 16,9 poin persentase, lebih kecil daripada selisih 25,8 poin antara model yang rajin dan yang jarang menggali kebutuhan.

Konsistensi masih rendah

Masalah lain adalah konsistensi. Di seluruh kombinasi model dan skenario, ketiga percobaan lulus semuanya hanya pada 34,2% kasus. Model yang sudah lulus di satu percobaan sering gagal ketika mengulang skenario yang sama. Bagi toko atau bank yang ingin memakai agen AI, hal ini berarti satu kali uji coba yang berhasil belum cukup menjadi bukti.

Pembelian yang tetap terjadi saat agen gagal

Sekitar 54% percobaan yang gagal tetap berakhir dengan pembelian. Dalam kasus itu, agen membeli produk yang tidak memenuhi kebutuhan pembeli, atau membeli sebelum semua kebutuhan diketahui. Bagi pembeli, akibatnya adalah barang yang salah. Bagi toko, akibatnya adalah retur, keluhan, dan biaya pengiriman ulang.

Rubail Birwadker, Global Head of Growth Visa, menyatakan dalam siaran persnya, “AI agents have the potential to power the next era of commerce, but trust is key to making it work.” Artinya, agen AI berpotensi menggerakkan era perdagangan berikutnya, tetapi kepercayaan menjadi syarat agar hal itu berjalan.

Data kepercayaan konsumen dari Visa sejalan dengan pernyataan itu. Survei Visa Trust Index pada September 2026 mencatat 72% konsumen di Amerika Serikat pernah memakai asisten AI, tetapi hanya 23% yang percaya AI melakukan pembayaran atas nama mereka. Visa juga menyatakan hasil benchmark tidak berarti agen AI belum siap untuk perdagangan. Menurut Visa, hasil ini menunjukkan bahwa konsistensi dan keandalan masih menjadi tantangan.

Langkah Visa berikutnya

Visa berencana menambah skenario dan kategori produk, lalu memperluas pengujian ke tahap pembayaran, proses checkout, dan pemesanan. Benchmark ini juga sudah dibagikan kepada para penyedia model untuk mendapat masukan. Menurut The Next Web, Visa sebelumnya sudah menghadirkan layanannya di ChatGPT dan bergabung dengan Mastercard serta Ant International dalam pemeriksaan identitas agen AI yang dikenal dengan istilah “know your agent”.

Apa artinya bagi toko online?

Di Indonesia, belanja lewat agen AI belum menjadi kebiasaan umum, tetapi arahnya mulai terlihat. Ritel besar di luar negeri sudah membuka pintu bagi agen, seperti Walmart Agent Gateway yang membatasi dana belanja agen. Toko online, distributor elektronik, dan pemilik merek di Indonesia dapat memakai temuan Visa sebagai daftar persiapan.

1. Lengkapi data produk. Agen hanya dapat mencocokkan kebutuhan dengan informasi yang tersedia. Spesifikasi kunci, seperti ukuran layar, dukungan HDR10+, port, daya, atau garansi, sebaiknya ditulis dalam kolom terstruktur di halaman produk dan katalog. Informasi yang hanya muncul di gambar atau deskripsi bebas lebih sulit dibaca agen. Data yang rapi juga memudahkan mesin pencari dan perbandingan harga.
2. Ajari asisten belanja bertanya. Bila toko membuat asisten belanja sendiri, rancang agar ia menanyakan anggaran, pemakaian, dan batasan sebelum menawarkan produk. Asisten juga perlu diberi pilihan untuk menjawab bahwa tidak ada produk yang cocok. Tim pengembangan solusi AI biasanya menuangkan aturan seperti ini ke dalam instruksi sistem dan skenario uji.
3. Uji berulang kali. Jalankan skenario yang sama beberapa kali dan catat hasilnya. Angka 34,2% dari Visa menunjukkan bahwa satu percobaan yang lulus belum menjamin percobaan berikutnya juga lulus.
4. Minta persetujuan sebelum membayar. Selama agen masih dapat membeli barang yang keliru, langkah konfirmasi oleh pembeli dan kebijakan retur yang jelas melindungi kedua pihak.

Bagi bank dan penyedia pembayaran, temuan ini menambah alasan untuk menyiapkan batas transaksi dan verifikasi identitas agen. Bagi toko, data produk dan alur pemesanan adalah bagian dari sistem manajemen ritel yang perlu ditinjau sejak sekarang, sebelum lebih banyak pesanan datang dari agen.

Pertanyaan yang sering muncul

Apa itu Visa Agentic Commerce Benchmark?

Benchmark ini adalah uji terbuka buatan Visa untuk mengukur kemampuan model AI berbelanja atas nama pengguna. Model dinilai dari kemampuannya menggali kebutuhan pembeli lewat percakapan dan mengambil keputusan membeli atau tidak membeli dengan tepat.

Model AI mana yang skornya paling tinggi?

Visa tidak menyebut nama model. Menurut laporan Fortune yang dikutip The Next Web, agen Google dan Meta berbagi skor tertinggi 82%, disusul agen Claude dengan 76%. Model terbaik dalam data resmi Visa lulus di 82,2% percobaan.

Apakah aman membiarkan agen AI membayar belanjaan?

Hasil uji menunjukkan agen masih dapat membeli barang yang tidak sesuai. Sampai keandalannya membaik, pengguna sebaiknya memakai fitur persetujuan sebelum pembayaran atau batas dana, dan memeriksa ringkasan pesanan sebelum mengonfirmasi.

Penutup

Benchmark Visa memberi gambaran yang jelas tentang kondisi agen AI belanja saat ini. Agen cukup sering memilih dengan benar, tetapi hasilnya belum konsisten dan masih ada yang membeli tanpa bertanya. Bagi toko online, persiapan terbaik adalah data produk yang lengkap, asisten yang mau bertanya, dan alur persetujuan yang jelas. Bila toko Anda sedang merancang asisten belanja atau merapikan katalog untuk era agen AI, tim Merakit siap membantu menyusun langkahnya.

Sumber

• Visa: Visa Releases First-of-Its-Kind Industry Benchmark for AI Shopping; Almost Half of Test Runs Fail (5 November 2026)
• The Next Web: Visa tested 22 AI models as shoppers, and they failed 42.8% of the time (5 November 2026)
• PYMNTS: Visa Finds AI Models Fail 43% of Shopping Test Runs (5 November 2026)