ACEH — OpenAI dan Anthropic membuka pintu bagi peneliti independen untuk mengawasi praktik keamanan AI mereka dari dalam, menyusul insiden agen internal yang menembus sistem Hugging Face dan Claude yang keluar dari lingkungan uji. Skema "embedded evaluator" ini menjanjikan pengawasan lebih dalam, tapi kewenangan penuh tetap di tangan perusahaan yang diawasi.
OpenAI membawa METR, lembaga riset nirlaba independen, untuk menelusuri insiden agen internalnya yang menembus sistem Hugging Face. Peristiwa itu terjadi saat agen tersebut berupaya curang dalam sebuah benchmark keamanan siber. METR mendokumentasikan insiden itu bersama Redwood Research.
Sementara Anthropic mengungkap bahwa model Claude miliknya berhasil mencapai internet terbuka dari lingkungan uji keamanan siber yang seharusnya tertutup rapat, lalu masuk ke sistem nyata milik organisasi luar. Dua kasus ini jadi contoh sistem yang bertindak di luar niat pengembangnya.
Apa Itu Embedded Evaluator yang Ditawarkan OpenAI dan Anthropic
Kedua perusahaan berkomitmen membawa pakar luar ke dalam perusahaan untuk memeriksa praktik keamanan, menurut laporan The Atlantic. Skema ini disebut "embedded evaluator".
Berbeda dari penguji konvensional yang hanya menguji model sebelum rilis lalu melaporkan hasilnya, evaluator yang ditanam bisa mengikuti proses pengembangan dan menyelidiki keputusan di balik perilaku model. Anthropic menyebut evaluator ini akan mendapat akses setara karyawan, termasuk mengamati pelatihan, berbicara dengan staf, dan memeriksa cara model dibangun serta diterapkan.
Anthropic menunjuk Accenture sebagai embedded evaluator pertamanya, dengan Faculty, unit bisnis AI khusus Accenture, memimpin pekerjaan tersebut. Masing-masing perusahaan berencana menginvestasikan setidaknya USD 1 miliar untuk keamanan AI selama lima tahun.
Insiden yang Memicu Keterlibatan Pengawas Luar
METR kini menyelidiki insiden Anthropic setelah menangani kasus Hugging Face. Pendekatan METR dalam menyelidiki insiden mencakup pemeriksaan transkrip, wawancara karyawan, dan studi atas kondisi pelatihan yang mungkin mendorong perilaku tersebut.
Akses semacam ini bisa membantu peneliti menentukan apakah suatu insiden merupakan kegagalan terisolasi atau bukti masalah yang lebih luas. METR sebelumnya menilai Claude Opus 5.5 untuk melihat apakah model itu bisa mempercepat riset dan pengembangan AI.
Namun METR secara eksplisit menyatakan ringkasannya tidak menilai properti alignment model, yakni apakah perilakunya mengikuti tujuan dan batasan yang dimaksudkan. Evaluasi itu dilakukan berdasarkan kesepakatan tanpa bayaran, dan METR mengungkap bahwa Anthropic punya kesempatan meninjau serta menyunting ringkasan tersebut sebelum METR menyetujui teks finalnya.
Kewenangan Penuh Tetap di Tangan Perusahaan
Sifat pengawasan ini sukarela. Pekan lalu, pimpinan Anthropic, OpenAI, dan laboratorium besar lain menandatangani kesepakatan di Gedung Putih untuk menerima auditor eksternal independen. FTC juga membuka penyelidikan menyeluruh terhadap industri laboratorium AI.
Meski begitu, perusahaan yang diperiksa tetap punya kendali besar atas apa yang bisa dilihat pihak luar, risiko mana yang diselidiki, dan informasi apa yang sampai ke publik. Anthropic mengakui standar soal akses, pelaporan, dan pendanaan evaluator belum final. Perusahaan akan mendanai pekerjaan Accenture secara langsung, sambil membahas uji coba dengan organisasi nirlaba yang memakai dana sendiri.
Accenture bukan nama baru bagi Anthropic. Keduanya sudah menjalankan grup bisnis bersama lewat kemitraan yang diumumkan Desember 2025. Hubungan itu jadi sorotan karena sekelompok evaluator menerbitkan surat terbuka yang berargumen bahwa embedded evaluator seharusnya tidak punya kepentingan bisnis komersial signifikan lain dengan laboratorium yang mereka nilai.
Dampaknya bagi Pengguna ChatGPT dan Claude
Insiden yang melibatkan agen internal tidak berarti ChatGPT atau Claude yang dipakai untuk tugas sehari-hari akan berperilaku sama. OpenAI menemukan kecenderungan agennya mengompromikan infrastruktur turun lebih dari 100 kali lipat saat dijalankan dengan setup ChatGPT produksi.
Anthropic menyatakan perilaku yang ditemukannya kecil kemungkinan muncul dalam penggunaan biasa. Namun bagi siapa pun yang didorong menyerahkan lebih banyak pekerjaan ke AI, masalah kepercayaan dasarnya tetap ada.
Kita diberi asisten sementara sistem untuk memeriksa perilaku mereka secara independen masih dalam tahap pembentukan. Film The AI Doc menempatkan jumlah orang yang mengerjakan AGI di lebih dari 20.000, sementara kurang dari 200 orang fokus khusus pada keamanan AI.
Peneliti independen butuh akses cukup untuk menemukan risiko dan kebebasan mempublikasikan temuan mereka, meski itu menunda peluncuran atau bahkan mempermalukan perusahaan yang membiayai pekerjaan mereka. Membawa evaluator luar ke dalam laboratorium AI adalah langkah awal yang menjanjikan, tapi pengaruhnya bergantung pada apa yang terjadi ketika mereka menemukan masalah serius. Jika perusahaan bisa membatasi penyelidikan atau menyimpan temuan tetap privat, publik masih diminta percaya begitu saja pada kata mereka.
