2 Haziran'da, yabancı medyaya göre, kod çözücü 1'de bildirdi, Palisade Research tarafından yakın zamanda düzenlenen bir dizi siber güvenlik yarışması, AI ajanlarının insan korsanlarıyla kafa kafaya rekabet etme yeteneğine sahip olduğunu ve hatta bazı durumlarda kazandığını gösterdi .
Araştırma ekibi, iki büyük ölçekli "bayrağı yakalama" (CTF) yarışmalarında gerçek savaş testleri gerçekleştirdi, binlerce oyuncu bu tür yarışmalarda . yarışmasına katılan, katılımcı ekiplerin {{2} 'ü' {2} 'ı bularak güvenlik sorunlarını çözmeleri gerekir {{2} "bayrakları bulmalı {{2}"
Testin amacı, AI ajanlarının insan ekipleriyle rekabet edip edemeyeceğini test etmektir . Sonuçlar, AI'nın performansının beklentileri çok aştığını ve katılan AI'lerin çoğunun insan oyuncularının ortalama seviyesini aştığını gösteriyor .
Katılan AI sistemlerinin karmaşıklığı, CAI gibi bazı ekipler, kendi sistemlerini oluşturmak için yaklaşık 500 saat harcanır ve kalabalık gibi bazı ekipler, mevcut modellerin enigma ve claude kodunun istemlerini optimize ederek sadece 17 saat harcadı .
"AI vs . insan" olarak adlandırılan ilk yarışmada, altı AI takımı yaklaşık 150 insan ekibine karşı yarıştı . Tüm oyuncular 48 saat içinde 20 kriptografi ve tersine mühendislik sorusunu tamamlamak zorunda kaldı .
Katılan yedi AIS'den dördü, toplam listenin ilk% 5'inde sıralanan en yüksek sıradaki AI ekibi . sorusunun 19'unu başarıyla kırdı ve genel performansı, çoğu insan oyuncusundan daha iyiydi . Tüm rekabet soruları yerel olarak çalıştırılabilir, bu da AI için teknik eşiği düşüren tüm rekabet soruları, AI için teknik eşiği düşürür.
Buna rağmen, bazı deneyimli insan oyuncuları hala . bazı oyuncular, birçok uluslararası takıma katıldıklarına dikkat çekti ve zengin CTF pratik deneyimleri ve ortak problem çözme stratejilerine aşina olmaları, rekabet güçlerinin anahtarıdır .
İkinci oyun olan "Siber Apocalypse", çok daha zordu . AI ajanları yeni sorularla karşılaşmalı ve yaklaşık 18, 000 insan oyuncuları . ile rekabet etmek zorunda kaldı ., esas olarak yerel bilgisayar ile ilgili olan AI sistemlerine meydan okuyan dış sunucularla etkileşime ihtiyaç duyan birçoğu, esas olarak yerel bilgisayarla etkileşime girmelidir.
Raporlara göre, CAI'nin en iyi performans gösteren, 20 görevi tamamladığı ve 859. sırada yer alan dört AI ajanı, tüm katılımcı ekiplerin ilk% 10'unda ve aktif ekiplerin ilk% 21'inde yer alıyordu {{6} Palisade araştırması, AI sisteminin performansının insan takımlarının yaklaşık% 90'ını aştığını söyledi {{6}
Araştırmacılar ayrıca, en iyi insan ekiplerinin soruları çözmek için ihtiyaç duyduğu süreye dayanarak, AI . tarafından çözülen soruların zorluğunu analiz ettiler, AI'nın insan ustalarını çözmek için yaklaşık 78 dakika alan soruları çözmede% 50 başarı oranına sahip olduğu bulunmuştur {{{{{{{{