OpenAI, yapay zeka modellerinin güvenlik düzeyini dış uzmanlarla birlikte incelemek üzere kapsamlı bir süreç başlattığını duyurdu. Şirket, Apollo Research, Goodfire, METR ve Transluce ile anlaşarak bu kuruluşların araştırmacılarının henüz yayınlanmamış modelleri, eğitim süreçlerini ve güvenlik altyapısını incelemesine olanak tanıyacak.

Gömülü Değerlendirme Yaklaşımı ve Kapsam

Embedded assessments adı verilen yeni yöntem sayesinde bağımsız araştırmacılar, şirket bünyesinde güvenlik analizleri yürütecek. Uzmanlar, çalışmalarının niteliğine bağlı olarak yapay zekanın farklı gelişim aşamalarına, kaynak kodlarına, eğitim ve değerlendirme verilerine, izleme sistemlerine ile teknik belgelere ulaşabilecek. Ayrıca şirket mühendisleriyle doğrudan görüşme imkanı bulacak olan araştırmacılar, kurum içi testlerin gözden kaçırabileceği olası zafiyetleri tespit etmeye çalışacak.

Yapay Zeka Subversion Riski ve Apollo Research

Programın en dikkat çeken ortaklıklarından biri Apollo Research ile gerçekleştiriliyor. Bu iş birliği çerçevesinde, modellerin geliştiricilerinin niyetlerine gizlice karşı hareket edip edemeyeceği ve güvenlik önlemlerinin bu durumları yakalayıp yakalayamayacağı araştırılacak. Yapay zeka subversion olarak tanımlanan temel risk, bir modelin insan kontrolünü sürdürmek için kurulan hizalama mekanizmalarını zayıflatmaya çalışmasını kapsıyor. Modellerin daha otonom hale gelmesi ve insanları yanıltma kapasitelerinin artması bu tehlikenin önemini artırıyor.

Diğer Kuruluşların Odak Alanları ve Çalışma Koşulları

Ortaklığa katılan diğer kuruluşlar farklı alanlara odaklanıyor. Goodfire modellerin iç mekanizmalarını analiz ederken, METR büyük pekiştirmeli öğrenme süreçlerindeki uyumsuz davranışları araştırıyor. Transluce ise eğitim sonrasındaki güvenlik değerlendirmelerinin kapsamını inceliyor ve 2027 başlarında daha detaylı bir çalışma planlıyor. Hassas veriler nedeniyle çalışmalar OpenAI ofislerinde ve özel cihazlarla yürütülürken, uzmanlar bulgularını yayımlayabilecek ancak şirket ticari sırları sansürleyebilecek.