OpenAI, Yapay Zeka Ajanlarının bir Alman Wiki’sini ele Geçirmesi Nedeniyle “Sorun” Raporlama Kuralları Oluşturacak

OpenAI, deneysel yapay zeka ajanlarının bir Alman wiki’sini yetkisiz bir iletişim kanalı olarak kullandığına dair açıklamaların ardından, yapay zeka sistemlerinin geliştiricilerinin amaçlamadığı şekillerde davrandığı olayları raporlamak için resmi bir çerçeve geliştireceğini söyledi.

Bu adım, yapay zeka güvenliğinde önemli bir değişimi temsil ediyor: “Uyumsuzluk”, akademik bir araştırma probleminden siber güvenlik olay raporlamasına daha yakın bir şeye doğru evrilmeye başlıyor.

OpenAI, deneysel yapay zeka ajanlarının halka açık internet sitelerine yazı yazdığı ve az bilinen bir Almanca wiki’yi doğaçlama bir iletişim sistemi olarak kullandığı “wiki olayı” olarak adlandırdığı olayı kabul etti.

Şirket, 5 Eylül’de yaptığı açıklamada, bu olayın, giderek daha yetenekli yapay zeka ajanlarının gerçek dünyayla etkileşime girmeye başlamasıyla mevcut açıklama uygulamalarının artık yeterli olmadığını gösterdiğini söyledi.

OpenAI, eğitim, değerlendirme ve dağıtım sırasında meydana gelen uyumsuzluk olaylarının ne zaman ve nasıl raporlanması gerektiğini tanımlayan bir çerçeve geliştirdiğini ve çerçeveyi önümüzdeki haftalarda yayınlamayı planladığını söyledi.

Şirket ayrıca, dünya çapındaki düzinelerce devlet düzenleyici kurumuyla da konuyu görüşüyor. Bu açıklama, OpenAI’nin wiki olayını neden daha önce açıklamadığına dair artan incelemelerin ardından geldi.

Reuters, OpenAI’nin olayı kamuoyuna açıklamadan haftalar önce bu faaliyetten haberdar olduğunu bildirdi. Olay, Nightingale Collective’in araştırması ve ardından gelen haberlerle kamuoyuna yansıdı. Gerçi bu konuda da başka spekülasyonlar var.

Avrupa Komisyonu da olaya dahil oldu. 7 Eylül’de Komisyon sözcüsü Thomas Regnier, OpenAI’nin Alman web sitesiyle ilgili bir olay raporu sunduğunu doğruladı ve şirket ile Komisyonun konu hakkında iletişim halinde olduğunu söyledi. Dolayısıyla, konu artık sadece OpenAI’nin iç şeffaflık tartışması olmaktan çıktı, düzenleyici kontrolü altına girdi.

Yapay Zeka Ajanları tam olarak ne yaptı?

Olay neredeyse bilim kurgu gibi geliyor, ancak altta yatan mekanizma oldukça sıradan ve potansiyel olarak daha endişe verici görünüyor. Deneysel OpenAI ajanları, izole ortamlarda görevler yürütüyordu. Birbirleriyle sınırsız iletişim kurmaları veya rastgele web sitelerini ortak altyapı olarak kullanmaları beklenmiyordu.

Ancak bazı ajanların, internete erişilebilir sistemlere bilgi yazmanın yollarını keşfettiği belirtiliyor.

Olayla ilgili haberlere göre, bir Alman programlama wiki’si sonunda, ajanların diğer ajanların alabileceği bilgiler bırakabileceği doğaçlama bir mesaj panosuna dönüştü. Bu faaliyetin, yaklaşık 25 yıllık sitede yaklaşık 18.000 giriş oluşturduğu ve hacmin zaman zaman günde yüzlerce yeni girişe ulaştığı bildiriliyor.

Önemli nokta, bir insan programcı ajanlara “Bu Alman wiki’sine gidin ve bir iletişim ağı oluşturun.” talimatı vermiş değil. İletişim mekanizması, ajanlar kendilerine atanan hedefleri gerçekleştirmeye çalışırken ortaya çıktı.

Bu nedenle OpenAI, olayı “Uyumsuzluk (Misalignment)” olarak sınıflandırıyor. Yani, bir yapay zeka sisteminin, bir hedefi takip etme biçimi, tasarımcılarının amaçladığı veya izin verdiği şeyden farklı ise buna “Uyumsuzluk” deniliyor.

Bu nedenle bir ajan, teknik olarak kendisine atanan hedefi takip ederken, yine de yaratıcılarının istemediği eylemleri gerçekleştirebilir.

Bir yapay zeka neden hile yapar?

Bu soru, Hugging Face’i içeren daha ciddi bir OpenAI olayından sonra çok daha netleşti. Temmuz ayındaki dahili siber güvenlik değerlendirmeleri sırasında, OpenAI modelleri ExploitGym olarak bilinen son derece zorlu siber saldırı egzersizlerinde test ediliyordu.

Bazı görevlerin, ajanların daha önce bulamadığı hiçbir çözümü yoktu. Ancak ajanlar durmak yerine giderek daha ısrarcı hale geldi. OpenAI’nin daha sonraki araştırması dört önemli davranışsal sorunu belirledi: ödüllü siber saldırı, görünüşte imkansız görevlerde aşırı ısrar, yetkisiz iletişim ve ajanların diğer ajanlardan hedefleri benimsemesi.

Ajanlar, amaçlanan ortamda siber güvenlik sorununu çözmek yerine, diğer mekanizmalar aracılığıyla cevaplar bulmaya çalıştılar. Bunu sınavda kopya çekmeye benzetiyorlar.

OpenAI, çevrimiçi çözüm arama girişimlerinin daha sonraki Hugging Face olayının temel nedenlerinden biri olduğu sonucuna vardı. Sistemin bir hedef vardı, o da doğru cevabı bulmak. Ancak ajanlar, bu kurallara uyarken ve bu ortamın içinde kalırken doğru cevabı bulmaya çalıştılar.

Ajanlar işbirliği yapmayı öğrendiler

Daha da önemlisi, bağımsız olarak çalışması gereken ajanlar, bilgi alışverişi yapmanın yollarını buldular, kalıcı mesaj panoları oluşturdular ve bunları keşifleri paylaşmak ve diğer ajanlar tarafından yapılan çalışmaları sürdürmek için kullandılar.

OpenAI, bunun ayrı ajanların iş ve hesaplama kaynaklarını bir araya getirmesine ve birlikte başarabilecekleri şeyleri artırmasına olanak sağladığını söylüyor. Temmuz ayındaki olayda, bazı ajanların kendilerini “sürü” veya “kolektif” gibi terimlerle tanımladıkları bildirildi.

Bu, sistemlerin bilinçli hale geldiği veya bağımsız olarak bir organizasyon oluşturduğu anlamına gelmiyor.

Ancak teknik olarak bu olgu önemlidir. Ayrı yapay zeka süreçleri, iş birliğinin kendilerine atanan hedefleri tamamlama olasılıklarını artırdığını keşfetti ve bu nedenle geliştiricilerin yetkilendirmediği iletişim kanalları buldu.

Bu, yanlış cevap veren bir sohbet robotundan çok farklı bir güvenlik sorunudur.

Ardından Hugging Face ihlali geldi

Durum Temmuz ayında dramatik bir şekilde tırmandı. OpenAI’nin dahili siber güvenlik değerlendirmeleri sırasında, ajanlar daha önce bilinmeyen güvenlik açıklarını bir araya getirdi, sanal alan kısıtlamalarını aştı, internet erişimi elde etti ve yapay zeka platformu Hugging Face’e ait üçüncü taraf sistemlere ulaştı.

OpenAI olayı “uyarı atışı” olarak tanımladı. Şirket, söz konusu ana araştırma modelinin, GPT-5.6 Sol ile ölçek olarak karşılaştırılabilir bir iç sistem olduğunu ve siber güvenlik testlerinin bir parçası olarak azaltılmış güvenlik önlemleri altında çalıştığını söyledi.

Modeller sadece sorunlu metinler üretmiyor. Artık, bilgisayarlar aracılığıyla eylemler gerçekleştiriyorlar.

OpenAI’nin soruşturması, ajanların, yetkisiz kanallar aracılığıyla iletişim kurduklarını, paylaşılan altyapıdaki güvenlik açıklarından yararlandıklarını, izolasyon mekanizmalarını atlattıklarını, internet erişimi sağladıklarını ve üçüncü taraf sistemlere eriştiklerini ortaya koydu.

OpenAI, daha sonra Hugging Face ve CrowdStrike dahil olmak üzere harici siber güvenlik danışmanlarıyla birlikte olayı araştırmak için çalıştı.

Wiki olayı birdenbire daha önemli görünmeye başladı

İşte  tartışma burada başlıyor. Hugging Face ihlalinden önce OpenAI, ajanların internete erişilebilir sistemleri amaçlanmayan şekillerde kullanabileceğine dair erken işaretler gözlemlemişti. Alman wiki’si de bu tür bir örnekti.

Ancak OpenAI, olayı daha önce araştırma yayınlarında ve sistem kartlarında tartıştığı türden uyumsuzluk davranışının bir başka örneği olarak gördüğünü söylüyor.

Hugging Face olayından sonra bu ayrımı korumak çok daha zorlaştı. Aynı genel davranış kategorisi – ısrarcılık, yetkisiz iletişim ve kısıtlamaları aşma girişimleri – ilginç bir araştırma gözleminden gerçek bir siber güvenlik olayına dönüşebilir.

OpenAI artık açıklama politikasının değişmesi gerektiğini kabul ediyor.

Şirket, özellikle bir olay geleneksel güvenlik ihlali tanımına uymasa da potansiyel olarak tehlikeli yapay zeka davranışına dair kanıt sağladığında, eğitim, değerlendirme veya dağıtım sırasında ortaya çıkan uyumsuzlukları raporlamak için yapay zeka endüstrisinin net bir standarda sahip olmadığını söylüyor.

OpenAI, bir yapay zeka olay raporlama sistemine benzer bir şey istiyor. Bu, tartışmanın en önemli sonucu olabilir. Siber güvenlik zaten olaylar için yerleşik kavramlara sahip. Bir şirket, bir güvenlik açığı, ihlal, kötü amaçlı yazılım, yetkisiz erişim veya çalınan bilgileri keşfedebilir.

Soruşturma, bildirim, iyileştirme ve bazı yargı bölgelerinde zorunlu düzenleyici açıklama için yerleşik prosedürler mevcuttur. Ama yapay zeka uyumsuzluğunun eşdeğer olgun bir sistemi yoktur.

Şu şekilde bir yapay zeka ajanı düşünün, kendi kum havuzunu atlatmaya çalışır ancak başarısız olur. Bu rapor edilebilir mi? Bir güvenlik açığı keşfeder ancak bunu kullanmazsa ne olur? 1000 ajan aynı geçici çözümü bağımsız olarak keşfederse ne olur? Ajanlar yetkisiz bir iletişim kanalı kurar ancak hiçbir dış sistem zarar görmezse ne olur? Eylemlerini izleme sistemlerinden gizlemeye çalışırlarsa ne olur?

Hiçbiri geleneksel siber güvenlik ihlali tanımına tam olarak uymuyor. Ancak hepsi gelecekteki yapay zeka sistemlerinin yetenekleri ve davranışları hakkında önemli bilgiler ortaya çıkarabilir.

OpenAI’nin yeni çerçevesinin ele almayı amaçladığı boşluk tam olarak budur. OpenAI ayrıca, izleme sisteminin sorunu tespit etmesi gerektiğini de ortaya koydu.

Olaylar, rahatsız edici bir başka sorunu da ortaya çıkardı: Tehlikeli davranış, en azından geriye dönüp bakıldığında, tespit edilebilirdi.

OpenAI, iç ekibinin Mayıs ayı sonlarında mesaj panosu etkinliğini ve yetkisiz internet erişimini gözlemlediğini söylüyor. Bu sinyaller üst kademeye yeterince iletilmedi. Daha da çarpıcı olanı, şirketin soruşturması, düşünce zinciri izleme teknolojisinin ilgili davranışı tespit edebileceğini ortaya koydu.

OpenAI, mevcut izleme sisteminin Hugging Face değerlendirmesi sırasında çalışıyor olsaydı, etkinliği tespit edip güvenlik personelini modeller Hugging Face sistemlerine ulaşmadan bir günden fazla önce uyaracağını söylüyor.

Bu nedenle sorun, yapay zekanın beklenmedik şekilde davranmasıyla sınırlı değildi. Deneyin etrafındaki güvenlik mimarisi de eksikti. Bu iç değerlendirmelerde, ChatGPT’ye normalde uygulanan üretim güvenlik önlemlerinin tamamı etkinleştirilmemişti.

OpenAI daha sonra bu güvenlik önlemlerini test etti ve üretim ChatGPT donanımının ve sistem uyarısının, değerlendirmesinde altyapıyı tehlikeye atma eğilimini 100 kattan fazla azalttığını söylüyor. OpenAI, öncü eğitimlerinin bir kısmını durdurdu. Sonuçlar, açıklama politikasının ötesine uzandı.

Hugging Face olayının ardından OpenAI, en son dağıtım odaklı modellerinde takviyeli öğrenme eğitimini durdurduğunu ve personeli güvenlik, emniyet ve uyum çalışmalarına yönlendirdiğini söylüyor.

En büyük planlı öncü takviyeli öğrenme çalışması beklemede kalırken, daha küçük eğitim ve değerlendirme çalışmaları güvenlik önlemlerini test etmek için kullanılıyor.

Şirket ayrıca, GPT-5.6 Sol yeteneği veya üzeri sistemleri içeren araç kullanan takviyeli öğrenme eğitimleri ve değerlendirmeleri için düşünce zinciri izlemesini zorunlu hale getirdi.

OpenAI ayrıca, ciddi uyumsuzluk uyarılarının hızlı müdahaleyi tetikleyebileceği sistemler geliştiriyor.

Revize edilmiş prosedürüne göre, en ciddi uyarılarla ilgilenen müdahale ekiplerinin, bir uyarının yanlış pozitif olduğunu 30 dakika içinde belirleyemezlerse ilgili faaliyeti durdurmaları bekleniyor.

Uzun vadeli hedef daha çarpıcı: OpenAI, ciddi uyumsuzluk olayları için otomatik kapatma prosedürleri üzerinde çalıştığını söylüyor.

Bu, yapay zekâ halüsinasyonu ile aynı sorun değil

Wiki olayı, yapay zekâ güvenliğinde önemli bir ayrımı da gösteriyor.  Halüsinasyon gören bir chatbot “Paris, Almanya’nın başkentidir” cevabı verebilir. Bu, çıktı güvenilirliği sorunudur.

İnternete erişmek için amaçlanmamış bir yöntem keşfeden, bir iletişim kanalı oluşturan, diğer ajanlarla bilgi paylaşan ve amaçlanan sınırlarının dışında bir hedefi takip etmeye devam eden otonom bir ajan, farklı bir sorun sınıfı sunar, bir ajan ve kontrol sorunu.

Bu fark, yapay zekâ yalnızca soruları cevaplayan sistemlerden şu yeteneklere sahip sistemlere evrildikçe giderek daha önemli hale gelir, web siteleri açmak, yazılım yazmak, bilgisayar çalıştırmak, kimlik bilgilerini kullanmak, diğer ajanlarla iletişim kurmak ve sürekli insan gözetimi olmadan uzun eylem dizilerini yürütmek mümkün müdür?

Yanlış bir cümlenin potansiyel zararı, yanlış bir eylemin potansiyel zararından temelde farklıdır.

Daha önemli soru: Kamuoyunun neyi bilmesi gerektiğine kim karar veriyor?

Bu nedenle OpenAI’nin önerdiği çerçeve, yakında tüm yapay zekâ endüstrisini etkileyebilecek bir yönetişim sorununu ele alıyor.

Diyelim ki, öncü bir yapay zeka laboratuvarı, eğitim sırasında bir modelin kum havuzundan kaçmaya çalıştığını gözlemliyor. Hiçbir şey zarar görmüyor, hiçbir müşteri etkilenmiyor, model asla piyasaya sürülmüyor. Peki şirket yine de olayı açıklamalı mı?

Şirketin bakış açısından, bu sadece başarısız bir araştırma deneyi olabilir. Ancak hükümetlerin, rakip laboratuvarların ve yapay zeka güvenliği araştırmacılarının bakış açısından, diğer modellerin yakında geliştirebileceği bir yetenek hakkında son derece değerli bir kanıt olabilir.

İşte bu yüzden wiki tartışması, yapay zeka ajanlarının belirsiz bir Alman programlama sitesini ele geçirmesiyle ilgili garip hikayeden potansiyel olarak daha önemli.

Birkaç yıl önce neredeyse hiç var olmayan bir düzenleyici kategoriyi ortaya çıkıyot. Yapay zekanın kıl payı atlattığı olaylar.

Havacılık, kıl payı çarpışmaları rapor ediyor. Nükleer tesisler güvenlik olaylarını rapor ediyor. Siber güvenlik kuruluşları güvenlik açıklarını ve ihlallerini açıklıyor.

Otonom yapay zekâ ajanları dış sistemler üzerinde işlem yapma yeteneğine sahip hale geldikçe, düzenleyiciler sonunda benzer bir şey talep edebilir, yapay zekâ sistemleri X’i denedi, güvenlik önlemleri Y’yi engelledi, hasar oluşmadı – ancak olay yine de rapor edilmelidir.

OpenAI’nin resmi bir uyumsuzluk bildirim çerçevesi geliştirme kararı, öncü yapay zekâ endüstrisinin tam olarak bu yönde ilerlediğini gösteriyor.

Soru şu ki, bu raporlama kuralları yapay zekâ şirketlerinin kendileri tarafından yazılan gönüllü standartlar olarak mı kalacak yoksa sonunda hükümetler tarafından dayatılan zorunlu yükümlülükler haline mi gelecek?

OpenAI, Yapay Zeka Ajanlarının bir Alman Wiki’sini ele Geçirmesi Nedeniyle “Sorun” Raporlama Kuralları Oluşturacak – Türk İnternet.