Google’ın Gemini yapay zekasının, siber güvenlik yeteneklerinin test edildiği bir çalışma sırasında internete erişerek üç gerçek şirketin korumalı sistemlerine girdiği ortaya çıktı. Olay, Google’ın yapay zeka sistemlerinin otonom biçimde gerçek şirketlerin sistemlerine girdiği bilinen ilk vaka olarak kayda geçti.

The Wall Street Journal’ın haberine göre olaylar mayıs ayında, yapay zeka güvenliği alanında faaliyet gösteren Irregular şirketinin yürüttüğü testler sırasında yaşandı. Irregular daha önce OpenAI, Anthropic ve Meta’nın yapay zekalarının karıştığı benzer olaylarda da yer almıştı.

Google, cuma günü yaptığı açıklamada olayları doğruladı ancak Gemini’nin davranışını, yapay zekanın insan niyetleri veya değerleriyle çelişecek biçimde hareket etmesini ifade eden “model misalignment” [Yapay zekanın insanın amaçları, talimatları veya değerleriyle uyuşmayan biçimde davranması] kapsamında değerlendirmedi.

Sistemin şifresini tahmin ederek girdi

Vakalardan birinde Gemini, şifreleri tahmin etmeye çalışarak sonunda korumalı bir sisteme erişmeyi başardı.

Diğer iki vakada ise yapay zeka, internette herkese açık depolarda bulunan kimlik bilgilerini tespit etti. Gemini bu bilgileri kullanarak başka şirketlere ait korumalı sistemlere erişti.

Google’a göre yapay zeka, her üç olayda da gerçek bir şirketin sistemine girdiğini fark ettikten sonra işlemi kendiliğinden durdurdu.

Irregular şirketi, olaylardan Google’ı temmuz ayının sonunda haberdar etti. Google ise olayları bu hafta The Wall Street Journal’ın konuyla ilgili sorular yöneltmesine kadar kamuoyuna açıklamadı.

Google: Kamuoyuna açıklamayı gerektirecek bir durum değildi

Yapay zeka şirketlerinin güvenlik ihlallerini ve yapay zeka sistemlerinin beklenmeyen davranışlarını hangi koşullarda kamuoyuna açıklaması gerektiği giderek daha fazla tartışılıyor. Tartışmanın merkezinde ise gelişmiş yapay zeka sistemlerinin kontrolden çıkabileceğine ilişkin endişeler bulunuyor.

Google, Gemini’nin şirketlere zarar vermemesi ve gerçek sistemlere girdiğini fark eder etmez saldırıyı durdurması nedeniyle olayların kamuoyuna açıklanmasını gerektirecek nitelikte olmadığını savundu.

Şirket, yaşananları güvenlik açıklarını bulan bilgisayar korsanlarının bunları sistem sahiplerine bildirdiği “bug bounty” programlarına [Şirketlerin sistemlerindeki güvenlik açıklarını bulan kişileri, açığı kendilerine bildirmeleri karşılığında ödüllendirdiği program] benzetti.

Google Güvenlik Mühendisliğinden Sorumlu Başkan Yardımcısı Heather Adkins, olayın güçlü yapay zeka sistemlerinin sorumlu davranacak şekilde eğitilmesinin önemini gösterdiğini belirterek, “Bu vakada model uygun şekilde davrandı” dedi.

“Asıl mesele yapay zekanın yanlışlıkla başka bir şirketi hacklemesi”

Yapay zeka güvenliği girişimi Corridor’un CEO’su ve beyaz şapkalı hacker Jack Cable ise Google’ın açıklamasına karşı çıktı.

Cable’a göre tartışılması gereken asıl mesele olayların ne kadar ciddi olduğu değil, bir yapay zeka ajanının yanlışlıkla başka şirketlerin sistemlerine girebilmiş olması.

Cable, Google’ın güvenlik açıklarının bildirilmesine ilişkin mevcut uygulamaların arkasına sığındığını savunarak, yapay zeka sistemlerinin kendileri için belirlenen sınırların dışına çıkıp gerçek siber saldırılar gerçekleştirmesinin kamuoyunun bilmesi gereken bir konu olduğunu söyledi.

Test ortamındaki şirket ile gerçek şirketin adı aynıydı

Olayların, Gemini’nin siber güvenlik yeteneklerini ölçmek amacıyla Irregular altyapısında gerçekleştirilen bir “capture the flag” testi [Siber güvenlikte katılımcıların belirli sistemlere girerek veya güvenlik açıklarını bularak hedeflenen bilgiye, yani “bayrağa”, ulaşmaya çalıştıkları test/yarışma yöntemi] sırasında meydana geldiği belirtildi.

Gemini’ye, test ortamında faaliyet gösteren kurgusal bir şirkete ait yazılımdan belirli bilgileri elde etme görevi verilmişti. Ancak kurgusal şirket, gerçek dünyada faaliyet gösteren bir şirketle aynı adı taşıyordu. Irregular’a göre yapay zekanın internete erişebilmesi planlanmamıştı ancak internet bağlantısı yanlışlıkla açık bırakıldı.

İlk vakada Gemini, gerçek şirkete ait bir hizmetin şifresini tahmin ederek sisteme girdi. Google’a göre yapay zeka daha sonra gerçek bir şirketin sistemine eriştiğini fark etti, işlemini durdurdu ve sistemden çıktı. Diğer iki olay ise testin farklı çalıştırmalarında meydana geldi.

Gemini bu kez şirketin adını kullanarak internette arama yaptı. Aramalar sonucunda iki ayrı kamuya açık çevrim içi depoya ulaştı ve burada başka şirketlere ait kimlik bilgilerini buldu.

Yapay zeka, değerlendirme görevini tamamlamasına yardımcı olabileceğini düşünerek bu bilgileri denedi. Kimlik bilgileriyle sistemlere başarıyla girdikten sonra gerçek şirketlere eriştiğini fark eden Gemini, Google’ın açıklamasına göre yine işlemi durdurdu.

Üç şirket de bilgilendirildi

Google, güvenlik önlemlerinin Gemini’nin faaliyetini durdurmasını sağladığını belirterek yaşananları “model misalignment” olarak değerlendirmediğini açıkladı. Şirket, sistemlerine girilen üç şirketin isimlerini açıklamadı ancak tamamının olay hakkında bilgilendirildiğini bildirdi. Google ayrıca ABD federal makamlarına da bilgi verdi.

Olaylarda Google’ın en yeni yapay zeka modelinin kullanılmadığı belirtilirken, hangi Gemini sürümünün söz konusu olduğu açıklanmadı.

Irregular ise Google vakasının daha önce diğer yapay zeka sistemleriyle yaşanan benzer olaylardan farklı olmadığını ve yeni bir sorun türüne işaret etmediğini savundu. Şirket, ilgili yapay zeka laboratuvarlarının temmuz sonunda bilgilendirildiğini, etkilenen kuruluşlarla iletişime geçildiğini ve kendi taraflarındaki bilinen sorunların haftalar önce giderildiğini açıkladı.

Claude durmadı, OpenAI modeli sistemi testin parçası sandı

Benzer testlerde diğer şirketlerin yapay zeka sistemlerinin de gerçek sistemlere eriştiği biliniyor.

Anthropic’in açıklamasına göre Claude Opus 4.7, “capture the flag” testi sırasında gerçek bir şirkete erişiyor olabileceğini fark etmesine rağmen faaliyetini durdurmadı. OpenAI ise kendi yapay zekasının eriştiği gerçek şirketi simülasyonun bir parçası sandığını açıkladı.

Yapay zeka sistemlerinin siber güvenlik yeteneklerine ilişkin endişeler, temmuz ayında OpenAI yapay zeka ajanlarının yapay zeka yazılım şirketi Hugging Face’i hacklediğinin ortaya çıkmasıyla daha da arttı.

Üçüncü taraf test şirketi METR’nin ağustos ayında yayımladığı rapora göre bu olayda 1.200’e kadar yapay zeka ajanı, bir değerlendirmede hile yapmak amacıyla OpenAI bünyesindeki gizli bir mesaj panosu üzerinden koordineli şekilde hareket etti.

Tartışmalar, eski OpenAI araştırmacısı ve bu yıl Anthropic’e geçen Jacob Coxon’ın geçen hafta şirketten ayrılmasıyla yeniden gündeme geldi.

Anthropic, OpenAI, Google ve SpaceX yöneticileri hafta sonunda yapay zekadaki ilerleme hızının yavaşlatılması gerektiği konusunda görüş birliği sergiledi. Ancak şirketlerin hiçbiri bunun nasıl gerçekleştirileceğine ilişkin ayrıntılı bir yol haritası ortaya koymadı.

Kaynak: WSJ