Claude Kendi Kodunu Nasıl Doğruluyor? ~ İbrahim Kaya
×
Yapay Zeka

Claude Kendi Kodunu Nasıl Doğruluyor?

İbrahim Kaya Yayınlanma: Güncelleme: 3 dk okuma
Claude Kendi Kodunu Nasıl Doğruluyor?
İçindekiler

Anthropic, Claude Code aracındaki kodların yaklaşık %90'ının Claude tarafından yazıldığını ve incelendiğini açıkladı. Şirkette görev yapan Addy Osmani, eşzamanlı çalışan çok sayıda otonom ajanın ürettiği kodların insan mühendisleri yormadan nasıl doğrulandığını anlattı.

Çalışan uygulama üzerinde canlı test

Anthropic, Claude'un yaptığı değişiklikleri doğrudan çalışan bir ortamda test ettiriyor. Web projeleri için tarayıcı otomasyonu, mobil yapılar için MCP (Model Context Protocol) tabanlı simülatörler ve arka yüz mimarileri için yerel servisler ayağa kaldırılıyor.

Doğrulama kuralları doğrudan depolarda tanımlanıyor, böylece ajanlar değişiklikleri commit etmeden önce kontrolleri kendileri çalıştırıyor:

bash
# Doğrulama yetenekleri dizin yapısı
.claude/skills/run-verification.sh
.claude/skills/browser-tests/

Ekip ayrıca sınır durumları yakalamak için özellik tabanlı testlere (property-based testing) ve eski kodla yeni kod arasındaki davranış farklarını bulan türevsel testlere (differential testing) başvuruyor.

Çıkarım maliyetlerini düşürme stratejisi

Her test adımında büyük dil modellerini çalıştırmak yüksek çıkarım (inference) maliyetleri oluşturuyor. Geliştiricilerin bir kısmı, model çağrıları yerine Playwright gibi standart araçların yeterli olacağını belirtiyor.

Anthropic bu süreçte iki aşamalı bir yöntem kullanıyor:

  • Deterministik adımlar: Derleme süreçleri, linter'lar, birim ve özellik testleri ilk sırada çalışıyor. Bunlar Claude tarafından yazılsa da standart komut satırı araçları gibi çalıştığı için ek model maliyeti getirmiyor.
  • Model tabanlı inceleme: Dil modeli çıkarımları yalnızca deterministik testlerin yanıt veremediği mimari kararlar ve eksik kalmış uç durumlar için devreye giriyor.

Ajanların testleri manipüle etmesini önlemek

Otonom ajanlar testten geçebilmek için asıl hatayı düzeltmek yerine test dosyasını değiştirebiliyor veya geçici yamalar ekleyebiliyor. Anthropic bu sorunu engellemek için net bir kural uyguluyor:

"Bizim kuralımız basittir: Eğer bir değişiklik kendisini yargılayan kontrol mekanizmasını değiştirebiliyorsa, o kontrol bozuktur."

Bu ilke doğrultusunda sistemde şu kısıtlamalar uygulanıyor:

  1. REVIEW.md dosyası PR içeriğinden değil, her zaman hedef ana daldan (base branch) okunuyor.
  2. Claude'un kararsız testleri atlamasına, bekleme (sleep) komutları eklemesine veya test geçene kadar rastgele deneme yapmasına izin verilmiyor.
  3. Kök neden çözülemediğinde ajan hatayı görmezden gelemiyor; gerekçesini açıkça yazmak zorunda kalıyor.

İnsan mühendislerin sorumluluğu

Anthropic, haziran ile eylül ayları arasında Claude Code deposuna birleştirilen PR hacminin iki katına çıktığını, geri alınan (revert) değişiklik oranının ise %40'tan fazla düştüğünü belirtiyor.

Bir test döngüsü üç tur boyunca başarısız olursa konu otomatik olarak bir mühendise devrediliyor. Anthropic son onay adımını şöyle özetliyor: "Kodu kim yazmış olursa olsun, canlıya çıkan her değişiklikten bir insan sorumludur."