Bir yapay zekâ prototipini birkaç saatte ayağa kaldırmak kolaydır; ancak aynı akışı her gün binlerce CRM kaydı, e-ticaret siparişi veya arama telemetrisi olayı üzerinde hatasız çalıştırmak doğrudan bir sistem mühendisliği problemidir. Web isteği (HTTP request) içinde dış model API’sine senkron çağrı yapıldığında üç kritik arıza kaçınılmaz hale gelir: kuyruk ucu gecikme sıçramaları (tail latency), zaman aşımında yarım kalan veritabanı kayıtları ve doğrulanmamış model çıktılarının canlı sistemleri bozması.
1. İstek katmanı ile model yürütmesini birbirinden ayırın
Digiras’ta kurduğumuz özel otomasyon projelerinde ve Digiras Plus arka plan işleyicilerinde kullanıcı arayüzü veya gelen webhook hiçbir zaman doğrudan LLM yanıtını beklemez. HTTP katmanı 30 ms altında kimlik, CSRF/imza ve girdi kontrolünü tamamlar; benzersiz bir idempotency_key ile görevi kuyruğa yazar ve işi izole arka plan işçilerine (worker) devreder.
2. Her model çıktısını “güvenilmeyen girdi” olarak doğrulayın
Büyük dil modelleri olasılıksal metin üreticileridir; deterministik mikroservis değildir. Yapılandırılmış çıktı (structured output) modları kullanılsa dahi canlı veritabanına, reklam hesabına veya arama indeksine yazmadan önce katı son-koşul kontrolleri uygulanmalıdır:
- Katı şema ve sınır kontrolü: Dönen her JSON yanıtı alan tipleri, karakter/piksel tavanları (örneğin 580 px SERP başlık sınırı) ve izinli kategori listelerine göre doğrulanır.
- Çok modelli yedekleme (fallback): Ana akıl yürütme adımları yüksek kapasiteli modellere yönlendirilirken; sınıflandırma, veri ayıklama ve format onarımı gecikme eşiği aşıldığında otomatik yedek hatta geçer.
- Sıfır ham HTML enjeksiyonu: Üretilen metinler çıktı sınırında her zaman escape edilir ve zorunlu
Content-Security-Policyile korunur; böylece dolaylı prompt enjeksiyonu tarayıcıda asla kod çalıştıramaz.
3. Yalnızca token değil, iş sonucu telemetrisi
Harcanan token sayısı bir otomasyonun başarılı olduğunu göstermez. Üretimdeki her iş akışında dört temel sinyali izliyoruz: uçtan uca tamamlanma süresi, şema reddetme oranı, tamamlanan işlem başına birim maliyet ve insan müdahalesi oranı. Müdahale oranı düşüp yük altında deterministik akış korunduğunda, yapay zekâ bir vitrin demosundan gerçek yazılım altyapısına dönüşür.