Telemetri
Varsayılan olarak kapalıÜrün telemetrisi varsayılan olarak kapalıdır. Müşterinin yönettiği operasyonel izleme ve politikanın gerektirdiği denetim kanıtları ayrı sorumluluklardır.
BatonX / Kurulum
Sizin ortamınız. Sizin veri sınırınız. Sizin onaylı modelleriniz.
İlk BatonX ürünü, çok kiracılı barındırılan bir servis yerine müşteri tarafından yönetilen kurulum için tasarlanır.
Müşteri kontrolündeki ortam
Temel servisler + saklanan kanıtlar
Politika onaylı model yoluPlatform, kontrol ettiğiniz ortamda çalışır.
Temel servisler ve saklanan kanıtlar, müşteri kontrolündeki kurulumda kalır. Modele gönderilen bağlam, onaylı uç noktaya yönlendirilir.
Müşteri tarafından yönetilen kurulum sınırı
BatonX yönetim, gateway, runtime ve veri bileşenleri müşteri ortamında çalışır ve yalnızca onaylı model uç noktalarına bağlanır.
Müşteri ortamı
Admin Console
LLM Gateway
İzole çalışma ortamı
Müşteri verisi
Onaylı model uç noktası
Bulut, özel veya şirket içi
Altyapı kararları sizde kalır.
Müşteri altyapısını, ağ yollarını, backup yaklaşımını, retention ayarlarını, model hedeflerini ve kurumsal entegrasyonlarını seçer.
- Altyapı ve ağ
- Veritabanı ve depolama
- Gizli bilgiler ve kimlik
- Yedekleme ve saklama
- İzleme ve olay hedefleri
- Modeller ve kurumsal entegrasyonlar
Odaklı bir başlangıç. Net bir kurulum yönü.
İlk kurulumlar, sade bir konteyner tabanlı kurulumu hedefler. Ürün olgunluğu ve müşteri ihtiyaçları doğrultusunda daha gelişmiş orkestrasyon seçenekleri değerlendirilebilir.
İlk model, şirket içi ve özel bulut ortamlarında kurulum başına tek müşteri organizasyonudur. Çevrimdışı veya kısıtlı ağda kurulum ve imzalı çevrimdışı güncellemeler hedeflenen kabiliyetlerdir; ortamınıza uygunluğu pilot kapsamı belirlenirken doğrulanmalıdır.
Operasyonel gizlilik, varsayılanlarla başlar.
Telemetri ve uzaktan destek varsayılan olarak kapalıdır. Destek paketi müşteri tarafından açık ve denetlenebilir bir işlemle oluşturulup paylaşılır.
Uzaktan destek
Varsayılan olarak kapalıUzaktan destek varsayılan olarak kapalıdır. Müşteri destek materyalini açık ve denetlenebilir bir işlemle oluşturur ve paylaşır.
Model konumu açıkça gösterilir.
Müşteri tarafından yönetilen BatonX kurulumu seçilen LLM'i otomatik olarak yerel yapmaz. Admin harici cloud, özel bölgesel veya uyumlu şirket içi model uç noktasını onaylayabilir.
Harici bulut
Gerekli bağlam, kurumun onayladığı harici bir model uç noktasına gönderilebilir.
Onaylı bir harici hedef
Özel uç nokta
Onaylı özel veya bölgesel bir uç nokta seçin. Konumu ve veri işleme koşulları yine de incelenmelidir.
Konum açıkça yapılandırılır
Kurum içi model
Model ve adapter kabiliyetleri doğrulandığında, kurumun kontrolündeki bir model uç noktasını kullanın.
Uyumluluk ayrı ayrı doğrulanır
Harici sağlayıcının veri işleme koşulları, sağlayıcı sözleşmenize ve yapılandırmanıza bağlıdır. Müşteri tarafından yönetilen kurulum, her model isteğinin veya entegrasyonun kurum içinde kalacağı anlamına gelmez.
Pilotu kendi ortamınıza göre planlayın.
Geliştirici iş akışını değerlendirmeden önce kurulum sınırını, onaylı model yolunu ve operasyonel sorumlulukları belirleyin.
Kurulumunuzu görüşün