Bulutta yerel gözlemlenebilirlik platformu: Azure, Retina'yı açık kaynak haline getiriyor
Paris'te düzenlenen Cloud Native Computing Foundation (CNCF) KubeCon + CloudNativeCon Avrupa 2024 kapsamında Microsoft, açık kaynak projesi KAITO – Kubernetes AI Toolchain Operator'ı sundu. Azure Kubernetes Service (AKS) için KAITO tabanlı yönetilen eklentinin amacı, Microsoft'un bulut hizmetinde özel makine öğrenimi iş yüklerini çalıştırmayı daha uygun maliyetli hale getirmek ve daha az manuel yapılandırma gerektirmektir. Ek olarak, bulutta yerel ağ gözlemlenebilirliği platformu artık açık kaynaktır.
Duyuru
Kubernetes kümelerine otomatik LLM dağıtımları
KAITO, bir Kubernetes kümesinde AI/ML çıkarım modeli dağıtımlarını otomatikleştiren bir operatördür. Açık kaynak projenin GitHub deposuna göre hedef modeller, Falcon ve Llama 2 gibi açık kaynaklı büyük çıkarım modelleridir. Operatörün, diğer şeylerin yanı sıra, genel Microsoft Container'da büyük model görüntüleri barındırmaya büyük yapay zeka çıkarım modelleri eklemesi bekleniyor. Kayıt defteri (MCR). Lisansınız izin veriyorsa basitleştirin. GPU donanımına göre uyarlanmış önceden oluşturulmuş yapılandırmalar, uygulama parametrelerini optimize etmeye gerek kalmamasını da sağlar.
AKS'de büyük dil modellerini daha kolay ve uygun maliyetli bir şekilde çalıştırın
AKS için yeni KAITO eklentisi artık önizleme aşamasında mevcut ve Azure Kubernetes Hizmeti'ndeki KAITO özelliklerini kullanmanıza olanak tanıyor. Operatörün amacı, her model için en uygun altyapı boyutunu seçerek büyük dil modellerinin GPU ve CPU kaynaklarına dağıtımını otomatikleştirmektir.
Eklenti aynı zamanda çıkarımı az sayıda GPU'ya sahip birden çok sanal makineye (VM) bölmenize de olanak tanır. Bu, iş yüklerinin çalışabileceği Azure bölgelerinin sayısını artırır; bu da daha yüksek GPU sayılarına sahip sanal makinelerin bekleme sürelerini ortadan kaldıracak ve dolayısıyla genel maliyetleri azaltacaktır. AKS tarafından barındırılan görsellerin yer aldığı önceden oluşturulmuş şablonlar da mevcuttur.
Eklentinin yüklenmesi, diğer şeylerin yanı sıra bir Azure hesabı ve Azure CLI sürüm 2.47.0 veya üzerini gerektirir. Daha fazla ayrıntıyı eklenti duyurusunda, KAITO'nun GitHub deposunda ve Microsoft Learn'de bulabilirsiniz.
Retina gözlemlenebilirlik platformu artık açık kaynak
Bulut teknolojisiyle ilgili bir başka duyuruyu Microsoft'un Azure blogunda bulabilirsiniz: Şirket, Retina için açık kaynaklı bir depoyu kullanıma sundu. Bulutta yerel ağ gözlemlenebilirlik platformu Kubernetes kullanıcılarına, yöneticilerine ve geliştiricilerine yöneliktir. Konteyner ağ arayüzü (CNI), işletim sistemi ve bulut sağlayıcısından bağımsız olarak Kubernetes iş yükü trafiğini görselleştirmek, gözlemlemek, hata ayıklamak ve analiz etmek için kullanılır.
Geliştirme ekibine göre Retina'nın temel özelliklerinden biri, Katman 4 ve DNS ölçümleri de dahil olmak üzere ağ trafiği hakkında derinlemesine bilgi sunmanın yanı sıra ağ üzerinden dağıtılan paketleri izlemesidir. Çoklu bulut platformunun, ayrıntılı bağlamla birlikte kapsül düzeyinde ölçümler sunarak Kubernetes uygulama modeline sorunsuz bir şekilde entegre olması gerekir. Ağ gözlemlenebilirliği verileri endüstri standardı Prometheus ölçümleri olarak sağlanır.
Retina'ya Giriş artık açık kaynaklı platform hakkında daha fazla bilgi sağlıyor.
(Mayıs)
Haberin Sonu