Databricks, geliştirme ekipleri için özel olarak hazırlanmış VS Code kaynak kodu düzenleyicisine yönelik yeni bir uzantıyı duyurur ve Databricks İş Akışları ile dbt veri dönüştürme projelerini organize etmeye yönelik özelliklerin genel kullanıma sunulduğunu duyurur.
Lakehouse için Geliştirici Araçları
Mimari satıcısı Lakehouse, geliştiricilerin veri sorguları, analiz veya makine öğrenimi modeli eğitimi gerçekleştirmek için kodlarını Databricks kümelerine sorunsuz bir şekilde entegre etmelerini kolaylaştırmak istiyor. Databricks geliştiricilerinden oluşan özel bir ekip, Lakehouse platformu ile geliştiriciler arasında popüler olan IDE’ler arasındaki işbirliğini geliştirmek için çalışıyor. İlk adım olarak, Databricks şimdi Visual Studio Code için bir uzantı yayınlıyor. Geliştiriciler kendi kodları üzerinde çalışırken kod düzenleyicinin tüm fonksiyonlarını (CI/CD, birim testleri, sürüm kontrolü vb.) kullanabilirler. , ancak Databricks kümelerine yetkili bağlantı yoluyla uzaktan kod yürütebilir ve platforma özgü işlevleri entegre edebilir.
Tüm Databricks nesneleri, yazılım geliştirmeden bilinen en iyi uygulamalar kullanılarak doğrudan VS Code’dan değiştirilebilir ve kullanılabilir. Uzantı artık Visual Studio Marketplace aracılığıyla kullanılabilir. Bunu diğer geliştirme ortamları için karşılaştırılabilir uzantılar ve araçlar takip edecektir. Blog gönderisi daha fazla ayrıntıyı özetliyor.
Databricks iş akışlarıyla dbt projelerini düzenleyin
Ekim 2022’de Databricks, Lakehouse Databricks Workflows düzenleyicisinin, başlangıçta genel önizlemenin bir parçası olarak Veri Oluşturma Aracı (dbt) ile veri dönüştürme projelerini yönetmek için kullanılabileceğini duyurdu. Görünüşe göre test aşaması başarıyla tamamlandıktan sonra, özellik artık hem SQL Pro ambarları hem de daha önce olduğu gibi sunucusuz değişkenleri için genel kullanıma sunuldu (genel kullanılabilirlik).
Dbt projesi için bir Git deposu ve SQL ile dönüştürülen verilerle başlayarak, veriler ve makine öğrenimi ardışık düzenleri Lakehouse platformunda izlenebilir ve yönetilebilir. Databricks iş akışları, dbt işlerini yönetmenin yanı sıra sorunsuz çalışma sağlar, hata durumunda uyarı mesajlarını tetikler ve başarısız çalıştırmaları onarma ve yeniden başlatma yeteneği sunar. Databricks blog gönderisi kurulum, belgeler ve örnek projeler hakkında daha fazla bilgi sağlar.
(harita)
Haberin Sonu
Lakehouse için Geliştirici Araçları
Mimari satıcısı Lakehouse, geliştiricilerin veri sorguları, analiz veya makine öğrenimi modeli eğitimi gerçekleştirmek için kodlarını Databricks kümelerine sorunsuz bir şekilde entegre etmelerini kolaylaştırmak istiyor. Databricks geliştiricilerinden oluşan özel bir ekip, Lakehouse platformu ile geliştiriciler arasında popüler olan IDE’ler arasındaki işbirliğini geliştirmek için çalışıyor. İlk adım olarak, Databricks şimdi Visual Studio Code için bir uzantı yayınlıyor. Geliştiriciler kendi kodları üzerinde çalışırken kod düzenleyicinin tüm fonksiyonlarını (CI/CD, birim testleri, sürüm kontrolü vb.) kullanabilirler. , ancak Databricks kümelerine yetkili bağlantı yoluyla uzaktan kod yürütebilir ve platforma özgü işlevleri entegre edebilir.
Tüm Databricks nesneleri, yazılım geliştirmeden bilinen en iyi uygulamalar kullanılarak doğrudan VS Code’dan değiştirilebilir ve kullanılabilir. Uzantı artık Visual Studio Marketplace aracılığıyla kullanılabilir. Bunu diğer geliştirme ortamları için karşılaştırılabilir uzantılar ve araçlar takip edecektir. Blog gönderisi daha fazla ayrıntıyı özetliyor.
Databricks iş akışlarıyla dbt projelerini düzenleyin
Ekim 2022’de Databricks, Lakehouse Databricks Workflows düzenleyicisinin, başlangıçta genel önizlemenin bir parçası olarak Veri Oluşturma Aracı (dbt) ile veri dönüştürme projelerini yönetmek için kullanılabileceğini duyurdu. Görünüşe göre test aşaması başarıyla tamamlandıktan sonra, özellik artık hem SQL Pro ambarları hem de daha önce olduğu gibi sunucusuz değişkenleri için genel kullanıma sunuldu (genel kullanılabilirlik).
Dbt projesi için bir Git deposu ve SQL ile dönüştürülen verilerle başlayarak, veriler ve makine öğrenimi ardışık düzenleri Lakehouse platformunda izlenebilir ve yönetilebilir. Databricks iş akışları, dbt işlerini yönetmenin yanı sıra sorunsuz çalışma sağlar, hata durumunda uyarı mesajlarını tetikler ve başarısız çalıştırmaları onarma ve yeniden başlatma yeteneği sunar. Databricks blog gönderisi kurulum, belgeler ve örnek projeler hakkında daha fazla bilgi sağlar.
(harita)
Haberin Sonu