Lakehouse mimarisi ile tanınan Databricks, Delta Lake 3.0’ın (RC1) yayınlandığını duyurdu. Açık kaynak data lake projesi, yaklaşık bir yıldır Linux Vakfı’nın kontrolünde bulunuyor. Sürüm 3.0’ın en önemli yeni özellikleri arasında, daha fazla veri uyumluluğu için tasarlanmış evrensel bir biçim (UniForm) ve veri kümeleme için daha esnek bir süreç bulunmaktadır.
Duyuru
Apache Iceberg ve Apache Hudi dahil
Delta Lake geliştirme ekibi tarafından yeni sürümde getirilen değişiklikler, temel olarak, merkezi veri depolama ve kullanım için daha kolay entegrasyon ve daha yüksek performans ile kullanıcılara yardımcı olmayı amaçlamaktadır. Bu bağlamda, yeni evrensel biçim olan UniForm, genişletilmiş uyumluluğa katkıda bulunur. Delta Lake’te depolanan veriler için Apache Iceberg ve Apache Hudi biçimlerine uygun meta verileri otomatik olarak üretir. Verileri okurken, Buzdağı veya Hudi’de saklanıyormuş gibi ele alınabilir. Bu nedenle, bireysel veri formatlarına veya manuel dönüştürmeye yönelik kısıtlamalar göz ardı edilmelidir.
Ayrıca Databricks’in duyurusuna göre, yeni Delta Liquid Clustering özelliği, katı veri düzeniyle Hive tarzı tablo bölümlemeye son vermeyi vaat ediyor. Daha esnek kümeleme işlemi, özellikle hızla büyüyen veritabanlarında daha yüksek okuma ve yazma performansı sağlamayı amaçlar ve aynı zamanda maliyetleri düşürmeye yardımcı olur.
Kararlı API’ler için güncellenmiş çekirdek
Geliştiriciler, stabilize edilmiş API’lerden yararlanır. Güncellenen çekirdek, daha önce yükseltmelerden veya protokol değişikliklerinden sonra gerekli olan Delta Lake bağlayıcı değişikliklerinin gelecekte ihmal edilebilmesini sağlar. Delta Lake geliştirme ekibi, bir yandan bağlayıcıların artan parçalanmasına karşı koymak ve ayrıca kullanıcıların veri gölündeki yeni işlevlerden daha hızlı yararlanabilmelerini sağlamak istiyor.
Delta Lake 3.0 artık GitHub’da önizleme sürümü (Sürüm Adayı 1) olarak mevcut. Daha fazla bilgi için projenin GitHub deposuna ve Delta.io web sitesine bakın.
Duyuru
(harita)
Haberin Sonu
Duyuru
Apache Iceberg ve Apache Hudi dahil
Delta Lake geliştirme ekibi tarafından yeni sürümde getirilen değişiklikler, temel olarak, merkezi veri depolama ve kullanım için daha kolay entegrasyon ve daha yüksek performans ile kullanıcılara yardımcı olmayı amaçlamaktadır. Bu bağlamda, yeni evrensel biçim olan UniForm, genişletilmiş uyumluluğa katkıda bulunur. Delta Lake’te depolanan veriler için Apache Iceberg ve Apache Hudi biçimlerine uygun meta verileri otomatik olarak üretir. Verileri okurken, Buzdağı veya Hudi’de saklanıyormuş gibi ele alınabilir. Bu nedenle, bireysel veri formatlarına veya manuel dönüştürmeye yönelik kısıtlamalar göz ardı edilmelidir.
Ayrıca Databricks’in duyurusuna göre, yeni Delta Liquid Clustering özelliği, katı veri düzeniyle Hive tarzı tablo bölümlemeye son vermeyi vaat ediyor. Daha esnek kümeleme işlemi, özellikle hızla büyüyen veritabanlarında daha yüksek okuma ve yazma performansı sağlamayı amaçlar ve aynı zamanda maliyetleri düşürmeye yardımcı olur.
Kararlı API’ler için güncellenmiş çekirdek
Geliştiriciler, stabilize edilmiş API’lerden yararlanır. Güncellenen çekirdek, daha önce yükseltmelerden veya protokol değişikliklerinden sonra gerekli olan Delta Lake bağlayıcı değişikliklerinin gelecekte ihmal edilebilmesini sağlar. Delta Lake geliştirme ekibi, bir yandan bağlayıcıların artan parçalanmasına karşı koymak ve ayrıca kullanıcıların veri gölündeki yeni işlevlerden daha hızlı yararlanabilmelerini sağlamak istiyor.
Delta Lake 3.0 artık GitHub’da önizleme sürümü (Sürüm Adayı 1) olarak mevcut. Daha fazla bilgi için projenin GitHub deposuna ve Delta.io web sitesine bakın.
Duyuru
(harita)
Haberin Sonu