Tiled aracılığıyla veri erişiminde devrim yaratıyor

Bilim adamları, dosyalar, veri tabanları veya diğer veri hizmetleri gibi çeşitli biçimlerdeki veri depolarına sorunsuz bir şekilde erişmek için Döşemeli’yi kullanabilir. Tiled, kullanıcılarının kendileri için en uygun aracı kullanarak verilerini görmelerine, dilimlemelerine ve incelemelerine olanak tanır. Kredi: Brookhaven Ulusal Laboratuvarı

Bilim adamları, gelecekteki piller için yeni bir materyal üzerinde çalıştıklarında veya yeni ilaçlar geliştirmek için hastalıkları araştırdıklarında, bir veri okyanusunu geçmeleri gerekir. Bugün, bilimsel araçlardan oluşan bütün bir ekosistem, keşfedilecek çok çeşitli veriler yaratıyor. ABD Enerji Bakanlığı’nın (DOE) Brookhaven Ulusal Laboratuvarı’nda bulunan Ulusal Synchrotron Işık Kaynağı II’deki (NSLS-II) bilim adamları sayesinde bu keşif artık çok daha kolay olacak. Tiled adlı yeni kullanıma sunulan yazılım araçları, araştırmacıların verilerini her zamankinden daha rahat bir şekilde görmelerini, dilimlemelerini ve incelemelerini sağlıyor. Bu yeni veri erişim aracı, doğru veri parçasını bulmayı ve analiz etmeyi önceki yöntemlere kıyasla parkta bir yürüyüş haline getirerek bir sonraki bilimsel atılımın yolunu açıyor.

Ülke genelindeki 28 DOE Office of Science kullanıcı tesisinden biri olan NSLS-II, her yıl yaklaşık 2.000 bilim insanını ultra parlak ışığını kullanmaya davet ederek malzeme ve yaşam bilimlerindeki en büyük zorluklarla mücadele ediyor. Bu ziyaret eden araştırmacılar, uzmanlarla işbirliği yapmak ve NSLS-II’deki türünün tek örneği araştırma araçlarını kullanmak için dünyanın dört bir yanından geliyor. Antik kayalardan yeni kuantum malzemelerine kadar uzanan örneklerini yoğun X ışınlarıyla zaplıyorlar ve gelişmiş dedektörler kullanarak giden sinyalleri yakalıyorlar. Buna karşılık, bu dedektörler bilim adamları tarafından analiz edilmeyi bekleyen veri akışları tükürür.

“Verilerle çalışmak, tüm araştırmaların merkezi bir parçasıdır ve yine de kendi başına bir zorluktur. Çok sayıda formatta, farklı boyutlarda ve şekillerde gelir ve her parçası araştırmacılar için yararlı değildir. Bu nedenle veri geliştirme NSLS-II’deki hesaplama bilimcisi Dan Allan, verilere erişmeyi, görmeyi ve sıralamayı çok önemli hale getiren bir yazılım aracı” dedi.

Tiled, veriye duyarlı portallar ve veri bilimi araçları için bir veri erişim hizmetidir. Bu, Tiled’in veritabanlarının ve dosya sistemlerinin üzerine oturduğu anlamına gelir; böylece bilim adamları, örneğin bir web tarayıcısı veya veri analiz yazılımı aracılığıyla verilerine erişebilirler. Veri Bilimi ve Sistem Entegrasyonu (DSSI) programı Tied’i NSLS-II’deki tüm deney istasyonlarına sunarken, hizmet, tıpkı kuzen projesi Bluesky (ayrıca NSLS-II’de geliştirilen bir veri toplama yazılımı) gibi herhangi bir yerde kullanılabilir. dünya çapında araştırma laboratuvarı. Bu mümkündür, çünkü Tiled popüler bir açık kaynaklı yazılım lisansı altında yayınlanır.

NSLS-II’nin baş veri bilimcisi Stuart Campbell, “Tiled’i Python programlama dilinde geliştirmemize ve bu nedenle Python tabanlı veri bilimi kitaplıklarıyla doğal olarak bütünleşmesine rağmen, hizmetle ilgili hiçbir şey Python’a özgü değildir” dedi. “İstemci, kullanıcı uygulamalarını sunucuya bağlamak için bir API veya uygulama programlama arabirimi kullanır. API temel olarak bir dizi kural veya farklı yazılım parçalarının birbirleriyle nasıl iletişim kurduğunu tanımlayan bir sözleşmedir. Bu yaklaşımın harika yanı Bu kurallar ve arayüzler tanımlandıktan sonra, kullanıcılara ve geliştiricilere içinde bazı mükemmel araçlar oluşturabilecekleri ve işlevselliği ilk başta hayal ettiğimizin ötesine genişletebilecekleri bir yapı sağlıyor.”

Tiled’in esnekliği, hizmetin çok farklı teknikler ve verilerle çok çeşitli deneylerde kullanılabilmesi için herhangi bir veritabanı veya dosya koleksiyonuyla sorunsuz bir şekilde bütünleşmesini sağlar.

Veri ihtiyaçlarınızı ortadan kaldırmak

“Geçmişte, NSLS-II gibi tesislerden veri indirmesi için doktora danışmanıma yardım ederdim. Yararlı kısımları ayırmadan önce tüm verilerimizi bir kerede indirmemiz gerektiğinden sıkıcıydı. Ayrıca, Veriler, nasıl analiz etmek istediğimizden bağımsız olarak, dedektör formatındaydı. Bu, uzun bir indirme işleminden sonra, daha bakamadan verileri dönüştürmemiz gerektiği anlamına geliyordu,” dedi Allan.

Campbell, “Dan o zamanlar Tiled olsaydı, bir web tarayıcısındaki veya veri analizi uygulamasındaki verilere kolayca bakabilir, iyi kısımları sıralayabilir ve tek bir bağlantı üzerinden danışmanıyla yalnızca ilgilenilenleri paylaşabilirdi” diye ekledi.

Tiled aracılığıyla veri erişiminde devrim yaratıyor

Döşemeli web istemcisinin bu önizlemesi, farklı ölçümlerden alınan farklı dedektör görüntülerinin aynı anda nasıl görüntülenebileceğini gösterir. Önizleme, portalı karanlık modda gösterir. Kredi: Brookhaven Ulusal Laboratuvarı

Bilim adamları, Tiled’i kullanarak verilerini önizleyebilir ve büyük bir indirme olmadan yalnızca istedikleri parçalara erişebilir. Ayrıca indirdikleri verilerin formatını seçebilir veya doğrudan analiz yazılımına aktarabilirler. Aynı zamanda Tiled, tüm verilerin güvende kalması için web güvenlik standartlarına dayalı erişim kontrolü sunar. Yeni bir hesap oluşturmak bir engel olabileceğinden, Tiled, Google ve ORCID gibi giriş için üçüncü taraf hizmetlere izin verecek şekilde yapılandırılabilir.

Tiled üzerinde işbirliği yapan Lawrence Berkeley Ulusal Laboratuvarı’nda bulunan bir DOE Office of Science Kullanıcı Tesisi olan Advanced Light Source’da bilgi işlem sistemleri mühendisi olan Dylan McReynolds, “Uzaktan yetenekler her zamankinden daha önemli” dedi. “Açık, standart web protokolleri üzerine inşa etmek, verileri ihtiyaç duyulan yere taşımayı kolaylaştırarak bilimsel yeteneklerimizi geliştiriyor.”

Yeni yazılım, araştırmacıların çevrimdışı veya yavaş bir İnternet bağlantısıyla üzerinde çalışmaya devam edebilmeleri için verilerin bir kullanıcının dizüstü bilgisayarında depolandığı bir “uçak modu” biçimini bile mümkün kılıyor.

“Tiled ile amacımız herkes için veri erişimini basitleştirmek. Veri biçimlerini başka biçimlere dönüştürmek veya dosya adlarından bilgi almak konusunda endişelenmenize gerek yoksa, sorunun yanıtını bulmak gibi daha önemli kısımları düşünebilirsiniz. araştırma sorularınız,” dedi NSLS-II’deki hesaplamalı bilim adamı Thomas Caswell.

Veri erişimini basitleştirmek ve standart hale getirmek, hem mevcut iş akışlarını optimize etmek hem de Makine Öğrenimi, yapay zeka ve diğer gelişmiş analitik merkezli gelecekteki iş akışlarını etkinleştirmek için kritik öneme sahiptir. Gelişmekte olan bu teknolojiler, tam potansiyellerini ortaya çıkarmak için nasıl toplandığına veya saklandığına bakılmaksızın, verilere sorunsuz erişime kritik bir şekilde güveniyor.

Döşenmiş: Herhangi bir araştırma bulmacasına uyar

Tiled’in ilk kullanıcıları, araştırmalarını güçlendirmek için şimdiden bazı heyecan verici ve karmaşık araçlar geliştirdiler.

“Tiled, deneyler için işleme ve analiz ardışık düzenlerini basitleştirecek ve düzene sokacak verilere erişmenin tamamen yeni bir yolunu sunuyor. Bir deneyi analiz etmek için bir düzine formattan veri içe aktarmak için artık hantal indirmeler veya zaman kaybetmek yok!” Tiled’i test eden NSLS-II’de fizikçi yardımcısı Denis Leschev dedi. “Ayrıca, Tiled, verileri paylaşmak için daha basit bir yol sunacak ve gelecekte daha açık ve şeffaf bilimin önünü açacak.”

Yeni yazılım yalnızca NSLS-II kullanıcıları için mevcut değil: ekip, yazılımı herhangi bir veri kaynağına uyarlanabilecek şekilde tasarladı. NSLS-II gibi tesisler için büyük ölçekte konuşlandırılabilir, ancak bir öğrencinin dizüstü bilgisayarında veya bir araştırma grubunun iş istasyonunda da aynı şekilde çalışabilir. Diğer laboratuvarlar ve kurumlar zaten bu yazılımı kendi ihtiyaçlarına göre uyarlama olanağına sahiptir.

Tiled aracılığıyla veri erişiminde devrim yaratıyor

Popüler bir veri analizi web uygulaması olan bu Jupyter Notebook, hesaplamalar, işleme ve görselleştirme için verilere erişmek için Tied kullanıyor. Kredi: Brookhaven Ulusal Laboratuvarı

Ulusal Standartlar ve Teknoloji Enstitüsü’nde (NIST) personel bilimcisi olan ve Tiled’in ilk kullanıcısı olan Peter Beaucage, bunu kendi bilimsel veri analiz programı olan PyHyperScattering ile entegre etti. Tiled’in veri aktarımını ve güvenlik ayrıntılarını yönetmesine izin vererek, kullanıcılarına işleri için ihtiyaç duydukları özel arayüzü sağlamak için bunun üzerine inşa ediyor.

“Tipik bir analiz için ihtiyaç duyulan senkrotron verilerinin hacmi, son on yılda çarpıcı bir şekilde genişledi ve mevcut veri aktarım platformlarının yeteneklerinin ötesine hızla ölçeklendi. Karo ve benzeri çözümler, kullanıcılara doğru zamanda doğru verilere sorunsuz erişim sağlamayı ve hızlandırmayı vaat ediyor. Beaucage, X-ışını bilimine dayanan keşif” dedi.

Beaucage’ın ötesinde, Tiled’in diğer kullanıcıları da, NSLS-II’deki canlı deneylerden gelen verileri uzak kümelere ve verileri görselleştirmek ve sorgulamak için özel yazılımlara taşıyarak veri analizi ardışık düzenleri oluşturdu. Her adım Tiled tarafından desteklendi.

Campbell, “Genel olarak, Tiled’ı kullanıma sunmaktan inanılmaz derecede gurur duyuyoruz. Bu, son altı yıldaki çalışmalarımızın doruk noktasıdır. Modern veri erişim araçlarında istediğimiz tüm özellikleri bir araya getiriyor ve Bluesky ile el ele gidiyor” dedi. .

Öndeki yol

Fayans, çok çeşitli teknikler için büyümek için kullanışlı araçlardan oluşan bir bahçe sağlayacaktır. Ekip, belirli araştırma tekniklerine odaklanan çeşitli web uygulamaları oluşturmaya gözlerini dikti. Ekip ayrıca, herkesin Tiled kullanarak gerçek genel kullanıma açık verileri keşfedebilmesi için bir genel veri arayüzü tasarlamak istiyor.

“Hibeler genellikle açık veri erişimi gerektirir, ancak araştırmacıların bunu pratik ve hemen yararlı bir şekilde başarması zordur. Tiled, verileri bulunabilir hale getirmek için halihazırda kullandıkları araçlarla çalışarak araştırmacıların kapısına bir iz bırakır, bilimsel veri yönetimi ve yönetimi için ADİL yol gösterici ilkeleri izleyerek erişilebilir, birlikte çalışabilir ve yeniden kullanılabilir,” diye ekledi Allan.

Tiled, verilerin nasıl saklandığını ve nasıl erişildiğini ayırarak, en son depolama ve arama teknolojilerini içeride kullanmanın bir yolunu açarken, araştırmacılara zaman içinde test edilmiş ve belirlenmiş standartlar sunar. Onlarla bulundukları yerde buluşur ve verilerinin nasıl biçimlendirileceği ve bunlarla nasıl çalışılacağı konusunda onları sorumlu bırakır.

“Tiled, katkıda bulunanlar ve kullanıcılardan oluşan dostane bir topluluk oluşturmaya yönelik diğer NSLS-II yazılım çabalarını takip etmeyi amaçlıyor. İster endüstride, ister akademide veya devlette olsun, dünya çapında benzer zorluklara sahip tesisler ve araştırmacılarla aktif olarak işbirliği arıyoruz ve Bu platformda birlikte neler inşa edebileceğimizi görmekten heyecan duyuyoruz” dedi Allan.


AI’lar Go ve Super Mario’da ustalaştıktan sonra, bilim adamları onlara NSLS-II’de deneyleri nasıl ‘oynayacaklarını’ öğrettiler.


Daha fazla bilgi:
Daniel Allan ve diğerleri, Bluesky’s Ahead: A la Carte Software Project for a la Carte Software Project for Data Acquisition and Management, Synchrotron Radyasyon Haberleri (2019). DOI: 10.1080/08940886.2019.1608121

Döşenmiş Belgeler: blueskyproject.io/tiled

Döşemeli Demo (programcılar için): kiremitli-demo.blueskyproject.io/

Bluesky Açık Kaynak Projesi Ana Sayfası: blueskyproject.io/

Brookhaven Ulusal Laboratuvarı tarafından sağlanmıştır

Alıntı: Yeni yazılım aracıyla veri erişiminde devrim yaratıyor: Tiled (2021, 24 Kasım), 24 Kasım 2021’de https://techxplore.com/news/2021-11-revolutionizing-access-software-tool-tiled.html adresinden alındı.

Bu belge telif haklarına tabidir. Özel çalışma veya araştırma amaçlı herhangi bir adil işlem dışında, yazılı izin alınmadan hiçbir bölüm çoğaltılamaz. İçerik yalnızca bilgi amaçlı sağlanmıştır.





#Yeni #yazılım #aracıyla #veri #erişiminde #devrim #yaratıyor #Döşemeli