Daha iyi artırılmış ve karma gerçeklik için yeni bir veri kümesi

OpenRooms, şekil, malzeme ve aydınlatma üzerinde benzeri görülmemiş bir kontrolle giriş görüntülerinden veya taramalardan fotogerçekçi sentetik sahneler oluşturur. Kredi: California Üniversitesi – San Diego

California San Diego Üniversitesi’ndeki bilgisayar bilimcileri, kullanıcıların artırılmış gerçeklik ve robotiği ilerletmek için iç mekan 3D sahnelerinde nesneleri, malzemeleri, aydınlatmayı ve diğer özellikleri manipüle etmesine yardımcı olacak araçlara sahip yeni, açık kaynaklı bir veri seti olan OpenRooms’u piyasaya sürdü.

UC San Diego Bilgisayar Bilimi ve Mühendisliği Bölümü’nde profesör olan Manmohan Chandraker, “Bu, grubumdan 11 doktora ve yüksek lisans öğrencisini ve UC San Diego ve Adobe’deki işbirlikçileri içeren büyük bir çabaydı” dedi. Bilgisayarla görü, grafik, robotik ve makine öğrenimi alanlarında hem akademiyi hem de endüstriyi etkileme potansiyeli olan önemli bir gelişme.”

OpenRooms veri seti ve ilgili güncellemeler, Mayıs ayında CVPR 2021’de sunulan ilgili bir makalede açıklanan teknik ayrıntılarla birlikte bu web sitesinde herkese açıktır.

Uygulamalar

OpenRooms, kullanıcıların sahneleri kendi zevklerine göre gerçekçi bir şekilde ayarlamasını sağlar. Bir aile bir mutfak tadilatını görselleştirmek isterse, tezgah malzemelerini, aydınlatmayı veya odadaki hemen hemen her şeyi değiştirebilir.

Chandraker, “OpenRooms ile sahnedeki 3B şekiller, malzeme ve aydınlatma hakkındaki tüm bilgileri piksel bazında hesaplayabiliriz” dedi. “İnsanlar bir odanın fotoğrafını çekebilir ve sanal nesneler ekleyebilir ve bunları değiştirebilir. Bir deri sandalyeye bakabilir, ardından malzemeyi bir kumaş sandalyeye çevirebilir ve hangisinin daha iyi göründüğünü görebilir.”

OpenRooms, gündüz bir pencereden gelen doğal ışık altında veya geceleri bir lambanın altında bu sandalyenin nasıl görünebileceğini bile gösterebilir. Ayrıca, değişen sürtünme profillerine sahip zeminleri ele geçirmek için en iyi rota gibi robotik sorunları çözmeye yardımcı olabilir. Bu yetenekler simülasyon topluluğunda çok fazla ilgi görüyor çünkü daha önce veriler tescilli ya da karşılaştırılabilir fotogerçekçilikte mevcut değildi.

Chandraker, “Bu araçlar artık gerçekten demokratik bir şekilde mevcut,” dedi ve “fotogerçekçi artırılmış gerçeklik ve robotik uygulamalar için erişilebilir varlıklar sağlıyor.”

Artırılmış gerçekliği daha gerçekçi hale getirmek

Chandraker’ın ekibi, görsel dünyayı anlamlandırmak için hesaplama yöntemlerini kullanıyor. Özellikle şekillerin, malzemelerin ve ışığın nasıl etkileşime girerek görüntüleri oluşturduğuna odaklanırlar.

“Aslında dünyanın nasıl yaratıldığını ve onun üzerinde nasıl hareket edebileceğimizi anlamak istiyoruz” dedi. “Mevcut sahnelere nesneler ekleyebilir veya kendi kendine sürüşü ilerletebiliriz, ancak bunları yapmak için bir sahnenin çeşitli yönlerini ve birbirleriyle nasıl etkileşime girdiklerini anlamamız gerekir.”

Bu derin anlayış, karma gerçeklikte fotogerçekçiliğe ulaşmak için gereklidir. Bir sahneye bir nesne yerleştirmek, çeşitli ışık kaynaklarından gelen gölgeler, diğer nesnelerin oluşturduğu gölgeler veya çevredeki sahneden yansımalar hakkında akıl yürütmeyi gerektirir. Çerçeve, karmaşık iç mekan sahnelerinde malzemeleri veya aydınlatmayı değiştirmek için sahnenin uzak kısımları arasındaki benzer uzun menzilli etkileşimleri de ele almalıdır.

Hollywood bu sorunları, aktör Andy Serkis’i bir portal içinde çekmek ve bu görüntüleri Yüzüklerin Efendisi Üçlemesi’nde Gollum’a dönüştürmek gibi ölçüm tabanlı platformlarla çözüyor. Laboratuvar, pahalı sistemler olmadan benzer etkileri elde etmek istiyor.

Açık kaynak araç kutusu

Oraya ulaşmak için grubun şekilleri, malzemeleri ve aydınlatmayı temsil etmenin yaratıcı yollarını bulması gerekiyordu. Ancak bu bilgiyi elde etmek, özellikle farklı şekil ve malzemelere sahip olan ve pencereler, tavan lambaları veya lambalar gibi çeşitli ışık kaynaklarıyla aydınlatılan mobilya ve duvarların bulunduğu karmaşık iç mekan sahneleriyle uğraşırken zaman alıcı, veri aç ve pahalı olabilir.

Chandraker, “Odanın her noktasındaki aydınlatma ve malzeme özelliklerini ölçmek gerekir” dedi. “Yapılabilir ama basitçe ölçeklenmiyor.”

OpenRooms, bu görüntüleri işlemek için sentetik verileri kullanır; bu, gerçek geometri, malzemeler ve aydınlatma sağlamanın doğru ve ucuz bir yolunu sağlar. Veriler, gerçek görüntülerde bu özellikleri tahmin eden, fotogerçekçi nesne yerleştirme ve malzeme düzenlemeye izin veren güçlü derin sinir ağlarını eğitmek için kullanılabilir.

Bu olasılıklar, beşinci yıl Ph.D olan Zhengqin Li’nin CVPR 2020 sözlü sunumunda gösterildi. Chandraker tarafından tavsiye edilen öğrenci ve OpenRooms makalesinin ilk yazarı. Yazılım, kullanıcıların gerçek görüntüler çekmesine ve bunları fotogerçekçi, sentetik benzerlerine dönüştürmesine olanak tanıyan otomatik araçlar sağlar.

Chandraker, “Kullanıcıların kendi artırılmış gerçeklik uygulamalarını etkinleştiren veri kümeleri geliştirmek için cep telefonlarını veya 3D tarayıcılarını kullanabilecekleri bir çerçeve oluşturuyoruz” dedi. “Sadece taramaları veya fotoğraf setlerini kullanabilirler.”

Chandraker ve ekibi, kısmen bir kamu malı platformu oluşturma ihtiyacıyla motive oldular. Büyük teknoloji şirketlerinin eğitim verileri ve diğer IP’leri oluşturmak için muazzam kaynakları var ve bu da küçük oyuncuların tutunma noktası bulmasını zorlaştırıyor.

Bu, yakın zamanda Planner 5D adlı bir Litvanyalı şirketin, tescilli verilerini yasa dışı bir şekilde kullandıklarını iddia ederek Facebook ve Princeton’a dava açmasıyla ortaya çıktı.

Chandraker, “Bu tür verilerin birçok uygulama için gerçekten yararlı olduğunu hayal edebilirsiniz” dedi. Ancak bu alandaki ilerleme, bu tür karmaşık ölçümler yapma veya sanatçılar tarafından yaratılan pahalı varlıklarla çalışma kapasitesine sahip birkaç büyük oyuncuyla sınırlı.”


Yeni makine öğrenimi yaklaşımı, dijital fotoğrafları hayata döndürüyor


Daha fazla bilgi:
Zhengqin Li ve diğerleri, OpenRooms: Fotogerçekçi İç Mekan Sahnesi Veri Kümeleri için Uçtan Uca Açık Çerçeve, arXiv:2007.12868v2 [cs.CV] arxiv.org/abs/2007.12868

California Üniversitesi – San Diego tarafından sağlanmıştır

Alıntı: Daha iyi artırılmış ve karma gerçeklik için yeni bir veri kümesi (2021, 10 Eylül), 20 Kasım 2021’de https://techxplore.com/news/2021-09-dataset-augmented-reality.html adresinden alındı.

Bu belge telif haklarına tabidir. Özel çalışma veya araştırma amaçlı herhangi bir adil işlem dışında, yazılı izin alınmadan hiçbir bölüm çoğaltılamaz. İçerik yalnızca bilgi amaçlı sağlanmıştır.





#Daha #iyi #artırılmış #karma #gerçeklik #için #yeni #bir #veri #kümesi