Google, sürükleyici medya teknolojisini bir üst seviyeye taşıyor.

Google, sürükleyici medya teknolojisini bir üst seviyeye taşıyor ve hafif alan videosu için pratik bir sistem gösteriyor. Geniş görüş alanı sahneleri, yeni perspektifleri ortaya çıkararak video çekildikten sonra video içinde hareket etme özelliği ile kaydedilebilir ve oynatılabilir. Önde gelen araştırma bilim adamları ve mühendislerden oluşan bir ekip tarafından geliştirilen yeni araştırma, normal Wi-Fi üzerinden akışa alınacak kadar hafif, yüksek kaliteli sürükleyici ışık alanı videolarını kaydetme, yeniden yapılandırma, sıkıştırma ve sunma yeteneğini gösteriyor. hızla gelişen sürükleyici artırılmış gerçeklik (AR) ve sanal gerçeklik (VR) platformlarında.

Son yıllarda, sürükleyici AR / VR alanı, insanlara simüle edilmiş bir ortamda gerçekten otantik bir deneyim sunma vaadiyle ana akım dikkati çekti. Gerçekten oturma odasında oturmak yerine Yosemite’deki Redwoods arasında durduğunuzu hissetmek ister misiniz? Ya da bir sanatçının stüdyodaymış gibi bir heykel oluşturmasını mı izliyorsunuz? Bu, sürükleyici AR / VR teknolojisi ile mümkün olabilir.

Alan hala yeni olmasına rağmen, Google’daki ekip önemli zorluklara değinerek sürükleyici ışık alan videosunda önemli araştırmalar yaptı . Google araştırma bilim adamı Michael Broxton ve Google kıdemli personel mühendisi Paul Debevec liderliğindeki araştırma ekibi, yeni sistemi SIGGRAPH 2020’de sergilemeyi planlıyor. Bu yıl gerçekleşecek olan konferans, çok çeşitli profesyonelleri bir araya getiriyor bilgisayar grafiklerine ve etkileşimli tekniklere farklı açılardan yaklaşan ve ileri görüşlü fikirleri ve araştırmaları sergilemek için sektörün önde gelen mekanı olmaya devam eden

Araştırmanın baş yazarı Broxton, “Bu, ışık alanlarındaki çalışmalarımızın son doruk noktası.” Diyor. “Bu teknolojiyi pratik hale getiriyoruz ve bizi daha fazla tüketici cihazına gerçekten sürükleyici bir deneyim sunmaya yaklaştırıyoruz. Fotoğraflar ve videolar, mobil cihazlardaki günlük deneyimimizde büyük bir rol oynuyor ve bir gün sürükleyici ışığın alan görüntüleri ve videoları gelecekteki AR ve VR platformlarında eşit derecede önemli bir rol oynayacak. “

SIGGRAPH 2018’de Google araştırmacıları, sürükleyici VR’de fotogerçekçi ışık alanı hareketsiz görüntüleri tanıttıklarında benzer çalışmaları sergiledi. Bu yeni sistem, sürükleyici medya bulmacasına başka bir anahtar parça ekledi: video. Işık alanı videoları, 180 dereceden fazla panoramik manzara görüntülerine sahip kullanıcılara daha dinamik bir sanal ortam sağlar. Kullanıcıların sanal dünyadayken köşelere göz atmalarına ve daha derin bir his almalarına izin veriyorlar. Ve sistem yansıtıcı yüzeyler gibi daha önceki yöntemler için zorlayıcı olan içeriği yakalayabilir. Bu daha gerçekçi bir ortama dönüşür; örneğin, okyanus dalgalarına doğal olarak yansıyan güneş ışığı veya bir arabanın parlak kaputundan yansıyan ışık, gerçek hayatta olduğu gibi kullanıcının bakışlarıyla doğal olarak değişir.

Ekip, hafif bir akrilik kubbeye monte edilmiş 46 aksiyon spor kamerasından oluşan düşük maliyetli bir teçhizat ile sürükleyici ışık alanı videoları kaydediyor. Bir makine öğrenme algoritması olan DeepView kullanmageçen yıl aynı Google araştırma ekibinin üyeleri tarafından geliştirildiklerinde, her kameradan gelen video akışlarını kaydedilmekte olan sahnenin tek bir 3B gösteriminde birleştiriyorlar. Makaleleri, yarı saydam dokulara sahip bir dizi eşmerkezli katmandan oluşan yeni bir “katmanlı ağ” temsilini sunar. Bu katmanları arkadan öne doğru oluşturmak sahneyi canlı ve gerçekçi bir şekilde hayata geçirir. Bu yöntem, ilk etapta kameralar tarafından asla yakalanmayan bakış açılarını sentezlemek için çok zor olan sorunu çözerek kullanıcının hafif alan video içeriğini keşfederken doğal bir kafa hareketi yelpazesi deneyimlemesini sağlar.

Bu çalışmadaki bir başka atılım, veri sıkıştırmayı içerir. Fikir, gerçek anlamda sürükleyici bir AR / VR deneyimi için videoyu yeniden yapılandırabilecek bir sistem geliştirmek değil, aynı zamanda tüketici AR ve VR kulaklıkları ve ekranları ve hatta bir web tarayıcısı aracılığıyla deneyime erişmek. Yeni sistem, orijinal görüntü kalitesini korurken ışık alanı videosunu sıkıştırıyor ve bunu geleneksel doku atlası ve yaygın olarak desteklenen video kodeklerini kullanarak yapıyor. Aslında, günümüzün görüntü ve video sıkıştırma tekniklerinden yeni nesil medya formatlarını önyüklemeyi başardılar.

“Kullanıcılar bu ışıklı alandaki video içeriğini tipik, hızlı hızlı bir internet bağlantısı üzerinden yayınlayabilecek ,” diyor Broxton. “Bu sorunun üstesinden gelmek bu teknolojiyi çok daha geniş bir kitleye açıyor.”

Debevec, “Bu projeyi tamamlamak, sanal deneyimleri gerçekçi, sürükleyici, dağıtılabilir ve rahat hale getirmede büyük bir engelin üstesinden geldiğimizi hissettiriyor. Yaratıcı AR ve VR topluluğunun yaşayacağı deneyimlere sahip olmak için sabırsızlanıyorum. bununla yapın. “