TW202345102A - 用於渲染遠距化身、環境和動態物件的可擴展視差系統 - Google Patents
用於渲染遠距化身、環境和動態物件的可擴展視差系統 Download PDFInfo
- Publication number
- TW202345102A TW202345102A TW111146191A TW111146191A TW202345102A TW 202345102 A TW202345102 A TW 202345102A TW 111146191 A TW111146191 A TW 111146191A TW 111146191 A TW111146191 A TW 111146191A TW 202345102 A TW202345102 A TW 202345102A
- Authority
- TW
- Taiwan
- Prior art keywords
- data stream
- rendering
- digital environment
- parallax
- user
- Prior art date
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 191
- 238000000034 method Methods 0.000 claims abstract description 72
- 239000000463 material Substances 0.000 claims description 27
- 230000033001 locomotion Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 15
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 abstract description 13
- 230000015654 memory Effects 0.000 description 41
- 238000012545 processing Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 27
- 230000009471 action Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000012795 verification Methods 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000013475 authorization Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/306—User profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Acoustics & Sound (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本文揭示了用於渲染數位環境之方法、系統及儲存媒體。例示性實施方案可:在一區域渲染伺服器處接收一資料流;藉由該區域渲染伺服器來至少部分地基於所接收資料流而渲染一全域數位環境;至少部分地基於該所接收資料流而產生一視差渲染資料流;在一合成伺服器處接收該視差渲染資料流;藉由該合成伺服器來將所接收視差渲染資料流組合成一新視差渲染資料流;藉由一或多個用戶端平台來至少部分地基於該新視差渲染資料流而渲染一局部數位環境;以及使得經由該一或多個用戶端平台之一輸出來顯示該局部數位環境。
Description
本揭示內容大體上係關於渲染數位環境,並且尤其係關於用於渲染遠距化身、環境及動態物件之可擴展視差系統。
相關申請案之交互參考
本申請案主張於2022年1月27日申請之第17/586,576號美國非臨時專利申請案的優先權,其以全文引用之方式併入本文中。
習知地,人工實境環境或「數位環境」包括虛擬實境、擴增實境、混合實境及/或其他人工實境環境。如本文中所使用,虛擬實境或「VR」係指使用者之視覺輸入由計算系統控制之沉浸式體驗。擴增實境或「AR」係指使用者在真實世界之影像已通過計算系統之後查看該等影像的系統,該系統可在影像通過系統時處理並調整或「擴增」該等影像,諸如藉由添加虛擬物件。混合實境或「MR」係指其中進入使用者眼睛之光部分地由計算系統產生且部分地構成自真實世界中之物件反射的光之系統。
本揭示內容提供用於渲染數位環境之系統及方法。一使用者在數位環境中具備大量(例如,數百、數千、數百萬等)其他生活使用者之體驗。舉例而言,與一給定使用者相關聯之一化身可在一數位環境內與其他緊鄰化身互動。該給定使用者之化身可能夠在一距離處(或經由一些障壁)觀測或「看到」大量其他化身中的許多者,但不必與其直接互動。一個實例可包括模擬一體育場體驗之一數位環境,其中該給定使用者之化身位於包廂套房中且可在此處與化身互動,但僅看見在鄰近包廂套房中的其他化身以及在體育場之整個部分中的體育場座位中之化身。
本揭示內容之一個態樣係關於一種用於渲染數位環境之方法。該方法可包括在一區域渲染伺服器處接收一資料流。該方法可包括藉由該區域渲染伺服器來至少部分地基於所接收資料流而渲染一全域數位環境。該方法可包括至少部分地基於該所接收資料流而產生一視差渲染資料流。該方法可包括在一合成伺服器處接收該視差渲染資料流。該方法可包括藉由該合成伺服器來將所接收視差渲染資料流組合成一新視差渲染資料流。該方法可包括藉由一或多個用戶端平台來至少部分地基於該新視差渲染資料流而渲染一局部數位環境。該方法可包括使得經由該一或多個用戶端平台之一輸出來顯示該局部數位環境。
本揭示內容之另一態樣係關於一種經組態以用於渲染數位環境之系統。該系統可包括由機器可讀取指令組態之一或多個硬體處理器。該(等)處理器可經組態以在一區域渲染伺服器處接收一資料流。該(等)處理器可經組態以藉由該區域渲染伺服器來至少部分地基於所接收資料流而渲染一全域數位環境。該全域環境可包括動畫化身及/或動態物件。該(等)處理器可經組態以至少部分地基於該所接收資料流而產生一視差渲染資料流。該(等)處理器可經組態以藉由該區域渲染伺服器來渲染用於該全域數位環境之一音訊流。該(等)處理器可經組態以在一合成伺服器處接收該視差渲染資料流及該音訊流。該(等)處理器可經組態以藉由該合成伺服器來將所接收視差渲染資料流及該音訊流組合成一新視差渲染資料流。該(等)處理器可經組態以藉由一或多個用戶端平台來至少部分地基於該新視差渲染資料流而渲染一局部數位環境。該(等)處理器可經組態以使得經由該一或多個用戶端平台之一輸出來顯示該局部數位環境。
本揭示內容之又一態樣係關於一種上面體現有指令之非暫時性電腦可讀取儲存媒體,該等指令可由一或多個處理器實行以執行用於渲染數位環境之一方法。該方法可包括在一區域渲染伺服器處接收一資料流。該方法可包括藉由該區域渲染伺服器來至少部分地基於所接收資料流而渲染一全域數位環境。該全域數位環境可包括一體育場。該全域環境可包括動畫化身及/或動態物件。該方法可包括至少部分地基於該所接收資料流而產生一視差渲染資料流。該方法可包括藉由該區域渲染伺服器來渲染用於該全域數位環境之一音訊流。該方法可包括在一合成伺服器處接收該視差渲染資料流及該音訊流。該方法可包括藉由該合成伺服器來將所接收視差渲染資料流及該音訊流組合成一新視差渲染資料流。該方法可包括向一或多個用戶端平台提供該新視差渲染資料流之多個版本。該方法可包括藉由該一或多個用戶端平台來至少部分地基於該新視差渲染資料流而渲染一局部數位環境。該方法可包括使得經由該一或多個用戶端平台之一輸出來顯示該局部數位環境。
本揭示內容之再一態樣係關於一種經組態以用於渲染數位環境之系統。該系統可包括用於在一區域渲染伺服器處接收一資料流之構件。該系統可包括用於藉由該區域渲染伺服器來至少部分地基於所接收資料流而渲染一全域數位環境之構件。該系統可包括用於至少部分地基於該所接收資料流而產生一視差渲染資料流之構件。該系統可包括用於在一合成伺服器處接收該視差渲染資料流之構件。該系統可包括用於藉由該合成伺服器來將所接收視差渲染資料流組合成一新視差渲染資料流之構件。該系統可包括用於藉由一或多個用戶端平台來至少部分地基於該新視差渲染資料流而渲染一局部數位環境之構件。該系統可包括用於使得經由該一或多個用戶端平台之一輸出來顯示該局部數位環境之構件。
在以下詳細描述中,闡述諸多具體細節以提供對本揭示內容之完全理解。然而,對於所屬技術領域中具有通常知識者將顯而易見,可在並無此等具體細節中之一些細節的情況下實踐本揭示內容之具體實例。在其他情況下,尚未詳細展示熟知結構及技術以免混淆本揭示內容。
在習知人工實境技術中,歸因於對計算能力、通信頻寬及其他技術限制之約束,表示具有大量人群之大事件或體育場所並不可行。舉例而言,現有系統不可在相同伺服器上切實地產生具有數千人之表示(例如,化身)之人工實境環境,個別地渲染於每個用戶端上。
本揭示內容提供用於渲染數位環境之系統及方法。一使用者在數位環境中具備大量(例如,數百、數千、數百萬等)其他生活使用者之體驗。舉例而言,與一給定使用者相關聯之一化身可在一數位環境內與其他緊鄰化身互動。該給定使用者之化身可能夠在一距離處(或經由一些障壁)觀測或「看到」大量其他化身中的許多者,但不必與其直接互動。一個實例可包括模擬一體育場體驗之一數位環境,其中該給定使用者之化身位於包廂套房中且可在此處與化身互動,但僅看見在鄰近包廂套房中的其他化身以及在體育場之整個部分中的體育場座位中之化身。
本文中所描述之實施方案解決前述缺點及其他缺點,方法係藉由在含有動態物件之數位環境內個別地渲染含有化身之任何數目個區域、將所得視覺資料組合在一起,並且提供結果作為可由任何查看者按需存取之視訊流及/或幾何形狀資料流的合集,其隨後用作藉由使用局部及雲端渲染影像及/或幾何形狀之混合的渲染技術之透視感知材料。在例示性實施方案中,該等結果可用以產生任何數目個化身及環境之有效表示。
圖1A及圖1B繪示根據本揭示內容之某些態樣的經組態以用於渲染遠距化身、環境及動態物件之可擴展視差系統100。如圖1A及圖1B中所描繪,可擴展視差系統100可包括多個區域渲染伺服器102、合成伺服器104及/或其他組件中之一或多者。
多個區域渲染伺服器102可經組態以接收包括與數位環境相關聯之資料(例如,視覺、幾何形狀及音訊資料)的資料流106,該數位環境包含含有複數個局部數位環境之全域數位環境。可自與數位環境相關聯之任何數目個資料源接收資料流106。多個區域渲染伺服器102可經組態以至少部分地基於所接收資料流106而渲染全域數位環境。多個區域渲染伺服器102可經組態以至少部分地基於所接收資料流106而產生視差渲染資料流108。多個區域渲染伺服器102可經組態以渲染用於全域數位環境之音訊流110。
給定視差渲染資料流可包括一或多個點陣圖。此類點陣圖之實例可包括深度圖、標準圖、彩色圖及/或其他點陣圖中之一或多者。在一些實施方案中,給定視差渲染資料流可包括用以相對於彼此定位物件之幾何形狀。藉助於非限制性說明,視差渲染資料流可表示一房間,其中資料之一部分用以表示在該房間內的任意位置處之化身。額外幾何形狀可包括使用供房間壁使用之額外材料資料在相對於房間之位置處繪製的一或多個扁平多邊形。在該房間中可存在任何數目個此類多邊形。用於此等多邊形之材料資料可嵌入於由該房間使用之相同材料中以改良效能且減小網路頻寬。
合成伺服器104可經組態以接收視差渲染資料流108及/或音訊流110。合成伺服器104可經組態以將所接收視差渲染資料流108及/或音訊流組合成新視差渲染資料流112。個別用戶端平台114可經組態以至少部分地基於新視差渲染資料流112而渲染局部數位環境。可經由一或多個用戶端平台114之輸出來顯示局部數位環境。圖1B繪示可擴展視差系統100可如何擴展以將任何數目個層次合併成單個資料流。
圖2A及圖2B繪示根據本揭示內容之某些態樣的分別由其中渲染遠距化身、環境及動態物件之圖1A及圖1B之可擴展視差系統100提供的數位環境200及202之範例性視圖。在例示性實施方案中,一組化身可能夠在如體育事件處之私人包廂等小區域中(例如,在由圖2A中之數位環境200描繪的體育場處)互動,其中鄰近包廂中之化身皆不可直接彼此互動且僅在某一距離(例如,跨越體育場)看到其他化身。此等房間中之各者以及所有其居住者可渲染為具有深度之材料集合,該材料集合可經重新投影以在自充足距離及在特定視角內查看時提供透視感及深度感。如本文中所使用,術語「材料」可用以包括一或多個點陣圖與一或多個著色器程式之組合,該一或多個著色器程式可用以產生作為併入材料及多邊形幾何形狀的渲染程序之結果的一或多個點陣圖。
圖1A及圖1B之多個區域渲染伺服器102可藉由渲染局部環境及所有動畫化身、使用自彼此接收的相同資料流個別裝置來追蹤化身及其他動態物件之移動來產生個別室內材料。除了產生視差渲染資料流,多個區域渲染伺服器102亦可渲染存在於區域中之音訊流並使其用作供區域處理的部分。取決於總體環境內之區域的可見性,可能有必要組態並渲染多個視差流以支援來自明顯不同角度之視圖。
本文中所描述之各種流可包括可用以表示容積內之物件(例如,與容積之壁分離)的幾何形狀流。幾何形狀流可促使靜止及移動物件兩者渲染為相對於容積之任意位置處的簡化扁平多邊形形狀。此可由於此等多邊形形狀遮擋彼此及容積內之環境而增加或增強深度感及視差感。
可將視差渲染資料流及音訊發送至圖1A及圖1B之合成伺服器104,該合成伺服器可將一些數目個此等視差渲染資料流及音訊組合成可由遠端用戶端存取之材料圖集序列及空間化音訊流。可實際限制可由單個伺服器處理多少流,因此可存在控制此行為之規則,該等規則允許實體上鄰近之叢集封裝在一起以減少再現所得材料圖集序列中的個別區域之叢集所需的流數目。可堆疊此叢集方法,由此允許重複地產生成群之叢集以將任何數目個區域合併成單個流。唯一限制可能為最終材料之解析度,其可經調諧以從不超出用戶端裝置之最終顯示器表面的紋素密度。合成伺服器104可對流之多個版本提供存取,以使得各用戶端平台114可請求最適合於觀察距離及螢幕解析度之資料的版本。
圖集材料序列接著可由用戶端平台114使用以在其自身空間外渲染所有可見查看者區域之組成,該組成可連續地渲染。在足夠大之環境中,可存在多個區域渲染伺服器在操作中。用戶端平台114可使用其自身可見性規則以判定是否及/或何時連接至個別區域渲染伺服器以擷取表示可見區域之叢集的當前流材料。除了將發送至「區域調度器」服務之其他後設資料,用戶端上之各可見區域亦可具有位置資料,該「區域調度器」服務可提供用於連接至正確區域合成服務之必要連接資訊以便擷取必要視差渲染資料流。
圖2B繪示數位環境中之三個不同區域,其可各自含有完全填充房間204(例如,具有化身206及/或動態物件208)。然而,可向相距某一距離的外部觀察者針對各房間中之個人以最高可能品質渲染房間204中之各者(如所展示之視角)。可接收與房間204相關聯之資訊作為一至三個視差材料的資料流。儘管圖2B僅描繪若干房間204,但此技術可擴展以展示填充有化身及動態物件之任何數目個個別區域。舉例而言,可提供高樓之整個側面,橫跨十個房間且為二十層樓高,以使得各房間填充有可能在互動空間中即時地渲染之最大數目個化身。因為房間皆對彼此不可見,所以各房間中之化身將具有高效能及圖框速率。由於多個區域渲染器將其視差流饋入至區域合成器中,街道之另一側上的各個體正沿著該區域合成器向下流動作為單個視差渲染資料流,因此個別化身可看到街對面之展示另兩百個房間的另一建築,其中所有事物在其內部進行。
所揭示技術之具體實例可包括人工實境系統或結合人工實境系統實施。人工實境、擴展實境或額外實境(統稱為「XR」)係在呈現給使用者之前已以某一方式調整之實境形式,其可包括例如虛擬實境(VR)、擴增實境(AR)、混合實境(MR)、混雜實境或其某一組合及/或衍生物。人工實境內容可包括完全產生之內容或與所捕捉內容(例如,真實世界像片)組合的所產生內容。人工實境內容可包括視訊、音訊、觸覺反饋或其某一組合,其中之任一者可在單個通道中或在多個通道中(諸如,對查看者產生三維效應之立體視訊)呈現。另外,在一些具體實例中,人工實境可與例如用以在人工實境中創建內容及/或用於人工實境中(例如,在人工實境中執行活動)之應用程式、產品、配件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可實施於各種平台上,包括連接至主電腦系統之頭戴式顯示器(HMD)、獨立式HMD、行動裝置或計算系統、「洞穴」環境或其他投影系統,或能夠將人工實境內容提供至一或多個查看者之任何其他硬體平台。
如本文中所使用,「虛擬實境」或「VR」係指使用者之視覺輸入由計算系統控制之沉浸式體驗。「擴增實境」或「AR」係指使用者在真實世界之影像已通過計算系統之後查看該等影像的系統。舉例而言,背面具有攝影機之平板電腦可捕捉真實世界之影像,且接著在平板電腦的與攝影機之相對側上的螢幕上顯示影像。該平板電腦可在影像通過系統時處理並調整或「擴增」該等影像,諸如藉由添加虛擬物件。「混合實境」或「MR」係指其中進入使用者眼睛之光部分地由計算系統產生且部分地構成自真實世界中之物件反射的光之系統。舉例而言,MR頭戴式套件可經成形為具有透通顯示器之一對眼鏡,其允許來自真實世界的光穿過用以同時自MR頭戴式套件中之投影儀發射光的波導,由此允許MR頭戴式套件呈現與使用者可看見之真實物件互混的虛擬物件。如本文中所使用,「人工實境」、「額外實境」或「XR」係指VR、AR、MR或其任何組合或混合中之任一者。
下文參考諸圖更詳細地論述若干實施方案。圖3係繪示所揭示技術之一些實施方案可於其上操作的裝置之概述的方塊圖。裝置可包含計算系統300之硬體組件,該等硬體組件可創建、管理並提供用於人工實境協作工作環境之互動模式。在各種實施方案中,計算系統300可包括單個計算裝置303或經由有線或無線通道通信以分配處理並共用輸入資料之多個計算裝置(例如,計算裝置301、計算裝置302及計算裝置303)。在一些實施方案中,計算系統300可包括能夠為使用者提供電腦產生或擴增的體驗而無需外部處理或感測器之獨立頭戴式套件。在其他實施方案中,計算系統300可包括多個計算裝置,諸如頭戴式套件及核心處理組件(諸如控制台、行動裝置或伺服器系統),其中對頭戴式套件執行一些處理操作且將其他處理操作卸載至核心處理組件。下文關於圖4A及圖4B描述範例性頭戴式套件。在一些實施方案中,位置及環境資料可僅由併入於頭戴式套件裝置中之感測器來搜集,而在其他實施方案中,非頭戴式套件計算裝置中之一或多者可包括可追蹤環境或位置資料的感測器組件。
計算系統300可包括一或多個處理器310(例如,中央處理單元(CPU)、圖形處理單元(GPU)、全像處理單元(HPU)等)。處理器310可為單個處理單元或裝置中之多個處理單元或跨越多個裝置分佈(例如,跨越計算裝置301至103中之兩者或更多者分佈)。
計算系統300可包括提供輸入至處理器310由此通知其動作之一或多個輸入裝置320。該等動作可由硬體控制器介導,該硬體控制器解譯自輸入裝置接收之信號且使用通信協定將資訊傳達至處理器310。各輸入裝置320可包括例如滑鼠、鍵盤、觸控螢幕、觸控板、可穿戴輸入裝置(例如,觸覺手套、手鐲、手環、耳環、項鏈、腕錶等)、攝影機(或其他基於光之輸入裝置,例如紅外線感測器)、麥克風或其他使用者輸入裝置。
處理器310可例如藉由使用諸如PCI匯流排、SCSI匯流排或無線連接等內部或外部匯流排來耦接至其他硬體裝置。處理器310可與用於裝置,諸如用於顯示器330之硬體控制器通信。顯示器330可用於顯示文字及圖形。在一些實施方案中,諸如當輸入裝置為觸控螢幕或配備有眼睛方向監視系統時,顯示器330包括輸入裝置作為顯示器之部分。在一些實施方案中,顯示器與輸入裝置分離。顯示裝置之實例為:LCD顯示螢幕、LED顯示螢幕、投影、全像或擴增實境顯示器(諸如,抬頭顯示裝置或頭戴式裝置)等。其他I/O裝置340亦可耦接至處理器,諸如網路晶片或卡、視訊晶片或卡、音訊晶片或卡、USB、火線或其他外部裝置、攝影機、印表機、揚聲器、CD-ROM光碟機、DVD光碟機、磁碟機等。
計算系統300可包括能夠與其他本地端計算裝置或網路節點無線或有線地通信之通信裝置。通信裝置可使用例如TCP/IP協定經由網路與另一裝置或伺服器通信。計算系統300可利用通信裝置以跨越多個網路裝置分佈操作。
處理器310可存取記憶體350,該記憶體可含於計算系統300之計算裝置中的一者上或可跨越計算系統300之多個計算裝置或其他外部裝置分佈。記憶體包括用於揮發性或非揮發性儲存裝置之一或多個硬體裝置,且可包括唯讀記憶體及可寫記憶體兩者。舉例而言,記憶體可包括隨機存取記憶體(RAM)、各種快取記憶體、CPU暫存器、唯讀記憶體(ROM)及可寫非揮發性記憶體,諸如快閃記憶體、硬碟機、軟碟、CD、DVD、磁性儲存裝置、磁帶機等等,中之一或多者。記憶體並非自基礎硬體脫離之傳播信號;記憶體因此為非暫時性的。記憶體350可包括程式記憶體360,該程式記憶體儲存程式及軟體,諸如作業系統362、XR工作系統364及其他應用程式366。記憶體350亦可包括資料記憶體370,其可包括待提供至程式記憶體360或計算系統300之任何元件的資訊。
一些實施方案可與大量其他計算系統環境或組態一起操作。可適合與技術一起使用之計算系統、環境及/或組態之實例包括但不限於XR頭戴式套件、個人電腦、伺服器電腦、手持型裝置或膝上型電腦裝置、蜂巢式電話、可穿戴電子器件、遊戲控制台、平板電腦裝置、多處理器系統、基於微處理器之系統、機上盒、可程式化消費型電子器件、網路PC、微型電腦、大型主機電腦、包括以上系統或裝置中之任一者的分散式計算環境或其類似者。
圖4A係根據一些具體實例之虛擬實境頭戴式顯示器(HMD)400的連接圖。HMD 400包括前剛體405及帶410。前剛體405包括電子顯示器445之一或多個電子顯示元件、慣性運動單元(IMU)415、一或多個位置感測器420、定位器425及一或多個計算單元430。位置感測器420、IMU 415及計算單元430可在HMD 400內部,且對於使用者可能並不可見。在各種實施方案中,IMU 415、位置感測器420及定位器425可追蹤HMD 400在真實世界及在三自由度(3DoF)或六自由度(6DoF)中之虛擬環境中的移動及位置。舉例而言,定位器425可發射在HMD 400周圍之真實物件上產生光點的紅外光束。作為另一實例,IMU 415可包括例如一或多個加速度計、陀螺儀、磁力計、其他非基於攝影機之位置、力或定向感測器,或其組合。與HMD 400整合之一或多個攝影機(圖中未示)可偵測光點。HMD 400中之計算單元430可使用偵測到的光點來外推HMD 400之位置及移動以及來識別包圍HMD 400之真實物件的形狀及位置。
電子顯示器445可與前剛體405整合,且可如由計算單元430所規定的將影像光提供至使用者。在各種具體實例中,電子顯示器445可為單個電子顯示器或多個電子顯示器(例如,用於各使用者眼睛之顯示器)。電子顯示器445之實例包括:液晶顯示器(LCD)、有機發光二極體(OLED)顯示器、主動矩陣有機發光二極體顯示器(AMOLED)、包括一或多個量子點發光二極體(QOLED)子像素之顯示器、投影儀單元(例如,微型LED、LASER等)、某一其他顯示器或其某一組合。
在一些實施方案中,HMD 400可耦接至核心處理組件,諸如個人電腦(PC)(圖中未示)及/或一或多個外部感測器(圖中未示)。外部感測器可監視HMD 400(例如,經由自HMD 400發出之光),與來自IMU 415及位置感測器420之輸出組合,PC可使用該HMD以判定HMD 400的位置及移動。
圖4B係包括混合實境HMD 452及核心處理組件454之混合實境HMD系統450的連接圖。混合實境HMD 452及核心處理組件454可經由如由鏈路456所指示之無線連接(例如,60 GHz鏈路)通信。在其他實施方案中,混合實境系統450僅包括頭戴式套件而無外部計算裝置,或在混合實境HMD 452與核心處理組件454之間包括其他有線或無線連接。混合實境HMD 452包括透通顯示器458及框架460。框架460可容納各種電子組件(圖中未示),諸如光投影儀(例如,LASER、LED等)、攝影機、眼睛追蹤感測器、MEMS組件、網路連接組件等。
投影儀可例如經由光學元件耦接至透通顯示器458以向使用者顯示媒體。該等光學元件可包括一或多個波導總成、反射器、透鏡、反射鏡、準直器、光柵等,以用於將光自投影儀導引至使用者之眼睛。影像資料可經由鏈路456自核心處理組件454傳輸至HMD 452。HMD 452中之控制器可將影像資料轉換成來自投影儀之光脈衝,該光脈衝可作為輸出光經由光學元件傳輸至使用者之眼睛。輸出光可與穿過透通顯示器458之光混合,由此允許輸出光呈現如同其存在於真實世界中一般出現之虛擬物件。
類似於HMD 400,HMD系統450亦可包括運動及位置追蹤單元、攝影機、光源等,其允許HMD系統450例如以3DoF或6DoF追蹤自身、追蹤使用者之部分(例如手、腳、頭或其他身體部位)、映射虛擬物件以在HMD 452移動時看起來靜止,且使虛擬物件對手勢及其他真實世界物件作出反應。
所揭示系統解決在與電腦技術相關聯之傳統數位環境渲染技術中的問題,即,針對單個數位環境中之大量使用者(例如,數百、數千、數百萬等)的新視差渲染資料流之技術問題。所揭示系統藉由提供一種亦根植於電腦技術中之解決方案,即藉由提供用於渲染遠距化身、環境及動態物件之可擴展視差系統來解決此技術問題。所揭示之本發明技術進一步提供對電腦自身之運作的改良,因為其改良在渲染數位環境時之處理及效率。
圖5繪示根據本揭示內容之某些態樣的經組態以用於渲染數位環境之系統500。在一些實施方案中,系統500可包括一或多個計算平台502。計算平台502可經組態以根據用戶端/伺服器架構、同級間架構及/或其他架構來與一或多個遠端平台504進行通信。遠端平台504可經組態以經由計算平台502及/或根據用戶端/伺服器架構、同級間架構及/或其他架構來與其他遠端平台進行通信。使用者可經由遠端平台504存取系統500。
計算平台502可由機器可讀取指令506組態。機器可讀取指令506可包括一或多個指令模組。指令模組可包括電腦程式模組。指令模組可包括資料接收模組508、環境渲染模組510、流產生模組512、流接收模組514、流組合模組516、顯示引發模組518、流渲染模組520、版本提供模組522及/或其他指令模組中之一或多者。
資料接收模組508可經組態以(例如,在圖1A及圖1B中之多個區域渲染伺服器102處)接收資料流。資料流可包括視覺及音訊資料。藉助於非限制性實例,資料流(例如,如在圖1A及圖1B中之多個區域渲染伺服器102處接收)可包括關於以下中之一或多者的資訊:數位環境之構形及/或形態、在該數位環境內的數位物件之位置及/或移動資訊,或在該數位環境內的化身之位置及/或移動資訊。資料接收模組508可經組態以渲染數位環境。視訊及音訊資料可包括由給定使用者在數位環境內可感知之視覺及聲音特徵。
環境渲染模組510可經組態以至少部分地基於所接收資料流而渲染(例如,藉由圖1A及圖1B中之多個區域渲染伺服器102)全域數位環境。在一些實施方案中,全域環境可包括動畫化身及/或動態物件。在一些實施方案中,動畫化身可包括可在數位環境內移動之個別使用者之數位表示。在一些實施方案中,動態物件包括可在數位環境內移動及/或被移動之非化身物件。該全域數位環境可包括一體育場。該全域數位環境可包括含有複數個局部數位環境之數位環境。渲染全域數位環境可包括提供自給定化身之視角查看之全域數位環境的視覺表示。全域數位環境可包括真實世界位置之表示,其中人群可在經界定區域中互動且被防止在含有其他人之其他經界定區域中與其他人互動。經界定區域中之人群可看見其他經界定區域中之其他人。
環境渲染模組510可經組態以藉由一或多個用戶端平台來至少部分地基於新視差渲染資料流而渲染局部數位環境。局部數位環境可包括經由給定用戶端平台提供之數位環境。
流產生模組512可經組態以至少部分地基於所接收資料流而產生視差渲染資料流。視差渲染資料流可包括與全域數位環境之不同部分之外觀相關的資訊。給定視差材料可包括與虛擬環境內之表面或區之視覺外觀相關的資訊。
流接收模組514可經組態以(例如,在圖1A及圖1B之合成伺服器104處)接收視差渲染資料流及/或音訊流。流接收模組514經組態以將視差渲染資料流組合成材料圖集之序列。流接收模組514可經組態以將音訊與視差渲染資料流組合成一或多個空間化音訊流。
流組合模組516可經組態以(例如,藉由圖1A及圖1B之合成伺服器104)將所接收視差渲染資料流組合成新視差渲染資料流。新視差渲染資料流可包括複數個序列及空間化音訊。該複數個序列中之一給定序列可包括依序呈現以產生數位環境內之動態場景的視覺圖框。空間化音訊可包括基於數位環境內之個別化身的位置而針對不同化身所不同地感知到之聲音信號。該等序列可包括材料圖集。給定材料圖集可包括含有多個較小影像之影像。多個較小影像可為均勻大小之影像或不同尺寸之影像。給定子影像可使用材料圖集之材料座標來繪製。材料圖集之序列可為一或多個用戶端計算平台(例如,圖1A及圖1B中之遠端平台504及/或用戶端平台114)可存取的。在一些實施方案中,給定用戶端平台可包括使用者裝置。新視差渲染資料流可包括透視感知之材料。將所接收視差渲染資料流組合成新視差渲染資料流可包括使用局部渲染影像及雲端渲染影像之混雜來進行渲染。
顯示引發模組518可經組態以使得經由一或多個用戶端平台之輸出來顯示局部數位環境。給定用戶端平台之輸出可包括自與給定用戶端平台相關聯之使用者的虛擬視角呈現局部數位環境。在一些實施方案中,除了發送至區域調度器服務之其他後設資料,用戶端平台上之各可見區域亦可具有位置資料。在一些實施方案中,區域調度器服務可經組態以提供用於連接至正確區域合成服務之連接資訊以擷取視差渲染資料流。
流渲染模組520可經組態以渲染(例如,藉由圖1A及圖1B中之多個區域渲染伺服器102)用於全域數位環境之音訊流。用於全域數位環境之音訊流可包括與全域數位環境內之不同位置相關聯的多個音訊流。
版本提供模組522可經組態以向一或多個用戶端平台提供新視差渲染資料流之多個版本。新視差渲染資料流之多個版本的給定版本可包括與數位環境內之給定位置相關聯的新視差渲染資料流。
在一些實施方案中,計算平台502、遠端平台504及/或外部資源524可經由一或多個電子通信鏈路以操作方式鏈接。舉例而言,此類電子通信鏈路可至少部分地經由諸如網際網路及/或其他網路等網路建立。應瞭解,此並不意欲為限制性的,且本揭示內容之範圍包括其中計算平台502、遠端平台504及/或外部資源524可經由一些其他通信媒體以操作方式鏈接之實施方案。
給定遠端平台504可包括經組態以執行電腦程式模組之一或多個處理器。電腦程式模組可經組態以使得與給定遠端平台504相關聯之專家或使用者能夠與系統500及/或外部資源524介接,及/或提供本文中歸於遠端平台504之其他功能性。藉助於非限制性實例,給定遠端平台504及/或給定計算平台502可包括以下中之一或多者:伺服器、人工實境裝置及/或系統、桌上型電腦、膝上型電腦、手持型電腦、平板電腦計算平台、迷你筆記型電腦、智慧型手機、遊戲控制台及/或其他計算平台。
外部資源524可包括系統500外部之資訊源、參與系統500之外部實體,及/或其他資源。在一些實施方案中,本文中歸於外部資源524之功能性中的一些或全部可藉由包括於系統500中之資源來提供。
計算平台502可包括電子儲存裝置526、一或多個處理器528及/或其他組件。計算平台502可包括用以實現資訊與網路及/或其他計算平台之交換的通信線或埠。圖5中之計算平台502之圖示並不意欲為限制性的。計算平台502可包括一起操作以提供本文中歸於計算平台502之功能性的複數個硬體、軟體及/或韌體組件。舉例而言,計算平台502可藉由一起作為計算平台502操作之計算平台之雲端來實施。
電子儲存裝置526可包含以電子方式儲存資訊之非暫時性儲存媒體。電子儲存裝置526之電子儲存媒體可包括與計算平台502一體(亦即,實質上不可抽換)提供的系統儲存裝置及/或經由例如埠(例如,USB埠、火線埠等)或光碟機(例如,磁碟機等)可抽換地連接至計算平台502的可抽換式儲存裝置中之一者或兩者。電子儲存裝置526可包括光學可讀取儲存媒體(例如,光碟等)、磁性可讀取儲存媒體(例如,磁帶、磁性硬碟機、軟碟機等)、基於電荷之儲存媒體(例如,EEPROM、RAM等)、固態儲存媒體(例如,快閃隨身碟等)及/或其他電子可讀取儲存媒體中之一或多者。電子儲存裝置526可包括一或多個虛擬儲存資源(例如,雲端儲存裝置、虛擬私用網路及/或其他虛擬儲存資源)。電子儲存裝置526可儲存軟體演算法、藉由處理器528判定之資訊、自計算平台502接收的資訊、自遠端平台504接收之資訊及/或使得計算平台502能夠如本文中所描述運作之其他資訊。
處理器528可經組態以在計算平台502中提供資訊處理能力。因而,處理器528可包括數位處理器、類比處理器、經設計以處理資訊之數位電路、經設計以處理資訊的類比電路、狀態機及/或用於以電子方式處理資訊之其他機構中之一或多者。儘管處理器528在圖5中展示為單個實體,但此僅出於說明性目的。在一些實施方案中,處理器528可包括複數個處理單元。此等處理單元可實體地位於相同裝置內,或處理器528可表示協作操作之複數個裝置的處理功能性。處理器528可經組態以執行模組508、510、512、514、516、518、520及/或522及/或其他模組。處理器528可經組態以藉由以下各者執行模組508、510、512、514、516、518、520及/或522及/或其他模組:軟體;硬體;韌體;軟體、硬體及/或韌體之某一組合;及/或用於在處理器528上組態處理能力的其他機構。如本文中所使用,術語「模組」可指執行歸於模組之功能性的任何組件或組件集合。此可包括在執行處理器可讀取指令期間之一或多個實體處理器、處理器可讀取指令、電路系統、硬體、儲存媒體或任何其他組件。
應瞭解,儘管模組508、510、512、514、516、518、520及/或522在圖5中繪示為實施在單個處理單元內,但在處理器528包括多個處理單元之實施方案中,模組508、510、512、514、516、518、520及/或522中之一或多者可遠離其他模組實施。由下文所描述之不同模組508、510、512、514、516、518、520及/或522提供的功能性之描述係出於說明性目的,並且並不意欲為限制性的,此係因為模組508、510、512、514、516、518、520及/或522中之任一者可提供比所描述的更多或更少之功能性。舉例而言,可消除模組508、510、512、514、516、518、520及/或522中之一或多者,並且其功能性中之一些或全部可藉由模組508、510、512、514、516、518、520及/或522中之其他者提供。作為另一實例,處理器528可經組態以執行一或多個額外模組,其可執行下文歸於模組508、510、512、514、516、518、520及/或522中之一者的功能性中之一些或全部。
在特定具體實例中,計算系統之一或多個物件(例如,內容或其他類型之物件)可與一或多個隱私設定相關聯。一或多個物件可儲存在任何合適計算系統或應用程式上或以其他方式與任何合適計算系統或應用程式相關聯,諸如社交網路連接系統、用戶端系統、第三方系統、社交網路連接應用程式、傳訊應用程式、相片共用應用程式或任何其他合適計算系統或應用程式。儘管本文中所論述之實例係在線上社交網路之情境中,但此等隱私設定可應用於任一其他合適計算系統。用於物件之隱私設定(或「存取設定」)可以任何合適的方式儲存,諸如與物件相關聯、在授權伺服器上之索引中、以另一合適之方式,或以其任何合適組合進行儲存。用於物件之隱私設定可指定如何在線上社交網路內存取、儲存或以其他方式使用(例如,查看、共用、修改、複製、執行、顯示或識別)物件(或與物件相關聯之特定資訊)。當用於物件之隱私設定允許特定使用者或其他實體存取該物件時,該物件可描述為相對於該使用者或其他實體為「可見的」。作為實例而非作為限制,線上社交網路之使用者可針對使用者設定檔頁面指定隱私設定,該使用者設定檔頁面識別可存取關於使用者設定檔頁面之工作經驗資訊的使用者集合,因此排除其他使用者存取該資訊。
在特定具體實例中,用於物件之隱私設定可指定不應被允許存取與物件相關聯之某些資訊的使用者或其他實體之「阻止清單」。在特定具體實例中,阻止清單可包括第三方實體。阻止清單可指定一或多個使用者或實體,物件對該一或多個使用者或實體不可見。作為實例而非作為限制,使用者可指定可不存取與使用者相關聯之相片專輯的使用者集合,因此排除了彼等使用者存取相片專輯(同時亦有可能允許不在指定使用者集合內之某些使用者存取相片專輯)。在特定具體實例中,隱私設定可與特定社交圖譜元素相關聯。諸如節點或邊緣等社交圖譜元素之隱私設定可指定可如何使用線上社交網路存取社交圖譜元素、與社交圖譜元素相關聯之資訊或與社交圖譜元素相關聯的物件。作為實例而非作為限制,對應於特定相片之特定概念節點可具有指定相片僅可由在相片中標記之使用者及在相片中標記的使用者之朋友存取的隱私設定。在特定具體實例中,隱私設定可允許使用者選擇加入或選擇退出使其內容、資訊或動作由社交網路連接系統儲存/記錄或與其他系統(例如,第三方系統)共用。儘管本揭示內容以特定方式描述了使用特定隱私設定,但本揭示內容以任何合適之方式涵蓋了使用任何合適的隱私設定。
在特定具體實例中,隱私設定可基於社交圖譜之一或多個節點或邊緣。可針對社交圖譜之一或多個邊緣或邊緣類型,或相對於社交圖譜之一或多個節點或節點類型來指定隱私設定。應用於連接兩個節點之特定邊緣的隱私設定可控制對應於該等節點之兩個實體之間的關係對於線上社交網路之其他使用者是否可見。類似地,應用於特定節點的隱私設定可控制對應於節點之使用者或概念對於線上社交網路之其他使用者是否可見。作為實例而非作為限制,第一使用者可與社交網路連接系統共用物件。物件可與藉由邊緣連接至第一使用者之使用者節點的概念節點相關聯。第一使用者可指定適用於連接至物件之概念節點之特定邊緣的隱私設定,或可指定適用於連接至概念節點之所有邊緣的隱私設定。作為另一實例而非作為限制,第一使用者可共用特定物件類型之物件集合(例如,影像集合)。第一使用者可將關於與第一使用者相關聯的彼特定物件類型之所有物件的隱私設定指定為具有特定隱私設定(例如,指定由第一使用者發佈之所有影像僅對影像中標記的第一使用者之朋友及/或使用者可見)。
在特定具體實例中,社交網路連接系統可向第一使用者呈現「隱私嚮導」(例如,在網頁、模組、一或多個對話框或任何其他合適介面內)以輔助第一使用者指定一或多個隱私設定。隱私嚮導可顯示指令、合適之隱私相關資訊、當前隱私設定、用於接受來自指定隱私設定之改變或確認的第一使用者之一或多個輸入的一或多個輸入欄位,或其任何合適組合。在特定具體實例中,社交網路連接系統可向第一使用者提供「儀錶板」功能性,該功能性可向第一使用者顯示第一使用者之當前隱私設定。可在任何適當時間(例如,在來自第一使用者之召喚儀錶板功能性的輸入之後、在特定事件或觸發動作發生之後)將儀錶板功能性顯示給第一使用者。儀錶板功能性可允許第一使用者在任何時間以任何合適方式(例如,將第一使用者重新導向至隱私嚮導)修改第一使用者之當前隱私設定中的一或多者。
與物件相關聯之隱私設定可指定經准許存取或拒絕存取之任何合適的精細度。作為實例而非作為限制,存取或拒絕存取可針對特定使用者(例如,僅我、我的室友、我的老闆)、在特定分離度內之使用者(例如,朋友、朋友的朋友)、使用者群組(例如,遊戲俱樂部、我的家人)、使用者網路(例如,特定雇主之雇員、特定大學之學生或校友)、所有使用者(「公眾」)、非使用者(「私人」)、第三方系統之使用者、特定應用程式(例如,第三方應用程式、外部網站)、其他合適實體或其任何合適組合來指定。儘管本揭示內容描述准許存取或拒絕存取之特定精細度,但本揭示內容涵蓋准許存取或拒絕存取之任何合適精細度。
在特定具體實例中,一或多個伺服器可為用於強制執行隱私設定之授權/隱私伺服器。回應於來自使用者(或其他實體)之對儲存於資料儲存區中之特定物件的請求,社交網路連接系統可針對物件將請求發送至資料儲存區。若授權伺服器基於與物件相關聯之隱私設定而判定使用者被授權存取該物件,則請求可識別與請求相關聯之使用者,並且物件可僅被發送至該使用者(或該使用者之用戶端系統)。若請求使用者未被授權存取物件,則授權伺服器可防止自資料儲存區擷取所請求物件,或可防止所請求物件被發送至使用者。在搜尋查詢上下文中,僅在查詢使用者被授權存取物件的情況下,例如在用於物件之隱私設定允許其向查詢使用者顯示、由查詢使用者發現或以其他方式對查詢使用者可見的情況下,物件可經提供為搜尋結果。在特定具體實例中,物件可表示經由使用者之新聞饋送對使用者可見的內容。作為實例而非作為限制,一或多個物件可對使用者之「趨勢(Trending)」頁面可見。在特定具體實例中,物件可對應於特定使用者。物件可為與特定使用者相關聯之內容,或可為儲存於社交網路連接系統或其他計算系統上之特定使用者帳戶或資訊。作為實例而非作為限制,第一使用者可經由線上社交網路之「你可能認識的人」功能或藉由查看第一使用者之朋友清單來查看線上社交網路的一或多個第二使用者。作為實例而非作為限制,第一使用者可指定其不希望在其新聞饋送或朋友清單中看到與特定第二使用者相關聯之物件。若用於物件之隱私設定不允許其向使用者顯示、由使用者發現或對使用者可見,則該物件可自搜尋結果排除。儘管本揭示內容以特定方式描述強制執行隱私設定,但本揭示內容涵蓋以任何合適方式強制執行隱私設定。
在特定具體實例中,與使用者相關聯之相同類型的不同物件可具有不同隱私設定。與使用者相關聯之不同類型的物件可具有不同類型之隱私設定。作為實例而非作為限制,第一使用者可指定第一使用者之狀態更新係公開的,但由第一使用者共用之任何影像僅對於第一使用者在線上社交網路上的朋友可見。作為另一實例而非作為限制,使用者可針對諸如個別使用者、朋友的朋友、追隨者、使用者群組或公司實體等不同類型之實體而指定不同隱私設定。作為另一實例而非作為限制,第一使用者可指定可查看由第一使用者發佈之視訊的使用者群組,同時保持視訊對第一使用者之雇主可見。在特定具體實例中,可針對不同使用者群組或使用者人口統計資料提供不同隱私設定。作為實例而非作為限制,第一使用者可指定與第一使用者上同一所大學之其他使用者可查看第一使用者的圖像,但作為第一使用者之家庭成員的其他使用者不可查看彼等相同圖像。
在特定具體實例中,社交網路連接系統可針對特定物件類型之各物件提供一或多個預設隱私設定。經設定為預設之用於物件的隱私設定可由與彼物件相關聯之使用者改變。作為實例而非作為限制,由第一使用者發佈之全部影像可具有僅對第一使用者之朋友可見的預設隱私設定,並且對於特定影像,第一使用者可改變用於該影像之隱私設定以對朋友及朋友的朋友可見。
在特定具體實例中,隱私設定可允許第一使用者出於任何目的指定(例如,藉由選擇退出、藉由不選擇加入)社交網路連接系統是否可接收、收集、記錄或儲存與使用者相關聯之特定物件或資訊。在特定具體實例中,隱私設定可允許第一使用者指定特定應用程式或程序是否可存取、儲存或使用與使用者相關聯之特定物件或資訊。隱私設定可允許第一使用者選擇加入或選者退出使物件或資訊由特定應用程式或程序存取、儲存或使用。社交網路連接系統可存取此資訊以便向第一使用者提供特定功能或服務,而社交網路連接系統無需出於任何其他目的存取該資訊。在存取、儲存或使用此類物件或資訊之前,社交網路連接系統可在允許任何此類動作之前提示使用者提供指定哪些應用程式或程序(若存在)可存取、儲存或使用該物件或資訊的隱私設定。作為實例而非作為限制,第一使用者可經由與線上社交網路相關之應用程式(例如,傳訊應用程式)將訊息傳輸至第二使用者,且可指定此類訊息不應由社交網路連接系統儲存的隱私設定。
在特定具體實例中,使用者可指定與第一使用者相關聯之特定類型之物件或資訊是否可由社交網路連接系統存取、儲存或使用。作為實例而非作為限制,第一使用者可指定由第一使用者經由社交網路連接系統發送之影像可不由社交網路連接系統儲存。作為另一實例而非作為限制,第一使用者可指定自第一使用者發送至特定第二使用者之訊息可不由社交網路連接系統儲存。作為又一實例而非作為限制,第一使用者可指定經由特定應用程式發送之所有物件可由社交網路連接系統保存。
在特定具體實例中,隱私設定可允許第一使用者指定與第一使用者相關聯之特定物件或資訊是否可自特定用戶端系統或第三方系統存取。隱私設定可允許第一使用者選擇加入或選擇退出使物件或資訊自特定裝置(例如,使用者之智慧型手機上的電話簿)、自特定應用程式(例如,傳訊應用程式)或自特定系統(例如,電子郵件伺服器)存取。社交網路連接系統可提供關於各裝置、系統或應用程式之預設隱私設定,及/或第一使用者可經提示以針對各上下文指定特定隱私設定。作為實例而非作為限制,第一使用者可利用社交網路連接系統之位置服務特徵來向使用者提供對餐館或附近其他場所之推薦。第一使用者之預設隱私設定可指定社交網路連接系統可使用自第一使用者之用戶端裝置提供的位置資訊以提供基於位置之服務,但社交網路連接系統可不儲存第一使用者之位置資訊或將其提供至任何第三方系統。第一使用者可接著更新隱私設定以允許由第三方影像共用應用程式使用位置資訊以便對相片進行地理標記。
在特定具體實例中,隱私設定可允許使用者指定一或多個地理位置,可自該一或多個地理位置存取物件。對物件之存取或拒絕存取可取決於嘗試存取物件之使用者的地理位置。作為實例而非作為限制,使用者可共用物件且指定僅同一城市中之使用者可存取或查看該物件。作為另一實例而非作為限制,第一使用者可共用物件且指定該物件僅在第一使用者處於特定位置時對第二使用者可見。若第一使用者離開特定位置,則該物件不可再對第二使用者可見。作為另一實例而非作為限制,第一使用者可指定物件僅對在相距第一使用者的臨限距離內之第二使用者可見。若第一使用者隨後改變位置,則存取物件之初始第二使用者可失去存取,同時第二使用者之新群組可獲得存取,此係由於其出現於第一使用者之臨限距離內。
在特定具體實例中,隱私設定之改變可回溯性地生效,由此影響在改變之前共用的物件及內容之可見性。作為實例而非作為限制,第一使用者可共用第一影像且指定第一影像將對所有其他使用者公開。稍後,第一使用者可指定由第一使用者共用之任何影像應僅對第一使用者群組可見。社交網路連接系統可判定此隱私設定亦應用於第一影像且使第一影像僅對第一使用者群組可見。在特定具體實例中,隱私設定中之改變可僅在未來生效。繼續以上實例,若第一使用者改變隱私設定且接著共用第二影像,則第二影像可僅對第一使用者群組可見,但第一影像可保持對所有使用者可見。在特定具體實例中,回應於使用者改變隱私設定之動作,社交網路連接系統可進一步提示使用者以指示使用者是否想要對隱私設定回溯性地施加改變。在特定具體實例中,使用者對隱私設定之改變可為特定於一個物件之一次性改變。在特定具體實例中,使用者對隱私之改變可為用於與使用者相關聯之所有物件的全域改變。
在特定具體實例中,社交網路連接系統可回應於與第一使用者相關聯之觸發動作而判定第一使用者可能想要改變一或多個隱私設定。觸發動作可為線上社交網路上之任何合適動作。作為實例而非作為限制,觸發動作可為在線上社交網路之第一使用者與第二使用者之間的關係之改變(例如,將使用者「刪除好友」、改變在使用者之間的關係狀態)。在特定具體實例中,在判定觸發動作已發生後,社交網路連接系統可提示第一使用者改變關於與第一使用者相關聯之物件之可見性的隱私設定。該提示可將第一使用者重新導向至用於編輯關於與觸發動作相關聯之一或多個實體之隱私設定的工作流程序。與第一使用者相關聯之隱私設定可僅回應於來自第一使用者之顯式輸入而改變,且可在第一使用者不認可的情況下不改變。作為實例而非作為限制,工作流程序可包括將關於第二使用者或使用者群組之當前隱私設定提供給第一使用者(例如,不自特定物件標記第一使用者或第二使用者,改變關於第二使用者或使用者群組之特定物件的可見性),以及接收來自第一使用者之指示以基於本文中所描述之任一方法而改變隱私設定,或保持現有隱私設定。
在特定具體實例中,使用者可需要在允許使用者在線上社交網路上執行特定動作之前提供隱私設定的驗證,或在改變特定隱私設定之前提供驗證。在執行特定動作或改變特定隱私設定時,可將提示呈現給使用者以提醒使用者他或她的當前隱私設定且要求使用者驗證關於特定動作之隱私設定。此外,使用者可需要在繼續進行特定動作之前提供確認、雙確認、認證或其他合適類型之驗證,並且可直至提供此類驗證為止才完成該動作。作為實例而非作為限制,使用者之預設隱私設定可指示個人關係狀況對所有使用者可見(亦即,「公開」)。然而,若使用者改變他或她的關係狀態,則社交網路連接系統可判定此動作可為敏感的且可提示使用者確認他或她的關係狀態在進行操作之前應保持為公開的。作為另一實例而非作為限制,使用者之隱私設定可指定使用者的貼文僅對使用者之朋友可見。然而,若使用者將他或她的貼文之隱私設定改變為公開的,則社交網路連接系統可能會向使用者提示使用者當前的貼文隱私設定僅對朋友可見的提醒,以及此改變將使得使用者過去的所有貼文對於公眾可見的警告。接著可需要使用者提供第二驗證、輸入認證憑證,或在繼續進行隱私設定的改變之前提供其他類型之驗證。在特定具體實例中,使用者可能需要定期提供對隱私設定之驗證。提示或提醒可基於流逝時間或使用者動作之數目而定期發送至使用者。作為實例而非作為限制,社交網路連接系統可每六個月或在每十個相片貼文之後向使用者發送提醒以確認他或她的隱私設定。在特定具體實例中,隱私設定亦可允許使用者基於每請求而控制對物件或資訊之存取。作為實例而非作為限制,每當第三方系統嘗試存取與使用者相關聯之資訊時,社交網路連接系統可通知使用者,且需要使用者在進行操作之前提供應允許存取之驗證。
本文中所描述之技術可實施為由實體計算裝置執行的方法;實施為儲存指令之一或多個非暫時性電腦可讀取儲存媒體,該等指令在由計算裝置執行時使得執行方法;或實施為經專門組態有使得執行方法之硬體與軟體之組合的實體計算裝置。
圖6繪示根據本揭示內容之某些態樣的用於渲染數位環境之範例性流程圖(例如,程序600)。出於解釋性目的,本文中參考圖1至圖5描述範例性程序600。進一步出於解釋性目的,範例性程序600之步驟在本文中描述為連續或線性地發生。然而,範例性程序600之多個例子可並行地發生。出於解釋本發明技術之目的,將參考圖1至圖5論述程序600。
在步驟602處,程序600可包括在區域渲染伺服器處接收資料流。在步驟604處,程序600可包括藉由區域渲染伺服器來至少部分地基於所接收資料流而渲染全域數位環境。在步驟606處,程序600可包括至少部分地基於所接收資料流而產生視差渲染資料流。在步驟608處,程序600可包括在合成伺服器處接收視差渲染資料流。在步驟610處,程序600可包括藉由合成伺服器來將所接收視差渲染資料流組合成新視差渲染資料流。在步驟612處,程序600可包括藉由一或多個用戶端平台來至少部分地基於新視差渲染資料流而渲染局部數位環境。在步驟614處,程序600可包括使得經由一或多個用戶端平台之輸出來顯示局部數位環境。
舉例而言,如上文關於圖1至圖5所描述,在步驟602處,程序600可包括經由資料接收模組508在區域渲染伺服器處接收資料流。在步驟604處,程序600可包括藉由區域渲染伺服器至少部分地基於所接收資料流而經由環境渲染模組510渲染全域數位環境。在步驟606處,程序600可包括經由流產生模組512至少部分地基於所接收資料流而產生視差渲染資料流。在步驟608處,程序600可包括經由流接收模組514在合成伺服器處接收視差渲染資料流。在步驟610處,程序600可包括藉由合成伺服器來經由流組合模組516將所接收視差渲染資料流組合成新視差渲染資料流。在步驟612處,程序600可包括藉由一或多個用戶端平台來至少部分地基於新視差渲染資料流而經由環境渲染模組510渲染局部數位環境。在步驟614處,程序600可包括經由顯示引發模組518使得經由一或多個用戶端平台之輸出來顯示局部數位環境。
根據一態樣,資料流包含視覺及音訊資料。
根據一態樣,全域環境包含動畫化身及/或動態物件。
根據一態樣,新視差渲染資料流包含複數個序列及空間化音訊。
根據一態樣,序列包含材料圖集。
根據一態樣,程序600可包括藉由區域渲染伺服器來渲染用於全域數位環境之音訊流。
根據一態樣,程序600可包括向一或多個用戶端平台提供新視差渲染資料流之多個版本。
根據一態樣,除了發送至區域調度器服務的其他後設資料,用戶端平台上之各可見區域亦具有位置資料,該區域調度器服務經組態以提供用於連接至正確區域合成服務之連接資訊以擷取視差渲染資料流。
根據一態樣,全域數位環境包含體育場。
圖7係繪示可用以實施本發明技術之態樣的例示性電腦系統700之方塊圖。在某些態樣中,電腦系統700可使用專屬伺服器中或整合至另一實體中或跨多個實體分佈之硬體或軟體與硬體之組合來實施。
電腦系統700(例如,伺服器及/或用戶端)包括用於傳達資訊之匯流排708或其他通信機構,以及與匯流排708耦接以用於處理資訊之處理器702。藉助於實例,電腦系統700可藉由一或多個處理器702實施。處理器702可為通用微處理器、微控制器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式化閘陣列(FPGA)、可程式化邏輯裝置(PLD)、控制器、狀態機、閘控邏輯、離散硬體組件或可執行資訊之計算或其他操縱的任何其他合適實體。
除了硬體,電腦系統700亦可包括創建用於所討論之電腦程式之執行環境的程式碼,例如構成處理器韌體、協定堆疊、資料庫管理系統、作業系統或儲存於所包括記憶體704中之前述各者中的一或多者之組合的程式碼,該所包括記憶體為諸如隨機存取記憶體(RAM)、快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除PROM(EPROM)、暫存器、硬碟、可抽換式磁碟、CD-ROM、DVD或與匯流排708耦接以用於儲存待由處理器702執行之資訊及指令的任何其他合適儲存裝置。處理器702及記憶體704可由特殊用途邏輯電路系統補充或併入於特殊用途邏輯電路系統中。
指令可儲存於記憶體704中且實施於一或多個電腦程式產品中,亦即,在電腦可讀取媒體上編碼以供電腦系統700執行或以控制該電腦系統之操作的電腦程式指令之一或多個模組,且根據所屬技術領域中具有通常知識者所熟知之任何方法,該等指令包括但不限於如下電腦語言:資料導向語言(例如,SQL、dBase)、系統語言(例如,C、Objective-C、C++、Assembly)、架構語言(例如,Java、.NET)以及應用語言(例如,PHP、Ruby、Perl、Python)。指令亦可以電腦語言實施,諸如陣列語言、特性導向語言、彙編語言、製作語言、命令行介面語言、編譯語言、並行語言、波形括號語言、資料流語言、資料結構式語言、宣告式語言、深奧語言、擴展語言、第四代語言、函數語言、互動模式語言、解譯語言、反覆語言、以串列為基語言、小語言、以邏輯為基語言、機器語言、巨集語言、元程式設計語言、多重範型語言、數值分析、非英語語言、物件導向分類式語言、物件導向基於原型語言、場外規則語言、程序語言、反射語言、基於規則的語言、指令碼處理語言、基於堆疊語言、同步語言、語法處置語言、視覺語言、wirth語言及基於xml的語言。記憶體704亦可用於在待由處理器702執行之指令的執行期間儲存暫時性變數或其他中間資訊。
如本文中所論述之電腦程式未必對應於檔案系統中之檔案。程式可儲存於保持其他程式或資料(例如,儲存於標記語言文件中之一或多個指令碼)之檔案的一部分中、儲存於專用於所討論之程式的單個檔案中,或儲存於多個經協調檔案(例如,儲存一或多個模組、子程式或程式碼之部分的檔案)中。電腦程式可經部署以在一台電腦上或在位於一個地點或跨多個地點分佈且由通信網路互連之多台電腦上執行。本說明書中所描述之程序及邏輯流可由一或多個可程式化處理器執行,該一或多個可程式化處理器執行一或多個電腦程式以藉由對輸入資料進行操作且產生輸出來執行功能。
電腦系統700進一步包括耦接至匯流排708以用於儲存資訊及指令之資料儲存裝置706,諸如磁碟或光碟。電腦系統700可經由輸入/輸出模組710耦接至各種裝置。輸入/輸出模組710可為任何輸入/輸出模組。例示性輸入/輸出模組710包括諸如USB埠等資料埠。輸入/輸出模組710經組態以連接至通信模組712。例示性通信模組712包括網路連接介面卡,諸如乙太網路卡及數據機。在某些態樣中,輸入/輸出模組710經組態以連接至複數個裝置,諸如輸入裝置714及/或輸出裝置716。例示性輸入裝置714包括鍵盤及指標裝置,例如滑鼠或軌跡球,使用者可藉此將輸入提供至電腦系統700。其他種類之輸入裝置714亦可用以提供與使用者之互動,諸如觸覺輸入裝置、視覺輸入裝置、音訊輸入裝置或腦機介面裝置。舉例而言,提供給使用者之回饋可為任何形式之感測回饋,例如視覺回饋、聽覺回饋或觸覺回饋,並且可自使用者接收任何形式的輸入,包括聲輸入、語音輸入、觸覺輸入或腦波輸入。例示性輸出裝置716包括用於向使用者顯示資訊之顯示裝置,諸如液晶顯示器(LCD)監視器。
根據本揭示內容之一個態樣,上述遊戲系統可回應於處理器702執行記憶體704中含有的一或多個指令之一或多個序列而使用電腦系統700來實施。此類指令可自諸如資料儲存裝置706等另一機器可讀取媒體讀取至記憶體704中。主記憶體704中含有之指令序列的執行使處理器702執行本文中所描述之程序步驟。呈多處理配置之一或多個處理器亦可用於執行記憶體704中含有之指令序列。在替代性態樣中,硬佈線電路系統可代替軟體指令而使用或與軟體指令組合使用以實施本揭示內容之各個態樣。因此,本揭示內容之態樣不限於硬體電路系統及軟體之任何特定組合。
本說明書中所描述之主題的各種態樣可實施於計算系統中,該計算系統包括後端組件,例如資料伺服器;或包括中間軟體組件,例如應用程式伺服器;或包括前端組件,例如具有使用者可與本說明書中所描述之主題的實施方案互動所經由之圖形使用者介面或網路瀏覽器的用戶端電腦;或一或多個此等後端組件、中間軟體組件或前端組件之任何組合。系統之組件可藉由數位資料通信之任何形式或媒體,例如通信網路來互連。通信網路可包括例如LAN、WAN、網際網路及其類似者中之任一或多者。此外,通信網路可包括但不限於例如以下網路拓樸中之任何一或多者,包括匯流排網路、星形網路、環形網路、網狀網路、星形匯流排網路、樹或階層式網路或其類似者。通信模組可為例如數據機或乙太網路卡。
電腦系統700可包括用戶端及伺服器。用戶端及伺服器大體上遠離彼此且典型地經由通信網路互動。用戶端與伺服器之關係藉助於在各別電腦上運行且彼此具有主從式關係之電腦程式產生。電腦系統700可為例如但不限於桌上型電腦、膝上型電腦或平板電腦。電腦系統700亦可嵌入於另一裝置中,例如但不限於行動電話、PDA、行動音訊播放器、全球定位系統(GPS)接收器、視訊遊戲控制台及/或電視機上盒。
如本文中所使用之術語「機器可讀取儲存媒體」或「電腦可讀取媒體」係指參與將指令提供至處理器702以供執行之任何一或多個媒體。此媒體可呈許多形式,包括但不限於非揮發性媒體、揮發性媒體及傳輸媒體。非揮發性媒體包括例如光碟或磁碟,諸如資料儲存裝置706。揮發性媒體包括動態記憶體,諸如記憶體704。傳輸媒體包括同軸纜線、銅線及光纖,包括包含匯流排708之電線。機器可讀取媒體之常見形式包括例如軟碟、軟性磁碟、硬碟、磁帶、任何其他磁性媒體、CD-ROM、DVD、任何其他光學媒體、打孔卡、紙帶、具有孔圖案之任何其他實體媒體、RAM、PROM、EPROM、FLASH EPROM、任何其他記憶體晶片或卡匣,或可供電腦讀取之任何其他媒體。機器可讀取儲存媒體可為機器可讀取儲存裝置、機器可讀取儲存基板、記憶體裝置、影響機器可讀取傳播信號之物質組成,或其中之一或多者的組合。
在使用者之電腦系統700讀取遊戲資料且提供遊戲時,資訊可自遊戲資料讀取且儲存在諸如記憶體704等記憶體裝置中。另外,經由網路匯流排708或資料儲存裝置706存取之來自記憶體704伺服器的資料可經讀取且加載至記憶體704中。儘管資料描述為發現於記憶體704中,但應理解,資料不必儲存在記憶體704中且可儲存在處理器702可進行存取或分佈於若干媒體當中之其他記憶體中,諸如資料儲存裝置706。
如本文中所使用,在一系列項目之前的藉由術語「及」或「或」分離該等項目中之任一者的片語「中之至少一者」修改清單整體,而非清單中之各成員(即,各項目)。片語「中之至少一者」不需要選擇至少一個項目;實情為,該片語允許包括該等項目中之任一者中的至少一者及/或該等項目之任何組合中的至少一者及/或該等項目中之各者中的至少一者之涵義。藉助於實例,片語「A、B及C中之至少一者」或「A、B或C中之至少一者」各自指僅A、僅B或僅C;A、B及C之任何組合;及/或A、B及C中之各者中的至少一者。
就術語「包括」、「具有」或其類似者用於本說明書或申請專利範圍中而言,此術語意欲以類似於術語「包含」在「包含」作為過渡詞用於申請專利範圍中時所解譯之方式而為包括性的。詞語「例示性」在本文中用以意謂「充當一實例、個例或示例」。不必將本文中描述為「例示性」之任何具體實例理解為比其他具體實例更佳或更有利。
除非具體陳述,否則以單數形式對元件之提及並不意欲意謂「一個且僅一個」,而是指「一或多個」。所屬技術領域中具有通常知識者已知或稍後將知曉貫穿本揭示內容而描述的各種組態之元件的所有結構及功能等效物係以引用方式明確地併入本文中,且意欲由本發明技術涵蓋。此外,本文中所揭示之任何內容皆不意欲專用於公眾,無論在以上描述中是否明確地敍述此揭示內容。
雖然本說明書含有許多細節,但此等細節不應解釋為限制可能主張之內容的範圍,而是應解釋為對主題之特定實施方案的描述。在分離具體實例之上下文中描述於本說明書中的某些特徵亦可在單個具體實例中以組合形式實施。相反,在單個具體實例之上下文中描述的各種特徵亦可在多個具體實例中分別或以任何合適子組合形式實施。此外,儘管上文可將特徵描述為以某些組合起作用且甚至最初按此來主張,但來自所主張組合之一或多個特徵在一些狀況下可自該組合刪除,且所主張之組合可針對子組合或子組合的變化。
本說明書之主題已關於特定態樣加以描述,但其他態樣可經實施且在本揭示內容之範圍內。舉例而言,儘管在圖式中以特定次序來描繪操作,但不應將此理解為需要以所展示之特定次序或以順序次序執行此等操作,或執行所有所繪示操作以達成合乎需要的結果。可以不同次序執行申請專利範圍中所敍述之動作且該等動作仍達成合乎需要之結果。作為一個實例,附圖中描繪之程序未必要求所展示之特定次序,或順序次序,以實現合乎需要的結果。在某些環境中,多任務及並行處理可為有利的。此外,不應將上文所描述之態樣中之各種系統組件的分離理解為在所有態樣中皆要求此分離,且應理解,所描述之程式組件及系統可大體一同整合於單個軟體產品或封裝至多個軟體產品中。其他變化係在以下申請專利範圍之範圍內。
100:可擴展視差系統
102:區域渲染伺服器
104:合成伺服器
106:資料流
108:視差渲染資料流
110:音訊流
112:新視差渲染資料流
114:用戶端平台
200:數位環境
202:數位環境
204:完全填充房間/房間
206:化身
208:動態物件
300:計算系統
301:計算裝置
302:計算裝置
303:計算裝置
310:處理器
320:輸入裝置
330:顯示器
340:其他I/O裝置
350:記憶體
360:程式記憶體
362:作業系統
364:XR工作系統
366:其他應用程式
370:資料記憶體
400:虛擬實境頭戴式顯示器
405:前剛體
410:帶
415:慣性運動單元(IMU)
420:位置感測器
425:定位器
430:計算單元
445:電子顯示器
450:混合實境HMD系統/混合實境系統/HMD系統
452:混合實境HMD/HMD
454:核心處理組件
456:鏈路
458:透通顯示器
460:框架
500:系統
502:計算平台
504:遠端平台
506:機器可讀取指令
508:資料接收模組/模組
510:環境渲染模組/模組
512:流產生模組/模組
514:流接收模組/模組
516:流組合模組/模組
518:顯示引發模組/模組
520:流渲染模組/模組
522:版本提供模組/模組
524:外部資源
526:電子儲存裝置
528:處理器
600:程序
602:步驟
604:步驟
606:步驟
608:步驟
610:步驟
612:步驟
614:步驟
700:電腦系統
702:處理器
704:記憶體
706:資料儲存裝置
708:匯流排
710:輸入/輸出模組
712:通信模組
714:輸入裝置
716:輸出裝置
為了容易地識別對任何特定元件或動作之論述,參考編號之一或多個最高有效數位係指首先引入彼元件之圖編號。
[圖1A]及[圖1B]繪示根據本揭示內容之某些態樣的經組態以用於渲染遠距化身、環境及動態物件之可擴展視差系統。
[圖2A]及[圖2B]繪示根據本揭示內容之某些態樣的由其中渲染遠距化身、環境及動態物件之圖1A及圖1B之可擴展視差系統提供的數位環境之範例性視圖。
[圖3]係繪示所揭示技術之一些實施方案可於其上操作的用戶端裝置之概述的方塊圖。
[圖4A]及[圖4B]係根據本揭示內容之某些態樣的虛擬實境頭戴式顯示器(HMD)及相關組件的連接圖。
[圖5]繪示根據一或多個實施方案之經組態以用於渲染數位環境之系統。
[圖6]繪示根據本揭示內容之某些態樣的用於渲染數位環境之範例性流程圖。
[圖7]係繪示可用以實施本發明技術之態樣的範例性電腦系統(例如,表示用戶端及伺服器兩者)之方塊圖。
在一或多個實施方案中,並非可需要各圖中之所有所描繪組件,且一或多個實施方案可包括圖中未示之額外組件。組件之配置及類型的變化可在不脫離本揭示內容之範圍的情況下進行。可在本揭示內容之範圍內利用額外組件、不同組件或更少組件。
600:程序
602:步驟
604:步驟
606:步驟
608:步驟
610:步驟
612:步驟
614:步驟
Claims (20)
- 一種用於渲染數位環境之電腦實施方法,該電腦實施方法包含: 在區域渲染伺服器處接收資料流; 藉由該區域渲染伺服器來至少部分地基於所接收之該資料流而渲染全域數位環境; 至少部分地基於所接收之該資料流而產生視差渲染資料流; 在合成伺服器處接收該視差渲染資料流; 藉由該合成伺服器來將所接收之該視差渲染資料流組合成新視差渲染資料流; 藉由一或多個用戶端平台來至少部分地基於該新視差渲染資料流而渲染局部數位環境;以及 使得經由該一或多個用戶端平台之輸出來顯示該局部數位環境。
- 如請求項1之電腦實施方法,其中該資料流包含視覺及音訊資料。
- 如請求項1之電腦實施方法,其中該全域環境包含動畫化身及/或動態物件。
- 如請求項1之電腦實施方法,其中該新視差渲染資料流包含複數個序列及空間化音訊。
- 如請求項4之電腦實施方法,其中該複數個序列包含材料圖集。
- 如請求項1之電腦實施方法,其進一步包含: 藉由該區域渲染伺服器來渲染用於該全域數位環境之音訊流。
- 如請求項1之電腦實施方法,其進一步包含: 向該一或多個用戶端平台提供該新視差渲染資料流之多個版本。
- 如請求項1之電腦實施方法,其中除了發送至區域調度器服務的其他後設資料,該一或多個用戶端平台上之各可見區域亦具有位置資料,該區域調度器服務經組態以提供用於連接至正確區域合成服務之連接資訊以擷取該視差渲染資料流。
- 如請求項1之電腦實施方法,其中該全域數位環境包含體育場。
- 如請求項1之電腦實施方法,其中在該區域渲染伺服器處接收的該資料流包括關於以下中之一或多者的資訊:數位環境之構形及/或形態、在該數位環境內的數位物件之位置及/或移動資訊,或在該數位環境內的化身之位置及/或移動資訊。
- 一種經組態以用於渲染數位環境之系統,該系統包含: 一或多個硬體處理器,其由機器可讀取指令組態以進行下述: 在區域渲染伺服器處接收資料流; 藉由該區域渲染伺服器來至少部分地基於所接收之該資料流而渲染全域數位環境,其中該全域環境包含動畫化身及/或動態物件; 至少部分地基於所接收之該資料流而產生視差渲染資料流; 藉由該區域渲染伺服器來渲染用於該全域數位環境之音訊流; 在合成伺服器處接收該視差渲染資料流及該音訊流; 藉由該合成伺服器來將所接收之該視差渲染資料流及該音訊流組合成新視差渲染資料流; 藉由一或多個用戶端平台來至少部分地基於該新視差渲染資料流而渲染局部數位環境;以及 使得經由該一或多個用戶端平台之輸出來顯示該局部數位環境。
- 如請求項11之系統,其中該資料流包含視覺及音訊資料。
- 如請求項11之系統,其中該全域數位環境包括含有複數個局部數位環境之數位環境。
- 如請求項11之系統,其中該新視差渲染資料流包含複數個序列及空間化音訊。
- 如請求項14之系統,其中該複數個序列包含材料圖集。
- 如請求項11之系統,其中該一或多個硬體處理器由該機器可讀取指令進一步組態以進行下述: 將該視差渲染資料流組合成材料圖集之序列。
- 如請求項11之系統,其中在該區域渲染伺服器處接收的該資料流包括關於以下中之一或多者的資訊:數位環境之構形及/或形態、在該數位環境內的數位物件之位置及/或移動資訊,或在該數位環境內的化身之位置及/或移動資訊。
- 如請求項11之系統,其中除了發送至區域調度器服務的其他後設資料,該一或多個用戶端平台上之各可見區域亦具有位置資料,該區域調度器服務經組態以提供用於連接至正確區域合成服務之連接資訊以擷取該視差渲染資料流,並且其中該全域數位環境包含體育場。
- 如請求項11之系統,其中在該區域渲染伺服器處接收的該資料流包括關於以下中之一或多者的資訊:數位環境之構形及/或形態、在該數位環境內的數位物件之位置及/或移動資訊,或在該數位環境內的化身之位置及/或移動資訊。
- 一種上面體現有指令之非暫時性電腦可讀取儲存媒體,該指令由一或多個處理器實行以執行用於渲染數位環境之方法,該方法包含: 在區域渲染伺服器處接收資料流; 藉由該區域渲染伺服器來至少部分地基於所接收之該資料流而渲染全域數位環境,其中該全域數位環境包含體育場,並且其中該全域環境包含動畫化身及/或動態物件; 至少部分地基於所接收之該資料流而產生視差渲染資料流; 藉由該區域渲染伺服器來渲染用於該全域數位環境之音訊流; 在合成伺服器處接收該視差渲染資料流及該音訊流; 藉由該合成伺服器來將所接收之該視差渲染資料流及該音訊流組合成新視差渲染資料流; 向一或多個用戶端平台提供該新視差渲染資料流之多個版本; 藉由該一或多個用戶端平台來至少部分地基於該新視差渲染資料流而渲染局部數位環境;以及 使得經由該一或多個用戶端平台之輸出來顯示該局部數位環境。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/586,576 | 2022-01-27 | ||
US17/586,576 US20230237731A1 (en) | 2022-01-27 | 2022-01-27 | Scalable parallax system for rendering distant avatars, environments, and dynamic objects |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202345102A true TW202345102A (zh) | 2023-11-16 |
Family
ID=85462177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111146191A TW202345102A (zh) | 2022-01-27 | 2022-12-01 | 用於渲染遠距化身、環境和動態物件的可擴展視差系統 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230237731A1 (zh) |
TW (1) | TW202345102A (zh) |
WO (1) | WO2023147044A1 (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6329986B1 (en) * | 1998-02-21 | 2001-12-11 | U.S. Philips Corporation | Priority-based virtual environment |
US8988421B2 (en) * | 2008-12-02 | 2015-03-24 | International Business Machines Corporation | Rendering avatar details |
FR2948480B1 (fr) * | 2009-07-24 | 2012-03-09 | Alcatel Lucent | Procede de traitement d'image, procede d'adaptation de l'affichage d'avatars, processeur de traitement d'image, serveur de monde virtuel et terminal de communication |
KR20110053160A (ko) * | 2009-11-13 | 2011-05-19 | 삼성전자주식회사 | 비디오 부가 재생 정보의 3차원 깊이감 조절을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치 |
US8949717B2 (en) * | 2010-10-18 | 2015-02-03 | Yehonatan Rafael Maor | Method of controlling avatars |
EP3219098B1 (en) * | 2014-11-14 | 2021-10-06 | PCMS Holdings, Inc. | System and method for 3d telepresence |
US20170006219A1 (en) * | 2015-06-30 | 2017-01-05 | Gopro, Inc. | Image stitching in a multi-camera array |
GB2547689A (en) * | 2016-02-26 | 2017-08-30 | Nokia Technologies Oy | A multi-camera device and a calibration method |
US20210006769A1 (en) * | 2018-04-19 | 2021-01-07 | Sony Corporation | Reception device, reception method, transmission device, and transmission method |
-
2022
- 2022-01-27 US US17/586,576 patent/US20230237731A1/en not_active Abandoned
- 2022-12-01 TW TW111146191A patent/TW202345102A/zh unknown
-
2023
- 2023-01-27 WO PCT/US2023/011729 patent/WO2023147044A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
US20230237731A1 (en) | 2023-07-27 |
WO2023147044A1 (en) | 2023-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11372655B2 (en) | Computer-generated reality platform for generating computer-generated reality environments | |
US20230092103A1 (en) | Content linking for artificial reality environments | |
US11831814B2 (en) | Parallel video call and artificial reality spaces | |
US12020667B2 (en) | Systems, methods, and media for displaying interactive augmented reality presentations | |
US11636655B2 (en) | Artificial reality environment with glints displayed by an extra reality device | |
US20230260233A1 (en) | Coordination of Interactions of Virtual Objects | |
US11928308B2 (en) | Augment orchestration in an artificial reality environment | |
TW202336565A (zh) | 使用機器學習模糊在資料串流中的物件 | |
US20230353616A1 (en) | Communication Sessions Between Devices Using Customizable Interaction Environments And Physical Location Determination | |
US20230343034A1 (en) | Facilitating creation of objects for incorporation into augmented/virtual reality environments | |
US20230419618A1 (en) | Virtual Personal Interface for Control and Travel Between Virtual Worlds | |
TW202345102A (zh) | 用於渲染遠距化身、環境和動態物件的可擴展視差系統 | |
US20230072623A1 (en) | Artificial Reality Device Capture Control and Sharing | |
US20230124737A1 (en) | Metrics for tracking engagement with content in a three-dimensional space | |
US11921970B1 (en) | Coordinating virtual interactions with a mini-map | |
US20230298250A1 (en) | Stereoscopic features in virtual reality | |
US11941769B1 (en) | Auto-generating an artificial reality environment based on access to personal user content | |
US11743215B1 (en) | Artificial reality messaging with destination selection | |
EP4396656A1 (en) | Artificial reality device capture control and sharing | |
EP4354262A1 (en) | Pre-scanning and indexing nearby objects during load | |
US20240070957A1 (en) | VR Venue Separate Spaces | |
US20240073489A1 (en) | Mesh Network for Propagating Multi-dimensional World State Data | |
US20230156314A1 (en) | Gaze-based camera auto-capture | |
EP4397006A1 (en) | Parallel video call and artificial reality spaces | |
WO2023249918A1 (en) | Virtual personal interface for control and travel between virtual worlds |