TWI728269B - 虛擬實境影像提供方法及利用其的電腦程式產品 - Google Patents

虛擬實境影像提供方法及利用其的電腦程式產品 Download PDF

Info

Publication number
TWI728269B
TWI728269B TW107134456A TW107134456A TWI728269B TW I728269 B TWI728269 B TW I728269B TW 107134456 A TW107134456 A TW 107134456A TW 107134456 A TW107134456 A TW 107134456A TW I728269 B TWI728269 B TW I728269B
Authority
TW
Taiwan
Prior art keywords
virtual reality
data
layer
image frame
image
Prior art date
Application number
TW107134456A
Other languages
English (en)
Other versions
TW201916681A (zh
Inventor
金泰郁
李賀冉
丁德榮
Original Assignee
南韓商科理特股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商科理特股份有限公司 filed Critical 南韓商科理特股份有限公司
Publication of TW201916681A publication Critical patent/TW201916681A/zh
Application granted granted Critical
Publication of TWI728269B publication Critical patent/TWI728269B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明一個實施例的虛擬實境影像提供方法及利用其的電腦程式產品可以包括：從伺服器接收虛擬實境影像數據並分配給第一圖層的步驟；生成顯示至少一個控制器的控制訊息的第二圖層的步驟；接收所述至少一個控制器的動作訊息，基於所述動作訊息，決定所述虛擬實境影像數據內既定對象與所述控制訊息的衝突地點的步驟；及將包括基於所述衝突地點的法線數據而變形的所述控制訊息在內的結合數據分配給所述第二圖層的步驟；及合成所述第一圖層及所述第二圖層而生成最終影像幀的步驟。

Description

虛擬實境影像提供方法及利用其的電腦程式產品
本發明涉及虛擬實境影像提供方法及利用其的電腦程式產品，更詳細而言，涉及一種與虛擬實境內容內的對象的形狀及表面相符地合成影像交提供的方法或程式。
所謂虛擬實境(VR；Virtual Reality)，作為藉由電腦而生成的虛擬的空間，是藉由三維視覺效果賦予現實性的空間。體現虛擬實境所需的技術作為即時處理使用者的輸入而能夠獲得如同在現實世界中一樣的感覺的技術，是超越多媒體的新一代技術。
虛擬實境環境藉由向使用者提供身臨其境的沉浸感，不僅能夠模擬實際存在的物體，而且使得可以體驗實際不存在的物體或狀況。這種虛擬實境環境可以應用於多種多樣的領域。例如，在從汽車設計或模擬實驗等工程學領域到醫療領域、文化內容領域，實際上正在多樣的領域中使用。
這種虛擬實境(VR)根據看待的觀點，正在與諸如虛擬環境(Virtual Environment)、虛擬臨場(Virtual Presence)、人工世界(Artificial World)、虛擬世界(Virtual World)、網路空間(Cyber space)的術語混用，但一般可以指，向使用者提供電腦創造的與真空世界類似的三維虛擬世界，提供能夠與該虛擬世界即時自由操作的輸入裝置和與使用者的操作對應地提供實 際性感覺的感覺反饋(Sensory feedback)裝置，從而使得可以進行人工體驗和經驗的技術。
另一方面，最近，將移動終端結合於VR裝置，移動終端執行生成VR影像所需的訊息處理後傳遞給VR裝置的方式正在登場。這雖然是由作為執行訊息處理的電腦的移動終端與進行播放的VR裝置進行有線連接，但可以結合於移動終端VR裝置，因而可以解決因電纜而發生的問題。但是，與PC相比，移動終端存在難以驅動高配置的程式，難以驅動高配置的VR遊戲或難以播放高解析度的VR影像的問題。
本發明根據一個實施例，可以將生成虛擬實境影像的運算裝置與生成需要在虛擬實境影像中表現的內容的裝置分離，無線提供高配置的虛擬實境影像。
另外，發明根據一個實施例，可以將需要在虛擬實境影像內存在的對象體的表面顯示的內容變形為最佳形態並提供給使用者。
本發明要解決的課題不限於以上提及的課題，未提及的其他課題是所屬技術領域具有通常知識者可以從以下記載而明確理解的。
本發明一個實施例的虛擬實境影像提供方法可以包括：從伺服器接收虛擬實境影像數據並分配給第一圖層的步驟；生成顯示至少一個控制器的控制訊息的第二圖層的步驟；接收所述至少一個控制器的動作訊息，基於所述 動作訊息，決定所述虛擬實境影像數據內既定對象與所述控制訊息的衝突地點的步驟；及將包括考慮所述衝突地點的法線數據而變形的所述控制訊息在內的結合數據分配給所述第二圖層的步驟；及合成所述第一圖層及所述第二圖層而生成最終影像幀的步驟。
根據另一實施例，所述接收虛擬實境數據並分配給第一圖層的步驟可以包括：將所述虛擬實境影像數據分割成多個覆蓋項目並按各個獨立的通道單位接收的步驟；及結合藉由所述獨立的通道而接收的多個覆蓋項目並分配給多個第一圖層的步驟。
根據又一實施例，所述決定衝突地點的步驟可以包括：藉由第一通道，接收包括決定所述衝突地點所需的對象在內的覆蓋項目的步驟；利用所述接收的覆蓋項目，在所述客戶端中決定衝突地點的步驟；及決定所述衝突地點的法線向量的步驟。
根據又一實施例，虛擬實境影像提供方法的所述決定衝突地點的步驟可以包括：將所述控制器的動作訊息傳輸到伺服器，請求所述衝突地點及法線數據的步驟；及所述伺服器接收已決定的所述虛擬實境影像數據內既定對象與所述控制訊息的衝突地點及法線數據的步驟。
此外，還可以提供一種電腦可讀取記錄媒體，記錄體現本發明所需的不同方法、不同系統及實施所述方法所需的電腦程式。
根據如上所述的本發明，可以具有如下多樣的效果。
根據一個實施例，可以彌補因無線傳輸虛擬實境影像幀而導致的特定時間點影像幀遺漏，使用者即使在未接收特定的影像幀的情況下，也可以虛擬實境空間的整體性時間點不錯亂地自然地播放影像。
另外，根據一個實施例，只提取全體影像中的一幀並傳輸，或只生成符合播放方向數據的幀並傳輸，從而即使在以無線方式提供虛擬實境影像內容時，也可以提供高解析度的影像或減小通訊流量。
另外，根據一個實施例，可以即刻對使用者的移動作出反應，在虛擬實境影像的對象表面提供優化的即時影像。因此，可以提高虛擬實境影像的現實感和沉浸感。
另外，根據一個實施例，即使因網路上的延遲而發生幀遺漏時或在執行虛擬實境影像補正時，也可以彌補影像幀的遺漏，可以防止諸如十字瞄準線(crosshair)的影像顯示於並非使用者實際指示地點的其他地點。
本發明的效果不限於以上提及的效果，未提及的其他效果是所屬技術領域具有通常知識者可以從以下記載明確理解的。
100:伺服器
200:客戶端
300:第一圖層
301:控制器的影像
302:控制訊息
400:第二圖層
401:虛擬實境影像
402:虛擬實境影像
410:圖形用戶界面
420:控制訊息
430:指針影像
第1圖是一個實施例的虛擬實境影像提供系統的構成圖。
第2圖是一個實施例的虛擬實境影像提供方法的順序圖。
第3圖是顯示一個實施例的在虛擬實境影像中顯示控制訊息的一個示例的圖。
第4圖及第5圖是顯示一個實施例的利用法線向量的一個示例的圖。
第6圖是根據一個實施例，圖示包括第一圖層及第二圖層的虛擬實境影像播放方法的圖。
第7圖是關於本發明一個實施例的虛擬實境影像傳輸方法的順序圖。
第8圖是關於本發明一個實施例的以最初全體影像為基礎生成的虛擬實境影像幀的傳輸方法的順序圖。
第9圖是關於本發明一個實施例的客戶端的虛擬實境影像播放方法的順序圖。
第10圖是顯示當第二最終影像幀遺漏且不提供第二替代影像幀時，藉由客戶端向使用者提供的影像的變化的示例圖。
第11圖是根據本發明的一個實施例，客戶端以第一時間點的影像方向數據和第二時間點的播放方向數據的差異值為基礎而生成的第二替代影像幀的示例圖。
第12圖是顯示當客戶端移動時，因最終影像幀無遺漏幀地依次提供而導致的物體位置變化的示例圖。
第13圖是根據本發明的一個實施例，提供反映客戶端的移動程度並在第一最終影像幀補正各個物體位置的第二替代影像幀的示例圖。
下面參照圖式，詳細說明本發明較佳實施例。如果參照後面與圖式一同詳細敘述的實施例，本發明的優點、特徵以及達成其的方法將會明確。但是，本發明並非限定於以下公開的實施例，可以以互不相同的多樣形態體現， 這些實施例只提供用於使本發明的公開更完整，向本發明所屬技術領域具有通常知識者完整地告知發明的範疇，本發明只由申請專利範圍的範疇所定義。在整篇說明書中，相同元件符號指稱相同構成要素。
如果沒有不同的定義，本說明書中使用的所有術語(包括技術及科學術語)可以用作本發明所屬技術領域具有通常知識者可以共同理解的意義。另外，一般使用的字典定義的術語，只要未明確地特別定義，不得過於或過度地解釋。
本說明書中使用的術語用於說明實施例，並非要限制本發明。在本說明書中，只要在語句中未特別提及，單數型也包括複數型。說明書中使用的“包括(comprises)”及/或“包括的(comprising)”，不排除在提及的構成要素之外存在或添加一個以上的其他構成要素。
下面參照圖式，對本發明一個實施例的虛擬實境影像接收發送系統進行說明。
第1圖是本發明一個實施例的虛擬實境影像接收發送系統的構成圖。
本發明一個實施例的虛擬實境影像接收發送系統包括伺服器100及客戶端200。
伺服器100是生成虛擬實境(Virtual Reality；VR)影像的電腦。伺服器100在內部執行訊息處理，執行生成將向客戶端200提供的VR影像的功能。例如，當VR影像是因特定遊戲驅動產生的影像時，伺服器100可以驅動遊戲程式，生成適當的影像數據，藉由有線通訊或無線通訊而傳輸給客戶端200。
另外，如果從伺服器100接收影像數據，則客戶端200可以執行需在虛擬實境影像中顯示的訊息顯示，並在畫面中進行顯示。此時，在顯示訊息時，可以包括控制器及包括控制器中心指針的用戶圖形界面。
另外，可以決定虛擬實境影像中包含的對象和基於上面指針指向方向的衝突地點，以便在使用者的視線或者控制器或HMD中心指針指向的位置，準確地表現控制訊息(例如，十字瞄準線)。衝突地點的決定可以在伺服器100或客戶端200中執行。客戶端200可以生成由決定的衝突地點及基於衝突地點的法線向量而變形的控制訊息結合的最終影像幀。具體而言，可以計算用於代表“使用者視線”、“控制器的中心指針”等的結合數據和虛擬實境影像的衝突地點，以衝突地點的法線向量為基礎，將結合數據變形為最佳形態，將最終渲染的最終虛擬實境影像幀提供給使用者，在對第2圖的說明中詳細敘述。
另外，伺服器100可以執行將影像方向數據作為元訊息而結合於生成的VR影像的功能。所述影像方向數據可以是借助於伺服器100而生成的影像幀的三維空間上的方向相關數據。
另外，伺服器100可以從客戶端200接收播放方向數據。伺服器100可以將要結合於影像幀的影像方向數據，決定為接收的播放方向數據，生成與播放方向數據(或影像方向數據)相應的VR影像幀。
客戶端200是接收與虛擬實境影像相應的影像數據並播放的裝置。即，客戶端200執行播放從伺服器100接收的VR影像數據並提供給佩戴者的功能。客戶端200可以相當於VR裝置本身，也可以相當於移動終端結合於VR裝置的形態。例如，當VR裝置與移動終端結合而構成客戶端200時，移動終端可以 從伺服器100接收生成的影像數據，藉由連接其的有線電纜或近距離無線通訊，向VR裝置傳遞影像幀並顯示於畫面中。
VR裝置可以由多樣形態構成。例如，VR裝置可以在一個顯示部中顯示包含適合雙眼的各個影像在內的影像幀，借助於各眼球方向的魚眼透鏡而生成為三維影像。另外，在另一實施例中，VR裝置可以具備提供符合各個眼球的影像的2個顯示部。
另外，客戶端200可以執行測量播放方向數據的作用。所述播放方向數據可以是應在特定時間點、在所述客戶端200的畫面上播放的影像幀的方向相關數據。即，佩戴者可以將客戶端200佩戴於眼球，測量觀察的方向，將其決定為播放方向數據。例如，播放方向數據可以包括高低角數據、方位角數據或傾斜度數據。客戶端200具備一個以上的感測器(例如，陀螺儀感測器、加速度感測器、地磁感測器等)，測量佩戴客戶端200的使用者的頭部(或頸部)移動，可以包括高低角數據、方位角數據、傾斜度數據等。另外，客戶端200可以執行將測量的播放方向數據藉由無線通訊傳輸給伺服器100的功能。
所述高低角數據可以意味著水平面(例如，地平線)與客戶端200的視線方向構成的角。即，所述高低角數據可以是隨著使用者頸部上下移動而與水平面構成的角。
所述方位角數據作為代表方位的角度，可以意味著在水平面上以特定的基準方向為基準而旋轉的角度。即，所述方位角數據可以根據以使用者的軀體(或頸部)為軸進行旋轉的頸部移動而變更。
所述傾斜度數據可以意味著頸部以使用者的正面方向為軸進行旋轉的角。即，所述傾斜度數據可以根據使用者頸部左右移動或使用者身體的整體性旋轉等而變更。
另外，客戶端200也可以測量佩戴者的移動。例如，當執行虛擬模擬訓練或遊戲時，使用者佩戴客戶端200進行移動，因而客戶端200可以以測量的使用者的移動程度為基礎，向伺服器100請求與移動的位置相符的影像幀。另外，客戶端200如後所述，當未接收使用者移動的特定時間點的影像幀時，可以反映影像幀傳輸週期之間的使用者移動程度並執行影像幀的補正。
另外，客戶端200在藉由無線通訊而接收影像幀時，如果特定的影像幀未接收，則可以進行補正而使得以前接收的影像幀符合使用者的移動，並顯示於畫面上。即，客戶端200在第二時間點的最終影像幀未接收時，可以算出第一時間點的影像方向數據與所述第二時間點的播放方向數據的差異值，以所述差異值為基礎，補正第一時間點的最終影像幀。所述第二時間點可以是從所述第一時間點經過所述最終影像幀的傳輸週期的時間點。
伺服器100與客戶端200可以藉由無線通訊連接。作為無線通訊方式，可以利用Wi-Fi方式、蜂窩移動通訊等。例如，當伺服器100是使用者所在的特定空間內(例如，家裡、虛擬實境體驗空間內等)配置的電腦時，可以藉由無線AP(例如，Wi-Fi AP)而執行客戶端200與伺服器100之間的通訊。另外，例如，當伺服器100是外部遠程配置的電腦時，遠程伺服器100可以藉由蜂窩移動通訊或LAN通訊等，向客戶端200傳輸生成的影像幀。客戶端200可以藉由蜂窩移動通訊而從基站接收影像幀，或藉由WLAN而從無線AP接收影像幀。由此， 使用者如果持有可無線通訊的客戶端200，則即使不在靠近伺服器100電腦的位置，也可以接收從伺服器100提供的VR影像並利用。
下面參照圖式，對本發明一個實施例的虛擬實境影像提供方法及程式進行說明。
第2圖是關於本發明一個實施例的虛擬實境影像傳輸方法的順序圖。
在步驟S10中，客戶端200從伺服器100接收虛擬實境影像數據並分配給第一圖層。
另外，客戶端200可以將虛擬實境影像數據分割成多個覆蓋項目，並按各個獨立的通道單位接收。另外，之後可以對藉由獨立的通道而接收的多個覆蓋項目進行結合，分配給多個第一圖層。
因此，伺服器100不需要將各覆蓋項目作為一個整體影像進行傳輸，可以作為多個影像進行傳輸。(例如，可以獨立地向右側上端傳輸能量條，向下端傳輸道具目錄等)
可以支持各覆蓋項目的獨立的壓縮方式。另外，各覆蓋項目為了在客戶端200的畫面中提供，需要具有(x,y)坐標，如果各覆蓋項目還具有z-order(深度訊息)，則可以將覆蓋項目分配到另一圖層。因此，伺服器100在每當覆蓋項目需要更新時，可以向客戶端200只傳輸相應部分。如果利用這種方式，如後所述，即使在客戶端200中，也可以只接收特定範圍內數據並即時實施衝突地點的決定。
在步驟S20中，客戶端200生成對至少一個控制器的控制訊息進行顯示的第二圖層。第二圖層包括至少一個圖形用戶界面(GUI：Graphic User Interface)。控制器的控制訊息可以包括控制器的虛擬實境影像中的影像數據、代表控制器指示方向的影像、代表控制器與虛擬實境影像內對象相衝突的地點的影像(例如，十字瞄準線)等。
在一個實施例的虛擬實境影像提供方法中，為了顯示因控制器的控制而導致的移動，可以顯示諸如鼠標光標或十字瞄準線的控制訊息，為了使網路延遲最小化，以便內容即刻對使用者的移動作出反應，控制訊息被分配給獨立的圖層。
另一方面，為了將這種控制訊息一同顯示於虛擬實境影像，需要反映與虛擬實境影像內對象相互作用的結果。
例如，如果參照第3圖，為了準確顯示出第一圖層300內控制器現在指向什麼，可以在控制器的影像301及控制器指向的地點緊上方顯示控制訊息(302，指針)。當然，並非限定於這種構成，當在視線中央顯示指針影像時，也可以給使用者更舒適的沉浸感。另一方面，由於一個實施例的指針將顯示的內容對象存在於伺服器100上，因而為了將其藉由網路加以體現，控制器及指針可以直接在客戶端200分配給獨立的圖層，且可以使得由伺服器100或客戶端200決定從伺服器傳輸的影像數據與指針衝突的地點並進行反映。
如果再次參照第2圖，在步驟S30中，至少一個控制器的動作訊息被客戶端200接收，基於動作訊息，決定虛擬實境影像數據內既定對象與控制訊息的衝突地點。其中，控制器可以包括鼠標、操縱杆、HMD(Head Mounted Device，頭戴式設備)等控制裝置。在控制器的動作訊息中，可以包括控制器的位置訊息及關於控制器指向方向的訊息。
一個實施例的衝突地點及法線向量可以由客戶端200決定。
伺服器100藉由第一通道，將包括決定衝突地點所需的對象在內的覆蓋項目傳輸給客戶端200。客戶端200可以利用接收的覆蓋項目，算出衝突地點。另外，客戶端200可以決定衝突地點的法線向量。其中，伺服器100只將計算衝突地點所需的覆蓋項目藉由獨立的通道傳輸給客戶端200，從而即使在客戶端200中，也可以利用比較低的資源來計算衝突地點。
另一實施例的衝突地點及法線向量可以由伺服器100決定並傳輸給客戶端200。
客戶端200可以將控制器的動作訊息傳輸給伺服器100，伺服器100可以基於接收的控制器的動作訊息，決定與虛擬實境影像內對象衝突的地點及法線向量。伺服器100將衝突計算中使用的控制器的動作訊息、控制器指向方向線上與對象衝突的位置及衝突位置上關於衝突對象的法線向量訊息傳輸給客戶端200。
又一實施例的伺服器100可以將衝突計算中使用的控制器位置訊息、控制器指向方向線上與對象衝突的位置訊息及關於衝突位置上衝突對象的法線向量傳輸給客戶端200。作為直接反映使用者移動的要素，控制器及指針移動的延遲極大地損害沉浸感，但作為表現對使用者移動的間接性反應的要素，控制器與指針間的距離及指針方向的延遲，不成為對沉浸感造成很大妨礙的要素，因而即使在伺服器中進行衝突計算，也可以為使用者保持沉浸感。
在步驟S40中，客戶端200可以將包括基於衝突地點的法線向量而變形的控制訊息在內的至少一個結合數據分配給第二圖層。
在步驟S50中，客戶端200可以合成第一圖層及第二圖層而生成最終影像幀。
第4圖及第5圖說明了為顯示控制訊息而需要法線向量的理由。
如果參照第4圖，圖示了虛擬實境影像401不考慮法線向量而在對象410上顯示控制訊息420(指針影像)的情形。另外，如果參照第5圖，圖示了在虛擬實境影像402中考慮法線向量而在對象上顯示指針影像430的一個示例。即，如果利用法線向量，則可以掌握在虛擬實境影像內將結合影像的對象的配置狀態(傾斜或躺倒的狀態)。另一方面，在第5圖中，雖然以矩形形態的對象為例，但當對象具有曲面時，可以追加考慮掌握曲面形態所需的訊息。(例如，可以從伺服器接收一個區域內的多個位置數據和各地點的法線數據。)
第6圖是根據一個實施例，圖示包括第一圖層及第二圖層的虛擬實境影像播放方法的圖。
如果參照第6圖，圖示了顯示從伺服器接收的影像幀的第一圖層300及顯示至少一個圖形用戶界面410及控制訊息420的第二圖層400。
在第一圖層300中顯示的影像幀在從伺服器100傳輸影像幀的每個傳輸週期發生變更。
在第二圖層400中顯示的至少一個圖形用戶界面410及控制訊息420，用於控制客戶端200或與客戶端200中顯示的影像對應的應用程式，或顯示與在客戶端200中顯示的影像對應的訊息。
例如，至少一個圖形用戶界面410及控制訊息420可以包括用於控制客戶端200中顯示的影像的播放或顯示與影像對應的訊息所需的至少一個用戶界面。
作為另一示例，至少一個圖形用戶界面410及控制訊息420可以包括用於顯示客戶端200中顯示的遊戲的操作或與遊戲對應的訊息所需的至少一個用戶界面。
當客戶端200隨著使用者的移動而移動時，在第一圖層300中顯示的影像幀變更為與根據客戶端200的位置及方向而決定的播放方向數據及影像方向數據對應的影像幀。但是，第二圖層400中顯示的圖形用戶界面的位置不變更，可以與使用者的視線一同移動。
同樣地，根據公開的實施例，在第一圖層300中顯示第一時間點的影像幀，從第一時間點起，當未接收到作為經過影像幀傳輸週期的時間點的第二時間點影像幀時，客戶端200算出第一時間點的影像方向數據與第二時間點的播放方向數據的差異，以差異值為基礎，補正第一影像幀而生成第二替代影像幀。
當在一個圖層中，一同顯示影像幀和圖形用戶界面時，根據所述實施例，當補正第一影像幀時，在第一影像幀中顯示的圖形用戶界面也一同移動或旋轉，會使使用者感到不便。
因此，根據第6圖所示的實施例，將影像幀分配給第一圖層300，將圖形用戶界面410及控制訊息420分配給第二圖層400，從而使得消除影像幀補正導致的不便。
具體而言，客戶端200將生成的第二替代影像幀分配給第一圖層300進行顯示。
相反，第二圖層400是在客戶端200中生成的，不發生延遲或遺漏。另外，在第二圖層400中顯示的圖形用戶界面410及控制訊息420的位置，在幀內不變更，因而不需要對在第二圖層400中顯示的幀進行補正。
因此，客戶端200對包括完成補正的第二替代影像幀在內的第一圖層300和未進行補正的第二圖層400進行合成，生成最終影像幀，並顯示生成的最終影像幀。
客戶端200既可以從伺服器100接收用於生成在第二圖層400中顯示的圖形用戶界面410及控制訊息420所需的訊息，也可以直接獲得。
即使在從伺服器100接收訊息而生成圖形用戶界面410及控制訊息420的情況下，為了生成圖形用戶界面410及控制訊息420而需要的訊息的量，與在第一圖層300中顯示的影像幀中包含訊息的量相比也非常小。另外，圖形用戶界面410及控制訊息420不同於在第一圖層300中顯示的影像幀，很多情況下不需要隨著客戶端200的移動或時間流逝而即刻變化，因而將第一圖層300和第二圖層400分離並處理，從而具有的效果是，可以容易地補正影像，在公開實施例的影像幀的補正過程中，還可以防止圖形用戶界面一同補正而給使用者帶來不便的現象。
第7圖是關於一個實施例的虛擬實境影像傳輸方法的順序圖。
如果參照第7圖，本發明一個實施例的虛擬實境影像傳輸方法包括：伺服器100生成最初影像幀的步驟S120；判斷與所述最初影像幀相應的影像方向數據的步驟S140；將所述影像方向數據作為元訊息而結合於所述最初影像幀，生成最終影像幀的步驟S160；及將所述最終影像幀藉由無線通訊傳輸給客戶端200的步驟S180。
伺服器100生成最初影像幀S120。伺服器100可以驅動內部安裝的程式而生成最初影像幀。所述最初影像幀意味著，傳輸到客戶端200後，未接收特定影像幀時執行彌補所需的訊息處理未執行的影像幀。例如，伺服器100可以驅動遊戲程式，生成遊戲影像幀。
伺服器100判斷與所述最初影像幀相應的影像方向數據S140。所述影像方向數據是借助於所述伺服器100而生成的影像幀的三維空間上的方向相關數據。在借助於伺服器100而生成影像前，可以決定影像方向數據(例如，根據請求提供特定方向影像而確定將生成的影像方向後，生成對應的最初影像幀)，也可以在生成影像幀後，決定對應的影像方向數據。
伺服器100將影像方向數據作為元訊息而結合於最初影像幀，生成最終影像幀S160。然後，伺服器100將最終影像幀藉由無線通訊傳輸給客戶端200、S180。即，伺服器100在客戶端200判斷了與影像幀對應的方向或未接收下個傳輸時間點(即，第二時間點)的影像幀的情況下，可以將影像方向數據結合於最初影像幀的最終影像幀傳輸給客戶端200，以便能夠藉由之前時間點(即，第一時間點)影像幀的補正而進行彌補。
客戶端200在因通訊狀態不良等而未從伺服器100接收第二時間點的最終影像幀時，可以算出第一時間點的影像方向數據與所述第二時間點的播放方向數據的差異值，以所述差異值為基礎，補正所述第一時間點的最終影像幀。所述第二時間點可以是從所述第一時間點起，經過所述最終影像幀的傳輸週期的時間點。
另外，可以還包括從所述客戶端200接收播放方向數據的步驟S110。例如，如果佩戴者佩戴客戶端200進行移動，則客戶端200可以獲得應在 特定時間點藉由畫面向使用者提供的影像幀方向的相關數據(例如，使用者頸部移動的相關數據)並傳輸給伺服器100。將借助於客戶端200而測量的數據稱為播放方向數據，伺服器100可以在影像方向數據判斷步驟S120中，以從客戶端200接收的播放方向數據為基礎，決定影像方向數據。即，伺服器100可以將與從客戶端200接收的播放方向數據一致的方向決定為將生成影像的方向。因此，伺服器100可以將從客戶端200接收的播放方向數據設置為影像方向數據S120，生成與設置的影像方向數據相符合的最初影像幀S100。
另外，所述最終影像幀生成步驟S160可以還包括將所述最終影像幀變換成各個眼球用影像幀的步驟。為了提供三維影像，左眼用影像和右眼用影像會需要有差異。因此，伺服器100可以把將傳輸給客戶端200的最終影像幀分別生成為左眼用最終影像幀及右眼用最終影像幀。
另外，所述最終影像幀生成步驟S160可以還包括將所述最終影像幀變換成符合所述客戶端200畫面的大小的步驟。即，伺服器100可以符合客戶端200畫面大小地變換影像幀的大小，以便客戶端200可以接收最終影像幀並直接播放。由此，可以使訊息處理所需的配置比伺服器100低的客戶端200在變換得符合畫面大小的過程中可能發生的時間延遲(delay)實現最小化。
第8圖是關於本發明一個實施例的以最初全體影像為基礎生成的虛擬實境影像幀的傳輸方法的順序圖。
本發明另一實施例的虛擬實境影像傳輸方法包括：伺服器100生成特定時間點的最初全體影像的步驟S100；從所述客戶端200接收播放方向數據的步驟S110；從所述最初全體影像提取與所述播放方向數據相應的最初影像幀的步驟S121；將所述播放方向數據決定為影像方向數據的步驟S141；將所述影 像方向數據作為元訊息結合於所述最初影像幀而生成最終影像幀的步驟S160；及將所述最終影像幀藉由無線通訊傳輸給客戶端200的步驟S180。下面，省略對已說明的步驟的具體說明。
伺服器100獲得特定時間點的最初全體影像S100。所述最初全體影像可以意味著包括使用者視線指向的所有方向的影像幀在內的影像。即，伺服器100可以驅動內部特定的程式而生成特定時間點的全體影像，可以在已經生成的既定時間的全體影像(例如，借助於360度照相機而在既定時間期間拍攝的影像)中提取特定時間點的全體影像。
伺服器100從客戶端200接收播放方向數據S110。
伺服器100從所述最初全體影像中提取與所述播放方向數據相應的最初影像幀S121。即，伺服器100藉由從客戶端200接收的播放方向數據，判斷影像幀請求的方向，可以從最初全體影像中提取與所述播放方向數據相應的最初影像幀。
伺服器100將所述播放方向數據決定為影像方向數據S141。即，由於提取的最初影像幀是與所述播放方向數據對應的方向的影像幀，因而伺服器100可以將從客戶端200接收的播放方向數據設置為所述提取的最初影像幀的影像方向數據。
伺服器100將所述影像方向數據作為元訊息結合於所述最初影像幀而生成最終影像幀S160。伺服器100將所述最終影像幀藉由無線通訊傳輸給客戶端200、S180。
第9圖是關於本發明一個實施例的客戶端200的虛擬實境影像播放方法的順序圖。
本發明又一實施例的虛擬實境影像播放方法包括：客戶端200從伺服器100接收與第一時間點相應的第一最終影像幀的步驟S200；如果未接收與第二時間點相應的第二最終影像幀，則比較與所述第一時間點相應的影像方向數據和與所述第二時間點相應的播放方向數據，算出差異值的步驟S220；按所述算出的差異值，補正所述第一最終影像幀，生成替代未接收的所述第二最終影像幀的第二替代影像幀的步驟S240；及將所述第二替代影像幀顯示於畫面的步驟S260。
客戶端200從伺服器100接收與第一時間點相應的第一最終影像幀S200。即，客戶端200可以藉由無線通訊而從伺服器100接收作為元訊息而結合有影像方向數據的第一最終影像幀。所述影像方向數據可以是借助於所述伺服器100而獲得的影像幀的三維空間上的方向相關數據，所述最終影像幀可以是借助於所述伺服器100而包括所述影像方向數據作為元訊息的影像幀。
客戶端200如果未接收與第二時間點相應的第二最終影像幀，則比較與所述第一時間點相應的影像方向數據和與所述第二時間點相應的播放方向數據，算出差異值S220。所述第二時間點可以是從所述第一時間點起，經過所述最終影像幀的傳輸週期的時間點。客戶端200在接收與第一時間點對應的第一最終影像幀並顯示後，經過最終影像幀的傳輸週期後，在第二時間點可能由於通信狀態不良等理由而無法接收第二最終影像幀。此時，使用者替代第二時間點所期待的第二最終影像幀而繼續顯示第一最終影像幀，因而與第二時間點的播放方向數據同第一最終影像幀的影像方向數據之間的差異相應，會發生物體晃動的現象。即，在第二時間點，繼續顯示與第一時間點相應的第一最終影像幀後，在第三時間點(即，從第二時間點起，經過最終影像幀的傳輸週期的 時間點)如果接收新的最終影像幀(即，第三最終影像幀)，則如第10圖所示，從第一最終影像幀直接變更為第三最終影像幀，越過與第二時間點相應的物體位置，從第一時間點的物體位置移動到第三時間點的物體位置，因而使用者會感覺到如同物體不自然地移動或晃動的現象。如果這種現象繼續發生，則使用者會感受到眩暈現象。為了解決這種問題，客戶端200需要生成將替代遺漏的第二最終影像幀的影像幀。因此，客戶端200可以修訂在第一時間點接收的第一最終影像幀，生成為第二時間點的影像幀(即，第二替代影像幀)。
客戶端200為了將第一最終影像幀變換成符合第二時間點的影像幀，需要決定補正水平。為此，客戶端200可以比較與所述第一時間點相應的影像方向數據和與所述第二時間點相應的播放方向數據，算出差異值。播放方向數據可以是應在特定時間點在所述客戶端200畫面上播放的影像幀的方向相關數據。播放方向數據可以藉由VR裝置內具備的感測器(例如，陀螺儀感測器、地磁感測器、加速度感測器等)測量。例如，客戶端200在從伺服器100接收包括與播放方向數據對應的影像方向數據在內的影像幀並提供給使用者時，客戶端200可以計算與影像幀應提供的方向相應的第二播放方向數據同與第一最終影像幀方向相應的第一影像方向數據的差異，算出為應對第一最終影像幀進行補正的值。
所述播放方向數據及所述影像方向數據可以包括高低角數據及方位角數據。客戶端200可以算出第二時間點的播放方向數據與第一時間點的影像方向數據之間的高低角及方位角差異。
另外，所述播放方向數據及所述影像方向數據可以包括作為以佩戴者正面方向為軸的旋轉角度的傾斜度數據。客戶端200可以算出第二時間點的播放方向數據與第一時間點的影像方向數據之間的傾斜度數據差異。
客戶端200按照所述算出的差異值，補正所述第一最終影像幀，生成替代未接收的所述第二最終影像幀的第二替代影像幀S240。作為一個實施例，客戶端200可以以所述差異值為基礎，移動所述第一最終影像幀。即，客戶端200可以按照高低角的差異值，使第一最終影像幀沿豎直方向移動，可以按照方位角的差異值，使第一最終影像幀沿水平方向移動。另外，客戶端200可以按照傾斜度數據的差異值，旋轉第一最終影像幀。如果以使用者的正面方向為軸，將頸部向特定的方向傾斜，則顯示給使用者的物體進行旋轉，因此，可以按照第一時間點的影像方向數據與第二時間點的播放方向數據間的傾斜度數據的差異值，旋轉第一最終影像幀。
當客戶端200根據所述差異值來補正第一最終影像幀時，在將向使用者提供的第二替代影像幀上，如第11圖所示發生空白區域。所述空白區域既可以按黑白處理，或者也可以處理成類似顏色的組合，以便佩戴者在視覺上最小地認知。
客戶端200將所述第二替代影像幀顯示於畫面中S260。即，客戶端200可以替代第二時間點遺漏的第二最終影像幀，將對第一最終影像幀進行補正的第二替代影像幀顯示於畫面中。
另外，當使用者佩戴客戶端200進行移動時，客戶端200掌握使用者的移動程度(例如，移動距離及移動方向、移動的步數等)，當未接收第二時間點的最終影像幀時，可以與使用者的移動程度相符地補正第一最終影像 幀。作為一個實施例，在使用者移動的情況下，物體根據距離使用者的距離而在位置變化程度上存在差異。如第12圖所示，位於近處的物體隨著使用者的移動而以大幅度移動，位於遠處的物體隨著使用者的移動而以比位於近處的物體小的幅度移動。因此，在虛擬實境影像中，只有反應這種由遠近決定的物體移動幅度的差異，才能向使用者提供高現實感。為此，伺服器可以包括多個物體(即，在影像幀內以各像素的集合表現的物體)分別距離客戶端的距離訊息(以下，深度訊息)作為元訊息而生成最終影像幀並傳輸。當第二時間點的第二最初影像幀遺漏時，客戶端可以利用包括的一個以上感測器(例如，陀螺儀感測器、加速度感測器、地磁感測器等)算出使用者的移動程度，將各物體的深度訊息反映於第一最終影像幀內的各個物體，生成第二替代影像幀。即，如第13圖所示，客戶端可以根據第一時間點與第二時間點的客戶端位置(即，佩戴客戶端的使用者的位置)差異，按與第一最終影像幀內多個物體相應的像素執行補正，生成第二替代影像幀。另外，追加地，客戶端可以在反映由物體配置的距離決定的物體移動幅度的差異並執行像素單位的物體補正後，在原有第一最終影像幀中，執行對物體曾配置的區域進行補償的作業。客戶端可以反映周邊的顏色，利用特定的顏色組合，填充原有物體配置空間。
另外，作為另一實施例，當物體的移動幅度相異時，客戶端根據大小最大的物體的配置位置而使影像幀移動後，可以按像素單位調節剩餘物體。由此，針對大小最大的物體，不執行像素單位作業，因而可以使第二替代影像幀內隨著像素單位移動而生成的空白空間實現最小化。另外，作為另一實施例，當佩戴客戶端的使用者只向前方或後方移動時，客戶端可以對第一最終影像幀進行放大或縮小，生成替代遺漏的第二最終影像幀的第二替代影像幀。
另外，可以還包括：如果未接收與第n時間點(n為大於1的自然數)相應的最終影像幀，則比較與所述第n-1時間點相應的影像方向數據和與所述第n時間點相應的播放方向數據並算出差異值的步驟；及按照所述算出的差異值，補正所述第n-1替代影像幀而生成第n替代影像幀的步驟。即，在第二時間點未接收第二最終影像幀，在提供第二替代影像幀後，如果在第三時間點接收了第三最終影像幀，則使用者可以認為影像內的物體順暢移動。但是，當在第二時間點之後，影像幀也未連續接收時，客戶端200需要以以前生成的替代影像幀(例如，第二替代影像幀或第n-1替代影像幀)為基礎，生成下個替代影像幀(例如，第三替代影像幀或第n替代影像幀)。客戶端200可以比較第n-1時間點的第n-1替代影像幀內的影像方向數據(或在第n-1時間點測量的播放方向數據)與在第n時間點測量的播放方向數據，算出差異值，按照算出的差異值，補正第n-1替代影像幀(例如，移動或變換)，生成第n替代影像幀。由此，客戶端200即使在因通訊狀態不良而未連續從伺服器100接收最終影像幀的情況下，也可以將自然的虛擬實境影像提供給使用者。
根據上面的敘述，一個實施例的虛擬實境影像提供方法可以對因無線傳輸虛擬實境影像幀而導致的特定時間點的影像幀遺漏進行彌補，使用者即使在未接收特定的影像幀的情況下，也可以虛擬實境空間整體性時間點不錯亂地自然地播放影像。
另外，根據一個實施例，只提取全體影像中的一幀並傳輸或只生成符合播放方向數據的幀並傳輸，從而即使在以無線方式提供虛擬實境影像內容時，也可以提供高解析度影像或減小通訊流量。
另外，根據一個實施例，可以對使用者的移動即刻作出反應，提供面向虛擬實境影像的對象體表面的優化的即時影像。因此，可以提高虛擬實境影像的現實感和沉浸感。
另外，根據一個實施例，即使在因網路上的延遲而發生幀遺漏時或執行虛擬實境影像補正時，也可以彌補影像幀的遺漏，防止諸如十字瞄準線(crosshair)的影像顯示於並非使用者實際指示地點的其他地點。
另一方面，前述本發明的說明用於舉例，本發明所屬技術領域具有通常知識者可以理解，在不變更本發明的技術思想或必需特徵的情況下，可以容易地變形為其他具體形態。因此，以上記述的實施例在所有方面應理解為只是示例性而限定性的。例如，以單一型說明的各構成要素也可以分散實施，同樣地，按分散形態說明的構成要素也可以以結合的形態實施。
與所述詳細說明相比，本發明的範圍由後述申請專利範圍所代表，申請專利範圍的意義及範圍以及從其均等概念導出的所有變更或變形的形態也應解釋為包含於本發明的範圍。
402:虛擬實境影像
430:指針影像

Claims (8)

  1. 一種虛擬實境影像提供方法，其包括：從伺服器接收虛擬實境影像數據並分配給第一圖層的步驟；生成顯示至少一個控制器的控制訊息的第二圖層的步驟；接收該至少一個控制器的動作訊息，基於該動作訊息，決定該虛擬實境影像數據內既定對象與該控制訊息的衝突地點的步驟；將包括基於該衝突地點的法線數據而變形的該控制訊息在內的結合數據分配給該第二圖層的步驟；及合成該第一圖層及該第二圖層而生成最終影像幀的步驟；其中，該接收虛擬實境數據並分配給第一圖層的步驟包括：將該虛擬實境影像數據分割成多個覆蓋項目並按各個獨立的信道單位接收的步驟；及結合藉由該獨立的通道而接收的多個覆蓋項目並分配給多個第一圖層的步驟；其中，該決定衝突地點的步驟包括：藉由第一通道，接收包括決定該衝突地點所需的對象在內的覆蓋項目的步驟；利用接收的該覆蓋項目，在該客戶端中決定衝突地點的步驟；及決定該衝突地點的法線向量的步驟。
  2. 如申請專利範圍第1項所述的虛擬實境影像提供方法，其中， 該第二圖層包括至少一個圖形用戶界面，該控制器的動作訊息包括該控制器的位置訊息及關於控制器指向方向的訊息。
  3. 如申請專利範圍第1項所述的虛擬實境影像提供方法，其中，該控制訊息包括顯示出使用者視線及控制器的中心指針中至少一者的影像。
  4. 一種虛擬實境影像提供方法，其包括：從伺服器接收虛擬實境影像數據並分配給第一圖層的步驟；生成顯示至少一個控制器的控制訊息的第二圖層的步驟；接收該至少一個控制器的動作訊息，基於該動作訊息，決定該虛擬實境影像數據內既定對象與該控制訊息的衝突地點的步驟；將包括基於該衝突地點的法線數據而變形的該控制訊息在內的結合數據分配給該第二圖層的步驟；及合成該第一圖層及該第二圖層而生成最終影像幀的步驟；其中，該接收虛擬實境數據並分配給第一圖層的步驟包括：將該虛擬實境影像數據分割成多個覆蓋項目並按各個獨立的信道單位接收的步驟；及結合藉由該獨立的通道而接收的多個覆蓋項目並分配給多個第一圖層的步驟；其中：該覆蓋項目具有(x,y)坐標， 該伺服器在每當該覆蓋項目需要更新時，將相應部分傳輸給客戶端。
  5. 一種虛擬實境影像提供方法，其包括：從伺服器接收虛擬實境影像數據並分配給第一圖層的步驟；生成顯示至少一個控制器的控制訊息的第二圖層的步驟；接收該至少一個控制器的動作訊息，基於該動作訊息，決定該虛擬實境影像數據內既定對象與該控制訊息的衝突地點的步驟；將包括基於該衝突地點的法線數據而變形的該控制訊息在內的結合數據分配給該第二圖層的步驟；及合成該第一圖層及該第二圖層而生成最終影像幀的步驟；其中，該決定衝突地點的步驟包括：將該控制器的動作訊息傳輸到伺服器，請求該衝突地點及法線數據的步驟；及該伺服器接收已決定的該虛擬實境影像數據內既定對象與該控制訊息的衝突地點及法線數據的步驟。
  6. 一種虛擬實境影像提供方法，其包括：從伺服器接收虛擬實境影像數據並分配給第一圖層的步驟；生成顯示至少一個控制器的控制訊息的第二圖層的步驟；接收該至少一個控制器的動作訊息，基於該動作訊息，決定該虛擬實境影像數據內既定對象與該控制訊息的衝突地點的步驟； 將包括基於該衝突地點的法線數據而變形的該控制訊息在內的結合數據分配給該第二圖層的步驟；及合成該第一圖層及該第二圖層而生成最終影像幀的步驟；其中：該接收虛擬實境影像數據的步驟包括從該伺服器接收與第一時間點相應的第一影像幀的步驟；該虛擬實境影像提供方法還包括獲得與該第一時間點相應的播放方向數據及影像方向數據的步驟；該播放方向數據是應在特定時間點在該客戶端的畫面上播放的影像幀的方向相關數據；該影像方向數據是借助於該伺服器而生成的影像幀的三維空間上的方向相關數據。
  7. 如申請專利範圍第6項所述的虛擬實境影像提供方法，其中，該獲得播放方向數據的步驟包括測量使用者的頸部移動而獲得該播放方向數據的步驟。
  8. 一種虛擬實境影像播放電腦程式產品，當藉由一電腦執行時，係實施如申請專利範圍第1項至第7項中任一項所述的虛擬實境影像提供方法。
TW107134456A 2017-09-29 2018-09-28 虛擬實境影像提供方法及利用其的電腦程式產品 TWI728269B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170128020A KR101990373B1 (ko) 2017-09-29 2017-09-29 가상현실 영상 제공 방법 및 이를 이용한 프로그램
KR10-2017-0128020 2017-09-29
??10-2017-0128020 2017-09-29

Publications (2)

Publication Number Publication Date
TW201916681A TW201916681A (zh) 2019-04-16
TWI728269B true TWI728269B (zh) 2021-05-21

Family

ID=65903521

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107134456A TWI728269B (zh) 2017-09-29 2018-09-28 虛擬實境影像提供方法及利用其的電腦程式產品

Country Status (7)

Country Link
US (1) US11127208B2 (zh)
EP (1) EP3691259B1 (zh)
JP (1) JP7026213B2 (zh)
KR (1) KR101990373B1 (zh)
CN (1) CN111345037B (zh)
TW (1) TWI728269B (zh)
WO (1) WO2019066591A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3470974A1 (en) * 2017-10-10 2019-04-17 Thomson Licensing Selection of animated viewing angle in an immersive virtual environment
JP2021022182A (ja) * 2019-07-29 2021-02-18 株式会社電通グループ 表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201721519A (zh) * 2015-12-01 2017-06-16 英業達股份有限公司 虛擬試衣系統及虛擬試衣方法
CN107111979A (zh) * 2014-12-19 2017-08-29 微软技术许可有限责任公司 三维可视化系统中的带辅助的对象放置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6898320B2 (en) * 2000-03-14 2005-05-24 Samsung Electronics Co., Ltd. Method for processing nodes in 3D scene and apparatus thereof
MXPA03001029A (es) * 2000-08-04 2003-05-27 Dynamic Digital Depth Res Pty Tecnica de codificacion y conversion de imagen.
JP4651435B2 (ja) * 2005-03-31 2011-03-16 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
EP2299699A3 (en) * 2009-09-04 2012-10-31 Samsung Electronics Co., Ltd. Image processing apparatus and controlling method of the same
KR101661142B1 (ko) * 2009-09-04 2016-10-11 삼성전자주식회사 영상처리장치 및 영상처리장치의 제어 방법
JP5695524B2 (ja) 2010-12-07 2015-04-08 富士フイルム株式会社 立体視画像表示装置および方法並びにプログラム
JP6021296B2 (ja) 2010-12-16 2016-11-09 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
KR20160139461A (ko) * 2015-05-27 2016-12-07 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
JP6110893B2 (ja) 2015-06-12 2017-04-05 株式会社コロプラ 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
US10222932B2 (en) * 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
JP6676071B2 (ja) * 2015-08-04 2020-04-08 グーグル エルエルシー 仮想現実におけるオブジェクトとの手のコンテキスト依存衝突を介した入力
US20170052701A1 (en) * 2015-08-19 2017-02-23 Vrideo Dynamic virtual keyboard graphical user interface
KR101716326B1 (ko) 2015-09-08 2017-03-14 클릭트 주식회사 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램
CN105447898B (zh) * 2015-12-31 2018-12-25 北京小鸟看看科技有限公司 一种虚拟现实设备中显示2d应用界面的方法和装置
KR101769118B1 (ko) * 2016-02-05 2017-08-17 주식회사 케이티 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치
CN105912123A (zh) * 2016-04-15 2016-08-31 北京小鸟看看科技有限公司 一种三维沉浸式环境下的界面布局方法和装置
US10218793B2 (en) * 2016-06-13 2019-02-26 Disney Enterprises, Inc. System and method for rendering views of a virtual space
JP6681352B2 (ja) * 2017-01-06 2020-04-15 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、情報処理方法、ゲームシステム、ゲームプログラム、ゲーム装置、及びゲーム方法
KR101788545B1 (ko) * 2017-03-06 2017-10-20 클릭트 주식회사 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111979A (zh) * 2014-12-19 2017-08-29 微软技术许可有限责任公司 三维可视化系统中的带辅助的对象放置
TW201721519A (zh) * 2015-12-01 2017-06-16 英業達股份有限公司 虛擬試衣系統及虛擬試衣方法

Also Published As

Publication number Publication date
CN111345037B (zh) 2023-06-09
US11127208B2 (en) 2021-09-21
EP3691259A4 (en) 2021-05-19
CN111345037A (zh) 2020-06-26
JP2020535542A (ja) 2020-12-03
EP3691259A1 (en) 2020-08-05
TW201916681A (zh) 2019-04-16
US20200286287A1 (en) 2020-09-10
KR20190038044A (ko) 2019-04-08
JP7026213B2 (ja) 2022-02-25
WO2019066591A1 (ko) 2019-04-04
EP3691259B1 (en) 2022-11-23
KR101990373B1 (ko) 2019-06-20

Similar Documents

Publication Publication Date Title
JP6511386B2 (ja) 情報処理装置および画像生成方法
JP6058184B1 (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
JP6731482B2 (ja) 仮想現実映像伝送方法、再生方法、及びこれらを用いたプログラム
KR101788545B1 (ko) 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램
JP7403249B2 (ja) 中心窩シミュレーションのためのシステムおよび方法
CN109478342B (zh) 图像显示装置及图像显示系统
US11880499B2 (en) Systems and methods for providing observation scenes corresponding to extended reality (XR) content
TWI728269B (zh) 虛擬實境影像提供方法及利用其的電腦程式產品
TW202101374A (zh) 影像的深度圖之處理
TWI755636B (zh) 虛擬實境影像播放方法及使用其之程式
WO2020189274A1 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
KR102192153B1 (ko) 가상현실 영상 제공 방법 및 이를 이용한 프로그램
KR102094750B1 (ko) Vr 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법
JPWO2019229816A1 (ja) 画像生成装置、画像生成方法、およびプログラム
KR102179810B1 (ko) 가상현실영상 재생방법 및 이를 이용한 프로그램