TWI681673B - 虛擬實境影像播放方法及使用其之程式 - Google Patents

虛擬實境影像播放方法及使用其之程式 Download PDF

Info

Publication number
TWI681673B
TWI681673B TW107106869A TW107106869A TWI681673B TW I681673 B TWI681673 B TW I681673B TW 107106869 A TW107106869 A TW 107106869A TW 107106869 A TW107106869 A TW 107106869A TW I681673 B TWI681673 B TW I681673B
Authority
TW
Taiwan
Prior art keywords
image
stage
angle
direction data
client
Prior art date
Application number
TW107106869A
Other languages
English (en)
Other versions
TW201834465A (zh
Inventor
金泰郁
李賀冉
丁德榮
Original Assignee
南韓商科理特股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商科理特股份有限公司 filed Critical 南韓商科理特股份有限公司
Publication of TW201834465A publication Critical patent/TW201834465A/zh
Application granted granted Critical
Publication of TWI681673B publication Critical patent/TWI681673B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

啟動包含客戶端從伺服器接收影像架構的階段；將接收的影像架構分配至Layer 1的階段；生成包含至少一個圖形使用者介面在內的Layer 2的階段；合成Layer 1及Layer 2，並生成最終影像架構的階段；以及顯示所生成最終影像架構的階段在內的虛擬實境影像播放方法。

Description

虛擬實境影像播放方法及使用其之程式
本發明是關於虛擬實境傳輸方法、虛擬實境影像播放方法及使用其的程式，更詳細地表示即透過無線通訊實現更高要求配置的虛擬實境產品即時傳輸及播放的方法或程式。
虛擬實境(VR；Virtual Reality)是一種透過電腦生成的虛擬空間，即透過3D視覺效果賦予使用者身臨其境的一種空間。實現虛擬實境的技術是對用戶的輸入進行即時處理，使其感覺如身處現實世界中一樣，是一種超越多媒體的新一代技術。
虛擬實境環境透過向用戶提供身臨其境的體驗，不僅能夠模擬實際存在的物體，同時還能體驗實際不存在的物體或情形。這種虛擬實境環境可適用於不同領域。例如，可被實際應用於汽車設計或模擬試驗等工學領域以及醫療領域、文化產品領域等各種領域。
雖然根據觀察視角的不同，虛擬實境(VR)還同時使用虛擬環境(Virtual Environment)、虛擬存在(Virtual Presence)、人工世界(Artificial World)、虛擬世界(Virtual World)、虛擬空間(Cyber space)等用語，但一 般指的是透過向用戶提供與電腦產生的現實世界類似的3D虛擬世界，並可提供即時自由操作該虛擬世界的輸入方式和應對用戶的操作，而提供實際感知的感覺回饋(Sensory feedback)方式，以此來實現人工體驗和經歷的一種技術。
最近隨著技術的發展，出現了很多使用虛擬實境技術的設備。目前為了生成高配置的虛擬實境影像，用戶需透過電纜將VR播放設備連接至桌上型等電腦上並佩戴使用。但在這種情况下，利用電纜佩戴VR設備時可行動的半徑有限，而且在佩戴VR設備無法確認外部環境的情况下，存在可能會被電纜絆倒等問題。同時，必須具備電腦方可使用VR設備欣賞虛擬實境影像，因此存在諸多不便。
此外，最近出現了將行動終端與VR設備相結合，行動終端為了生成VR影像，在進行資訊處理後將其傳輸至VR設備的方式。雖然是透過有線連結方式進行資訊處理的行動終端(電腦)和進行播放的VR設備，但由於行動終端可以與VR設備相結合，因此可以解决因電纜而引發的問題。但是與電腦相比，行動終端難以驅動高配置的程式，因此存在難以驅動高配置的VR遊戲或難以播放高解析度VR影像的問題。
因此，本發明透過無線通訊方式在資訊處理設備和VR設備之間傳輸影像架構並進行播放，旨在提供不受地點及行動半徑限制、可從高配置的電腦處獲得VR影像的虛擬實境傳輸方法、播放方法及使用其的程式。
本發明想要解决的課題並不僅僅侷限於上述所提及的課題，一般的技術人員可透過下面的內容正確理解其他未提及的課題。
為了解决上述課題，就本發明某一面向而言，虛擬實境影像播放方法包含客戶端從伺服器接收影像架構的階段、將接收的影像架構分配至Layer 1的階段、生成包含至少一個圖像用戶界面在內的Layer 2的階段、合成Layer 1及Layer 2並生成最終影像的階段，以及顯示生成最終影像架構的階段。
同時，還包含生成顯示至少一個控制器控制資訊的Layer 3的階段，生成最終影像架構的階段可以包含合成Layer 1、Layer 2以及Layer 3並生成最終影像架構的階段。
同時，生成Layer 3的階段可包含客戶端接收至少一個控制器運行資訊的階段、利用接收運行資訊生成顯示至少一個控制器控制資訊影像的階段以及將生成的影像分配至Layer 3的階段。
同時，接收影像架構的階段可包含客戶端從伺服器接收與第1視角相應的第1影像架構的階段，虛擬實境影像播放方法還可包獲得與第1視角相應的播放方向數據及影像方向數據的階段，播放方向數據可以是與在特定視角需在客戶端畫面上播放的影像架構方向相關的數據，影像方向數據可以是依據伺服器生成的影像架構的3D空間方向有關的數據。
同時，獲取播放方向數據的階段可包含測定用戶的頭部運動並獲取播放方向數據的階段。
同時，接收影像架構的階段還包含在未接收第2視角的影像架構時，計算出第1視角的影像方向數據和第2視角的播放方向數據的差異值，並以差異值為基礎修正第1影像架構階段，第2視角可以是上述影像架構的傳輸週期經過第1視角的視角。
同時，修正第1影像架構的階段可包含以差異值為基礎行動或變換第1影像架構並生成第2代替影像架構的階段，分配至Layer 1的階段可包含將生成的第2代替影像架構分配至Layer 1的階段。
同時，播放方向數據及影像方向數據可包含高低角數據及方位角數據，計算差異值的階段可以計算第2視角的播放方向數據及第1視角的影像方向數據之間的高低角及方位角差異為特色。
同時，播放方向數據及影像方向數據可包含以用戶的正面方向為軸產生的傾斜數據，修正第1影像架構的階段以第2視角的播放方向數據及第1視角的影像方向數據之間的傾斜數據差異為基礎，還可包含旋轉並修正第1影像架構的階段。
同時，若未接收到與第n視角(n為大於2的自然數)相應的影像架構，則還包含將第n-1視角相應的影像方向數據及與第n視角相應的播放數據進行比較並計算出差異值的階段，以及按照計算出的差異值修正第n-1代替影像架構並生成第n代替影像架構的階段，第n視角可以是根據接收第n次的影像架構的視角，影像架構的傳輸週期經過第n-1視角的視角。
為了解决上述課題，就本發明某一面向來看，虛擬實境影像播放程式與作為硬體的電腦相結合，為執行虛擬實境影像播放方法而將其儲存於媒體之中。
詳細說明及圖式中包含了本發明的其他具體內容。
根據上述內容顯示，本發明具有以下多種效果。
第一，透過無線方式傳輸虛擬實境影像架構，可以避免遺漏特定視角的影像架構，即使在用戶未接收特定影像架構的情况下，虛擬實境空間的整體視角也不會搖晃，具有自然播放影像的效果。
第二，即使用戶在遠離電腦伺服器的情况下，也能利用蜂巢網路或WLAN通訊，在任何地方欣賞順暢的虛擬實境影像。
第三，隨著對無法接收影像架構情况的完善，可透過無線方式傳輸虛擬實境影像，因此可以解决因電纜與電腦相連而使行動受到限制或被電纜絆倒而導致的安全事故。
第四，伺服器僅抽取並傳輸客戶端所請求的符合播放方向數據的整體影像中的一個框架，或者僅生成並傳輸符合播放方向數據的方向的框架即可，因此可節省無線通訊的網路頻寬。
第五，利用同樣的數據容量僅傳輸一個框架而非傳輸有關所有方向的整體影像，因此不用占用較多的通訊流量即可傳輸高解析度的影像。由此佩戴客戶端的用戶可遠端收看高解析度的影像。
第六，由於客戶端僅接收伺服器要求播放的方向影像架構，因此為了播放自己所希望的方向，客戶端無需執行在整體影像中抽取播放方向的架構這一過程。由此，客戶端可無需高配置。
本發明的效果並不侷限於以上所提及的效果，一般的技術人員可透過下面的內容正確理解其他未提及的效果。
100‧‧‧伺服器
200‧‧‧客戶端
400‧‧‧Layer 1
500‧‧‧Layer 2
510、520‧‧‧圖形使用者介面
610、620‧‧‧控制器圖像
S100、S110、S120、S121、S140、S141、S160、S180、S200、S220、S240、S260、S310、S320、S330、S340‧‧‧步驟
第1圖是依據本發明實施例的虛擬實境影像收發系統的結構圖。
第2圖是依據本發明實施例的關於虛擬實境影像傳輸方法的流程圖。
第3圖是依據本發明實施例的關於以最初整體影像為基礎生成的虛擬實境影像架構傳輸方法的流程圖。
第4圖是依據本發明實施例的關於虛擬實境影像播放方法的流程圖。
第5圖是在遺漏第2最終影像架構且未提供第2代替影像架構時，顯示透過客戶端向用戶所提供影像之變化的示例圖。
第6圖是根據本發明的實施例，在客戶端以第1視角的影像方向數據和第2視角的播放方向數據的差異值為基礎生成的第2代替影像架構的示例圖。
第7圖是客戶端行動時，在無遺漏架構的情况下，按照順序提供最終影像架構而顯示物體位置變化的示例圖。
第8圖是根據本發明的實施例，反映客戶端的行動程度並在第1最終影像架構處提供修正各個物體位置的第2代替影像架構的示例圖。
第9圖是根據實施例，利用一個以上的Layer對播放虛擬實境影像的方法進行圖解的流程圖。
第10圖是根據實施例，對包含Layer 1及Layer 2的虛擬實境影像播放方法進行圖解的圖式。
第11圖是根據實施例，對包含Layer 1、Layer 2及Layer 3的虛擬實境影像播放方法進行圖解的圖式。
下面參照所附圖式對本發明的正確實施例進行詳細說明。參照所附圖式及在後面進行詳細說明的實施例，即可明確本發明的優點、特色以及達成方法。但是本發明並不僅僅侷限於以下公布的實施例，其可透過各種不同的形態予以呈現。這些實施例只是為了完善本發明的公告內容，並為在本發明所 屬的技術領域內具備專業知識的人員提供詳細瞭解本發明範疇的渠道，本發明只是根據權利要求的範疇進行定義。貫穿整個說明書的同一參照符號指的是同一構成要素。
若無其他定義，本說明書中所使用的全部用語(包含技術及科學用語)對於在本發明所屬的技術領域內具備專業知識的人員來說，均為常規理解的含義。同時對於普遍使用且詞典中進行定義的用語，若未明確指出特別含義，則不可理想化或過度進行解釋。
本說明書中所使用的用語是為了對實施例進行說明，其使用範圍並非限制本發明。句子中未特別提及時，本說明書中的單數形也包含複數形。除了所提及的構成要素以外，說明書中使用的“包含(comprises)”及/或“包含的(comprising)”並不排除存在或增加一個以上的其他構成要素。
下面將參照圖式，對依據本發明實施例的虛擬實境影像收發系統進行說明。
第1圖是依據本發明實施例的虛擬實境影像收發系統的結構圖。
依據本發明實施例的虛擬實境影像收發系統包含伺服器(100)及客戶端(200)。
伺服器(100)是生成虛擬實境(Virtual Reality；VR)影像的電腦。伺服器(100)具有在外部進行資訊處理，並生成VR影像以提供給客戶端(200)的功能。例如，在特定的遊戲驅動影像為VR影像時，伺服器(100)可驅動遊戲程式並生成合適的影像架構，透過無線通訊方式傳輸至客戶端(200)。
同時，伺服器(100)具有可利用元資訊使影像方向數據與生成的VR影像相結合的功能。影像方向數據可以是有關伺服器(100)所生成影像架構的3D空間方向的數據。
同時，伺服器(100)可從客戶端(200)接收播放方向數據。伺服器(100)利用所接收的播放方向數據來確定與影像架構相結合的影像方向數據，可生成與播放方向數據(或影像方向數據)相應的VR影像架構。
客戶端(200)是一種接收相當於虛擬實境影像的影像架構(即後面所講的最終影像架構)並進行播放的設備。即客戶端(200)具有播放接收自伺服器(100)的VR影像架構並提供給佩戴者的功能。客戶端(200)可以是VR設備本身，也可以是將行動終端與VR設備相結合的形態。例如，VR設備和行動終端相結合形成客戶端(200)時，行動終端可接收伺服器(100)生成的影像架構，並透過相連的有線電纜或近距離無線通訊向VR設備傳遞影像架構，從而顯示在畫面上。
VR設備可由多種形態構成。例如，VR設備可將包含適合雙眼的各個影像在內的影像架構顯示於顯示器部分，並藉助於各眼球方向的魚眼鏡頭生成3D影像。並且在其他實施例中，VR設備可以擁有提供符合各個眼球的影像的2個顯示器部分。
同時，客戶端(200)可發揮測量播放方向數據的作用。再生方向數據可以是關於在特定視角需在客戶端(200)畫面上播放的影像架構方向的數據。即佩戴者可將客戶端(200)佩戴於眼球位置並測量所視方向，利用播放方向數據予以確定。例如，播放方向數據可包含高低角數據、方位角數據或傾斜數據。客戶端(200)擁有一個以上的感應器(例如陀螺感應器、加速度感應器、地磁感應器等)，測量佩戴客戶端(200)的用戶頭部(或頸部)行動，可包含高低角數據、方位角數據、傾斜數據等。同時，客戶端(200)具有可利用伺服器(100)並透過無線通訊方式傳輸所測量的播放方向數據的功能。
高低角數據可以指水平面(例如地平線)和客戶端(200)的視線方向所形成的角。即高低角數據可以是隨著用戶頸部的上下行動而與水平面形成的角。
方位角數據作為顯示方位的角度，可以指以水平面上的特定標準方向為基礎進行旋轉的角度。即方位角數據可以根據以用戶的身體(或頸部)為軸進行旋轉的頸部運動有所不同。
傾斜數據可以指以用戶的正面方向為軸旋轉頸部的角度。即傾斜數據可根據用戶頸部的左右行動或用戶身體的整體旋轉等有所不同。
同時，客戶端(200)還可以測量佩戴者的行動情况。例如，進行虛擬模擬訓練或遊戲時，用戶需佩戴客戶端(200)進行移動，因此客戶端(200)能夠以測量的用戶行動範圍為基礎，請求伺服器(100)傳輸符合行動位置的影像架構。同時如後面所述，客戶端(200)未接收用戶行動的特定視角的影像架構時，可反映影像架構傳輸周期之間的用戶行動範圍並修正影像架構。
同時，在以無線通訊方式接收影像架構時，若客戶端(200)未接收特定的影像架構，則可以修正之前接收的影像架構使之符合用戶的行動範圍，並在畫面上予以顯示。即，客戶端在未接收第2視角的最終影像架構時，可以計算出第1視角的影像方向數據和第2視角的播放方向數據之間的差異值，並以該差異值為基礎修正第1視角的最終影像架構。第2視角可以是最終影像架構的傳輸周期經過第1視角的視角。
伺服器(100)和客戶端(200)可以透過無線通訊方式進行連接。無線通訊方式可以採用Wi-Fi方式、蜂巢通訊等。例如，伺服器(100)是位於用戶所處的特定空間內(例如家中、虛擬實境體驗空間內等)的電腦時，可以透過無線AP(例如Wi-Fi AP)方式實現客戶端(200)和伺服器(100)之間的通訊。同時，例如，伺服器(100)是位於外部遠端的電腦時，遠端伺服器(100) 可透過蜂巢通訊或LAN通訊方式向客戶端(200)傳輸所生成的影像架構。客戶端(200)可透過蜂巢通訊從基地站接收影像架構，或者透過WLAN從無線AP接收影像架構。由此，若用戶擁有可進行無線通訊的客戶端(200)，即使不在伺服器(100)電腦附近也能接收並使用伺服器(100)所提供的VR影像。
下面將參照圖式對依據本發明實施例的虛擬實境影像傳輸方法、播放方法及程式進行說明。
透過無線通訊傳輸虛擬實境影像(VR影像)時，可能會由於無線通訊網路的連接狀態不好而導致特定的影像架構被遺漏。在這種情况下，佩戴者可能會感到影像架構內的物體好像在搖晃，因而產生暈眩感。為了解决這一問題，需要從之前視角處接收的影像架構端生成代替被遺漏影像架構的代替影像架構，並提供給用戶。
雖然目前伺服器(100)和客戶端(200)透過電纜進行有線連接的方式可以依靠生成影像的伺服器(100)電腦對影像進行修正，因此無需額外的修正標準。但是利用無線通訊在伺服器(100)和客戶端(200)之間傳輸影像架構的方式，具有利用伺服器(100)生成影像架構並利用客戶端(200)完善遺漏的特定視角影像架構的作用，因此需要修正影像的標準。所以，下面將對伺服器(100)的虛擬實境影像生成及傳輸方法和客戶端(200)的虛擬實境影像播放方法進行說明，以完善不能透過無線通訊方式接收的影像架構並避免用戶在體驗時出現影像搖晃等不適。
第2圖是關於依照本發明實施例的虛擬實境影像傳輸方法的流程圖。
參照第2圖，依照本發明實施例的虛擬實境影像傳輸方法包含伺服器(100)生成最初影像架構的階段(S120)、判斷與最初影像架構相應的影像方向數據的階段(S140)、利用元資訊使最初影像架構與影像方向數據相結 合以生成最終影像架構的階段(S160)、透過無線通訊方式將最終影像架構傳輸至客戶端(200)的階段(S180)。
伺服器(100)生成最初影像架構(S120)。伺服器(100)可以驅動內部安裝程式而生成最初影像架構。最初影像架構傳輸至客戶端(200)後，在未接收特定影像架構時，指的是未進行資訊處理(旨在進行完善)的影像架構。例如，伺服器(100)可驅動遊戲程式而生成遊戲影像架構。
伺服器(100)對與最初影像架構相應的影像方向數據進行判斷(S140)。影像方向數據是與伺服器(100)生成的影像架構的3D空間方向相關的數據。伺服器(100)在生成影像之前可以確定影像方向數據(例如，隨著要求提供特定方向的影像，在確定將要生成的影像方向後，生成相應的最初影像架構)，在生成影像架構後也可以確定相應的影像方向數據。
伺服器(100)利用元資訊使最初影像架構與影像方向數據相結合，以生成最終影像架構(S160)。之後，伺服器(100)透過無線通訊方式將最終影像架構傳輸至客戶端(200)(S180)。即客戶端(200)在判斷與影像架構相應的方向或者未接收下一傳輸視角(即第2視角)的影像架構時，伺服器(100)可將使最初影像架構和影像方向數據相結合的最終影像架構傳輸至客戶端(200)，以透過修正前一視角(即第1視角)的影像架構對其進行完善。
由於通訊狀態不佳導致客戶端(200)未能從伺服器(100)接收到第2視角的最終影像架構時，可計算出第1視角的影像方向數據和第2視角的播放方向數據的差異值，並以該差異值為基礎修正第1視角的最終影像架構。第2視角可以是最終影像架構的傳輸周期經過第1視角的視角。
同時，還可包含從客戶端(200)接收播放方向數據的階段(S110)。例如，若佩戴者佩戴客戶端(200)進行行動，則客戶端(200)可在特定視角獲得與需透過畫面提供給用戶的影像架構方向相關的數據(例如關 於用戶頸部行動的數據)，並傳輸至伺服器(100)。依靠客戶端(200)測量的數據叫做播放方向數據，在影像方向數據判斷階段(S120)，伺服器(100)可以從客戶端(200)接收的播放方向數據為基礎確定影像方向數據。即伺服器(100)可以將與從客戶端(200)接收的播放數據一致的方向確定為生成影像的方向。因此伺服器(100)可以將從客戶端(200)接收的播放方向數據設定為影像方向數據(S120)，並生成與所設定的影像方向數據相符的最初影像架構(S100)。
同時，最終影像架構生成階段(S140)還包含將最終影像架構轉為用於各個眼球的影像架構的階段。為提供3D影像，左眼用影像和右眼用影像需要有所差異。因此，伺服器(100)可分別生成傳輸至客戶端(200)的左眼用最終影像架構及右眼用最終影像架構。
同時，最終影像架構生成階段(S140)還可包含按照符合客戶端(200)畫面的大小對最終影像架構進行更改的階段。即伺服器(100)可更改影像架構的大小使之符合客戶端(200)畫面的大小，從而使客戶端(200)能夠接收最終影像架構並立即進行播放。因此若與伺服器(100)相比客戶端(200)的配置較低，那麽在將其更改為符合進行資訊處理的低配置客戶端(200)畫面大小的過程中，能夠最大限度地减少可能會發生的時間延遲問題。
第3圖是依據本發明實施例，以最初整體影像為基礎生成的虛擬實境影像架構傳輸方法的流程圖。
依據本發明其他實施例的虛擬實境影像傳輸方法包含伺服器(100)生成特定視角最初整體影像的階段(S100)、從客戶端(200)接收播放方向數據的階段(S110)、在最初整體影像中提取與播放方向數據相應的最初影像架構的階段(S121)、按照影像方向數據確定播放方向數據的階段(S141)、利用元資訊使最初影像架構與影像方向數據相結合以生成最終影像 架構的階段(S160)、以無線通訊方式將最終影像架構傳輸至客戶端(200)的階段(S180)。下面省略了已說明階段的詳細說明。
伺服器(100)獲得特定視角的最初整體影像(S100)。最初整體影像可以指包含用戶看到的所有方向影像架構在內的影像。即伺服器(100)可驅動內部的特定程式以生成特定視角的整體影像，可在已生成的一定時間的整體影像(例如360度攝影鏡頭在一定時間內拍攝的影像)中抽取特定視角的整體影像。
伺服器(100)從客戶端(200)接收播放方向數據(S110)。
伺服器(100)在最初整體影像中抽取與播放方向數據相應的最初影像架構(S121)。即伺服器(100)可透過從客戶端(200)接收的播放方向數據判斷請求影像架構的方向，並在最初整體影像中抽取與播放方向數據相應的最初影像架構。
伺服器(100)利用影像方向數據確定播放方向數據(S141)。即由於抽取最初影像架構是與播放方向數據相應方向的影像架構，因此伺服器(100)可利用抽取最初影像架構的影像方向數據設定從客戶端(200)接收的播放方向數據。
伺服器(100)利用元資訊使最初影像架構與影像方向數據相結合，以生成最終影像架構(S160)。伺服器(100)透過無線通訊方式將最終影像架構傳輸至客戶端(200)(S180)。
第4圖是依照本發明實施例的關於客戶端(200)虛擬實境影像播放方法的流程圖。
依照本發明其他實施例的虛擬實境影像播放方法包含客戶端(200)從伺服器(100)接收與第1視角相應的第1最終影像架構的階段(S200)；若未接收與第2視角相應的第2最終影像架構時，對與第1視角相應的影像方向數 據和與第2視角相應的播放方向數據進行比較並計算出其差異值的階段(S220)；按照上面計算出的差異值對第1最終影像架構進行修正並生成代替未接收的第2最終影像架構的第2代替影像架構的階段(S240)；將第2代替影像架構顯示於畫面上的階段(S260)。
客戶端(200)從伺服器(100)接收與第1視角相應的第1最終影像架構(S200)。即客戶端(200)可透過無線通訊方式從客戶端(200)接收利用元資訊與影像方向數據相結合的第1最終影像架構。影像方向數據是從伺服器(100)獲得有關影像架構的3D空間方向的數據，最終影像架構可以是利用元資訊將來自伺服器(100)的影像方向數據包含在內的影像架構。
若客戶端(200)未接收與第2視角相應的第2最終影像架構，則對與第1視角相應的影像方向數據和與第2視角相應的播放方向數據進行比較以計算出其差異值(S220)。第2視角可以是最終影像架構的傳輸週期經過第1視角的視角。客戶端(200)在接收並顯示與第1視角相應的第1最終影像架構後，最終影像架構的傳輸周期經過後，因第2視角處的通訊狀態不佳等原因，可能會導致無法接受第2最終影像架構。這種情况下，將繼續顯示第1最終影像架構，以此來代替原本應在第2視角處所獲得的第2最終影像架構。由於第2視角的播放方向數據和第1最終影像架構的影像方向數據之間的差異，可能會出現物體搖晃現象。即在第2視角繼續顯示與第1視角相應的第1最終影像架構後，若在第3視角(即最終影像架構的傳輸週期經過第2視角的視角)處接收新的最終影像架構(即第3最終影像架構)，那麽將如第5圖所示，從第1最終影像架構直接變為第3最終影像架構，跳過了與第2視角相應的物體位置。隨著從第1視角的物體位置向第3視角的物體位置移動，會感覺物體出現不自然的運動或晃動現象。若這種現象持續，用戶會感到暈眩。為了解决這一問題，需要生成代替被遺漏的第2最 終影像架構的影像架構。因此客戶端(200)可修正在第1視角處接收的第1最終影像架構，並生成第2視角的影像架構(即第2代替影像架構)。
為了將第1最終影像架構變為符合第2視角的影像架構，客戶端(200)需要確定修正水平。為此，客戶端(200)可對與第1視角相應的影像方向數據與第2視角相應的播放方向數據進行比較並計算出差異值。播放方向數據可以是與需要在特定視角，客戶端(200)畫面上播放的影像架構方向相關的數據。播放方向數據可透過VR設備內建的感應器(例如陀螺感應器、地磁感應器、加速度感應器等)進行測量。例如，客戶端(200)從伺服器(100)接收包含與播放方向數據相應的影像方向數據在內的影像架構並提供給用戶時，客戶端(200)可對需提供影像架構這一方向的第2播放方向數據和第1最終影像架構方向的第1影像方向數據之間的差異進行計算，並算出修正第1最終影像架構所需的值。
播放方向數據及影像方向數據可包含高低角數據及方位角數據。客戶端(200)可計算出第2視角的播放方向數據和第1視角的影像方向數據之間的高低角及方位角差異。
同時，播放方向數據及影像方向數據可包含以佩戴者正面方向為軸的旋轉角度，即傾斜數據。客戶端(200)可計算出第2視角的播放方向數據和第1視角的影像方向數據之間的傾斜數據差異。
客戶端(200)按照計算出的差異值修正第1最終影像架構，並生成代替未接收的第2最終影像架構之第2代替影像架構(S240)。根據實施例，客戶端(200)可以差異值為基礎移動第1最終影像架構。即客戶端(200)可以根據高低角的差異值，按照垂直方向移動第1最終影像架構，可以根據方位角的差異值水平方向移動第1最終影像架構。同時，客戶端(200)可以根據傾斜數據的差異值旋轉第1最終影像架構。若以用戶的正面方向為軸按照特定方向傾斜 頭部，則用戶所看到的物體也將旋轉，因此可按照第1視角的影像方向數據和第2視角的播放方向數據之間的傾斜數據差異值，來旋轉第1最終影像架構。
客戶端(200)按照差異值修正第1最終影像架構時，如第6圖所示，將提供給用戶的第2代替影像架構上會出現空白區域。可對該空白區域進行黑白處理，或者採用類似的顏色組合進行處理，儘可能使佩戴者看不見該區域。
客戶端(200)在畫面上顯示第2代替影像架構(S260)。即客戶端(200)可以讓修正第1最終影像架構的第2代替影像架構，代替第2視角處遺漏的第2最終影像架構，並顯示於畫面上。
同時，用戶佩戴客戶端(200)行動時，客戶端(200)可掌握用戶的行動範圍(例如行動距離及行動方向、行動步數等)，在未接收第2視角的最終影像架構時，可修正第1最終影像架構使之符合用戶的行動範圍。根據實施例，用戶行動時，隨著物體與用戶之間距離的不同，其位置變化程度也有所差異。如第7圖所示，近距離的物體隨著用戶的行動而大幅移動。而與近距離的物體相比，遠距離的物體隨著用戶的行動其移動幅度較小。因此，虛擬實境影像中也要根據遠近的不同，體現出物體移動幅度的差異，只有這樣才能為用戶提供較高的真實體驗感。為此，伺服器中可利用元資訊將複數物體(即影像架構內，以各像素集合形式呈現的物體)分別與客戶端的距離資訊(以下稱為深度資訊)包含其中，以生成並傳輸最終影像架構。第2視角的第2最終影像架構被遺漏時，客戶端可利用其含有一個以上的感應器(例如陀螺感應器、加速度感應器、地磁感應器等)計算出用戶的行動範圍，並在第1最終影像架構內的各物體中反映各物體的深度資訊，以生成第2代替影像架構。即如第8圖所示，客戶端可根據第1視角和第2視角的客戶端位置(即佩戴客戶端的用戶的位置)差異，按照與第1最終影像架構內的複數物體相應的各個像素進行修正，並生成第2代替影像架構。同時，客戶端還可以反映基於物體分布位置的物體移動幅度差異， 並在對以像素為單位的物體進行修正後，在第1最終影像架構內對物體的分布區域進行完善。客戶端可以反映周圍的顏色，並以特定顏色組合的方式填充現有的物體分布空間。
同時根據其他實施例顯示，物體的移動幅度不同時，客戶端對影像架構進行移動，使之符合最大物體的分布位置後，可以以像素為單位對其他物體進行調整。因此，由於未對最大的物體進行像素單位作業，在第2代替影像架構內，隨著像素單位行動而生成的空白空間可實現最小化。同時根據其他實施例顯示，佩戴客戶端的用戶僅按照前後方向行動時，客戶端可擴大或縮小第1最終影像架構，並生成代替被遺漏的第2最終影像架構的第2代替影像架構。
同時，若未接收與第n視角(n是大於1的自然數)相應的最終影像架構，還可包含對與第n-1視角相應的影像方向數據和與第n視角相應的播放方向數據進行比較並計算出其差異值的階段，以及按照計算出的差異值對第n-1代替影像架構進行修正，並生成第n代替影像架構的階段。即如果未在第2視角處接收第2最終影像架構，而是在提供第2代替影像架構後，在第3視角處接收第3最終影像架構的話，那麽用戶可感受到影像內物體的靈活行動。但是若在第2視角以後，依然連續未接收影像架構時，客戶端(200)需以之前生成的代替影像架構(例如第2代替影像架構或第n-1代替影像架構)為基礎生成下一代替影像架構(例如第3代替影像架構或第n代替影像架構)。客戶端(200)可對第n-1視角的第n-1代替影像架構內的影像方向數據(或在第n-1視角處測量的播放方向數據)及在第n視角測量的播放方向數據進行比較後計算出其差異值，並按照計算出的差異值對第n-1代替影像架構進行修正(例如移動或變換)後生成第n代替影像架構。因此，在因通訊狀態不佳而導致客戶端(200)持續無法從伺服器(100)接收到最終影像架構時，依然能夠為用戶提供自然流暢的虛擬實境影像。
下面將對客戶端(200)利用一個以上的Layer播放虛擬實境影像的實施例進行具體說明。
第9圖是根據實施例，利用一個以上的Layer對播放虛擬實境影像的方法進行圖解的流程圖。
在階段S310中，客戶端(200)從伺服器(100)接收影像架構並將接收的影像架構分配給Layer 1。
在階段S320中，客戶端(200)生成包含至少一個圖形使用者介面(Graphic User Interface，GUI)在內的Layer 2。
在階段S330中，客戶端(200)生成顯示至少一個控制器控制資訊的Layer 3。
在階段S340中，客戶端(200)生成最終影像架構，並顯示所生成的最終影像架構。
在實施例中，客戶端(200)合成Layer 1及Layer 2以生成最終影像架構，並顯示所生成的最終影像架構。
在其他實施例中，客戶端(200)合成Layer 1、Layer 2及Layer 3以生成最終影像架構，並顯示所生成的最終影像架構。
第10圖是根據實施例，對包含Layer 1及Layer 2的虛擬實境影像播放方法進行圖解的圖式。
參照第10圖，可以看到其中對顯示從伺服器接收的影像架構的Layer 1(400)及顯示至少一個圖形使用者介面(510及520)的Layer 2(500)進行了圖解。
Layer 1(400)中顯示的影像架構在從伺服器(100)傳輸影像架構的每個傳輸周期均予以變更。
Layer 2(500)中顯示的至少一個圖形使用者介面(510)被用來控制客戶端(200)或與客戶端(200)中顯示的影像相應的應用程式，或者被用來顯示與客戶端(200)中所顯示的影像相應的資訊。
例如，至少一個圖形使用者介面(510及520)可控制客戶端(200)中所顯示的影像的播放，或者為了顯示與影像相應的資訊而包含至少一個用戶界面。
根據其他例子所示，為了操作客戶端(200)中所顯示的遊戲或者顯示與遊戲相應的資訊，可包含至少一個圖形使用者介面(510及520)。
客戶端(200)隨著用戶的行動而移動時，Layer 1(400)中顯示的影像架構變更為與播放方向數據及影像方向數據相應的影像架構，且播放方向數據及影像方向數據由客戶端(200)的位置或方向决定。但是Layer 2(500)中所顯示的圖形使用者介面的位置可以不變，且與用戶的視線一起移動。
同樣，根據已著手的實施例所示，Layer 1(400)中顯示第1視角的影像架構，且未從第1視角處接收影像架構的傳輸週期所經過的視角，即第2視角的影像架構時，客戶端(200)計算出第1視角的影像方向數據與第2視角的播放方向數據之間的差異，然後以該差異值為基礎修正第1影像架構並生成第2代替影像架構。
在一個Layer中同時顯示影像架構和圖形使用者介面的情况下，根據實施例修正第1影像架構時，第1影像架構中所顯示的圖形使用者介面也同時進行行動或旋轉，可能使用戶感到不適。
因此，根據第10圖中所示的實施例，透過將影像架構分配至Layer 1(400)、將圖形使用者介面(510及520)分配至Layer 2(500)，以此來消除修正影像架構引起的不適。
具體來說，是客戶端(200)將生成的第2代替影像架構分配至Layer 1(400)並予以顯示。
另一方面，在客戶端(200)中生成Layer 2(500)，未出現延遲或遺漏。同時，由於Layer 2(500)中顯示的圖形使用者介面(510及520)的位置在架構內沒有變化，因此無需對Layer 2(500)中顯示的架構進行修正。
因此，客戶端將包含已完成修正的第2代替影像架構在內的Layer 1(400)和未進行修正的Layer 2(500)合成後生成最終影像架構，並顯示所生成的最終影像架構。
客戶端(200)可從伺服器(100)接收在Layer 2(500)中顯示的、為生成圖形使用者介面(510及520)的資訊，並可直接獲取。
從伺服器(100)接收資訊生成圖形使用者介面(510及520)時，為生成圖形使用者介面(510及520)所需的資訊量與包含Layer 1(400)中顯示的影像架構在內的資訊量相比，相對較少。同時，圖形使用者介面(510及520)與Layer 1(400)中顯示的影像架構不同，無需隨著客戶端(200)的活動或時間的推移而立即變化的情况較多，因此透過對Layer 1(400)和Layer 2(500)進行分離處理，可輕鬆對影像進行修正。在根據已著手的實施例對影像架構進行修正的過程中，可以同時修正圖形使用者介面，以防止出現使用戶感到不適的現象。
第11圖是根據實施例，對包含Layer 1、Layer 2及Layer 3的虛擬實境影像播放方法進行圖解的圖式。
第11圖是在第10圖的基礎上，對增加了Layer 3(600)的實施例進行圖解的圖式。因此，即使省略了與Layer 1(400)及Layer 2(500)相關的內容，第10圖中所講的內容依然適用於第11圖中的Layer 1(400)及Layer 2(500)。
在實施例中，客戶端(200)與一個以上的控制器(無圖示)連接。控制器用於控制虛擬實境影像，或者控制利用虛擬實境影像的應用程式或遊戲。
客戶端(200)接收控制器的操作資訊，並利用所接收的操作資訊生成顯示至少一個控制器的控制資訊的影像。
客戶端(200)將顯示控制器控制資訊的影像分配至Layer 3(600)。
參照第11圖，Layer 3(600)會顯示控制器圖像(610及620)，並至少出現有關控制器位置、方向及操作資訊中的一個。
客戶端(200)至少獲得控制器的位置、方向及操作資訊中的一個，並利用獲得的資訊生成出現控制器控制資訊的影像。客戶端(200)在Layer 3(600)中顯示所生成影像的架構。
Layer 3(600)中所顯示的資訊是客戶端(200)從控制器處接收並顯示的資訊，因此與伺服器(100)的通訊狀態無關，客戶端(200)可獲得或生成資訊並予以顯示。
客戶端(200)可顯示控制器的控制資訊，不會出現與伺服器(100)進行通訊的過程中可能會出現的延遲(latency)現象。
因此與Layer 2(500)一樣，無需對Layer 3(600)進行架構修正。
客戶端(200)僅對Layer 1(400)中顯示的影像架構進行修正，並透過修正將第2代替影像架構分配至Layer 2(400)，同時合成Layer 1(400)、Layer 2(500)、Layer 3(600)後生成最終影像架構。
客戶端(200)顯示所生成的最終影像架構。
以上根據本發明的實施例所陳述的虛擬實境影像傳輸方法、虛擬實境影像播放方法及虛擬實境影像修正方法，為了與硬體伺服器(100)或客戶端(200)結合並運行，可利用程式(或應用程式)予以呈現並儲存於載體之中。
為了使電腦讀取程式並利用程式執行上述方法，電腦的處理器(CPU)可透過電腦的設備接孔讀取C、C++、JAVA、機器語言等電腦語言，上面所說的程式可包含利用這些電腦語言實現代碼化的程式碼(Code)。這種程式碼可包含與對執行上述方法所需的功能進行定義的函數等相關的功能程式碼(Functional Code)，以及電腦處理器按照規定流程，執行其功能時所需與執行流程相關的控制程式碼。同時，對於是否應在電腦內部或外部內存的某個位置(位址編號)參照電腦處理器在執行其功能等時所需的其他資訊或載體，這種程式碼還可包含與內存參數相關的程式碼。並且電腦的處理器為了執行其功能，需要與遠端(Remote)的其他電腦或伺服器進行通訊時，程式碼還可包含與通訊相關的程式碼，比如如何利用電腦的通訊模組與遠端的其他電腦或伺服器進行通訊，以及通訊時應收發何種資訊或載體等。
進行儲存的載體並非暫存器、Cache、內存等，在短暫的瞬間儲存數據的載體，而是指對數據進行半永久儲存並可透過機器進行解讀(reading)的載體。具體來說，雖然進行儲存的載體有ROM、RAM、CD-ROM、磁帶、軟碟片、光數據儲存設備等，但遠不侷限於此。即程式可被儲存於可連接電腦的各種伺服器上，各種記錄載體或用戶電腦上的各種記錄載體中。同時，載體可分散於透過網路進行連接的電腦系統中，並以分散方式儲存可被電腦讀取的程式碼。
根據上述有關本發明的說明顯示，其具有以下多種效果。
第一，可透過無線方式傳輸虛擬實境影像架構，從而减少特定視角的影像架構出現遺漏。用戶在未接收特定的影像架構時，虛擬實境空間的整體視角也不會搖晃，可保持自然的狀態。
第二，用戶在遠離伺服器電腦的情况下，可利用蜂巢通訊或WLAN通訊，在任何地方體驗流暢的虛擬實境影像。
第三，隨著對無法接收影像架構這一情况的完善，可透過無線方式傳輸虛擬實境影像，從而解决因與電腦連接的電纜而使行動受限，以及可能會被電纜絆倒而出現安全事故的問題。
第四，由於伺服器僅在符合客戶端請求的播放方向數據的整體影像中抽取一個架構進行傳輸，或者僅生成一個符合播放方向數據方向的架構進行傳輸，因此可節省無線通訊的網路頻寬。
第五，由於利用相同的數據容量僅傳輸一個架構，而非傳輸有關所有方向的整體影像，因此可在不占用太多通訊流量的情况下傳輸高解析度的影像。由此，佩戴客戶端的用戶可遠距離觀看高解析度的影像。
第六，客戶端僅接收伺服器要求播放方向的影像架構，因此為了播放特定方向的影像，客戶端無需執行在整體影像中抽取播放方向框架這一過程。因此，客戶端可無需具備高配置。
雖然參照所附圖式對本發明的實施例進行了說明，但在本發明所屬的技術領域中具備專業知識的人員知道，本發明可在不改變其技術思想或必備特定條件的情况下，採用其他具體形態予以實施。因此，只需理解以上的實施例在所有方面進行的例示，且並不侷限於此。
100‧‧‧伺服器
200‧‧‧客戶端

Claims (9)

  1. 一種虛擬實境影像播放方法，其包含：一客戶端從一伺服器接收一影像架構的階段；將接收的該影像架構分配至一Layer 1的階段；生成包含至少一圖形使用者介面的一Layer 2的階段；合成該Layer 1及該Layer 2並生成一最終影像架構的階段；以及顯示所生成該最終影像架構的階段；其中，生成該影像架構的階段，包含該客戶端從該伺服器接收與一第1視角相應的一第1影像架構的階段，該虛擬實境影像播放方法，進一步包含獲得與該第1視角相應的一播放方向數據及一影像方向數據的階段；該播放方向數據是與在一特定視角需在該客戶端畫面上進行播放的該影像架構方向相關的數據，該影像方向數據是與該伺服器生成的該影像架構的一3D空間方向相關的數據；接收該影像架構的階段，在未接收一第2視角的該影像架構時，進一步包含計算出該第1視角的該影像方向數據與該第2視角的該播放方向數據之間的差異值，並以該差異值為基礎修正該第1影像架構的階段，該第2視角是該影像架構的一傳輸週期經過該第1視角的一視角。
  2. 如申請專利範圍第1項所述之虛擬實境影像播放方法，進一步包含生成顯示至少一控制器控制資訊的一Layer 3階段，生成該最終影像架構的階段包含：合成該Layer 1、該Layer 2及該 Layer 3並生成該最終影像架構之階段。
  3. 如申請專利範圍第2項所述之虛擬實境影像播放方法，生成該Layer 3的階段是包含：該客戶端接收至少一個該控制器的一操作資訊的階段；利用接收的該操作資訊生成出現至少一個該控制器控制資訊的一影像階段；以及將生成的影像分配至該Layer 3的階段。
  4. 如申請專利範圍第1項所述之虛擬實境影像播放方法，獲得該播放方向數據的階段是包含測量一用戶的頸部運動以獲得該播放方向數據這一階段。
  5. 如申請專利範圍第1項所述之虛擬實境影像播放方法，修正該第1影像架構的階段，包含以該差異值為一基礎行動或變換該第1影像架構以生成一第2代替影像架構的階段，分配至該Layer 1的階段，包含將生成的該第2代替影像架構分配至該Layer 1這一階段。
  6. 如申請專利範圍第1項所述之虛擬實境影像播放方法，該播放方向數據及該影像方向數據，包含一高低角數據及一方位角數據，計算該差異值的階段進一步包含以計算該第2視角的該播放方向數據，與該第2視角的該影像方向數據之間的一高低角及一方位角差異為特色。
  7. 如申請專利範圍第1項所述之虛擬實境影像播放方法，該播放方向數據及該影像方向數據，包含以一用戶的正面方向為軸的旋轉角度即一傾斜數據，修正該第1影像架構的階段，包含以該第2視角的該播放方向數據及該第1視角的該影像方向數據之間的該傾斜數據差異為基礎，對該第1影像架構進行旋轉修 正這一階段。
  8. 如申請專利範圍第1項所述之虛擬實境影像播放方法，進一步包含若未接收與一第n視角相應的該影像架構，則將與一第n-1視角相應的該影像方向數據，及與該第n視角相應的該播放方向數據進行比較並計算出該差異值的階段；以及按照計算出的該差異值，對一第n-1代替影像架構進行修正並生成一第n代替影像架構的階段，該第n視角作為接收一第n次影像架構的該視角，是該影像架構的該傳輸週期經過該第n-1視角的該視角；其中，n是大於2的自然數。
  9. 一種虛擬實境影像播放程式，與硬體即電腦結合，為了執行申請專利範圍第1項至第8項中任何一項的方法而儲存於載體之中。
TW107106869A 2017-03-03 2018-03-01 虛擬實境影像播放方法及使用其之程式 TWI681673B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??10-2017-0027851 2017-03-03
KR10-2017-0027851 2017-03-03
KR1020170027851A KR101874111B1 (ko) 2017-03-03 2017-03-03 가상현실영상 재생방법 및 이를 이용한 프로그램

Publications (2)

Publication Number Publication Date
TW201834465A TW201834465A (zh) 2018-09-16
TWI681673B true TWI681673B (zh) 2020-01-01

Family

ID=62918022

Family Applications (2)

Application Number Title Priority Date Filing Date
TW107106869A TWI681673B (zh) 2017-03-03 2018-03-01 虛擬實境影像播放方法及使用其之程式
TW108135525A TWI755636B (zh) 2017-03-03 2018-03-01 虛擬實境影像播放方法及使用其之程式

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW108135525A TWI755636B (zh) 2017-03-03 2018-03-01 虛擬實境影像播放方法及使用其之程式

Country Status (7)

Country Link
US (1) US10540826B2 (zh)
EP (1) EP3422701B1 (zh)
JP (1) JP7196089B2 (zh)
KR (1) KR101874111B1 (zh)
CN (1) CN110383821B (zh)
TW (2) TWI681673B (zh)
WO (1) WO2018159981A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102090009B1 (ko) * 2018-08-07 2020-03-17 클릭트 주식회사 3차원 영상 콘텐츠를 제공하는 방법 및 프로그램
CN114581631A (zh) * 2020-12-02 2022-06-03 腾讯科技（深圳）有限公司 沉浸式媒体的数据处理方法、装置和计算机可读存储介质
JP7049515B1 (ja) * 2021-11-11 2022-04-06 株式会社Cygames 情報処理装置、プログラム及び描画方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389001A (zh) * 2014-09-02 2016-03-09 三星电子株式会社 用于提供虚拟现实服务的方法及装置
CN106131539A (zh) * 2016-06-30 2016-11-16 乐视控股（北京）有限公司 一种虚拟现实vr设备及其视频播放方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4560368B2 (ja) * 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
JP5113426B2 (ja) 2007-05-29 2013-01-09 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
JP4989417B2 (ja) * 2007-10-26 2012-08-01 キヤノン株式会社 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム
KR101409653B1 (ko) * 2007-12-18 2014-06-19 삼성전자주식회사 파노라마 사진 자동 촬영 방법
JP5347716B2 (ja) * 2009-05-27 2013-11-20 ソニー株式会社 画像処理装置、情報処理方法およびプログラム
JP2012048597A (ja) * 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
US8953022B2 (en) * 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
KR20140010616A (ko) * 2012-07-16 2014-01-27 한국전자통신연구원 3ｄ 가상 객체에 대한 조작 처리 장치 및 방법
GB201305402D0 (en) * 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
KR20150037254A (ko) * 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 디스플레이 디바이스 및 레이어 제어 방법
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
KR102182161B1 (ko) * 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
US10048347B2 (en) * 2014-07-07 2018-08-14 General Electric Company Power measurement on magnetic resonance imaging coil at different frequency than Larmor frequency
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
US9240069B1 (en) * 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
JP6949475B2 (ja) 2016-11-28 2021-10-13 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389001A (zh) * 2014-09-02 2016-03-09 三星电子株式会社 用于提供虚拟现实服务的方法及装置
CN106131539A (zh) * 2016-06-30 2016-11-16 乐视控股（北京）有限公司 一种虚拟现实vr设备及其视频播放方法

Also Published As

Publication number Publication date
CN110383821B (zh) 2022-04-29
CN110383821A (zh) 2019-10-25
KR101874111B1 (ko) 2018-07-03
JP2020509706A (ja) 2020-03-26
EP3422701C0 (en) 2024-07-17
EP3422701A1 (en) 2019-01-02
WO2018159981A1 (ko) 2018-09-07
TWI755636B (zh) 2022-02-21
US10540826B2 (en) 2020-01-21
TW201834465A (zh) 2018-09-16
EP3422701B1 (en) 2024-07-17
US20190005738A1 (en) 2019-01-03
JP7196089B2 (ja) 2022-12-26
EP3422701A4 (en) 2019-05-01
TW202029779A (zh) 2020-08-01

Similar Documents

Publication Publication Date Title
JP6511386B2 (ja) 情報処理装置および画像生成方法
JP6731482B2 (ja) 仮想現実映像伝送方法、再生方法、及びこれらを用いたプログラム
KR101788545B1 (ko) 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램
TWI681673B (zh) 虛擬實境影像播放方法及使用其之程式
US20230209031A1 (en) Methods, systems, and media for generating and rendering immersive video content
US11187895B2 (en) Content generation apparatus and method
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
US11127208B2 (en) Method for providing virtual reality image and program using same
JP7047085B2 (ja) 画像生成装置、画像生成方法、およびプログラム
KR102192153B1 (ko) 가상현실 영상 제공 방법 및 이를 이용한 프로그램
KR102179810B1 (ko) 가상현실영상 재생방법 및 이를 이용한 프로그램