TWI704376B - 視角校正方法、虛擬實境顯示系統與運算裝置 - Google Patents

視角校正方法、虛擬實境顯示系統與運算裝置 Download PDF

Info

Publication number
TWI704376B
TWI704376B TW108125598A TW108125598A TWI704376B TW I704376 B TWI704376 B TW I704376B TW 108125598 A TW108125598 A TW 108125598A TW 108125598 A TW108125598 A TW 108125598A TW I704376 B TWI704376 B TW I704376B
Authority
TW
Taiwan
Prior art keywords
head
display device
mounted display
current video
angle
Prior art date
Application number
TW108125598A
Other languages
English (en)
Other versions
TW202104974A (zh
Inventor
黃志文
楊朝光
徐文正
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW108125598A priority Critical patent/TWI704376B/zh
Priority to US16/595,480 priority patent/US11216976B2/en
Application granted granted Critical
Publication of TWI704376B publication Critical patent/TWI704376B/zh
Publication of TW202104974A publication Critical patent/TW202104974A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種視角校正方法、虛擬實境顯示系統與運算裝置。利用配戴感測器偵測頭戴顯示裝置是否配戴於使用者的頭部上。反應於頭戴顯示裝置配戴於使用者的頭部上，擷取由頭戴顯示裝置顯示的當前視頻畫面，其中當前視頻畫面基於頭戴顯示裝置的方位角定位參數而產生。判斷當前視頻畫面的畫面俯仰角。依據畫面俯仰角校正頭戴顯示裝置的方位角定位參數，致使頭戴顯示裝置顯示基於校正後的方位角定位參數產生下一視頻畫面。

Description

視角校正方法、虛擬實境顯示系統與運算裝置
本發明是有關於一種虛擬實境技術，且特別是有關於一種視角校正方法、虛擬實境顯示系統與運算裝置。
近年來，虛擬實境(virtual reality，VR)顯示技術發展火熱。VR顯示裝置是利用電腦模擬產生一個三維空間的虛擬世界，提供使用者關於視覺感官的模擬，讓使用者感覺彷彿身歷其境。一般而言，VR顯示裝置可以被實現為頭戴顯示裝置(HMD)。VR顯示裝置可以讓使用者及時、沒有限制地觀察三維空間內的事物。使用者動作時，電腦可以立即進行複雜的運算，將精確的三維世界影像傳回VR顯示裝置，以便讓使用者感受到臨場感。
然而，當使用者穿戴VR顯示裝置觀看虛擬實境內容時，VR顯示裝置所提供顯示的畫面視角可能與使用者預期的觀看視角不一致，從而影響使用者體驗。舉例而言，當使用者頭部直立 且使用者水平地正向前方時，VR顯示裝置可能因為定位誤差或其他相關因素顯示出畫面視角非為水平的影像內容。或者，當使用者欲以躺姿使用VR顯示裝置時，VR顯示裝置並不會立即地顯示出對應於水平視角的畫面，使用者往往需要執行額外的校正步驟來調整顯示畫面。
有鑑於此，本發明提出一種視角校正方法、虛擬實境顯示系統與運算裝置，其可自動地將VR顯示裝置的畫面視角校正回使用者預期的特定視角(例如水平視角)，從而提昇使用便利性。
本發明實施例提供一種視角校正方法，適用於包括頭戴顯示裝置的虛擬實境顯示系統，所述方法包括下列步驟。利用配戴感測器偵測頭戴顯示裝置是否配戴於使用者的頭部上。反應於頭戴顯示裝置配戴於使用者的頭部上，擷取由頭戴顯示裝置顯示的當前視頻畫面，其中當前視頻畫面基於頭戴顯示裝置的方位角定位參數而產生。判斷當前視頻畫面的畫面俯仰角。依據畫面俯仰角校正頭戴顯示裝置的方位角定位參數，致使頭戴顯示裝置顯示基於校正後的方位角定位參數產生下一視頻畫面。
本發明實施例提供一種虛擬實境顯示系統，包括頭戴顯示裝置與運算裝置。頭戴顯示裝置包括配戴感測器。配戴感測器偵測頭戴顯示裝置是否配戴於使用者的頭部上。運算裝置包括儲存電路與耦接儲存電路的處理器。處理器經配置以執行下列步 驟。反應於頭戴顯示裝置配戴於使用者的頭部上，擷取由頭戴顯示裝置顯示的當前視頻畫面，其中當前視頻畫面基於頭戴顯示裝置的方位角定位參數而產生。判斷當前視頻畫面的畫面俯仰角。依據畫面俯仰角校正頭戴顯示裝置的方位角定位參數，致使頭戴顯示裝置顯示基於校正後的方位角定位參數產生下一視頻畫面。
本發明實施例提供一種運算裝置，其包括儲存電路與耦接儲存電路的處理器。處理器經配置以執行下列步驟。反應於偵測到頭戴顯示裝置配戴於使用者的頭部上，擷取由頭戴顯示裝置顯示的當前視頻畫面，其中當前視頻畫面基於頭戴顯示裝置的方位角定位參數而產生。判斷當前視頻畫面的畫面俯仰角。依據畫面俯仰角校正頭戴顯示裝置的方位角定位參數，致使頭戴顯示裝置顯示基於校正後的方位角定位參數產生下一視頻畫面。
基於上述，於本發明的實施例中，反應於頭戴顯示裝置配戴於使用者的頭部上，由頭戴顯示裝置顯示的當前視頻畫面被擷取出來，並判斷此當前視頻畫面的畫面俯仰角。之後，方位角定位參數將基於畫面俯仰角而被校正，使得依據校正後之方位角定位參數而產生的下一視頻畫面的畫面視角符合使用者期待。藉此，頭戴顯示裝置所顯示之視頻畫面的畫面視角可反應於使用者穿戴頭戴顯示裝置而立即且自動化被校正，從而提昇使用者體驗。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
10:虛擬實境顯示系統
110:頭戴顯示裝置
111:配戴感測器
112:慣性感測器
113:顯示器
114:定位元件
120:運算裝置
121:儲存裝置
122:處理器
201:頭部姿態追蹤模組
202:畫面引擎處理模組
203:視角偏移計算模組
204:參數校正模組
PM1、PM2:定位量測資料
FA1、FA2:畫面視角
P1、P2:方位角定位參數
OF1:視角偏移量
F1、F2:視頻畫面
S401~S404、S501~S510:步驟
圖1是依照本發明一實施例所繪示的虛擬實境顯示系統的示意圖。
圖2是依照本發明一實施例所繪示的視角校正方法的示意圖。
圖3A與圖3B是依照本發明一實施例所繪示的情境示意圖。
圖4是依照本發明一實施例所繪示的視角校正方法的流程圖。
圖5是依照本發明一實施例所繪示的視角校正方法的流程圖。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法、系統與裝置的範例。
圖1是依照本發明一實施例所繪示的虛擬實境顯示系統的示意圖，但此僅是為了方便說明，並不用以限制本發明。請參照圖1，虛擬實境顯示系統10包括頭戴顯示裝置110與運算裝置120。
運算裝置120可創造出具有立體視覺效果的真實環境或是虛構場景，並且可與頭戴顯示裝置110進行溝通，以讓使用者得以在虛擬世界中進行探索以及互動。運算裝置120包括儲存裝置121與處理器122。
儲存裝置121用以儲存虛擬實境影像內容、程式碼、軟體元件等等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。
處理器122例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)、圖形處理器(Graphics Processing Unit，GPU或其他類似裝置或這些裝置的組合。處理器122可執行記錄於儲存裝置121中的程式碼、軟體模組、指令等等，以實現本發明實施例的視角校正方法。
用於例示，運算裝置120可與虛擬實境頭戴裝置120整合為一裝置，或可與頭戴顯示裝置110有線或無線連接。換言之，虛擬實境顯示系統10可整合為單一頭部穿戴裝置而實現。或者， 虛擬實境顯示系統10可由多台相互連接的電子裝置來實現。例如，運算裝置120可以是遊戲機、筆記型電腦、桌上型電腦或其他具有運算能力的電子裝置，而頭戴顯示裝置110可經由資料傳輸介面外接於運算裝置120。
頭戴顯示裝置110例如為VR頭盔，其適於配戴於使用者的頭部上。頭戴顯示裝置110接收運算裝置120提供的視頻資料與音頻資料，以顯示與播放視頻資料與音頻資料給使用者，讓使用者在視覺上有沉浸於虛擬世界的體驗。於本實施例中，頭戴顯示裝置110包括配戴感測器111、慣性感測器112、顯示器113，以及定位元件114。
配戴感測器111偵測頭戴顯示裝置110是否配戴於使用者的頭部上。配戴感測器111可以是近接感測器、紅外線感測器或其他類型的感測器，本發明對此不限制。當配戴感測器111偵測到使用者將頭戴顯示裝置110配戴於頭部上時，配戴感測器111可發出配戴訊號通知處理器122。
慣性感測器112可以是加速度感測器、陀螺儀、磁力儀或任何可偵測頭戴顯示裝置110之運動狀態的感測器。慣性感測器112所產生的感測資料可用以定位頭戴顯示裝置110。
顯示器113例如是液晶顯示器(Liquid Crystal Display，LCD)、發光二極體(Light-Emitting Diode，LED)顯示器、有機自發光二極體(Organic Light-Emitting Diode，OLED)顯示器或 其他種類的顯示器，本發明並不限制於此。當使用者將頭戴顯示裝置110配戴於頭部上時，使用者的雙眼可經由透鏡看到顯示器113所顯示的視頻畫面。
定位元件114可基於虛擬實境顯示系統10所使用的定位追蹤技術而實現為不同的元件。虛擬實境顯示系統10可應用需要依靠外部設備的外向內追蹤技術(Outside-in Tracking)或不需要任何外部設備的內向外追蹤技術(Inside-out Tracking)，本發明對此不限制。若虛擬實境顯示系統10應用外向內追蹤技術進行頭戴顯示裝置110的定位追蹤，則定位元件114可以是佈建於頭戴顯示裝置110之外殼表面上的紅外光/可見光發射器或雷射接收器等等。若虛擬實境顯示系統10應用內向外追蹤技術進行頭戴顯示裝置110的定位追蹤，則定位元件114可以是彩色圖像相機、深度相機、紅外線相機或其他類型的相機。
於一實施例中，定位量測資料可包括慣性感測器112所提供的感測資料與關聯於定位元件114的定位資料(例如深度影像、雷射光接收資料、紅外光影像等等)。處理器122可依據定位量測資料與方位角定位參數進行頭部姿態追蹤而取得頭戴顯示裝置110的畫面視角，並依據此畫面視角從3D環景影像中擷取出頭戴顯示裝置110需要顯示的畫面內容。於一實施例中，處理器122可先依據定位量測資料取得頭戴顯示裝置110的現實方位角，現實方位角為頭戴顯示裝置110於真實世界所呈現的姿態角度(其 例如可包括俯仰角、偏航角、翻滾角)，在依據此現實方位角與方位角定位參數計算出畫面視角。基此，虛擬實境顯示系統10可反應於使用者的頭部動作而提供對應視頻畫面，讓使用者的視覺可產生沉浸於虛擬環境的感覺。
於一實施例中，當配戴感測器111偵測到頭戴顯示裝置110自未配戴於頭部上的狀態改變為配戴於頭部上的狀態，配戴感測器111發出配戴訊號通知處理器122。於是，反應於偵測到頭戴顯示裝置110配戴於使用者的頭部上，處理器122擷取由頭戴顯示裝置110顯示的當前視頻畫面，而此當前視頻畫面是依據尚未校正的方向定位角參數而產生。處理器122可自畫面緩衝器中擷取出當前視頻畫面，此畫面緩衝器用以儲存將由顯示器113顯示的視頻畫面。如前述，關聯於配戴訊號的當前視頻畫面是基於頭戴顯示裝置110的方位角定位參數而產生。
於一實施例中，處理器122可依據當前視頻畫面的畫面內容判斷當前視頻畫面的畫面俯仰角。處理器122可依據當前視頻畫面的影像特徵而估測出畫面俯仰角。於一實施例中，處理器122可將當前視頻畫面輸入至機器學習模型而預測當前視頻畫面的畫面俯仰角。上述機器學習模型的機器學習演算法可以為深度學習演算法、類神經網路演算法或其他機器學習演算法等等，本發明對此不限制。換言之，依據訓練畫面與訓練畫面的實際俯仰角，用以預估畫面俯仰角的機器學習模型或分類器可事先據以建 立。處理器122可使用機器學習模型而預測出當前視頻畫面的畫面俯仰角。舉例而言，假設水平正視畫面的畫面俯仰角為90度，處理器122可能依據當前視頻畫面的影像特徵而判斷當前視頻畫面的畫面俯仰角為100度。
於一實施例中，處理器122依據畫面俯仰角校正頭戴顯示裝置110的方位角定位參數，致使頭戴顯示裝置110顯示基於校正後的方位角定位參數產生下一視頻畫面。具體而言，處理器122可計算畫面俯仰角與預設期望視角之間的差值而取得視角偏移量，再依據視角偏移量調整頭戴顯示裝置110的方位角定位參數。於一實施例中，方位角定位參數可視為一種用以決定畫面視角的視角基準，處理器122係依據此視角基準與頭戴顯示裝置110的定位量測資料決定一畫面視角。於此，在預設頭戴顯示裝置110剛被戴上時的畫面視角應為水平正視視角的情況下，預設期望視角可設置為水平視角，但本發明對於預設期望視角不限制。於一範例中，假設相對於水平正視角的視角偏移量為20度，則方位角定位參數將從A度調整為A+20度，以將下一視頻畫面的畫面視角調整為水平正視視角。然而，於其他實施例中，方位角定位參數可以是任何用以決定畫面視角的其他參數，只要是可以改變畫面視角的參數皆可作為本發明實施例的方位角定位參數。基於此，頭戴顯示裝置110可顯示基於調整後的方位角定位參數產生下一視頻畫面，使得頭戴顯示裝置110之下一視頻畫面的畫面視 角符合使用者期望。
圖2是依照本發明一實施例所繪示的視角校正方法的示意圖。需先說明的是，圖2所示的各功能模組可由運算裝置120的處理器122與儲存裝置121中的軟體元件實現。請參照圖2，頭部姿態追蹤模組201可依據對應至第一時間點的定位量測資料PM1與方位角定位參數P1決定畫面視角FA1，畫面處理引擎模組202可依據畫面視角FA1與虛擬實境內容V1計算出當前視頻畫面F1。顯示器113將顯示當前視頻畫面F1。
反應於配戴感測器111偵測到使用者戴上頭戴顯示裝置110所發出的配戴訊號S1，視角偏移計算模組203擷取當前視頻畫面F1並依據機器學習模型判斷當前視頻畫面F1的畫面俯仰角。視角偏移計算模組203可計算當前視頻畫面F1的畫面俯仰角與水平視角之間的視角偏移量OF1，而參數校正模組204可依據視角偏移量OF1調整方位角定位參數P1而產生校正後的方位角定位參數P2。於是，頭部姿態追蹤模組201可依據對應至第二時間點的定位量測資料PM2與校正後的方位角定位參數P2決定畫面視角FA2，畫面處理引擎模組202可依據畫面視角FA2與虛擬實境內容V1計算出下一視頻畫面F2。顯示器113將顯示下一視頻畫面F2。
需說明的是，本發明實施例中校正方位角定位參數而調整畫面視角的時機為頭戴顯示裝置110剛被戴上的時候，讓使用 者可無須額外的校正手續而將畫面視角調整為水平正視視角。此外，在本發明實施例中，方位角定位參數在依據關聯於配戴訊號的當前視頻畫面而自動調整之後，可再依據後續的定位量測資料而繼續調整至更理想狀態。
圖3A與圖3B是依照本發明一實施例所繪示的情境示意圖。請先參照圖3A，反應於使用者剛戴上頭戴顯示裝置110，處理器122可基於頭部姿態追蹤技術而取得頭戴顯示裝置110的姿態俯仰角θP1，而姿態俯仰角θP1可能因為使用者的姿勢(例如躺姿)或定位誤差而與水平面相差一角度差。處理器122依據姿態俯仰角θP1與方位角定位參數取得畫面視角FA1，以依據畫面視角FA1顯示當前視頻畫面F1。接著，處理器122依據基於當前視頻畫面F1所估測的畫面俯仰角與水平視角計算出視角偏移量，並依據視角偏移量調整方位角定位參數。之後，請再參照圖3B，處理器122依據姿態俯仰角θP1與校正後的方位角定位參數取得畫面視角FA2，以依據畫面視角FA2顯示下一視頻畫面F2。比較圖3A與圖3B，頭戴顯示裝置110將自依據畫面視角FA1顯示畫面而調整為依據畫面視角FA2(即水平視角)顯示畫面。由圖3A與圖3B的範例可知，於使用者以躺姿戴上頭戴顯示裝置110的使用情境中，即便頭戴顯示裝置110並非水平置放，但本發明實施例的頭戴顯示裝置110可自動調整為依據水平視角顯示畫面給使用者。
圖4是依照本發明一實施例所繪示的視角校正方法的流 程圖。於步驟S401，利用配戴感測器偵測頭戴顯示裝置是否配戴於使用者的頭部上。於步驟S402，反應於頭戴顯示裝置配戴於使用者的頭部上，擷取由頭戴顯示裝置顯示的當前視頻畫面。當前視頻畫面基於頭戴顯示裝置的方位角定位參數而產生。於步驟S403，判斷當前視頻畫面的畫面俯仰角。於步驟S404，依據畫面俯仰角校正頭戴顯示裝置的方位角定位參數，致使頭戴顯示裝置顯示基於校正後的方位角定位參數產生下一視頻畫面。
圖5是依照本發明一實施例所繪示的視角校正方法的流程圖。於步驟S501，利用配戴感測器偵測頭戴顯示裝置是否配戴於使用者的頭部上。於步驟S502，依據方位角定位參數與定位量測資料取得畫面視角。於步驟S503，依據畫面視角產生當前視頻畫面。於步驟S504，反應於頭戴顯示裝置配戴於使用者的頭部上，擷取由頭戴顯示裝置顯示的當前視頻畫面。當前視頻畫面基於頭戴顯示裝置的方位角定位參數而產生。於步驟S505，依據機器學習模型判斷當前視頻畫面的畫面俯仰角。於步驟S506，計算畫面俯仰角與預設期望視角之間的差值而取得視角偏移量。於步驟S507，依據視角偏移量調整頭戴顯示裝置的方位角定位參數。於步驟S508，依據校正後的方位角定位參數與定位量測資料取得另一畫面視角。於步驟S509，依據另一畫面視角產生下一視頻畫面。於步驟S510，由頭戴顯示裝置顯示下一視頻畫面。
然而，圖4與圖5中各步驟已詳細說明如上，在此便不 再贅述。值得注意的是，圖4與圖5中各步驟可以實作為多個程式碼或是電路，本發明不加以限制。此外，圖4與圖5的方法可以搭配以上實施例使用，也可以單獨使用，本發明不加以限制。
綜上所述，於本發明實施例中，當使用者將頭戴顯示裝置穿戴于頭部上時，藉由預估當前視頻畫面的畫面俯仰角，頭戴顯示裝置可自動提供對應至預設期望視角的視頻畫面給使用者觀看。藉此，使用者無需執行額外的校正手續而觀看到對應至預設期望視角的視頻畫面，因而可大幅提升便利性與使用者體驗。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S401~S404:步驟

Claims (9)

  1. 一種視角校正方法，適用於包括一頭戴顯示裝置的一虛擬實境顯示系統，所述方法包括： 利用配戴感測器偵測該頭戴顯示裝置是否配戴於使用者的頭部上； 反應於該頭戴顯示裝置配戴於該使用者的該頭部上，擷取由該頭戴顯示裝置顯示的當前視頻畫面，其中該當前視頻畫面基於該頭戴顯示裝置的方位角定位參數而產生； 判斷該當前視頻畫面的畫面俯仰角；以及 依據該畫面俯仰角校正該頭戴顯示裝置的該方位角定位參數，致使該頭戴顯示裝置顯示基於校正後的該方位角定位參數產生下一視頻畫面。
  2. 如申請專利範圍第1項所述的視角校正方法，其中判斷該當前視頻畫面的畫面俯仰角的步驟包括： 將該當前視頻畫面輸入至一機器學習模型而預測該當前視頻畫面的該畫面俯仰角。
  3. 如申請專利範圍第1項所述的視角校正方法，其中依據該畫面俯仰角校正該頭戴顯示裝置的該方位角定位參數，致使該頭戴顯示裝置顯示基於校正後的該方位角定位參數產生該下一視頻畫面的步驟包括： 計算該畫面俯仰角與一預設期望視角之間的差值而取得視角偏移量；以及 依據該視角偏移量調整該頭戴顯示裝置的該方位角定位參數。
  4. 如申請專利範圍第1項所述的視角校正方法，在擷取由該頭戴顯示裝置顯示的該當前視頻畫面的步驟之前，所述方法更包括： 依據該方位角定位參數與定位量測資料取得畫面視角；以及 依據該畫面視角產生該當前視頻畫面。
  5. 一種虛擬實境顯示系統，包括： 一頭戴顯示裝置，包括： 一配戴感測器，偵測該頭戴顯示裝置是否配戴於使用者的頭部上； 一運算裝置，連接該頭戴顯示裝置，包括： 一儲存電路；以及 一處理器，耦接該儲存電路，經配置以： 反應於該頭戴顯示裝置配戴於該使用者的該頭部上，擷取由該頭戴顯示裝置顯示的當前視頻畫面，其中該當前視頻畫面基於該頭戴顯示裝置的方位角定位參數而產生； 判斷該當前視頻畫面的畫面俯仰角；以及 依據該畫面俯仰角校正該頭戴顯示裝置的該方位角定位參數，致使該頭戴顯示裝置顯示基於校正後的該方位角定位參數產生下一視頻畫面。
  6. 如申請專利範圍第5項所述的虛擬實境顯示系統，其中所述處理器經配置以： 將該當前視頻畫面輸入至一機器學習模型而預測該當前視頻畫面的該畫面俯仰角。
  7. 如申請專利範圍第5項所述的虛擬實境顯示系統，其中所述處理器經配置以： 計算該畫面俯仰角與一預設期望視角之間的差值而取得視角偏移量；以及 依據該視角偏移量調整該頭戴顯示裝置的該方位角定位參數。
  8. 如申請專利範圍第5項所述的虛擬實境顯示系統，其中所述處理器經配置以： 依據該方位角定位參數與定位量測資料取得畫面視角；以及 依據該畫面視角產生該當前視頻畫面。
  9. 一種運算裝置，包括： 一儲存電路；以及 一處理器，耦接該儲存電路，經配置以： 反應於偵測到頭戴顯示裝置配戴於使用者的頭部上，擷取由該頭戴顯示裝置顯示的當前視頻畫面，其中該當前視頻畫面基於該頭戴顯示裝置的方位角定位參數而產生； 判斷該當前視頻畫面的畫面俯仰角；以及 依據該畫面俯仰角校正該頭戴顯示裝置的該方位角定位參數，致使該頭戴顯示裝置顯示基於校正後的該方位角定位參數產生下一視頻畫面。
TW108125598A 2019-07-19 2019-07-19 視角校正方法、虛擬實境顯示系統與運算裝置 TWI704376B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108125598A TWI704376B (zh) 2019-07-19 2019-07-19 視角校正方法、虛擬實境顯示系統與運算裝置
US16/595,480 US11216976B2 (en) 2019-07-19 2019-10-08 Angle of view calibration method, virtual reality display system and computing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108125598A TWI704376B (zh) 2019-07-19 2019-07-19 視角校正方法、虛擬實境顯示系統與運算裝置

Publications (2)

Publication Number Publication Date
TWI704376B true TWI704376B (zh) 2020-09-11
TW202104974A TW202104974A (zh) 2021-02-01

Family

ID=73644202

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108125598A TWI704376B (zh) 2019-07-19 2019-07-19 視角校正方法、虛擬實境顯示系統與運算裝置

Country Status (2)

Country Link
US (1) US11216976B2 (zh)
TW (1) TWI704376B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI790640B (zh) * 2021-06-11 2023-01-21 宏碁股份有限公司 擴增實境顯示裝置與方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11205297B1 (en) * 2018-10-10 2021-12-21 Robert Edwin Douglas Method and apparatus for recall volume rendering
US11861864B2 (en) * 2021-07-23 2024-01-02 Vgis Inc. System and method for determining mediated reality positioning offset for a virtual camera pose to display geospatial object data
JP7159503B1 (ja) * 2022-08-24 2022-10-24 セーフィー株式会社 情報処理システム、情報処理方法、及び情報処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201546491A (zh) * 2014-03-03 2015-12-16 Eyeway Vision Ltd 眼睛投影系統
WO2018112838A1 (zh) * 2016-12-22 2018-06-28 深圳市柔宇科技有限公司 头戴式显示设备及其视觉辅助方法
TW201903471A (zh) * 2017-04-12 2019-01-16 美商惠普發展公司有限責任合夥企業 對頭戴式顯示器之傳輸技術
TW201915445A (zh) * 2017-10-13 2019-04-16 緯創資通股份有限公司 用於頭戴式顯示裝置的定位方法、定位器以及定位系統
CN109752853A (zh) * 2019-03-18 2019-05-14 京东方科技集团股份有限公司 一种画面位置校正方法、装置及头戴显示设备
TW201924327A (zh) * 2017-11-16 2019-06-16 宏達國際電子股份有限公司 適應性交錯影像捲繞的方法、系統以及記錄媒體

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030429A1 (en) * 2006-08-07 2008-02-07 International Business Machines Corporation System and method of enhanced virtual reality
US20150253574A1 (en) * 2014-03-10 2015-09-10 Ion Virtual Technology Corporation Modular and Convertible Virtual Reality Headset System
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10691201B2 (en) * 2016-12-19 2020-06-23 Intel Corporation Image stream switcher

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201546491A (zh) * 2014-03-03 2015-12-16 Eyeway Vision Ltd 眼睛投影系統
WO2018112838A1 (zh) * 2016-12-22 2018-06-28 深圳市柔宇科技有限公司 头戴式显示设备及其视觉辅助方法
TW201903471A (zh) * 2017-04-12 2019-01-16 美商惠普發展公司有限責任合夥企業 對頭戴式顯示器之傳輸技術
TW201915445A (zh) * 2017-10-13 2019-04-16 緯創資通股份有限公司 用於頭戴式顯示裝置的定位方法、定位器以及定位系統
TW201924327A (zh) * 2017-11-16 2019-06-16 宏達國際電子股份有限公司 適應性交錯影像捲繞的方法、系統以及記錄媒體
CN109752853A (zh) * 2019-03-18 2019-05-14 京东方科技集团股份有限公司 一种画面位置校正方法、装置及头戴显示设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI790640B (zh) * 2021-06-11 2023-01-21 宏碁股份有限公司 擴增實境顯示裝置與方法

Also Published As

Publication number Publication date
US11216976B2 (en) 2022-01-04
TW202104974A (zh) 2021-02-01
US20210019913A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
TWI704376B (zh) 視角校正方法、虛擬實境顯示系統與運算裝置
US10848745B2 (en) Head-mounted display tracking system
US10416758B2 (en) Information processing apparatus, information processing system, and information processing method
US9070219B2 (en) System and method for presenting virtual and augmented reality scenes to a user
JP6558839B2 (ja) 媒介現実
US20120242656A1 (en) System and method for presenting virtual and augmented reality scenes to a user
US11002959B2 (en) Head mount display device and driving method thereof
WO2019171557A1 (ja) 画像表示システム
JP7367689B2 (ja) 情報処理装置、情報処理方法、及び記録媒体
US11238616B1 (en) Estimation of spatial relationships between sensors of a multi-sensor device
WO2019155840A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240071018A1 (en) Smooth object correction for augmented reality devices
TW201827106A (zh) 移動追蹤方法及移動追蹤系統
US20180309971A1 (en) System device and methods for grading discomfort effects of three dimensional (3d) content
CN112308906B (zh) 视角校正方法、虚拟实境显示系统与运算装置
TWI757872B (zh) 整合動作感測器的擴增實境系統與擴增實境顯示方法
CN114253389B (zh) 整合动作感测器的增强现实系统与增强现实显示方法
US11893167B2 (en) Information processing device, information processing method, non-transitory computer readable medium
US11442543B1 (en) Electronic devices with monocular gaze estimation capabilities
US11380071B2 (en) Augmented reality system and display method for anchoring virtual object thereof
JP6503407B2 (ja) コンテンツ表示プログラム、コンピュータ装置、コンテンツ表示方法、及びコンテンツ表示システム
KR101487490B1 (ko) 웨어러블 단말의 영상 분석 방법
JP2021089678A (ja) 頭部装着型ディスプレイ・システム及び頭部装着型ディスプレイ・システムの回転中心補正方法