TWI690730B - 可於子母畫面模式顯示虛擬場景以及現實場景之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體 - Google Patents

可於子母畫面模式顯示虛擬場景以及現實場景之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體 Download PDF

Info

Publication number
TWI690730B
TWI690730B TW108117509A TW108117509A TWI690730B TW I690730 B TWI690730 B TW I690730B TW 108117509 A TW108117509 A TW 108117509A TW 108117509 A TW108117509 A TW 108117509A TW I690730 B TWI690730 B TW I690730B
Authority
TW
Taiwan
Prior art keywords
head
unit
display system
mounted display
picture
Prior art date
Application number
TW108117509A
Other languages
English (en)
Other versions
TW202040214A (zh
Inventor
陳威碩
Original Assignee
未來市股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 未來市股份有限公司 filed Critical 未來市股份有限公司
Application granted granted Critical
Publication of TWI690730B publication Critical patent/TWI690730B/zh
Publication of TW202040214A publication Critical patent/TW202040214A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一種頭戴式顯示系統，其包含一可穿戴本體、一影像擷取單元、一顯示單元及一處理單元，該可穿戴本體可供一使用者穿戴，該影像擷取單元安裝於該可穿戴本體上且可擷取一現實場景，該顯示單元安裝於該可穿戴本體上且可以一子母畫面模式顯示一虛擬場景以及該現實場景，該處理單元耦接於該影像擷取單元以及該顯示單元。本發明允許該使用者於同一畫面(幀)同時觀看該現實場景與該虛擬場景，從而幫助該使用者瞭解其於現實環境中之當前狀態或當前位置，故本發明可有效地避免該使用者於體驗虛擬環境時意外碰撞受傷，進而確保該使用者之人身安全。

Description

可於子母畫面模式顯示虛擬場景以及現實場景之頭戴式顯示 系統、相關方法以及相關電腦可讀取記錄媒體
本發明關於一種頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體，尤指一種可於子母畫面模式顯示虛擬場景以及現實場景之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體。
隨著科技的發展與進步，電腦遊戲與使用者之間的互動需求也隨之增加。人機互動科技，例如體感遊戲、虛擬實境(Virtual Reality，VR)環境、擴增實境(Augmented Reality，AR)環境、混合實境(Mixed Reality，MR)環境、延展實境(Extended Reality，XR)環境，也由於其生理及娛樂功能而愈趨流行。現有的顯示設備例如頭戴顯示器(head mounted display，HMD)通常只能以全螢幕模式顯示虛擬環境之虛擬場景，使用者並沒有辦法看到現實環境之現實場景，因此使用者在體驗虛擬環境時可能無法察覺到現實環境中即將發生之意外，例如與現實環境中的障礙物發生碰撞。
因此，本發明目的之一在於提供一種可於子母畫面模式顯示虛擬場景以及現實場景之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體，以解決上述問題。
為達成上述目的，本發明揭露一種頭戴式顯示系統，其包含有一可穿戴本體、一顯示單元以及一處理單元，該可穿戴本體可供一使用者穿戴，該影像擷取單元安裝於該可穿戴本體上且可擷取一現實場景，該顯示單元安裝於該可穿戴本體上且可以一子母畫面模式顯示一虛擬場景以及該現實場景，該處理單元耦接於該影像擷取單元以及該顯示單元，該處理單元用於控制該影像擷取單元擷取該現實場景且另控制該顯示單元以該子母畫面模式顯示該虛擬場景以及該現實場景。
為達成上述目的，本發明另揭露一種利用一頭戴式顯示系統以一子母畫面模式顯示一虛擬場景以及一現實場景之方法，其包含有：利用該頭戴式顯示系統之一影像擷取單元擷取該現實場景；以及利用該頭戴式顯示系統之一顯示單元以該子母畫面模式顯示該虛擬場景以及該現實場景。
為達成上述目的，本發明另揭露一種內儲一程式之電腦可讀取記錄媒體，當一電腦載入該程式並執行後，可完成如上述方法。
綜上所述，本發明利用顯示單元以子母畫面模式同時於同一畫面(幀)顯示虛擬場景以及現實場景。因此本發明允許使用者於同一畫面(幀)上同時觀看虛擬場景以及現實場景，進而幫助使用者瞭解其於現實環境中的當 前位置或當前狀態，因此本發明可有效地避免使用者於體驗虛擬環境時意外碰撞受傷，進而確保使用者之人身安全。
1、1’、1”、1'''、1'''':頭戴式顯示系統
11、11’、11”、11'''、11'''':可穿戴本體
12、12’、12”、12'''、12'''':顯示單元
13、13’、13”、13'''、13'''':處理單元
14、14'''、14'''':追蹤單元
141、141'''':慣性量測單元
142''':攝影機模組
143''':手部感測器
144'''、144'''':下半身感測器
15、15’、15”、15'''、15'''':影像擷取單元
16’:開關單元
17”:遙控器
18”:通訊模組
19”:遠端計算設備
2:電視
21:視窗
S1~S5:步驟
S1’~S4’:步驟
S1”~S4”:步驟
S1'''~S5''':步驟
S1''''~S6'''':步驟
第1圖為本發明第一實施例頭戴式顯示系統之示意圖。
第2圖為本發明第一實施例頭戴式顯示系統之功能方塊圖。
第3圖為本發明第一實施例頭戴式顯示系統於全螢幕模式與子母畫面模式之間切換之方法流程圖。
第4圖為本發明第一實施例顯示單元以全螢幕模式顯示虛擬場景之示意圖。
第5圖為本發明第一實施例顯示單元以子母畫面模式同時顯示虛擬場景與現實場景之示意圖。
第6圖為本發明第二實施例頭戴式顯示系統之示意圖。
第7圖為本發明第二實施例頭戴式顯示系統之功能方塊圖。
第8圖為本發明第二實施例頭戴式顯示系統於全螢幕模式與子母畫面模式之間切換之方法流程圖。
第9圖為本發明第三實施例頭戴式顯示系統之示意圖。
第10圖為本發明第三實施例頭戴式顯示系統之功能方塊圖。
第11圖為本發明第三實施例頭戴式顯示系統於全螢幕模式與子母畫面模式之間切換之方法流程圖。
第12圖為本發明第四實施例頭戴式顯示系統之示意圖。
第13圖為本發明第四實施例頭戴式顯示系統之功能方塊圖。
第14圖為本發明第四實施例頭戴式顯示系統於全螢幕模式與子母畫面模式之間切換之方法流程圖。
第15圖為本發明第五實施例頭戴式顯示系統之示意圖。
第16圖為本發明第五實施例頭戴式顯示系統之功能方塊圖。
第17圖為本發明第五實施例頭戴式顯示系統於全螢幕模式與子母畫面模式之間切換之方法流程圖。
在本說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，製作商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區別元件的方式，而是以元件在功能上的差異來作為區別的基準。在通篇說明書及後續的請求項當中所提及的「包括」係為一開放式的用語，故應解釋成「包括但不限定於」。再者，為使熟習本發明所屬技術領域之一般技藝者能更進一步了解本發明，下文特列舉本發明之數個較佳實施例，並配合所附圖式，詳細說明本發明的構成內容。需注意的是圖式僅以說明為目的，並未依照原尺寸作圖。此外，「耦接」或「連接」一詞在此係包含任何直接及間接的電氣或結構連接手段。因此，若文中描述一第一裝置耦接/連接於一第二裝置，則代表該第一裝置可直接電氣/結構連接於該第二裝置，或透過其他裝置或連接手段間接地電氣/結構連接至該第二裝置。
請參閱第1圖與第2圖，第1圖為本發明第一實施例一頭戴式顯示系統1之示意圖，第2圖為本發明第一實施例頭戴式顯示系統1之功能方塊圖。如第1圖與第2圖所示，頭戴式顯示系統1包含有可供一使用者穿戴之一可穿戴本體11、一顯示單元12、一處理單元13、一追蹤單元14以及一影像擷取單元15。
影像擷取單元15可安裝於可穿戴本體11上且耦接於處理單元13，影像擷取單元15用於擷取一現實環境之一現實場景。於此實施例中，影像擷取單元15可為一攝影機模組，然本發明並不侷限於此。
顯示單元12可安裝於可穿戴本體11上且耦接於處理單元13，顯示單元12用於以一全螢幕模式顯示一虛擬環境之一虛擬場景或以一子母畫面模式同時於同一畫面(幀)顯示該虛擬場景以及影像擷取單元15所擷取之該現實場景，顯示單元12可自該全螢幕模式切換至該子母畫面模式和/或自該子母畫面模式切換至該全螢幕模式。於此實施例中，顯示單元12可為任一顯示器，例如一液晶顯示器(liquid crystal display,LED)、一發光二極體顯示器(light-emitting diode,LED,display)或一有機發光二極體顯示器(organic light-emitting diode,OLED,display)，而本發明並不侷限於此。
處理單元13可安裝於可穿戴本體11內，處理單元13可控制影像擷取單元15擷取該現實場景，此外，處理單元可另控制顯示單元12以該全螢幕模式顯示一虛擬環境之一虛擬場景或以該子母畫面模式同時於同一畫面顯示該虛擬場景以及該現實場景，並且指示顯示單元12自該全螢幕模式切換至該子母畫面模式和/或自該子母畫面模式切換至該全螢幕模式，以回應於一啟動命令。於此實施例中，處理單元13可以軟體、韌體、硬體或其組合之方式實施。舉例來說，處理單元13可為一處理器(processor)，例如一中央處理單元(CPU)、一應用處理器(application processor)或一微處理器(microprocessor)等，或透過專用集成電路(ASIC)實現，而本發明並不侷限於此。
追蹤單元14可耦接於處理單元13且用於追蹤頭戴式顯示系統1之位 置、方向或姿勢。於此實施例中，追蹤單元14可包含有安裝在可穿戴本體11內之一慣性量測單元(inertial measurement unit,IMU)141，例如一陀螺儀(gyroscope)、一加速度計(accelerometer)、一磁性感測器(magnetic sensor)或其組合，以追蹤可穿戴本體11之位置、方向或姿勢，以決定頭戴式顯示系統1之位置、方向或姿勢。而本發明並不侷限於此，該慣性量測單元亦可安裝在除了可穿戴本體之外之元件上。
舉例來說，在另一實施例中，該追蹤單元可另包含有一手部感測器、一下半身感測器或一外部攝影機模組，該慣性量測單元可安裝在該手部感測器、該下半身感測器或該外部攝影機模組內，以追蹤該手部感測器、該下半身感測器或該外部攝影機模組之位置、方向或姿勢，以決定頭戴式顯示系統之位置、方向或姿勢。
於此實施例中，追蹤單元14所收集之數據可作為決定是否產生該啟動命令之依據，舉例來說，當追蹤單元14之一追蹤結果符合一預設條件時可產生該啟動命令。而本發明並不侷限於此，於另一實施例中(稍後說明)，該追蹤單元所收集之數據亦可不作為決定是否產生該啟動命令之依據。
此外，於此實施例中，決定是否產生該啟動命令以及產生該啟動命令可由追蹤單元14來執行。而本發明並不侷限於此，舉例來說，在另一實施例中，該追蹤單元可將其所收集之數據或該追蹤結果傳送至該處理單元，而由該處理單元來執行決定是否產生該啟動命令以及產生該啟動命令之動作。
再者，於此實施例中，顯示單元12、處理單元13、追蹤單元14以及 影像擷取單元15可設置在可穿戴本體11上。而本發明並不侷限於此，舉例來說，在另一實施例中，該頭戴式顯示系統可另包含有一遠端計算設備以及一通訊模組，該遠端計算設備與該可穿戴本體分離設置，該通訊模組設置於該可穿戴本體上且用於提供一通訊通道至該遠端計算設備。具體地，該遠端計算設備可為一邊緣計算設備(edge computing device)、一雲計算設備(cloud computing device)、一本地端計算機(local host computer)、一遠端伺服器(remote server)、一智慧型手機(smart phone)等，該通訊模組可於該可穿戴本體與該遠端計算設備之間建立一有線或無線的連接。於此實施例中，該處理單元和/或該追蹤單元可至少部份設置在該遠端計算設備，而非該可穿戴本體；且該處理單元和/或該追蹤單元可將部份任務分配給該遠端計算設備，使得該遠端計算設備可藉由該通訊模組接收該追蹤單元之該追蹤結果或傳送該啟動命令，從而減少該可穿戴本體之尺寸與數據運算量，以使該可穿戴本體更輕薄且便於攜帶。
請參閱第3圖至第5圖，第3圖為本發明第一實施例頭戴式顯示系統1於該全螢幕模式與該子母畫面模式之間切換之方法流程圖，第4圖為本發明第一實施例顯示單元12以該全螢幕模式顯示該虛擬場景之示意圖，第5圖為本發明第一實施例顯示單元12以該子母畫面模式同時顯示該虛擬場景與該現實場景之示意圖。第3圖所示之方法包含有下列步驟：
步驟S1：顯示單元12以該全螢幕模式顯示該虛擬環境之該虛擬場景。
步驟S2：影像擷取單元15擷取該現實環境之該現實場景。
步驟S3：追蹤單元14追蹤頭戴式顯示系統1之位置、方向以及姿勢的其中至少一者。
步驟S4：追蹤單元14之該追蹤結果符合該預設條件時產生該啟動命 令。
步驟S5：處理單元13指示顯示單元12自該全螢幕模式切換至該子母畫面模式，以回應於該啟動命令。
以下針對上述步驟進行說明，於步驟S1中，如第4圖所示，當該使用者穿著可穿戴本體11時，可設定顯示單元12先以該全螢幕模式顯示該虛擬場景。在步驟S2至S4中，當該使用者體驗該虛擬環境時，追蹤單元14可藉由追蹤可穿戴本體11之位置、方向以及姿勢的其中至少一者，以決定頭戴式顯示系統1之位置、方向以及姿勢的其中至少一者。同時，影像擷取單元15可擷取該現實環境之該現實場景。接著，若追蹤單元14之該追蹤結果符合該預設條件時則可產生該啟動命令。於此實施例中，該預設條件可依據頭戴式顯示系統1與該現實環境之間的關係來決定。
舉例來說，該預設條件可為穿戴於該使用者身上之可穿戴本體11與一現實物件(如第4圖與第5圖所示之該現實環境中之一電視2)之間的一距離值等於或小於一預設距離值。較佳地，該預設距離值可為50公分，也就是說，當追蹤單元14在該使用者移動的過程中判斷可穿戴本體11與電視2之間的該距離值等於或小於50公分時，可相對應地產生該啟動命令，以警示該使用者，從而避免使用者於行進中碰撞於電視2。
而本發明之該預設條件並不侷限於此，在另一實施例中，該預設條件可為該頭戴式顯示系統之一預設方向或一預設姿勢，該啟動命令可於該追蹤單元所追蹤之該頭戴式顯示系統之一方向或一姿勢符合該預設方向或該預設姿勢時，相對應地被產生。
又或者，在另一實施例中(稍後說明)，該追蹤單元可另包含有一攝影機模組、一手部感測器，一下半身感測器或其組合，該手部感測器穿戴於該使用者之一手部，該下半身感測器穿戴於該使用者之一下半身(例如一腳部)，以決定該使用者之一手勢、一手部動作或一下半身動作，該預設條件可為一預設手勢、一預設手部動作、一預設下半身動作或其組合，該啟動命令可於該使用者之該手勢、該手部動作或該下半身動作符合該預設手勢、該預設手部動作或該預設下半身動作時，相對應地被產生。
又或者，在另一實施例中，該追蹤單元可以被省略，且該影像擷取單元可另用於根據其所擷取之影像追蹤該使用者之一手勢、該使用者之一手部動作、該使用者之一下半身動作、該頭戴式顯示系統之一位置、該頭戴式顯示系統之一方向、該頭戴式顯示系統之一姿勢的其中至少一者，以替代該追蹤單元之功能。
接著，於步驟S5中，處理單元13指示顯示單元12自如第4圖所示之該全螢幕模式切換至如第5圖所示之該子母畫面模式，以回應該啟動命令，從而允許該使用者於同一畫面(幀)上同時觀看該虛擬場景以及該現實場景，以幫助該使用者瞭解其於該現實環境中的當前位置或當前狀態，進而避免該使用者於體驗虛擬環境時意外碰撞受傷，進而確保該使用者之人身安全。
此外，當追蹤單元14或影像擷取單元15之該追蹤結果符合另一預設條件時，可調整該子母畫面模式所顯示之該現實場景之一視窗21之一尺寸以及一位置。舉例來說，該使用者可透過一特定手勢和/或一特定手部動作調整該子 母畫面模式顯示之該現實場景之視窗21之該尺寸以及該位置。又或者，在另一實施例中，該子母畫面模式顯示之該現實場景之視窗21之該尺寸以及該位置可根據該追蹤單元之一追蹤結果(例如一眼部追蹤結果)自動地進行調整，以提昇使用者體驗感受。
可理解地，若可穿戴本體11與該現實物件之間的該距離值再度增加而大於該預設距離值(例如50公分)時，顯示單元12可自該子母畫面模式切換至該全螢幕模式，以提昇使用沈浸感。
請參閱第6圖至第8圖，第6圖為本發明第二實施例一頭戴式顯示系統1’之示意圖，第7圖為本發明第二實施例頭戴式顯示系統1’之功能方塊圖，第8圖為本發明第二實施例頭戴式顯示系統1’於該全螢幕模式與該子母畫面模式之間切換之方法流程圖。如第6圖至第7圖所示，與第一實施例之頭戴式顯示系統1不同的是，本實施例之頭戴式顯示系統1’包含有一可穿戴本體11’、一顯示單元12’、一處理單元13’、一影像擷取單元15’以及一開關單元16’，影像擷取單元15’設置於可穿戴本體11’，顯示單元12’設置於可穿戴本體11’，處理單元13’設置於可穿戴本體11’且耦接顯示單元12’與影像擷取單元15’，開關單元16’設置於可穿戴本體11’且耦接處理單元13’，以於該開關單元16’之狀態改變時產生該啟動命令。換句話說，於此實施例中，該使用者可根據其實際需求藉由改變開關單元16’之狀態將顯示單元12’由該全螢幕模式切換至該子母畫面模式。再者，可理解地，該使用者可再次藉由改變開關單元16’之狀態將顯示單元12’由該子母畫面模式切換至該全螢幕模式。此外，於此實施例中，開關單元16’可為設置於可穿戴本體11’上的一實體按鍵，且開關單元16’之狀態可藉由被按壓或被點擊而改變。然本發明並不侷限於此，舉例來說，在另一實施例中，該開關單元亦可為該可 穿戴本體上或顯示在該顯示單元上的一虛擬按鍵，且其狀態可藉由觸控操作來改變。
請參閱第9圖至第11圖，第9圖為本發明第三實施例一頭戴式顯示系統1”之示意圖，第10圖為本發明第三實施例頭戴式顯示系統1”之功能方塊圖，第11圖為本發明第三實施例頭戴式顯示系統1”於該全螢幕模式與該子母畫面模式之間切換之方法流程圖。如第9圖至第11圖所示，與前述實施例之頭戴式顯示系統1、1’不同的是，本實施例之頭戴式顯示系統1”包含有一可穿戴本體11”、安裝於可穿戴本體11”上之一顯示單元12”、一處理單元13”、一影像擷取單元15”、一遙控器17”、一通訊模組18”以及一遠端計算設備19”，處理單元13”設置於遠端計算設備19”上，通訊模組18”於設置於遠端計算設備19”上之處理單元13”與設置於可穿戴本體11”上之顯示單元12”以及遙控器17”之間建立一通訊通道。換句話說，處理單元13”藉由通訊模組18”耦接顯示單元12”，以指示顯示單元12”於該全螢幕模式與該子母畫面模式之間切換，遙控器17”藉由通訊模組18”耦接於處理單元13”且可與處理單元13”通訊，以於遙控器17”被操作時產生該啟動命令，並於產生該啟動命令時藉由通訊模組18”將該啟動命令傳送至處理單元13”。也就是說，在此實施例中，該使用者可根據其需求利用遙控器17”傳送該啟動命令，將顯示單元12”由該全螢幕模式切換至該子母畫面模式。再者，可理解地，該使用者可再次操作遙控器17”將顯示單元12”由該子母畫面模式切換回該全螢幕模式。
請參閱第12圖至第14圖，第12圖為本發明第四實施例一頭戴式顯示系統1'''之示意圖，第13圖為本發明第四實施例頭戴式顯示系統1'''之功能方塊圖，第14圖為本發明第四實施例頭戴式顯示系統1'''於該全螢幕模式與該子母畫 面模式之間切換之方法流程圖。如第12圖至第14圖所示，與前述實施例之頭戴式顯示系統1、1’、1”不同的是，本實施例之頭戴式顯示系統1'''包含有一可穿戴本體11'''、一顯示單元12'''、一處理單元13'''、一追蹤單元14'''以及一影像擷取單元15'''，顯示單元12'''、處理單元13'''以及影像擷取單元15'''設置於可穿戴本體11'''，處理單元13'''耦接於顯示單元12'''，追蹤單元14'''包含有一攝影機模組142'''、一手部感測器143'''以及一下半身感測器144'''。攝影機模組142'''設置於可穿戴本體11'''且耦接處理單元13'''；手部感測器143'''穿戴於該使用者之該手部且耦接處理單元13'''；下半身感測器144'''穿戴於該使用者之該下半身且耦接處理單元13'''。追蹤單元14'''可用以追蹤該使用者之該手勢、該手部動作以及該下半身動作之至少一者，且該預設條件可為一預設手勢、一預設手部動作、一預設下半身動作或其組合。舉例來說，該啟動命令可於追蹤單元14'''所追蹤之該使用者之該手勢、該手部動作或該下半身動作符合該預設手勢、該預設手部動作或該預設下半身動作時被產生。而本發明並不侷限於此，在另一實施例中，該追蹤單元可包含有該攝影機模組、該手部感測器以及該下半身感測器之至少一者。舉例來說，在另一實施例中，該追蹤單元之該攝影機模組可省略，該追蹤單元可耦接於該影像擷取單元，以藉由該影像擷取單元所擷取之影像決定該使用者之該手勢、該使用者之該手部動作以及該使用者之該下半身動作的其中至少一者。
請參閱第15圖至第17圖，第15圖為本發明第五實施例一頭戴式顯示系統1''''之示意圖，第16圖為本發明第五實施例頭戴式顯示系統1''''之功能方塊圖，第17圖為本發明第五實施例頭戴式顯示系統1''''於該全螢幕模式與該子母畫面模式之間切換之方法流程圖。如第15圖至第17圖所示，與前述實施例之頭戴式顯示系統1、1’、1”、1'''不同的是，本實施例之頭戴式顯示系統1''''包含有一 可穿戴本體11''''、一顯示單元12''''、一處理單元13''''、一追蹤單元14''''以及一影像擷取單元15''''，顯示單元12''''、處理單元13''''以及影像擷取單元15''''設置於可穿戴本體11''''，處理單元13''''耦接於顯示單元12''''與影像擷取單元15''''，追蹤單元14''''包含有一慣性量測單元141''''以及一下半身感測器144''''。慣性量測單元141''''耦接於處理單元13''''；下半身感測器144'''穿戴於該使用者之該下半身且耦接於處理單元13''''。追蹤單元14''''可用以追蹤該使用者之該下半身動作、頭戴式顯示系統1''''之一位置、頭戴式顯示系統1''''之一方向以及頭戴式顯示系統1''''之一姿勢之至少一者。影像擷取單元15''''可包含有一攝影機模組且用於追蹤該使用者之該手勢以及該手部動作的至少其中一者。當追蹤單元14''''之一追蹤結果與影像擷取單元15''''之一追蹤結果分別符合一第一預設條件與一第二預設條件時，產生該啟動命令，其中該第一預設條件可為一預設距離值、頭戴式顯示系統1''''之一預設位置、頭戴式顯示系統1''''之一預設方向或頭戴式顯示系統1''''之一預設姿勢，該第二預設條件可為一預設手勢、一預設手部動作或一預設下半身動作。
於此實施例中，慣性量測單元141''''可安裝於可穿戴本體11''''上，使得追蹤單元14''''追蹤可穿戴本體11''''之一位置、一方向或一姿勢，進而決定頭戴式顯示系統1''''之該位置、該方向或該姿勢。
此外，決定是否產生該啟動命令的操作可為多段式操作，例如兩階段操作。舉例來說，當追蹤單元14''''決定可穿戴本體11''''與一現實物件之間的一距離值小於一預設距離值時，影像擷取單元15''''才另決定該使用者之該手勢是否符合該預設手勢，而當影像擷取單元15''''決定該使用者之該手勢符合該預設手勢時，才相對應地產生該啟動命令。而本發明並不侷限於此，舉例來說， 在另一實施例中，決定是否產生該啟動命令的操作亦可為一段式操作，即該啟動命令可於該追蹤單元之該追蹤結果與該影像擷取單元之該追蹤結果同時分別符合該第一預設條件與該第二預設條件時被產生。
此外，本發明上述實施例可以軟體、韌體、硬體或其組合之方式來實施，舉例來說，本發明亦可提供儲存有一程式之一電腦可讀取記錄媒體，以透過一處理器執行對應的程式來指示上述頭戴式顯示系統實現上述實施例中的步驟。上述處理器可為一中央處理單元(CPU)、一應用處理器(application processor)或一微處理器(microprocessor)等，或通過專用集成電路(ASIC)實現，而上述電腦可讀取記錄媒體可為一唯讀記憶體(read-only memory,ROM)、一隨機存取記憶體(random-access memory,RAM)、一光碟(CDROM)、一磁帶(magnetic tape)、一軟碟(floppy disk)、一硬碟(hard disk)或一光學儲存裝置(optical storage device)等，然本發明並不侷限於此。
相較於先前技術，本發明利用顯示單元選擇性地以全螢幕模式顯示虛擬場景或以子母畫面模式同時於同一畫面(幀)顯示虛擬場景以及現實場景，且另可利用處理單元指示顯示單元於全螢幕模式與子母畫面模式之間切換，以回應啟動命令。因此本發明允許使用者藉由不同方式來切換顯示單元之顯示模式，來達到幫助使用者瞭解其在現實環境中的當前位置或當前狀態，從而可能避免使用者於體驗虛擬環境時意外碰撞受傷，進而確保該使用者之人身安全。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
S1~S5:步驟

Claims (9)

  1. 一種可以一子母畫面模式顯示一虛擬場景以及一現實場景之頭戴式顯示系統，其包含有：一可穿戴本體，其用於供一使用者穿戴；一影像擷取單元，其安裝於該可穿戴本體上且用於擷取該現實場景；一顯示單元，其安裝於該可穿戴本體上且用於以該子母畫面模式顯示該虛擬場景以及該現實場景或以一全螢幕模式顯示該虛擬場景；一追蹤單元，其用於追蹤該頭戴式顯示系統之一位置、該頭戴式顯示系統之一方向以及該頭戴式顯示系統之一姿勢的其中至少一者；以及一處理單元，其耦接於該影像擷取單元、該追蹤單元以及該顯示單元，該處理單元用於控制該影像擷取單元擷取該現實場景且另控制該顯示單元以該子母畫面模式顯示該虛擬場景以及該現實場景或以該全螢幕模式顯示該虛擬場景，該處理單元指示該顯示單元於該子母畫面模式與該全螢幕模式之間切換，以回應於一啟動命令，其中該啟動命令於該追蹤單元之一追蹤結果符合一預設條件時被產生。
  2. 如請求項1所述之頭戴式顯示系統，其中：該追蹤單元用於追蹤該使用者之一手勢、該使用者之一手部動作、該使用者之一下半身動作、該頭戴式顯示系統之該位置、該頭戴式顯示系統之該方向以及該頭戴式顯示系統之該姿勢的其中至少一者；該啟動命令於該追蹤單元之該追蹤結果符合該預設條件時被產生，且該子母畫面模式顯示之該現實場景之一視窗之一尺寸以及一位置於該影像擷取單元之一追蹤結果符合另一預設條件時被調整。
  3. 如請求項1所述之頭戴式顯示系統，其中：該追蹤單元用於追蹤該使用者之一下半身動作、該頭戴式顯示系統之該位置、該頭戴式顯示系統之該方向以及該頭戴式顯示系統之該姿勢的其中至少一者；該影像擷取單元另用於追蹤該使用者之一手勢以及該使用者之一手部動作的其中至少一者，該啟動命令於該追蹤單元之該追蹤結果與該影像擷取單元之一追蹤結果分別符合該預設條件之一第一預設條件與一第二預設條件時被產生。
  4. 一種可以一子母畫面模式顯示一虛擬場景以及一現實場景之頭戴式顯示系統，其包含有：一可穿戴本體，其用於供一使用者穿戴；一影像擷取單元，其安裝於該可穿戴本體上且用於擷取該現實場景並另用於追蹤該使用者之一手勢、該使用者之一手部動作、該使用者之一下半身動作、該頭戴式顯示系統之一位置、該頭戴式顯示系統之一方向以及該頭戴式顯示系統之一姿勢的其中至少一者；一顯示單元，其安裝於該可穿戴本體上且用於以該子母畫面模式顯示該虛擬場景以及該現實場景或以一全螢幕模式顯示該虛擬場景；以及一處理單元，其耦接於該影像擷取單元以及該顯示單元，該處理單元用於控制該影像擷取單元擷取該現實場景且另控制該顯示單元以該子母畫面模式顯示該虛擬場景以及該現實場景或以該全螢幕模式顯示該虛擬場景，該處理單元指示該顯示單元於該子母畫面模式與該全螢幕模式之間切換，以回應於一啟動命令，其中該啟動命令於該影像擷取單元之一追蹤結果符合一預設條件時被產生，且該子母畫面模式顯示之該 現實場景之一視窗之一尺寸以及一位置於該影像擷取單元之該追蹤結果符合另一預設條件時被調整。
  5. 一種利用一頭戴式顯示系統以一子母畫面模式顯示一虛擬場景以及一現實場景之方法，其包含有：利用該頭戴式顯示系統之一影像擷取單元擷取該現實場景；利用該頭戴式顯示系統之一顯示單元以該子母畫面模式顯示該虛擬場景以及該現實場景或以一全螢幕模式顯示該虛擬場景；利用該頭戴式顯示系統之一追蹤單元追蹤該頭戴式顯示系統之一位置、該頭戴式顯示系統之一方向以及該頭戴式顯示系統之一姿勢的其中至少一者；當該追蹤單元之一追蹤結果符合一預設條件時，產生一啟動命令；以及利用該頭戴式顯示系統之一處理單元指示該顯示單元於該全螢幕模式與該子母畫面模式之間切換，以回應於該啟動命令。
  6. 如請求項5所述之方法，其另包含有：利用該頭戴式顯示系統之該追蹤單元追蹤該使用者之一手勢、該使用者之一手部動作、該使用者之一下半身動作、該頭戴式顯示系統之該位置、該頭戴式顯示系統之該方向以及該頭戴式顯示系統之該姿勢的其中至少一者；當該追蹤單元之該追蹤結果符合該預設條件時，產生該啟動命令；以及當該影像擷取單元之一追蹤結果符合另一預設條件時，調整以該子母畫面模式顯示之該現實場景之一視窗之一尺寸以及一位置。
  7. 如請求項5所述之方法，其另包含有：利用該頭戴式顯示系統之該追蹤單元追蹤該使用者之一下半身動作、該頭戴式顯示系統之該位置、該頭戴式顯示系統之該方向以及該頭戴式顯示系統之該姿勢的其中至少一者；利用該影像擷取單元追蹤該使用者之一手勢以及該使用者之一手部動作的其中至少一者；以及當該追蹤單元之該追蹤結果與該影像擷取單元之一追蹤結果分別符合該預設條件之一第一預設條件與一第二預設條件時，產生該啟動命令。
  8. 一種利用一頭戴式顯示系統以一子母畫面模式顯示一虛擬場景以及一現實場景之方法，其包含有：利用該頭戴式顯示系統之一影像擷取單元擷取該現實場景；利用該頭戴式顯示系統之一顯示單元以該子母畫面模式顯示該虛擬場景以及該現實場景或以一全螢幕模式顯示該虛擬場景；利用該影像擷取單元追蹤該使用者之一手勢、該使用者之一手部動作、該使用者之一下半身動作、該頭戴式顯示系統之一位置、該頭戴式顯示系統之一方向以及該頭戴式顯示系統之一姿勢的其中至少一者；當該影像擷取單元之一追蹤結果符合一預設條件時，產生一啟動命令；利用該頭戴式顯示系統之一處理單元指示該顯示單元於該全螢幕模式與該子母畫面模式之間切換，以回應於該啟動命令；以及當該影像擷取單元之該追蹤結果符合另一預設條件時，調整以該子母畫面模式顯示之該現實場景之一視窗之一尺寸以及一位置。
  9. 一種內儲一程式之電腦可讀取記錄媒體，當一電腦載入該程式並執 行後，可完成如請求項5至8中任一項所述之方法。
TW108117509A 2019-04-15 2019-05-21 可於子母畫面模式顯示虛擬場景以及現實場景之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體 TWI690730B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/384,914 2019-04-15
US16/384,914 US10992926B2 (en) 2019-04-15 2019-04-15 Head mounted display system capable of displaying a virtual scene and a real scene in a picture-in-picture mode, related method and related non-transitory computer readable storage medium

Publications (2)

Publication Number Publication Date
TWI690730B true TWI690730B (zh) 2020-04-11
TW202040214A TW202040214A (zh) 2020-11-01

Family

ID=71134374

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108117509A TWI690730B (zh) 2019-04-15 2019-05-21 可於子母畫面模式顯示虛擬場景以及現實場景之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體

Country Status (4)

Country Link
US (1) US10992926B2 (zh)
JP (1) JP6820376B2 (zh)
CN (1) CN111831105A (zh)
TW (1) TWI690730B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10698481B1 (en) * 2017-09-28 2020-06-30 Apple Inc. Glint-assisted gaze tracker

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014162824A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US20140361976A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Switching mode of operation in a head mounted display
US9729864B2 (en) * 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
TWI626851B (zh) * 2017-03-14 2018-06-11 宏正自動科技股份有限公司 影像切換裝置、影像切換系統及影像切換方法
TWM573838U (zh) * 2018-09-17 2019-02-01 全台晶像股份有限公司 Head-mounted virtual reality display device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090040308A1 (en) 2007-01-15 2009-02-12 Igor Temovskiy Image orientation correction method and system
US9088787B1 (en) * 2012-08-13 2015-07-21 Lockheed Martin Corporation System, method and computer software product for providing visual remote assistance through computing systems
JP6361649B2 (ja) 2013-03-29 2018-07-25 ソニー株式会社 情報処理装置、通知状態制御方法及びプログラム
CN104216520B (zh) * 2014-09-09 2018-07-06 联想(北京)有限公司 一种信息处理方法及电子设备
US10702353B2 (en) 2014-12-05 2020-07-07 Camplex, Inc. Surgical visualizations systems and displays
JP2016189120A (ja) 2015-03-30 2016-11-04 ソニー株式会社 情報処理装置、情報処理システム、及び頭部装着ディスプレイ
CN106484085B (zh) * 2015-08-31 2019-07-23 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
KR102610120B1 (ko) 2016-01-20 2023-12-06 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10217287B2 (en) * 2016-12-24 2019-02-26 Motorola Solutions, Inc. Method and apparatus for generating a search pattern for an incident scene
US20180288354A1 (en) * 2017-03-31 2018-10-04 Intel Corporation Augmented and virtual reality picture-in-picture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014162824A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US20140361976A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Switching mode of operation in a head mounted display
US9729864B2 (en) * 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
TWI626851B (zh) * 2017-03-14 2018-06-11 宏正自動科技股份有限公司 影像切換裝置、影像切換系統及影像切換方法
TWM573838U (zh) * 2018-09-17 2019-02-01 全台晶像股份有限公司 Head-mounted virtual reality display device

Also Published As

Publication number Publication date
US20200329229A1 (en) 2020-10-15
CN111831105A (zh) 2020-10-27
JP6820376B2 (ja) 2021-01-27
US10992926B2 (en) 2021-04-27
JP2020178330A (ja) 2020-10-29
TW202040214A (zh) 2020-11-01

Similar Documents

Publication Publication Date Title
US10872453B2 (en) Rendering of virtual hand pose based on detected hand input
US20190187876A1 (en) Three dimensional digital content editing in virtual reality
TWI710249B (zh) 可於第一人稱視角模式與第三人稱視角模式之間切換之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體
CN108474950B (zh) Hmd设备及其控制方法
KR20190071839A (ko) 가상 현실 경험 공유
KR102362465B1 (ko) 프로그램, 전자 장치, 및 방법
US11833430B2 (en) Menu placement dictated by user ability and modes of feedback
JP6601402B2 (ja) 制御装置、制御方法およびプログラム
US20210014468A1 (en) Information processing apparatus, information processing method, and recording medium
US10771707B2 (en) Information processing device and information processing method
JP7416048B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021147465A1 (zh) 一种图像渲染方法、电子设备及系统
TWI707575B (zh) 可以子母畫面模式顯示虛擬場景以及現實環境之地圖之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體
US11477433B2 (en) Information processor, information processing method, and program
CN106201284B (zh) 用户界面同步系统、方法
TWI690730B (zh) 可於子母畫面模式顯示虛擬場景以及現實場景之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體
TWI634453B (zh) 在虛擬實境環境瀏覽時進行畫面切換之系統及方法，及其相關電腦程式產品
KR20190079330A (ko) 디지털 멀미 저감 방법, 이를 수행하는 이동 단말 및 어플리케이션
TWI704480B (zh) 可選擇性地追蹤或不追蹤使用者之手勢與手部動作的其中至少一者之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體
EP3734417A1 (en) Head mounted display system capable of displaying a virtual scene and a real scene in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
EP3734418A1 (en) Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
EP3734415A1 (en) Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
US20190196602A1 (en) Information processing device, information processing method, and program
CN117930970A (zh) 电子设备控制方法、装置、设备及介质
CN116149590A (zh) 显示控制方法、装置、头戴式设备以及存储介质