TWI596378B - 可攜式虛擬實境系統 - Google Patents

可攜式虛擬實境系統 Download PDF

Info

Publication number
TWI596378B
TWI596378B TW104141863A TW104141863A TWI596378B TW I596378 B TWI596378 B TW I596378B TW 104141863 A TW104141863 A TW 104141863A TW 104141863 A TW104141863 A TW 104141863A TW I596378 B TWI596378 B TW I596378B
Authority
TW
Taiwan
Prior art keywords
image
electronic device
portable electronic
head mounted
virtual reality
Prior art date
Application number
TW104141863A
Other languages
English (en)
Other versions
TW201721231A (zh
Inventor
馬孟明
Original Assignee
技嘉科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 技嘉科技股份有限公司 filed Critical 技嘉科技股份有限公司
Priority to TW104141863A priority Critical patent/TWI596378B/zh
Priority to CN201510942848.0A priority patent/CN106873760A/zh
Publication of TW201721231A publication Critical patent/TW201721231A/zh
Application granted granted Critical
Publication of TWI596378B publication Critical patent/TWI596378B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

可攜式虛擬實境系統
本發明是有關於一種虛擬實境系統，且特別是有關於一種可攜式的虛擬實境系統。
隨著電子科技以及影像處理技術的快速演進，虛擬實境已成為可以實現而非僅存在於影片、動畫中的一種理想。然在既有的虛擬實境技術中，多在頭戴式顯示裝置（Head-Mounted Display, HMD）上配置很多的感測元件，並需要使用者在設定好的空間中配戴頭戴式顯示裝置方能完成虛擬實境的顯示效果。而這個設定好的空間中，需要裝置紅外線或雷射發射器等各種光信號產生器，並搭配頭戴式顯示裝置上的感測器，來偵測出使用者的姿態，並具以產生三維的虛擬實境影像。
值得注意的，在習知的虛擬實境技術中，當使用者要享受虛擬實境的快感，就必須要前往特定設置好的空間。如此一來，虛擬實境使用便利性上將會大打折扣，降低使用者的意願。
本發明提供一種可攜式虛擬實境系統，使可移動化虛擬實境以實現。
本發明的可攜式虛擬實境系統包括攜帶式電子裝置、頭戴式顯示器以及物體姿態感測器。攜帶式電子裝置與頭戴式顯示器相互耦接。物體姿態感測器耦接攜帶式電子裝置及頭戴式顯示器，用以取得頭戴式顯示器的姿態變化資訊，其中，攜帶式電子裝置依據姿態變化資訊來計算出虛擬實境的顯示影像資料，並將顯示影像資料傳送至頭戴式顯示器以使頭戴式顯示器依據顯示影像資料進行影像顯示動作。
在本發明的一實施例中，上述的攜帶式電子裝置更包括鍵盤，攜帶式電子裝置更依據鍵盤的被使用狀態來決定是否使頭戴式顯示器顯示鍵盤的影像以及使用者的手部影像。
在本發明的一實施例中，上述的物體姿態感測器取得該手部影像以及鍵盤的影像，攜帶式電子裝置依據手部影像以及鍵盤的影像的對應關係來獲得鍵盤的被使用狀態。
在本發明的一實施例中，上述的攜帶式電子裝置依據該手部影像來獲得手部影像的骨架影像，並依據骨架影像以及鍵盤的影像的對應關係來獲得鍵盤的被使用狀態。
在本發明的一實施例中，上述的骨架資訊包括手掌骨架影像以及手指骨架影像，其中，依據手掌骨架影像及手指骨架影像與鍵盤的影像的重疊狀態以及手掌骨架影像及手指骨架影像的移動狀態來決定是否使頭戴式顯示器顯示鍵盤的影像以及手部影像。
在本發明的一實施例中，上述的物體姿態感測器包括光信號產生器以及光信號接收器，其中，光信號產生器配置在攜帶式電子裝置以及頭戴式顯示器的其中之一，光信號接收器配置在攜帶式電子裝置以及頭戴式顯示器的另一，光信號產生器發送光信號，光信號接收器則接收光信號以獲得感測資訊，物體姿態感測器並依據感測資訊來產生姿態變化資訊。
在本發明的一實施例中，上述的光信號為紅外線、雷射或固定頻率閃爍的光信號。
在本發明的一實施例中，上述的物體姿態感測器包括彩色攝影機以及三維深度感測器，彩色攝影機以及三維深度感測器配置在攜帶式電子裝置上。
在本發明的一實施例中，上述的彩色攝影機以及三維深度感測器的至少其中之一擷取頭戴式顯示器的影像，而攜帶式電子裝置依據頭戴式顯示器的影像來獲得姿態變化資訊。
在本發明的一實施例中，上述的彩色攝影機更擷取使用者的臉部影像，並使攜帶式電子裝置依據臉部影像判斷出使用者的情緒資訊。
在本發明的一實施例中，上述的攜帶式電子裝置更包括收音裝置，其中收音裝置接收多數個聲音訊號。攜帶式電子裝置針對聲音訊號進行比較來產生輸出語音信號。
在本發明的一實施例中，上述的攜帶式電子裝置接收一指令，並依據指令以驅動頭戴式顯示器顯示虛擬輸入介面。
在本發明的一實施例中，上述的指令依據偵測使用者的手勢是否屬於特定手勢來產生。
基於上述，本發明所提供的攜帶式電子裝置可以透過攜帶式電子裝置配合頭戴式顯示器，並藉以達成隨時隨地、隨心所欲的享受虛擬實境的快感。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
請參照圖1，圖1繪示本發明一實施例的可攜式虛擬實境系統的示意圖。可攜式虛擬實境系統100包括攜帶式電子裝置110、頭戴式顯示器120以及物體姿態感測器130。攜帶式電子裝置110可透過傳輸導線或無線的方式耦接至頭戴式顯示器120，物體姿態感測器130則與攜帶式電子裝置110以及頭戴式顯示器120相耦接。當進行虛擬實境時，物體姿態感測器130用以取得頭戴式顯示器120在空間中的姿態變化資訊IFO，並將姿態變化資訊IFO傳送至攜帶式電子裝置110。攜帶式電子裝置110並可依據姿態變化資訊IFO來計算出虛擬實境的顯示影像資料IMGD，並將顯示影像資料IMGD傳送至頭戴式顯示器120以使頭戴式顯示器120可依據顯示影像資料IMGD進行影像顯示動作。
值得注意的，物體姿態感測器130可單獨配置於攜帶式電子裝置110上，或者也可以分成兩個部分並分別配置於攜帶式電子裝置110以及頭戴式顯示器120上。在本發明一實施例中，物體姿態感測器130可配置於攜帶式電子裝置110上，並透過對頭戴式顯示器120進行影像擷取的動作來獲得頭戴式顯示器120的即時影像。並且，攜帶式電子裝置110則可以依據這個即時的頭戴式顯示器120的影像來進行計算並獲得頭戴式顯示器120的姿態變化資訊，並據以計算出虛擬實境的顯示影像資料IMGD以使頭戴式顯示器120可進行虛擬實境的影像顯示。
在本發明另一實施例中，物體姿態感測器130可分成兩個部分，其中之一為光信號產生器，另一部分為光信號接收器。光信號產生器及光信號接收器分別配置在頭戴式顯示器120及攜帶式電子裝置110上，或分別配置在攜帶式電子裝置110及頭戴式顯示器120上。透過光線的發送與接收的動作，攜帶式電子裝置110可以獲知頭戴式顯示器120即時的姿態變化資訊，並據以計算出顯示影像資料IMGD。
關於物體姿態感測器130的實施細節，在之後的實施方式中會有更詳盡的描述。
以下請參照圖2，圖2繪示本發明實施例的可攜式虛擬實境系統的操作示意圖。其中，使用者USR配戴頭戴式顯示器120，並啟動攜帶式電子裝置（例如為筆記型電腦）110。透過配置在頭戴式顯示器120以及攜帶式電子裝置110或單獨配置在攜帶式電子裝置110上的物體姿態感測器，頭戴式顯示器120的姿態變化資訊可以被獲得，並且，攜帶式電子裝置110可依據頭戴式顯示器120的姿態變化資訊來產生對應的顯示影像資料。
更值的一提的，在本發明一實施例中，攜帶式電子裝置110具有鍵盤KB。攜帶式電子裝置110由於在當使用者USR配戴頭戴式顯示器120時，會無法看見攜帶式電子裝置110的鍵盤KB。因此，本發明實施例的可攜式虛擬實境系統中，攜帶式電子裝置110還可擷取鍵盤KB以及使用者USR的手部HD的影像。並且，在使用者需要透過鍵盤KB進行指令的輸入動作時，攜帶式電子裝置110更可驅使頭戴式顯示器120另顯示KB以及使用者USR的手部HD的影像。
此外，在本實施例中，攜帶式電子裝置110並不必要是筆記型電腦，也可以是平板電腦或智慧型手機等便於攜帶的任意電子裝置。
以下請參照圖3A~圖3C，圖3A~圖3C分別繪示本發明實施例的物體姿態感測器的不同實施方式的示意圖。在圖3A中，物體姿態感測器330包括光信號接收器331以及光信號產生器332。光信號接收器331配置在頭戴式顯示器320中，且光信號產生器332配置在攜帶式電子裝置310中。在本實施方式中，配置在攜帶式電子裝置310上的光信號產生器332可產生用以進行定位的光信號，並將光信號發送至頭戴式顯示器320，而頭戴式顯示器320上的光信號接收器331接收上述的光信號，並將所接收到的光信號的相關資訊傳送至攜帶式電子裝置310。攜帶式電子裝置310可依據上述的光信號的相關資訊來計算出頭戴式顯示器320的姿態變化資訊。如此一來，攜帶式電子裝置310可進一步的依據頭戴式顯示器320的姿態變化資訊來計算出顯示影像資料，再將顯示影像資料傳送給頭戴式顯示器320。便可達成頭戴式顯示器320顯示虛擬實境的影像的動作。
在圖3B中，光信號產生器332配置在頭戴式顯示器320中，且光信號接收器331則配置在攜帶式電子裝置310中。在本實施方式中，配置在頭戴式顯示器320上的光信號產生器332可產生用以進行定位的光信號至攜帶式電子裝置310，而攜帶式電子裝置310上的光信號接收器331接收上述的光信號。攜帶式電子裝置310可依據接收到的光信號的相關資訊來計算出頭戴式顯示器320的姿態變化資訊。如此一來，攜帶式電子裝置310可進一步的依據頭戴式顯示器320的姿態變化資訊來計算出顯示影像資料，再將顯示影像資料傳送給頭戴式顯示器320。便可達成頭戴式顯示器320顯示虛擬實境的影像的動作。
在圖3C中，物體姿態感測器330包括彩色攝影機333以及三維深度感測器334的至少其中之一。其中，三維深度感測器334可以由紅外線發射器和紅外線CMOS攝影機所構成，並可用以偵測使用者的肢體的動作。彩色攝影機333則可用透過人臉辨識及/或身體特徵的辨識方式來辨識使用者的身分，並且，彩色攝影機333還可用來辨識使用者的臉部表情，以透過擷取使用者的臉部影像，來使攜帶式電子裝置可依據臉部影像判斷出使用者的情緒資訊。在另一方面，也能應用彩色攝影機333還可應用在擴增實境遊戲以及視訊通話的相關應用上。值得一提的，在藉由機器視覺演算法的條件下，直接利用彩色攝影機333（例如一般的紅、綠、藍（RGB）彩色攝影機）就可以達到使用者的肢體動作的偵測，如此則可不需設置三維深度感測器334。
在關於物體姿態感測器的配置方式上，請參照圖4A及圖4B繪示的本發明實施例的物體姿態感測器配置方式的示意圖。在圖4A中，物體姿態感測器可以配置在一個感測帶410上。其中，在本實施方式中，物體姿態感測器包括光信號產生器（或光信號接收器）403-1、403-2、彩色攝影機401以及三維深度感測器402。以光信號產生器403-1、403-2為紅外線發射器為範例，配置在感測帶410兩個側邊的光信號產生器403-1、403-2分別具有多個紅外線發光二極體IR1及IR2，並且發送紅外線光束分佈於配置感測帶410的可攜式電子裝置的前方例如約為150公分的活動區上。如此，位在活動區中的頭戴式顯示裝置的光信號接收器可以接收到這些紅外線光束，並將相關資訊傳送至可攜式電子裝置。
在本發明其它實施例中，光信號產生器403-1、403-2也產生雷射光或以特定頻率閃爍的光線。
彩色攝影機401配置在感測帶410的中央，而三維深度感測器402具有兩個鏡頭，並可分別配置在彩色攝影機401的兩側。
另外，感測帶410的另包括收音裝置MIC，收音裝置MIC可接收多數個聲音訊號，並提供給攜帶式電子裝置以針對所接收的聲音訊號進行比較來產生一輸出語音信號。收音裝置MIC可以是陣列式麥克風。而攜帶式電子裝置並藉由聲音訊號間的比較動作來消除掉雜音，也就是執行了降噪功能，讓使用者的聲音能更清楚的傳遞出去。
在圖4B中，感測帶410可以配置在攜帶式電子裝置40的顯示螢幕SCR的上方或是下方。
關於如何依據光信號來獲得頭戴式顯示裝置的姿態變化資訊方面，本發明實施例的頭戴式顯示裝置的姿態變化資訊的獲取方式可藉由一種指向定位的方式來進行的。指向定位主要是運用到多點感應的方式，利用多個光信號發射源，利用光信號直線前進的原理，光信號會隨發信號發射器的元件的特性而有不同的散射角度。而據此，光信號接收器可接收到相對應的感應接收值。舉例來說明，當一顆紅外線發射器發送光信號時，其對應的紅外線接收器與相鄰的紅外線接收器都會接收到這個光信號。而配合上述的光信號的散射角度的因素，就可以完成上述的多點感應動作，來獲得頭戴式顯示裝置的姿態變化資訊。
請參照圖5，圖5繪示本發明實施例顯示鍵盤影像以及使用者手部影像的實施方式的示意圖。其中，為使戴上頭戴式顯示裝置的使用者可以透過鍵盤進行指令輸入動作，本發明實施例的攜帶式電子裝置可於必要的時候驅動頭戴式顯示器進行手部以及鍵盤影像的顯示。手部以及鍵盤影像可以由物體姿態感測器來取得。而攜帶式電子裝置可透過判斷手部影像以及鍵盤的影像的對應關係來獲得鍵盤的被使用狀態，並在當攜帶式電子裝置判斷出鍵盤是要被使用的狀態下，使頭戴式顯示器進行手部以及鍵盤影像的顯示動作。
細節上來說明，當使用者需要在鍵盤進行輸入動作時，因為筆記型電腦中鍵盤的位置通常是固定的，所以可以直接轉換成三維空間中的鍵盤位置。再透過筆記型電腦上感測帶中的鏡頭獲得手部影像後，即可由筆記型電腦轉換成手指在三維空間中的座標。之後可攜式虛擬實境系統即可將手部影像（可使用骨架方式呈現，或是貼上預設的貼圖呈現）與鍵盤影像同時顯示在頭戴式顯示裝置的畫面上，使用者在得知手指及各按鍵相對位置後，即可照常的操作鍵盤。
在另一方面，對於其他的輸入裝置（如滑鼠、飛行搖桿、節流閥...等），則可藉由事先記錄相關設備的影像，再藉由機器視覺的技術判斷該裝置在空間中的位置。
當虛擬實境的畫面顯示出使用者手部影像及鍵盤影像時，可以半透明的方式將手掌及鍵盤影像疊於畫面上，但顯示一段時間後則將影像消除。
而關於是否顯示鍵盤影像以及使用者手部影像的判斷細節，其中，當使用者利用鍵盤輸入文字時，通常此時兩手都會在鍵盤上，且其中的手部影像的手掌部分不會有大的位移，但手指會部分則會發生連續不中斷的位移，此時持續顯示手部影像及鍵盤影像；使用者的一手操作鍵盤，另一手可能在操作滑鼠、使用者兩手操作鍵盤或者使用者兩手都在操作搖桿（例如使用者正常玩遊戲），由於遊戲程式的功能鍵通常是固定的，所以手掌部分不會有大的位移，且手指部分則會在固定的幾個鍵上操作，此時可以中斷手部影像及鍵盤影像的顯示動作；當使用者雙手都離開鍵盤，亦即使用者的手部影像與鍵盤影像不相重疊超過一段預設時間後，可以中斷手部影像及鍵盤影像的顯示動作；以及，當使用者任一隻手由鍵盤外移至鍵盤上（例如原本一隻手操作，為了進行文字輸入，將另一隻手移至鍵盤上；或者，原本兩隻手都在鍵盤外，準備進行輸入或操作而移至鍵盤上）時，則進行手部影像及鍵盤影像的顯示動作。
關於手掌影像與手指影像有無發生位移的判斷細節，可以依據連續時間中的手掌影像（手指影像）的位置變化有無超過一個預設的距離，當手掌影像（手指影像）的位置變化超過預設的距離時，表示使用者的手掌（或手指）發生有效的移動，相對的，若手掌影像（手指影像）的位置變化沒有超過預設的距離時，表示使用者的手掌（或手指）未發生有效的移動。
關於上述手部影像以及鍵盤影像間位置關系的判斷方式，也可以利用依據手部影像進行影像處理所獲得的骨架影像來進行。請參照圖6繪示的本發明實施例的骨架影像的示意圖。其中的骨架影像可分為手掌骨架影像612以及手指骨架影像611。攜帶式電子裝置可以依據手掌骨架影像以及手指骨架影像與鍵盤影像的對應關係，來進行是否要透過鍵盤進行指令輸入動作的判斷依據，並決定是否要使頭戴式顯示裝置顯示手部影像以及鍵盤影像。
以下請參照圖7A~圖7C，圖7A~圖7C分別繪示本發明實施例的顯示虛擬輸入介面的實施方式的示意圖。在圖7A中，使用者使用特定的手勢，來使攜帶式電子裝置獲得為特定手勢的手部影像，並獲得啟動虛擬輸入介面的指令。在圖7B中，包括多個虛擬選擇按鍵701的虛擬輸入介面以及手部影像被顯示，使用者可利用手部影像來觸碰按鍵701以選擇執行所要執行的動作。在圖7C中，對應圖7B的使用者的選擇動作，子虛擬選單703被顯示在頭戴式顯示器中以供使用者進行進一步的操作。
附帶一提的，虛擬輸入介面沒有特別的形式限制，也可以是一個虛擬鍵盤。
以下請參照圖8，圖8繪示本發明一實施例的可攜式虛擬實境系統操作的流程圖。在步驟S810中，進行可攜式虛擬實境系統的開機動作，接著，在步驟S820中，可攜式虛擬實境系統中的光信號產生器以及光信號接收器進行感應及定位的動作，並據以判斷出頭戴式顯示裝置的姿態變化資訊。在步驟S830中，頭戴式顯示器可在虛擬實境影像中顯示出筆記型電腦的影像（或僅顯示其鍵盤影像），並在步驟S850中進行使用者手部的定位動作。接著，對應使用者的特定手勢，步驟S850中，虛擬實境影像顯示出主選單，並透過選擇主選單的動作，在步驟S860中出現模式選擇的選單。使用者可針對模式選擇的選單進行選擇，並選擇進入打字模式（步驟S871）、執行擴增虛擬實境程式（步驟S872）或是進行視訊通話（步驟S873）等動作。
綜上所述，本發明利用攜帶式電子裝置搭配頭戴式電子裝置來組建出可攜式虛擬實境系統，透過在攜帶式電子裝置或在攜帶式電子裝置以及頭戴式電子裝置間配置物體姿態感測器，如此一來，大幅簡化虛擬實境系統的複雜度。且使用者不需要到特定的空間，而可以隨時隨地且隨心所欲進行虛擬實境的顯示動作，提升虛擬實境系統的便利性，相信可以提升使用者的使用意願。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100：可攜式虛擬實境系統 110、310：攜帶式電子裝置 120、320：頭戴式顯示器 130、330：物體姿態感測器 IFO：姿態變化資訊 IMGD：顯示影像資料 USR：使用者 KB：鍵盤 HD：手部
331‧‧‧光信號接收器
332、403-1、403-2‧‧‧光信號產生器
333、401‧‧‧彩色攝影機
334、402‧‧‧三維深度感測器
410‧‧‧感測帶
IR1、IR2‧‧‧紅外線發光二極體
MIC‧‧‧收音裝置
SCR‧‧‧顯示螢幕
612‧‧‧手掌骨架影像
611‧‧‧手指骨架影像
701‧‧‧虛擬選擇按鍵
703‧‧‧子虛擬選單
S810~S873‧‧‧可攜式虛擬實境系統操作步驟
圖1繪示本發明一實施例的可攜式虛擬實境系統的示意圖。 圖2繪示本發明實施例的可攜式虛擬實境系統的操作示意圖。 圖3A~圖3C分別繪示本發明實施例的物體姿態感測器的不同實施方式的示意圖。 圖4A及圖4B繪示的本發明實施例的物體姿態感測器配置方式的示意圖。 圖5繪示本發明實施例顯示鍵盤影像以及使用者手部影像的實施方式的示意圖。 圖6繪示的本發明實施例的骨架影像的示意圖。其中的骨架影像可分為手掌骨架影像以及手指骨架影像。 圖7A~圖7C分別繪示本發明實施例的顯示虛擬輸入介面的實施方式的示意圖。 圖8繪示本發明一實施例的可攜式虛擬實境系統操作的流程圖。
100：可攜式虛擬實境系統 110：攜帶式電子裝置 120：頭戴式顯示器 130：物體姿態感測器 IFO：姿態變化資訊 IMGD：顯示影像資料

Claims (12)

  1. 一種可攜式虛擬實境系統，包括：一攜帶式電子裝置，包括一鍵盤；一頭戴式顯示器，耦接該攜帶式電子裝置；以及一物體姿態感測器，耦接該攜帶式電子裝置及該頭戴式顯示器，用以取得該頭戴式顯示器的一姿態變化資訊，其中，該攜帶式電子裝置依據該姿態變化資訊來計算出虛擬實境的一顯示影像資料，並將該顯示影像資料傳送至該頭戴式顯示器以使該頭戴式顯示器依據該顯示影像資料進行影像顯示動作，並且該攜帶式電子裝置更依據該鍵盤的被使用狀態來決定是否使該頭戴式顯示器顯示該鍵盤的影像以及一使用者的一手部影像。
  2. 如申請專利範圍第1項所述的可攜式虛擬實境系統，其中該物體姿態感測器取得該手部影像以及該鍵盤的影像，該攜帶式電子裝置依據該手部影像以及該鍵盤的影像的對應關係來獲得該鍵盤的被使用狀態。
  3. 如申請專利範圍第2項所述的可攜式虛擬實境系統，其中該攜帶式電子裝置依據該手部影像來獲得該手部影像的一骨架影像，並依據該骨架影像以及該鍵盤的影像的對應關係來獲得該鍵盤的被使用狀態。
  4. 如申請專利範圍第3項所述的可攜式虛擬實境系統，其中該骨架資訊包括一手掌骨架影像以及一手指骨架影像，其中該 依據該手掌骨架影像及該手指骨架影像與該鍵盤的影像的重疊狀態以及該手掌骨架影像及該手指骨架影像的移動狀態來決定是否使該頭戴式顯示器顯示該鍵盤的影像以及該手部影像。
  5. 如申請專利範圍第1項所述的可攜式虛擬實境系統，其中該物體姿態感測器包括一光信號產生器以及一光信號接收器，其中該光信號產生器配置在該攜帶式電子裝置以及該頭戴式顯示器的其中之一，該光信號接收器配置在該攜帶式電子裝置以及該頭戴式顯示器的另一，該光信號產生器發送一光信號，該光信號接收器則接收該光信號以獲得一感測資訊，該物體姿態感測器並依據該感測資訊來產生該姿態變化資訊。
  6. 如申請專利範圍第5項所述的可攜式虛擬實境系統，其中該光信號為紅外線、雷射或固定頻率閃爍的光信號。
  7. 如申請專利範圍第1項所述的可攜式虛擬實境系統，其中該物體姿態感測器包括一彩色攝影機以及一三維深度感測器的至少其中之一，該彩色攝影機以及該三維深度感測器配置在該攜帶式電子裝置上。
  8. 如申請專利範圍第7項所述的可攜式虛擬實境系統，其中該彩色攝影機以及該三維深度感測器的至少其中之一擷取該頭戴式顯示器的影像，而該攜帶式電子裝置依據該頭戴式顯示器的影像來獲得該姿態變化資訊。
  9. 如申請專利範圍第8項所述的可攜式虛擬實境系統，其中該彩色攝影機更擷取該使用者的一臉部影像，並使該攜帶式電子裝置依據該臉部影像判斷出該使用者的情緒資訊。
  10. 如申請專利範圍第1項所述的可攜式虛擬實境系統，其中該攜帶式電子裝置更包括一收音裝置，其中該收音裝置接收多數個聲音訊號，該攜帶式電子裝置針對該些聲音訊號進行比較來產生一輸出語音信號。
  11. 如申請專利範圍第1項所述的可攜式虛擬實境系統，其中該攜帶式電子裝置接收一指令，並依據該指令以驅動該頭戴式顯示器顯示一虛擬輸入介面。
  12. 如申請專利範圍第11項所述的可攜式虛擬實境系統，其中該指令依據偵測該使用者的手勢是否屬於一特定手勢來產生。
TW104141863A 2015-12-14 2015-12-14 可攜式虛擬實境系統 TWI596378B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW104141863A TWI596378B (zh) 2015-12-14 2015-12-14 可攜式虛擬實境系統
CN201510942848.0A CN106873760A (zh) 2015-12-14 2015-12-16 可携式虚拟现实系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104141863A TWI596378B (zh) 2015-12-14 2015-12-14 可攜式虛擬實境系統

Publications (2)

Publication Number Publication Date
TW201721231A TW201721231A (zh) 2017-06-16
TWI596378B true TWI596378B (zh) 2017-08-21

Family

ID=59239173

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104141863A TWI596378B (zh) 2015-12-14 2015-12-14 可攜式虛擬實境系統

Country Status (2)

Country Link
CN (1) CN106873760A (zh)
TW (1) TWI596378B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107357434A (zh) * 2017-07-19 2017-11-17 广州大西洲科技有限公司 一种虚拟现实环境下的信息输入设备、系统及方法
US10742952B2 (en) 2017-09-12 2020-08-11 Htc Corporation Three dimensional reconstruction method, apparatus and non-transitory computer readable storage medium thereof
TWI648556B (zh) * 2018-03-06 2019-01-21 仁寶電腦工業股份有限公司 同步定位與地圖建構及手勢辨識方法
CN111045209A (zh) * 2018-10-11 2020-04-21 光宝电子(广州)有限公司 使用无人机的旅游系统与方法
TWI744737B (zh) * 2019-12-11 2021-11-01 中華電信股份有限公司 擴增實境之內容控制系統、方法及電腦可讀儲存媒介
CN114489315B (zh) * 2020-11-12 2023-12-19 幻景启动股份有限公司 图像处理系统以及图像处理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130093788A1 (en) * 2011-10-14 2013-04-18 James C. Liu User controlled real object disappearance in a mixed reality display
CN104243962A (zh) * 2013-06-13 2014-12-24 亚琛科技股份有限公司 扩增实境的头戴式电子装置及产生扩增实境的方法
TW201523340A (zh) * 2013-12-02 2015-06-16 Ind Tech Res Inst 接收用戶輸入的系統與方法，及其程式儲存媒體
WO2015183621A1 (en) * 2014-05-30 2015-12-03 Sony Computer Entertainment America Llc Head mounted display (hmd) system having interface with mobile computing device for rendering virtual reality content

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1462929A (zh) * 2002-05-20 2003-12-24 许旻 一种计算机输入系统
US20120249587A1 (en) * 2011-04-04 2012-10-04 Anderson Glen J Keyboard avatar for heads up display (hud)
CN103197757A (zh) * 2012-01-09 2013-07-10 癸水动力（北京）网络科技有限公司 一种沉浸式虚拟现实系统及其实现方法
CN103019377A (zh) * 2012-12-04 2013-04-03 天津大学 基于头戴式可视显示设备的输入方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130093788A1 (en) * 2011-10-14 2013-04-18 James C. Liu User controlled real object disappearance in a mixed reality display
CN104243962A (zh) * 2013-06-13 2014-12-24 亚琛科技股份有限公司 扩增实境的头戴式电子装置及产生扩增实境的方法
TW201523340A (zh) * 2013-12-02 2015-06-16 Ind Tech Res Inst 接收用戶輸入的系統與方法，及其程式儲存媒體
WO2015183621A1 (en) * 2014-05-30 2015-12-03 Sony Computer Entertainment America Llc Head mounted display (hmd) system having interface with mobile computing device for rendering virtual reality content

Also Published As

Publication number Publication date
TW201721231A (zh) 2017-06-16
CN106873760A (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
TWI596378B (zh) 可攜式虛擬實境系統
US11995774B2 (en) Augmented reality experiences using speech and text captions
US20230334796A1 (en) Wearable augmented reality devices with object detection and tracking
US10303244B2 (en) Information processing apparatus, information processing method, and computer program
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
JP6126076B2 (ja) 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム
US20210373672A1 (en) Hand gesture-based emojis
JP7095602B2 (ja) 情報処理装置、情報処理方法及び記録媒体
US20130009861A1 (en) Methods and systems for controlling devices using gestures and related 3d sensor
US20190384419A1 (en) Handheld controller, tracking method and system using the same
KR20150130495A (ko) 적어도 두 개의 제어 객체들에 의해 수행되는 제스처의 검출
US11954268B2 (en) Augmented reality eyewear 3D painting
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
CN111630478B (zh) 高速交错双眼跟踪系统
WO2020078319A1 (zh) 基于手势的操控方法及终端设备
US20130139093A1 (en) Display system and operation input method
US10607069B2 (en) Determining a pointing vector for gestures performed before a depth camera
WO2018198499A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US20200326783A1 (en) Head mounted display device and operating method thereof
WO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20190035373A (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
US20230308495A1 (en) Asymmetric Presentation of an Environment
CN114115544B (zh) 人机交互方法、三维显示设备及存储介质
CN114923418A (zh) 基于点选择的测量
JP2018200415A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees