TWI696092B - 可根據現實物件創建虛擬物件並為虛擬物件賦予預設互動特性之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體 - Google Patents

可根據現實物件創建虛擬物件並為虛擬物件賦予預設互動特性之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體 Download PDF

Info

Publication number
TWI696092B
TWI696092B TW108117942A TW108117942A TWI696092B TW I696092 B TWI696092 B TW I696092B TW 108117942 A TW108117942 A TW 108117942A TW 108117942 A TW108117942 A TW 108117942A TW I696092 B TWI696092 B TW I696092B
Authority
TW
Taiwan
Prior art keywords
preset
characteristic
virtual
interactive
real
Prior art date
Application number
TW108117942A
Other languages
English (en)
Other versions
TW202040320A (zh
Inventor
王志文
呂家明
朱峰森
陳威碩
Original Assignee
未來市股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 未來市股份有限公司 filed Critical 未來市股份有限公司
Application granted granted Critical
Publication of TWI696092B publication Critical patent/TWI696092B/zh
Publication of TW202040320A publication Critical patent/TW202040320A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種頭戴式顯示系統，其包含有一掃描單元以及一處理單元，該掃描單元用於掃描一現實環境之一現實物件，以產生一掃描結果，該處理單元耦接於該掃描單元，該處理單元用於根據該掃描單元之該掃描結果辨識該現實物件、根據該處理單元之一辨識結果決定至少一預設互動特性、根據該掃描單元之該掃描結果於該虛擬環境中創建相對應於該現實環境之該現實物件之該虛擬物件以及為該虛擬物件賦予該至少一預設互動特性。因此，本發明可允許使用者以不同方式更自然地操作虛擬物件，以提供較佳地使用者互動體驗感受。

Description

可根據現實物件創建虛擬物件並為虛擬物件賦予預設互動特 性之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體
本發明關於一種頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體，尤指一種可根據現實物件創建虛擬物件並為虛擬物件賦予預設互動特性之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體。
隨著科技的發展與進步，電腦遊戲與使用者之間的互動需求也隨之增加。人機互動科技，例如體感遊戲、虛擬實境(Virtual Reality，VR)環境、擴增實境(Augmented Reality，AR)環境、混合實境(Mixed Reality，MR)環境、延展實境(Extended Reality，XR)環境，也由於其生理及娛樂功能而愈趨流行。現有的顯示設備例如頭戴顯示器(head mounted display，HMD)通常包含有用於擷取現實環境之現實物件之影像之攝影機，以取得現實物件之資訊(例如現實物件之顏色、紋理以及幾何形狀)並根據上述資訊於虛擬環境中創建虛 擬物件。然當虛擬物件創建完成後，使用者卻無法自然地與虛擬物件互動，即虛擬物件並不具備與現實物件相同之互動行為，故對使用者互動體驗感受造成了負面影響。
因此，本發明之目的在於提供一種可根據現實物件創建虛擬物件並為虛擬物件賦予預設互動特性之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體，以解決上述問題。
為達成上述目的，本發明揭露一種可根據一現實環境之一現實物件於一虛擬環境創建一虛擬物件並為該虛擬物件賦予至少一預設互動特性之頭戴式顯示系統，其包含有一掃描單元以及一處理單元，該掃描單元用於掃描該現實環境之該現實物件，以產生一掃描結果，該處理單元耦接於該掃描單元，該處理單元用於根據該掃描單元之該掃描結果辨識該現實物件、根據該處理單元之一辨識結果決定該至少一預設互動特性、根據該掃描單元之該掃描結果於該虛擬環境中創建相對應於該現實環境之該現實物件之該虛擬物件以及為該虛擬物件賦予該至少一預設互動特性。
為達成上述目的，本發明另揭露一種利用一頭戴式顯示系統根據一現實環境之一現實物件於一虛擬環境創建一虛擬物件並為該虛擬物件賦予至少一預設互動特性之方法，其包含有：利用該頭戴式顯示系統之一掃描單元掃描該現實環境之該現實物件，以產生一掃描結果；以及利用該頭戴式顯示系統之一處理單元根據該掃描單元之該掃描結果辨識該現實物件、根據該處理單元之一辨識結果決定該至少一預設互動特性、根據該掃描單元之該掃描結果於該虛 擬環境中創建相對應於該現實物件之該虛擬物件以及為該虛擬物件賦予該至少一預設互動特性。
為達成上述目的，本發明另揭露一種內儲一程式之電腦可讀取記錄媒體，當一電腦載入該程式並執行後，可完成上述方法。
綜上所述，本發明不僅只根據掃描單元之掃描結果於虛擬環境中創建虛擬物件，還為虛擬物件賦予預設互動特性，由於預設互動特性是根據辨識現實環境之現實物件所產生之辨識結果來決定，因此本發明允許使用者可以不同方式更自然地且如操作現實物件一般地操作虛擬物件，以提昇使用者互動體驗感受。
1:頭戴式顯示系統
11:可穿戴本體
12:顯示單元
13:處理單元
14:追蹤單元
141:追蹤攝影機模組
142:手部感測器
15:掃描單元
151:掃描攝影機模組
2、2’:虛擬高腳杯
21、21’:柄部
22’:頂部
2”:虛擬筆記型電腦
21”:上蓋部
22”:樞軸部
23”:下蓋部
2''':虛擬手槍
21''':扳機部
22''':槍口部
S1~S7:步驟
第1圖為本發明第一實施例頭戴式顯示系統之示意圖。
第2圖為本發明第一實施例頭戴式顯示系統之功能方塊圖。
第3圖為本發明第一實施例利用頭戴式顯示系統根據現實環境之現實物件於虛擬環境中創建虛擬物件並為虛擬物件賦予至少一預設互動特性之方法流程圖。
第4圖為本發明第一實施例使用者操作虛擬環境之虛擬物件之示意圖。
第5圖為本發明第二實施例使用者以第一操作方式操作虛擬環境之虛擬物件之示意圖。
第6圖為本發明第二實施例使用者以第二操作方式操作虛擬環境之虛擬物件之示意圖。
第7圖為本發明第三實施例使用者操作虛擬環境之虛擬物件之示意圖。
第8圖為本發明第四實施例使用者操作虛擬環境之虛擬物件之示意圖。
在本說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定 的元件。所屬領域中具有通常知識者應可理解，製作商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區別元件的方式，而是以元件在功能上的差異來作為區別的基準。在通篇說明書及後續的請求項當中所提及的「包括」係為一開放式的用語，故應解釋成「包括但不限定於」。再者，為使熟習本發明所屬技術領域之一般技藝者能更進一步了解本發明，下文特列舉本發明之數個較佳實施例，並配合所附圖式，詳細說明本發明的構成內容。需注意的是圖式僅以說明為目的，並未依照原尺寸作圖。 此外，「耦接」或「連接」一詞在此係包含任何直接及間接的電氣或結構連接手段。因此，若文中描述一第一裝置耦接/連接於一第二裝置，則代表該第一裝置可直接電氣/結構連接於該第二裝置，或透過其他裝置或連接手段間接地電氣/結構連接至該第二裝置。
請參閱第1圖與第2圖，第1圖為本發明第一實施例一頭戴式顯示系統1之示意圖，第2圖為本發明第一實施例頭戴式顯示系統1之功能方塊圖。如第1圖與第2圖所示，頭戴式顯示系統1包含有可供一使用者穿戴之一可穿戴本體11、一顯示單元12、一處理單元13、一追蹤單元14以及一掃描單元15。
顯示單元12可用於顯示影像(例如一虛擬環境之影像)。於此實施例中，顯示單元12可安裝在可穿戴本體11上且可為任一顯示器，例如一液晶顯示器(liquid crystal display,LED)、一發光二極體顯示器(light-emitting diode,LED, display)或一有機發光二極體顯示器(organic light-emitting diode,OLED,display)，而本發明並不侷限於此。
追蹤單元14可用於追蹤該使用者之一手部，以產生具有至少一互動輸入之一追蹤結果。具體地，於此實施例中，追蹤單元14可包含有安裝在可穿戴本體11上且用於擷取該使用者之該手部之影像之一攝影機模組141、穿戴於該使用者之該手部且具有一慣性量測單元之一手部感測器142或其組合，以追蹤該使用者之該手勢與該手部動作，且該至少一互動輸入可包含有該使用者之該手部之一操作點、一操作手勢以及一操作動作。
而本發明並不侷限於此，舉例來說，在另一實施例中，該追蹤單元可追蹤該使用者之該手勢與該手部動作的其中至少一者，且該至少一互動輸入可包含有該使用者之該手部之一操作點、一操作手勢以及一操作動作的其中至少一者。又或者，在另一實施例中，追蹤單元可包含有一追蹤攝影機模組和/或穿戴於該使用者之一下半身且具有一慣性量測單元之一下半身感測器，以追蹤該使用者之一下半身動作，且該至少一互動輸入可包含有該使用者之該下半身之一操作點以及一操作動作。又或者，在另一實施例中，該追蹤單元可包含有用於追蹤該使用者之一眼部視線之一追蹤攝影機模組，且該至少一互動輸入可包含有該使用者之該眼部視線之一操作點以及一操作動作。又或者，在另一實施例中，該追蹤單元可包含有一追蹤攝影機模組和/或具有一慣性量測單元一遙控器，以追蹤該遙控器之一位置、一方向以及一姿勢的其中至少一者，且該至少一互動輸入可包含有該遙控器之一操作點以及一操作動作。
掃描單元15可用於掃描一現實環境之一現實物件，以產生一掃描結 果。於此實施例中，掃描單元15可包含有安裝在可穿戴本體11且用於擷取該現實環境之該現實物件之一掃描攝影機模組151。而本發明並不侷限於此，舉例來說，在另一實施例中，頭戴式顯示系統可僅包含有一組攝影機模組，其同時具有該追蹤攝影機模組與該掃描攝影機模組之功能，以產生追蹤結果與該掃描結果，也就是說，該掃描單元與該追蹤單元可彼此整合，以達到簡化結構並降低成本之目的。
處理單元13耦接於追蹤單元14與掃描單元15，處理單元13用於根據掃描單元14之該掃描結果辨識該現實物件、根據處理單元13之一辨識結果決定至少一預設互動特性、根據掃描單元14之該掃描結果於該虛擬環境中創建相對應於該現實環境之該現實物件之該虛擬物件以及為該虛擬物件賦予該至少一預設互動特性。如此一來，當追蹤單元14之該追蹤結果之該至少一互動輸入符合該至少一預設互動特性時，該虛擬物件便可根據該至少一互動輸入被操作。該至少一預設互動特性可儲存於頭戴式顯示系統1之儲存元件，如一唯讀記憶體(read-only memory,ROM)或一隨機存取記憶體(random-access memory,RAM)等，然本發明並不侷限於此。此外，於此實施例中，處理單元13可以軟體、韌體、硬體或其組合之方式實施。舉例來說，處理單元13可為一處理器(processor)，例如一中央處理單元(CPU)、一應用處理器(application processor)或一微處理器(microprocessor)等，或透過專用集成電路(ASIC)實現，而本發明並不侷限於此。
此外，於此實施例中，該至少一預設互動特性可包含有一預設操作點、一預設操作手勢以及一預設操作動作。而本發明並不侷限於此，舉例來說，在另一實施例中，該至少一預設互動特性可包含有該預設操作點、該預設操作 手勢以及該預設操作動作的其中至少一者。又或者，在另一實施例中(稍後說明)，該至少一預設互動特性可另包含有一預設骨架、一預設反應點、一預設反應動作以及一預設反應效果的其中至少一者。
再者，於此實施例中，顯示單元12、處理單元13、追蹤單元14以及掃描單元15均設置在可穿戴本體11上。而本發明並不侷限於此，舉例來說，在另一實施例中，該頭戴式顯示系統可另包含有一遠端計算設備以及一通訊模組，該遠端計算設備與該可穿戴本體分離設置，該通訊模組設置於該可穿戴本體上且用於提供一通訊通道至該遠端計算設備。具體地，該遠端計算設備可為一邊緣計算設備(edge computing device)、一雲計算設備(cloud computing device)、一本地端計算機(local host computer)、一遠端伺服器(remote server)、一智慧型手機(smart phone)等，該通訊模組可於該可穿戴本體與該遠端計算設備之間建立一有線或無線的連接。於此實施例中，該處理單元、該追蹤單元或該掃描單元可至少部份設置在該遠端計算設備，而非該可穿戴本體；且該處理單元、該追蹤單元或該掃描單元可將部份任務分配給該遠端計算設備，使得該掃描單元之該掃描結果、該追蹤單元之該追蹤結果或該處理單元之數據(例如該處理單元之該辨識結果與該至少一預設互動特性)可藉由該通訊模組在該遠端計算設備與該可穿戴本體之間傳送，從而減少該可穿戴本體之尺寸與數據運算量，以使該可穿戴本體更輕薄且便於攜帶。
請參閱第3圖，第3圖為本發明第一實施例利用頭戴式顯示系統1根據該現實環境之該現實物件於該虛擬環境中創建該虛擬物件並為該虛擬物件賦予該至少一預設互動特性之方法流程圖，其包含有下列步驟：
S1：掃描單元15掃描該現實環境之該現實物件，以產生該掃描結果。
S2：處理單元13根據掃描單元15之該掃描結果辨識該現實環境之該現實物件。
S3：處理單元13根據該辨識結果決定該至少一預設互動特性。
S4：處理單元13根據掃描單元15之該掃描結果於該虛擬環境中創建該虛擬物件。
S5：處理單元13為該虛擬物件賦予該至少一預設互動特性。
S6：追蹤單元14追蹤該使用者之該手部，以產生具有該至少一互動輸入之該追蹤結果。
S7：當追蹤單元14之該追蹤結果之該至少一互動輸入符合該至少一預設互動特性時，該虛擬物件根據該至少一互動輸入被操作。
以下針對上述步驟進行說明，於步驟S1中，當該使用者欲於該虛擬環境中創建相對應該現實環境之該現實物件且如該現實物件一般地被操作之該虛擬物件時，使用者可穿著可穿戴本體11並利用掃描單元15掃描該現實物件，以產生至少包含有該現實物件之一顏色、一紋理以及一幾何形狀之該掃描結果。於步驟S2、S3中，處理單元13可根據該掃描結果辨識該現實物件且根據該辨識結果決定該至少一預設互動特性。接著，在步驟S4、S5中，處理單元13可根據掃描單元14之該掃描結果於該虛擬環境中創建該虛擬物件並且為該虛擬物件賦予該至少一預設互動特性。於步驟S6、S7中，當該使用者欲操作該虛擬物件時，該使用者可移動該手部，使得追蹤單元14可追蹤該使用者之該手部，以產生具有該至少一互動輸入之該追蹤結果。再者，當追蹤單元14之該至少一互動輸入符合該至少一預設互動特性時，該虛擬物件便可根據該至少一互動輸入被操作，從而允許使用者更自然地且如操作該現實物件一般地操作該虛擬物件。
舉例來說，請參閱第4圖，第4圖為本發明第一實施例該使用者操作該虛擬環境之該虛擬物件之示意圖。如第4圖所示，若處理單元13根據該掃描結果辨識該現實物件為一高腳杯，處理單元13可決定該至少一預設互動特性之該預設操作點、該預設操作手勢以及該預設操作動作分別為該高腳杯之一柄部、一捏合手勢以及一平移動作。當該虛擬物件(即如第4圖所示之一虛擬高腳杯2)創建完成後，虛擬高腳杯2可被賦予該預設互動特性，使得當追蹤單元14之該追蹤結果之該至少一互動輸入符合該至少一預設互動特性時，即該操作點、該操作手勢以及該操作動作分別符合該預設操作點、該預設操作手勢以及該預設操作動作時，虛擬高腳杯2可根據該至少一互動輸入被操作。也就是說，只有在該使用者用大拇指與食指捏住虛擬高腳杯2之該柄部時虛擬高腳杯2才可被拿取且被平移，因此本發明允許該使用者能更自然地操作虛擬高腳杯2。
而本發明並不侷限於此，舉例來說，在另一實施例中，該追蹤單元亦可同時追蹤該使用者之該手部與該眼部，以產生具有該至少一互動輸入之該追蹤結果。具體地，該追蹤單元可包含有兩組追蹤攝影機模組，其中一組追蹤攝影機模組用於該使用者之該手勢與該手部動作，另一組追蹤攝影機用於追蹤該使用者之該眼部視線，該至少一互動輸入可包含有該使用者之該眼部視線之該操作點、該操作手是以及該手部動作。也就是說，與前述實施例不同的是，本實施例之該操作點是由該使用者之該眼部視線來決定，因此當該使用者凝視著該虛擬高腳杯之該柄部且用大拇指與食指於任一處，無須瞄準該虛擬高腳杯之該柄部，擺出該捏合手勢時，便可拿取並操作該虛擬高腳杯平移。
再者，於另一實施例中，該至少一預設互動特性包含有複數個預設 互動特性，且各預設互動特性包含有一預設操作點、一預設操作手勢以及一預設操作動作的其中至少一者，從而允許該使用者以不同方式操作該虛擬物件。 舉例來說，請參閱第5圖與第6圖，第5圖為本發明第二實施例該使用者以一第一操作方式操作該虛擬環境之該虛擬物件之示意圖，第6圖為本發明第二實施例該使用者以一第二操作方式操作該虛擬環境之該虛擬物件之示意圖。如第5圖與第6圖所示，此實施例之該虛擬環境之該虛擬物件可為對應於該現實環境之一高腳杯之一虛擬高腳杯2’，與第一實施例不同的是，本實施例之該至少一預設互動特性包含有一第一預設互動特性以及一第二預設互動特性，該第一預設互動特性可包含有一第一預設操作點、一第一預設操作手勢以及一第一預設操作動作，該第二預設互動特性可包含有一第二預設操作點、一第二預設操作手勢以及一第二預設操作動作，該第一預設操作點、該第一預設操作手勢以及該第一預設操作動作可分別為該高腳杯之一頂部、一全手抓握手勢以及一旋轉動作，該第二預設操作點、該第二預設操作手勢以及該第二預設操作動作可分別為該高腳杯之一柄部、一捏合手勢以及一平移動作，因此使用者可以兩種不同操作方式來操作虛擬高腳杯2’，第一種操作方式為利用瞄準虛擬高腳杯2’之該頂部之該全手抓握手勢來對虛擬高腳杯2’進行轉動操作，第二種操作方式為利用瞄準虛擬高腳杯2’之該柄部之該捏合手勢來對虛擬高腳杯2’進行平移操作。而本發明並不侷限於此，舉例來說，在另一實施例中，該第一預設互動特性可包含有該第一預設操作點、該第一預設操作手勢以及該第一預設操作動作的其中至少一者，且該第二預設互動特性可包含有該第二預設操作點、該第二預設操作手勢以及該第二預設操作動作的其中至少一者。
請參閱第7圖，第7圖為本發明第三實施例該使用者操作該虛擬環境之該虛擬物件之示意圖。如第7圖所示，此實施例之該虛擬環境之該虛擬物件為 對應該現實環境之一筆記型電腦且根據該掃描結果所創建之一虛擬筆記型電腦2”，該至少一預設互動特性根據該辨識結果決定包含有一預設骨架、一預設操作點以及一預設操作動作。具體地，當虛擬筆記型電腦2”被賦予該至少一預設互動特性後，虛擬筆記型電腦2”可根據該預設骨架而分為一上蓋部21”、一樞軸部22”以及一下蓋部23”，再者，該預設操作點與該預設操作動作可分別為該筆記型電腦之一上蓋部之一開闔側與該筆記型電腦之該上蓋部相對於一下蓋部繞一樞軸部之轉動，因此該使用者可利用大拇指移動虛擬筆記型電腦2”之上蓋部21”之一開闔側來操作虛擬筆記型電腦2”之上蓋部21”相對於下蓋部23”繞樞軸部22”打開。
請參閱第8圖，第8圖為本發明第四實施例該使用者操作該虛擬環境之該虛擬物件之示意圖。如第8圖所示，此實施例之該虛擬環境之該虛擬物件為對應該現實環境之一手槍且根據該掃描結果所創建之一虛擬手槍2'''，該至少一預設互動特性可根據該辨識結果決定包含有一預設操作點、一預設操作手勢、一預設操作動作、一預設反應點、一預設反應動作以及一預設反應效果。具體地，該預設操作點、該預設操作手勢、該預設操作動作、該預設反應點、該預設反應動作以及該預設反應效果可分別為該手槍之一扳機部、一食指觸發手勢、一食指觸發動作、該手槍之一槍口部、該槍口部之一向上動作、以及一閃光效果。因此該使用者可利用食指操作虛擬手槍2'''之扳機部21'''，以操作虛擬手槍2'''產生伴隨有虛擬手機2'''之一槍口部22'''上移與閃光效果之擬真射擊。
此外，本發明上述實施例可以軟體、韌體、硬體或其組合之方式來實施，舉例來說，本發明亦可提供儲存有一程式之一電腦可讀取記錄媒體，以透過一處理器執行對應的程式來指示上述頭戴式顯示系統實現上述實施例中的 步驟。上述處理器可為一中央處理單元(CPU)、一應用處理器(application processor)或一微處理器(microprocessor)等，或通過專用集成電路(ASIC)實現，而上述電腦可讀取記錄媒體可為一唯讀記憶體(read-only memory,ROM)、一隨機存取記憶體(random-access memory,RAM)、一光碟(CDROM)、一磁帶(magnetic tape)、一軟碟(floppy disk)、一硬碟(hard disk)或一光學儲存裝置(optical storage device)等，然本發明並不侷限於此。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
S1~S7:步驟

Claims (11)

  1. 一種可根據一現實環境之一現實物件於一虛擬環境創建一虛擬物件並為該虛擬物件賦予至少一預設互動特性之頭戴式顯示系統，其包含有：一掃描單元，其用於掃描該現實環境之該現實物件，以產生一掃描結果；以及一處理單元，其耦接於該掃描單元，該處理單元用於根據該掃描單元之該掃描結果辨識該現實物件、根據該處理單元之一辨識結果決定一第一預設互動特性以及一第二預設互動特性、根據該掃描單元之該掃描結果於該虛擬環境中創建相對應於該現實環境之該現實物件之該虛擬物件以及為該虛擬物件賦予該第一預設互動特性以及該第二預設互動特性，該第一預設互動特性包含有一第一預設操作手勢以及一第一預設操作動作，且該第二預設互動特性包含有一第二預設操作手勢以及一第二預設操作動作。
  2. 如請求項1所述之頭戴式顯示系統，其另包含有一追蹤單元，其耦接於該處理單元且用於追蹤一使用者之一手部、該使用者之一眼部以及供該使用者操作之一遙控器的其中至少一者，以產生具有至少一互動輸入之一追蹤結果。
  3. 如請求項2所述之頭戴式顯示系統，其中當該追蹤單元之該追蹤結果之該至少一互動輸入符合該第一預設互動特性或該第二預設互動特性時，該虛擬物件根據該至少一互動輸入被操作。
  4. 如請求項3所述之頭戴式顯示系統，其中當該追蹤單元之該追蹤結果 之該至少一互動輸入包含有一操作點、一操作手勢以及一操作動作的其中至少一者，該第一預設互動特性另包含有一第一預設操作點，且該第二預設互動特性另包含有一第二預設操作點。
  5. 如請求項1所述之頭戴式顯示系統，其中該第一預設互動特性另包含有一第一預設操作點、一第一預設骨架、一第一預設反應點、一第一預設反應動作以及一第一預設反應效果的其中至少一者，且該第二預設互動特性另包含有一第二預設操作點、一第二預設骨架、一第二預設反應點、一第二預設反應動作以及一第二預設反應效果的其中至少一者，。
  6. 一種利用一頭戴式顯示系統根據一現實環境之一現實物件於一虛擬環境創建一虛擬物件並為該虛擬物件賦予一第一預設互動特性以及一第二預設互動特性之方法，其包含有：利用該頭戴式顯示系統之一掃描單元掃描該現實環境之該現實物件，以產生一掃描結果；以及利用該頭戴式顯示系統之一處理單元根據該掃描單元之該掃描結果辨識該現實物件、根據該處理單元之一辨識結果決定該第一預設互動特性以及該第二預設互動特性、根據該掃描單元之該掃描結果於該虛擬環境中創建相對應於該現實物件之該虛擬物件以及為該虛擬物件賦予該第一預設互動特性以及該第二預設互動特性，該第一預設互動特性包含有一第一預設操作手勢以及一第一預設操作動作，且該第二預設互動特性包含有一第二預設操作手勢以及一第二預設操作動作。
  7. 如請求項6所述之方法，其另包含有： 利用該頭戴式顯示系統之一追蹤單元追蹤一使用者之一手部、該使用者之一眼部以及供該使用者操作之一遙控器的其中至少一者，以產生具有至少一操作輸入之一追蹤結果。
  8. 如請求項7所述之方法，其另包含有：當該追蹤單元之該追蹤結果之該至少一互動輸入符合該第一預設互動特性或該第二預設互動特性時，根據該至少一互動輸入操作該虛擬物件。
  9. 如請求項8所述之方法，其中當該追蹤單元之該追蹤結果之該至少一互動輸入包含有一操作點、一操作手勢以及一操作動作的其中至少一者，該第一預設互動特性另包含有一第一預設操作點，且該第二預設互動特性另包含有一第二預設操作點。
  10. 如請求項6所述之方法，其中該第一預設互動特性另包含有一第一預設操作點、一第一預設骨架、一第一預設反應點、一第一預設反應動作以及一第一預設反應效果的其中至少一者，且該第二預設互動特性另包含有一第二預設操作點、一第二預設骨架、一第二預設反應點、一第二預設反應動作以及一第二預設反應效果的其中至少一者，。
  11. 一種內儲一程式之電腦可讀取記錄媒體，當一電腦載入該程式並執行後，可完成如請求項6至10中任一項所述之方法。
TW108117942A 2019-04-23 2019-05-24 可根據現實物件創建虛擬物件並為虛擬物件賦予預設互動特性之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體 TWI696092B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/392,615 US11107293B2 (en) 2019-04-23 2019-04-23 Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
US16/392,615 2019-04-23

Publications (2)

Publication Number Publication Date
TWI696092B true TWI696092B (zh) 2020-06-11
TW202040320A TW202040320A (zh) 2020-11-01

Family

ID=72176291

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108117942A TWI696092B (zh) 2019-04-23 2019-05-24 可根據現實物件創建虛擬物件並為虛擬物件賦予預設互動特性之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體

Country Status (4)

Country Link
US (1) US11107293B2 (zh)
JP (1) JP2020181545A (zh)
CN (1) CN111831103A (zh)
TW (1) TWI696092B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021176861A1 (ja) * 2020-03-05 2021-09-10 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム
KR102582312B1 (ko) * 2021-04-27 2023-09-25 주식회사 아이브이알시스템즈 가상 환경 상호작용 협업 시스템 및 그 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140225918A1 (en) * 2013-02-14 2014-08-14 Qualcomm Incorporated Human-body-gesture-based region and volume selection for hmd
CN104238738A (zh) * 2013-06-07 2014-12-24 索尼电脑娱乐美国公司 在头戴式系统内产生增强虚拟现实场景的系统和方法
CN105528082A (zh) * 2016-01-08 2016-04-27 北京暴风魔镜科技有限公司 三维空间及手势识别追踪交互方法、装置和系统
US20170185830A1 (en) * 2015-12-29 2017-06-29 Samsung Electronics Co., Ltd. Apparatus and Method for Recognizing Hand Gestures in a Virtual Reality Headset
CN107533369A (zh) * 2015-02-20 2018-01-02 索尼互动娱乐股份有限公司 带有外围装置的手套指尖的磁性跟踪
TW201816548A (zh) * 2016-10-26 2018-05-01 宏達國際電子股份有限公司 虛擬實境交互方法、裝置與系統

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018579B1 (en) 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
US8606657B2 (en) 2009-01-21 2013-12-10 Edgenet, Inc. Augmented reality method and system for designing environments and buying/selling goods
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
CN104011788B (zh) * 2011-10-28 2016-11-16 奇跃公司 用于增强和虚拟现实的系统和方法
US9639984B2 (en) 2013-06-03 2017-05-02 Daqri, Llc Data manipulation based on real world object manipulation
JP6500477B2 (ja) 2015-02-12 2019-04-17 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9766715B2 (en) * 2014-05-01 2017-09-19 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
US9665985B2 (en) * 2014-08-15 2017-05-30 Daqri, Llc Remote expert system
US10449445B2 (en) 2014-12-11 2019-10-22 Elwha Llc Feedback for enhanced situational awareness
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
KR101892735B1 (ko) 2015-02-05 2018-08-28 한국전자통신연구원 직관적인 상호작용 장치 및 방법
US10429923B1 (en) * 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9898869B2 (en) * 2015-09-09 2018-02-20 Microsoft Technology Licensing, Llc Tactile interaction in virtual environments
WO2018007351A1 (en) 2016-07-05 2018-01-11 Lego A/S Method for creating a virtual object
US10896544B2 (en) 2016-10-07 2021-01-19 Htc Corporation System and method for providing simulated environment
US10304251B2 (en) 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
WO2019021566A1 (ja) 2017-07-26 2019-01-31 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20190188450A1 (en) * 2017-11-06 2019-06-20 Magical Technologies, Llc Systems, Methods and Apparatuses for Deployment of Virtual Objects Based on Content Segment Consumed in a Target Environment
WO2020077500A1 (en) * 2018-10-15 2020-04-23 Midea Group Co., Ltd. System and method for providing real-time product interaction assistance

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140225918A1 (en) * 2013-02-14 2014-08-14 Qualcomm Incorporated Human-body-gesture-based region and volume selection for hmd
CN104238738A (zh) * 2013-06-07 2014-12-24 索尼电脑娱乐美国公司 在头戴式系统内产生增强虚拟现实场景的系统和方法
CN107533369A (zh) * 2015-02-20 2018-01-02 索尼互动娱乐股份有限公司 带有外围装置的手套指尖的磁性跟踪
US20170185830A1 (en) * 2015-12-29 2017-06-29 Samsung Electronics Co., Ltd. Apparatus and Method for Recognizing Hand Gestures in a Virtual Reality Headset
CN105528082A (zh) * 2016-01-08 2016-04-27 北京暴风魔镜科技有限公司 三维空间及手势识别追踪交互方法、装置和系统
TW201816548A (zh) * 2016-10-26 2018-05-01 宏達國際電子股份有限公司 虛擬實境交互方法、裝置與系統

Also Published As

Publication number Publication date
TW202040320A (zh) 2020-11-01
US11107293B2 (en) 2021-08-31
JP2020181545A (ja) 2020-11-05
US20200342682A1 (en) 2020-10-29
CN111831103A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
US11237638B2 (en) Systems and methods for extensions to alternative control of touch-based devices
US11461955B2 (en) Holographic palm raycasting for targeting virtual objects
US10761612B2 (en) Gesture recognition techniques
JP7137804B2 (ja) ジェスチャベースインタラクションのための方法およびシステム
US11625103B2 (en) Integration of artificial reality interaction modes
US9658695B2 (en) Systems and methods for alternative control of touch-based devices
US20170293364A1 (en) Gesture-based control system
JP6539816B2 (ja) １つのシングル・センシング・システムを使用したマルチ・モーダル・ジェスチャー・ベースの対話型のシステム及び方法
US9247236B2 (en) Display with built in 3D sensing capability and gesture control of TV
US20220019288A1 (en) Information processing apparatus, information processing method, and program
TWI696092B (zh) 可根據現實物件創建虛擬物件並為虛擬物件賦予預設互動特性之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體
US12099658B2 (en) Systems and methods for extensions to alternative control of touch-based devices
EP3734419A1 (en) Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
KR20240036582A (ko) 물리적 객체와의 사용자 인터페이스에 대한 상호작용들을 관리하기 위한 방법 및 디바이스
Sohag et al. An approach to convert conventional screen into touch screen using image processing