TW201816548A - 虛擬實境交互方法、裝置與系統 - Google Patents

虛擬實境交互方法、裝置與系統 Download PDF

Info

Publication number
TW201816548A
TW201816548A TW106136916A TW106136916A TW201816548A TW 201816548 A TW201816548 A TW 201816548A TW 106136916 A TW106136916 A TW 106136916A TW 106136916 A TW106136916 A TW 106136916A TW 201816548 A TW201816548 A TW 201816548A
Authority
TW
Taiwan
Prior art keywords
preset
virtual reality
page
interactive object
identifier
Prior art date
Application number
TW106136916A
Other languages
English (en)
Other versions
TWI654539B (zh
Inventor
蔡致賢
鄭中陽
楊爽
董中倩
王勃
王亞坤
楊濤
智威 張
格雷林艾爾文
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201816548A publication Critical patent/TW201816548A/zh
Application granted granted Critical
Publication of TWI654539B publication Critical patent/TWI654539B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明提供一種虛擬實境交互方法、裝置與系統。虛擬實境交互方法包括：持續獲取使用者面前的圖像資訊；通過識別所述圖像資訊中的預設標識來識別預設交互物體，所述預設交互物體的表面具有一個或多個所述預設標識；通過所述圖像資訊識別使用者的手部動作；根據所述手部動作與所述預設交互物體的位置，在虛擬實境環境中模擬用戶對所述預設交互物體的交互動作。本發明提供的虛擬實境交互方法可以準確地在虛擬實境環境中類比使用者對真實物體的交互動作，改善了虛擬實境的用戶體驗。

Description

虛擬實境交互方法、裝置與系統
本發明涉及虛擬實境技術領域，具體而言，涉及一種用於準確類比使用者與真實物體交互動作的虛擬實境交互方法、裝置與系統。
隨著科技發展，虛擬實境技術在生活中得到了越來越多的應用。
在現有技術中，當用戶希望在虛擬環境中得到逼真的與真實物體的交互體驗時，往往需要通過在手上佩戴定位器或者通過其他特殊的電子儀器或操縱器來實現。當使用者在虛擬實境環境中需要與真實物體互動，例如閱讀虛擬圖書時，現有技術無法提供方便的操作方式以在虛擬世界中閱讀虛擬圖書。
因此，需要一種能準確類比使用者與真實物體交互動作方法。
需要說明的是，在上述背景技術部分公開的資訊僅用於加強對本發明的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的資訊。
根據上述，在閱讀虛擬圖書時，現有技術無法很好地結合用戶手部動作與虛擬物體之間的位置分辨其操作關係，以達到方便地操作，例如翻動書頁。
因此，本發明的目的在於提供一種用於準確類比使用者與真實物體交互動作的虛擬實境交互方法、裝置與系統，用於至少在一定程度上克服由於相關技術的限制和缺陷而導致的一個或多個問題。
根據本發明實施例的第一方面，提供一種虛擬實境交互方法，包括：持續獲取使用者面前的圖像資訊；通過識別所述圖像資訊中的預設標識來識別預設交互物體，所述預設交互物體的表面具有一個或多個所述預設標識；通過所述圖像資訊識別使用者的手部動作；根據所述手部動作與所述預設交互物體的位置，在虛擬實境環境中模擬用戶對所述預設交互物體的交互動作。
在本發明的一種示例性實施例中，所述識別預設交互物體包括識別所述預設交互物體的位置和/或表面狀態。
在本發明的一種示例性實施例中，所述識別用戶的手部動作包括識別手部姿態和/或手部位置。
在本發明的一種示例性實施例中，所述預設標識包括虛擬內容資訊，識別所述圖像資訊中的預設標識還包括識別所述虛擬內容資訊。
根據本發明實施例的第二方面，提供一種虛擬實境交互裝置，包括：
圖像採集模組，用於持續獲取使用者面前的圖像資訊；
標識識別模組，用於通過識別所述圖像資訊中的預設標識來識別預設交互物體，所述預設交互物體的表面具有一個或多個所述預設標識；
手勢識別模組，用於通過所述圖像資訊識別使用者的手部動作；
圖像輸出模組，用於根據所述手部動作與所述預設交互物體的位置，在虛擬實境環境中模擬用戶對所述預設交互物體的交互動作。
在本發明的一種示例性實施例中，所述識別預設交互物體包括識別所述預設交互物體的位置和/或表面狀態。
在本發明的一種示例性實施例中，所述識別用戶的手部動作包括識別手部姿態和/或手部位置。
在本發明的一種示例性實施例中，所述預設標識包括虛擬內容資訊，所述標識識別模組還用於識別所述虛擬內容資訊。
在本發明的一種示例性實施例中，還包括：資料庫模組，用於記錄所述預設標識與所述虛擬內容資訊的對應關係。
根據本發明實施例的協力廠商面，提供一種虛擬實境交互系統，包括：虛擬實境顯示裝置，用於對使用者顯示虛擬實境圖像；預設交互物體，用於輔助識別使用者的交互動作；以及，如上文所述的虛擬實境交互裝置。
根據本發明實施例的第四方面，提供一種電子設備，包括：一個或多個處理器；存儲裝置，用於存儲一個或多個程式，當所述一個或多個程式被所述一個或多個處理器執行時，使得所述一個或多個處理器實現上述的虛擬實境交互方法。
根據本發明實施例的第五方面，提供一種電腦可讀介質，其上存儲有電腦程式，所述程式被處理器執行時實現上述的虛擬實境交互方法。
根據本發明實施例的第六方面，提供一種虛擬實境交互方法，包括：獲取預設交互物體的圖像資訊，所述預設交互物體的表面具有預設標識；根據所述預設標識識別所述圖像資訊，獲取所述預設交互物體的至少一種參數；根據所述至少一種參數執行預設交交互操作。
在本發明的一種示例性實施例中，所述至少一種參數包括所述預設交互物體的彎曲持續時間、彎曲方向、彎曲形狀中的一種或者多種。
在本發明的一種示例性實施例中，所述預設交交互操作包括向後翻頁、向前翻頁、連續向後翻頁、連續向前翻頁操作中的一種或者多種。
在本發明的一種示例性實施例中，所述預設交互物體為一柔性材料製成的書冊，其包括至少一頁面，所述至少一頁面的表面具有多個所述預設標識。
在本發明的一種示例性實施例中，根據所述預設標識識別所述圖像資訊，獲取所述預設交互物體的至少一種參數包括：選取所述至少一頁面上的多個所述預設標識中的第一標識和第二標識；根據所述第一標識和所述第二標識的位置座標分別獲取所述第一標識的第一法向量和所述第二標識的第二法向量；根據所述第一法向量和所述第二法向量確定所述第一標識和所述第二標識之間的夾角。
在本發明的一種示例性實施例中，根據所述至少一種參數執行預設交交互操作包括：判斷所述夾角隨著時間變化的曲線是否落入預定義區域內；當所述夾角隨著時間變化的曲線落入所述預定義區域內時，執行一向後翻頁操作。
在本發明的一種示例性實施例中，所述預定義區域由預定義的第一曲線和第二曲線以及所述第一曲線和所述第二曲線分別與時間軸的交點確定。
在本發明的一種示例性實施例中，根據所述至少一種參數執行預設交交互操作包括：當所述夾角大於第一閾值且持續時間超過預設時間時，執行一連續向後翻頁操作。
在本發明的一種示例性實施例中，當所述夾角大於第一閾值且持續時間超過預設時間時，執行一連續向後翻頁操作包括：當所述夾角大於等於所述第一閾值且小於第二閾值時，按照第一翻頁動畫速度執行所述連續向後翻頁操作；和/或當所述夾角大於等於所述第二閾值且小於第三閾值時，按照第二翻頁動畫速度執行所述連續向後翻頁操作；和/或當所述夾角大於等於所述第三閾值且小於第四閾值時，按照第三翻頁動畫速度執行所述連續向後翻頁操作；和/或當所述夾角小於所述第一閾值時，停止所述連續向後翻頁操作。
根據本發明實施例的第七方面，提供一種虛擬實境交互裝置，包括：圖像採集模組，用於獲取預設交互物體的圖像資訊，所述預設交互物體的表面具有預設標識；參數獲取模組，用於根據所述預設標識識別所述圖像資訊，獲取所述預設交互物體的至少一種參數；交互執行模組，用於根據所述至少一種參數執行預設交交互操作。
根據本發明實施例的第八方面，提供一種電子設備，包括：一個或多個處理器；存儲裝置，用於存儲一個或多個程式，當所述一個或多個程式被所述一個或多個處理器執行時，使得所述一個或多個處理器實現上述的虛擬實境交互方法。
根據本發明實施例的第九方面，提供一種電腦可讀介質，其上存儲有電腦程式，所述程式被處理器執行時實現上述的虛擬實境交互方法。
本發明的虛擬實境交互方法通過辨識預設交互物體上的預設標識判斷預設交互物體的位置以及判斷使用者手部動作，準確地定位預設交互物體以及使用者手部與預設交互物體的相對位置關係，從而準確地在虛擬實境環境中類比使用者對真實物體的交互動作，改善了虛擬實境的用戶體驗。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，並不能限制本發明。
現在將參考附圖更全面地描述示例實施方式。然而，示例實施方式能夠以多種形式實施，且不應被理解為限於在此闡述的範例；相反，提供這些實施方式使得本發明將更加全面和完整，並將示例實施方式的構思全面地傳達給本領域的技術人員。所描述的特徵、結構或特性可以以任何合適的方式結合在一個或更多實施方式中。在下面的描述中，提供許多具體細節從而給出對本發明的實施方式的充分理解。然而，本領域技術人員將意識到，可以實踐本發明的技術方案而省略所述特定細節中的一個或更多，或者可以採用其它的方法、組元、裝置、步驟等。在其它情況下，不詳細示出或描述公知技術方案以避免喧賓奪主而使得本發明的各方面變得模糊。
此外，附圖僅為本發明的示意性圖解，並非一定是按比例繪製。圖中相同的附圖標記表示相同或類似的部分，因而將省略對它們的重複描述。附圖中所示的一些方框圖是功能實體，不一定必須與物理或邏輯上獨立的實體相對應。可以採用軟體形式來實現這些功能實體，或在一個或多個硬體模組或積體電路中實現這些功能實體，或在不同網路和/或處理器裝置和/或微控制器裝置中實現這些功能實體。
下面結合附圖對本發明示例性實施方式進行詳細說明。
第1圖是本發明一種虛擬實境交互方法的流程圖。參考第1圖，虛擬實境交互方法100可以包括：
步驟S102，持續獲取使用者面前的圖像資訊。
步驟S104，通過識別所述圖像資訊中的預設標識來識別預設交互物體，所述預設交互物體的表面具有一個或多個所述預設標識。
步驟S106，通過所述圖像資訊識別使用者的手部動作。.
步驟S108，根據所述手部動作與所述預設交互物體的位置，在虛擬實境環境中模擬用戶對所述預設交互物體的交互動作。
可以根據上述步驟計算出的預設交互物體的位置和朝向、預設標識所關聯的虛擬內容，以及使用者的手勢和其位置及手勢在系統中的互動結果，構造出一個高度沉浸的混合現實體驗。
本發明的虛擬實境交互方法100通過辨識預設交互物體上的預設標識判斷預設交互物體的位置以及判斷使用者手部動作，準確地定位預設交互物體以及使用者手部與預設交互物體的相對位置關係，從而準確地在虛擬實境環境中類比使用者對真實物體的交互動作，改善了虛擬實境的用戶體驗。
下面結合具體實施例來對上述虛擬實境交互方法進行詳細說明。
第2圖示意性示出本發明示例性實施例中一種虛擬實境頭盔(VR，Virtual Reality)的示意圖，例如可以為頭戴式顯示器(HMD，Head-Mounted Display)。頭盔200可以包括虛擬實境顯示裝置202和圖像獲取裝置（相機）204。
上述方法100可以通過佩戴虛擬實境頭戴式顯示器(HMD，Head-Mounted Display)來實現。本發明的虛擬實境頭戴式顯示器包括一個或多個圖像採集裝置，例如可以為相機，這些相機可以被以內置或外置的形式安裝在頭戴式顯示器上，用來捕獲在HMD前方的環境，以持續獲取使用者面前的圖像資訊。
HMD一般帶有兩個顯示幕幕，分別在眼睛前方位置，用來顯示虛擬實境系統的圖像輸出結果。在這個系統中，還會有一個處理器及其他相關模組，用來即時執行每個模組的計算工作和顯示渲染結果到HMD的顯示幕幕上。其中處理器及其他相關模組可內建於HMD本身，或可為一外部裝置而以有線或無線的方式與HMD連接以傳輸資料。
在一般虛擬實境系統中，當使用者帶上HMD後，使用者的視線幾乎可被全部阻擋以隔絕外部的光源。此外，在本發明帶有相機的HMD的虛擬實境系統中，相機可以捕獲用戶所看見的外部環境。本實施例中提及的相機可以是基於RGB通道的相機、帶有深度的（RGB-D）相機或者雙眼相機等VR和AR系統中常見的相機。
要提供給用戶帶有混合現實的體驗，用戶在HMD前方所看到的或可以進行交互的物體都應該可以以虛擬物體的方式顯示在HMD中的顯示幕上。其中一個方法是：通過對從HMD的相機捕獲的圖像進行電腦視覺演算法計算，跟蹤預設交互物體的位置、朝向以及姿態。另一個方法是：在預設交互物體中附上感測器。在不依賴HMD及預設交互物體額外感測器的前提下，虛擬實境交互方法100可以通過第一種方法來提供混合現實體驗。
第3圖示意性示出本發明示例性實施例中一種預設標識的示意圖。參考第3圖，預設標識可以為包括二維碼、條碼或者其他二維圖案在內的二維標識，也可以是其他能被虛擬實境圖像獲取裝置識別到並且在之後可以由處理器分析的標識。其中，每一個預設標識皆具有獨立的辨識性(ID)，以與其他的預設標識作區分。
為了提高系統跟蹤預設交互物體的位置、朝向以及不同姿態的魯棒性，預設標識可以被印在預設交互物體的表面上。預設標識與預設交互物體的結合可以是將圖像（如AprilTag）列印在或貼在預設交互物體上，或是以任何方式附著於預設交互物體的表面。
預設交互物體例如可以為一個小冊子或書本，或是以硬或軟的材質所作成的類似小冊子或書本形狀的物體，可為一頁或多頁，也可做成可折迭的形式。而小冊子可以作為目標跟蹤物體，根據不同的設計和所需顯示資料。基於預設標識可能被其他物體（如手）遮蔽，並且為了增加跟蹤物體位置的精確度，可以在每一頁的小冊子上列印或貼上多個預設標識。在一實施例中，小冊子可為單頁，並印有一個或多個預設標識；在另一實施例中，小冊子可為可翻面的一頁正反面且兩面都印有一個或多個預設標識；在另一實施例中，小冊子可為可折迭的兩頁或多頁且每頁上都印有一個或多個預設標識。例如，第4圖示意性示出本示例性實施例中一種單頁小冊子的示意圖；第5圖示意性示出本示例性實施例中一種多頁小冊子的示意圖。
可以根據所獲取的圖像資訊中一個或多個預設標識的影像，而判斷此一個或多個預設標識的位置和其朝向，並根據它們對於小冊子的相對位置，來計算出小冊子的位置和其朝向。這個相對位置的資料可以是預先定義，也可以是通過預設標識的唯一編碼查找在資料庫中的對應資訊。
根據上述獲得的小冊子位置和其朝向，可以在HMD中根據這些資料顯示出一個虛擬小冊子。為了進一步提升沉浸感，除了位置和朝向外，小冊子的真實尺寸和其顯示在頭盔中的虛擬尺寸可以是按照1比1對應，也可以是根據一個固定的比例或其他能令用戶感覺到高度沉浸的非線性比例對應。
如果這本小冊子中附有多頁，通過跟蹤預設標識，當使用者翻動小冊子至下一頁時，虛擬小冊子會對應地顯示此頁面內容。在此場景下，虛擬小冊子和實體的小冊子的頁數是需要一致的。不過，通過手勢識別，可以降低對實體小冊子的頁數要求。當用戶執行翻頁手勢，可以觸發虛擬小冊子翻頁並顯示翻頁的過程和結果。因此，本方法可以支持用戶通過操作最少一頁的實體小冊子來在虛擬環境模擬出流覽一本無限頁數的虛擬小冊子。
除了顯示一般在實體小冊子裡的文字和圖片內容外，多媒體內容（如動畫，視頻，聲音），3D內容和360虛擬實境內容都可以顯示在虛擬小冊子中，例如顯示在虛擬小冊子中或顯示在虛擬空間中對應虛擬小冊子的位置。通過手勢或其他控制設備對小冊子或對系統中的其他物體的互動操作，來顯示該內容，或進行該交互。
第6圖示意性示出本發明示例性實施例中手部擋住小冊子上標識的示意圖。可以通過相機所獲取到的相片，來讀取小冊子上預設標識的唯一編碼(ID)，和計算出小冊子相對於相機的位置及其朝向。
通過這個模組中的電腦視覺跟蹤演算法，系統能追蹤到出現在相機中的目標物件，例如：小冊子，或者其他類似的物體。跟蹤演算法提取這個物體的關鍵特徵，如顏色，邊緣，紋理等。這是一個已經被深入研究的題目。為了提供一個高品質的混合現實系統，這個模組的跟蹤演算法需要能達到高精確度(如毫米級)，在不同類型的物體（形狀，顏色，表面）和不同的週邊環境（如燈光，背景）都有高魯棒性表現，和高即時地（如達到60幀/秒)計算出結果。
為了避免上述的種種問題，我們把一個已知的圖案附上或列印在預設交互物體上。根據這個已知的圖案，其物理大小，和相機的參數（如焦距，和鏡頭類型），我們可以通過幾何圖形學，計算出這個圖案相對於相機的位置及其朝向，再通過圖案相對於預設交互物體的位置及其朝向，來計算出物體相對於相機的位置及其朝向。
其中一種圖案的例子為，April Tag。利用現代高速的中央處理器和通用圖形處理器的高計算性能，圖案解碼和其位置計算都可以即時進行（如，少於1/60秒)。為了避免用戶暈眩和提供高刷新率（如60Hz)，這種即時計算，在VR和AR（Augmented Reality，增強現實）系統中都是必須的。
此外，還存在其他可以提高跟蹤品質的手段，例如可以為預測法，用於預測下一步跟蹤的結果，用來提高系統的反應速度。或者也可以為平滑和緩衝法：用於通過前一段物體的移動資料，通過過濾或平滑雜訊的演算法，來降低由於跟蹤錯誤，物體的快速移動或其他拍攝圖片不良品質情況下的所產生的誤差。
可以通過相機獲取到的相片，用來識別手的姿態及其位置。
手，是用戶和外界交互最自然的方法。這個系統包含一個手部位置跟蹤和手勢識別模組。
RGB相機可以用來捕獲2D的場景，因為其價格合適，是市面上最為廣泛使用的相機類型。手部位置和所述的跟蹤和識別，一般都需要通過背景分割和對其定位。不過，單單通過對2D相片中的資訊很難保證能獲取到高可靠的手部位置和手勢，因為1）手是非剛性(non-rigid)物體，2）不同人種的膚色和不同人群的皮膚紋理，3）不同環境裡的燈光情況，4）不同環境下背景物體的干擾。
不過，通過利用這個系統中的其他資訊，可以用來提高這方面的結果。當使用者和系統中的小冊子進行交互時，因為用戶的手是在小冊子上方操作，小冊子中的一個或一系列的預設標識會被移動中的手所阻擋，而使得預設標識的影像並非完整的影像。當系統中檢測出多個手部候選區域時，可以通過被阻擋的預設標識的影像和不同的候選手部位置是否有重疊來進行過濾。這比單單只有手部位置而沒有小冊子的預設標識阻擋資訊更能提供高可靠的跟蹤結果。
同時，在一實施例中，這個系統包括了一個能識別皮膚顏色的模型。不過，因為各人種的不同膚色特性，和不同的燈光環境，用戶可以選擇建立自己的皮膚色彩模型。以下描述這流程：
指導用戶帶上頭盔(HMD)和把小冊子放在頭盔相機的前方（如在前方的桌面上，或用手握住）。同時，系統通過編碼跟蹤模組來計算出小冊子的位置。
頭盔裡顯示出在虛擬小冊子上方，會顯示出一塊區域，指導使用者把手覆蓋在其上方，並停留一段短的時間（如5秒）。
系統可以通過如覆蓋前後的顏色變動，或區域上的預設標識是否已經被蓋上等，來判斷手部是否已經在這塊區域上停留。
在系統檢查到手部覆蓋在這塊區域後，通過顏色分割來獲取到手部的顏色範圍。利用這個資料，可以建立出一個根據顏色的準確手部分割模型。因為這模型是根據對使用者的膚色特性和所在環境而建立的。所以，能提高其後的手部分割的精確度。
第7圖~第11圖示意性示出本發明示例性實施例中手部校準過程的示意圖。參考第7圖~第11圖：
在第7圖中，引導用戶將手放置在小冊子上。
在第8圖中，當用戶在小冊子上方移動手時，指示標記的顏色由紅色變為綠色。
在第9圖中，要求用戶將手在小冊子上停留一會兒，計算過程在螢幕上顯示。
在第10圖中，手部定位過程將要完成，螢幕上顯示的手為白色。
在第11圖中，手部定位完成，基於顏色的手部分割模型得到校準。
另外，如果HMD帶有深度相機（RGB-Dcamera），手部分割和其三維位置結果可以通過RGB-D中，從帶有深度資訊的圖像直接獲取。
在獲取手部分割的結果後，系統對手勢作出識別。手勢識別可以通過技術如等高線提取法或圖形分類器等實現。系統識別手勢後，會觸發相對命令，如翻頁或點開命令。
為了區分開系統支援的手勢和使用者的一般手部活動，可以定義一啟動序列，規定使用者需根據設計的啟動序列來啟動手勢命令。在虛擬頭盔的螢幕上，使用者會獲得啟動過程中的回饋。
第12圖~第15圖示意性示出本發明示例性實施例中以手勢命令啟動或開啟物件的過程示意圖。
可以在虛擬小冊子中的頁面中心使使用者看到一個例如為拇指圖示或是其他形狀圖示的起指示作用的操作圖示。當虛擬小冊子對應實體小冊子的時候，為了啟動動作，用戶可以移動手指到小冊子中心，此時可以通過顯示一個綠色點來表示用戶手指的位置。
作為啟動手勢命令的順序，首先可以要求使用者將手指在圖示位置停留一段預設時間。在螢幕上，可以在圖示位置顯示一個例如逐漸變完整的圓形或者環形，用以提示用戶還有多久可以移開手指以啟動或開啟物件。如果在此過程中使用者將手指移動至上述圖示位置的區域外，手勢命令將不會被啟動。
如果使用者遵守了啟動程式，動作將被啟動。此時，虛擬環境中可以顯示手指位置所對應的物件，例如圖片、照片、影片、聲音、3D立體物件等。
第16圖~第21圖示意性示出本發明示例性實施例中模擬用戶翻頁的過程示意圖。
參考第16圖和第17圖，當使用者處於靜止狀態時，手指在小冊子的區域外。第17圖示出了在第16圖的狀態下顯示在使用者眼前的圖像。
參考第18圖和第19圖，當用戶想要翻到另一頁時，可以將手指或手部移動到小冊子的右邊沿。在螢幕上，對應地顯示頁面邊緣輕微翻動。
參考第20圖和第21圖，示出了用戶通過在一預設時間段將手指或手部移動到右邊來執行完整的啟動動作。
由上述的第18圖至第21圖所例示，藉由監測小冊子上預設標識的影像，例如檢測預設標識的影像是否完整，可判斷使用者的手指或手部在一開始的狀態下是遮住小冊子右邊沿的預設標識(第18圖)，而在最終狀態下使用者的手指或手部是遮住小冊子中間的預設標識(第21圖)。而藉由被遮住的預設標識的位置順序，可判斷使用者的手指或手部是由右往左移動，因此在虛擬世界中所顯示的虛擬小冊子可以執行由右至左的翻頁動作。
上文所述的小冊子除了可以代表虛擬世界中的小冊子外，也可以代表其他元素或物件，同時，通過改變小冊子的姿態和對其所述的操作，可以進一步擴大它的功能。不但，可以用作小冊子中一些附加媒體（如雜誌中的小遊戲，教科書中的互動實驗），也可以成為不依賴于小冊子作為載體的一個獨立單元。以下列舉一些例子：
教科書中互動實驗的操作面板（小冊子可以顯示為一個操作平面，內有按鈕和其他交互的工具）；
雜誌上的廣告小遊戲：如一個車的廣告，可以把小冊子模擬成駕駛盤（通過左右移動小冊子來模擬駕駛盤的左右擺動，前後移動作為車加速或減速。
第22圖~第27圖示意性示出了本示例實施方式中使用者選擇圖書的過程示意圖。
首先，使用者可以通過手中持有的預設交互物體（圖書）作為選擇工具進入圖書選擇介面。其中，使用者可藉由預設的特定的手勢操作，或是使用HMD或預設交互物體上的按鍵或觸控面板進入圖書選擇介面。
用戶可以將手中的圖書移動至靶心圖表書的顯示位置。這一步驟可以通過計算使用者與圖書的3D相對位置來實現。
用戶可以將手中圖書的姿態轉換到HMD中虛擬靶心圖表書的姿態，並通過保持這個動作一段時間來確認這項選擇意圖。標記介面使用靶心圖表書封面替換原始圖書封面。
對應於以上方法實施例，本發明示例實施方式還提供一種虛擬實境交互裝置，可以用於執行以上方法實施例。
第28圖是本發明示例實施方式的虛擬實境交互裝置的方框圖。參考第10圖，虛擬實境交互裝置300可以包括圖像採集模組302、標識識別模組304、手勢識別模組306以及圖像輸出模組308。
圖像採集模組302可以用於持續獲取使用者面前的圖像資訊，例如相機。
標識識別模組304可以用於通過識別所述圖像資訊中的預設標識來識別預設交互物體，所述預設交互物體的表面具有一個或多個所述預設標識。
手勢識別模組306可以用於通過所述圖像資訊識別使用者的手部動作。
圖像輸出模組308可以用於根據所述手部動作與所述預設交互物體的位置，在虛擬實境環境中模擬用戶對所述預設交互物體的交互動作。
在示例性實施例中，所述識別預設交互物體可以包括識別所述預設交互物體的位置和/或表面狀態。
在示例性實施例中，所述識別用戶的手部動作可以包括識別手部姿態和/或手部位置。
在示例性實施例中，所述預設標識可以包括虛擬內容資訊，所述標識識別模組還用於識別所述虛擬內容資訊。
在示例性實施例中，還可以包括：資料庫模組，用於記錄所述預設標識與所述虛擬內容資訊的對應關係。用來關聯小冊子上的預設標識的ID所對應顯示在HMD上的虛擬內容。
由於虛擬實境裝置300的各模組功能在對應的方法實施例中已詳細描述，本發明於此不再贅述。
基於以上實施例，本發明還提供一種虛擬實境交互系統，可以包括：虛擬實境顯示裝置，用於對使用者顯示虛擬實境圖像；預設交互物體，用於輔助識別使用者的交互動作；以及，如上述實施例中所述的虛擬實境交互裝置。
本發明的虛擬實境交互方法、裝置與系統通過辨識預設交互物體上的預設標識判斷預設交互物體的位置以及判斷使用者手部動作，準確地定位預設交互物體以及使用者手部與預設交互物體的相對位置關係，從而準確地在虛擬實境環境中類比使用者對真實物體的交互動作，改善了虛擬實境的用戶體驗。
第29圖示意性示出本發明示例性實施例中另一種虛擬實境交互方法的流程圖。如第29圖所示，該虛擬實境交互方法400可以包括以下步驟。
在步驟S402中，獲取預設交互物體的圖像資訊，所述預設交互物體的表面具有預設標識。
在示例性實施例中，所述預設交互物體可以為一柔性材料製成的書冊（又可以稱為“小冊子”，booklet），其可以包括至少一頁面，所述至少一頁面的表面具有多個所述預設標識（例如定位標籤tag）。
下面的實施例中以小冊子作為操作VR書籍的實物載體，是主要的交互工具。本發明下述實施例描述了在小冊子上的一組交互。
在步驟S404中，根據所述預設標識識別所述圖像資訊，獲取所述預設交互物體的至少一種參數。
在示例性實施例中，所述至少一種參數包括所述預設交互物體的彎曲持續時間、彎曲方向、彎曲形狀等中的一種或者多種。
在示例性實施例中，根據所述預設標識識別所述圖像資訊，獲取所述預設交互物體的至少一種參數可以包括：選取所述至少一頁面上的多個所述預設標識中的第一標識和第二標識；根據所述第一標識和所述第二標識的位置座標分別獲取所述第一標識的第一法向量和所述第二標識的第二法向量；根據所述第一法向量和所述第二法向量確定所述第一標識和所述第二標識之間的夾角。
在步驟S406中，根據所述至少一種參數執行預設交交互操作。
在示例性實施例中，所述預設交交互操作包括向後翻頁、向前翻頁、連續向後翻頁、連續向前翻頁操作等中的一種或者多種。
需要說明的是，雖然本發明實施例中以所述預設交互操作為翻頁控制為例進行說明，但本發明並不限定於此，可以根據識別的所述至少一種參數預先定義任意一種或者多種預設交交互操作，例如執行打開網頁、跳轉到下一個視頻等等。
在示例性實施例中，根據所述至少一種參數執行預設交交互操作包括：判斷所述夾角隨著時間變化的曲線是否落入預定義區域內；當所述夾角隨著時間變化的曲線落入所述預定義區域內時，執行一向後翻頁操作。
在示例性實施例中，所述預定義區域由預定義的第一曲線和第二曲線以及所述第一曲線和所述第二曲線分別與時間軸的交點確定。
在示例性實施例中，根據所述至少一種參數執行預設交交互操作包括：當所述夾角大於第一閾值且持續時間超過預設時間時，執行一連續向後翻頁操作。
在示例性實施例中，當所述夾角大於第一閾值且持續時間超過預設時間時，執行一連續向後翻頁操作包括：當所述夾角大於等於所述第一閾值且小於第二閾值時，按照第一翻頁動畫速度執行所述連續向後翻頁操作；和/或當所述夾角大於等於所述第二閾值且小於第三閾值時，按照第二翻頁動畫速度執行所述連續向後翻頁操作；和/或當所述夾角大於等於所述第三閾值且小於第四閾值時，按照第三翻頁動畫速度執行所述連續向後翻頁操作；和/或當所述夾角小於所述第一閾值時，停止所述連續向後翻頁操作。
下面通過第30圖-42對上述發明實施例進行舉例說明。下面的實施例中均以通過彎曲小冊子的頁面進行翻頁控制為例進行示例性說明。
本發明實施例中，以該小冊子包括左右兩個頁面為例進行說明，且該左右兩個頁面相對的內側表面均列印有多個定位標籤。小冊子本身由柔性材料製成，因此它是可以形變的。在通常情況下，小冊子兩側頁面沒有形變，如第30圖。
在第30圖所示的小冊子一般狀態下，使用者可以通過手彎曲頁面。例如，當使用者將該小冊子右頁面向內彎曲時，如第31圖所示；當使用者將該小冊子左頁面向內彎曲時，如第32圖所示。
由於該小冊子兩側頁面材料彈性較好，在離開手的作用時可以恢復原狀至如第30圖所示。
小冊子的頁面發生彎曲時，其彎曲程度和彎曲角度都可以通過用攝像頭或相機或其他硬體設備檢測到。這種彎曲持續的時間、彎曲方向以及形狀等都可以分別或組合定義一種交交互操作。
當小冊子發生彎曲形變時，一部分定位標籤（tag）被遮擋，這些定位標籤的位置和法向量不能由空間幾何關係直接計算得到。由於小冊子上定位標籤的位置是預先確定的，並且小冊子的彎曲形變具有較大的限制，即變形自由度很低，因此可以通過頁面上的可見定位標籤的空間位置和法向量推斷其他不可見定位標籤的位置和法向量。
第33圖示意性示出本發明示例性實施例中另一種小冊子右頁面被向內彎曲的示意圖。
例如，當小冊子發生如第33圖所示的彎曲形變的時候，右頁面內側三個定位標籤不能被攝像頭捕捉。但是可以通過左頁面可見定位標籤的位置和右頁面可見定位標籤的位置和法向量推測右頁面上的這些不可見標籤的空間位置和法向量。
第34圖示意性示出本發明示例性實施例中小冊子上的定位標籤的法向量的示意圖。
本發明實施例中，假設利用VR的前置攝像頭可以獲取用戶手持booklet的即時圖像（如第34圖所示）。利用空間幾何關係，可以計算出圖中每個定位標籤（tag）相對於攝像頭的空間位置P=和法向量方向N=，攝像頭的空間位置由VR系統提供。那麼，可以計算出第i個定位標籤在世界座標中的位置和法向量。
這裡假設定位標籤上，可見面朝外的方向定義為該定位標籤的法向量方向。如第34圖所示。
其中假設：
1.VR系統提供的HMD在世界座標的位置為，在世界座標中的旋轉姿態為。
2.攝像頭相對於HMD的位置和姿態分別為和。
3.第i個定位標籤相對於攝像頭的位置和姿態分別為和（定位標籤相對於攝像頭空間的位置和姿態的計算在行業中有現有的演算法，在此不再贅述）。
那麼，第i個定位標籤在世界坐標系中的位置和姿態分別為：
在得到第i個定位標籤的姿態後，可以得到第i個定位標籤的法向量：
其中為定位標籤的位置和姿態分別為和時的法向量。
第35圖示意性示出本發明示例性實施例中第一標識的第一法向量和第二標識的第二法向量的示意圖。
如第35圖所示，選取位置如第35圖所示的兩個定位標籤，其法向量分別為和。
第35圖的實施例中選擇了小冊子右頁面上最左一列三個定位標籤中的中間那個不可見定位標籤作為所述第一標識，同時選擇了小冊子右頁面上最右一列三個定位標籤中的中間那個可見定位標籤作為所述第二標識，這樣選擇的好處是，同一頁面上，當該頁面發生彎曲形變時，最左列和最右列的兩個定位標籤的法向量之間的夾角變化最明顯，有利於識別該夾角的變化程度。
但是，本發明並不限定於此，在其他實施例中，可以選擇發生彎曲形變的同一頁面上的任意兩個定位標籤作為所述第一標識和所述第二標識。
第36圖示意性示出本發明示例性實施例中一種右頁面隨時間發生彎曲變形的示意圖。
在第36圖所示的實施例中，以上述第35圖所選擇的第一法向量和第二法向量之間的夾角來定義右頁面隨時間發生彎曲形變的程度和方向。
第37圖示意性示出基於第36圖的第一法向量和第二法向量之間的夾角隨時間變化的示意圖。
假設上述第一法向量和第二法向量之間的夾角記為。隨時間變化的函數記為。例如，當頁面隨時間發生如第36圖所示的變化時，的形態如第37圖所示。
在一些實施例中，可以預先定義如第36圖的將右頁面向內彎曲為一個向後翻頁（go to next page）操作。但本發明並不限定於此。
第38圖示意性示出本發明實施例中第37圖所示的夾角曲線落入預定義區域內的一種示意圖。
第38圖的實施例中，當第37圖所示的的曲線如果落在，和線段t1 t2 所包圍的預定義區域中時，可以定義一個向後翻頁操作。
其中的可取值範圍為[0，180]度。本發明實施例中假設=10。表示當頁面彎曲角度到時開始檢查後續操作是否滿足一個翻頁動作。當時，不作判斷。這是為了避免一些細微的動作導致頁面發生輕微的角度變化引起誤操作。
其中t1 定義了作為翻頁操作的頁面彎曲持續的最短時間，可取值範圍是[0，60]秒，本發明實施例中取t1 =0.1s。
其中t2 定義了作為翻頁操作的頁面彎曲持續的最長時間，可取值範圍是[t1 ，60]秒，本發明實施例中取t2 =1s。
本發明實施例中，可以如下公式所示：，
其中可取值範圍為[，180]度。本發明實施例中，=15度。
本發明實施例中，可以如下公式所示：，
其中可取值範圍為[，180]度。本發明實施例中，=45度。
第39圖示意性示出本發明實施例中夾角曲線落入預定義區域內的另一種示意圖。
如第39圖所示，其中還是為第一法向量和第二法向量之間的夾角。區域R（OE1 E2 O）為預先定義的區域。當翻頁過程頁面彎曲夾角曲線在區域R中並與直線相交時，則觸發一次向後翻頁操作。例如曲線。
在一些實施例中，還可以預先定義將小冊子左頁面向內彎曲滿足一定條件時，觸發一次向前翻頁操作（go to previous page），其實現過程可以參考上述與向後翻頁操作，在此不再贅述。
第40圖示意性示出本發明實施例中一種執行連續向後翻頁操作的示意圖。
如第40圖所示，可以預先定義將小冊子的右頁面向內彎曲滿足一定條件時，觸發一次連續向後翻頁操作（也可以稱為快速向後翻頁，quick flip forward）。此外，還可以預先定義右頁面向內彎曲的角度滿足一定條件時，增加/保持/減少翻頁速度或者停止翻頁。
本發明實施例中，設定當且持續超過秒時，開始持續進行翻頁動畫，的取值範圍可以為[0.01，100]秒。本發明實施例中取=1s。
當時，設定翻頁動畫速度S1 page/s。其中的取值範圍可以是[，180]度；的取值範圍可以是[0，180]度；的取值範圍可以是[，180]度。
當時，設定翻頁動畫速度S2 page/s。其中的取值範圍可以是[，180]度。
本發明實施例中，=10度，=30度，=60度，=90度。但本發明並不限定於此。
當時，設定翻頁動畫速度S3 page/s。
當時，設定為停止連續向後翻頁操作。
其中S1 的取值範圍可以是[1，100]。S2 的取值範圍可以是[S1 ，100]。S3 的取值範圍可以是[S2 ，100]。
本發明實施例中，S1 =1，S2 =3，S3 =5。
需要說明的是，上述角度、翻頁速度、翻頁時間的取值和取值範圍均可以根據具體應用場合的需要進行靈活調整和選擇，並不限於所例舉的數值。此外，連續向後翻頁操作的觸發、停止以及翻頁速度的增加、保持、減少均是可以根據具體需要進行設置的。
第41圖示意性示出本發明實施例中一種執行連續向後翻頁操作時夾角曲線的示意圖。
基於第40圖所示的，假設選取的兩個定位標籤的法向量之間的夾角形態如第41圖所示。
當在t1 時刻，並且持續=1s後，在時刻ts =t1 +時啟動快速翻頁動畫；
在ts 到t2 時，，翻頁動畫速度為1 page /s；
在t2 到t3 時，，翻頁動畫速度 3 page /s；
在t3 到t4 時，，翻頁動畫速度 5 page /s；
在t4 到t5 時，，翻頁動畫速度 3 page /s；
在t5 到t6 時，，翻頁動畫速度 1 page /s；
在t6 到t7 時，，翻頁動畫速度 3 page /s；
在t7 到t8 時，，翻頁動畫速度 5 page /s；
在t8 到t9 時，，翻頁動畫速度 3 page /s；
在t9 到t10 時，，翻頁動畫速度 1 page /s；
在t＞ t10 時，，翻頁動畫停止。
第42圖示意性示出本發明實施例中另一種執行連續向後翻頁操作時夾角曲線的示意圖。
如第42圖所示，當時，翻頁動畫速度可以為1 page/s；
當時，翻頁動畫速度可以為3page/s；
當時，翻頁動畫速度可以為5page/s；
當時，停止翻頁動畫。
在另一些實施例中，還可以定義將小冊子的左頁面進行彎曲並滿足預設條件時，觸發一連續向前翻頁操作（快速向前翻頁，quick flip backward），具體的實現可以參考上述的連續向後翻頁操作，在此不再贅述。
第43圖示意性示出本發明示例性實施例中另一種虛擬實境交互裝置的方框圖。
如第43圖所示，該虛擬實境交互裝置500可以包括圖像採集模組502、參數獲取模組504以及交互執行模組506。
圖像採集模組502可以用於獲取預設交互物體的圖像資訊，所述預設交互物體的表面具有預設標識。
參數獲取模組504可以用於根據所述預設標識識別所述圖像資訊，獲取所述預設交互物體的至少一種參數。
交互執行模組506可以用於根據所述至少一種參數執行預設交交互操作。
由於虛擬顯示交互裝置500的各模組功能在對應的方法實施例中已詳細描述，本發明實施例於此不再贅述。
應當注意，儘管在上文詳細描述中提及了用於動作執行的設備的若干模組或者單元，但是這種劃分並非強制性的。實際上，根據本發明的實施方式，上文描述的兩個或更多模組或者單元的特徵和功能可以在一個模組或者單元中具體化。反之，上文描述的一個模組或者單元的特徵和功能可以進一步劃分為由多個模組或者單元來具體化。
此外，儘管在附圖中以特定順序描述了本發明中方法的各個步驟，但是，這並非要求或者暗示必須按照該特定順序來執行這些步驟，或是必須執行全部所示的步驟才能實現期望的結果。附加的或備選的，可以省略某些步驟，將多個步驟合併為一個步驟執行，以及/或者將一個步驟分解為多個步驟執行等。
第44圖示意性示出本發明示例性實施例中一種電子設備的結構示意圖。
下面參考第44圖，其示出了適於用來實現本申請實施例的電子設備600的結構示意圖。第44圖示出的電子設備僅僅是一個示例，不應對本申請實施例的功能和使用範圍帶來任何限制。
如第44圖所示，電子設備600包括中央處理單元（CPU）601，其可以根據存儲在唯讀記憶體（ROM）602中的程式或者從存儲部分608載入到隨機訪問記憶體（RAM）603中的程式而執行各種適當的動作和處理。在RAM 603中，還存儲有系統600操作所需的各種程式和資料。CPU 601、ROM 602以及RAM 603通過匯流排604彼此相連。輸入/輸出（I/O）介面605也連接至匯流排604。
以下部件連接至I/O介面605：包括鍵盤、滑鼠等的輸入部分606；包括諸如陰極射線管（CRT）、液晶顯示器（LCD）等以及揚聲器等的輸出部分607；包括硬碟等的存儲部分608；以及包括諸如LAN卡、數據機等的網路介面卡的通信部分609。通信部分609經由諸如網際網路的網路執行通信處理。驅動器610也根據需要連接至I/O介面605。可拆卸介質611，諸如磁片、光碟、磁光碟、半導體記憶體等等，根據需要安裝在驅動器610上，以便於從其上讀出的電腦程式根據需要被安裝入存儲部分608。
特別地，根據本發明的實施例，上文參考流程圖描述的過程可以被實現為電腦軟體程式。例如，本發明的實施例包括一種電腦程式產品，其包括承載在電腦可讀介質上的電腦程式，該電腦程式包含用於執行流程圖所示的方法的程式碼。在這樣的實施例中，該電腦程式可以通過通信部分609從網路上被下載和安裝，和/或從可拆卸介質611被安裝。在該電腦程式被中央處理單元（CPU）601執行時，執行本申請的系統中限定的上述功能。
附圖中的流程圖和框圖，圖示了按照本申請各種實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模組、程式段、或代碼的一部分，上述模組、程式段、或代碼的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。也應當注意，在有些作為替換的實現中，方框中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個接連地表示的方框實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，框圖或流程圖中的每個方框、以及框圖或流程圖中的方框的組合，可以用執行規定的功能或操作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
描述於本申請實施例中所涉及到的單元可以通過軟體的方式實現，也可以通過硬體的方式來實現。所描述的單元也可以設置在處理器中，例如，可以描述為：一種處理器包括發送單元、獲取單元、確定單元和第一處理單元。其中，這些單元的名稱在某種情況下並不構成對該單元本身的限定，例如，發送單元還可以被描述為“向所連接的服務端發送圖片獲取請求的單元”。
作為另一方面，本申請還提供了一種電腦可讀介質，該電腦可讀介質可以是上述實施例中描述的設備中所包含的；也可以是單獨存在，而未裝配入該設備中。上述電腦可讀介質承載有一個或者多個程式，當上述一個或者多個程式被一個該設備執行時，使得該設備包括：持續獲取使用者面前的圖像資訊；通過識別所述圖像資訊中的預設標識來識別預設交互物體，所述預設交互物體的表面具有一個或多個所述預設標識；通過所述圖像資訊識別使用者的手部動作；根據所述手部動作與所述預設交互物體的位置，在虛擬實境環境中模擬用戶對所述預設交互物體的交互動作。
作為另一方面，本申請還提供了另一種電腦可讀介質，該電腦可讀介質可以是上述實施例中描述的設備中所包含的；也可以是單獨存在，而未裝配入該設備中。上述電腦可讀介質承載有一個或者多個程式，當上述一個或者多個程式被一個該設備執行時，使得該設備包括：獲取預設交互物體的圖像資訊，所述預設交互物體的表面具有預設標識；根據所述預設標識識別所述圖像資訊，獲取所述預設交互物體的至少一種參數；根據所述至少一種參數執行預設交交互操作。
本領域技術人員在考慮說明書及實踐這裡公開的發明後，將容易想到本發明的其它實施方案。本申請旨在涵蓋本發明的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本發明的一般性原理並包括本發明未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本發明的真正範圍和精神由所附的申請專利範圍指出。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100‧‧‧虛擬實境交互方法
S102、S104、S106、S108‧‧‧步驟
202‧‧‧虛擬實境顯示裝置
204‧‧‧圖像獲取裝置
300‧‧‧虛擬實境交互裝置
302‧‧‧圖像採集模組
304‧‧‧標識識別模組
306‧‧‧手勢識別模組
308‧‧‧圖像輸出模組
400‧‧‧虛擬實境交互方法
S402、S404、S406‧‧‧步驟
500‧‧‧虛擬實境交互裝置
502‧‧‧圖像採集模組
504‧‧‧參數獲取模組
506‧‧‧交互執行模組
600‧‧‧電子設備
601‧‧‧中央處理單元
602‧‧‧唯讀記憶體
603‧‧‧隨機訪問記憶體
604‧‧‧匯流排
605‧‧‧I/O介面
606‧‧‧輸入部分
607‧‧‧輸出部分
608‧‧‧存儲部分
609‧‧‧通信部分
610‧‧‧驅動器
611‧‧‧可拆卸介質
第1圖示意性示出本發明示例性實施例中一種虛擬實境交互方法的流程圖。 第2圖示意性示出本發明示例性實施例中一種虛擬實境頭盔的示意圖。 第3圖示意性示出本發明示例性實施例中一種預設標識的示意圖。 第4圖示意性示出本發明示例性實施例中一種單頁小冊子的示意圖。 第5圖示意性示出本發明示例性實施例中一種多頁小冊子的示意圖。 第6圖示意性示出本發明示例性實施例中手部擋住小冊子上標識的示意圖。 第7圖~第11圖示意性示出本發明示例性實施例中手部校準過程的示意圖。 第12圖~第15圖示意性示出本發明示例性實施例中啟動手勢命令的過程示意圖。 第16圖~第21圖示意性示出本發明示例性實施例中模擬用戶翻頁的過程示意圖。 第22圖~第27圖示意性示出了本發明示例實施方式中使用者選擇圖書的過程示意圖。 第28圖示意性示出本發明示例性實施例中一種虛擬實境交互裝置的方框圖。 第29圖示意性示出本發明示例性實施例中另一種虛擬實境交互方法的流程圖。 第30圖示意性示出本發明示例性實施例中一種小冊子一般狀態的示意圖。 第31圖示意性示出本發明示例性實施例中一種小冊子右頁面被向內彎曲的示意圖。 第32圖示意性示出本發明示例性實施例中一種小冊子左頁面被向內彎曲的示意圖。 第33圖示意性示出本發明示例性實施例中另一種小冊子右頁面被向內彎曲的示意圖。 第34圖示意性示出本發明示例性實施例中小冊子上的定位標籤的法向量的示意圖。 第35圖示意性示出本發明示例性實施例中第一標識的第一法向量和第二標識的第二法向量的示意圖。 第36圖示意性示出本發明示例性實施例中一種右頁面隨時間發生彎曲變形的示意圖。 第37圖示意性示出基於第36圖的第一法向量和第二法向量之間的夾角隨時間變化的示意圖。 第38圖示意性示出本發明實施例中第37圖所示的夾角曲線落入預定義區域內的一種示意圖。 第39圖示意性示出本發明實施例中夾角曲線落入預定義區域內的另一種示意圖。 第40圖示意性示出本發明實施例中一種執行連續向後翻頁操作的示意圖。 第41圖示意性示出本發明實施例中一種執行連續向後翻頁操作時夾角曲線的示意圖。 第42圖示意性示出本發明實施例中另一種執行連續向後翻頁操作時夾角曲線的示意圖。 第43圖示意性示出本發明示例性實施例中另一種虛擬實境交互裝置的方框圖。 第44圖示意性示出本發明示例性實施例中一種電子設備的結構示意圖。

Claims (24)

  1. 一種虛擬實境交互方法，其特徵在於，包括： 持續獲取使用者面前的圖像資訊； 通過識別所述圖像資訊中的預設標識來識別預設交互物體，所述預設交互物體的表面具有一個或多個所述預設標識； 通過所述圖像資訊識別使用者的手部動作； 根據所述手部動作與所述預設交互物體的位置，在虛擬實境環境中模擬用戶對所述預設交互物體的交互動作。
  2. 如請求項1所述的虛擬實境交互方法，其特徵在於，所述識別預設交互物體包括識別所述預設交互物體的位置和/或表面狀態。
  3. 如請求項1所述的虛擬實境交互方法，其特徵在於，所述識別用戶的手部動作包括識別手部姿態和/或手部位置。
  4. 如請求項1所述的虛擬實境交互方法，其特徵在於，所述預設標識包括虛擬內容資訊，識別所述圖像資訊中的預設標識還包括識別所述虛擬內容資訊。
  5. 一種虛擬實境交互裝置，其特徵在於，包括： 圖像採集模組，用於持續獲取使用者面前的圖像資訊； 標識識別模組，用於通過識別所述圖像資訊中的預設標識來識別預設交互物體，所述預設交互物體的表面具有一個或多個所述預設標識； 手勢識別模組，用於通過所述圖像資訊識別使用者的手部動作； 圖像輸出模組，用於根據所述手部動作與所述預設交互物體的位置，在虛擬實境環境中模擬用戶對所述預設交互物體的交互動作。
  6. 如請求項5所述的虛擬實境交互裝置，其特徵在於，所述識別預設交互物體包括識別所述預設交互物體的位置和/或表面狀態。
  7. 如請求項5所述的虛擬實境交互裝置，其特徵在於，所述識別用戶的手部動作包括識別手部姿態和/或手部位置。
  8. 如請求項5所述的虛擬實境交互裝置，其特徵在於，所述預設標識包括虛擬內容資訊，所述標識識別模組還用於識別所述虛擬內容資訊。
  9. 如請求項8所述的虛擬實境交互裝置，其特徵在於，還包括： 資料庫模組，用於記錄所述預設標識與所述虛擬內容資訊的對應關係。
  10. 一種虛擬實境交互系統，其特徵在於，包括： 虛擬實境顯示裝置，用於對使用者顯示虛擬實境圖像； 預設交互物體，用於輔助識別使用者的交互動作；以及， 如請求項5~9任一項所述的虛擬實境交互裝置。
  11. 一種電子設備，其特徵在於，包括： 一個或多個處理器； 存儲裝置，用於存儲一個或多個程式， 當所述一個或多個程式被所述一個或多個處理器執行時，使得所述一個或多個處理器實現如請求項1-4中任一項所述的虛擬實境交互方法。
  12. 一種電腦可讀介質，其上存儲有電腦程式，其特徵在於，所述程式被處理器執行時實現如請求項1-4中任一項所述的虛擬實境交互方法。
  13. 一種虛擬實境交互方法，其特徵在於，包括： 獲取預設交互物體的圖像資訊，所述預設交互物體的表面具有預設標識； 根據所述預設標識識別所述圖像資訊，獲取所述預設交互物體的至少一種參數； 根據所述至少一種參數執行預設交交互操作。
  14. 如請求項13所述的虛擬實境交互方法，其特徵在於，所述至少一種參數包括所述預設交互物體的彎曲持續時間、彎曲方向、彎曲形狀中的一種或者多種。
  15. 如請求項13所述的虛擬實境交互方法，其特徵在於，所述預設交交互操作包括向後翻頁、向前翻頁、連續向後翻頁、連續向前翻頁操作中的一種或者多種。
  16. 如請求項13所述的虛擬實境交互方法，其特徵在於，所述預設交互物體為一柔性材料製成的書冊，其包括至少一頁面，所述至少一頁面的表面具有多個所述預設標識。
  17. 如請求項16所述的虛擬實境交互方法，其特徵在於，根據所述預設標識識別所述圖像資訊，獲取所述預設交互物體的至少一種參數包括： 選取所述至少一頁面上的多個所述預設標識中的第一標識和第二標識； 根據所述第一標識和所述第二標識的位置座標分別獲取所述第一標識的第一法向量和所述第二標識的第二法向量； 根據所述第一法向量和所述第二法向量確定所述第一標識和所述第二標識之間的夾角。
  18. 如請求項17所述的虛擬實境交互方法，其特徵在於，根據所述至少一種參數執行預設交交互操作包括： 判斷所述夾角隨著時間變化的曲線是否落入預定義區域內； 當所述夾角隨著時間變化的曲線落入所述預定義區域內時，執行一向後翻頁操作。
  19. 如請求項18所述的虛擬實境交互方法，其特徵在於，所述預定義區域由預定義的第一曲線和第二曲線以及所述第一曲線和所述第二曲線分別與時間軸的交點確定。
  20. 如請求項17所述的虛擬實境交互方法，其特徵在於，根據所述至少一種參數執行預設交交互操作包括：當所述夾角大於第一閾值且持續時間超過預設時間時，執行一連續向後翻頁操作。
  21. 如請求項17所述的虛擬實境交互方法，其特徵在於，當所述夾角大於第一閾值且持續時間超過預設時間時，執行一連續向後翻頁操作包括： 當所述夾角大於等於所述第一閾值且小於第二閾值時，按照第一翻頁動畫速度執行所述連續向後翻頁操作；和/或 當所述夾角大於等於所述第二閾值且小於第三閾值時，按照第二翻頁動畫速度執行所述連續向後翻頁操作；和/或 當所述夾角大於等於所述第三閾值且小於第四閾值時，按照第三翻頁動畫速度執行所述連續向後翻頁操作；和/或 當所述夾角小於所述第一閾值時，停止所述連續向後翻頁操作。
  22. 一種虛擬實境交互裝置，其特徵在於，包括： 圖像採集模組，用於獲取預設交互物體的圖像資訊，所述預設交互物體的表面具有預設標識； 參數獲取模組，用於根據所述預設標識識別所述圖像資訊，獲取所述預設交互物體的至少一種參數； 交互執行模組，用於根據所述至少一種參數執行預設交交互操作。
  23. 一種電子設備，其特徵在於，包括： 一個或多個處理器； 存儲裝置，用於存儲一個或多個程式， 當所述一個或多個程式被所述一個或多個處理器執行時，使得所述一個或多個處理器實現如請求項13-21中任一項所述的虛擬實境交互方法。
  24. 一種電腦可讀介質，其上存儲有電腦程式，其特徵在於，所述程式被處理器執行時實現如請求項13-21中任一項所述的虛擬實境交互方法。
TW106136916A 2016-10-26 2017-10-26 虛擬實境交互方法、裝置與系統 TWI654539B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
??201610946978.6 2016-10-26
CN201610946978 2016-10-26
??201710339131.6 2017-05-15
CN201710339131.6A CN107992188B (zh) 2016-10-26 2017-05-15 虚拟现实交互方法、装置与系统

Publications (2)

Publication Number Publication Date
TW201816548A true TW201816548A (zh) 2018-05-01
TWI654539B TWI654539B (zh) 2019-03-21

Family

ID=62029647

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106136916A TWI654539B (zh) 2016-10-26 2017-10-26 虛擬實境交互方法、裝置與系統

Country Status (2)

Country Link
CN (1) CN107992188B (zh)
TW (1) TWI654539B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI696149B (zh) * 2019-04-26 2020-06-11 未來市股份有限公司 使用深度引擎的互動影像處理方法、裝置及媒體
TWI696092B (zh) * 2019-04-23 2020-06-11 未來市股份有限公司 可根據現實物件創建虛擬物件並為虛擬物件賦予預設互動特性之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體
TWI696980B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體
TWI696981B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用紅外線攝影機的互動影像處理系統
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
TWI723718B (zh) * 2019-01-03 2021-04-01 宏達國際電子股份有限公司 電子系統及控制器
TWI727421B (zh) * 2019-09-16 2021-05-11 藏識科技有限公司 混合實境系統
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
TWI740361B (zh) * 2020-01-22 2021-09-21 國眾電腦股份有限公司 智慧操作輔助系統及智慧操作輔助方法
TWI764303B (zh) * 2020-08-20 2022-05-11 宏達國際電子股份有限公司 操作方法及電子系統

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109603089B (zh) * 2018-11-20 2020-08-11 北京农业信息技术研究中心 虚拟骑行系统的骑行数据的获取方法及装置
CN111880659A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 虚拟人物控制方法及装置、设备、计算机可读存储介质
WO2022036475A1 (zh) * 2020-08-17 2022-02-24 南京翱翔智能制造科技有限公司 一种多源数据融合的增强现实室内定位系统
CN112515661B (zh) * 2020-11-30 2021-09-14 魔珐(上海)信息科技有限公司 姿态捕捉方法、装置、电子设备及存储介质
CN112416133B (zh) * 2020-11-30 2021-10-15 魔珐(上海)信息科技有限公司 手部动作捕捉方法、装置、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7437297B2 (en) * 2005-01-27 2008-10-14 International Business Machines Corporation Systems and methods for predicting consequences of misinterpretation of user commands in automated systems
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
CN102831401B (zh) * 2012-08-03 2016-01-13 樊晓东 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统
US10509533B2 (en) * 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
CN103700128B (zh) * 2013-12-30 2017-02-15 无锡触角科技有限公司 移动设备及其增强显示方法
CN105723306B (zh) * 2014-01-30 2019-01-04 施政 改变标记在物体上的用户界面元素的状态的系统和方法
CN104463296B (zh) * 2014-11-10 2018-04-10 吴涛军 一种二维码结构化信息的生成、获取及处理方法和系统
CN104436634B (zh) * 2014-11-19 2017-09-19 重庆邮电大学 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
CN104699247B (zh) * 2015-03-18 2017-12-12 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI723718B (zh) * 2019-01-03 2021-04-01 宏達國際電子股份有限公司 電子系統及控制器
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
TWI696092B (zh) * 2019-04-23 2020-06-11 未來市股份有限公司 可根據現實物件創建虛擬物件並為虛擬物件賦予預設互動特性之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體
US11107293B2 (en) 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
TWI696149B (zh) * 2019-04-26 2020-06-11 未來市股份有限公司 使用深度引擎的互動影像處理方法、裝置及媒體
TWI696980B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體
TWI696981B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用紅外線攝影機的互動影像處理系統
TWI727421B (zh) * 2019-09-16 2021-05-11 藏識科技有限公司 混合實境系統
TWI740361B (zh) * 2020-01-22 2021-09-21 國眾電腦股份有限公司 智慧操作輔助系統及智慧操作輔助方法
TWI764303B (zh) * 2020-08-20 2022-05-11 宏達國際電子股份有限公司 操作方法及電子系統

Also Published As

Publication number Publication date
TWI654539B (zh) 2019-03-21
CN107992188A (zh) 2018-05-04
CN107992188B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
TWI654539B (zh) 虛擬實境交互方法、裝置與系統
EP3316080B1 (en) Virtual reality interaction method, apparatus and system
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
US11587297B2 (en) Virtual content generation
CN108062776B (zh) 相机姿态跟踪方法和装置
US10853651B2 (en) Virtual reality interaction method, apparatus and system
JP6323040B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6007497B2 (ja) 画像投影装置ならびに画像投影制御装置およびプログラム
US9619104B2 (en) Interactive input system having a 3D input space
US20090278915A1 (en) Gesture-Based Control System For Vehicle Interfaces
Pucihar et al. Exploring the evolution of mobile augmented reality for future entertainment systems
US20220100265A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
US11573627B2 (en) Method of controlling device and electronic device
KR20230028532A (ko) 가상 현실 경험들을 위한 지상 실측값 데이터세트들의 생성
KR20150105479A (ko) 2차원 코드 증강 현실의 실현 방법 및 디바이스
Du et al. Opportunistic interfaces for augmented reality: Transforming everyday objects into tangible 6dof interfaces using ad hoc ui
TWI653546B (zh) 具有外置追蹤及內置追蹤之虛擬實境系統及其控制方法
TW202311815A (zh) 在實體表面上顯示數位媒體內容
Okamoto et al. Assembly assisted by augmented reality (A 3 R)
KR20140078083A (ko) 증강 현실이 구현된 만화책
CN113434046A (zh) 三维交互系统、方法、计算机设备及可读存储介质
US12020390B2 (en) Virtual content generation
Piechaczek et al. Popular strategies and methods for using augmented reality
CN117576288A (zh) 一种多场景处理数据的方法、装置、设备和可读存储介质
CN117496097A (zh) 基于ar现实增强的数字沙盘展示系统