TW202117499A

TW202117499A - 虛擬物件操作系統及虛擬物件操作方法

Info

Publication number: TW202117499A
Application number: TW108145020A
Authority: TW
Inventors: 柯士豪; 嚴偉齊; 王志文; 周明達
Original assignee: 未來市股份有限公司
Priority date: 2019-10-24
Filing date: 2019-12-10
Publication date: 2021-05-01
Also published as: TWI730535B; EP3813018A1; CN112711326A; JP2021068405A

Abstract

本發明提供一種虛擬物件操作系統及虛擬物件操作方法。此虛擬物件操作方法包括以下步驟：取得多張影像。判斷影像中操作物件的動作。操作物件存在於真實環境中。根據操作物件的動作來判斷與操作物件互動的虛擬物件的動作。虛擬物件存在於虛擬環境中。因此，可在使用者的操作身體部位上沒有動作感測器的條件下追蹤操作物件的動作。

Description

虛擬物件操作系統及虛擬物件操作方法

本發明是有關於一種虛擬世界的模擬，且特別是有關於一種虛擬物件操作系統及虛擬物件操作方法。

當今，例如虛擬實境（virtual reality，VR）、增強現實（augmented reality，AR）、混合現實（mixed reality，MR）及擴展現實（extended reality，XR）等用於模擬感覺、感知和/或環境的技術受到歡迎。上述技術可應用於多種領域（例如遊戲、軍事訓練、醫療保健、遠端工作等）中。

為讓使用者將模擬環境感知為真實環境，將追蹤使用者在真實世界中的動作，從而可反應於使用者的動作來改變VR、AR、MR或XR顯示器上的顯示影像及化身（avatar）的動作。另外，化身可與模擬環境中的虛擬物件互動。由於模擬環境是由創建者產生的，因此創建者可對化身與虛擬物件之間的互動情形進行配置。因此，如何定義互動情形對於虛擬世界模擬來說頗為重要。

互動情形可能有很多種，且反應於不同的互動情形，可能難以模擬出順暢及自然的動作。有鑑於此，本發明實施例提供一種虛擬物件操作系統及虛擬物件操作方法。

本發明實施例的虛擬物件操作方法包括以下步驟：從真實環境取得多張影像。根據影像來判斷操作物件的動作。操作物件存在於真實環境中。根據判斷因素來判斷與操作物件互動的虛擬物件的動作。虛擬物件存在於虛擬環境中，且判斷因素包括操作物件的動作。

本發明實施例的虛擬物件操作系統包括影像擷取裝置以及處理器。所述影像擷取裝置用於從真實環境取得多張影像。所述處理器耦接影像擷取裝置。處理器經配置用以：根據影像來判斷操作物件的動作；以及根據判斷因素來判斷與操作物件互動的虛擬物件的動作。判斷因素包括操作物件的動作，且虛擬物件存在於虛擬環境中。

基於上述，在本發明實施例的虛擬物件操作系統及虛擬物件操作方法中，分析多張影像以判斷操作物件的動作。而判斷的動作將影響虛擬環境中的虛擬物件的動作。藉此，在未有配戴於使用者的操作部位的動作感測器的情況下，也可追蹤操作物件的動作。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

現將詳細參照本發明的當前優選實施例，附圖中示出所述優選實施例的實例。盡可能地，在圖式及說明中使用相同的元件符號代表相同或相似的部件。

圖1是根據本發明的其中一個示例性實施例的虛擬物件操作系統100的方塊圖。參照圖1，虛擬物件操作系統100包括但不限於一個或多個影像擷取裝置110、顯示器130、記憶體140及處理器150。虛擬物件操作系統100適用於VR、AR、MR、XR或其他現實相關技術。

影像擷取裝置110可為相機、錄影機或其他能夠成像的影像感測器。影像擷取裝置110可放置在使影像擷取裝置110可擷取使用者或使用者的身體部位的位置。舉例來說，當使用者穿戴頭戴式顯示器（head mounted display，HMD）（即，虛擬物件操作系統100的一個實施例）時，影像擷取裝置110可被放置在使用者眼睛前方的位置且朝向使用者的手和/或腿擷取。作為另一個實例，一個或多個影像擷取裝置110被放置在地板、牆壁或天花板處，且影像擷取裝置110朝向使用者擷取。

在一些實施例中，虛擬物件操作系統100可還包括一個或多個動作感測器120。動作感測器120可為加速度計、陀螺儀、磁強計（magnetometer）、雷射感測器、慣性測量單元（inertial measurement unit，IMU）、紅外線（infrared ray，IR）感測器或前述感測器的任何組合。在本發明的實施例中，動作感測器120用於感測使用者的身體部位的動作，以產生對應的感測資料（例如3自由度（degree of freedom，DoF）/6自由度信息）。身體部位可為手、頭、腳踝、腿、腰或其他部分。應注意，動作感測器120可內嵌在手持控制器或可穿戴裝置（例如智慧手錶、腳踝感測器等）中。

顯示器130可為液晶顯示器（liquid-crystal display，LCD）、發光二極體（light-emitting diode，LED）顯示器、有機發光二極體（organic light-emitting diode，OLED）顯示器或其他顯示器。在本發明的實施例中，顯示器130用於顯示影像。應注意，在一些實施例中，顯示器130可為外部裝置（例如智慧手機、平板電腦等）的顯示器，且外部裝置可放置在頭戴式顯示器的主體上。

記憶體140可為任何類型的固定的或可移動的隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體、類似元件或以上元件的組合。在一些實施例中，記憶體140記錄程式碼、元件配置、緩衝資料或永久資料（例如影像、虛擬環境、判斷因素、偵測結果等），且這些資料將在稍後進行介紹。

處理器150耦接影像擷取裝置110、動作感測器120、顯示器130及記憶體140。處理器150經配置用以載入儲存在記憶體140中的程式碼，以執行本發明的示例性實施例的過程。在一些實施例中，處理器150的功能可使用可程式設計單元（例如中央處理器（central processing unit，CPU）、微處理器、微控制器、數位信號處理（digital signal processing，DSP）晶片、現場可程式設計閘陣列（field programmable gate array，FPGA）等）來實施。在一些實施例中，處理器150的功能也可由獨立的電子元件或積體電路（integrated circuit，IC）來實施，且處理器150的操作也可由軟體來實施。

應注意，處理器150可不與影像擷取裝置110、動作感測器120或顯示器130設置在同一裝置上。然而，分別配備有這些元件或裝置的裝置可還包括具有相容的通訊技術（例如藍牙（Bluetooth）、無線保真（Wi-Fi）、紅外（IR））或物理傳輸線（physical transmission line）的通訊收發器以相互傳輸/接收資料。

為了更好地理解本發明的一個或多個實施例中提供的操作過程，以下將舉例說明若干實施例來詳細說明虛擬物件操作系統100的操作過程。在以下實施例中應用虛擬物件操作系統100中的元件及模組來闡釋本文中所提供的虛擬物件操作方法。所述方法的每一步驟可根據實際實施情形進行調整且不應僅限於本文中所述的內容。

圖2是根據本發明的其中一個示例性實施例的虛擬物件操作方法的流程圖。參照圖2，影像擷取裝置110朝向一個或多個操作物件擷取以從真實環境取得多個影像（步驟S210）。具體來說，操作物件可為真實環境中的使用者的手、腿、腳、腳踝、腰或其他身體部位。操作物件也可為手持控制器、可穿戴元件或真實環境中的任何實體物件。操作物件的定義可基於實際要求改變。然後，可將影像儲存在記憶體140中，且稍後可由處理器150進行存取。

然後，處理器150根據影像來判斷操作物件的動作（步驟S230）。具體來說，處理器150提取影像中的特徵（例如顏色、紋理、幾何形狀等）來辨識影像中的操作物件。處理器150可創建與真實環境中所辨識的操作物件對應的虛擬環境中的虛擬操作物件。舉例來說，在影像中辨識手，且將創建化身的虛擬手。處理器150還可在顯示器130上顯示虛擬環境中的虛擬操作物件。然後，處理器150基於影像的分析結果來估測真實環境中的操作物件的動作。

在一個實施例中，處理器150選擇影像中的起始影像，且起始影像擷取操作物件與虛擬物件之間的互動情形的初始狀態。虛擬物件可為虛擬環境中的任何物件。舉例來說，虛擬物件是虛擬棒球、虛擬籃球、虛擬高爾夫球棍、化身等。互動情形可為虛擬物件與虛擬操作物件之間的接觸。舉例來說，化身的手觸摸虛擬高腳杯的柄部。互動情形也可為對虛擬物件的選擇或鎖定行為。舉例來說，透過對手持控制器進行選擇操作（例如按壓實體按鈕/虛擬按鈕等）來選擇虛擬筆記型電腦的頂蓋。又例如，在影像中辨識化身的手的特定手勢（例如握持、握手手勢等），且特定手勢旨在與虛擬槍互動。再例如，根據使用者的眼睛凝視將虛擬球鎖定為目標。應注意，互動情形可為操作物件與虛擬物件互動的任何其他情形，且實施例並不僅限於此。

反應於互動情形滿足觸發條件，將擷取互動情形的初始狀態的其中一個影像判斷為起始影像。觸發條件可為虛擬物件與虛擬操作物件之間存在接觸，或者接觸被解除。觸發條件可為偵測到對虛擬物件的選擇或鎖定行為。觸發條件還可為偵測到特定手勢、操作物件的速度小於門檻值、偵測到特定場景等。初始狀態是互動情形正好發生時的狀態。

然後，處理器150選擇影像中的結尾影像，且結尾影像擷取操作物件與虛擬物件之間的互動情形的最終狀態。影像將根據它們的擷取時間點按次序排列。與初始狀態相比，最終狀態是與初始狀態對應的互動情形正好結束時的狀態。舉例來說，初始狀態是使用者的右手觸摸虛擬球的情形，且最終狀態是虛擬球被右手投擲出的情形。在一些實施例中，最終狀態可為預定義狀態。舉例來說，預定義狀態可為使用者的特定姿勢、使用者的特定手勢等。

然後，處理器150可透過對起始影像與結尾影像進行比較來判斷操作物件的動作。如果操作物件移動，則操作物件在不同擷取時間點的不同影像中的位置可能不同。在一個實施例中，起始影像與結尾影像之間的比較結果是位置變化，且操作物件的動作包括操作物件的速度。在一些實施例中，處理器150可計算操作物件在起始影像與結尾影像之間的經過時間及位置變化。處理器150可在起始影像與結尾影像之間對操作物件的位置進行比較，且操作物件從起始影像到結尾影像的位移或軌跡（在下文中稱為位置變化路線）將被判斷為位置變化。透過連接起始影像及結尾影像中的操作物件的代表點/區塊來形成位置變化路線。另外，影像擷取裝置110可配置有幀率（frame rate），此幀率是影像擷取裝置110擷取影像的次數，例如每秒30幀、60幀或120幀（fps）。每一所擷取的影像都儲存有它的擷取時間。處理器150可將起始影像的擷取時間與結尾影像的擷取時間之間的時間差判斷為經過時間。

然後，處理器150可根據操作物件在起始影像與結尾影像之間的經過時間及位置變化來取得操作物件的平均速度。位置變化可包括相對距離及相對方向（與相對於輔助線的角度對應）。相對距離是操作物件在所述兩個影像中的兩個位置之間的距離。相對方向是操作物件在一個影像中的位置面朝操作物件在另一影像中的位置的方向。然後，可根據位置變化的相對距離除以經過時間的計算結果來判斷操作物件的速度。另外，速度的方向將根據兩個影像之間的位置變化的相對方向來判斷。然後，處理器150可使用操作物件的平均速度作為參考來判斷操作物件的動作。

舉例來說，圖3A是真實環境中的操作物件的動作的示意圖。參照圖3A，虛擬物件操作系統100是頭戴式顯示器，且操作物件OO是手。假設使用者執行投擲動作，且操作物件OO的位置P1、P2及P3在不同的時間點會不同。

圖3B是虛擬環境中的虛擬物件的動作的示意圖。參照圖3B，虛擬物件VO是虛擬棒球。設置在頭戴式顯示器上的影像擷取裝置110朝向操作物件擷取。處理器150可在顯示器130上顯示與操作物件OO對應的虛擬手抓住虛擬物件VO的影像。示意圖顯示三個交疊的影像IM、MM及EM以易於理解操作物件OO的位置P1、P2及P3之間的差異。

圖4是影像中的位置差異的示意圖。參照圖3B及圖4，假設初始影像IM對應於操作物件OO的位置P1，且虛擬棒球被虛擬手握持。結尾影像EM對應於操作物件OO的位置P3，且虛擬棒球正好離開虛擬手。虛擬手的中心點（即圖中的黑點）將是操作物件OO的代表點。將位置P3與位置P1之間的相對距離除以位置P3與位置P1的兩個擷取時間點之間的經過時間，且可根據計算結果來判斷操作物件的速度。

在一個實施例中，除了起始影像及結尾影像之外，處理器150還可選擇影像中的中間影像，且中間影像擷取操作物件與虛擬物件之間的互動情形的中間狀態。中間狀態是初始狀態與最終狀態之間的狀態。然後，處理器150可透過對起始影像、中間影像及結尾影像進行比較來判斷操作物件的動作。

在一些實施例中，處理器150計算操作物件從起始影像到中間影像的第一經過時間及第一位置變化，且根據操作物件從起始影像到中間影像的第一經過時間及第一位置變化來取得操作物件的第一速度。另外，處理器150計算操作物件從中間影像到結尾影像的第二經過時間及第二位置變化，且根據操作物件從中間影像到結尾影像的第二經過時間及第二位置變化來取得操作物件的第二速度。應注意，位置變化、經過時間及速度的說明可參照前述實施例，且將予以省略。在此實施例中，處理器150還根據操作物件的第一經過時間、第二經過時間、第一速度及第二速度來取得操作物件的平均加速度，且使用操作物件的平均加速度作為參考來判斷操作物件的動作。平均加速度將是第一速度與第二速度之和除以第一經過時間與第二經過時間之和的計算結果。操作物件的平均加速度可作為參考來判斷由操作物件的動作形成的力。

舉例來說，當使用者投球時，手的速度可能會改變。中間影像可用於判斷手的動作軌跡。又例如，當使用者想要投出變化球（breaking ball）時，在球離開手指之前手指滾動球的方式可改變球的飛行路徑。

以圖3B為例，假設中間影像MM對應於操作物件OO的位置P2，且虛擬棒球仍然由虛擬手握持著。操作物件的第一速度可基於操作物件在初始影像IM與中間影像MM之間的第一經過時間及第一位置變化來判斷。操作物件的第二速度可基於操作物件在中間影像MM與結尾影像EM之間的第二經過時間及第二位置變化來判斷。可判斷第一速度與第二速度之間的速度變化。另外，可根據基於第一速度與第二速度的平均加速度來估測由操作物件OO施加的力。

在一個實施例中，處理器150可根據第一位置變化及第二位置變化來取得操作物件的位置變化路線，且使用操作物件的位置變化路線作為參考來判斷操作物件的動作。舉例來說，位置變化路線將是由第一位置變化及第二位置變化形成的軌跡。

在另一實施例中，處理器150可透過操作物件上的動作感測器120來進一步偵測真實環境中的操作物件的動作。偵測結果可為加速度、旋轉量、磁力、朝向或它們的組合。然後，處理器150可使用操作物件的動作偵測資料作為參考來判斷操作物件的動作。舉例來說，處理器150根據動作感測器120的偵測結果來校正影像中的操作物件的動作。操作物件的速度可透過對偵測結果的加速度進行積分來估測。分別透過擷取影像分析及動作感測器120的偵測結果判斷的操作物件的速度可具有權重關係，且處理器150根據權重關係來判斷操作物件的最終速度。

回到圖2，在判斷操作物件的動作之後，處理器150可根據判斷因素來判斷與操作物件互動的虛擬物件的動作（步驟S250）。具體來說，基於操作物件與虛擬物件之間的不同的互動情形，虛擬物件的動作可能不同。判斷因素可包括操作物件的動作。舉例來說，操作物件的動作是投擲動作，且虛擬物件的對應動作將是飛行動作。又例如，操作物件的動作是擺動動作，且虛擬物件的對應動作將是旋轉動作。然而，操作物件的速度、加速度和/或位置變化路線會影響虛擬物件的動作。在一個實施例中，操作物件移動得越快，虛擬物件移動得越快。相反而言，操作物件移動得越慢，虛擬物件移動得越慢。操作物件的速度和/或由操作物件形成的力可與虛擬物件的速度具有線性關係、指數關係或其他數學公式關係。應注意，操作物件的速度和/或力可影響移動速度或旋轉速度。另外，前述互動情形或動作可顯示在顯示器130上。

在一個實施例中，虛擬物件是由虛擬環境中的使用者進行選擇。在虛擬環境中，當使用者對虛擬物件執行第一動作時，處理器150可向後移動虛擬物件以遠離操作物件，或者向前移動虛擬物件以接近虛擬環境中的操作物件。如果使用者執行速度比第一動作快的第二動作，則虛擬物件將移動得更快。相反，如果使用者執行速度比第一動作慢的第三動作，則虛擬物件將移動得更慢。應注意，上述第一動作到第三動作可為投擲、推、拉、踢、擺動或其他動作。

在一個實施例中，處理器150可進一步取得真實環境中虛擬物件的物理特性，且根據虛擬物件的物理特性修改虛擬物件的動作。判斷因素還包括物理特性。物理特性可為重量、體積、形狀、摩擦係數等。舉例來說，虛擬物件的重量越重，虛擬物件便水平移動得越慢。

在一個實施例中，處理器150透過影像擷取裝置110掃描真實環境中的真實物件以產生掃描結果（例如真實物件的顏色、紋理及幾何形狀）、根據掃描結果辨識真實物件以產生辨識結果（例如真實物件的名稱或辨識碼）、根據掃描結果創建與真實環境中的真實物件對應的虛擬環境中的虛擬物件、且根據辨識結果判斷虛擬物件的物理特性。這意味著虛擬物件在真實環境中具有對應的真實物件。

在另一實施例中，處理器150可判斷虛擬物件的至少一個互動特性。判斷因素還包括互動特性。互動特性可為操作點、操作手勢和/或操作動作。

舉例來說，操作物件是手，處理器150可在步驟S230中進一步辨識影像中的手的手勢，且在步驟S250中根據手的手勢修改虛擬物件的動作。作為另一實例，不同的投球抓握方式（pitching grip）可能導致棒球在被投出後形成不同的軌跡、旋轉量及速度。一種或多種特定手勢可用一個或多個特定速度或旋轉量變化來定義，且處理器150可根據對應的速度或旋轉量變化來修改虛擬物件的動作。

在一個實施例中，處理器150可透過影像擷取裝置110掃描真實環境中的真實物件以產生掃描結果（例如真實物件的顏色、紋理及幾何形狀）、根據掃描結果辨識真實物件以產生辨識結果（例如真實物件的名稱或辨識碼）、根據掃描結果創建與真實環境中的真實物件對應的虛擬環境中的虛擬物件、且根據辨識結果判斷虛擬物件的互動特性。

在又一實施例中，處理器150可在步驟S230中進一步辨識虛擬環境中由操作物件接觸的虛擬物件上的至少一個操作點（即接觸點）、且在步驟S250中根據操作物件的操作點修改虛擬物件的動作。在此實施例中，當操作點與預定義操作點交會時，判斷因素包括至少一個操作點。每一虛擬物件可在其上面的表面上預定義有一個或多個預定義操作點。處理器150可追蹤操作物件的動作且判斷操作物件是否與虛擬物件接觸。反應於操作物件與虛擬物件接觸，處理器150根據互動特性判斷操作點是否滿足至少一個預定義操作點。將被接觸的操作點或最近的操作點判斷為操作點。另外，可使用一個或多個特定速度、旋轉量變化或力來定義一個或多個特定操作點，且處理器150可根據對應的速度、旋轉量變化或力來修改虛擬物件的動作。

在另一實施例中，判斷因素包括操作點，且處理器150辨識虛擬環境中由操作物件接觸的虛擬物件上的至少一個操作點。這意味著可操作虛擬物件的所有表面或幾乎所有表面。

在又一實施例中，判斷因素包括以下中的至少一者：操作點、操作物件的加速度、虛擬物件的自旋速度及自旋旋轉量。處理器150可辨識由虛擬物件接觸的操作物件上的一個或多個操作點、且估測虛擬物件的自旋速度及自旋旋轉量中的至少一者。關於投擲虛擬物件，操作物件施加的力、虛擬物件上的操作點/區域、環境因素（例如風速、風向等）可影響虛擬物件的動作（例如自旋速度、自旋旋轉量等）。舉例來說，為了投出變化球，抓握球的方式的改變、手施加的力、風速和/或風向可導致投出不同類型的變化球。

綜上所述，根據本發明實施例的虛擬物件操作系統及虛擬物件操作方法，可根據擷取影像分析追蹤真實環境中操作物件的動作。可回溯擷取時間點，以比較至少兩張影像當中的差異。接著，在虛擬環境中與操作物件互動的虛擬物件的動作將受被追蹤的操作物件的動作所影響。藉此，可提供基於動作追蹤方法的影像辨識。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:虛擬物件操作系統 110:影像擷取裝置 120:動作感測器 130:顯示器 140:記憶體 150:處理器 EM:結尾影像 IM:初始影像 MM:中間影像 OO:操作物件 P1、P2、P3:位置 S210、S230、S250:步驟 VO:虛擬物件

圖1是根據本發明的其中一個示例性實施例的虛擬物件操作系統的方塊圖。圖2是根據本發明的其中一個示例性實施例的虛擬物件操作方法的流程圖。圖3A是真實環境中的操作物件的動作的示意圖。圖3B是虛擬環境中的虛擬物件的動作的示意圖。圖4是影像中的位置差異的示意圖。

S210~S250:步驟

Claims

一種虛擬物件操作方法，包括：取得多個影像，其中所述影像是從一真實環境所擷取；根據所述多個影像來判斷操作物件的動作，其中所述操作物件存在於所述多個影像中；以及根據一判斷因素來判斷與所述操作物件互動的一虛擬物件的動作，其中所述虛擬物件存在於一虛擬環境中，其中所述判斷因素包括所述操作物件的所述動作。
如申請專利範圍第1項所述的虛擬物件操作方法，其中所述根據所述多個影像來判斷所述操作物件的所述動作的步驟包括：選擇所述多個影像中的一起始影像，其中所述起始影像擷取所述操作物件與所述虛擬物件之間的一互動情形的一初始狀態；選擇所述多個影像中的一結尾影像，其中所述結尾影像擷取所述操作物件與所述虛擬物件之間的所述互動情形的一最終狀態；以及透過對所述起始影像與所述結尾影像進行比較來判斷所述操作物件的所述動作。
如申請專利範圍第2項所述的虛擬物件操作方法，其中所述透過對所述起始影像與所述結尾影像進行比較來判斷所述操作物件的所述動作的步驟包括：計算所述操作物件在所述起始影像與所述結尾影像之間的一經過時間及一位置變化；根據所述操作物件在所述起始影像與所述結尾影像之間的所述經過時間及所述位置變化來取得所述操作物件的一平均速度；以及使用所述操作物件的所述平均速度作為參考來判斷所述操作物件的所述動作。
如申請專利範圍第1項所述的虛擬物件操作方法，其中所述根據所述多個影像來判斷所述操作物件的所述動作的步驟包括：選擇所述多個影像中的一起始影像，其中所述起始影像擷取所述操作物件與所述虛擬物件之間的一互動情形的一初始狀態；選擇所述多個影像中的一中間影像，其中所述中間影像擷取所述操作物件與所述虛擬物件之間的所述互動情形的一中間狀態；選擇所述多個影像中的一結尾影像，其中所述結尾影像擷取所述操作物件與所述虛擬物件之間的所述互動情形的一最終狀態；以及透過對所述起始影像、所述中間影像及所述結尾影像進行比較來判斷所述操作物件的所述動作。
如申請專利範圍第4項所述的虛擬物件操作方法，其中所述透過對所述起始影像、所述中間影像及所述結尾影像進行比較來判斷所述操作物件的所述動作的步驟包括：計算所述操作物件從所述起始影像到所述中間影像的一第一經過時間及一第一位置變化；根據所述操作物件從所述起始影像到所述中間影像的所述第一經過時間及所述第一位置變化來取得所述操作物件的一第一速度；計算所述操作物件從所述中間影像到所述結尾影像的一第二經過時間及一第二位置變化；根據所述操作物件從所述中間影像到所述結尾影像的所述第二經過時間及所述第二位置變化來取得所述操作物件的一第二速度；根據所述操作物件的所述第一經過時間、所述第二經過時間、所述第一速度及所述第二速度來取得所述操作物件的一平均加速度；以及使用所述操作物件的所述平均加速度作為參考來判斷所述操作物件的所述動作。
如申請專利範圍第4項所述的虛擬物件操作方法，其中所述透過對所述起始影像、所述中間影像及所述結尾影像進行比較來判斷所述操作物件的所述動作的步驟包括：根據所述第一位置變化及所述第二位置變化來取得所述操作物件的一位置變化路線；以及使用所述操作物件的所述位置變化路線作為參考來判斷所述操作物件的所述動作。
如申請專利範圍第1項所述的虛擬物件操作方法，還包括：判斷所述虛擬物件的一物理特性；以及其中所述判斷因素還包括所述虛擬物件的所述物理特性。
如申請專利範圍第7項所述的虛擬物件操作方法，還包括：掃描所述真實環境中的一真實物件以產生一掃描結果；根據所述掃描結果來辨識所述真實物件以產生一辨識結果；根據所述掃描結果來創建與所述真實環境中的所述真實物件對應的所述虛擬環境中的所述虛擬物件；以及根據所述辨識結果來判斷所述虛擬物件的所述物理特性。
如申請專利範圍第1項所述的虛擬物件操作方法，還包括：判斷所述虛擬物件的至少一個互動特性，其中所述判斷因素還包括所述虛擬物件的所述互動特性。
如申請專利範圍第9項所述的虛擬物件操作方法，還包括：掃描所述真實環境中的一真實物件以產生一掃描結果；根據所述掃描結果來辨識所述真實物件，以產生一辨識結果；根據所述掃描結果來創建與所述真實環境中的所述真實物件對應的所述虛擬環境中的所述虛擬物件；以及根據所述辨識結果來判斷所述虛擬物件的所述至少一個互動特性。
如申請專利範圍第10項所述的虛擬物件操作方法，還包括：辨識在所述虛擬環境中由所述操作物件接觸的所述虛擬物件上的至少一個操作點；根據所述至少一個互動特性來判斷所述至少一個操作點是否與至少一個預定義操作點交會，其中所述至少一個互動特性包括所述至少一個預定義操作點，且當所述至少一個操作點與所述至少一個預定義操作點交會時，所述判斷因素包括所述至少一個操作點。
如申請專利範圍第1項所述的虛擬物件操作方法，還包括：辨識在所述虛擬環境中由所述操作物件接觸的所述虛擬物件上的至少一個操作點；其中所述判斷因素包括所述至少一個操作點。
如申請專利範圍第1項所述的虛擬物件操作方法，還包括：辨識由所述虛擬物件接觸的所述操作物件上的至少一個操作點；以及估測所述虛擬物件的一自旋速度及一自旋旋轉量中的至少一者，其中所述判斷因素包括以下中的至少一者：所述至少一個操作點、所述操作物件的加速度、所述自旋速度、及所述虛擬物件的所述自旋旋轉量。
如申請專利範圍第1項所述的虛擬物件操作方法，其中所述根據所述多個影像來判斷所述操作物件的所述動作的步驟包括：由所述操作物件上的一動作感測器取得所述操作物件的動作偵測資料；以及使用所述操作物件的所述動作偵測資料作為參考來判斷所述操作物件的所述動作。
一種虛擬物件操作系統，包括：一影像擷取裝置，從一真實環境取得多個影像；以及一處理器，耦接所述影像擷取裝置，且經配置用以：根據所述多個影像來判斷操作物件的動作，其中所述操作物件存在於所述多個影像中；以及根據一判斷因素來判斷與所述操作物件互動的一虛擬物件的動作，其中所述虛擬物件存在於一虛擬環境中，其中所述判斷因素包括所述操作物件的所述動作。
如申請專利範圍第15項所述的虛擬物件操作系統，其中所述處理器經配置用以：選擇所述多個影像中的一起始影像，其中所述起始影像擷取所述操作物件與所述虛擬物件之間的一互動情形的一初始狀態；選擇所述多個影像中的一結尾影像，其中所述結尾影像擷取所述操作物件與所述虛擬物件之間的所述互動情形的一最終狀態；以及透過對所述起始影像與所述結尾影像進行比較來判斷所述操作物件的所述動作。
如申請專利範圍第16項所述的虛擬物件操作系統，其中所述處理器經配置用以：計算所述操作物件在所述起始影像與所述結尾影像之間的一經過時間及一位置變化；根據所述操作物件在所述起始影像與所述結尾影像之間的所述經過時間及所述位置變化來取得所述操作物件的一平均速度；以及使用所述操作物件的所述平均速度作為參考來判斷所述操作物件的所述動作。
如申請專利範圍第15項所述的虛擬物件操作系統，其中所述處理器經配置用以：選擇所述多個影像中的一起始影像，其中所述起始影像擷取所述操作物件與所述虛擬物件之間的一互動情形的一初始狀態；選擇所述多個影像中的一中間影像，其中所述中間影像擷取所述操作物件與所述虛擬物件之間的所述互動情形的一中間狀態；選擇所述多個影像中的結尾影像，其中所述結尾影像擷取所述操作物件與所述虛擬物件之間的所述互動情形的一最終狀態；以及透過對所述起始影像、所述中間影像及所述結尾影像進行比較來判斷所述操作物件的所述動作。
如申請專利範圍第18項所述的虛擬物件操作系統，其中所述處理器經配置用以：計算所述操作物件從所述起始影像到所述中間影像的一第一經過時間及一第一位置變化；根據所述操作物件從所述起始影像到所述中間影像的所述第一經過時間及所述第一位置變化來取得所述操作物件的一第一速度；計算所述操作物件從所述中間影像到所述結尾影像的一第二經過時間及一第二位置變化；根據所述操作物件從所述中間影像到所述結尾影像的所述第二經過時間及所述第二位置變化來取得所述操作物件的一第二速度；根據所述操作物件的所述第一經過時間、所述第二經過時間、所述第一速度及所述第二速度來取得所述操作物件的一平均加速度；以及使用所述操作物件的所述平均加速度作為參考來判斷所述操作物件的所述動作。
如申請專利範圍第18項所述的虛擬物件操作系統，其中所述處理器經配置用以：根據所述第一位置變化及所述第二位置變化來取得所述操作物件的一位置變化路線；以及使用所述操作物件的所述位置變化路線作為參考來判斷所述操作物件的所述動作。
如申請專利範圍第15項所述的虛擬物件操作系統，其中所述處理器經配置用以：判斷所述虛擬物件的一物理特性；以及其中所述判斷因素還包括所述虛擬物件的所述物理特性。
如申請專利範圍第21項所述的虛擬物件操作系統，其中所述處理器經配置用以：透過所述影像擷取裝置來掃描所述真實環境中的一真實物件以產生一掃描結果；根據所述掃描結果來辨識所述真實物件以產生一辨識結果；根據所述掃描結果來創建與所述真實環境中的所述真實物件對應的所述虛擬環境中的所述虛擬物件；以及根據所述辨識結果來判斷所述虛擬物件的所述物理特性。
如申請專利範圍第15項所述的虛擬物件操作系統，其中所述處理器經配置用以：判斷所述虛擬物件的至少一個互動特性，其中所述判斷因素還包括所述虛擬物件的所述互動特性。
如申請專利範圍第23項所述的虛擬物件操作系統，其中所述處理器經配置用以：透過所述影像擷取裝置來掃描所述真實環境中的真實物件以產生一掃描結果；根據所述掃描結果來辨識所述真實物件，以產生一辨識結果；根據所述掃描結果來創建與所述真實環境中的所述真實物件對應的所述虛擬環境中的所述虛擬物件；以及根據所述辨識結果來判斷所述虛擬物件的所述至少一個互動特性。
如申請專利範圍第24項所述的虛擬物件操作系統，其中所述處理器經配置用以：辨識在所述虛擬環境中由所述操作物件接觸的所述虛擬物件上的至少一個操作點；根據所述至少一個互動特性來判斷所述至少一個操作點是否與至少一個預定義操作點交會，其中所述至少一個互動特性包括所述至少一個預定義操作點，且當所述至少一個操作點與所述至少一個預定義操作點交會時，所述判斷因素包括所述至少一個操作點。
如申請專利範圍第15項所述的虛擬物件操作系統，其中所述處理器經配置用以：辨識在所述虛擬環境中由所述操作物件接觸的所述虛擬物件上的至少一個操作點；其中所述判斷因素包括所述至少一個操作點。
如申請專利範圍第15項所述的虛擬物件操作系統，其中所述處理器經配置用以：辨識由所述虛擬物件接觸的所述操作物件上的至少一個操作點；以及估測所述虛擬物件的一自旋速度及一自旋旋轉量中的至少一者，其中所述判斷因素包括以下中的至少一者：所述至少一個操作點、所述操作物件的加速度、所述自旋速度、及所述虛擬物件的所述自旋旋轉量。
如申請專利範圍第15項所述的虛擬物件操作系統，其中所述處理器經配置用以：由所述操作物件上的一動作感測器取得所述操作物件的動作偵測資料；以及使用所述操作物件的所述動作偵測資料作為參考來判斷所述操作物件的所述動作。