TW201807477A - 以手動員裝置混合追蹤系統 - Google Patents

以手動員裝置混合追蹤系統 Download PDF

Info

Publication number
TW201807477A
TW201807477A TW106124972A TW106124972A TW201807477A TW 201807477 A TW201807477 A TW 201807477A TW 106124972 A TW106124972 A TW 106124972A TW 106124972 A TW106124972 A TW 106124972A TW 201807477 A TW201807477 A TW 201807477A
Authority
TW
Taiwan
Prior art keywords
optical
pointing device
remote pointing
location
movement
Prior art date
Application number
TW106124972A
Other languages
English (en)
Inventor
瑞米 帕勒姆
埃亞勒 布恩家登
哈南 卡斯諾希添
Original Assignee
以色列商Ｍｕｖ互動公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商Ｍｕｖ互動公司 filed Critical 以色列商Ｍｕｖ互動公司
Publication of TW201807477A publication Critical patent/TW201807477A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0331—Finger worn pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

一種用於判定手動員裝置所指示的目標的位置的系統，其包括手動員裝置以及追蹤系統，該手動員裝置包括：慣性感測器，光學發射器，射頻收發器，和處理器，該處理器被配置用來接收來自感測器的慣性數據並經由射頻發射器發送資料；該追蹤系統包括照相機、射頻收發器，和控制器，該控制器被配置用來：基於發射器所發出的指示來判定手動員裝置所指示的目標的基於光學的位置，接收慣性數據，計算使用慣性數據所估計的位置與所判定的位置之間的差異，以產生相關的歷史，且當光學追蹤已經停止時，基於相關的歷史，最近的位置，和慣性數據來判定裝置所指示的目標的位置。

Description

以手動員裝置混合追蹤系統
本發明涉及指示裝置的領域。
相關申請案的交叉參考 本申請案要求2011年7月25日提交的美國臨時專利申請案No.62/366,214，和2017年2月9日提交的美國臨時專利申請案No.62/456,721的優先權，其全部內容被併入本文作為參考。
隨著無線和行動技術的發展，光學指示裝置越來越普遍。這樣的裝置允許用戶使用光學指示器直接指示目標來遠程式控制一或複數計算機化應用和/或裝置的操作。光學指示裝置的一個流行應用是遠程式控制制可視內容的顯示。用戶可以直接指向螢幕上的目標來與螢幕上顯示的視覺內容無線地互動。一些螢幕中嵌有光學感測器，允許它們自動檢測由光學指示器所指示的目標。然而，這些螢幕是高度專業化且昂貴。其它的實施允許將視覺內容投影到一般的表面，例如牆壁、天花板、或桌面。在這些情況下，照相機被定位用來追蹤光學指示器所指示的目標。
但是，一旦照相機無法再感測到光學指示器，追蹤通常會丟失。例如，如果個體移動並暫時阻礙指示器和螢幕之間或螢幕和照相機之間的光學路徑，則追蹤會丟失。在這些情況下，追蹤必須在招致延遲的程序中更新，這可能有害於用戶的互動的體驗。
相關的技術和與之相關的限制的前述例子係說明性的而不是排它性的。在閱讀說明書和研究圖式後，相關技術的其它限制對於本領域的技術人員將變得顯而易見。
結合系統、工具和方法來描述和顯示以下的實施例和其各方面，這些系統、工具和方法係用來範例和說明，而不是用來限制範圍。
根據實施例，提供一種用於判定手動員裝置所指示的移動目標的位置的系統，其包括：手動員裝置及追蹤系統，該手動員裝置包括：移動和方位的感測器，光學發射器，射頻（RF）裝置發射器，和處理器，其被配置用來接收來自移動和方位的感測器的移動和方位的數據並經由RF裝置發射器發射該數據；該追蹤系統包括：照相機，RF追蹤接收器，和控制器，其被配置用來：當判定係來自光學發射器所產生的光學指示和照相機機以超過臨界值的強度感測到光學指示時，判定手動員裝置所指向的移動目標的基於光學的位置，經由RF追蹤接收器接收來自RF裝置發射器的移動和方位的數據，計算使用移動和方位的數據所估計的位置與所判定的基於光學的位置之間的差異，以產生相關的歷史，且當基於光學的位置的判定停止時，估計手動員裝置所指示的移動目標的位置，該估計係基於：相關的歷史，最近所判定的位置，及移動和方位的數據。
在一些實施例中，控制器被進一步配置用來在光學追蹤停止後照相機以超過臨界值的強度感測到光學指示時，回復到基於光學指示的移動目標的基於光學的位置的判定。在一些實施例中，控制器被進一步配置用來在回復到基於光學的位置的判定時，使用平滑的方案。
在一些實施例中，手動員裝置還包括RF裝置接收器，且其中追蹤系統還包括RF追蹤發射器，其中控制器被配置用來經由RF追蹤發射器和RF裝置接收器以發送命令來啟動平滑的方案，用以觸發光學發射器來發射複數序列的光學脈衝，其中平滑的方案包括：對於每一個檢測到的光學脈衝，基於檢測到的脈衝來判定移動目標的當前的基於光學的位置，使用經由RF追蹤接收器所接收的移動和方位的數據和最近所判定的基於光學的位置來估計基於當前的非光學的位置，計算當前的基於光學的位置和當前的基於非光學的位置之間的差異，使用該差異來調整隨後發射的光學脈衝。
在一些實施例中，控制器還被配置用來當經由RF追蹤接收器所接收到的移動和方位的數據指示高於慣性臨界值的變化時，觸發光學發射器以發射校正的光學脈衝。
在一些實施例中，系統還包括螢幕，其中光學指示被指示在螢幕上。
在一些實施例中，控制器還被配置用來使用所判定的位置以控制應用。在一些實施例中，應用在螢幕上顯示視覺內容。在一些實施例中，移動和方位的感測器是多軸移動追蹤部件。在一些實施例中，光學發射器是與繞射光學元件（DOE）耦合的雷射光源。在一些實施例中，光學發射器是複數發光二極體的陣列。
在一些實施例中，控制器還被配置用來：使光學發射器無效，從而導致基於光學的位置的判定的停止；且使光學發射器有效從而導致基於光學的位置的判定的回復。
根據實施例，提供一種用於追蹤手動員裝置所指示的移動目標的方法，其包括：以手動員裝置發射光學指示以照明由手動員裝置所指示的移動目標；捕獲被照明的移動目標的圖像；當以超過臨界值的強度感測到被照明的移動目標時，從所捕獲的圖像來判定移動目標的基於光學的位置，測量手持裝置的移動和方位的數據；使用移動和方位的數據和最近所判定的基於光學的位置來估計移動目標的位置；計算所估計的位置和光學所判定的位置之間的差異以產生相關的歷史；當基於光學的位置的判定停止時，估計手動員裝置所指示的移動目標的位置，該估計係基於：相關的歷史，最近所判定的基於光學的位置，以及移動和方位的數據。
在一些實施例中，該方法還包括在光學追蹤停止後以超過臨界值的強度感測到光學的指示時，回復到基於光學指示來判定移動目標的基於光學的位置。
在一些實施例中，該方法還包括當回復到基於光學的位置的判定時使用平滑的方案。在一些實施例中，該方法還包括經由觸發複數序列的光學脈衝的發射來啟動平滑的方案，其中平滑的方案包括：對於每一個檢測到的光學脈衝，基於檢測到的脈衝來判定移動目標的當前的基於光學的位置，接收移動和方位的數據；使用移動和方位的數據和最近所判定的基於光學的位置來估計當前的非基於光學的位置，計算當前的基於光學的位置和當前的非基於光學的位置之間的差異，使用該差異來調整隨後發射的光學脈衝。
在一些實施例中，調整包括調整隨後發射的光學脈衝之間的時間。在一些實施例中，調整時間包括當差異小時增加時間的長度，且在差異大時減小時間的長度。在一些實施例中，調整包括調整隨後發射的光學脈衝的工作週期。
在一些實施例中，調整工作週期包括當差異大時增加工作週期，且當差異小時減小工作週期。在一些實施例中，該方法還包括當移動和方位的數據指示高於慣性臨界值的變化時，觸發發出校正的光學脈衝。在一些實施例中，該方法還包括使用所判定的位置來控制應用。在一些實施例中，該方法還包括使用所判定的位置來顯示視覺內容。
在一些實施例中，該方法還包括停止光學指示的發射，從而導致基於光學的位置的判定的停止；且重新開始光學指示的發射，藉此導致基於光學的位置的判定的回復。
根據實施例，提供一種用於追蹤手動員裝置的混合系統，其包括：手動員裝置及追蹤系統，該手動員裝置包括：移動和方位的感測器，光學發射器，射頻（RF）裝置發射器，以及處理器，其被配置用來接收來自移動和方位的感測器的移動和方位的數據，且經由RF裝置發射器發射該數據；該追蹤系統包括：照相機，RF追蹤接收器，和控制器，其被配置用來：當判定係來自手動員裝置產生的光學指示和照相機以超過臨界值的強度感測到光學指示時，判定手動員裝置所指向的移動目標的至少兩個的基於光學的位置，經由RF追蹤接收來自RF裝置發射器的移動和方位的數據，計算使用移動和方位的數據所估計的位置與所判定的基於光學的位置之間的差異，以產生相關的歷史，使用移動目標的至少兩個的移動目標的基於光學的位置和移動和方位的數據來判定手動員裝置的基於光學的絕對位置，僅使用移動和方位的數據來判定手動員裝置的基於慣性的絕對的位置，計算基於光學的絕對的位置和基於慣性的絕對的位置之間的校準誤差，且當基於光學的位置的判定停止時，估計手動員裝置所指示的移動目標的位置，該估計係基於：相關的歷史，最近所判定的位置，以及移動和方位的數據，且使用最近所判定的絕對的位置，移動和方位的數據，以及校準誤差來估計基於慣性的絕對的位置。
根據實施例，提供一種用於追蹤手動員裝置的方法，其包括：以手動員裝置發射光學指示來照明手動員裝置所指示的移動目標；捕獲被照明的移動目標在兩個位置的至少兩個的圖像；當以超過臨界值的強度感測到被照明的移動目標時，從捕獲的圖像來判定移動目標的至少兩個的基於光學的位置；測量手持裝置的移動和方位的數據；使用移動和方位的數據和最近所判定的基於光學的位置來估計移動目標的位置；計算所估計位置和光學所判定的位置之間的差異以產生相關的歷史；使用移動目標的至少兩個的基於光學的位置和移動和方位的數據來判定手動員裝置的基於光學的絕對的位置；僅使用移動和方位的數據來判定手動員裝置的基於慣性的絕對的位置；當基於光學的位置的判定停止時，計算基於光學的絕對的位置和基於慣性的絕對的位置之間的校準誤差，估計手動員裝置所指示的移動目標的位置，該估計係基於：相關的歷史，最近所判定的基於光學的位置，以及移動和方位的數據，以及使用最近所判定的絕對的位置，移動和方位的數據，及校準誤差來估計基於慣性的絕對的位置。
根據實施例，提供一種方法用來將由至少兩個的遠處的指示裝置所指示的複數位置中的每一個與相應的遠處的指示裝置相關聯，該方法包括：接收第一遠處的指示裝置和第二遠處的指示裝置在表面上所指示的複數的位置；將複數的位置中未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯，其中該關聯包括：接收來自被包括在第一遠處的指示裝置和第二遠處的指示裝置的至少一個中的移動感測器的讀數；以及基於來自移動感測器的讀數和未關聯的位置，將未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯。
在一些實施例中，將未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯選擇性地包括：基於在讀數上所判定的軌跡來判定下一個位置的可能的區域，且使未關聯的位置處於可能的區域內，分別將位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯。
在一些實施例中，判定可能的區域選擇性地包括：從讀數來判定前進的路線；將前進的路線的至少一部分轉換為表面上的坐標，以獲得轉換的前進的路線；以及判定可能的區域為轉換的前進的路線的最後段的附近的區域。
在一些實施例中，可能的區域選擇性地是直線的附近。在一些實施例中，可能的區域選擇性地是一角度內部的區域。
在一些實施例中，將未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯選擇性地包括：基於來自移動感測器的讀數來計算未關聯的位置與前進的路線之間的相關性；以及將未關聯的位置與獲得最大相關性的遠處的裝置相關聯。
在一些實施例中，在第一遠處的指示裝置或第二遠處的指示裝置開始指示位置時，接收來自第一遠處的指示裝置或第二遠處的指示裝置的射頻訊號。
在一些實施例中，響應發送給第一遠處的指示裝置或第二遠處的指示裝置的請求，接收來自第一遠處的指示裝置或第二遠處的指示裝置的射頻訊號。
在一些實施例中，將複數的位置中未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯，使經受：未關聯的位置與分別與第一遠處的指示裝置或第二遠處的指示裝置的關聯的先前所接收的位置之間的不超過第一臨界值的第一距離，第二遠程指示裝置，以及未關聯的位置與分別與第一遠處的指示裝置或第二遠處的指示裝置的關聯的先前所接收的位置之間的不超過第二臨界值的第二距離。在一些實施例中，移動感測器選擇性地包括3軸慣性感測器。
根據實施例，提供一種系統，其包括：至少兩個手動的指示裝置，每一個包括：一或複數光學發射器、慣性感測器，和用於傳送慣性感測器的讀數的訊號收發器；以及控制器，其包括：光學捕獲裝置，接收慣性感測器的讀取的訊號收發器，以及處理器，其被配置用來：接收第一遠處的指示裝置和第二遠處的指示裝置在表面上所指示的複數位置；將複數位置中的未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯，包括：接收包括在第一遠處的指示裝置或第二遠處的指示裝置中的移動感測器的讀數；以及基於移動感測器的讀數和未關聯的位置，將未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯。
在一些實施例中，將未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯選擇性地包括：基於在慣性讀數上所判定的軌跡來判定下一位置的可能的區域；且使未關聯的位置處於可能的區域內，分別將位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯。
在一些實施例中，判定可能的區域選擇性地包括：從讀數來判定前進的路線；將前進的路線的至少一部分轉換為表面上的坐標，以獲得轉換的前進的路線；以及判定可能的區域為轉換的前進的路線經的最後段的附近的區域。
在一些實施例中，可能的區域選擇性地是直線的附近。在一些實施例中，可能的區域選擇性地是一角度內部的區域。
在一些實施例中，將未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯包括：基於移動感測器的讀數來計算未關聯的位置與前進的路線之間的相關性；以及將未關聯的位置與獲得最大相關性的遠處的裝置相關聯。
在一些實施例中，處理器選擇性地進一步被配置用來在第一遠處的指示裝置或第二遠處的指示裝置開始指示位置，或響應對第一遠處的指示裝置或第二遠處的指示裝置發送請求時，接收來自第一遠處的指示裝置或第二遠處的指示裝置的射頻訊號。
在一些實施例中，處理器選擇性地進一步被配置用來將複數位置中未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯，使經受：在未關聯的位置與分別與第一遠處的指示裝置或第二遠處的指示裝置相關聯的先前所接收的不超過第一臨界值的第一距離；以及在未關聯的位置與分別與第一遠處的指示裝置或第二遠處的指示裝置相關聯的先前所接收的不超過第二臨界值的第二距離。在一些實施例中，移動感測器選擇性地包括3軸慣性感測器。
根據實施例，提供一種計算機程式產品，其包括保存程式指令的計算機可讀儲存媒體，當程式指令被處理器讀取時，可使處理器執行一種方法，該方法包括：接收表面上由第一遠處的指示裝置或第二遠處的指示裝置所指示的複數位置；將複數位置中的未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯，其中該關聯包括：接收包括在第一遠處的指示裝置和第二遠處的指示裝置的至少一個中的移動感測器的讀數；以及基於移動感測器的讀數和未關聯的位置，將未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯。
除了上述的範例性方面和實施例之外，經由參考附圖和研究下面的詳述，其它方面和實施例將變得顯而易見。
本發明揭露一種混合式定位系統，其使用與慣性定位系統協同操作的光學定位系統來追蹤手動員裝置的移動目標的位置。手動員裝置可以包括諸如雷射的光學指示器，其用於根據指示器的位置和/或方位的改變來光學地指示移動的目標。移動目標可以指示一或複數的螢幕上的位置或房間中的物體。手動員裝置可以是可穿戴的裝置或手持裝置的手和/或手指，拇指的任何一個，可穿戴的裝置或手持裝置可隨著用戶的手和/或手指/拇指中的任何一個的移動而移動。
在本實施例涉及的一種場景中，當所指示的目標可被定位在附近的照相機檢測時，系統使用光學指示來判定移動目標的位置。然而，如果照相機看不見光學的指示，則系統使用慣性的數據來繼續追蹤移動目標的位置，該慣性的數據係經由手動員裝置的移動和方位的感測器所提供。因此，當光學的指示不再被照相機感測到時，追蹤用戶的目標不會自動地丟失。系統然後可以回復到光學地追蹤移動的目標。
在本實施例涉及的另一場景中，慣性數據被用來在大多數時間內追蹤移動目標的位置，且手動員裝置的光學指示器僅間歇地被起動，而作為校正的措施。
可以理解到，使用混合追蹤系統來追蹤手動員裝置可以提供額外的優點，例如但不限於：因間歇地關閉較耗電的光學追蹤系統而可降低電力的消耗；因在系統一失效時，可提供備用追蹤系統而提高追蹤的精確度和可靠性；允許當這種發射被認為不安全時，可減少發射光學指示器的頻率來行使安全的考慮，允許使用這種系統可同時追蹤複數不同的裝置，等等。
現在參考第1A圖，其顯示用於追蹤手動員裝置100的移動目標的系統。裝置100可以用作諸如電子滑鼠的無線光學指示器，允許用戶使用照明光束來指示螢幕102上的虛擬或真實的目標。只為了說明的目的，在第1A圖中所顯示的目標為四角星。螢幕102可以是任何合適的顯示表面，諸如虛擬或增強現實系統所提供的虛擬螢幕，諸如電漿或液晶顯示螢幕的電子螢幕，或將圖像投影到諸如牆壁或桌面的表面的特定目的的螢幕。裝置100可以是可穿戴的裝置且可以裝配在用戶的手指中的一個，以允許用戶指示螢幕102上的移動的目標，如人們自然地用手指示一樣，並使用手勢來觸發應用的一或複數的功能，諸如夾捏和/或按壓用戶的手指，旋轉用戶手，按壓裝置100的一或複數的控制按鈕100a等。混合追蹤系統106所提供的照相機104和控制器110在用戶移動他的手來改變位置時可以即時光學地追蹤移動目標的位置，例如控制與裝置100相關聯的應用。混合式系統106還包括射頻（RF）收發器118，其可以與裝置100通訊以接收移動和方位的數據。若照相機104瞬間失去光學訊號，控制器110可以使用移動和方位的數據來估計或預測移動目標的位置。因此，移動和方位的數據可以補充光學數據，以便在光學訊號被阻塞或以其它方式丟失時“填充”此間隙。可以使用諸如WiFi，藍牙，ZigBee，或其它的任何合適的RF通訊協定，來發送移動和方位的數據。
裝置100可以被用來選擇螢幕102上的不同的目標，其根據所選擇的目標來觸發應用以執行不同的功能，諸如在螢幕102上顯示視覺的內容，啟動另一個應用的執行，活化裝置，等等，其允許用戶經由裝置100與螢幕遠程地互動。
例如，螢幕102可以顯示各種應用的控制台，允許用戶相應地選擇其中的一個。用戶可以以指示裝置100來選擇應用，響應被顯示的選單，允許用戶為所選擇的應用設置一或複數的參數。例如，在選擇“查看照片”時，各種相簿的列表可以被顯示。用戶可以選擇他想要查看的專輯。用戶可以使用由裝置100啟用的任何指點，夾捏，按壓，或其它手勢的動作來設置一或複數的顯示參數。響應於所設置的顯示參數，應用可以發出命令以相應地將照片顯示在螢幕102上。
現在參考第1B圖，其顯示根據實施例的以混合追蹤系統106來操作的裝置100的方塊圖。裝置100可以設置有光學發射器108，諸如以一或複數的光學指示來照明目標的雷射或發光二極體（LED）的光源。照明可以在可見光，近紅外光：或紅外光（IR）的範圍內，或可由照相機檢測到的任何合適的波長。光學指示器可以是指示目標的單一點的聚焦點，或者，可以是圖案，諸如被照明的目標的一組的點。例如，光學發射器108可以是與繞射光學元件（DOE）耦合的雷射光源中的任何一個，或者，產生可以被用於判定裝置100的相對位置的點的圖案的複數的LED陣列。
混合追蹤系統106可以包括光學追蹤子系統106a及移動/方位子系統106b，光學追蹤子系統106a檢測發射器108所發射的光學指示訊號來光學地追蹤隨著時間移動的目標的位置，而移動/方位子系統106b可隨著時間的推移來追蹤裝置100的移動和方位，下面將更詳細地加以描述。光學追蹤子系統106a可以包括照相機104和控制器110。照相機104可以對發射器108所發射的光學強度，波長，和其它的照明特性中的任何一個敏感，且可被定位用來捕獲一或複數的被照明的移動目標的圖像。照相機104可以將捕獲到的圖像傳送到控制器110，控制器110可以分析圖像，以判定發射器108所產生的光學指示是否成功地被照相機104檢測到，諸如超過最小臨界值的強度。臨界值可以是系統相關的，且可以取決於發射器108和照相機104中的任何一個。如果光學指示被成功地檢測到，則控制器110可以根據檢測到的光學指示來判定移動目標的基於光學的位置。
裝置100還可以包括處理器112，射頻（RF）收發器114，以及諸如多軸移動追蹤部件的移動和方位的感測器116。例如，感測器116可以包括整合在單一個電子部件內的加速度計，陀螺儀，和羅盤中的任何一個，諸如來自InvenSense, Inc. of San Jose, California的MPU-9250 9-軸移動追蹤裝置或MPU-6500 6-軸移動追蹤裝置。處理器112可以從感測器116接收移動和方位的數據，並經由射頻收發器114傳送數據。
混合追蹤系統106可以另外包括移動和方位的追蹤子系統106b，其包括具有控制器110的射頻收發器118。控制器110可以經由射頻收發器114和射頻收發器118接收來自裝置100的移動和方位的數據。射頻收發器118，控制器110，和照相機104可以被單獨地容納且彼此獨立地被定位。或者，射頻收發器118，控制器110，和照相機104可以一起被容納作為單一個的混合式追蹤單元。
為了追蹤裝置100，控制器110可以獨占地使用追蹤子系統中的任何一個，或同時使用二個追蹤子系統。如果追蹤子系統中的另一個失敗或以其它方式停止運作，則每一個追蹤子系統可以提供備份追蹤。例如，為了節省電力或符合安全的考慮，光學追蹤子系統可以由用戶或由控制器110暫時地或間歇地關閉，並且移動和方位追蹤子系統可以提供補充追蹤以得到堅固的追蹤系統。類似地，如果移動和方位追蹤子系統變得無效，則光學追蹤子系統可以提供追蹤。
最初，在光學追蹤移動目標時，控制器110可以使用移動和方位的數據來追蹤目標，以計算目標隨時間推移的非基於光學的位置。為了計算移動目標的非基於光學的位置，控制器110可以使用最近所判定的光學位置作為起始點，且基於最近所接收到的移動和方位的數據來估計當前的位置。週期性地，控制器110可以將所估計的非基於光學的位置與基於光學的位置進行比較，並計算它們的差異以評估兩者之間的誤差。
控制器110可以計算移動的目標的基於光學的追蹤所判定的位置和使用移動和方位的數據所估計的位置之間的差異，以產生隨時間推移的相關的歷史。相關的歷史可以被儲存在設置有控制器110的儲存單元（未顯示）中。
現在參考第2A圖，其顯示用於判定基於光學的追蹤和基於移動和方位的追蹤之間的相關的歷史的時間線。起初，在時間T0時，目標的絕對的位置被光學地判定。在下一個時段，控制器110接收來自裝置100的指示用戶的手的移動和方位的改變的慣性資訊，因此它們被期待會影響移動目標的絕對的位置。控制器110使用該資訊來估計移動目標在下一個時段T1的位置。移動目標的在時間T1的絕對的位置被光學地判定，並與使用移動和方位的數據所估計的位置進行比較。兩者之間的誤差被估計和儲存。該方法被重複於隨後的時段：收集從T1到T2的時段的慣性數據，且被用來基於在T1光學地所檢測的絕對的位置來估計在時間T2的位置。將該位置與在時間T2的光學地所判定的絕對的位置進行比較，且其誤差被評估和儲存。該方法被重複於複數時段，以提供兩種定位方法之間隨時間之推移的誤差的函數，且其被用來產生相關的歷史。時段的長度可以根據控制器110的計算負載來選擇-較細的單位的間隔大小可以提供較健全的相關的歷史，但需要更多的計算資源，而較大的時段可以節省控制器110的計算資源但需要犧性更細的細節。例如，時段可以是大約0.25秒（s）、0.5s、0.75s、1s、1.5s、2s、2.5或3s。
控制器110可以分析從照相機104接收到的圖像，且可以檢測光學追蹤何時停止，例如當控制器110檢測到照相機104沒有感測到超過最小臨界值的足夠強度的光學指示時。例如，光學追蹤停止於控制器110不能辨認捕獲的圖像中的被照明的目標時，例如圖像被捕獲於被照明的目標超出照相機104的範圍時，或者如果物體阻擋了目標和發射器108和/或目標和照相機104之間的光路時，則可以停止光學跟蹤。類似地，如果由發射器108所發射的光學指示訊號具有低的強度，或者如果所捕獲的圖像由於雜訊，失真，或者其它因素而具有低的品質時，控制器110可以檢測到光學追蹤已經停止。
當光學追蹤已經停止時，控制器110可以使用移動和方位追蹤子系統106b作為備用追蹤系統，使用非光學的數據來繼續追蹤被裝置100所指示的移動的目標。另外，或者，控制器110和用戶中的任何一個可以使發射器108失能來故意地使光學追蹤系統106a無效，來有益於諸如節省電力，符合安全的規定等。類似地，控制器110和用戶中的任何一個可以在使發射器108失能之後再經由使發射器108有效而故意地啟用光學追蹤系統106a。選擇性地，裝置100可以設置有用戶介面（未顯示），其允許用戶交替地指示控制器110來使光學發射器112無效和有效。控制器110可以非光學地判定移動目標的位置，其係經由基於相關的歷史所估計的位置，最近所判定的位置，以及移動和方位的數據的位置。控制器110可以使用非光學的位置來臨時追蹤用戶的目標的位置，直到光學追蹤可以被更新。例如，諸如蘇黎世的瑞士聯邦理工學院在2011年所出版的，「機電的研究，移動追蹤系統。移動追蹤方法的回顧」一書的第三章所述的技術（可得自http：//students.asl.ethz.ch/upl_pdf/308-report.pdf，最後一次查看日期：2016年6月28日），其可以在光學訊號失去之後被用來判定用戶的位置。
控制器110可以同時使用慣性追蹤子系統106b和光學追蹤子系統106a來判定用戶相對於螢幕102，或螢幕102位於其中的房間的絕對的位置。
現在參考第1C圖至第1D圖，它們一起顯示使用光學和慣性的數據的組合來判定裝置100的絕對的位置的技術。
參考第1C圖，可以使用螢幕102上由發射器108所指示的兩個點X1 和X2 （分別對應於下面的等式中的點A和B）來判定裝置100的空間位置的二維的解。螢幕102相對於裝置100的方位可由方位到螢幕的法線N（垂直）來表示。
可以測量在螢幕102上所指示的兩點之間的圖元的間距| X1 - X2 |。對於任何特定的系統，圖元和空間單位元之間的關係是恆定的，且可以在校準程序中被界定。慣性追蹤系統的磁力計組件可以相對於位置X1 和X2 提供不同指示方向的方位角。以下內容可以被判定： β = 90 – (AzN – AzA ) ϒ = 90 – (AzB – AzN ) α = 180 – (β + ϒ) 𝑋𝑃 =B sinϒ 𝑌𝑃 =B sinα 其中P是裝置100的位置，N是裝置100和螢幕102之間的法線。AzN 是法線N的方位角，AzA 是相對於裝置100到X1 的指示方向和入射角β的方位角，以及AzB 是相對於裝置100到X2 的指向方向和入射角γ的方位角。
參考第1D圖，XP 和YP 是裝置100的（X，Y）坐標，且描述裝置100在3D空間中相對於XY平面的位置的投影，其中螢幕102是XZ平面。為了找到裝置100的位置的Z（高度）坐標，可以重複相同的計算來找到YZ表面的投影。因此，可以使用得自磁力計的三維的方位角的數據來判定此投影。
在光學的追蹤已經停止之後，控制器110可以使用先前所判定的相對於螢幕102的絕對的位置，上述方法所計算的，以及從慣性追蹤子系統106b所接收到的資訊，來指示用戶的手的移動以估計目標的假設的投影。該投影可能會受到如果發射器108已被啟用而從它所發射的假想的光束的入射角的影響，且其可以由接收來自慣性追蹤子系統106b的方位的資訊以及從螢幕所估計的距離來判定，其可以從慣性追蹤子系統106b的加速度計來判定。
例如，當使用者與發射器108以入射角θ指向的表面處有絕對的距離r時，用戶的手的角度z的旋轉的移動將影響表面的一部分，該部分對應於角度θ和θ+z 之間與半徑r 所掃過的弧線在表面上的投影p。投影p的大小正比於到螢幕的絕對的距離r 和入射角θ：對於較小/較大的距離，投影就越小/越大，且對於θ= 90°±δ，δ＜90°，投影隨δ而增加。
因此，在光學追蹤已經停止之後，如果用戶增加離開表面的距離（距離r +Δ），則角度z的相同的手的旋轉移動將影響表面的較大的部分，其對應於角度z和半徑r +Δ所掃過的弧線在表面上的投影p，而如果用戶減小離開表面的距離（距離r-Δ），角度z的相同的的手的旋轉移動將影響表面的較小的部分，其對應於角度z和半徑r-Δ所掃過的弧線在表面上的投影p。為了這些計算的目的，用戶的手的平移位移可以被轉變為由平移位移所掃過的角度並相應地被應用。類似地，用戶的手的方位的變化可以改變投影的大小。可以根據從移動和方位的追蹤子系統106b所接收到的資訊來估計用戶手相對於螢幕102的距離和/或方位的變化，且可以相應地判定所產生的假設的投影而被使用好像其可以使用光學追蹤子系統106a一樣地被光學追蹤。
例如，光學和慣性跟蹤子系統106的組合可用來測量螢幕102的目前的距離R和發射器108所發射的在螢幕102上的光束之間的入射角θ。在此距離和方位，用戶的掃過面對螢幕的X°的弧度的手的旋轉可以掃過Y的螢幕的圖元，其對應於每X°的Y的圖元的比率。類似地，Zmm的發射器108的平移位移可以掃過W的螢幕的圖元，其對應於距離R處的平移運動的每Zmm的W的圖元的比率。在光學追蹤丟失且用戶改變他的的任何方位/位置，或者他的絕對的方位/定位之後，控制器110可以使用接收自移動和方位追蹤子系統106b的資訊來估計當前的手的距離R和發射器108和螢幕之間的入射角'θ'，並相應地調整這些比率，用來估計用戶的手的旋轉，其掃描可以掃過Y'的螢幕的圖元的面對螢幕的X°的相同的弧度，且Zmm的相同的平移移動可以掃過W'的螢幕的圖元。控制器110可以使用這些估計和計算來控制一或複數的應用，例如在螢幕上顯示視覺內容。
在控制器110使用移動和方位的數據來判定移動目標的基於非光學的位置的時段期間，因為照相機沒有以超過臨界值的足夠的強度感測到光學指示，所以控制器110可以連續地接收由相機所拍攝的圖像104並分析它們，用以更新目標的光學追蹤。當控制器110再次檢測到照相機104以超過臨界值的足夠的強度感測到裝置100所發射的光學指示時，控制器110可以回復到基於檢測到的光學指示來判定裝置100所指示的移動目標的基於光學的位置。
選擇性地，當回復到基於光學的追蹤時，控制器110可以使用平滑的方案來平滑化基於非光學的位置和基於光學的位置之間的差異。平滑的方案可以包括卡爾曼濾波器（Kalman filter）或其它的合適的平滑函數。由於基於非光學的位置不如基於光學的位置精確，所以兩者之間的差異可以取決於多種因素，例如在光學追蹤停止和被更新之間經過多少時間，用戶在非光學追蹤期間移動他的手有多遠和/或多快。因此，平滑的方案可以允許將大的差異分解成幾個更小的步驟，使得用戶在追蹤時不會經歷突然的「跳躍」，而是平滑地從非光學追蹤切換到光學追蹤。
此外，由於加速度計，陀螺儀，和羅盤組件中任何一個的精度會隨時間而變化，所以絕對的位置或慣性的追蹤中的任何一個的計算可以包括最新的校準來說明這種變化。對於所有三軸（X，Y，Z），可以對接收自每一個部件的每一個測量值分別評估此變量，或誤差。當光學追蹤和慣性追蹤系統都有效時，控制器110可以基於接收自光學追蹤系統和慣性追蹤系統的資訊來計算絕對的位置。此外，控制器110可以僅基於接收自慣性追蹤系統的每一個組件的資息來分別地計算絕對的位置。可以將每一個組件所判定的（X，Y，Z）位置與光學所判定的（X，Y，Z）絕對的位置進行比較，且可以沿著各軸來計算每一個慣性分量的誤差，即，當使用9 –axis追蹤系統時，9個誤差將被判定，而當使用6軸追蹤系統時，6個誤差將被判定。
當隨後僅使用慣性追蹤系統追蹤裝置100的的移動目標或絕對的位置的任何一個時，例如當光學訊號丟失或失能時，在基於慣性數據計算位置時可以包括慣性誤差。因此，慣性所計算的位置可以包括對慣性追蹤組件的任何變化的最新的補償因數。
返回參考第1B圖，混合追蹤系統106可以設置有與射頻收發器118整合的射頻收發器作為RF收發器118。類似地，裝置100可以設置有與射頻收發器114整合的射頻收發器作為RF收發器。控制器110可以將收發器118的命令發送到射頻收發器114來啟動平滑的方案，該發射器114觸發光學發射器108以發射複數連續的光學脈衝。例如，收發器114可以提供命令給處理器112，這可以相應地觸發發射器108。光學脈衝的序列可以具有根據差異的大小而變化的動態的週期性和/或工作週期。
平滑的方案可以以照射脈衝的發射來開始，例如75毫秒（ms）、或80ms、或85ms、或90ms、或95ms、或100ms、或105ms、或110ms、或115ms、或120ms、或125ms，例如75ms、或80ms、或85ms、或90ms、或95ms、或100ms、或105ms、或110ms、或115ms、或120ms、或125ms等間隔。照相機104可以檢測脈衝所照射的目標，並將照射的目標的圖像提供給控制器110。控制器110可以基於圖像來判定目標的當前的基於光學的位置。另外，如上所述，控制器110可以使用從裝置100經由RF追蹤收發器118所接收的移動和方位的數據來計算目標的當前的基於非光學的位置。控制器110可以計算當前的基於光學的位置和當前的基於非光學的位置之間的差異，且可以使用該差異來調整隨後發射的光學脈衝。
例如，如果差異較大，則任何兩個序列的光學脈衝之間的週期的長度可以被降低，如果差異較小，則任何兩個序列的光學脈衝之間的週期可以被增加。類似地，如果差異較小，則隨後發射的脈衝中的任一個的工作週期可以被減小，如果差異較大，任何隨後發射的脈衝的工作週期可以被能增加。當差異較大時，該方案可能導致更長和更頻繁的脈衝，表明弱的相關性，當差異較小時脈衝則越短越頻繁，表明強的相關性。
選擇性地，如果控制器110檢測到慣性位置的突然的或顯著的變化，例如當經由RF追蹤接收器100所接收到的移動和方位的數據指示高於慣性的臨界值的變化時，控制器110可以使發射器108發射校正的光學脈衝以防止丟失光學追蹤。例如，慣性的臨界值可以在42°至47°，或40°至50°，或35°至55°的範圍內，並且可以為約45°±10％。
現在參考第2B圖，其顯示平滑的時間線的方案。時間線200顯示隨時間而發射的複數的雷射脈衝。任何給定的脈衝的長度，T1-T0，T3-T2，T5-T4，和T7-T6是動態的，且根據差異隨時間而變化。類似地，任何兩個序列的雷射脈衝，T2-T1，T4-T3，T6-T5之間的週期也是動態的，並且根據差異而變化。時間線200顯示序列的脈衝之間的週期增加，且脈衝的長度減小，其表明使用移動和方位感測所檢測的位置與光學判定的位置之間的相關性是強的，且差異較小時，允許系統減少發射器108發射脈衝的時間量，以節省電力。
現在參考第2C圖，其顯示用於上述平滑的方案的另一條時間線。時間線202跨越與時間線200相同的持續時間，然而，與第2B圖的四個較短的脈衝相比，其有三個較長的脈衝被發射。雖然在時間T0時發射的初始脈衝是相同的，但是時間線202顯示隨後的脈衝之間的週期減小，且脈衝的長度增加，其表明使用移動和方位檢測所檢測的位置與光學判定的位置的相關性較弱，兩者的差距較大。因此，需要更長和更頻繁的脈衝來校正慣性的定位。
現在參考第3A圖至第3B圖，其顯示追蹤手動員裝置的目標的混合方法的流程圖。手動員裝置可以發出光學指示以照明由裝置所指示的目標（步驟300）。可以捕獲被照明的目標的圖像（步驟302）。當以超過臨界值的強度感測到被照明的目標時，可以從捕獲的圖像來判定目標的基於光學的位置（步驟304）。可以測量手持裝置的移動和方位的數據（步驟306）。可以使用移動和方位的數據和最近所判定的基於光學的位置來估計目標的位置（步驟308）。可以計算在所估計的位置與光學所判定的位置之間的隨時間的推移的差異，以產生相關的歷史（步驟310）。在沒有感測到超過臨界值的強度的光學指示時，可以估計裝置所指示的目標的位置，該估計係基於相關的歷史，最近所判定的基於光學的位置，以及移動和方位的數據（步驟312）。
在光學追蹤停止之後且當光學感測被回復時，例如當以超過臨界值的強度感測到光學指示時，該方法可以被回復到基於光學指示來判定目標的基於光學的位置（步驟314）。選擇性地，光學追蹤可以響應從用戶和控制器中的任何一個接收到失能的光學發射器的指示而被停止。類似地，可以經由從用戶和控制器中的任何一個接收到指示而使失能後的光學追蹤被啟用。
選擇性地，當光學追蹤和慣性追蹤都被啟用時，手動員裝置的絕對的定位可以被判定。當光學追蹤已經停止時，例如當光學發射器失能時，可以使用經由慣性追蹤子系統所接收的當前的移動和方位以及手動員裝置的絕對的定位來估計目標的假設的投影。
選擇性地，可以經由以下的步驟來判定絕對的定位：i）可以計算由發射器所指示的兩個不同的目標點之間的距離，ii）移動和方位的數據可被用來計算從一個目標點移到另一個目標點時所掃過的角度，iii）由距離和角度所界定的半徑可以被計算，以及iv）第三維度，諸如可以被接收自配置有慣性追蹤系統的羅盤部件並被包括在移動和方位的數據中，可以被用作第三維的定位參數。
選擇性地，一或複數的慣性組件的校準誤差可以被計算，且可以被用於僅使用移動和方位的數據來估計裝置的絕對的位置。當光學追蹤系統被起動時，手動員裝置的基於慣性的絕對的位置可以僅使用移動和方位的數據來判定。使用光學追蹤系統所計算的絕對的位置可以與基於慣性的絕對的位置進行比較，且可以計算它們之間的校準誤差。當光訊號丟失或禁用時，可以使用最近所判定的絕對的位置，移動和方位的數據，以及校準誤差來估計裝置的絕對的位置
當回復到使用基於光學的數據來判定目標的位置時，可以使用平滑的方案（步驟316），例如使用第3C圖所描述的平滑的方法。所判定的位置可以被用來控制應用（步驟318）。例如，所判定的位置可以被用來在顯示目標的螢幕上顯示視覺內容。
現在參考第3C圖，其顯示一種方法的流程圖，該方法可使在使用慣性數據來估計目標的位置與回復到使用基於光學的數據來判定目標的位置之間的轉變平滑化。可以經由觸發複數序列的光學脈衝的發射來啟動平滑的方案（步驟330）。對於每一個檢測到的光學脈衝：可以基於檢測到的脈衝來判定目標的當前的基於光學的位置（步驟332）。可以接收移動和方位的數據（步驟334）。可以使用移動和方位的數據和最近所判定的基於光學的位置來估計當前的基於非光學的位置（步驟336）。可以計算當前的基於光學的位置和當前的基於非光學的位置之間的差異（步驟338）。可以使用該差異（步驟340）來調整隨後發射的光學脈衝，例如調整隨後發射的光學脈衝之間的週期和/或調整隨後發射的光學脈衝的工作週期和/或調整隨後發射的光學脈衝的持續時間。例如，當差異小時，可以增加週期的長度，且當差異大時可以減小週期的長度。類似地，當差異大時可以增加工作週期，且當差異小時可以減小工作週期。
選擇性地，如果移動和方位的數據指示突然變化，例如高於慣性的臨界值，則可以觸發校正的光學脈衝的發射。
本文進一步所揭露的是用於追蹤複數指示裝置的追蹤系統，以及用於操作該系統的方法。該系統允許複數持有指示裝置的用戶同時在表面上指示不同的位置，以指示位置，進行選擇，標記軌跡，跟隨移動的目標，或採取任何其它的動作。在一些範例性的實施例中，當啟動追蹤集會時，每一個這樣的指示裝置可以發出特徵的射頻（RF）訊號，使得裝置所指示的並被追蹤系統所識別的初始位置可以與特定的裝置相關聯。然後，集會可以繼續，其中追蹤系統連續地追蹤參與裝置所指示的位置。選擇性地，一或複數的裝置可以以預定的時間間隔，或者在例如從追蹤系統接收請求的特定事件等的情況下發送特徵的RF訊號。
應注意到，在下面的討論中，位置可以被照相機或選擇性地包括或與處理器相關聯的另一裝置根據裝置所發射的光撞擊到的表面的位置所接收。然而，也可以使用其它的方法來識別位置。
只要不同的裝置所指示的位置足夠遠，且彼此保持足夠遠而其軌跡不會相交的情況下，則將每一個點與其中一個裝置相關聯是直接的，並且可以使用被指示的位置的歷史來完成，例如每一個被接收到的位置與先前所接收到的位置中較靠近它的位置相關聯。足夠遠的點係指這樣的點，其至少是有預定數量的釐米的點或彼此離開的圖元。在一些實施例中，預定的距離可以相對於所指示的位置改變的速度，使得快速的移動可以允許點之間較大的距離，以便繼續將每一個位置與特定的裝置相關聯。
然而，當裝置指示相對靠近的位置時，僅由基於光學追蹤系統來區分它們是不可能的。此外，一旦所指示的位置再次分開，由於情況的模糊性，要回復與特定的裝置的位置的關聯是不可能的。
如果裝置是不同的，例如其波長，強度，所發射的光學模式或其它的特性，則判定發射那個位置的那一個裝置可以是準確地和有效的，但這樣的要求可能使系統更複雜和更昂貴。然而，當裝置基本上是相同時，這樣的區分不能僅基於捕獲的位置來完成。
在下面的討論中，術語"位置"（"location"）可以指被表示為在兩維或三維的空間中坐標集的點。在另外的實施例中，該術語可以指較大的區域，諸如矩形，圓形，或任何其它形狀的坐標的集合。
現在參考第4A圖和第4B圖，它們顯示將所指示的位置與指示裝置相關聯的不明確的情況，其可能發生於兩個裝置指示表面時。
第4A圖顯示系統中的三個狀態的序列，其中兩個裝置402、404發射在表面408上的光。在時間t1時，顯示在佈置400中，裝置402指示位置416而裝置404指示位置416。在時間t2時，顯示在佈置418中，裝置402指示位置420而裝置404指示位置422，其中位置420和422彼此靠近。
佈置424和426在時間t3時呈現兩種可能的情況：在佈置424中，裝置402指示位置428，而裝置404指示位置432，而在佈置426中，裝置402指示位置432，而裝置404指示位置428。在佈置424和426所描述的兩種情況中，位置428和432被指示，因此當此兩種情況是正確時，情況是不明確的。
窗框436顯示在三個時間點：t1、t2和t3時所指示的位置。窗框440顯示一種選擇，其中路徑444連接裝置之一所指示的位置，如裝置402，而路徑448連接另一個裝置所指示的其它的位置，如與佈置424對應的裝置404。
然而，窗框452顯示另一種選擇，其中路徑456連接裝置之一所指示的位置，如裝置402，而路徑460連接另一裝置所指示的位置，如與佈置424對應的裝置404。
因此，僅給出如在佈置424（或426）所顯示的點，不可能判定活化裝置402和裝置404的用戶的每一個是否執行馬蹄形的移動，而導致在佈置424的情況，或者執行大致上直線的移動，而導致在佈置426的情況。
如上所述，如果裝置指示彼此分開的位置，則在某些情況下，移動的歷史可以幫助解決不判定性。然而，當這種歷史是不可用的或無用的時候，不判定性不能僅基於所指示的位置來解決。
現在參考第4B圖，其顯示這種情況。窗框460顯示在時間t1..tn + 1時由兩個裝置所指示的位置的集合。在時間t1..tn時所接收到的位置全部靠近一起，但是在時間tn + 1時所接收到的位置遠離在時間t1..tn時所接收到的位置。如果n = 1，則沒有移動的歷史，且不能判定情況是否如窗框464之所示，其中左側的位置由第一裝置所指示，虛線表示不知軌跡是由那一個裝置所產生，而右側的位置由第二裝置所指示，實線表示不知軌跡是由那一個裝置所產生，或反之亦然，如窗框468之所示。如果n＞ 1，則有一個或二個裝置的移動的歷史，但是，這種歷史是無用的，因為所有的位置都靠近一起，因此無法幫助解決不判定性。
為了克服這些限制，在本發明的一些實施例中，可以採用混合式方法來解決此不判定性，在該方法中，組合兩個或更多個裝置所指示的追蹤的位置與關於以手動員裝置所取得的移動的資訊。在本發明的一些實施例中，各個這樣的裝置可以包括感測器用來提供裝置的移動的數據，例如方位或慣性的數據。感測器可以包括一或複數的整合在單一個電子部件內的加速度計，陀螺儀，羅盤，例如取自InvenSense, Inc. of San Jose, California的MPU-9250 9-軸移動追蹤裝置或MPU-6500 6-軸移動追蹤裝置，等等，使得基於慣性的追蹤系統可以從慣性數據來追蹤裝置的移動。
因此，可以根據接收自併入裝置中的慣性的感測器的讀數來判定由手動員裝置所執行的移動。應當理解到，在那一個裝置指示那一個位置的明顯的情況下，不需要將光學追蹤資訊與裝置的移動的相關資訊組合。然而，當存在不判定性時，可以判定由裝置所追蹤的運動，且可以根據移動將所指示的位置與裝置相關聯。因此，在第4A圖的情況下，任何裝置的馬蹄形的移動可以被顯示如圖440所示的情況，而如果裝置執行基本上直線的移動，則情況如窗框452之所示。
類似地，在第4B圖的情況下，如果分析裝置的移動顯示第一裝置移動到左側而第二裝置移動到右側，則情況如窗框464之所示，而如果第一裝置移動向右移動，第二個裝置移動到左邊，則情況如窗框468之所示。
應當理解到，僅使用基於慣性的追蹤，而不進行基於光學的追蹤，可能不足以追蹤位置。此外，由於可以將加速度積分兩次來獲得，所以誤差會沿著移動累積，從而進一步增加不準確性。如上所述，僅基於光學的追蹤也是不足以正確地追蹤。
現在參考第4C圖，其顯示所指示的位置的可能區域，以及參考第5圖，其顯示一種方法中的步驟的流程圖，用於將所指示的位置與同時使用的兩個或更多個的指示裝置中的遠處的指示裝置相關聯。應當理解到，雖然該方法對於兩個裝置的系統是詳細的，但是它可以容易地被擴展到任何數量的裝置，其中處理時間可以隨著裝置的數量而線性地增加。該方法可以由與控制單元相關聯的處理器來執行，如下面結合第6圖所詳細描述的。
在初始的步驟（未顯示），當裝置開始指示表面上的位置時，可以從任一個裝置接收諸如RF訊號的訊號。訊號可以包括特性，例如可以區分裝置之間的唯一ID。這種傳輸可以提供位置和裝置之間的初始關聯，之後裝置所指示的位置可以被追蹤並與裝置相關聯。初始的關聯是可能的，因為這些裝置被人類用戶所使用，且兩個人在完全相同的時間（在系統使用的時間解析度下）開始傳輸的機率是相當可忽略的。
在步驟500中，可以接收由兩個或複數指示裝置中的任何一個在表面上所指示的複數位置。這些位置可以被接收為二維或三維的坐標集，並且可以是絕對的或相對於某些坐標系，例如從表面的角落開始的坐標系。在一些實施例中，可以從捕捉表面上的光點的照相機接收位置。
在步驟504中，新接收到的未關聯的位置可以與第一或第二的指示裝置相關聯，其中可以從捕捉表面上的光點的照相機接收位置。
步驟504可以包括步驟508，其中不需與裝置的慣性相關的資訊就可以判定位置是否可以與指示裝置中的一個相關聯。例如，可以判定未關聯的位置是否處於不超過離開先前所接收到的與第一指示裝置相關聯的位置的第一臨界值的第一距離之處，及是否處於超過離開先前所接收到的與第二指示裝置相關聯的位置的第二臨界值的第二距離之處，反之亦然。在這種情況下，該位置可以與第一指示裝置相關聯，且該程序可以繼續到下一個點。第一和第二的臨界值可以是絕對的，例如分別為1和5釐米或圖元的數目，其相對於先前所分配給相同裝置的連續點之間的距離，（因此與點出現在表面上的速度有關），等等。
否則，如果位置沒有進一步的資訊而不能明確地與其中一個裝置相關聯，則可以利用得自裝置的慣性感測器的資訊進行進一步的關聯。應當理解到，該選項可能消耗更多的能量和處理的時間。
在步驟512中，讀數可以接收自第一或第二的指示裝置。在預定的時間視窗內，例如約1到約20秒，讀數可以被感測到並和收集在指示裝置的儲存裝置內，其中讀取的序列可以根據請求被發送到控制器。在替代實施例中，在預定的時間視窗讀數可以從一個或兩個的裝置連續被發送到控制器且被儲存在其中。
在步驟520中，可以基於兩個或複數的慣性的讀數來判定移動的裝置的前進的路線。前進的路線可以是基本上直線，一角度，或更複雜的或甚至任意的形狀，其取決於判定路線的先前的點的數目。
在步驟524中，前進的路線可以被轉換成表面坐標或表面方向。在一些實施例中，變換可以利用持有裝置的用戶是面向表面的假設，使得例如沿著X軸的正方向的裝置的移動被轉換為也是沿著X軸的正方向的在表面上的前進。這種變換的前進的路線480被顯示在第4C圖中的在表面476上的點T1，T2，和T3之間。
然後，每一個被指示的位置可以與指示裝置的軌跡相關聯，其可以以多種方式執行。
在一個選項中，在步驟528中，被指示的位置的可能的區域可以被判定為接近前進的路線的最後段的區域，如被轉換到表面。該區域可以基本上成一角度的形狀，其中角度的頂點是與裝置相關聯的先前的點，且角的平分線是從與裝置相關聯的先前的點開始且根據慣性的移動的前進而前進的射線。該角度可以是預定的大小，例如平分線兩側的45％。或者，如果存在複數要與當前的點的附近相關聯的點，則可以使角度變窄，等等。該區域以具有射線484和488的角度492被顯示在第4C圖中。由角度所界定的區域的尺寸可以根據例如移動裝置的速度來判定，使得較快的移動提供用來判定該區域為較大的圓的扇形區。
在步驟532中，由於未關聯的位置在步驟528中所判定的可能區域之內，該位置可以與已經被判定的可能的區域的裝置相關聯。在一些實施例中，可以為兩個裝置判定可能的區域，且該位置可以與具有較高的機率來包含該位置的可能的區域的指示裝置相關聯，例如較靠近平分線，較靠近角的頂點等等。
在一些實施例中，如果位置與裝置之一沒有明確的關聯，則可以為兩個裝置判定可能的區域，且產生較好匹配的點和可能的區域的組合可以被選擇。
在步驟536中，可以應用用來將未關聯的位置與指示裝置相關聯的另一選項，其中前進的路線與光學的路線之間的相關函數可以被計算，該前進的路線係基於慣性讀數所計算的，而該光學的路線係基於包括未關聯的位置的被指示的位置所形成的軌線。
在步驟540中，未關聯的位置可以與指示裝置相關聯，其相關函數產生最大的相關性。
應當理解到，可以使用其它的方法來將被指示的位置與基於慣性的路線相關聯。
在一些實施例中，在諸如當不明確性不能被解決的情況下，控制器可以請求一個或兩個裝置來發送特徵的訊號，類似於在初始階段所發送的訊號，其可以提供連續地將每一個點與裝置之一相關聯。
現在參考第6圖，其根據所揭露的題材的一些範例性的實施例所顯示的一種系統的方塊圖，其中兩個指示裝置被使用且被追蹤，且其中被指示的位置與指示裝置中的一個相關聯。
系統可以包括兩個或複數遠處的指示裝置600，其適於被用戶用於指示可以顯示內容的區域，例如螢幕、桌子，等等。經由指示位置，用戶可以採取諸如進行選擇，標記路徑等的動作。
指示裝置600可以包括諸如中央處理單元（CPU），微處理器，電子電路，積體電路（IC）等的處理器604。處理器604可以被用來執行指示裝置600所需的計算。
指示裝置600可以包括一或複數按鈕608，其可以被用來控制裝置600的動作，選擇性地包括用於感測按鈕608的推動的感測器612。
指示裝置600可以包括諸如射頻（RF）訊號發射器/接收器的訊號收發器616。
指示裝置600可以包括光學發射器620，其可以包括任何合適的光學訊號的發射器，例如但不限於雷射光源或發光二極體（LED）。
指示裝置600可以包括移動感測器624，諸如一或複數的加速度計，一或複數的陀螺儀，或整合在單一個電子部件內的一或複數的羅盤，例如來自InvenSense, Inc. of San Jose, California 的MPU-9250 9軸移動追蹤裝置或MPU-6500 6軸移動追蹤裝置。指示裝置600可以經由訊號收發器616傳送由感測器624所感測到的移動和方位的數據。
指示裝置600可以包括附加組件，例如用於顯示指示裝置的狀態的LED的指示器628；用於在接近用戶的手指或另一個對象時而啟動訊號收發器616或光學發射器620的接近感測器632，或其它的組件。
兩個或複數的指示裝置600可以被操作並與控制器630通訊。
控制器630可以包括光學捕獲裝置644，例如適於感測由光學發射器620所發射的訊號在表面上所形成的點或另一區域的照相機。照相機644可以捕獲目標的圖像流並提供圖像流到控制器630，以便追蹤被指示的位置。
控制器630可以包括用於接收訊號以及發送訊號的訊號收發器648，諸如移動感測器624所感測到並由訊號收發器616發送的方位或加速度的數據，例如發送請求給指示裝置600以發送移動的數據。
控制器630可以包括處理器652，諸如CPU，微處理器，電子電路，積體電路（IC）等等。處理器652可以用於執行控制器630所需的計算。
應當理解到，處理器652可以被配置用來根據在非暫時的計算機可讀的儲存媒體上實現的計算機可讀的指令來執行一些功能模組。在下文中這樣的功能模組被包括在處理器中。
處理器652可以包括標準位置關聯模組656，用來在沒有歧義的情況下將位置與指示裝置相關聯，如在上面的有關的步驟508中所揭露的。
處理器652可以包括前進路線判定模組660，用來基於裝置的方位或加速度的數據來判定前進路線，如在上面的有關的步驟520中所揭露的。
處理器652可以包括路線轉換模組664，用來將路線變換為表面的坐標或環境，該路線係依據諸如點裝置坐標系的指示裝置環境中所接收到的加速度或方位的數據來判定，如在上面的有關的步驟524中所揭露的。
處理器652可以包括位置指示裝置匹配模組668，用來基於裝置中的一個所計算的慣性路線將所指示的位置與指示裝置之一進行匹配。
在一些實施例中，位置指示裝置匹配模組668可以包括可能區域判定模組，用來判定可能包含下一點的表面上的區域，如在上面的有關的步驟528中所揭露的，其基於所判定的路線和位置以及可能的區域的匹配評估模組，用來評估位置是否在可能的區域中，或者在可能的區域中的機率，該機率是定位確實在可能的區域中的機率，如在上面的有關的步驟532中所揭露的。
在一些實施例中，位置指示裝置匹配模組668可以包括相關性判定的功能，用來判定所指示的位置與裝置的慣性路線之間的相關性，以及選擇相關性較高的指示裝置。
處理器652可以包括控制和數據流模組672，用來根據需要啟動上述的模組，並以所需的輸入檢驗每一個模組。
本發明可以是系統，方法，和/或計算機程式產品。計算機程式產品可以包括其上具有計算機可讀的程式指令的計算機可讀的儲存媒體（或媒介），用來使處理器執行本發明的各個方面。計算機可讀的儲存媒體可以是非暫時，具體的裝置，其可以保留和儲存指令執行裝置所使用的指令。計算機可讀的儲存媒體可以是例如但不限於電子儲存裝置，磁儲存裝置，光儲存裝置，電磁儲存裝置，半導體儲存裝置，或上述的任何合適的組合。計算機可讀的儲存媒體的更具體地範例的非詳盡的列表包括下列：可攜式計算機軟碟，硬碟，隨機存取記憶體（RAM），唯讀記憶體（ROM），抹除式可複寫唯讀記憶體（EPROM或快閃記憶體），靜態隨機存取記憶體（SRAM），可攜式光碟唯讀記憶體（CD-ROM），數位多功能光碟（DVD），記憶條，或上述內容的任何合適的組合。如本文所使用的，計算機可讀的儲存媒體不應被解釋為暫時訊號本身，例如無線電波或其它自由傳播的電磁波，通過波導或其它傳輸媒體傳播的電磁波（例如，通過光纖電纜的光學脈衝），或通過電線傳輸的電的訊號。
本文描述的計算機可讀的程式指令可以經由網路，例如，網際網路；區域網路，廣域網路；和/或無線網路，從計算機可讀的儲存媒體下載到個別的計算/處理裝置或外部的計算機或外部的儲存裝置。網路可以包括銅傳輸電纜，光傳輸光纖，無線傳輸，路由器，防火牆，交換機，閘道器計算機和/或邊緣伺服器。每一個計算/處理裝置中的網路適配器卡或網路介面從網路接收計算機可讀的程式指令，並發送計算機可讀的程式指令以儲存在個別的計算/處理裝置內的計算機可讀的儲存媒體中。
用於執行本發明的操作的計算機可讀的程式指令可以是編譯器指令，指令集架構（ISA）指令，機器指令，機器相關指令，微指令，韌體指令，狀態設置數據，或以一種或多種程式語言的任何組合所編寫的源代碼或目標代碼，包括諸如Java、Smalltalk、C ++等等之類的物件導向的程式語言，以及諸如"C"程式語言或類似的程式語言之類的傳統的程式性程式語言。計算機可讀的程式指令可以作為獨立的軟體套裝完全地在用戶的計算機上，部分地在用戶的計算機上，部分地在用戶的計算機上及部分地在遠程的計算機上或完全地在遠程的計算機或伺服器上執行。在後者的情況下，遠程計算機可以經由任何類型的網路連接到用戶的計算機，包括局域網路（LAN）或廣域網路（WAN），或者連接可以被外部計算機連接，例如，經由使用互聯網服務提供商的網際網路。在一些實施例中，包括，例如可程式邏輯電路，現場可程式閘陣列（FPGA），或可程式邏輯陣列（PLA）的電子電路可以利用使電子電路個人化的計算機可讀的程式指令的狀態資訊來執行計算機可讀的程式指令，以便執行本發明的各方面。
本發明的各方面可以在此參考根據本發明的實施例的方法，裝置（系統），和計算機程式產品的流程圖說明和/或方塊圖來描述。應當理解到，流程圖和/或方塊圖的每一個方塊，以及流程圖的說明和/或方塊圖中的方塊的組合，可以由計算機可讀的程式指令來實現。
這些計算機可讀的程式指令可以被提供給一般目的的計算機，特別目的計算機，或其它的可程式的數據處理裝置的處理器以產生機器，使得經由計算機的處理器或其它的可程式的數據處理裝置的處理器所執行的指令，產生用於實現流程圖和/或方塊圖的方塊中所指定的功能/動作。這些計算機可讀的程式指令還可以被儲存在計算機可讀的儲存媒體中，該計算機可讀的儲存媒體可引導計算機，可程式數據處理裝置，和/或其它的裝置以特定方式工作，使得此處具有儲存在其中的指令的計算機可讀的儲存媒體包括製造的物品，其包括實現在流程圖和/或方塊圖塊中所指定的功能/動作的各方面的指令。
計算機可讀的程式指令還可以被加載到計算機，其它的可程式數據的處理裝置或其它的裝置上，以使得在計算機，其它的可程式數據的處理裝置，或其它的計算機的實現的程序的裝置上執行一系列的操作步驟，以在流程圖和/或方塊圖塊中所指定的功能/動作的各方面的指令產生，在計算機，其它的可程式裝置，或其它的裝置上所執行的指令實現流程圖和/或方塊圖塊中所規定的功能/動作。
附圖中的流程圖和方塊圖顯示根據本發明的各種實施例的系統，方法，和計算機程式產品的可能實現的架構，功能，和操作。在這方面，流程圖或方塊圖中的每一個方塊可以表示模組、指令的段落或一部分，其包括用於實現所指定的邏輯功能的一或複數的可執行的指令。在一些替代的實施例中，方塊中所記載的功能發生的順序可能不是在圖中所示的。例如，依序顯示的兩個方塊實際上可以基本上同時被執行，或者有時可以以相反的順序來執行方塊，其取決於所涉及的功能。還應注意到，方塊圖和/或流程圖的說明的各個方塊，以及方塊圖和/或流程圖的說明中的方塊的組合，可以由基於特殊目的的硬體的系統來執行，該系統執行所指定的功能或動作，或施行特殊目的的硬體和計算機的指令的組合。
本發明的各種實施例的描述已經被呈現，其是為了說明的目的，而不是用來詳盡的列舉或用來限制所揭露的實施例。在不脫離所描述的實施例的範圍和精神的情況下，許多修改和變化對於本領域的一般技術人員應是顯而易見的。選擇這裡使用的術語是為了最好地解釋實施例，在市場中所發現的技術的實際應用或技術的改進的原理，或為了使本領域的一般技術人員能夠理解本發明所揭露的實施例。
100‧‧‧手動員裝置
100a‧‧‧控制按鈕
102‧‧‧螢幕
104‧‧‧照相機
106‧‧‧混合追蹤系統
106a‧‧‧光學的追蹤系統
106b‧‧‧移動/方位的追蹤系統
108、620‧‧‧光學發射器
110、630‧‧‧控制器
112、604、652‧‧‧處理器
116‧‧‧移動/方位的感測器
118、114‧‧‧射頻收發器
300、302、304、306、308、310、312、314、316、318、330、332、334、336、338、340‧‧‧步驟
400、418‧‧‧佈置
402、404‧‧‧裝置
408、436、440、452、460、464、468、476‧‧‧窗框
412、416、420、422、424、426、428、432、444、448、456、460‧‧‧位置
480‧‧‧前進的路線
484、488‧‧‧射線
492‧‧‧角度
500、504、508、512、520、524、528、532、536、540‧‧‧步驟
600‧‧‧指示裝置
608‧‧‧按鈕
612‧‧‧感測器
616‧‧‧訊號收發器
624‧‧‧移動感測器
628‧‧‧指示器
632‧‧‧接近感測器
644‧‧‧光學捕獲裝置
648‧‧‧訊號收發器
656‧‧‧標準位置關聯模組
660‧‧‧前進路線判定模組
664‧‧‧路線轉換模組
668‧‧‧位置和指向裝置的匹配模組
672‧‧‧控制和數據流模組
範例性實施例被顯示在附圖中。圖中所示的部件和特徵被選擇的尺寸通常係為了呈現的方便和清楚，並不一定按比例被顯示。附圖被顯示如下： 第1A圖是根據實施例的光學追蹤系統的概念說明圖； 第1B圖是根據實施例的混合追蹤系統的概念方塊圖； 第1C圖至第1D圖一起顯示使用光學和慣性數據的組合來判定手動員裝置的絕對的位置的技術； 第2A圖顯示根據實施例的時間線，用來說明判定基於光學和基於慣性的追蹤之間的相關歷史的步驟； 第2B圖至第2C圖顯示根據實施例的兩條時間線，用來說明在基於慣性的追蹤系統到基於光學的追蹤系統之間的轉換時實現平滑的方案的步驟； 第3A圖至第3B圖，一起顯示追蹤手動員裝置的目標的混合式方法的流程圖； 第3C圖顯示一種方法的流程圖，用來使轉換平滑化，該轉換係由使用慣性數據來預測目標的位置和回復到使用基於光學數據來判定目標的位置之間的轉換； 第4A圖至第4B圖顯示當兩個或複數裝置指示表面時，被指示的位置與指示裝置相關聯的模糊性的範例性的情況； 第4C圖顯示根據所揭露的題材的一些範例性的實施例，可能包含未關聯的位置的區域的例子； 第5圖顯示根據所揭露的題材的一些範例性的實施例的一種方法的步驟的流程圖，其用來將被指示的位置與兩個或複數遠處的指示裝置中的遠處的指示裝置相關聯；和 第6圖顯示根據所揭露的題材的一些範例性的實施例的系統的方塊圖，其中兩個指示裝置被使用並被追蹤，且其中被指示的位置與指示裝置中的一個相關聯。

Claims (50)

  1. 一種系統，其用來判定由手動員裝置所指示的移動目標的位置，該系統包括： 一手動員裝置，其包括： 一移動和方位的感測器； 一光學發射器； 一射頻（RF）裝置發射器，及 一處理器，該處理器被配置來接收來自移動和方位的感測器的移動和方位的數據，且經由RF裝置發射器傳送數據；和 一追蹤系統，其包括： 一照相機； 一RF追蹤接收器，和 一控制器，該控制器被配置用來： 在判定係來自光學發射器所產生的光學指示且在照相機感測到超過臨界值的強度的光學指示時，判定手動員裝置所指示的移動目標的基於光學的位置， 經由該RF追蹤接收器接收來自該RF裝置發射器的移動和方位的數據， 計算使用移動和方位的數據所估計的位置與所判定的基於光學的位置之間的差異，以產生相關的歷史，以及 當基於光學的位置的判定停止時，基於相關的歷史、最近所判定的位置，以及移動和方位的數據來估計手動員裝置所指示的移動目標的位置。
  2. 如申請專利範圍第1項所述的系統，其中該控制器還被配置用來當光學的追蹤已經停止之後在照相機感測到超過臨界值的強度的光學指示時，回復到基於光學的指示來判定移動目標的基於光學的位置。
  3. 如申請專利範圍第2項所述的系統，其中該控制器還被配用來當回復到判定基於光學的位置時，使用一平滑方案。
  4. 如申請專利範圍第3項所述的系統，其中該手動員裝置還包括一RF裝置接收器，且其中該追蹤系統還包括一RF追蹤發射器，其中該控制器被配置用來經由RF追蹤發射器和RF裝置接收器發送命令來開始平滑的方案，以觸發光學發射器發射複數序列的光學脈衝，其中平滑的方案對於各個被檢測到的光學脈衝包括： 基於檢測到的脈衝來判定移動目標的當前的基於光學的位置； 使用經由RF追蹤接收器所接收到的移動和方位的數據及最近所判定的基於光學的位置來估計當前的非基於光學的位置； 計算當前的基於光學的位置和當前的非基於光學的位置之間的差異；和 使用該差異來調整隨後發射的光學脈衝。
  5. 如申請專利範圍第4項所述的系統，其中該調整包括調整隨後發射的光學脈衝之間的週期。
  6. 如申請專利範圍第5項所述的系統，其中該調整週期包括在差異小時增加週期的長度，且在差異大時減小週期的長度。
  7. 如申請專利範圍第4項所述的系統，其中該調整包括調整隨後發射的光學脈衝的工作週期。
  8. 如申請專利範圍第7項所述的系統，其中該調整工作週期包括在差異大時增加工作週期而在差異小時減小工作週期。
  9. 如申請專利範圍第1項所述的系統，其中該控制器還被配置用來當經由RF追蹤接收器所接收到的移動和方位的數據顯示其改變高於慣性的臨界值時，觸發光學發射器來發射校正的光學脈衝。
  10. 如申請專利範圍第1項所述的系統，其還包括螢幕，其中該光學指示係被顯示在螢幕上。
  11. 如申請專利範圍第10項所述的系統，其中該控制器還被配置用來以所判定的位置來控制應用。
  12. 如申請專利範圍第11項所述的系統，其中該應用係將視覺內容顯示在螢幕上。
  13. 如申請專利範圍第1項所述的系統，其中該移動和方位的感測器是多軸移動追蹤組件。
  14. 如申請專利範圍第1項所述的系統，其中該光學發射器是與繞射光學元件（DOE）耦合的雷射光源。
  15. 如申請專利範圍第1項所述的系統，其中該光學發射器是複數的發光二極體的陣列。
  16. 如申請專利範圍第1項所述的系統，其中該控制器還被配置用來： 使光學發射器失效，從而導致基於光學的位置的判定被停止；和 使光學發射器生效，從而導致基於光學的位置的判定被回復。
  17. 一種方法，其用來追蹤由手動員裝置所指示的移動目標的位置，該方法包括： 以手動員裝置發射光學指示訊號以照明被手動員裝置所指示的移動目標的位置； 捕獲被照明的移動目標的圖像； 當被照明的移動目標以超過臨界值的強度被感測到時，從捕獲的圖像來判定移動目標的基於光學的位置； 測量手持裝置的移動和方位的數據； 使用移動和方位的數據和最近所判定的基於光學的位置來估計移動目標的位置； 計算所估計的位置和光學所判定的位置之間的差異以產生相關的歷史；和 當基於光學的位置的判定停止時，估計手動員裝置所指示的移動目標的位置，該估計係基於：相關的歷史，最近所判定的基於光學的位置，及移動和方位的數據。
  18. 如申請專利範圍第17項所述的方法，其還包括當光學追蹤停止之後，而光學指示以超過臨界值的強度被感測到時，回復到基於光學指示來判定移動目標的基於光學的位置。
  19. 如申請專利範圍第18項所述的方法，其還包括當回復到判定基於光學的位置時使用平滑的方案。
  20. 如申請專利範圍第19項所述的方法，其還包括經由觸發複數序列的光學脈衝的發射來啟動平滑的方案，其中對於各個檢測到的光學脈衝的平滑的方案包括： 基於檢測到的脈衝來判定移動目標的當前的基於光學的位置； 接收移動和方位的數據； 使用移動和方位的數據和最近所判定的基於光學的位置來估計當前的非基於光學的位置； 計算當前的基於光學的位置和當前的非基於光學的位置之間的差異；和 使用該差異來調整隨後發射的光學脈衝。
  21. 如申請專利範圍第20項所述的方法，其中該調整包括調整隨後發射的光學脈衝之間的週期。
  22. 如申請專利範圍第21項所述的方法，其中該調整週期包括當差異小時增加週期的長度，而當差異大時減小週期的長度。
  23. 如申請專利範圍第20項所述的方法，其中該調整包括調整隨後發射的光學脈衝的工作週期。
  24. 如申請專利範圍第23項所述的方法，其中該調整工作週期包括當差異大時增加工作週期，而當差異小時減小工作週期。
  25. 如申請專利範圍第17項所述的方法，其還包括當移動和方位的數據顯示其變化高於慣性的臨界值時，觸發校正的光學脈衝的發射。
  26. 如申請專利範圍第17項所述的方法，其還包括使用所判定的位置來控制應用。
  27. 如申請專利範圍第17項所述的方法，其還包括使用所判定的位置來顯示視覺內容。
  28. 如申請專利範圍第17項所述的方法，其還包括： 停止光學指示的發射，藉此停止基於光學的位置的判定；和 重新開始光學指示的發射，藉此回復基於光學的位置的判定。
  29. 一種混合系統，其用來追蹤手動員裝置，該系統包括：一手動員裝置，該手動員裝置包括： 一移動和方位的感測器，一光學發射器，一射頻（RF）裝置發射器，以及 一處理器，該處理器被配置用來接收來自移動和方位的感測器的移動和方位的數據，且經由RF裝置發射器傳送數據；和 一追蹤系統，該追蹤系統包括：一照相機，一RF追蹤接收器，和一控制器，該控制器被配置用來： 當判定係來自光學發射器所產生的一光學指示且照相機以超過臨界值的強度感測到光學指示時，判定至少兩個的手動員裝置所指示的移動目標的基於光學的位置， 經由RF追蹤接收器接收來自RF裝置發射器的移動和方位的數據， 計算以移動和方位的數據所估計的位置與所判定的基於光學的位置之間的差異，以產生相關的歷史， 使用至少兩個的移動目標的基於光學的位置及移動和方位的數據來判定手動員裝置的基於光學的絕對位置， 僅使用移動和方位的數據來判定手動員裝置的基於慣性的絕對的位置， 計算基於光學的絕對的位置和基於慣性的絕對的位置之間的校準的誤差， 當基於光學的位置的判定停止時，估計手動員裝置所指示的移動目標的位置，該估計係基於：相關的歷史，最近所判定的位置，及移動和方位的數據，以及 使用最近所判定的絕對的位置，移動和方位的數據，及校準的誤差來估計基於慣性的絕對的位置。
  30. 一種方法，其用來追蹤手動員裝置，該方法包括： 以手動員裝置來發射用於照明手動員裝置所指示的移動目標的光學指示； 捕獲在兩個位置的被照明的移動目標的至少兩個的圖像； 以在被照明的移動目標以超過臨界值的強度被感測到時所捕獲的圖像來判定移動目標的至少兩個的基於光學的位置； 測量手持裝置的移動和方位的數據； 使用移動和方位的數據和最近所判定的基於光學的位置來估計移動目標的位置； 計算所估計的位置和光學所判定的位置之間的差異以產生相關的歷史； 以移動目標的至少兩個的基於光學的位置和移動和方位的數據來判定手動員裝置的基於光學的絕對的位置； 僅使用移動和方位的數據來判定手動員裝置的基於慣性的絕對的位置； 計算基於光學的絕對的位置和基於慣性的絕對的位置之間的校準的誤差； 當基於光學的位置的判定停止時，估計手動員裝置所指示的移動目標的位置，該估計 係基於：相關的歷史，最近所判定的基於光學的位置，和移動和方位的數據；和 使用最近所判定的絕對的位置，移動和方位的數據，及校準的誤差來估計基於慣性的絕對的位置。
  31. 一種方法，其用於將至少兩個的遠處的指示裝置所指示的複數位置中的每一個與相應的遠處的指示裝置相關聯，該方法包括： 接收來自第一遠處的指示裝置和第二遠處的指示裝置在表面上所指示的複數的位置； 將複數的位置中的未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯，其中該關聯包括： 接收來自被包括在第一遠處的指示裝置和第二遠處的指示裝置中的至少一個中的移動的感測器的讀數；和 基於來自移動的感測器的讀數和未關聯的位置，將未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯。
  32. 如申請專利範圍第31項所述的方法，其中將該未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯包括： 基於讀數所判定的軌跡來判定下一個位置的可能的區域；和 使未關聯的位置處於可能的區域內，分別將位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯。
  33. 如申請專利範圍第32項所述的方法，其中該判定可能的區域包括：從讀數來判定前進的路線； 將前進的路線的至少一部分轉換為表面上的坐標，以獲得轉換的前進的路線；和 判定可能的區域為變換的前進的路線的最後段的附近的區域。
  34. 如申請專利範圍第32項所述的方法，其中該可能的區域是直線的附近。
  35. 如申請專利範圍第32項所述的方法，其中該可能的區域是一角度內的區域。
  36. 如申請專利範圍第31項所述的方法，其中將該未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯包括： 基於來自移動的感測器的讀數來計算未關聯的位置與前進的路線之間的相關性；和 將未關聯的位置與獲得最大相關性的遠處的裝置相關聯。
  37. 如申請專利範圍第31項所述的方法，其還包括在第一遠處的指示裝置或第二遠處的指示裝置開始指示位置時，接收來自第一遠處的指示裝置或第二遠處的指示裝置的射頻訊號。
  38. 如申請專利範圍第31項所述的方法，其還包括響應向第一遠處的指示裝置或第二遠處的指示裝置所發送的請求，接收來自第一遠處的指示裝置或第二遠處的指示裝置的射頻訊號。
  39. 如申請專利範圍第31項所述的方法，其還包括將來自複數的位置中的未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯，使： 未關聯的位置和先前的所接收的位置之間的不超過第一的臨界值的第一距離分別與第一遠處的指示裝置或第二遠處的指示裝置相關聯；和 未關聯的位置和另一個先前的所接收的位置之間的不超過第二的臨界值的第二距離分別與第二遠處的指示裝置或第一遠處的指示裝置相關聯。
  40. 如申請專利範圍第31項所述的方法，其中該移動的感測器包括3軸慣性感測器。
  41. 一種系統，其包括： 至少兩個手動的指示裝置，每一個裝置包括：至少一個光學發射器，慣性感測器， 用於傳送慣性感測器的讀數的訊號收發器，以及一控制器，該控制器包括： 光學捕獲裝置，用於接收慣性感測器的讀數的訊號收發器，以及一處理器，該處理器被配置用於： 接收表面上的由第一遠處的指示裝置和第二遠處的指示裝置所指示的複數位置，以及 將複數位置中的未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯，其包括： 接收來自被包括在第一遠處的指示裝置或第二遠處的指示裝置的移動感測器的讀數，以及 基於來自移動感測器的讀數和未關聯的位置，將未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯。
  42. 如申請專利範圍第41項所述的系統，其中將該未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯，其包括： 基於慣性讀數所判定的軌跡來判定下一個位置的可能的區域；和 使未關聯的位置處於可能的區域內，分別將位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯。
  43. 如申請專利範圍第42項所述的系統，其中該判定可能的區域包括：從讀數來判定前進的路線； 將前進的路線的至少一部分轉換為表面上的坐標，以獲得轉換的前進的路線；和 判定可能的區域為轉換的前進的路線的最後段的附近的區域。
  44. 如申請專利範圍第42項所述的系統，其中該可能的區域是直線的附近。
  45. 如申請專利範圍第42項所述的系統，其中該可能的區域係一角度內的區域。
  46. 如申請專利範圍第41項所述的系統，其中將該未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯，其包括： 基於移動感測器的讀數來計算為關聯的位置與前進的路線之間的相關性；和 將未關聯的位置與獲得最大相關性的遠處的裝置相關聯。
  47. 如申請專利範圍第41項所述的系統，其中該處理器還被配置用來在第一遠處的指示裝置或第二遠處的指示裝置開始指示位置時，或者響應向第一遠處的指示裝置或第二遠處的指示裝置所發送的請求，接收來自第一遠處的指示裝置或第二遠處的指示裝置的射頻訊號。
  48. 如申請專利範圍第41項所述的系統，其中該處理器被配置用來將複數位置中的未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯，使經受：在未關聯的位置和先前的所接收的位置之間的不超過第一臨界值的第一距離分別與第一遠處的指示裝置或第二遠處的指示裝置相關聯：和 在未關聯的位置和先前的所接收的位置之間的不超過第二臨界值的第二距離分別與第一遠處的指示裝置或第二遠處的指示裝置相關聯。
  49. 如申請專利範圍第41項所述的系統，其中該移動感測器包括3軸慣性感測器。
  50. 一種計算機程式產品，其包括保存程式指令的計算機可讀的儲存媒體，當程式指令被處理器讀取時，會使處理器執行一種方法，其包括： 接收第一遠處的指示裝置或第二遠處的指示裝置在表面上所指示的複數位置； 將複數位置中未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯，其中該關聯包括： 接收來自被包括在第一遠處的指示裝置和第二遠處的指示裝置的至少一個中的移動感測器的讀數；和 基於來自移動感測器的讀數和未關聯的位置，將未關聯的位置與第一遠處的指示裝置或第二遠處的指示裝置相關聯。
TW106124972A 2016-07-25 2017-07-25 以手動員裝置混合追蹤系統 TW201807477A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662366214P 2016-07-25 2016-07-25
US62/366,214 2016-07-25
US201762456721P 2017-02-09 2017-02-09
US62/456,721 2017-02-09

Publications (1)

Publication Number Publication Date
TW201807477A true TW201807477A (zh) 2018-03-01

Family

ID=61017162

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106124972A TW201807477A (zh) 2016-07-25 2017-07-25 以手動員裝置混合追蹤系統

Country Status (2)

Country Link
TW (1) TW201807477A (zh)
WO (1) WO2018020497A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112118896A (zh) * 2018-05-24 2020-12-22 环球城市电影有限责任公司 水上景点调度系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7696980B1 (en) * 2006-06-16 2010-04-13 Logitech Europe S.A. Pointing device for use in air with improved cursor control and battery life
CA2726877A1 (en) * 2008-06-05 2009-12-10 Smart Technologies Ulc Multiple pointer ambiguity and occlusion resolution
US20130328770A1 (en) * 2010-02-23 2013-12-12 Muv Interactive Ltd. System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US8743055B2 (en) * 2011-10-13 2014-06-03 Panasonic Corporation Hybrid pointing system and method
GB2520069A (en) * 2013-11-08 2015-05-13 Univ Newcastle Identifying a user applying a touch or proximity input

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112118896A (zh) * 2018-05-24 2020-12-22 环球城市电影有限责任公司 水上景点调度系统
CN112118896B (zh) * 2018-05-24 2022-10-14 环球城市电影有限责任公司 水上景点调度系统

Also Published As

Publication number Publication date
WO2018020497A1 (en) 2018-02-01

Similar Documents

Publication Publication Date Title
JP5544032B2 (ja) ジェスチャを使用してレーザトラッカを制御する方法及びレーザ測定システム
US10134192B2 (en) Generating and displaying a computer generated image on a future pose of a real world object
US10511778B2 (en) Method and apparatus for push interaction
US8411034B2 (en) Sterile networked interface for medical systems
US9430138B2 (en) Flexible room controls
US20130257720A1 (en) Information input apparatus, information input method, and computer program
US9405384B2 (en) Computer system and control method for same
TW201911133A (zh) 用於多個自由度之控制器追蹤
US20090296991A1 (en) Human interface electronic device
TW201508561A (zh) 用於移動追蹤的光斑感測
EP3416032A1 (en) Touch control system, touch control display system, and touch control interaction method
KR20140088545A (ko) 광학 태블릿 스타일러스 및 실내 네비게이션 시스템
US20220155880A1 (en) Interacting with a smart device using a pointing controller
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
WO2018150569A1 (ja) ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
TW201807477A (zh) 以手動員裝置混合追蹤系統
CN112449166B (zh) 全息投影设备、投影控制方法、装置、计算机设备和介质
EP3175327A1 (en) Accurately positioning instruments
US11501459B2 (en) Information processing apparatus, method of information processing, and information processing system
JP2019507349A (ja) レーザー・トラッカー・システム
US20200409478A1 (en) Enhanced 2D/3D Mouse For Computer Display Interactions
KR101695727B1 (ko) 스테레오 비전을 이용한 위치검출 시스템 및 위치검출 방법
Kohoutek Multi-user vision interface based on range imaging
JP2018173907A (ja) 情報処理装置、および情報処理装置の制御方法、プログラム
US20160011675A1 (en) Absolute Position 3D Pointing using Light Tracking and Relative Position Detection