TWI682326B - 追蹤系統及其方法 - Google Patents

追蹤系統及其方法 Download PDF

Info

Publication number
TWI682326B
TWI682326B TW107125552A TW107125552A TWI682326B TW I682326 B TWI682326 B TW I682326B TW 107125552 A TW107125552 A TW 107125552A TW 107125552 A TW107125552 A TW 107125552A TW I682326 B TWI682326 B TW I682326B
Authority
TW
Taiwan
Prior art keywords
image
interest
feature
region
tracking
Prior art date
Application number
TW107125552A
Other languages
English (en)
Other versions
TW201909030A (zh
Inventor
陳遠東
游子杰
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201909030A publication Critical patent/TW201909030A/zh
Application granted granted Critical
Publication of TWI682326B publication Critical patent/TWI682326B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Abstract

本揭示文件提出一種追蹤系統及方法。追蹤系統包含外觀具有特徵圖案之可追蹤裝置以及追蹤裝置。追蹤裝置包含光學感測模組,用以擷取涵蓋可追蹤裝置的第一影像。追蹤裝置還具有處理器,其耦接於光學感測模組。處理器係用以依據特徵圖案,在第一影像上擷取對應此特徵圖案的一關注區域,並在第一影像的關注區域中定位出複數個特徵區塊的區塊位置,其中每一特徵區塊包含該特徵圖案的一部分。處理器還根據此些區塊位置來計算可追蹤裝置的姿態資料。

Description

追蹤系統及其方法
本揭示文件係有關於追蹤系統及方法,特別是一種藉由分析影像來追蹤物件的追蹤系統及方法。
在習知的透過影像辨識的物件追蹤方法中,通常需要拍攝許多連續的影像,並辨識連續影像中的部分特徵來鎖定欲追蹤的物件。例如若欲追蹤的物件是具有特定發光頻率的特徵,則需要先拍攝連續的影像,並分別對此些影像進行影像辨識,再經由辨識的結果來評估物件的移動狀況。
然而,透過分析許多影像來對物件進行追蹤的作法,需要對每張影像分別進行識別。若影像的解析度越大,越不容易在影像上找到物件,造成物件追蹤的負擔。因此,如何降低追蹤物件時的負擔或成本實為相當重要的考量。
根據本揭示文件之一實施例,揭示一種追蹤系統,包含:一可追蹤裝置,外觀具有至少一特徵圖案;以及一追蹤裝置,包含:一光學感測模組,用以擷取包含該可追蹤裝 置的一第一影像;以及一處理器,耦接於該光學感測模組,該處理器用以:依據該特徵圖案,在該第一影像中擷取對應該特徵圖案的一第一關注區域(region of interest);在該第一關注區域中定位出複數個特徵區塊之複數個區塊位置,其中每一特徵區塊包含該特徵圖案的一部分;以及根據該些區塊位置,計算該可追蹤裝置之一第一姿態資料。
根據本揭示文件之一實施例,揭示一種追蹤方法,用於追蹤外觀具有至少一特徵圖案之一可追蹤裝置,該追蹤方法包含:擷取包含該可追蹤裝置的一第一影像;依據該特徵圖案,在該第一影像中擷取對應該特徵圖案的一第一關注區域;在該第一關注區域中定位出複數個特徵區塊之複數個區塊位置,其中每一特徵區塊包含該特徵圖案的一部分;以及根據該些區塊位置,計算該可追蹤裝置之一第一姿態資料。
為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附符號之說明如下:
100‧‧‧追蹤裝置
110‧‧‧光學感測模組
120‧‧‧處理器
130‧‧‧通訊模組
200‧‧‧追蹤方法
300‧‧‧可追蹤裝置
310‧‧‧特徵圖案
320‧‧‧骨架
321a~321d‧‧‧特徵區塊
350‧‧‧可追蹤裝置
351‧‧‧慣性量測單元
353‧‧‧通訊模組
355‧‧‧發光模組
40‧‧‧追蹤系統
500‧‧‧使用者
610‧‧‧第一影像
611‧‧‧關注區域
612‧‧‧骨架
700‧‧‧追蹤方法
S210~240‧‧‧步驟
S221~S227‧‧‧步驟
以下詳細描述結合隨附圖式閱讀時,將有利於較佳地理解本揭示文件之態樣。應注意,根據說明上實務的需求,圖式中各特徵並不一定按比例繪製。實際上,出於論述清晰之目的,可能任意增加或減小各特徵之尺寸。
第1圖繪示根據本揭示文件一些實施例中追蹤系統在空間的環境示意圖。
第2圖繪示根據本揭示文件一些實施例中可追蹤裝置的示意圖。
第3圖繪示根據本揭示文件一些實施例中用於追蹤定位 的特徵圖案的示意圖。
第4圖繪示根據本揭示文件一些實施例中一種追蹤系統的功能方塊圖。
第5圖繪示根據本揭示文件一些實施例中一種追蹤方法的步驟流程圖。
第6圖繪示由追蹤裝置擷取影像之畫面示意圖。
第7圖繪示根據本揭示文件另一些實施例中一種追蹤方法的步驟流程圖。
以下揭示內容提供許多不同實施例或實例,以便實施本發明之不同特徵。下文描述元件及排列之特定實例以簡化本發明。當然,該等實例僅為示例性且並不欲為限制性。本發明可在各實例中重複元件符號及/或字母。此重複係出於簡明性及清晰之目的,且本身並不指示所論述之各實施例及/或配置之間的關係。
請參閱第1圖,其繪示根據本揭示文件一些實施例中追蹤系統在空間的環境示意圖。如第1圖所示,環境中有追蹤裝置100以及可追蹤裝置300。追蹤裝置100設置在環境中,使用者500可手持可追蹤裝置300在三維空間中自由的移動。在移動的過程中,追蹤裝置100的光學感測模組110會擷取環境中的影像。在第1圖中,追蹤裝置100與光學感測模組110係顯示為分離的實體,實際上光學感測模組110亦可設置於追蹤裝置100上。可追蹤裝置300上設置有可供識別的特徵 圖案310。特徵圖案310為經過特殊設計的圖案,以避免和空間環境中其他物件混淆,而能提高辨識度。在光學感測模組110擷取到影像後便會回傳至追蹤裝置100,由追蹤裝置100作影像識別。追蹤裝置100若判斷出影像中具有特徵圖案310,則可認定可追蹤裝置300目前在畫面中,據以接著對可追蹤裝置300作後續的追蹤操作。在一些實施例中,追蹤裝置100為可提供虛擬實境(virtual reality,VR)、擴增實境(augmented reality,AR)或混合實境(mixed reality,MR)的頭戴式裝置(head-mounted device)或頭戴式顯示器(head-mounted display),由使用者500穿戴,而可追蹤裝置300為任何可穿戴於使用者500身上的控制裝置,如手持控制器或手套。在另一些實施例中,可追蹤裝置300可以用任何外觀上具有特徵圖案的物體替代,且其特徵圖案的部位為剛體(rigid body),如此特徵圖案不致扭曲變形而無法辨識。
在一些實施例中,追蹤裝置100可設置一個以上的光學感測模組110。光學感測模組110可以是攝影機或照相機。舉例來說,追蹤裝置100設置四個攝影機的情況,此四個攝影機彼此相鄰設置,以分別擷取不同視野的影像。透過增加攝影機的數量,可以提升在環境中判讀到可追蹤裝置300的機會,縮短搜尋可追蹤裝置300的時程。
請參閱第2圖,其繪示根據本揭示文件一些實施例中可追蹤裝置300的示意圖。可追蹤裝置300上設置有一個或多個的特徵圖案310。特徵圖案310的數量,會影響對可追蹤裝置300在影像畫面中的搜尋效果。在可追蹤裝置300上設 置越多個特徵圖案310,越容易在影像中擷取到特徵圖案310,使得更容易確認可追蹤裝置300在空間中的存在。在一些實施例中,該多個特徵圖案彼此不同,或是設置於可追蹤裝置300上具有差異點(例如大小、方位等不同),以提高各特徵圖案的辨識度。
在另一些實施例中,在可追蹤裝置300上佈滿特徵圖案310,而形成一個大型的圖案,同樣可以提升對可追蹤裝置300的辨識成功率。
請參閱第3圖,其繪示根據本揭示文件一些實施例中用於追蹤定位的特徵圖案的示意圖。如第3圖所示之特徵圖案310是具有”hTCA”字樣的圖案,每個字樣內部的線條則為其骨架(skeleton)320。第3圖另顯示複數個較小的特徵區塊321a~321d,每一特徵區塊包含特徵圖案的一部分。此些特徵區塊321a~321d為彼此不同的區塊,或者是在整個特徵圖案310中獨一無二的區塊。
值得一提的是,特徵圖案310也可以是幾何圖案或與一般環境中物體或擺飾等等相異的圖樣,本揭示文件並不限制特徵圖案310的圖樣設計。在部分範例中,特徵圖案310必須具有一個以上(例如四個)彼此不相同的特徵區塊。特徵區塊的細節將於後面段落說明。
請參閱第4圖,其繪示根據本揭示文件一些實施例中一種追蹤系統40的功能方塊圖。如第4圖所示,追蹤系統40包含追蹤裝置100以及可追蹤裝置350。追蹤裝置100包含光學感測模組110、處理器120以及通訊模組130。追蹤裝置100 以及可追蹤裝置350執行如第1圖所示環境中的操作,即使用者500手持可追蹤裝置350在空間中自由的移動操作。請一併參閱第5圖,其繪示根據本揭示文件一些實施例中一種追蹤方法200的步驟流程圖。在步驟S210,光學感測模組110擷取第一影像。接著,在步驟S220中,處理器120會依據特徵圖案(例如第3圖所示的特徵圖案310),在第一影像上擷取對應特徵圖案的關注區域(region of interest,ROI)。例如,處理器120可依據整個特徵圖案於第一影像中進行搜尋,以判斷第一影像是否包含該特徵圖案;若有包含,則從第一影像擷取包含該特徵影像的一關注區域。在一些實施例中,係使用如第3圖所示的特徵圖案310的骨架320來搜尋第一影像。由於骨架320所包含的像素數較特徵圖案310為少,因此可以加速影像的搜尋及比對,以更迅速地在第一影像中找到關注區域。
在另一些實施例中,追蹤方法200可以使用一第一深度學習演算法來決定第一影像的關注區域。舉例來說,在追蹤裝置100(如第1圖所示)具有多個攝影機的情況,在同一時間會擷取到多個第一影像。在執行到追蹤方法200的步驟S220時,各個第一影像上可能會擷取到零至多個的關注區域。例如,四個攝影機在同一時間擷取到四個第一影像,若在此四個第一影像上分別判斷有2個、2個、1個、0個關注區域,處理器120將此五個關注區域作為該第一深度學習演算法的輸入,經過判讀之後會得到一個最精確或信心值最高的關注區域。該第一深度學習演算法係事先經過訓練而得。於訓練過程中,利用大量經過標記(labeling)的影像(亦即標註影像是否包含特徵圖案)作為輸入,以訓練出深度學習模型所需的參數,最終建構出適用於判讀影像是否出現特徵圖案的深度學習演算法。
接著,執行步驟S230,處理器120在關注區域中判斷複數個特徵區塊(例如第3圖所示的特徵區塊321a~321d),並在第一影像中定位出該等特徵區塊的複數個區塊位置。該等區塊位置可以為特徵區塊在第一影像的影像座標。此步驟所述的定位複數個區塊位置可以為先搜尋關注區域中的複數個特徵區塊,此些特徵區塊例如是前述的具有彼此不同特徵的影像區塊,由於關注區域的區塊大小(例如100x120)遠小於第一影像(例如1024x768),在關注區域中搜尋更小的特徵區塊(例如20x20),可以快速地計算出特徵區塊在第一影像上的所在位置。
接著,執行步驟S240,處理器120使用該等區塊位置來計算可追蹤裝置300的姿態資料。舉例來說,處理器120獲得了四個特徵區塊的四個影像座標,由於追蹤系統40具有光學感測模組110的內部參數(例如本身的三維座標)、四個特徵區塊的影像座標,則可使用一姿態估計演算法(pose estimation algorithm)如透視N點演算法(perspective n-point algorithm),來推算出可追蹤裝置300在空間中的姿態資料,例如三軸位置(如相對於光學感測模組110的三軸座標)、偏航角度(Yaw)、傾斜角度(Pitch)、旋轉角度(Roll)、三軸旋轉角度之至少其一。
請參閱第6圖,其繪示由追蹤裝置100的光學感測模組110擷取第一影像610之畫面示意圖。此圖示以可追蹤裝置300上設置一個特徵圖案作為說明。在執行完如第5圖所示的步驟S220,處理器120依據特徵圖案612,在第一影像610上擷取對應特徵圖案612的關注區域611。獲得關注區域611之後,對於可追蹤裝置300的後續追蹤會鎖定在此關注區域611中,本揭示文件將說明如何在不同的影像中追蹤關注區域611,而不需要對於每個影像作完整的影像辨識。
請復參閱第4圖,可追蹤裝置350包含慣性量測單元351(inertial measurement unit,IMU)、通訊模組353以及發光模組355。慣性量測單元351耦接通訊模組353,慣性量測單元351感測可追蹤裝置350的三維空間中的動作而對應地產生動作訊號,而動作訊號透過通訊模組353被傳送,動作訊號由追蹤裝置100的通訊模組130所接收。慣性量測單元351可提供連續時間上三軸的加速度和角速度,其經過特定數學運算後可以表示可追蹤裝置350在一段時間區段內的移動與轉動,因此兩個時間點之間的移動與轉動狀況與加速度及角速度存在關連性。
第7圖繪示根據本揭示文件另一些實施例中一種追蹤方法700的步驟流程圖。請一併參閱第4圖,使用者手持可追蹤裝置350在空間中揮動,在步驟S210中,光學感測模組110對空間拍攝而擷取到第一影像。此步驟係與第5圖所示的步驟S210相同。
接著,執行步驟S221,取得光學感測模組110在擷取第一影像之前所擷取的第二影像,以及第二影像中對應特 徵圖案的關注區域。第二影像是前一個時間點取得的影像訊框(frame),例如在30Hz的幀率,第二影像就是取得第一影像之前1/30秒時取得的影像。而第二影像的關注區域即是在前一個時間點進行追蹤定位時所擷取之對應特徵圖案的區域。換言之,第一影像與第二影像為具有關注區域或特徵圖案的連續影像。
在步驟S222中,讀取可追蹤裝置350在第二影像與第一影像之擷取時間點間所產生的移動訊號。移動訊號可以是慣性量測單元351所產生的加速度與角速度訊號。接著,執行步驟S223,處理器120根據移動訊號與第二影像的關注區域來預估在第一影像中的一局部範圍,並依據特徵圖案或其骨架,在該局部範圍中搜尋關注區域。舉例來說,第二影像的關注區域為其中心點座標是在第二影像中的(576,488),大小為100x120的小區塊。處理器120使用第二影像至第一影像之間的時間對加速度與角速度訊號分別進行二次積分與一次積分,可以獲得移動的位移量(translation)與轉動量(rotation),再以此空間中的移動量進行映射轉換運算,以估算第二影像的關注區域經過移動量之後,會在第一影像的哪個位置,接著再依據此估算出來的位置設定出該局部範圍,以進行第一影像的關注區域之搜尋。如此,就不需在整張第一影像中進行搜尋,而大幅提升搜尋的速度及準確度。需注意的是,若因缺乏先前的有效定位資料,而無法獲取前一個時間點的第二影像及其關注區域,例如開機後首次進行定位或是發生追蹤失敗(lost tracking)的情形,仍需以整張第一影像為範圍來搜 尋關注區域。
接著,執行步驟S224,處理器120依據可追蹤裝置350在第二影像的關注區域時的姿態資料以及移動訊號,來粗估可追蹤裝置350在第一影像的關注區域時的粗略姿態資料。此處稱之為粗略姿態資料,係因後續還會依據此粗略姿態資料,計算出更精確的姿態資料,下文將會詳述。可追蹤裝置350在第二影像的關注區域時的姿態資料,係由前一時間點的定位所產生,而根據前文,由移動訊號可算出第二影像至第一影像期間可追蹤裝置350的移動量(包含位移量與轉動量),因此處理器120可根據此移動量及先前姿態資料(即可追蹤裝置350在第二影像的關注區域時的姿態資料)來粗估可追蹤裝置350在第一影像的關注區域時的粗略姿態資料。在一些實施例中,當無法獲取可追蹤裝置350先前在第二影像的關注區域時的姿態資料時,如前述的開機後首次定位或是發生追蹤失敗的情形,追蹤方法700可以使用一第二深度學習演算法來產生可追蹤裝置350的粗略姿態資料。第二深度學習演算法如同前述的第一深度學習演算法,亦為事先經過訓練而得。於訓練過程中,利用大量包含不同姿態之特徵圖案的影像作為輸入,以訓練出深度學習模型所需的參數,最終建構出適用於判讀影像中的特徵圖案為何種姿態的深度學習演算法。因此,若以第一影像中包含特徵圖案的關注區域為演算法的輸入,則第二深度學習演算法可輸出具最高信心值的對應姿態。
執行完步驟S224之後,處理器120已獲得可追蹤裝置350在第一影像時的粗略姿態資料,接著執行步驟S225, 處理器120使用可追蹤裝置350在第一影像時的粗略姿態資料,於一姿態資料庫中進行比對,以獲得對應的一參考影像。在一些實施例中,該姿態資料庫中儲存多個預先產生的參考影像,每一個參考影像包含特徵圖案,且具有對應的姿態資料以及多個特徵區塊的區塊位置。舉例來說,處理器120以位移量與轉動量的至少其中一個值在姿態資料庫中尋找相同或最接近的一個或數個值,並取出此些值對應的參考影像,因此會取得一個或數個參考影像。
接著執行步驟S226,若取得複數個參考影像,則處理器120根據第一影像的關注區域(其包含特徵圖案),從該等參考影像中選出一個最接近的影像。在一些實施例中,處理器120可執行一影像相似度演算法(image similarity algorithm),將關注區域與該等參考影像進行詳細比對,以找出其中最相似的參考影像。在另一些實施例中,若從姿態資料庫中只取出一個參考影像,則處理器120同樣執行關注區域與參考影像的詳細比對,以確認取出的參考影像是正確的。
值得一提的是,本揭示文件提出的姿態資料庫的所有參考影像中,均具有複數個特徵區塊的區塊位置,也就是說,建置在姿態資料庫中的參考影像除了具有特徵圖案以外,也會具有正確的複數個特徵區塊的區塊位置。舉例來說,若參考影像有四個特徵區塊,則也會一併記錄此四個特徵區塊在影像中的精確影像位置。接著,在選擇出參考影像之後,執行步驟S227,處理器120以所選擇的參考影像的複數個特徵區塊之複數個區塊位置,計算可追蹤裝置350的姿態資料。相對於前 文所述的粗略姿態資料,此處計算所得的姿態資料是更為精確的。在一些實施例中,處理器120係以該等區塊位置(如影像座標)使用一姿態估計演算法如透視N點演算法來計算該可追蹤裝置350的姿態資料。據此,本揭示文件的追蹤方法700可以在影像上快速取得多個特徵點及其影像位置,以用於計算可追蹤裝置350的精確姿態資料。
值得一提的是,本揭示文件的追蹤方法200以及追蹤方法700可以在每一個擷取的影像(或每一次同時擷取的多個影像)中就能計算出可追蹤裝置350(或可追蹤裝置300)的姿態資料,而不需要擷取兩個(或兩次)或以上的影像才能判斷姿態資料,如此就可較不受限於一般光學感應模組的低幀率,而提升以影像辨識進行追蹤定位的效率。
請復參閱第4圖,可追蹤裝置350包含發光模組355,以使光學感測模組110擷取到的第一影像會具有對應特徵圖案的發光圖案。例如,可追蹤裝置350外觀上的特徵圖案可製作成透光的,並將發光模組355設置於可追蹤裝置350內部,如此特徵圖案的部位即可透光,而形成對應特徵圖案的發光圖案。在一些實施例中,於前述追蹤方法200以及追蹤方法700中,當處理器120欲擷取對應特徵圖案的關注區域時,會先對第一影像執行二值化運算(thresholding)以獲得二值化影像。因此,處理器120可以在二值化影像上擷取具有發光圖案的關注區域。如此,藉由二值化運算可以讓關注區域的判斷(如第5圖的步驟S210)上更為快速。
綜上所述,本揭示文件的諸多實施例提供可快速 識別追蹤物件的方法,首先透過特徵圖案或其骨架來初步判定影像中是否可能有追蹤到物件,接著,結合前一個影像定位所產生的關注區域與姿態資料以及物件的移動訊號,來預估下一個影像的關注區域以及粗略的姿態資料,並使用姿態資料庫來取得最正確的特徵區塊之區塊位置,不需要個別計算每一個影像特徵點的位置,即可快速地執行姿態估計運算而獲得精確的物件姿態。
上文概述若干實施例之特徵,使得熟習此項技術者可更好地理解本發明之態樣。熟習此項技術者應瞭解,可輕易使用本發明作為設計或修改其他製程及結構的基礎,以便實施本文所介紹之實施例的相同目的及/或實現相同優勢。熟習此項技術者亦應認識到,此類等效結構並未脫離本發明之精神及範疇,且可在不脫離本發明之精神及範疇的情況下產生本文的各種變化、替代及更改。
40‧‧‧追蹤系統
100‧‧‧追蹤裝置
110‧‧‧光學感測模組
120‧‧‧處理器
130‧‧‧通訊模組
350‧‧‧可追蹤裝置
351‧‧‧慣性量測單元
353‧‧‧通訊模組
355‧‧‧發光模組

Claims (20)

  1. 一種追蹤系統,包含:一可追蹤裝置,外觀具有至少一特徵圖案;以及一追蹤裝置,包含:一光學感測模組,用以擷取包含該可追蹤裝置的一第一影像;以及一處理器,耦接於該光學感測模組,該處理器用以:依據該特徵圖案,在該第一影像中擷取對應該特徵圖案的一第一關注區域(region of interest);在該第一關注區域中定位出複數個特徵區塊之複數個區塊位置,其中每一特徵區塊包含該特徵圖案的一部分,並且各該特徵區塊包含的該特徵圖案的部分彼此不同;以及根據該些區塊位置,計算該可追蹤裝置之一第一姿態資料(pose data)。
  2. 如請求項1所述之追蹤系統,其中該處理器係依據該特徵圖案的一骨架(skeleton),在該第一影像中擷取該第一關注區域。
  3. 如請求項1所述之追蹤系統,其中該處理器還用以依據該第一關注區域執行一深度學習演算法,以產生該可追蹤裝置在該第一關注區域時的一粗略姿態資料。
  4. 如請求項1所述之追蹤系統,其中當該處理 器擷取該第一關注區域時,該處理器還用以:取得該光學感測模組在擷取該第一影像之前所擷取的一第二影像以及該第二影像中對應該特徵圖案的一第二關注區域;讀取該可追蹤裝置在該第二影像與該第一影像之擷取時間點間所產生之一移動訊號;根據該移動訊號及該第二關注區域,預估在該第一影像中的一局部範圍;以及依據該特徵圖案,在該第一影像之該局部範圍搜尋該第一關注區域。
  5. 如請求項4所述之追蹤系統,其中該處理器依據該可追蹤裝置在該第二關注區域時的一第二姿態資料以及該移動訊號,計算該可追蹤裝置在該第一關注區域時的一粗略姿態資料。
  6. 如請求項3或5所述之追蹤系統,其中該追蹤裝置還包含:一姿態資料庫,用以記錄該可追蹤裝置的複數個姿態資料及對應該等姿態資料的複數個參考影像,其中該處理器還用以:根據該可追蹤裝置之該粗略姿態資料,於該姿態資料庫找出對應的一參考影像,其中對應之該參考影像包含該些特徵區塊;以及依據對應之該參考影像,定位出該些特徵區塊之該些區塊位置。
  7. 如請求項4所述之追蹤系統,其中該可追蹤裝置還包含:一慣性量測單元(inertial measurement unit),用以產生該可追蹤裝置之該移動訊號;以及一通訊模組,耦接該慣性量測單元,用以將該移動訊號傳送至該追蹤裝置。
  8. 如請求項1所述之追蹤系統,其中該可追蹤裝置包含一發光模組,使該光學感測模組擷取之該第一影像具有對應該特徵圖案的一發光圖案,而當該處理器擷取該第一關注區域時,該處理器還用以:對該第一影像執行一二值化運算(thresholding)以獲得一二值化影像;以及在該二值化影像上擷取該第一關注區域,其中該第一關注區域包含該發光圖案。
  9. 如請求項1所述之追蹤系統,其中該第一姿態資料包含一三軸位置、一偏航值、一傾斜值、一旋轉值之至少一者。
  10. 如請求項1所述之追蹤系統,其中該處理器於計算該可追蹤裝置之該第一姿態資料時,係依據該些特徵區塊之各該些區塊位置在該第一影像的一影像座標,執行一姿態估計演算法(pose estimation algorithm),以計算該 第一姿態資料。
  11. 一種追蹤方法,用於追蹤外觀具有至少一特徵圖案之一可追蹤裝置,該追蹤方法包含:擷取包含該可追蹤裝置的一第一影像;依據該特徵圖案,在該第一影像中擷取對應該特徵圖案的一第一關注區域(region of interest);在該第一關注區域中定位出複數個特徵區塊之複數個區塊位置,其中每一特徵區塊包含該特徵圖案的一部分,並且各該特徵區塊包含的該特徵圖案的部分彼此不同;以及根據該些區塊位置,計算該可追蹤裝置之一第一姿態資料(pose data)。
  12. 如請求項11所述之追蹤方法,其中該擷取該第一關注區域的步驟包含:依據該特徵圖案的一骨架(skeleton),在該第一影像中擷取該第一關注區域。
  13. 如請求項11所述之追蹤方法,更包含:依據該第一關注區域執行一深度學習演算法,以產生該可追蹤裝置在該第一關注區域時的一粗略姿態資料。
  14. 如請求項11所述之追蹤方法,其中該擷取該第一關注區域的步驟包含:取得在擷取該第一影像之前所擷取的一第二影像以及該第二影像中對應該特徵圖案的一第二關注區域; 讀取該可追蹤裝置在該第二影像與該第一影像之擷取時間點間所產生之一移動訊號;根據該移動訊號及該第二關注區域,預估在該第一影像中的一局部範圍;以及依據該特徵圖案,在該第一影像之該局部範圍搜尋該第一關注區域。
  15. 如請求項14所述之追蹤方法,更包含:依據該可追蹤裝置在該第二關注區域時的一第二姿態資料以及該移動訊號,計算該可追蹤裝置在該第一關注區域時的一粗略姿態資料。
  16. 如請求項13或15所述之追蹤方法,更包含:產生一姿態資料庫,用以記錄該可追蹤裝置的複數個姿態資料及對應該等姿態資料的複數個參考影像;其中,該定位出該些區塊位置的步驟包含:根據該可追蹤裝置之該粗略姿態資料,於該姿態資料庫找出對應的一參考影像,其中對應之該參考影像包含該些特徵區塊;以及依據對應之該參考影像,定位出該些特徵區塊之該些區塊位置。
  17. 如請求項14所述之追蹤方法,其中該移動訊號係由該可追蹤裝置所包含之一慣性量測單元(inertial measurement unit)所產生。
  18. 如請求項11所述之追蹤方法,其中該可追蹤裝置包含一發光模組,以使所擷取之該第一影像具有對應該特徵圖案的一發光圖案,而該擷取該第一關注區域的步驟還包含:對該第一影像執行一二值化運算(thresholding)以獲得一二值化影像;以及在該二值化影像上擷取該第一關注區域,其中該第一關注區域包含該發光圖案。
  19. 如請求項11所述之追蹤方法,其中該第一姿態資料包含一三軸位置、一偏航值、一傾斜值、一旋轉值之至少一者。
  20. 如請求項11所述之追蹤方法,其中該計算該可追蹤裝置之該第一姿態資料的步驟包含:依據該些特徵區塊之各該些區塊位置在該第一影像的一影像座標,執行一姿態估計演算法(pose estimation algorithm),以計算該第一姿態資料。
TW107125552A 2017-07-24 2018-07-24 追蹤系統及其方法 TWI682326B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762535976P 2017-07-24 2017-07-24
US62/535,976 2017-07-24

Publications (2)

Publication Number Publication Date
TW201909030A TW201909030A (zh) 2019-03-01
TWI682326B true TWI682326B (zh) 2020-01-11

Family

ID=64959070

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107125552A TWI682326B (zh) 2017-07-24 2018-07-24 追蹤系統及其方法

Country Status (4)

Country Link
US (1) US10755422B2 (zh)
EP (1) EP3460756B1 (zh)
CN (1) CN109298778B (zh)
TW (1) TWI682326B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
CN108510525B (zh) * 2018-03-30 2019-03-12 百度在线网络技术(北京)有限公司 模板追踪方法、装置、增强现实系统及存储介质
US11486961B2 (en) * 2019-06-14 2022-11-01 Chirp Microsystems Object-localization and tracking using ultrasonic pulses with reflection rejection
US20220067949A1 (en) * 2020-08-25 2022-03-03 Htc Corporation Object tracking method and object tracking device
US20220132042A1 (en) * 2020-10-26 2022-04-28 Htc Corporation Method for tracking movable object, tracking device, and method for controlling shooting parameters of camera
TWI793931B (zh) * 2021-09-28 2023-02-21 宏達國際電子股份有限公司 虛擬影像顯示系統及虛擬影像顯示方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080080789A1 (en) * 2006-09-28 2008-04-03 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2479726B9 (en) * 2003-10-21 2013-10-23 Nec Corporation Image comparison system and image comparison method
JP5642410B2 (ja) * 2010-03-30 2014-12-17 パナソニック株式会社 顔認識装置及び顔認識方法
TW201221900A (en) * 2010-11-17 2012-06-01 Inst Information Industry Three-dimensional size measuring system and method for measuring three-dimensional size of object
KR101815975B1 (ko) * 2011-07-27 2018-01-09 삼성전자주식회사 객체 자세 검색 장치 및 방법
US9131143B2 (en) * 2012-07-20 2015-09-08 Blackberry Limited Dynamic region of interest adaptation and image capture device providing same
US20160007026A1 (en) * 2013-03-08 2016-01-07 Jie Dong Techniques for image encoding based on region of interest
JP2014207110A (ja) * 2013-04-12 2014-10-30 株式会社日立ハイテクノロジーズ 観察装置および観察方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080080789A1 (en) * 2006-09-28 2008-04-03 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Fries, C., Luettel, T., & Wuensche, H. J. (2013, June). Combining model-and template-based vehicle tracking for autonomous convoy driving. In 2013 IEEE Intelligent Vehicles Symposium (IV) (pp. 1022-1027). IEEE.
Rodriguez-Ramos, A., Sampedro, C., Bavle, H., Milosevic, Z., Garcia-Vaquero, A., & Campoy, P. (2017, June). Towards fully autonomous landing on moving platforms for rotary unmanned aerial vehicles. In 2017 International Conference on Unmanned Aircraft Systems (ICUAS) (pp. 170-178). IEEE.
Rodriguez-Ramos, A., Sampedro, C., Bavle, H., Milosevic, Z., Garcia-Vaquero, A., & Campoy, P. (2017, June). Towards fully autonomous landing on moving platforms for rotary unmanned aerial vehicles. In 2017 International Conference on Unmanned Aircraft Systems (ICUAS) (pp. 170-178). IEEE. Fries, C., Luettel, T., & Wuensche, H. J. (2013, June). Combining model-and template-based vehicle tracking for autonomous convoy driving. In 2013 IEEE Intelligent Vehicles Symposium (IV) (pp. 1022-1027). IEEE. *

Also Published As

Publication number Publication date
US20190026904A1 (en) 2019-01-24
EP3460756A1 (en) 2019-03-27
TW201909030A (zh) 2019-03-01
US10755422B2 (en) 2020-08-25
CN109298778B (zh) 2021-02-23
EP3460756B1 (en) 2021-02-17
CN109298778A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
TWI682326B (zh) 追蹤系統及其方法
US10963041B2 (en) Gesture recognition using multi-sensory data
US10546387B2 (en) Pose determination with semantic segmentation
US9330307B2 (en) Learning based estimation of hand and finger pose
JP6571108B2 (ja) モバイル機器用三次元ジェスチャのリアルタイム認識及び追跡システム
Cheng et al. Improving monocular visual SLAM in dynamic environments: an optical-flow-based approach
JP2022036143A (ja) 物体追跡システム、物体追跡装置、および物体追跡方法
TWI574223B (zh) 運用擴增實境技術之導航系統
US8860760B2 (en) Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US8994652B2 (en) Model-based multi-hypothesis target tracker
US7929728B2 (en) Method and apparatus for tracking a movable object
US20170045950A1 (en) Gesture Recognition Systems
US9560273B2 (en) Wearable information system having at least one camera
US11094079B2 (en) Determining a pose of an object from RGB-D images
Alcantarilla et al. Learning visibility of landmarks for vision-based localization
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
KR20190036864A (ko) 가상현실 전망용 망원경, 이를 이용한 전망용 가상현실 구동 방법 및 매체에 기록된 어플리케이션
Yousefi et al. 3D Gesture Analysis Using a Large-Scale Gesture Database