TW201926141A - 影像目標追蹤方法及裝置 - Google Patents

影像目標追蹤方法及裝置 Download PDF

Info

Publication number
TW201926141A
TW201926141A TW106140751A TW106140751A TW201926141A TW 201926141 A TW201926141 A TW 201926141A TW 106140751 A TW106140751 A TW 106140751A TW 106140751 A TW106140751 A TW 106140751A TW 201926141 A TW201926141 A TW 201926141A
Authority
TW
Taiwan
Prior art keywords
speculative
point
image
points
feature point
Prior art date
Application number
TW106140751A
Other languages
English (en)
Other versions
TWI640931B (zh
Inventor
林敬文
童凱彬
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW106140751A priority Critical patent/TWI640931B/zh
Priority to CN201711236252.4A priority patent/CN109829933B/zh
Priority to US15/835,450 priority patent/US10395379B2/en
Application granted granted Critical
Publication of TWI640931B publication Critical patent/TWI640931B/zh
Publication of TW201926141A publication Critical patent/TW201926141A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一種影像目標追蹤方法及裝置。影像目標追蹤方法以一特徵點擷取演算法決定一第一幀中之一目標物件之一特定特徵點，以一光流法於其後之一第二幀上決定該特定特徵點之一特定推測點，根據該特定推測點之座標位置及該特定特徵點之座標位置間之距離及取像裝置至該目標物件之距離決定該取像裝置之一推測轉向角度，以取像裝置所搭配使用之一慣性量測單元所產生之一慣性量測資訊計算該取像裝置從擷取該第一幀之時間點至擷取該第二幀之時間點間之取像轉向角度，藉由比較該推測轉向角度及該取像轉向角度可判斷該特定推測點是否對應至該特定特徵點。

Description

影像目標追蹤方法及裝置
本發明係關於一種影像目標追蹤方法及裝置，具體而言，本發明係關於一種藉由慣性量測資訊來輔助追蹤之影像目標追蹤方法及裝置。
影像之目標辨識及追蹤已廣泛地應用在安全監控及機器人視覺等領域，其主要運作方式是針對取像裝置所擷取的影像資料，決定有興趣的目標物件，並於後續的影像中持續地追蹤該目標物件。
追蹤影像之目標之技術可區分為兩大類，分別為特徵點識別法及光流法。特徵點識別法是在影像的各個幀的目標物件上取得感興趣的特徵點，再針對各特徵點提取其周遭局部區域的區域特徵(local features)，最後再篩選特徵點並進行特徵媒合(Feature matching)，媒合成功的特徵點就是被識別出的特徵點。光流法(Optical Flow)則是利用影像序列中像素在時域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間特徵點的空間相對應關係。
習知的影像目標追蹤技術領域仍存在許多難以解決的問題，舉例而言，當影像中的目標物件附近存在外觀相近的物件(例如：眾多相同型態相似的按鈕或車輛)時，可能會因擷取之有效特徵點數量不足而導致判 斷誤差。再舉例而言，當光線條件不佳或取像裝置快速移動而造成影像模糊時，可能會因目標物件短暫消失於影像範圍而造成追蹤中斷。
據此，本技術領域亟需一種更精確及更有效的影像目標追蹤技術，以解決上述習知技術的問題。
本發明之目的在於提供一種影像目標追蹤方法及裝置，藉由慣性量測資訊來輔助目標物件之特徵點辨識，以提高物件追蹤之效率及精準度。
為達上述目的，本發明揭露一種影像目標追蹤方法，其藉由一處理器實施。該影像目標追蹤方法包括以下步驟：(a)以一特徵點擷取演算法決定一取像裝置所擷取之一第一幀之一目標物件之一特定特徵點，(b)以一光流法為該特定特徵點於該取像裝置所擷取之一第二幀中決定至少一推測點，且該至少一推測點形成一推測點集合，(c)根據該推測點集合中之一特定推測點之一第一座標位置與該特定特徵點之一第二座標位置間之一第一距離以及該取像裝置至該目標物件之一第二距離，決定該取像裝置之一推測轉向角度，(d)根據與該取像裝置搭配使用之一慣性量測單元所產生之一慣性量測資訊，計算該取像裝置從擷取該第一幀之一第一時間點至擷取該第二幀之一第二時間點間之一取像轉向角度，(e)判斷該取像轉向角度與該推測轉向角度之一差值之一絕對值小於一門檻值，以及(f)基於該步驟(e)之判斷結果，判斷該特定推測點對應至該特定特徵點。
為達上述目的，本發明更揭露一種影像目標追蹤裝置，其包括一取像裝置、一慣性量測單元及一處理器，其中該處理器電性連接至該取 像裝置及該慣性量測單元。該取像裝置擷取一影像序列，其中該影像序列包含一第一幀及一第二幀。該慣性量測單元產生一慣性量測資訊，其中該慣性量測資訊對應至該取像單元擷取該第一幀之一第一時間點至該取像單元擷取該第二幀之一第二時間點。該處理器執行以下運作：(a)以一特徵點擷取演算法決定該第一幀之一目標物件之一特定特徵點，(b)以一光流法為該特定特徵點於該第二幀中決定至少一推測點，其中該至少一推測點形成一推測點集合，(c)根據該推測點集合中之一特定推測點之一第一座標位置與該特定特徵點之一第二座標間之一第一距離以及該取像裝置至該目標物件之一第二距離，決定該取像裝置之一推測轉向角度，(d)根據該慣性量測資訊計算該取像裝置從該第一時間點至該第二時間點之一取像轉向角度，(e)判斷該取像轉向角度與該推測轉向角度之一差值之一絕對值小於一門檻值，以及(f)基於該絕對值小於該第一門檻值之判斷結果，判斷該特定推測點對應至該特定特徵點。
在參閱圖式及隨後描述之實施方式後，本發明所屬技術領域中具有通常知識者便可瞭解本發明之其他目的、本發明之技術手段及本發明之各種實施態樣。
10‧‧‧影像目標追蹤裝置
101‧‧‧處理器
103‧‧‧取像裝置
104‧‧‧鏡頭
105‧‧‧慣性量測單元
106‧‧‧加速度計
107‧‧‧陀螺儀
108‧‧‧羅盤
200‧‧‧影像序列
201、202、203、204‧‧‧幀
t1、t2、t3、t4‧‧‧時間點
303~307、311、312‧‧‧步驟
3051、3052、3053、3054‧‧‧步驟
50‧‧‧第一幀
51‧‧‧第二幀
500‧‧‧目標物件
501、502、503、504‧‧‧物件特徵點
5010‧‧‧點
5011、5012‧‧‧推測點
D1、D2、H‧‧‧距離
θ1、θ2‧‧‧推測轉向角度
Φ‧‧‧取像轉向角度
第1圖為本發明之影像目標追蹤裝置之配置示意圖；第2圖為本發明之取像裝置所擷取之影像序列之示意圖；第3圖為本發明之第一實施例所執行之影像目標追蹤方法之流程示意圖；第4圖為本發明之第二實施例所額外執行之流程示意圖； 第5圖為本發明之第三實施例所額外執行之流程示意圖；以及第6圖為本發明計算推測轉向角度之一實施例之示意圖。
以下將透過實施例來解釋本發明之內容，但本發明的實施例並非用以限制本發明須在如實施例所述之任何特定的環境、應用或特殊方式方能實施。因此，關於實施例之說明僅為闡釋本發明之目的，而非用以限制本發明。需說明者，以下實施例及圖式中，與本發明非直接相關之元件已省略而未繪示，且圖式中各元件間之尺寸關係僅為求容易瞭解，並非用以限制實際比例。
本發明之第一實施例如第1~3圖所示。第1圖為本發明之影像目標追蹤裝置10之一實施態樣之配置示意圖。影像目標追蹤裝置10包括一處理器101及一取像裝置103，其中處理器101電性連接至取像裝置103。取像裝置103包含一鏡頭104及一慣性量測單元105，且取像裝置103可為攝影機、監視器或其他能擷取影像序列之裝置。慣性量測單元105可包含加速度計106、陀螺儀107及羅盤108至少其中之一。需說明者，第1圖所示之實施態樣中，處理器101配置於取像單元103之外，但於其他實施態樣中，處理器可配置於取像裝置中。此外，於其他實施態樣中，本發明之影像目標追蹤裝置可配置為包含一處理器、一取像裝置及一慣性量測單元，且該處理器電性連接至該取像裝置及該慣性量測單元。
請參考第2圖及第3圖，其中第2圖為取像裝置103所擷取之一影像序列200之示意圖，第3圖則為本發明之影像目標追蹤方法之流程示意 圖。於本實施例中，取像裝置103擷取影像序列200。具體而言，取像裝置103於時間點t1、t2、t3、t4、……分別擷取影像序列200中之幀201、202、203、204、……。於取像裝置103擷取幀201、202、203、204、……之過程，慣性量測單元105會持續地運作以產生複數個慣性量測資訊。
於本實施例中，影像目標追蹤裝置10及其執行之影像目標追蹤方法會確定一欲追蹤之目標物件(例如：由處理器101接收一使用者之指示於幀201中決定一目標物件、由一物件偵測技術偵測出符合一特定條件之對象作為目標物件)。之後，於步驟303，處理器101以一特徵點擷取演算法決定幀201上之該目標物件之複數個物件特徵點。之後，影像目標追蹤裝置10及其執行之影像目標追蹤方法會追蹤每一個物件特徵點。為便於理解，以下說明將以該等物件特徵點中之一個特定特徵點為例，詳述影像目標追蹤裝置10及其執行之影像目標追蹤方法如何於後續的幀202、203、204、……中追蹤該特定特徵點。
其後，進行步驟304，由處理器101以一光流法為幀201上之該特定特徵點於幀202(亦即，幀201之下一幀)上決定至少一推測點，而該至少一推測點可形成一推測點集合。其後，進行步驟305，選取該推測點集合中之任一推測點作為一特定推測點。其後，進行步驟306，處理器101根據幀202中之該特定推測點之一座標位置及幀201中之該特定特徵點之一座標位置間之一第一距離以及取像裝置103至該目標物件之一第二距離，計算取像裝置103之一推測轉向角度。需說明者，若該特定推測點確實為幀202中對應至該特定特徵點之特徵點，則該第一距離可理解為該特定特徵點由時間點t1至時間點t2所位移之距離，故可依據該第一距離及該第二距離推測出取 像裝置103在時間點t1至時間點t2之時間區間中之推測轉向角度。
如前所述，於取像裝置103擷取幀201、202、203、204、……之過程，慣性量測單元105會持續地運作以產生複數個價性量測資訊。換言之，慣性量測單元105會產生介於時間點t1及時間點t2之至少一慣性量測資訊。在進行步驟303~306之過程，影像目標追蹤裝置10及其執行之影像目標追蹤方法可同時進行步驟311及步驟312以計算取像裝置103於時間點t1及時間點t2之實際的取像轉向角度。具體而言，於步驟311，由處理器101接收慣性量測單元105所產生之介於時間點t1及時間點t2之至少一慣性量測資訊。其後，進行步驟312，由處理器101根據該至少一慣性量測資訊計算取像裝置103於擷取幀201之時間點t1至擷取幀202之時間點t2之間之一取像轉向角度。
其後，進行步驟307，由處理器101判斷該取像轉向角度與該推測轉向角度之一差值之一絕對值是否小於一第一門檻值。若該差值之絕對值小於該第一門檻值，則決定幀202上之該特定推測點對應至幀201上之該特定特徵點。若該差值之絕對值不小於該第一門檻值，則幀202上之該特定推測點不對應至幀201上之該特定特徵點。若幀202上之該特定推測點不對應至幀201上之該特定特徵點，則處理器101可再次執行步驟305，從該推測點集合挑選尚未被挑選過之推測點作為新的特定推測點，再重複地執行步驟306及步驟307。
需說明者，於某些實施例中，影像目標追蹤裝置10及其執行之影像目標追蹤方法會分析幀201上之該特定特徵點與該推測點集合所包含之各推測點間之關係(亦即，會重複地執行步驟305、306及307，直到推 測點集合所包含之所有推測點都分析完畢)。於該等實施例中，若有多個推測點所算出之推測轉向角度與取像轉向角度之差值之絕對值小於該第一門檻值，處理器101可選取差值之絕對值最小者所對應之推測點作為對應至該特定特徵點之特徵點。
如前所述，幀201中之該目標物件具有多個物件特徵點。影像目標追蹤裝置10及其執行之影像目標追蹤方法可重覆步驟304~307、311及312來決定幀201中之所有物件特徵點於幀202中對應的特徵點。之後，處理器101便可根據幀202中經確認過的這些特徵點決定幀202中之該目標物件之位置。
影像目標追蹤裝置10及其執行之影像目標追蹤方法可重複前述運作/步驟，於後續的幀203、204、……中追蹤該目標物件。本發明所屬技術領域中具有通常知識者依據前述說明自能理解影像目標追蹤裝置10及其執行之影像目標追蹤方法如何於後續的幀203、204、……中追蹤該目標物件，茲不贅言。
需說明者，前述步驟303所採用之特徵點擷取演算法可為習知之SIFT(Scale-invariant feature transform)演算法、SURF(speeded up robust features)演算法、ORB(Oriented FAST and Rotated BRIEF)演算法、FAST(Features from Accelerated Segment Test)演算法及BRISK(Binary Robust Invariant Scalable Keypoints)演算法其中之一，但不以此為限。於某些實施態樣中，藉由慣性量測資訊來校正特徵點的方式可與BRISK演算法達成良好之配合，使目標影像之追蹤兼具速度及準確性。
另需說明者，慣性量測單元105所提供之慣性量測資訊可包 括一加速度資訊、一方向角資訊及/或一角速度資訊，其中該加速度資訊係由加速度計106提供，該方向角資訊由羅盤108提供，且該角加速度資訊則由陀螺儀107提供。步驟312所計算出之取像轉向角度可單獨地由角加速度資訊提供，或由加速度資訊及方向角資訊計算取得。詳言之，將陀螺儀所提供之角加速度資訊之數值積分二次即可得到一轉向角度。以陀螺儀所提供之角加速度資訊之數值積分二次可快速地得到轉向角度，因此處理器101之運算負擔較小，但其誤差通常較大。相較之下，若處理器101以加速度資訊搭配方向角資訊來推算轉向角度，則可獲得較為精確之轉向角度。在實際應用上，可由二種計算方式搭配使用或互為校正。
關於本發明之第二實施例，請參第1~4圖，其中第4圖係描繪第二實施例所另外執行之步驟。第二實施例之影像目標追蹤裝置10及其執行之影像目標追蹤方法能執行第一實施例中所述之運作/步驟，具有相同之功能，且能達成同樣之效果，故以下將僅詳述二實施例相異之處。
於本實施例中，處理器101在執行步驟304後會進行步驟3051，由處理器101計算該推測點集合之各該推測點與該特定特徵點之一漢明距離(Hamming Distance)。之後，執行步驟3052，由處理器101更新該推測點集合。具體而言，處理器101於該推測點集合中保留該漢明距離小於一第二門檻值之那些推測點。換言之，處理器101於該推測點集合排除該漢明距離不小於第二門檻值的那些推測點。之後處理器101才執行步驟305及其後續之步驟。換言之，於本實施例中，處理器101所執行之步驟305係從更新後之該推測點集合中選擇該特定推測點。
此處所述之漢明距離係指比對幀中某二點(亦即，前述特定 特徵點及任一特定推測點)之顏色及明度之數位化數值，甚至還比對該二點周圍局部區域之顏色、明度及對比資訊之數化數值。如何計算幀中某二點之漢明距離為本發明所屬技術領域中具有通常知識者所熟知，故不贅述。本實施例藉由漢明距離來判斷該特定特徵點與該推測點集合之各該推測點之相似度，可於該推測點集合中只保留更接近該特定特徵點之推測點。如此一來，可減少後續匹配特徵點與推測點時之運算負擔，從而提高於影像序列中追蹤目標物件之整體速度。
關於本發明之第三實施例，請參第1~3及5圖，其中第5圖係描繪第三實施例所另外執行之流程之示意圖。第三實施例之影像目標追蹤裝置10及其執行之影像目標追蹤方法能執行第一實施例中所述之運作/步驟，具有相同之功能，且能達成同樣之效果，故以下將僅詳述二實施例相異之處。
於本實施例中，處理器101在執行步驟304後會進行步驟3053，由處理器101以一特徵點追蹤演算法(例如：CMT追蹤演算法(Clustering of Static-Adaptive Correspondences for Deformable Object Tracking))計算與步驟303所決定之該等物件特徵點相關之至少一相對位置資訊。舉例而言，步驟3053可計算該等物件特徵點之一重心，再計算各該物件特徵點與該重心之一距離，且以該等距離作為前述至少一相對位置資訊。其後，進行步驟3054，由處理器101依據該至少一相對位置資訊更新該推測點集合，使更新後之該推測點集合所包含之該至少一推測點符合該至少一相對位置。之後處理器101才執行步驟305及其後續之步驟。換言之，於本實施例中，處理器101所執行之步驟305係從更新後之該推測點集合中擇該特 定推測點。
更佳地，某些實施例可整合前述第一實施例、第二實施例及第三實施例之所有運作。舉例而言，可於步驟3051及步驟3052後進行步驟3053及步驟3054(亦即，先以漢明距離更新該推測點集合，再以特徵點追蹤演算法進一步地更新該推測點集合。再舉例而言，可於步驟3053及步驟3054後繼續進行步驟3051及步驟3052(亦即，以特徵點追蹤演算法更新該推測點集合，再以漢明距離更新該推測點集合)。如此一來，可於更小範圍且更近似的推測點集合中選擇該特定推測點，再接續第一實施例中所述的利用慣性量測資訊進行匹配計算之作業。如此，可減少後續匹配特徵點與推測點之運算負擔，進一步提高於影像序列中追蹤目標物件之整體速度。
請參考第6圖，其係描繪本發明計算推測轉向角度之一實施例之示意圖。於該實施例中，一影像序列包括第一幀50及時間序列在其後的第二幀51。第一幀50中具有一待追蹤之目標物件500，在本實例中目標物件500為一儀表板上之按鈕影像。本實施例藉由一特徵點擷取演算法決定出目標物件500之數個物件特徵點501~504。本實施例會分別地處理物件特徵點501~504，但以下以物件特徵點501為例進一步地說明如何計算推測轉向角度。
具體而言，當選取物件特徵點501作為特定特徵點時，本實施例藉由光流法決定物件特徵點501於第二幀51中之複數個推測點5011及5012。需說明者，於第6圖中，第二幀51所示之點5010之座標位置為物件特徵點501於第一幀50中的座標位置。推測點5011之座標位置與點5010之座標位置(亦即，物件特徵點501之座標位置)間具有一距離D1，推測點5012之 座標位置與點5010之座標位置(亦即，物件特徵點501之座標位置)間具有一距離D2。本實施例會根據距離D1及取像裝置103至目標物件500之距離H，透過反三角函數tan-1計算出取像裝置103從擷取第一幀50之第一時間點至擷取第二幀51之第二時間點間之一第一推測轉向角度θ1。同樣地，本實施例會根據距離D2及距離H計算出取像裝置103從擷取第一幀50之第一時間點至擷取第二幀51之第二時間點間之一第二推測轉向角度θ2。另一方面，本實施例會根據從擷取第一幀50之第一時間點至擷取第二幀51之第二時間點間所獲得之慣性量測資訊，計算出慣性量測單元之取像轉向角度Φ。最後，本實施例再將推測轉向角度θ1及推測轉向角度θ2分別與取像轉向角度Φ進行比較。具體而言，本實施例會計算推測轉向角度θ1與取像轉向角度Φ間之差值之絕對值，且計算推測轉向角度θ2與取像轉向角度Φ間之差值之絕對值，再選取差值之絕對值小於一第一門檻值者所對應之推測點，或選取差值之絕對值中較小者所對應之推測點之座標位置作為物件特徵點501第二幀51中之真實位置。
以第6圖為例說明，若推測轉向角度θ1與取像轉向角度Φ之差值之絕對值小於第一門檻值，而推測轉向角度θ2與取像轉向角度Φ之差值之絕對值大於第一門檻值，則推測轉向角度θ1所對應之推測點5011對應至物件特徵點501(亦即，推測點5011之座標位置為物件特徵點501於第二幀51中的真實位置)。
其後，本實施例會重覆前述運作取得目標物件500之其他物件特徵點502~504於第二幀51上之真實位置，再據以決定該目標物件於第二幀51上之真實位置。
需說明者，前述取像裝置103至目標物件500之距離H可依應用場景預設為一定值，或藉由安裝於取像裝置103上之一距離量測元件(未繪示)等決定。舉例而言，距離量測元件可為雷射裝置或微波雷達裝置等等。
於某些實施例中，取像裝置103可設置於一智慧穿戴裝置(例如：智慧眼鏡或智慧頭盔)或設置於一智慧手持裝置(例如：行動電話)等。
茲說明本發明之另一實際應用。取像裝置103係安裝於一使用者配戴之智慧頭盔，使用者於一儀表板操作環境中，可將取像裝置103所拍攝之影像序列透過網路傳輸至遠端的總部，由總部之專家依據影像序列之內容遠端指示使用者針對追蹤的目標物件進行操作。此時，取像裝置103至目標物件500之距離H可依使用者手動操作距離預設為30~50cm。由於儀表板通常會包括眾多外觀顏色相近之按鈕，藉由本發明可更精確地追蹤目標按鈕，避免誤判。
依據本發明之技術，當目標物件附近存在外觀相近的物件時，能藉由與取像裝置103搭配使用之慣性量測單元105獲得取像裝置103相對於幀中之目標物件之相對運動資訊(例如：角度、位移等)，因而可以更精確地判識並追蹤該目標物件。當取像裝置103移動較大而導致目標物件暫時移出影像框時，可由取像裝置103相對於影像中之目標物件之相對運動資訊來避免辨識錯誤而中斷追蹤。若是擷取之影像序列模糊導致幀中的有效的物件特徵點數量不足時，亦可藉由取像裝置103所提供之慣性量測資訊，來提供更多的特徵點匹配條件，從而減少誤判。
綜上所述，本發明的影像目標追蹤方法及裝置可提高物件追蹤的正確性及追蹤效率，並有解決習知之技術缺失，深具產業利用價值。
上述實施例僅用來例舉本發明之部分實施態樣，而非用以限定本發明之保護範疇及範圍。本發明所屬技術領域中具通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍應以後附之申請專利範圍所界定者為準。

Claims (14)

  1. 一種影像目標追蹤方法，由一處理器實施，該影像目標追蹤方法包括以下步驟：(A)以一特徵點擷取演算法決定一取像裝置所擷取之一第一幀之一目標物件之一特定特徵點；(B)以一光流法為該特定特徵點於該取像裝置所擷取之一第二幀中決定至少一推測點，且該至少一推測點形成一推測點集合；(C)根據該推測點集合中之一特定推測點之一第一座標位置與該特定特徵點之一第二座標位置間之一第一距離以及該取像裝置至該目標物件之一第二距離，計算該取像裝置之一推測轉向角度；(D)根據與該取像裝置搭配使用之一慣性量測單元所產生之一慣性量測資訊，計算該取像裝置從擷取該第一幀之一第一時間點至擷取該第二幀之一第二時間點間之一取像轉向角度；(E)判斷該取像轉向角度與該推測轉向角度之一差值之一絕對值小於一第一門檻值；以及(F)基於該步驟(E)之判斷結果，判斷該特定推測點對應至該特定特徵點。
  2. 如申請專利範圍第1項所述之影像目標追蹤方法，其中該特徵點擷取演算法為一BRISK(Binary Robust Invariant Scalable Keypoints)演算法。
  3. 如申請專利範圍第1項所述之影像目標追蹤方法，更包括以下步驟：(G)計算各該至少一推測點個別與該特定特徵點之一漢明距離(Hamming Distance)；以及 (H)根據該至少一漢明距離更新該推測點集合，使更新後之該推測點集合所包含之各該至少一推測點之該漢明距離小於一第二門檻值；其中，該步驟(C)從更新後之該推測點集合中選擇該特定推測點。
  4. 如申請專利範圍第1項所述之影像目標追蹤方法，其中該步驟(A)係決定該目標物件之複數個物件特徵點，該特定特徵點為該等物件特徵點其中之一，該影像目標追蹤方法更包括以下步驟：(G)以一特徵點追蹤演算法計算與該等物件特徵點相關之至少一相對位置資訊；以及(H)依據該至少一相對位置資訊更新該推測點集合，使更新後之該推測點集合所包含之該至少一推測點符合該至少一相對位置；其中，該步驟(C)從更新後之該推測點集合選擇該特定推測點。
  5. 如申請專利範圍第1項所述之影像目標追蹤方法，其中該慣性量測資訊包括一加速度資訊、一方向角資訊以及一角速度資訊至少其中之一。
  6. 如申請專利範圍第5項所述之影像目標追蹤方法，其中該步驟(D)係根據該加速度資訊及該方向角資訊計算該取像轉向角度。
  7. 如申請專利範圍第1項所述之影像目標追蹤方法，其中該取像裝置設置於一智慧穿戴裝置及一智慧手持裝置其中之一之中。
  8. 一種影像目標追蹤裝置，包括：一取像裝置，擷取一影像序列，該影像序列包含一第一幀及一第二幀；一慣性量測單元，產生一慣性量測資訊，該慣性量測資訊對應至該取像裝置擷取該第一幀之一第一時間點至該取像裝置擷取該第二幀之 一第二時間點；以及一處理器，電性連接至該取像裝置及該慣性量測單元，且執行下列運作：以一特徵點擷取演算法決定該第一幀之一目標物件之一特定特徵點；以一光流法為該特定特徵點於該第二幀中決定至少一推測點，其中該至少一推測點形成一推測點集合；根據該推測點集合中之一特定推測點之一第一座標位置與該特定特徵點之一第二座標位置間之一第一距離以及該取像單元至該目標物件之一第二距離，決定該取像單元之一推測轉向角度；根據該慣性量測資訊計算該取像單元從該第一時間點至該第二時間點之一取像轉向角度；判斷該取像轉向角度與該推測轉向角度之一差值之一絕對值小於一第一門檻值；以及基於該絕對值小於該第一門檻值之判斷結果，判斷該特定推測點對應至該特定特徵點。
  9. 如申請專利範圍第8項所述之影像目標追蹤裝置，其中該特徵點擷取演算法為一BRISK(Binary Robust Invariant Scalable Keypoints)演算法。
  10. 如申請專利範圍第8項所述之影像目標追蹤裝置，其中該處理器更計算各該至少一推測點個別與該特定特徵點之一漢明距離(Hamming Distance)，且根據該至少一漢明距離更新該推測點集合，使更新後之該推測點集合所包含之各該至少一推測點之該漢明距離小於一第二門檻 值，其中該處理器從更新後之該推測點集合選擇該特定推測點。
  11. 如申請專利範圍第10項所述之影像目標追蹤裝置，其中該處理器係以該特徵點擷取演算法決定該目標物件之複數個物件特徵點，該特定特徵點為該等物件特徵點其中之一，該處理器更以一特徵點追蹤演算法計算與該等物件特徵點相關之至少一相對位置資訊，該處理器更依據該至少一相對位置資訊更新該推測點集合，使更新後之該推測點集合所包含之該至少一推測點符合該至少一相對位置，其中該處理器從更新後之該推測點集合選擇該特定推測點。
  12. 如申請專利範圍第8項所述之影像目標追蹤裝置，其中該慣性量測資訊包括一加速度資訊、一方向角資訊以及一角速度資訊至少其中之一。
  13. 如申請專利範圍第12項之影像目標追蹤裝置，其中該處理器係根據該加速度資訊及該方向角資訊計算該取像轉向角度。
  14. 如申請專利範圍第9項所述之影像目標追蹤裝置，其中該取像單元係設置於一智慧穿戴裝置及一智慧手持裝置之一。
TW106140751A 2017-11-23 2017-11-23 影像目標追蹤方法及裝置 TWI640931B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106140751A TWI640931B (zh) 2017-11-23 2017-11-23 影像目標追蹤方法及裝置
CN201711236252.4A CN109829933B (zh) 2017-11-23 2017-11-30 影像目标追踪方法及装置
US15/835,450 US10395379B2 (en) 2017-11-23 2017-12-07 Image object tracking method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106140751A TWI640931B (zh) 2017-11-23 2017-11-23 影像目標追蹤方法及裝置

Publications (2)

Publication Number Publication Date
TWI640931B TWI640931B (zh) 2018-11-11
TW201926141A true TW201926141A (zh) 2019-07-01

Family

ID=65034409

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106140751A TWI640931B (zh) 2017-11-23 2017-11-23 影像目標追蹤方法及裝置

Country Status (3)

Country Link
US (1) US10395379B2 (zh)
CN (1) CN109829933B (zh)
TW (1) TWI640931B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI732374B (zh) * 2019-12-10 2021-07-01 財團法人工業技術研究院 物件辨識方法及裝置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108428242B (zh) * 2017-02-15 2022-02-08 宏达国际电子股份有限公司 图像处理装置及其方法
CN112129317B (zh) * 2019-06-24 2022-09-02 南京地平线机器人技术有限公司 信息采集时间差确定方法、装置以及电子设备、存储介质
CN111487998B (zh) * 2020-04-13 2023-07-25 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种两轴四框架光电跟踪设备自动目标捕获方法和装置
CN112232272B (zh) * 2020-11-02 2023-09-08 上海有个机器人有限公司 一种激光与视觉图像传感器融合的行人识别方法
CN112615794B (zh) * 2020-12-08 2022-07-29 四川迅游网络科技股份有限公司 一种面向业务流量特征的智能加速系统和方法
CN113066085B (zh) * 2021-04-26 2023-05-30 华侨大学 一种目标实时视频测速方法、装置、设备和介质
EP4361952A1 (en) * 2022-10-26 2024-05-01 Toyota Jidosha Kabushiki Kaisha Method and system for tracking an object in a scene surrounding a mobile machine

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008224641A (ja) * 2007-03-12 2008-09-25 Masahiro Tomono カメラ姿勢推定システム
US8391615B2 (en) 2008-12-02 2013-03-05 Intel Corporation Image recognition algorithm, method of identifying a target image using same, and method of selecting data for transmission to a portable electronic device
TWI444593B (zh) * 2011-10-21 2014-07-11 Ind Tech Res Inst 地面目標定位系統與方法
CN103826539B (zh) * 2012-09-20 2016-11-02 东芝医疗系统株式会社 图像处理系统、x射线诊断装置以及图像处理方法
TWI509568B (zh) * 2013-10-25 2015-11-21 Univ Nat Kaohsiung Applied Sci 偵測多移動目標之方法
US9303999B2 (en) * 2013-12-30 2016-04-05 Google Technology Holdings LLC Methods and systems for determining estimation of motion of a device
US9437000B2 (en) 2014-02-20 2016-09-06 Google Inc. Odometry feature matching
TWI574223B (zh) * 2015-10-26 2017-03-11 行政院原子能委員會核能研究所 運用擴增實境技術之導航系統
TW201730813A (zh) * 2016-02-26 2017-09-01 國立交通大學 具有深度資訊之影像處理方法及其電腦程式產品
CN106845435A (zh) * 2017-02-10 2017-06-13 深圳前海大造科技有限公司 一种基于实物检测追踪算法的扩增实境技术实现方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI732374B (zh) * 2019-12-10 2021-07-01 財團法人工業技術研究院 物件辨識方法及裝置

Also Published As

Publication number Publication date
CN109829933A (zh) 2019-05-31
US10395379B2 (en) 2019-08-27
CN109829933B (zh) 2022-06-24
TWI640931B (zh) 2018-11-11
US20190156494A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
TWI640931B (zh) 影像目標追蹤方法及裝置
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
EP3420530B1 (en) A device and method for determining a pose of a camera
WO2016035324A1 (en) Method for estimating motion, mobile agent and non-transitory computer-readable medium encoded with a computer program code for causing a processor to execute a method for estimating motion
Kneip et al. Robust real-time visual odometry with a single camera and an IMU
CN111327788B (zh) 相机组的同步方法、测温方法、装置及电子系统
CN110706258B (zh) 对象追踪方法及装置
CN111382613B (zh) 图像处理方法、装置、设备和介质
EP3077992A1 (en) Fusing device and image motion for user identification, tracking and device association
US20220156973A1 (en) Information processing apparatus, information processing method, and program
US20190095745A1 (en) Systems and methods to improve visual feature detection using motion-related data
US10346709B2 (en) Object detecting method and object detecting apparatus
KR20120044484A (ko) 이미지 처리 시스템에서 물체 추적 장치 및 방법
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
JP2019149621A (ja) 情報処理装置、情報処理方法、およびプログラム
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
CN117896626A (zh) 多摄像头检测运动轨迹的方法、装置、设备及存储介质
JP6798609B2 (ja) 映像解析装置、映像解析方法およびプログラム
US9245343B1 (en) Real-time image geo-registration processing
Artemciukas et al. Kalman filter for hybrid tracking technique in augmented reality
KR20210028538A (ko) 가상 현실에서 인사이드 아웃 트래킹을 위한 imu 센서 데이터를 활용하는 가속 비전 기반 포즈 추정 방법
Yang et al. [POSTER] Fusion of Vision and Inertial Sensing for Accurate and Efficient Pose Tracking on Smartphones
JPH1194527A (ja) 画像処理を用いたステレオ計測方法及び装置
CN110660134B (zh) 三维地图构建方法、三维地图构建装置及终端设备