TW200919336A - Method for positioning a non-structural object in a series of continuing images - Google Patents

Description

200919336 九、發明說明： 【發明所眉之技術領域】 本發明係有關於一種在連續影像中計算非結構化物體 位置的方法，尤指一種初始化目標物體樣板後，利用追蹤 演算法計算出下個時間點的搜尋空間’並使用運動和邊緣 的影像特徵資訊來計算與樣板的相似程度’藉此追縱定位 出目標物體位置的方法。 【先前技術】 在人機互動的介面中，單純以影像處理來辨識使用者 的活動，相對於穿戴式、接觸式的感測工具輔助較為困難 許多，而且影像處理所需要的記憶體和處理時間需求很 大，要達成即時反應的效果相對不易；除了希望追縱定位 的特定物件外，往往含有許多背景、雜訊、光線變化等干 擾因素，因此目前技術多需要用架設多台攝影機、配合其 他感測元件，或要求單純的背景環境等方式來達到良好的 辨識率。 就習知專利而言，如美國發明專利第6434255號「Hand pointing apparatus」，該案提出一種手部指向的方法，以 3D視覺方式定位之，需要二台影像擷取裝置計算3D空間 資訊。 如美國發明專利第6600475號「Single camera system for gesture-based input and target indication」，該 案提出單一攝影機系統下以姿態為基礎的目標指向，其係 200919336 以空間幾何的關係來定位追蹤，且定位追蹤物體前需要設 定四個參考點。 如美國發明專利第7148913號「Vision-based pointer tracking and object classification method and apparatus」，該案提出提出以視覺為基礎的指向追蹤和物 體分類的方法，以追蹤演算法縮小搜尋區域，再使用預測 方式追蹤物體，且以辨識該區域有無該物體來確認其位置。 如中華民國發明專利申請第911 181463號「指動式指 標輸入裝置」，該案所提出之輸入裝置，需要安裝二台影像 位置感知器，一用以偵測手部水平位移，一用以偵測手部 垂直位移，且該專利僅能針對手部位置之定位。 再如中華民國新型專利申請第95217697號「電腦指標 操作裝置」，該案所提出之指標操作裝置，使用者必須於指 尖配戴指環以作為定位追蹤的依據，換言之，該專利只能 追蹤定位配戴有指環的物體。 據此可知，如何利用最少的裝置，使用最自然的方式 與機器達到互動，無須任何標記或感測工具，且不限定物 體形狀，即可快速追蹤出物體位置，是急需解決之重要課 題。 【發明内容1 有鑑於習知技術之缺失，本發明之目的在於提出一種 在連續影像中計算非結構化物體位置的方法，僅需要一台 影像擷取裝置，使用者不需事先做冗長的訓練，無須佩戴 7 200919336 或設置任何標記、感應器或感測工罝， 體位置；不限定特殊开4可快速追縱出物 # ^的物體，而且非結構化的物 了以疋位其位置；使用者可以利用〗=體亦 然的方式與機器達到互動的目的。 、使用取自 非社上述目的’本發明提出—種在連續影像中叶曾 樣板，並分析出其中特徵部;===體的線條 Ο c 之連續影像，並利用，亥連#德由f 後細取目標物體 化’什异出目前影像特徵部分 選位置周圍影像於該連續影 位置周圍影像與目標物體度u及该候邊 計算出之差里程声樣板的相似度；再利用所 产，叶瞀中曰許:W及與目標物體的線條樣板的相似 汁π出目軚物體之特徵部分在影像中的位置。 2使貝審查委員對於本發明之結構目的和 進一步之了解與認同，兹配合圖示詳細說明如后。有更 【實施方式】 用的m字參照隨附之圖式來描述本發明為達成目的所使 助1月久，效’而以下圖式所列舉之實施例僅為輔 於所列舉圖式。 貝㈣但本案之技街手段並不限 請參閱圖一所示本發明提供之在連續影像令計算非結 冓化物體位置的方法之演算流程圖： 步驟ιοί :定位追蹤程序開始。 步驟102 .初始化使用者欲定位追縱的目標物體樣板；請 200919336

參閱圖二所示，其顯示藉由一影像擷取裝置2〇 糊取使用者30之影像，並顯示於一螢幕仙上， 於該螢幕40上設有一特定區域41，該特定區 域41係供設定初始化使用者欲定位追蹤的目 才示物體樣板，如圖所示，該凸伸食指3 1 1之手 部31係為預定位追蹤之目標物體，使用者別 自行調整位置Μ吏該手冑31可完全位於該特定 區域41 Θ ’再由系統分析該手部31之邊緣特 徵，作為初始化物體樣板，並設定一初始化 重值。

步驟103 統於目標物體（亦即圖二所示該凸伸食指如 之手邛31)上疋位一參考點位置，並紀錄該參 考點之亮度，作為系統追縱之用。該參考點位 =可依所需設定，通㈣位於分析所得目標物 體，輪廓線條較為突顯之部位，如圖二所示， 该芩考點位置係位於食指311之指尖。 '驟1G4偵測參考點的周圍像素亮度變化，包含該影像 ^灰階梯度’計算與原參考點亮度變化最接近 的位置座標，。 ^ 步驟 步驟 1〇5 =得到與原純點亮度變化最接近的新位置座 ^則將原參考點移至新位置座標；反之，則 表示追縱失敗。

1 UU 物it度Μ化太Α或其他因素，例如原目標 响失，或原初始化目標物體外型改變過時:二無法追蹤到下個時刻參考點的新位置 廣重新初始化物體樣板，回到步驟川2。 200919336 步驟10 7 :當追蹤到下個主 的參考點位置丄考點的新位置時，則以新 置，藉此縮小；搜尋空間大小和位 的時間。^空間’有效地節省搜尋 步驟108:計算初始樣板在 常情況下，相對域動程度;於正 例如使用者30之頭Π 其他物體， 家呈2、身體33,或窗戶、 上示出)等等’該凸伸食指311之手 L可疋螢幕4〇上運動量最大之物體，因 動程工2搜尋區域中初始物體樣板具有運 標。又取同、位置，得出目標物體之新位置座 步驟109 區域中之目標物體的邊緣特徵和初始 ^板的相似度，並擷取相似度最高的位置座 就圖二所示該該凸伸食指311之手部31而 二^使手部31及該食指3⑽移動過程中產 又變化，或食指3Π之彎曲度改變，基本 上均可維持與初始化物體樣板相近似之邊緣特 徵’換s之’使用者3〇於進行步驟1〇2初始化 物體樣板前，必須選定最適當的目標物㈣ 狀’且於定位過程中不再大幅度改變原目標物 體形狀。 步 110 :確認搜尋空間中以運動程度和邊緣特徵計算出 權重值最高的位置座標。 步驟m:計算搜尋結果得到的權重值是否低於初始化權 重值；若低於初始化權重值，代表找不到相似 200919336 的物體樣板，則必須重新初始化物體樣板（步驟 106)，回到步驟1〇2。 步驟112 :若搜尋結果得到的權重值高於初始化時的權重 值，則將新定位到的樣板位置更新參考點。 根據上述流程，可歸納出本發明所提出之在連續影 中計算非結構化物體位置的方法具有以下主要步驟：、 A.建立目標物體的線條樣板，並分析出其中特徵部分的 位置，可先過濾'出目標物體前景後，再建立目標物體 的線條樣板；再者，所建立目標物體的線條樣板，^ 包含計算出目標物體亮度變化較大的線條資訊，以及 計算出目標物體色彩變化較大的線條資訊，以取得最 佳化線條樣板。 取 B·，取目標物體移動時之連續影像’並利用該連續影像 中4】徵部分之亮度變化，包含該連續影像的灰階 梯f’以計算出目前影像特徵部分的候選位置。

C.计异該候選位置周圍影像於該連續影像中的差異 度，包含分析該目標物體於該連續影像_之運動: ，二亚使用權重累計該候選位置座標周圍影像於該 々影像中的差異程度；以及，該候選位 目標物體的線條樣板的相似度，包含在接收=象： ί入目標物體之特徵部分在影像令位置：同 日守，重新建立目標物體的線條樣板。 川 所計算*之差異程度’以及與目標物體的 線條樣板的相似度，並採用權重累加差異程产的 度以計算出目標物體之特徵部分在影像中的^置以 綜上所述，本發明所提供之在連續影像中計算非結構 200919336 化物體位置的方法，利用最少的 •動，無須任何標記或感方式 ,;形狀二即可快速追縦出物體位置；可運用J不限定物 域’例如： 堤用於不同產業領 (1)遊戲玩具相關產業··只需單— 置於體積較小的玩具令，有機會讓玩具更容易放 i吏”，簡單手勢㈣玩具的可行性 "-攝影機可裝置於螢幕或 對豕庭遊戲而 Γ 環境做額外的更動。 機上，不須對家庭 (2)運動休間相關產業：運動休 個人適性化，不需冗長的事_ 勢^周 適應每個❹者的手勢或姿態。 ^易達到自動 =)互動展示相關產業：對於互動展示可進— 見十’透過無接觸式的感測，讓使用者可 ^ 做類似滑鼠一般的控制，可進一 場的應用範圍。 炊立勒展不市 j _上所述者，僅為本發明之實施例而已， 本發:月所實施之範圍。即大凡依本發明申請專利範 a鬥Γ之均等變化與修倚，皆應仍屬於本發明專利涵蓋之 輕圍内，謹tf貴審查委員明鑑，並祈惠准， 【圓式簡單說明】 圖一係本發明之演算流程圖。 圖一係本發明之架構示意圖。 【主要元件符號說明】 200919336 20-影像擷取裝置 30- 使用者 31- 手部 311-食指 32- 頭部 33- 身體 40- 螢幕 41- 特定區域

Claims (1)

1. 200919336 十、申請專利範園： 續影像中計算非結構化物 下列步驟： y β次’包含 Α:目標物體的線條樣板’並分析出其中特徵部分的 Β.榻取目㈣叙連續影像，_㈣連 Γ Ο 圍之亮度變化，物目前影像特微I::: ^算該㈣位置周_像於職續影料的差 度，以及該候選位置周圍影像與目標樣^ 的相似度；以及 條樣板 D.利用步驟（：所計算出之差異 ::樣板的相似度，計算出_ = = 像中的位置。 刀仕，ΐν 2.如申睛翻範11第1項所述之在連續影像巾計算非結 化物體位置的方法，其中該步驟Α係共老 ’、σ Α係先過濾出目標物體 別不後，再建立目標物體的線條樣板。 3·如申請專利範圍第丨項所述之在連續影像 化物體位置的方法，苴中碎牛聰Λ & i Fm 〃中心驟A所建立目標物體的線 ，樣板，係包含計算出目標物體亮度變化較大的線條資 sfL 0 4.如申請專利範圍第i項所述之在連續影像中計算非结 化物體位置的方法，其中該步驟A所建立目標物體的線 條樣板，係包含計算出目標物體色彩變化較大的線條資 14 200919336 訊。 5. 如申請專利_第丨項所述之在連續影像中計 化物體位置的方法，其中該步驟β係擷取；二 動時之連續影像。 知物肢移 6. 如申請專利範圍第丨項所述之在連續影像中計 化物體位置的方法，其中該步驟B所湘之連J景; ，徵部分之紐變化’係包含該連續影像的灰階梯 7. 如申請專·_丨_述之錢續影像巾計 化物體位置的方法’其中該步驟c所計算之該候選^ 座標周圍影像於連續影像中的差異程度，係包含 目標物體於該連續影像中之運動程度。 刀^ 8·如申請專魏_丨额狀錢續影料計 化=體位置的方法，其中該步驟c所計算之該候選^置 座標周Uf彡像於連續影像巾的差異轉，係 Ο =、計該㈣位置純影像於料續影像中的差= 9·如申請專職圍第i項所狀錢續影像㈣ =物，位置的方法，其中該步驟c所計算之該候敎置 。圍影像與目標物體的線條樣板的相似度，係包人 =續影像輸人並計算目標物體之特徵部分在影^中位 置的同時，重新建立目標物體的線條樣板。 10.如申請專利範圍» i項所述之在連續影像 結構化物體位置的方法，豆巾^ ，、U度與相域以計算出目標物體之特徵部分在 200919336 影像中的位置。

   16