TWI363286B - Method and apparatus for detecting motion of image in optical navigator - Google Patents
Method and apparatus for detecting motion of image in optical navigator Download PDFInfo
- Publication number
- TWI363286B TWI363286B TW100110699A TW100110699A TWI363286B TW I363286 B TWI363286 B TW I363286B TW 100110699 A TW100110699 A TW 100110699A TW 100110699 A TW100110699 A TW 100110699A TW I363286 B TWI363286 B TW I363286B
- Authority
- TW
- Taiwan
- Prior art keywords
- block
- image
- sub
- blocks
- area
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
1363286 六、發明說明: 【發明所屬之技術領域】 本發明係關於光學成像及動作偵測。本發明在諸如電腦 滑鼠之光學手持指標元件中使用之積體電路及韌體中2 特定應用。 '、 【先前技術】 先前技術包括一定數量不同技術,用於原理上藉由比較 時間上連續之影像以偵測動作來估計並偵測影像動作。= G 寻技銜包括: 錢專利第6,859,199號(其以引用的方式併人下文)主 要經由特徵提取以進行工作。所揭示的演算法藉由以下步 驟進行工作: ’ 時間上在該第一影像 自一第一影像提取一第一特徵組,自 之後之一第二影像提取一第二特徵組 比較該第一特徵組與該第二特徵組以決定該第二影像相對 於該第一影像之位置位移;
C 輸出基於該位置位移之一移動向量。 此技術之缺點包括以下事實:在該第一及第二特徵組中 必須存在相當大量之元素以精確確定該移動向量。 美國專利第5,729,008及5,786,804號(-起以引用的方 —區塊匹配形式,立為下蛘作三 擷取一第—訊框及一第二訊框; 將該第一訊框之訊號關聯至該第二訊框之訊號; 產生動作之關聯輸出。 -3- 1363286 β ί 、此方法之缺點在於··當僅使用—區塊以執行區塊匹配方 法時’此區塊中之元素必須^夠媒保匹配之精確性。此外, 此區塊越大,則計算及記憶體越複雜。 【發明内容】 因此本發明之-目標為克服先前技術之上述限制。 另一目標為實施-影像追縦方法/系統,其具有改良準確 性同時不需要大量計算時間及記憶體等; 再一目標為提供一影像追縱系統/方法,其使用-邏輯追 蹤單元’該單元為兩個或兩個以上獨立實體參考單元之所 構成; -相關目標為提供一影像追蹤系統/方法,其使用一邏輯 追蹤單元’若有動態行動的方式需要,該單元可以變動; 另一目標為提供一影像追縱系統/方法,其藉由使用在動 作追縱計算中提供冗餘之補充追鞭單元減少歸因於地形變 化(t〇P〇graphical variati〇n )、《變化等導致之計算及追蹤 錯誤(可位於一感應器陣列下)。 本發月之帛-癌樣係關於使用影像感測器決定與一組 移動影像關聯之移動向量的一系統及方法。此包括:擷取 對應於-第-區域之一第一影像;自該第一影像決定包括 小於該弟·—區域之一φ F Γ5* A & ^ 主&塊&域之一主區塊;及自該第一 影像決定與該主區塊相關之至少一副區塊,該副區塊包括 亦小於該第一區域之__副F换π u ,丄 ^田i £塊&域(在此情形下該主區塊 及該副區塊形成該第—影像中之—追蹤單元);使用該影像 感測器擷取在時間上在該第一影像之後之一第二影像;使 -4- 1363286 用該追蹤單元將該第一影像與該第二影像關聯以決定追蹤 單元影像之間的位置變化;及輸出基於該位置變化之移動 向量。在一些應用中,該追蹤單元包括複數個獨立副區塊, 且其包括尺寸及/或形狀不同的至少兩個區塊。通常主區塊 係运自該弟一影像之一中部區域;在一些情形下,其可JL 有不同於該副區境之形狀。 在較佳實施例中,該關聯過程包含:區塊匹配第一影像 之主區塊在該第二影像中以決定該第二影像中主區塊相對 於第一影像之位置位移;及藉由.該第二影像中第一影像之 副區塊進行雙檢驗以確認該第二影像相對於該第一影像之 位置位移。在偵測到超出一可控制、可程式化之臨限值之 相關時終止該關聯。在一些實施例中,組合主區塊與副區 塊使得對於主區塊與副區塊兩者同時執行該關聯。 本發明之其他態樣係關於一副區塊,其較佳在面積上小 於主區塊,且由至少一像素寬之一中間區域而與主區塊隔 j定位。儘管兩區塊亦會重疊。另外為決定副區塊,.較佳. 藉由將曰彳區塊之候選組之像素值與主區塊作比較以評估副 區塊之該候選組。在某些環境中可能期望藉由決定與主區 塊相比變化最多之副區& (意即.,藉由像素強度值或類似 參數)來選擇一副區塊。 本發明之另一態樣係關於一副區塊,其亦較佳在各個時 =處在影像内被重定位。可基於此副區塊在第:影像中之 一位置分析或參考移動向量之分析來完成此重定位。 本心明之另-態樣係關於—副區塊’其亦較佳在各個時 -5- 1363286 間處在影像内被重成形。可基於副區塊區域之光學特徵相 對於主區塊區域之光學特徵之分析及/或移動向量之分析 來完成此重成形。 某些實施例之另一態樣為主區塊及/或副區塊在第二影 像中被計算之預測位置。該關聯可因此在該預測位置處或 在該預測位置周圍處的一有限區域中開始。 本發明之其他態樣係關於一移動向量,魏佳係基於债 測在主區塊中之第一位置位移及在副區塊中之第二位置位 移,及基於該第一位置位移及該第二位置位移來計算一估 計位置位移。該估計位移可為該第―位移與該第二位移的 重平均。 本發明之另一態樣係關於一動作方法,用於決定包含一 影像感測器之一光學追蹤裝置之相對運動,該方法包含以 下步驟.擷取由分別代表由該影像感測器感知之光強度之 像素值的-陣列組成之―第—影像;選择在該像素值之陣 列中的-第-區塊及至少—額外特徵(.其與該第_區塊成 一預定關係),以建構一第一追縱單元;揭取在時間上在該 第一影像之後之m.彳貞測在該第二影像中最匹配 該第-影像中第—追縱單元之一第二追縱單元;根據該第 一追縱單元與該第二追縱單元之間之位移決定自該第一影 像至該第二影像之-相對運動;及基於由該影像感測器所 擷取之影像之-或多個累積相對運動報告該光學追蹤裝置 之一動作。 本發明之一相關態樣係關於一光學導航系統,包含:一 •6- 1363286 影像感測up車列,其適於_取對應於—第—區域之一第一 影像及時間上在其之後對應於_第二區域之m •及一處理電路,其適於: • a.自該第一影像決定包括小於該第一區域之—主區塊區 域之一主區塊; b_自該第一影像決定與該主區塊相關之至少一副區塊, 該副區塊包括亦小於該第一區..域之一副區塊區域; c,形成一追蹤單元,其包括該主區塊及該副區塊; C d.使用該追蹤單元將該第—影像關聯至該第二影像以確 疋該追縱早元在影像之間之一位置變化; e.輸出基於該位置變化之移動向量。 該光學導航系統較佳由—或多個積體電路組成,容納於 一指標裝置中,且耦接至基於該追蹤單元而操作之一計算 系統。在多數情形下,處理電路包括一 Dsp及一可執行程 式指令集合。 本發明之又一態樣係關於一光畢導航器,其包含:—影 c 像感測器,該感應器經組態以捕捉一第一影像及一第二影 像;用於自該第-影像決定—主區塊之構件;用於自該第 一影像決定與該主區塊相關之一或多個副區塊之構件;其 中該主區塊及該或該等副區塊形成在該第一影像中之—追 蹤單元;用於使用該影像感測器擷取在時間上在該第—影 像之後之一第二影像之構件;用於使用該第一影像之追蹤 單元將該第一影像關聯至該第二影像之構件。該關聯過程 包含: ·Ί· 1363286 將第一影像之主區塊區塊匹配至該第二影像中之—位置 以決疋該第—影像相對於該第一影像之位置變化;及藉由 識别該弟一衫像中該或該等副區塊相對於該第一影像之位 置而驗證該位置變化。另外,提供用於輪出基於該位置變 化之移動向量之構件。 自實施方式中可瞭解本發明可在各種不同實施例中實 細。此外,熟習此項技術者易瞭解此等不同實施例將可能 僅包括本發明上述態樣及目標之—或多者。因&,在任何 特定實施例中^包括此#祕之_❹者不應理解為限制 本發明之範疇。儘管在光學滑鼠之.情形中進行描述,熟習 此項技術者易瞭解本教示可用在基於影像操取以估計物件 之動作的任何系統中。 【實施方式】 圖1中展示用於追蹤物件動作之一光學導航系統1〇〇之 較it貝施例。一感應器陣列i丨〇輕接至一處理模組12〇 及記憶體130。通常在光學滑鼠應用中,此等電路在一或多 個積體電路中實現,該或該等積體電路與諸如透鏡、照明 部件(LED、雷射等)及其他熟知組件之其他支擇結構一 起安裝在-印刷電路板(未圖示)或其他基板上,為清楚 起見將其略去。 處理模組1 20又由一定數量個熟知硬體及軟體組件組 成,包括基於半導體之處理閘及用於實施本文所描述之發 明方法的可程式化韌體。又,在光學滑鼠應用中,一移動 向里通常由電纜連接或無線連接經由一通訊通道1〇6傳輸 個人兒腦l〇5,或某些其他電子處理 用,處理模組i20可被整人為、丨於八他應 , 。為一指標裝置1〇〇(較佳為手持 部分,其協作以提供動作相關訊號給不同類型平臺,· 2㈣遊戲控制臺、音頻/視覺娛樂系統或某些其他互動 μτ裝置m項技術者將易瞭解其他實施例。 圖2A描述叫6x16陣列之CMOS影像感測器,其可用 =本發明之光學導航器(例如光學滑鼠)#以操取一參考 c 衫像及U連續樣本影像。儘管此較佳實施例中使用 16X16陣列,但當然亦可使用其他陣列大小。 圖2B展示本發明之一追蹤單元,其包括一主區塊(M) 一至y衂區塊(A 兩種區塊最初在一參考影像中被決 定(見下文之时淪)>較佳主區塊大概位於靠近影像之中心 部分處且副區塊大小上小於主區塊且由至.少一像素與主區 塊隔開。舉例而言’在圖4B中,一主區塊包含5χ5區境, —副區塊包含空間上偏移之獨立3χ3區塊。又,亦有可能 c 使該等區塊重疊,且期望精確大小及關絲據所要應用及 效能要求而變化。 使‘用多個區塊之優點為精確度得以提高,因為較小區塊 充當一動作驗證形式或檢驗器,且可幫助減少與僅檢查影 像之一單一子區的解決方案相關之問題。在後者情形下, 有可能影像在訊框之間之變化(歸因於光變化、主區塊之 縮減或扭曲等)可減小精確度。本發明因·此提供一光學影 像冗餘檢驗形式。 圖3描述根據本發明之教示執行之一光學導航器追蹤過 •9· 1363286 程200的第一實施例的流程圖。如上所述,此等步驟較佳 由使用一 DSP之處理模組120或使用儲存(且可被載入/ 改變)於系統100中之韌體程式之其他可程式化處理器執 行。 因此’一第一實施例如下操作: 步驟1:在操作210中擷取一第一影像作為一參考影像; 步驟2:在操作220中自該參考影像決定一主區塊(M); 又,在一較佳實施例中,通常自影像訊框之一中心部分選 擇一區塊;但是如下文所解釋,一主區塊(M)可能不一 定為矩形形式。 步驟3: φ操作230決定至少一副區塊(A)或與主區塊 (Μ )相關之特徵。又,如上所述,副區塊或特徵較佳在 大小上小於主區塊,且與主區塊隔開一預定距離,使得在 兩者之間有一中間區域。此外,.在一較佳方法中,藉由相 對於主區塊之像素強度值檢查候選區塊之相對像素強度值 來選擇副區塊。為增加區別能力,期望(在許多情形下) 選擇大體上強度值與主區塊不同之一副區塊/特徵。因此, 可藉由根據與主區塊之像素強度比較或此項技術中已知之 其他一些光學基準給候選區塊排序來選擇一副區塊。下文 中,主區塊及副區塊指在參考影像内之一追蹤單元,其可 考慮為一邏輯追蹤單元,因為其能夠被改變(若須要則包 括訊框間改變); 步驟4 :在揲作240中擷取時間上在該第一影像之後之 一第一影像作為一樣本影像; ^63286 * ^ 藉由操作25〇執行區城匹配以定位在第二樣本 衫像中參考影像之主區塊(M),以0樣本影像相對於第 一影像之位置位移; 步驟6:藉由操作㈣樣本影像中參考影像之副區 塊⑷執行雙檢驗,以確認樣本影像相對於參考影像之位 移在某些f月形下,且在區別主區塊與副區塊計算值 間之差異的事件中可期望將主區塊與副區塊計算值進行
C c 平均,或基於產生最大關聯之任何計算值,及/或基於主區 塊計算值可能比較小副區塊計算值更精確(因為其包圍更 2的面積)之假設’來使用某種形式之權重。此外,從計 异迷度之觀點看,可能在案些情形下期望基於區塊Μ之計 算距離自動選擇區塊(Α)之預測位置’並接著計算在此預 測位置處之關冑’且在距離主區塊之有限偏移内(意即, +" 1或2個像素)以避免相對於整個訊框作區塊比較。若 在此有限區域内未發現區塊(Α)之關聯,則在任何情形中 ㈣可能需要㈣,塊’所以可能期望在某些情形下使 用此形式之推理計算。 步驟7:操作270然後輸出基於該位置位移之一移動向 注意儘管一較佳實施例輸出自影像至影像之一移動向 量:但並不-定非得如此’相反可基於非連續資料訊框來 執行一關聯,及/或僅當事實上偵測到位置之明顯變化超出 某 臨限時輸出一向量。 y驟A.操作275決定副區塊之一或多者是否應重成形。 舉例而言,若主區塊(M)與副區塊(A)之像素值大體上 1363286 —~ ’表明其並非明顯不同以改良效能之追蹤區 ,則可執行此步驟。下文中對此作進一步解釋;亦可採 用重成形副區塊之其他原因。 V驟8 .操作28〇基於所偵測到之動作及區塊(A )之已 知位置判斷副區塊(A)是否應重定位。舉例而言,可為了 防止由於副區塊(A )太靠近邊緣而在隨後樣本影像中丟失 而執行此步驟。若“是”,則過程進行至步驟3 ;若“否”, 則過程進行至步驟9。 、步驟9 .操作29G又使用習知技術決定參考影像是否應 被替換。若參考影像應被#換,料程進行至㈣1;否^ 過程進行至步驟4。 因此,圖1中至流程圖邏輯上說明一光學導航器如何採 用參考:像中-個5x5主區塊與-個3X3副區塊之追蹤單 兀以決疋移動影像之移動向量。熟習此項技術者易瞭解此 處並沒有將與影像關聯之所有步驟包括在内以更好闡述本 發明’且可使用額外操作以補充以上操作作為習知系統之 此外,應瞭解上述步驟並不—定必須以所展示之精七 序執行,亦可根據需要使用其他組合。舉例而言,可以3 反順序執行主區塊及副區塊操作。對於涉及副區塊之重; 位及參考#像之重#|取之.操作亦可以相反順序執行。在; -fWF ’可在步驟250之後輸出—預備/預測移動向量 而非等待檢驗操作之結束。若預備向量不正_,^ 在步驟270處提供更新。此外應注意視㈣塊之數量及月 •12· 1363286 要精f度而㈣作26G可執行多次。顯而易見可符合本教 示而得以執行之其他實例。 冑4A至圖4B為根據本發明之-全部影像類取過程之較 佳實施例的圖形描述。在圖4A中展示步驟i (顧取袁抑 像—操作21〇)、步驟2(識別一主區塊⑻—一操作咖) 及步驟3 (識別一或多個副區塊—操作23〇)。又,如上 所述,較佳藉由檢查子區塊之―候選組並基於諸如與主區 塊相比之相對像素強度值、預测行進方向等之參數選擇一 C 組而選擇副區塊(A )。 •.目4B展示步驟4 (操作24〇中榻取一新樣本影像)、步 - 驟5(操作250將區塊⑻(在先前位置中以虛線展示) 匹配至樣本影像中之-新位置)及步驟6(操作⑽將區塊 (AM在先前位置中以虛線展示)匹配至樣本影像中一新 位置)。步驟7然後使用圖示之操作27〇輸出一移動向量。 圖5A至圖5J為根據本發明實施之一主區塊或主要區塊 C ㈣己操作250 (㈣5)之一較佳實施例的圖形描述。如圖 所示’在圖5A中,由力; . θ 6訊框(代表儲存於記憶體 .中之感應器陣列110的邏輯像素值)之左上角的一上列 中之初始位置處開始並隨後逐漸以線性方式在一行隹人上 -次移過-個(或多個)像素(圖5B、圖5C)直$制 =列之末端(圖5D)來侧到—新訊框中m塊(m)。 對於偏移一或多個傻音夕—别舌、@斗 夕個像素之.列重複該過程(® 5E)。由於 ^12個水平及12個垂直位置’故可看出執行最多⑷ 人蜀立關聯·’然而熟習此項技術者應理解此數量為主區塊 -13- 1363286 (Μ)大小及陣列大小之函數,且本發明並不受限於此。 :圖51及圖5J中所示然後執行匹配。在此點上,該過程 可停下,或若需要可執行另一比較以確保與該訊框之其他 子區塊之匹配的精確度。儘管上述過程開始於該訊框之左 上角,但熟習此項&術者應理解可使用其他開始點及行進 方向。此外,可期望在最關聯至主區塊之一動作預測之一 角落上開始,及/或僅檢驗基於根據先前移動向量之一預測 位置的該訊框之-有限區域。舉例而言,若區& (m)被 偵測到以向量+2,+2(^座標)移動,則可能期望從-右 上角在下一訊框中開始檢驗,及/或在上部中開始搜尋。 圖6A至圖6F為根據本發明實施之次區塊/補充區塊或副 區塊匹配操作之一較佳實施例的圖形描述。可看出,在一 新訊框内#測到一主區塊(M)之後,本發明過程定義且 預測該訊框之一窄子部分作為搜尋副區塊(A )之面積。因 此,在圖6A中,操作260開始於16xl6訊框(代表儲存於 記憶體130中感應器陣列11〇.之邏輯像素值之子集)之一 子區塊之左上角上列中的初始位置。在該較佳方法中該 子區塊包括由自主區塊(M)之一角落延伸之水平及垂直 線界定的-區域。與主區塊(M)._樣,—匹配操作逐漸 在一行集合上以線性方式一次位移過一個(或多個)像素 (圖6B、圖6C)直至到達該列之末端(圖6D)e對於偏移 一或多個像素之一列重複該過程(圖6E )。由於存在6個 水平及6個垂直位置,故可看出執行最多%次獨立關聯; 然而熟習此項技術者應理解此數量為副區塊(A)大小、主 -14- 1363286 * * 區塊(Μ)大小、主區塊(M )之位置及陣列大小之函數, 且本發明並不受限於此。如圖6F中所示然後執行匹配。在 此點上,該過程可停下,或若需要可執行另一比較以確保 與該訊框之其他子區塊之匹配的精確度。又,在某些實施 例中,基於-先前移動向量提前預測區塊(A)之位置且僅 檢驗訊框之一有限區域可能具有優勢。 在一較佳實施例中,主區塊(M)及副區塊(A)之區塊 广匹g&使用-或多個熟知公式用於基於與臨限值(了)或最小 、.值之比較之像素關聯,諸如: 或 ΣΙΧ; -乂丨—最小値 i=l 其中Xi為樣本影像之主區塊中之元素,Yi為參考影像之 主區塊中之元素,且τ為預定臨限。當然可使用其他演算 法’且本發明並不在此方面受限。 G 在某些實施例中,可使用如圖7A至圖7J所說明由主區
塊及副區塊形成之組合追蹤單元同時定位/匹配主區塊(m) 及副區塊(Α>在此方法中,同時對兩個不同區塊執行關 聯。因此,在圖7A中,在新樣本訊框中檢驗區塊(M)及 區塊(A)。如圖7B、7C、7D等所示,每一者皆被水平位 移一個像素。在圖7E中,該等區塊亦被垂直位移一個像素 且該過程如圖7F、7G及7H所示被重複。在圖71中,該 等區塊開始佔據新位置(呈現更接近之關聯),且在圖7J -15- 1363286 令,由對兩區塊之比較決定匹配。 在副區塊開始接近訊框邊緣之情形下,較佳執行重定位 操作2 80。圖8A至圖8ρ·為根據本發明實施之該過程之一 較佳貧施例的圖形描述。從圖8A中可見,當在一角落位置 (當然其他位置亦有可能)偵測到一副區塊(A)時,執行 重疋位以移動該副區塊至一新副區塊位置,如圖8B所示。 在此情形T,藉由繞垂直於所量測之移動向量之軸旋轉而 選擇-新區塊。又’精確位置亦.可根據新提議副區塊位置 之相對像素強度而變化,且可估計許多位置以選擇一新副 區塊® 8B中之選擇亦利用移動向量資訊以有意選擇最有 可能處於下-樣本影像訊框之中心且事實上位於該處的一 區塊。在圖8C及8D中描述類似情形。然而,在此情形下, 由於副區塊接近-水平邊緣’故繞平行於該邊緣之轴翻轉 該區塊以重定位至主區塊之左邊,而非之前使用的右邊。 熟習此項技術者亦瞭解其他實例,且若必要可根據應用及 在訊框之間改變所採用之特定策略。 圖8E及8F描述主區塊(M)開始佔據感應器陣列之 -邊緣之情形。在此等情形下,在操作29Q中參考影像較 佳由影像感測器擷取之-新影像替換。或者,或除此之外, 亦選擇一新主區塊(M)及—新副區塊(Α)β 藉由使用上述追蹤單元方法,可適當地調節副區塊相對 於主區塊之位置及職塊之數量以Μ各種影像條件且有 效偵測影像之動作。 如前文間接提到,可能期望亦在操作275 (步驟Α)中重 •16- 1363286 成形或重選擇副區塊。圖Μ至圖9B為根據本發明實施之 田J區塊重成形過程之—較佳實施例的圖形描述。在圖9八 中可見’為一所提議之副區塊識別之平均像素強度值相對 接近為主區塊(M)而識別之平均像素強度值。在此情形 Γ,副區塊之益處減少了,因為其並不提供任何明顯新的 貧訊給關聯過程。為,士 , 马此原因,如圖9B所示,較佳自一替換 區域選擇_新㈣m平均像素強度值比之前提議之 副區塊與主區塊相比更加不同.。 其他情形亦可要求重成形/重定位副區塊。舉例而言,在 /某些環境下可能決定導航器之快速移動引起該指標.裝置之 行進方向的交形。換言之,影像可歸因於考驗採樣率之快 :移動而變形;期望保持後者較小以減少功率等。因此可 月b執行曰彳區塊之重成形以補償動作之方向及幅度,使得— 新區塊具有在一比較過程中比較不容易扭曲或發生錯誤之 幾何形狀。舉例而言’當在水平方向上_到快速動作時, c 可採用在垂直方向上具有相對較大尺寸之一新副區塊反 之亦然。 一除上述之實施例之外,圖10A至圖1ΌΚ為可根據本發明 貫鈿使用之一追蹤單元之一定數量個變型的圖形描述。可 看出該追蹤單7C可基於各種主區塊形狀及副區塊/副特徵 形狀。在某些應用中,可能期望使用連續區塊(圖ι〇Α、 10Β)、隔開區塊(圖10C)'不規則(例如,非矩形)匹配 形狀(圖10D)、不規則形狀與規則形狀之組合(圖1〇Ε、 10F)、多個副區塊形狀(見圖1〇1、10J、1〇κ)、多個重疊 •17· 1363286 副區塊形狀(圖1GG)且甚至重疊主區塊與副區塊形狀(圖 10H)。因此,應理解本文所使用之“區塊”或“特徵,,並 不—定代表矩形/方形實體區塊,且該主區塊與副區塊之一 或兩者可為不規則形狀。基於本揭示内容熟習此項技術者 將易瞭解其他實例。 應瞭解由處理模組120使用以實施上述本發明方法之韌 體程式可以沾知方式在製造物件(諸如普遍用於傳輸此等 程式之傳統電腦可讀媒體)中得以實現。此等媒體可包括 快閃驅動器、軟碟機、磁帶、硬碟、光學驅動器或等效非 揮發性儲存系統。以此格式,該等程式可容易地得以傳輸。 或者在上述中,程式可實施為一單獨積體電路之非揮發性 儲存部分之部分,或嵌入為在典型DSP、微處理器或risc 處理器之架構中非揮發性儲存結構之部分。用於執行此等 程式之指令可如同其他程式R0M 一樣且使用習知製造技 術經編碼或實施於矽或金屬中。 此外熟習此項技術者應瞭解本文中闡述内容並非可使用 之程式之全部集合,或此等程式執行之所有操作的無遺漏 清單。事實上,期望光學導航器設計者根據客戶偏好及/或 系統效能要求添加其他特徵。 另外’熟習此項技術者易瞭解實施本發明之—光學導航 系統視目的使用者之需要、要求或願望及其他技術限制而 定可能不包括如上所示之所有程式。因此,本發明並不限 於上述之較佳實施例。最後,本文中雖未清楚展示或描述, 在該等模組t實現上述功能所需要之各種軟體程式、可執 •18· 1363286 « * 行瑪等之細節對本發明而言並不重要,且可基於本描述以 熟習此項技術者已知之任何數量的方式得以實施。 上述描述目的僅為所提出本發明之說明性實施例。應理 解本發明所提供之保護亦包括並延伸至在本發明申請專利 範圍之範疇内且與上文不同之實施例。 【圖式簡單說明】 圖1為根據本發明之教示建構之—光學導航系統的較佳 實施例的基礎方塊圖; 圖2A說明在本發明中採用之感應器陣列之一較佳實施 例; 貝& 圖2B說明與該感應器陣列關聯之追蹤單元之一較佳實 施例; 、 圖3描隸據本發日月之教示執行之-光學導航器追縱過 程的教佳實施例的流程圖;
C 圖4 A至圖4B為根據本發明之一全部影像類取過程之一 較佳實施例的圖形描述; — 圖5A至圖5J為根據本發明實施之—主區塊或主要區境 匹配過程之一較佳實施例的圖形描述; 圖6 A至圖6F為根據本發明實施之次區塊/補充區塊或副 區塊匹配過程之一較佳實施何的圖形描述,· 圖7A至圖7J為根據本發明實施之—複合(主區塊與次 區塊起)區塊匹過程之—較佳實施例的圖形描述丨 圖8A至圖8F為根據本發明實施之副區塊/主區塊重定位 過程之一較佳實施例的圖形描述; •19- 1363286 圖9A至圖9B為根據本發明實施之一副區塊重成形過程 之一較佳實施例的圖形描述;以及 圖10A至圖10K為可根據本發明使用之一追蹤單元之一 定數量個變型的圖形描述》 【主要元件符號說明】 100光學導航系統 105個人電腦 1 06通訊通道 110感應器陣列 120處理模組 130記憶體 -20-
Claims (1)
1363286
七、申請專利範圍: 1. 種用於光學導航裝置之損測影像動作之方法,其中該 光學導航裝置包含一影像感測器陣.列和一處理電路,該影 像感測器陣列用於擷取影像,該處理電路根據所擷取之複 數影像中之追蹤單元之位置變化,輪出一移動向量,該方 法包含: 裸取對應於一第一區域之一第影像; 自該第一影像決定一主區塊,其中該主區塊包含一參 d 數和一小於該第一區域之一主區塊區域; 自該第一影像決定複數個候選副區塊; 根.據該參數,對該些候選副區塊進行排序,以選擇一 副區塊,其令該副區塊包含一小於該第—區域之一副區 塊區域’及該主區塊及該副區塊形成該第一影像中之一 追蹤單元; 使用該追蹤單元關聯該第一影像與該第二貪像以決 定該追蹤單元在該第一及該第二影傻 七 〜1豕(間之_位置變 化;以及 輸出基於該位置變化之一移動向量。 2·如申請專利範圍第1項所述之偵測影像動作之方法,其中 根據該參數,對該些候選副區塊進行排库 ™ 从選擇一副區 塊之步驟包含:選擇參數與該主區塊之該參數差異最大之 一副區塊。 3.如申請專利範圍第2項所述之偵測影像動作之方法盆 該副區塊與該主區塊係分離。 •21- 上咖286 4·如申請專利範圍第1項所述之读測影像動作之方法,其令 該蒼數包含面積或像素值。 5·如申請專利範圍第!項所述之伯測影像動作之方法’直進 —步包含一步驟:基於該副區塊區域之光學特性相對於該 主區塊區域之光學辟祕夕_八 析,重成形(…〜㈣該副 《基於該移動向量之-分析,重成形該副區塊。 ,如申請專利範圍第1項所述之_影像動作之方法,其中 ::貞:到超出一臨限值之一關聯值時終止該關聯以決定 該位置位移》 7· 一種用於一光學導航裝置之仙影像動作之方法,其令該 光學導航裝置包含一影樘汚屯丨D 人 匕各々像感測态陣.列和一處理電 像感測器陣列用於掘抱义推 # & 平幻用於揭取影像,該處理電路根據 數影像中之追蹤單元之位置變罚取之複 罝&化輪出一移動向量,該方 法S含· 榻取對應於一第—區域之一第一影像; 自該第-影像決定一主區塊與複數候選副區塊,其 中,該主區塊包含—小於該第一 拥饰一结 、 Q域之一主區塊區域; 拍頁取一第一影像; 以該主區塊’關連該第一影像與該第二影像. 根據該第-影像與該第二影像之關連結果,產 測行進方向; I 根據該預測行進方向,從該些候選副區塊,選擇一副 區塊’其中該副區塊包含一小於該第一 區域,及該主區塊及哕s,j£塊m 域之一副區塊 呢及这晶塊形成該第_ -22- 蹤單元; 使用該副區塊’關聯該第 驗該主區塊一位置變化;以及 弟—办像,以檢 且又丨ϋ心一移動向量。 8·如申請料!賴第7項所述之_動作之方法, 該副區塊與該主區塊係分離。 八中 9.如申請專利範圍第7項所述之谓測影像動作之方法, c 一步包含—步驟:基於該副區棟區域之光學特性相對2 =塊=之光學特性之一分析’重成形(re,)該副 &塊,或基於該移動向量之-分析,重成形該副區塊。 如申請專利範圍第7項所述之㈣影像動作之方法,其中 在横測到超出-臨限值之—關聯值時終止該關聯以決定 該位置位移。 11,種用於-光學導航裝置之摘測影像動作之方法,其中該 光學導航裝置包含-影像感測器毕列和一處理電路,該影 像H IV列用於擷取景;像,該處理電路根據所操取之複 數影像中之追縱單元之位置變化,輪出一移動向量,該方 法包含: 擷取對應於一第一區域之一第.—影像; 自該第一影像·決定一主區塊,該主區塊包含一小於該 第一區域之一主區塊區域; 自該第一影像決定至少一與該主區塊相關之副區塊, 該副區塊包含一小於該第一區域之一副區塊區域;. 其中該主區塊及該副區塊形成該第一影像中之一追蹤 -23- 1363286 單元; 使用該影像感測器榻取時間上在該第一影像之後之一 第二影像; 使历該追縱單元將該第一影像關聯(correlating)至該第 一影像’以決定該追蹤單元在該第一及第二影像之間之 一位置變化’其中該主區塊及該副區塊係同時進行匹 配;以及 輸出基於該位置變化之一移動向量。 12.如申請專利範圍第11項所述之偵測影像動作之方法其 中該副區塊藉由一中間區域與該主區塊隔開。 13 _如申請專利範圍第11項所述之偵測影像動作之方法,其 中該追蹤單元包括複數個分離的副區塊。 14. 如申請專利範圍第13項所述之偵測影像動作之方法其 中該複數個分離的副區塊包括至少兩個在大小及/或形狀 上不同的區塊。 15. 如申請專利範圍第13項所述之偵測影像動作之方法,其 進一步包括一步驟:自該組候選副區塊中選擇像素強度值 與該主區塊最為不同之一副區塊。 以如_請專利範圍第u項所述之仙影像動作之方法,其 進一步包含—步驟:自該第一影像之-中間區域選擇該主 區塊。 17.如申請專利範圍f n項所述之摘測影像動作之方法,其 中該主區塊具有—與該副區塊不同之形狀。 八 如申請.專利範㈣π項所述之價測影像動作之方法,盆 -24- 1363286 € 進步包含步驟.基於該副區塊區域之光學特性相對於 該主區塊區域之光學特性之—分析,重成形(re_sh叩㈣ 該副區塊或基於該移動向量 刀析,重成形該副區塊。 19.如申請專利範圍第u項所述 K偵測影像動作之方法,其 進一步包含H計算該 二影像内之-預測位置β 或該副區塊在該第 20.如申請專利範圍第u項所述 c 中在制到超出-臨限偵測影像動作之方法,其 定該位置位移。 關如值時終止該關聯以決 C -25-
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/380,796 US8036428B2 (en) | 2006-04-28 | 2006-04-28 | Method and apparatus for detecting motion of image in optical navigator |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201205363A TW201205363A (en) | 2012-02-01 |
TWI363286B true TWI363286B (en) | 2012-05-01 |
Family
ID=38647863
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW100110699A TWI363286B (en) | 2006-04-28 | 2006-10-25 | Method and apparatus for detecting motion of image in optical navigator |
TW095139291A TWI363285B (en) | 2006-04-28 | 2006-10-25 | Method and apparatus for detecting motion of image in optical navigator |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW095139291A TWI363285B (en) | 2006-04-28 | 2006-10-25 | Method and apparatus for detecting motion of image in optical navigator |
Country Status (3)
Country | Link |
---|---|
US (2) | US8036428B2 (zh) |
CN (1) | CN100472418C (zh) |
TW (2) | TWI363286B (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1998288A1 (fr) * | 2007-05-31 | 2008-12-03 | Stmicroelectronics Sa | Procédé de détermination du déplacement d'une entité pourvue d'un capteur de séquence d'images, programme d'ordinateur, module et souris optique associés |
US8098894B2 (en) * | 2008-06-20 | 2012-01-17 | Yahoo! Inc. | Mobile imaging device as navigator |
TWI471823B (zh) | 2008-07-31 | 2015-02-01 | Pixart Imaging Inc | 以移動向量在微小點陣圖上決定座標的方法 |
CN101650618B (zh) * | 2008-08-12 | 2011-06-29 | 原相科技股份有限公司 | 影像感测模组与影像感测系统 |
US8624836B1 (en) * | 2008-10-24 | 2014-01-07 | Google Inc. | Gesture-based small device input |
TWI398804B (zh) * | 2009-06-30 | 2013-06-11 | Pixart Imaging Inc | 光學觸控螢幕之位移偵測系統及其方法 |
EP2531952B1 (en) * | 2010-02-01 | 2018-08-08 | VITO NV (Vlaamse Instelling voor Technologisch Onderzoek NV) | System and method for 2d occupancy sensing |
CN102339146A (zh) * | 2010-07-27 | 2012-02-01 | 埃派克森微电子(上海)股份有限公司 | 具有外接式光学导航功能的电子设备及外接式光学导航装置 |
DE102010047269B4 (de) * | 2010-10-01 | 2014-07-17 | Diehl Aerospace Gmbh | Schaltungsanordnung und Verfahren zur Überwachung eines DSPs im Rahmen einer sicherheitskritischen Anwendung |
US8928626B2 (en) * | 2011-04-27 | 2015-01-06 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Optical navigation system with object detection |
US8965045B2 (en) * | 2012-02-22 | 2015-02-24 | Nokia Corporation | Image capture |
CN103914805A (zh) * | 2013-01-04 | 2014-07-09 | 贝伦企业股份有限公司 | 指纹图像降阶处理装置及方法 |
TW201430632A (zh) * | 2013-01-31 | 2014-08-01 | Pixart Imaging Inc | 光學導航裝置、方法及其電腦程式產品 |
FR3007832B1 (fr) * | 2013-06-28 | 2015-07-17 | Ixblue | Systeme de navigation et de pointage et procede de calibration d'un systeme de navigation et de pointage |
US9123131B2 (en) * | 2013-09-24 | 2015-09-01 | Pixart Imaging Inc. | Parallel correlation method and correlation apparatus using the same |
US9141204B2 (en) * | 2014-02-18 | 2015-09-22 | Pixart Imaging Inc. | Dynamic scale for mouse sensor runaway detection |
US9927884B2 (en) * | 2015-11-06 | 2018-03-27 | Pixart Imaging (Penang) Sdn. Bhd. | Non transitory computer readable recording medium for executing image processing method, and image sensing device applying the image processing method |
CN107490370B (zh) * | 2016-06-13 | 2020-01-10 | 原相科技股份有限公司 | 测量装置及其运作方法,轨迹感测系统及其轨迹感测方法 |
GB2564133B (en) * | 2017-07-04 | 2021-03-17 | Canon Kk | Method and apparatus for encoding or decoding video data with sub-pixel motion vector refinement |
TWI632504B (zh) | 2017-08-18 | 2018-08-11 | 威聯通科技股份有限公司 | 揮舞動作偵測方法及電子裝置 |
US10564174B2 (en) * | 2017-09-06 | 2020-02-18 | Pixart Imaging Inc. | Optical sensing apparatuses, method, and optical detecting module capable of estimating multi-degree-of-freedom motion |
CN110390365B (zh) * | 2018-04-16 | 2022-11-22 | 台达电子工业股份有限公司 | 载具追踪系统及方法 |
CN111623810A (zh) * | 2019-02-27 | 2020-09-04 | 多方科技(广州)有限公司 | 移动侦测方法及其电路 |
US11199910B2 (en) * | 2019-06-10 | 2021-12-14 | Pixart Imaging Inc. | Optical navigation device, optical navigation method and image processing system |
US11079857B2 (en) * | 2019-09-03 | 2021-08-03 | Pixart Imaging Inc. | Optical detecting device |
TW202247085A (zh) * | 2021-05-19 | 2022-12-01 | 神盾股份有限公司 | 遠端監測裝置及其遠端監測方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5786804A (en) | 1995-10-06 | 1998-07-28 | Hewlett-Packard Company | Method and system for tracking attitude |
US5729008A (en) | 1996-01-25 | 1998-03-17 | Hewlett-Packard Company | Method and device for tracking relative movement by correlating signals from an array of photoelements |
US6212237B1 (en) * | 1997-06-17 | 2001-04-03 | Nippon Telegraph And Telephone Corporation | Motion vector search methods, motion vector search apparatus, and storage media storing a motion vector search program |
US6483874B1 (en) * | 1999-01-27 | 2002-11-19 | General Instrument Corporation | Efficient motion estimation for an arbitrarily-shaped object |
EP1120976A4 (en) * | 1999-07-29 | 2006-03-29 | Mitsubishi Electric Corp | METHOD FOR DETECTING MOTION VECTOR |
US6859199B2 (en) * | 2001-11-06 | 2005-02-22 | Omnivision Technologies, Inc. | Method and apparatus for determining relative movement in an optical mouse using feature extraction |
JP4198550B2 (ja) * | 2002-09-10 | 2008-12-17 | 株式会社東芝 | フレーム補間方法およびこのフレーム補間方法を用いた装置 |
JP3898606B2 (ja) * | 2002-09-12 | 2007-03-28 | 株式会社東芝 | 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置 |
EP1422928A3 (en) * | 2002-11-22 | 2009-03-11 | Panasonic Corporation | Motion compensated interpolation of digital video signals |
-
2006
- 2006-04-28 US US11/380,796 patent/US8036428B2/en active Active
- 2006-10-25 TW TW100110699A patent/TWI363286B/zh active
- 2006-10-25 TW TW095139291A patent/TWI363285B/zh active
- 2006-11-15 CN CNB2006101603707A patent/CN100472418C/zh active Active
-
2011
- 2011-09-02 US US13/224,588 patent/US8320625B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20120020520A1 (en) | 2012-01-26 |
US8320625B2 (en) | 2012-11-27 |
CN100472418C (zh) | 2009-03-25 |
CN101063911A (zh) | 2007-10-31 |
US20070252814A1 (en) | 2007-11-01 |
TW200741516A (en) | 2007-11-01 |
TW201205363A (en) | 2012-02-01 |
US8036428B2 (en) | 2011-10-11 |
TWI363285B (en) | 2012-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI363286B (en) | Method and apparatus for detecting motion of image in optical navigator | |
KR101909971B1 (ko) | 지문 식별 방법 및 지문 식별 장치 | |
TWI413937B (zh) | 影像辨識方法與裝置 | |
US20180173393A1 (en) | Apparatus and method for video zooming by selecting and tracking an image area | |
JP5868816B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR20130056309A (ko) | 텍스트 기반 3d 증강 현실 | |
CN102834845A (zh) | 用于多摄像装置校准的方法与装置 | |
US8558804B2 (en) | Touch control apparatus and touch point detection method | |
JP2009182905A5 (zh) | ||
JP2008250950A (ja) | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 | |
TW201308162A (zh) | 光學式觸控裝置及其偵測觸控點座標之方法 | |
TWI571828B (zh) | 光學導航方法以及相關裝置 | |
JPWO2014175356A1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP2009020800A (ja) | 特徴点追跡装置及びプログラム | |
TWI417774B (zh) | 光學距離判斷裝置、光學觸控螢幕系統及光學觸控測距之方法 | |
JP4913801B2 (ja) | 遮蔽物映像識別装置及び方法 | |
JP2011118466A (ja) | 差分ノイズ置換装置、差分ノイズ置換方法、差分ノイズ置換プログラム、コンピュータ読み取り可能な記録媒体、および、差分ノイズ置換装置を備えた電子機器 | |
US20130050530A1 (en) | Image capturing device and image processing method thereof | |
JP6011885B2 (ja) | 符号読取装置および符号読取方法 | |
TWI448918B (zh) | 光學觸控系統 | |
TWI470512B (zh) | 光學觸控方法及其系統 | |
TWI469089B (zh) | 影像判斷方法以及物件座標計算裝置 | |
TWI486822B (zh) | 應用於光學指標裝置之影像擷取裝置 | |
JP2008077489A (ja) | 画像処理装置、方法、プログラムおよび記憶媒体 | |
JP2016170709A (ja) | タッチ検出装置 |