TWI363286B - Method and apparatus for detecting motion of image in optical navigator - Google Patents

Method and apparatus for detecting motion of image in optical navigator Download PDF

Info

Publication number
TWI363286B
TWI363286B TW100110699A TW100110699A TWI363286B TW I363286 B TWI363286 B TW I363286B TW 100110699 A TW100110699 A TW 100110699A TW 100110699 A TW100110699 A TW 100110699A TW I363286 B TWI363286 B TW I363286B
Authority
TW
Taiwan
Prior art keywords
block
image
sub
blocks
area
Prior art date
Application number
TW100110699A
Other languages
English (en)
Other versions
TW201205363A (en
Inventor
Cho Yi Lin
Ming Hui Kuo
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Publication of TW201205363A publication Critical patent/TW201205363A/zh
Application granted granted Critical
Publication of TWI363286B publication Critical patent/TWI363286B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

1363286 六、發明說明: 【發明所屬之技術領域】 本發明係關於光學成像及動作偵測。本發明在諸如電腦 滑鼠之光學手持指標元件中使用之積體電路及韌體中2 特定應用。 '、 【先前技術】 先前技術包括一定數量不同技術,用於原理上藉由比較 時間上連續之影像以偵測動作來估計並偵測影像動作。= G 寻技銜包括: 錢專利第6,859,199號(其以引用的方式併人下文)主 要經由特徵提取以進行工作。所揭示的演算法藉由以下步 驟進行工作: ’ 時間上在該第一影像 自一第一影像提取一第一特徵組,自 之後之一第二影像提取一第二特徵組 比較該第一特徵組與該第二特徵組以決定該第二影像相對 於該第一影像之位置位移;
C 輸出基於該位置位移之一移動向量。 此技術之缺點包括以下事實:在該第一及第二特徵組中 必須存在相當大量之元素以精確確定該移動向量。 美國專利第5,729,008及5,786,804號(-起以引用的方 —區塊匹配形式,立為下蛘作三 擷取一第—訊框及一第二訊框; 將該第一訊框之訊號關聯至該第二訊框之訊號; 產生動作之關聯輸出。 -3- 1363286 β ί 、此方法之缺點在於··當僅使用—區塊以執行區塊匹配方 法時’此區塊中之元素必須^夠媒保匹配之精確性。此外, 此區塊越大,則計算及記憶體越複雜。 【發明内容】 因此本發明之-目標為克服先前技術之上述限制。 另一目標為實施-影像追縦方法/系統,其具有改良準確 性同時不需要大量計算時間及記憶體等; 再一目標為提供一影像追縱系統/方法,其使用-邏輯追 蹤單元’該單元為兩個或兩個以上獨立實體參考單元之所 構成; -相關目標為提供一影像追蹤系統/方法,其使用一邏輯 追蹤單元’若有動態行動的方式需要,該單元可以變動; 另一目標為提供一影像追縱系統/方法,其藉由使用在動 作追縱計算中提供冗餘之補充追鞭單元減少歸因於地形變 化(t〇P〇graphical variati〇n )、《變化等導致之計算及追蹤 錯誤(可位於一感應器陣列下)。 本發月之帛-癌樣係關於使用影像感測器決定與一組 移動影像關聯之移動向量的一系統及方法。此包括:擷取 對應於-第-區域之一第一影像;自該第一影像決定包括 小於該弟·—區域之一φ F Γ5* A & ^ 主&塊&域之一主區塊;及自該第一 影像決定與該主區塊相關之至少一副區塊,該副區塊包括 亦小於該第一區域之__副F换π u ,丄 ^田i £塊&域(在此情形下該主區塊 及該副區塊形成該第—影像中之—追蹤單元);使用該影像 感測器擷取在時間上在該第一影像之後之一第二影像;使 -4- 1363286 用該追蹤單元將該第一影像與該第二影像關聯以決定追蹤 單元影像之間的位置變化;及輸出基於該位置變化之移動 向量。在一些應用中,該追蹤單元包括複數個獨立副區塊, 且其包括尺寸及/或形狀不同的至少兩個區塊。通常主區塊 係运自該弟一影像之一中部區域;在一些情形下,其可JL 有不同於該副區境之形狀。 在較佳實施例中,該關聯過程包含:區塊匹配第一影像 之主區塊在該第二影像中以決定該第二影像中主區塊相對 於第一影像之位置位移;及藉由.該第二影像中第一影像之 副區塊進行雙檢驗以確認該第二影像相對於該第一影像之 位置位移。在偵測到超出一可控制、可程式化之臨限值之 相關時終止該關聯。在一些實施例中,組合主區塊與副區 塊使得對於主區塊與副區塊兩者同時執行該關聯。 本發明之其他態樣係關於一副區塊,其較佳在面積上小 於主區塊,且由至少一像素寬之一中間區域而與主區塊隔 j定位。儘管兩區塊亦會重疊。另外為決定副區塊,.較佳. 藉由將曰彳區塊之候選組之像素值與主區塊作比較以評估副 區塊之該候選組。在某些環境中可能期望藉由決定與主區 塊相比變化最多之副區& (意即.,藉由像素強度值或類似 參數)來選擇一副區塊。 本發明之另一態樣係關於一副區塊,其亦較佳在各個時 =處在影像内被重定位。可基於此副區塊在第:影像中之 一位置分析或參考移動向量之分析來完成此重定位。 本心明之另-態樣係關於—副區塊’其亦較佳在各個時 -5- 1363286 間處在影像内被重成形。可基於副區塊區域之光學特徵相 對於主區塊區域之光學特徵之分析及/或移動向量之分析 來完成此重成形。 某些實施例之另一態樣為主區塊及/或副區塊在第二影 像中被計算之預測位置。該關聯可因此在該預測位置處或 在該預測位置周圍處的一有限區域中開始。 本發明之其他態樣係關於一移動向量,魏佳係基於债 測在主區塊中之第一位置位移及在副區塊中之第二位置位 移,及基於該第一位置位移及該第二位置位移來計算一估 計位置位移。該估計位移可為該第―位移與該第二位移的 重平均。 本發明之另一態樣係關於一動作方法,用於決定包含一 影像感測器之一光學追蹤裝置之相對運動,該方法包含以 下步驟.擷取由分別代表由該影像感測器感知之光強度之 像素值的-陣列組成之―第—影像;選择在該像素值之陣 列中的-第-區塊及至少—額外特徵(.其與該第_區塊成 一預定關係),以建構一第一追縱單元;揭取在時間上在該 第一影像之後之m.彳貞測在該第二影像中最匹配 該第-影像中第—追縱單元之一第二追縱單元;根據該第 一追縱單元與該第二追縱單元之間之位移決定自該第一影 像至該第二影像之-相對運動;及基於由該影像感測器所 擷取之影像之-或多個累積相對運動報告該光學追蹤裝置 之一動作。 本發明之一相關態樣係關於一光學導航系統,包含:一 •6- 1363286 影像感測up車列,其適於_取對應於—第—區域之一第一 影像及時間上在其之後對應於_第二區域之m •及一處理電路,其適於: • a.自該第一影像決定包括小於該第一區域之—主區塊區 域之一主區塊; b_自該第一影像決定與該主區塊相關之至少一副區塊, 該副區塊包括亦小於該第一區..域之一副區塊區域; c,形成一追蹤單元,其包括該主區塊及該副區塊; C d.使用該追蹤單元將該第—影像關聯至該第二影像以確 疋該追縱早元在影像之間之一位置變化; e.輸出基於該位置變化之移動向量。 該光學導航系統較佳由—或多個積體電路組成,容納於 一指標裝置中,且耦接至基於該追蹤單元而操作之一計算 系統。在多數情形下,處理電路包括一 Dsp及一可執行程 式指令集合。 本發明之又一態樣係關於一光畢導航器,其包含:—影 c 像感測器,該感應器經組態以捕捉一第一影像及一第二影 像;用於自該第-影像決定—主區塊之構件;用於自該第 一影像決定與該主區塊相關之一或多個副區塊之構件;其 中該主區塊及該或該等副區塊形成在該第一影像中之—追 蹤單元;用於使用該影像感測器擷取在時間上在該第—影 像之後之一第二影像之構件;用於使用該第一影像之追蹤 單元將該第一影像關聯至該第二影像之構件。該關聯過程 包含: ·Ί· 1363286 將第一影像之主區塊區塊匹配至該第二影像中之—位置 以決疋該第—影像相對於該第一影像之位置變化;及藉由 識别該弟一衫像中該或該等副區塊相對於該第一影像之位 置而驗證該位置變化。另外,提供用於輪出基於該位置變 化之移動向量之構件。 自實施方式中可瞭解本發明可在各種不同實施例中實 細。此外,熟習此項技術者易瞭解此等不同實施例將可能 僅包括本發明上述態樣及目標之—或多者。因&,在任何 特定實施例中^包括此#祕之_❹者不應理解為限制 本發明之範疇。儘管在光學滑鼠之.情形中進行描述,熟習 此項技術者易瞭解本教示可用在基於影像操取以估計物件 之動作的任何系統中。 【實施方式】 圖1中展示用於追蹤物件動作之一光學導航系統1〇〇之 較it貝施例。一感應器陣列i丨〇輕接至一處理模組12〇 及記憶體130。通常在光學滑鼠應用中,此等電路在一或多 個積體電路中實現,該或該等積體電路與諸如透鏡、照明 部件(LED、雷射等)及其他熟知組件之其他支擇結構一 起安裝在-印刷電路板(未圖示)或其他基板上,為清楚 起見將其略去。 處理模組1 20又由一定數量個熟知硬體及軟體組件組 成,包括基於半導體之處理閘及用於實施本文所描述之發 明方法的可程式化韌體。又,在光學滑鼠應用中,一移動 向里通常由電纜連接或無線連接經由一通訊通道1〇6傳輸 個人兒腦l〇5,或某些其他電子處理 用,處理模組i20可被整人為、丨於八他應 , 。為一指標裝置1〇〇(較佳為手持 部分,其協作以提供動作相關訊號給不同類型平臺,· 2㈣遊戲控制臺、音頻/視覺娛樂系統或某些其他互動 μτ裝置m項技術者將易瞭解其他實施例。 圖2A描述叫6x16陣列之CMOS影像感測器,其可用 =本發明之光學導航器(例如光學滑鼠)#以操取一參考 c 衫像及U連續樣本影像。儘管此較佳實施例中使用 16X16陣列,但當然亦可使用其他陣列大小。 圖2B展示本發明之一追蹤單元,其包括一主區塊(M) 一至y衂區塊(A 兩種區塊最初在一參考影像中被決 定(見下文之时淪)>較佳主區塊大概位於靠近影像之中心 部分處且副區塊大小上小於主區塊且由至.少一像素與主區 塊隔開。舉例而言’在圖4B中,一主區塊包含5χ5區境, —副區塊包含空間上偏移之獨立3χ3區塊。又,亦有可能 c 使該等區塊重疊,且期望精確大小及關絲據所要應用及 效能要求而變化。 使‘用多個區塊之優點為精確度得以提高,因為較小區塊 充當一動作驗證形式或檢驗器,且可幫助減少與僅檢查影 像之一單一子區的解決方案相關之問題。在後者情形下, 有可能影像在訊框之間之變化(歸因於光變化、主區塊之 縮減或扭曲等)可減小精確度。本發明因·此提供一光學影 像冗餘檢驗形式。 圖3描述根據本發明之教示執行之一光學導航器追蹤過 •9· 1363286 程200的第一實施例的流程圖。如上所述,此等步驟較佳 由使用一 DSP之處理模組120或使用儲存(且可被載入/ 改變)於系統100中之韌體程式之其他可程式化處理器執 行。 因此’一第一實施例如下操作: 步驟1:在操作210中擷取一第一影像作為一參考影像; 步驟2:在操作220中自該參考影像決定一主區塊(M); 又,在一較佳實施例中,通常自影像訊框之一中心部分選 擇一區塊;但是如下文所解釋,一主區塊(M)可能不一 定為矩形形式。 步驟3: φ操作230決定至少一副區塊(A)或與主區塊 (Μ )相關之特徵。又,如上所述,副區塊或特徵較佳在 大小上小於主區塊,且與主區塊隔開一預定距離,使得在 兩者之間有一中間區域。此外,.在一較佳方法中,藉由相 對於主區塊之像素強度值檢查候選區塊之相對像素強度值 來選擇副區塊。為增加區別能力,期望(在許多情形下) 選擇大體上強度值與主區塊不同之一副區塊/特徵。因此, 可藉由根據與主區塊之像素強度比較或此項技術中已知之 其他一些光學基準給候選區塊排序來選擇一副區塊。下文 中,主區塊及副區塊指在參考影像内之一追蹤單元,其可 考慮為一邏輯追蹤單元,因為其能夠被改變(若須要則包 括訊框間改變); 步驟4 :在揲作240中擷取時間上在該第一影像之後之 一第一影像作為一樣本影像; ^63286 * ^ 藉由操作25〇執行區城匹配以定位在第二樣本 衫像中參考影像之主區塊(M),以0樣本影像相對於第 一影像之位置位移; 步驟6:藉由操作㈣樣本影像中參考影像之副區 塊⑷執行雙檢驗,以確認樣本影像相對於參考影像之位 移在某些f月形下,且在區別主區塊與副區塊計算值 間之差異的事件中可期望將主區塊與副區塊計算值進行
C c 平均,或基於產生最大關聯之任何計算值,及/或基於主區 塊計算值可能比較小副區塊計算值更精確(因為其包圍更 2的面積)之假設’來使用某種形式之權重。此外,從計 异迷度之觀點看,可能在案些情形下期望基於區塊Μ之計 算距離自動選擇區塊(Α)之預測位置’並接著計算在此預 測位置處之關冑’且在距離主區塊之有限偏移内(意即, +" 1或2個像素)以避免相對於整個訊框作區塊比較。若 在此有限區域内未發現區塊(Α)之關聯,則在任何情形中 ㈣可能需要㈣,塊’所以可能期望在某些情形下使 用此形式之推理計算。 步驟7:操作270然後輸出基於該位置位移之一移動向 注意儘管一較佳實施例輸出自影像至影像之一移動向 量:但並不-定非得如此’相反可基於非連續資料訊框來 執行一關聯,及/或僅當事實上偵測到位置之明顯變化超出 某 臨限時輸出一向量。 y驟A.操作275決定副區塊之一或多者是否應重成形。 舉例而言,若主區塊(M)與副區塊(A)之像素值大體上 1363286 —~ ’表明其並非明顯不同以改良效能之追蹤區 ,則可執行此步驟。下文中對此作進一步解釋;亦可採 用重成形副區塊之其他原因。 V驟8 .操作28〇基於所偵測到之動作及區塊(A )之已 知位置判斷副區塊(A)是否應重定位。舉例而言,可為了 防止由於副區塊(A )太靠近邊緣而在隨後樣本影像中丟失 而執行此步驟。若“是”,則過程進行至步驟3 ;若“否”, 則過程進行至步驟9。 、步驟9 .操作29G又使用習知技術決定參考影像是否應 被替換。若參考影像應被#換,料程進行至㈣1;否^ 過程進行至步驟4。 因此,圖1中至流程圖邏輯上說明一光學導航器如何採 用參考:像中-個5x5主區塊與-個3X3副區塊之追蹤單 兀以決疋移動影像之移動向量。熟習此項技術者易瞭解此 處並沒有將與影像關聯之所有步驟包括在内以更好闡述本 發明’且可使用額外操作以補充以上操作作為習知系統之 此外,應瞭解上述步驟並不—定必須以所展示之精七 序執行,亦可根據需要使用其他組合。舉例而言,可以3 反順序執行主區塊及副區塊操作。對於涉及副區塊之重; 位及參考#像之重#|取之.操作亦可以相反順序執行。在; -fWF ’可在步驟250之後輸出—預備/預測移動向量 而非等待檢驗操作之結束。若預備向量不正_,^ 在步驟270處提供更新。此外應注意視㈣塊之數量及月 •12· 1363286 要精f度而㈣作26G可執行多次。顯而易見可符合本教 示而得以執行之其他實例。 冑4A至圖4B為根據本發明之-全部影像類取過程之較 佳實施例的圖形描述。在圖4A中展示步驟i (顧取袁抑 像—操作21〇)、步驟2(識別一主區塊⑻—一操作咖) 及步驟3 (識別一或多個副區塊—操作23〇)。又,如上 所述,較佳藉由檢查子區塊之―候選組並基於諸如與主區 塊相比之相對像素強度值、預测行進方向等之參數選擇一 C 組而選擇副區塊(A )。 •.目4B展示步驟4 (操作24〇中榻取一新樣本影像)、步 - 驟5(操作250將區塊⑻(在先前位置中以虛線展示) 匹配至樣本影像中之-新位置)及步驟6(操作⑽將區塊 (AM在先前位置中以虛線展示)匹配至樣本影像中一新 位置)。步驟7然後使用圖示之操作27〇輸出一移動向量。 圖5A至圖5J為根據本發明實施之一主區塊或主要區塊 C ㈣己操作250 (㈣5)之一較佳實施例的圖形描述。如圖 所示’在圖5A中,由力; . θ 6訊框(代表儲存於記憶體 .中之感應器陣列110的邏輯像素值)之左上角的一上列 中之初始位置處開始並隨後逐漸以線性方式在一行隹人上 -次移過-個(或多個)像素(圖5B、圖5C)直$制 =列之末端(圖5D)來侧到—新訊框中m塊(m)。 對於偏移一或多個傻音夕—别舌、@斗 夕個像素之.列重複該過程(® 5E)。由於 ^12個水平及12個垂直位置’故可看出執行最多⑷ 人蜀立關聯·’然而熟習此項技術者應理解此數量為主區塊 -13- 1363286 (Μ)大小及陣列大小之函數,且本發明並不受限於此。 :圖51及圖5J中所示然後執行匹配。在此點上,該過程 可停下,或若需要可執行另一比較以確保與該訊框之其他 子區塊之匹配的精確度。儘管上述過程開始於該訊框之左 上角,但熟習此項&術者應理解可使用其他開始點及行進 方向。此外,可期望在最關聯至主區塊之一動作預測之一 角落上開始,及/或僅檢驗基於根據先前移動向量之一預測 位置的該訊框之-有限區域。舉例而言,若區& (m)被 偵測到以向量+2,+2(^座標)移動,則可能期望從-右 上角在下一訊框中開始檢驗,及/或在上部中開始搜尋。 圖6A至圖6F為根據本發明實施之次區塊/補充區塊或副 區塊匹配操作之一較佳實施例的圖形描述。可看出,在一 新訊框内#測到一主區塊(M)之後,本發明過程定義且 預測該訊框之一窄子部分作為搜尋副區塊(A )之面積。因 此,在圖6A中,操作260開始於16xl6訊框(代表儲存於 記憶體130中感應器陣列11〇.之邏輯像素值之子集)之一 子區塊之左上角上列中的初始位置。在該較佳方法中該 子區塊包括由自主區塊(M)之一角落延伸之水平及垂直 線界定的-區域。與主區塊(M)._樣,—匹配操作逐漸 在一行集合上以線性方式一次位移過一個(或多個)像素 (圖6B、圖6C)直至到達該列之末端(圖6D)e對於偏移 一或多個像素之一列重複該過程(圖6E )。由於存在6個 水平及6個垂直位置,故可看出執行最多%次獨立關聯; 然而熟習此項技術者應理解此數量為副區塊(A)大小、主 -14- 1363286 * * 區塊(Μ)大小、主區塊(M )之位置及陣列大小之函數, 且本發明並不受限於此。如圖6F中所示然後執行匹配。在 此點上,該過程可停下,或若需要可執行另一比較以確保 與該訊框之其他子區塊之匹配的精確度。又,在某些實施 例中,基於-先前移動向量提前預測區塊(A)之位置且僅 檢驗訊框之一有限區域可能具有優勢。 在一較佳實施例中,主區塊(M)及副區塊(A)之區塊 广匹g&使用-或多個熟知公式用於基於與臨限值(了)或最小 、.值之比較之像素關聯,諸如: 或 ΣΙΧ; -乂丨—最小値 i=l 其中Xi為樣本影像之主區塊中之元素,Yi為參考影像之 主區塊中之元素,且τ為預定臨限。當然可使用其他演算 法’且本發明並不在此方面受限。 G 在某些實施例中,可使用如圖7A至圖7J所說明由主區
塊及副區塊形成之組合追蹤單元同時定位/匹配主區塊(m) 及副區塊(Α>在此方法中,同時對兩個不同區塊執行關 聯。因此,在圖7A中,在新樣本訊框中檢驗區塊(M)及 區塊(A)。如圖7B、7C、7D等所示,每一者皆被水平位 移一個像素。在圖7E中,該等區塊亦被垂直位移一個像素 且該過程如圖7F、7G及7H所示被重複。在圖71中,該 等區塊開始佔據新位置(呈現更接近之關聯),且在圖7J -15- 1363286 令,由對兩區塊之比較決定匹配。 在副區塊開始接近訊框邊緣之情形下,較佳執行重定位 操作2 80。圖8A至圖8ρ·為根據本發明實施之該過程之一 較佳貧施例的圖形描述。從圖8A中可見,當在一角落位置 (當然其他位置亦有可能)偵測到一副區塊(A)時,執行 重疋位以移動該副區塊至一新副區塊位置,如圖8B所示。 在此情形T,藉由繞垂直於所量測之移動向量之軸旋轉而 選擇-新區塊。又’精確位置亦.可根據新提議副區塊位置 之相對像素強度而變化,且可估計許多位置以選擇一新副 區塊® 8B中之選擇亦利用移動向量資訊以有意選擇最有 可能處於下-樣本影像訊框之中心且事實上位於該處的一 區塊。在圖8C及8D中描述類似情形。然而,在此情形下, 由於副區塊接近-水平邊緣’故繞平行於該邊緣之轴翻轉 該區塊以重定位至主區塊之左邊,而非之前使用的右邊。 熟習此項技術者亦瞭解其他實例,且若必要可根據應用及 在訊框之間改變所採用之特定策略。 圖8E及8F描述主區塊(M)開始佔據感應器陣列之 -邊緣之情形。在此等情形下,在操作29Q中參考影像較 佳由影像感測器擷取之-新影像替換。或者,或除此之外, 亦選擇一新主區塊(M)及—新副區塊(Α)β 藉由使用上述追蹤單元方法,可適當地調節副區塊相對 於主區塊之位置及職塊之數量以Μ各種影像條件且有 效偵測影像之動作。 如前文間接提到,可能期望亦在操作275 (步驟Α)中重 •16- 1363286 成形或重選擇副區塊。圖Μ至圖9B為根據本發明實施之 田J區塊重成形過程之—較佳實施例的圖形描述。在圖9八 中可見’為一所提議之副區塊識別之平均像素強度值相對 接近為主區塊(M)而識別之平均像素強度值。在此情形 Γ,副區塊之益處減少了,因為其並不提供任何明顯新的 貧訊給關聯過程。為,士 , 马此原因,如圖9B所示,較佳自一替換 區域選擇_新㈣m平均像素強度值比之前提議之 副區塊與主區塊相比更加不同.。 其他情形亦可要求重成形/重定位副區塊。舉例而言,在 /某些環境下可能決定導航器之快速移動引起該指標.裝置之 行進方向的交形。換言之,影像可歸因於考驗採樣率之快 :移動而變形;期望保持後者較小以減少功率等。因此可 月b執行曰彳區塊之重成形以補償動作之方向及幅度,使得— 新區塊具有在一比較過程中比較不容易扭曲或發生錯誤之 幾何形狀。舉例而言’當在水平方向上_到快速動作時, c 可採用在垂直方向上具有相對較大尺寸之一新副區塊反 之亦然。 一除上述之實施例之外,圖10A至圖1ΌΚ為可根據本發明 貫鈿使用之一追蹤單元之一定數量個變型的圖形描述。可 看出該追蹤單7C可基於各種主區塊形狀及副區塊/副特徵 形狀。在某些應用中,可能期望使用連續區塊(圖ι〇Α、 10Β)、隔開區塊(圖10C)'不規則(例如,非矩形)匹配 形狀(圖10D)、不規則形狀與規則形狀之組合(圖1〇Ε、 10F)、多個副區塊形狀(見圖1〇1、10J、1〇κ)、多個重疊 •17· 1363286 副區塊形狀(圖1GG)且甚至重疊主區塊與副區塊形狀(圖 10H)。因此,應理解本文所使用之“區塊”或“特徵,,並 不—定代表矩形/方形實體區塊,且該主區塊與副區塊之一 或兩者可為不規則形狀。基於本揭示内容熟習此項技術者 將易瞭解其他實例。 應瞭解由處理模組120使用以實施上述本發明方法之韌 體程式可以沾知方式在製造物件(諸如普遍用於傳輸此等 程式之傳統電腦可讀媒體)中得以實現。此等媒體可包括 快閃驅動器、軟碟機、磁帶、硬碟、光學驅動器或等效非 揮發性儲存系統。以此格式,該等程式可容易地得以傳輸。 或者在上述中,程式可實施為一單獨積體電路之非揮發性 儲存部分之部分,或嵌入為在典型DSP、微處理器或risc 處理器之架構中非揮發性儲存結構之部分。用於執行此等 程式之指令可如同其他程式R0M 一樣且使用習知製造技 術經編碼或實施於矽或金屬中。 此外熟習此項技術者應瞭解本文中闡述内容並非可使用 之程式之全部集合,或此等程式執行之所有操作的無遺漏 清單。事實上,期望光學導航器設計者根據客戶偏好及/或 系統效能要求添加其他特徵。 另外’熟習此項技術者易瞭解實施本發明之—光學導航 系統視目的使用者之需要、要求或願望及其他技術限制而 定可能不包括如上所示之所有程式。因此,本發明並不限 於上述之較佳實施例。最後,本文中雖未清楚展示或描述, 在該等模組t實現上述功能所需要之各種軟體程式、可執 •18· 1363286 « * 行瑪等之細節對本發明而言並不重要,且可基於本描述以 熟習此項技術者已知之任何數量的方式得以實施。 上述描述目的僅為所提出本發明之說明性實施例。應理 解本發明所提供之保護亦包括並延伸至在本發明申請專利 範圍之範疇内且與上文不同之實施例。 【圖式簡單說明】 圖1為根據本發明之教示建構之—光學導航系統的較佳 實施例的基礎方塊圖; 圖2A說明在本發明中採用之感應器陣列之一較佳實施 例; 貝& 圖2B說明與該感應器陣列關聯之追蹤單元之一較佳實 施例; 、 圖3描隸據本發日月之教示執行之-光學導航器追縱過 程的教佳實施例的流程圖;
C 圖4 A至圖4B為根據本發明之一全部影像類取過程之一 較佳實施例的圖形描述; — 圖5A至圖5J為根據本發明實施之—主區塊或主要區境 匹配過程之一較佳實施例的圖形描述; 圖6 A至圖6F為根據本發明實施之次區塊/補充區塊或副 區塊匹配過程之一較佳實施何的圖形描述,· 圖7A至圖7J為根據本發明實施之—複合(主區塊與次 區塊起)區塊匹過程之—較佳實施例的圖形描述丨 圖8A至圖8F為根據本發明實施之副區塊/主區塊重定位 過程之一較佳實施例的圖形描述; •19- 1363286 圖9A至圖9B為根據本發明實施之一副區塊重成形過程 之一較佳實施例的圖形描述;以及 圖10A至圖10K為可根據本發明使用之一追蹤單元之一 定數量個變型的圖形描述》 【主要元件符號說明】 100光學導航系統 105個人電腦 1 06通訊通道 110感應器陣列 120處理模組 130記憶體 -20-

Claims (1)

1363286
七、申請專利範圍: 1. 種用於光學導航裝置之損測影像動作之方法,其中該 光學導航裝置包含一影像感測器陣.列和一處理電路,該影 像感測器陣列用於擷取影像,該處理電路根據所擷取之複 數影像中之追蹤單元之位置變化,輪出一移動向量,該方 法包含: 裸取對應於一第一區域之一第影像; 自該第一影像決定一主區塊,其中該主區塊包含一參 d 數和一小於該第一區域之一主區塊區域; 自該第一影像決定複數個候選副區塊; 根.據該參數,對該些候選副區塊進行排序,以選擇一 副區塊,其令該副區塊包含一小於該第—區域之一副區 塊區域’及該主區塊及該副區塊形成該第一影像中之一 追蹤單元; 使用該追蹤單元關聯該第一影像與該第二貪像以決 定該追蹤單元在該第一及該第二影傻 七 〜1豕(間之_位置變 化;以及 輸出基於該位置變化之一移動向量。 2·如申請專利範圍第1項所述之偵測影像動作之方法,其中 根據該參數,對該些候選副區塊進行排库 ™ 从選擇一副區 塊之步驟包含:選擇參數與該主區塊之該參數差異最大之 一副區塊。 3.如申請專利範圍第2項所述之偵測影像動作之方法盆 該副區塊與該主區塊係分離。 •21- 上咖286 4·如申請專利範圍第1項所述之读測影像動作之方法,其令 該蒼數包含面積或像素值。 5·如申請專利範圍第!項所述之伯測影像動作之方法’直進 —步包含一步驟:基於該副區塊區域之光學特性相對於該 主區塊區域之光學辟祕夕_八 析,重成形(…〜㈣該副 《基於該移動向量之-分析,重成形該副區塊。 ,如申請專利範圍第1項所述之_影像動作之方法,其中 ::貞:到超出一臨限值之一關聯值時終止該關聯以決定 該位置位移》 7· 一種用於一光學導航裝置之仙影像動作之方法,其令該 光學導航裝置包含一影樘汚屯丨D 人 匕各々像感測态陣.列和一處理電 像感測器陣列用於掘抱义推 # & 平幻用於揭取影像,該處理電路根據 數影像中之追蹤單元之位置變罚取之複 罝&化輪出一移動向量,該方 法S含· 榻取對應於一第—區域之一第一影像; 自該第-影像決定一主區塊與複數候選副區塊,其 中,該主區塊包含—小於該第一 拥饰一结 、 Q域之一主區塊區域; 拍頁取一第一影像; 以該主區塊’關連該第一影像與該第二影像. 根據該第-影像與該第二影像之關連結果,產 測行進方向; I 根據該預測行進方向,從該些候選副區塊,選擇一副 區塊’其中該副區塊包含一小於該第一 區域,及該主區塊及哕s,j£塊m 域之一副區塊 呢及这晶塊形成該第_ -22- 蹤單元; 使用該副區塊’關聯該第 驗該主區塊一位置變化;以及 弟—办像,以檢 且又丨ϋ心一移動向量。 8·如申請料!賴第7項所述之_動作之方法, 該副區塊與該主區塊係分離。 八中 9.如申請專利範圍第7項所述之谓測影像動作之方法, c 一步包含—步驟:基於該副區棟區域之光學特性相對2 =塊=之光學特性之一分析’重成形(re,)該副 &塊,或基於該移動向量之-分析,重成形該副區塊。 如申請專利範圍第7項所述之㈣影像動作之方法,其中 在横測到超出-臨限值之—關聯值時終止該關聯以決定 該位置位移。 11,種用於-光學導航裝置之摘測影像動作之方法,其中該 光學導航裝置包含-影像感測器毕列和一處理電路,該影 像H IV列用於擷取景;像,該處理電路根據所操取之複 數影像中之追縱單元之位置變化,輪出一移動向量,該方 法包含: 擷取對應於一第一區域之一第.—影像; 自該第一影像·決定一主區塊,該主區塊包含一小於該 第一區域之一主區塊區域; 自該第一影像決定至少一與該主區塊相關之副區塊, 該副區塊包含一小於該第一區域之一副區塊區域;. 其中該主區塊及該副區塊形成該第一影像中之一追蹤 -23- 1363286 單元; 使用該影像感測器榻取時間上在該第一影像之後之一 第二影像; 使历該追縱單元將該第一影像關聯(correlating)至該第 一影像’以決定該追蹤單元在該第一及第二影像之間之 一位置變化’其中該主區塊及該副區塊係同時進行匹 配;以及 輸出基於該位置變化之一移動向量。 12.如申請專利範圍第11項所述之偵測影像動作之方法其 中該副區塊藉由一中間區域與該主區塊隔開。 13 _如申請專利範圍第11項所述之偵測影像動作之方法,其 中該追蹤單元包括複數個分離的副區塊。 14. 如申請專利範圍第13項所述之偵測影像動作之方法其 中該複數個分離的副區塊包括至少兩個在大小及/或形狀 上不同的區塊。 15. 如申請專利範圍第13項所述之偵測影像動作之方法,其 進一步包括一步驟:自該組候選副區塊中選擇像素強度值 與該主區塊最為不同之一副區塊。 以如_請專利範圍第u項所述之仙影像動作之方法,其 進一步包含—步驟:自該第一影像之-中間區域選擇該主 區塊。 17.如申請專利範圍f n項所述之摘測影像動作之方法,其 中該主區塊具有—與該副區塊不同之形狀。 八 如申請.專利範㈣π項所述之價測影像動作之方法,盆 -24- 1363286 € 進步包含步驟.基於該副區塊區域之光學特性相對於 該主區塊區域之光學特性之—分析,重成形(re_sh叩㈣ 該副區塊或基於該移動向量 刀析,重成形該副區塊。 19.如申請專利範圍第u項所述 K偵測影像動作之方法,其 進一步包含H計算該 二影像内之-預測位置β 或該副區塊在該第 20.如申請專利範圍第u項所述 c 中在制到超出-臨限偵測影像動作之方法,其 定該位置位移。 關如值時終止該關聯以決 C -25-
TW100110699A 2006-04-28 2006-10-25 Method and apparatus for detecting motion of image in optical navigator TWI363286B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/380,796 US8036428B2 (en) 2006-04-28 2006-04-28 Method and apparatus for detecting motion of image in optical navigator

Publications (2)

Publication Number Publication Date
TW201205363A TW201205363A (en) 2012-02-01
TWI363286B true TWI363286B (en) 2012-05-01

Family

ID=38647863

Family Applications (2)

Application Number Title Priority Date Filing Date
TW100110699A TWI363286B (en) 2006-04-28 2006-10-25 Method and apparatus for detecting motion of image in optical navigator
TW095139291A TWI363285B (en) 2006-04-28 2006-10-25 Method and apparatus for detecting motion of image in optical navigator

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW095139291A TWI363285B (en) 2006-04-28 2006-10-25 Method and apparatus for detecting motion of image in optical navigator

Country Status (3)

Country Link
US (2) US8036428B2 (zh)
CN (1) CN100472418C (zh)
TW (2) TWI363286B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1998288A1 (fr) * 2007-05-31 2008-12-03 Stmicroelectronics Sa Procédé de détermination du déplacement d'une entité pourvue d'un capteur de séquence d'images, programme d'ordinateur, module et souris optique associés
US8098894B2 (en) * 2008-06-20 2012-01-17 Yahoo! Inc. Mobile imaging device as navigator
TWI471823B (zh) 2008-07-31 2015-02-01 Pixart Imaging Inc 以移動向量在微小點陣圖上決定座標的方法
CN101650618B (zh) * 2008-08-12 2011-06-29 原相科技股份有限公司 影像感测模组与影像感测系统
US8624836B1 (en) * 2008-10-24 2014-01-07 Google Inc. Gesture-based small device input
TWI398804B (zh) * 2009-06-30 2013-06-11 Pixart Imaging Inc 光學觸控螢幕之位移偵測系統及其方法
EP2531952B1 (en) * 2010-02-01 2018-08-08 VITO NV (Vlaamse Instelling voor Technologisch Onderzoek NV) System and method for 2d occupancy sensing
CN102339146A (zh) * 2010-07-27 2012-02-01 埃派克森微电子(上海)股份有限公司 具有外接式光学导航功能的电子设备及外接式光学导航装置
DE102010047269B4 (de) * 2010-10-01 2014-07-17 Diehl Aerospace Gmbh Schaltungsanordnung und Verfahren zur Überwachung eines DSPs im Rahmen einer sicherheitskritischen Anwendung
US8928626B2 (en) * 2011-04-27 2015-01-06 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical navigation system with object detection
US8965045B2 (en) * 2012-02-22 2015-02-24 Nokia Corporation Image capture
CN103914805A (zh) * 2013-01-04 2014-07-09 贝伦企业股份有限公司 指纹图像降阶处理装置及方法
TW201430632A (zh) * 2013-01-31 2014-08-01 Pixart Imaging Inc 光學導航裝置、方法及其電腦程式產品
FR3007832B1 (fr) * 2013-06-28 2015-07-17 Ixblue Systeme de navigation et de pointage et procede de calibration d'un systeme de navigation et de pointage
US9123131B2 (en) * 2013-09-24 2015-09-01 Pixart Imaging Inc. Parallel correlation method and correlation apparatus using the same
US9141204B2 (en) * 2014-02-18 2015-09-22 Pixart Imaging Inc. Dynamic scale for mouse sensor runaway detection
US9927884B2 (en) * 2015-11-06 2018-03-27 Pixart Imaging (Penang) Sdn. Bhd. Non transitory computer readable recording medium for executing image processing method, and image sensing device applying the image processing method
CN107490370B (zh) * 2016-06-13 2020-01-10 原相科技股份有限公司 测量装置及其运作方法,轨迹感测系统及其轨迹感测方法
GB2564133B (en) * 2017-07-04 2021-03-17 Canon Kk Method and apparatus for encoding or decoding video data with sub-pixel motion vector refinement
TWI632504B (zh) 2017-08-18 2018-08-11 威聯通科技股份有限公司 揮舞動作偵測方法及電子裝置
US10564174B2 (en) * 2017-09-06 2020-02-18 Pixart Imaging Inc. Optical sensing apparatuses, method, and optical detecting module capable of estimating multi-degree-of-freedom motion
CN110390365B (zh) * 2018-04-16 2022-11-22 台达电子工业股份有限公司 载具追踪系统及方法
CN111623810A (zh) * 2019-02-27 2020-09-04 多方科技(广州)有限公司 移动侦测方法及其电路
US11199910B2 (en) * 2019-06-10 2021-12-14 Pixart Imaging Inc. Optical navigation device, optical navigation method and image processing system
US11079857B2 (en) * 2019-09-03 2021-08-03 Pixart Imaging Inc. Optical detecting device
TW202247085A (zh) * 2021-05-19 2022-12-01 神盾股份有限公司 遠端監測裝置及其遠端監測方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5786804A (en) 1995-10-06 1998-07-28 Hewlett-Packard Company Method and system for tracking attitude
US5729008A (en) 1996-01-25 1998-03-17 Hewlett-Packard Company Method and device for tracking relative movement by correlating signals from an array of photoelements
US6212237B1 (en) * 1997-06-17 2001-04-03 Nippon Telegraph And Telephone Corporation Motion vector search methods, motion vector search apparatus, and storage media storing a motion vector search program
US6483874B1 (en) * 1999-01-27 2002-11-19 General Instrument Corporation Efficient motion estimation for an arbitrarily-shaped object
EP1120976A4 (en) * 1999-07-29 2006-03-29 Mitsubishi Electric Corp METHOD FOR DETECTING MOTION VECTOR
US6859199B2 (en) * 2001-11-06 2005-02-22 Omnivision Technologies, Inc. Method and apparatus for determining relative movement in an optical mouse using feature extraction
JP4198550B2 (ja) * 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置
JP3898606B2 (ja) * 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals

Also Published As

Publication number Publication date
US20120020520A1 (en) 2012-01-26
US8320625B2 (en) 2012-11-27
CN100472418C (zh) 2009-03-25
CN101063911A (zh) 2007-10-31
US20070252814A1 (en) 2007-11-01
TW200741516A (en) 2007-11-01
TW201205363A (en) 2012-02-01
US8036428B2 (en) 2011-10-11
TWI363285B (en) 2012-05-01

Similar Documents

Publication Publication Date Title
TWI363286B (en) Method and apparatus for detecting motion of image in optical navigator
KR101909971B1 (ko) 지문 식별 방법 및 지문 식별 장치
TWI413937B (zh) 影像辨識方法與裝置
US20180173393A1 (en) Apparatus and method for video zooming by selecting and tracking an image area
JP5868816B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20130056309A (ko) 텍스트 기반 3d 증강 현실
CN102834845A (zh) 用于多摄像装置校准的方法与装置
US8558804B2 (en) Touch control apparatus and touch point detection method
JP2009182905A5 (zh)
JP2008250950A (ja) 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
TW201308162A (zh) 光學式觸控裝置及其偵測觸控點座標之方法
TWI571828B (zh) 光學導航方法以及相關裝置
JPWO2014175356A1 (ja) 情報処理システム、情報処理方法及びプログラム
JP2009020800A (ja) 特徴点追跡装置及びプログラム
TWI417774B (zh) 光學距離判斷裝置、光學觸控螢幕系統及光學觸控測距之方法
JP4913801B2 (ja) 遮蔽物映像識別装置及び方法
JP2011118466A (ja) 差分ノイズ置換装置、差分ノイズ置換方法、差分ノイズ置換プログラム、コンピュータ読み取り可能な記録媒体、および、差分ノイズ置換装置を備えた電子機器
US20130050530A1 (en) Image capturing device and image processing method thereof
JP6011885B2 (ja) 符号読取装置および符号読取方法
TWI448918B (zh) 光學觸控系統
TWI470512B (zh) 光學觸控方法及其系統
TWI469089B (zh) 影像判斷方法以及物件座標計算裝置
TWI486822B (zh) 應用於光學指標裝置之影像擷取裝置
JP2008077489A (ja) 画像処理装置、方法、プログラムおよび記憶媒体
JP2016170709A (ja) タッチ検出装置