TWI363285B - Method and apparatus for detecting motion of image in optical navigator - Google Patents

Description

1363285. 九、發明說明： 【發明所屬之技術領域】 ’ 本發明侧於光學成像及_制。本發明在諸如電腦 滑鼠<光學手持指標元件中使用之積體電路及款 特定應用。 【先前技術】 先前技術包括一定數量不同技術’用於原理上藉由比較 時間上連續之影像以偵測動作來估計並偵測影像動作。此 等技術包括： 美國專利第6,859，199號（其以引用的方式併入下文）主 要經由特徵提取以進行工作。所揭示的演算法藉由以下步 ' 驟進行工作： 自一第一影像提取一第一特徵組，自時間上在該第—影像 之後之一第二影像提取一第二特徵組； 比較該第一特徵組與該第二特徵組以決定該第二影像相對 於該第一影像之位置位移； ® 輸出基於該位置位移之一移動向量。 此技術之缺點包括以下事實：在該第一及第二特徵組中 必須存在相當大量之元素以精確確定該移動向量。 美國專利第5,729,008及5,786,804號（一起以引用的方 式併入下文）揭示一種區塊匹.配形式，其如下操作： 擷取一第一訊框及一第二訊框； 將該第一訊框之訊號關聯至該第二訊框之訊號； 產生動作之關聯輸出。 -5- 1363285 . 此方法之缺點在於：當僅使用一區塊以執行區塊匹配方 法時，此區塊中之元素必須足夠確保匹配之精確性。此外， 此區塊越大，則計算及記憶體越複雜。 【發明内容】 因此本發明之一目標為克服先前技術之上述限制。 另一目標為實施一影像追蹤方法/系統，其具有改良準確 性同時不需要大量計算時間及記憶體等； 再一目標為提供一影像追蹤系統/方法，其使用一邏輯追 蹤單元，該單元為兩個或兩個以上獨立實體參考單元之所 構成； 一相關目標為提供一影像追蹤系統/方法，其使用一邏輯 追蹤單元，若有動態行動的方式需要，該單元可以變動； 另一目標為提供一影像追蹤系統/方法，其藉由使用在動 作追蹤計算中提供冗餘之補充追蹤單元減少歸因於地形變 化（topographic^ variati〇n)、光變化等導致之計算及追蹤 錯誤（可位於一感應器陣列下）。 本發明之一第一態樣係關於使用影像感測器決定與一組 移動影像關聯之移動向量的—系統及方法。此包括：榻取 對應於區域之—第—影像；自該第_影像決定包括 J於β亥第 g域之一主區塊區域之一主區塊；及自該第一 影像決定與該主區塊相關之至少m塊，該副區塊包括 亦小於該第—區域之一副區塊區域（在此情形下該主區塊 及該㈣塊形成該第一影像中之一追蹤單元）;使用該影像 感測器擷取在時間上在該第一影像之後之—第二影像；使 P28475-J13605 〇〇5754〇43 -6- 1363285 , 用該追蹤單7C將該第一影像與該第二影像關聯以決定追蹤 單元影像之間的位置變化；及輸出基於該位置變化之移動 向里在些應用中，該追蹤單元包括複數個獨立副區塊， 且其包括尺寸及/或形狀不同的至少兩個區塊。通常主區塊 係選自該第一影像之一中部區域；在一些情形下，其可具 有不同於該副區塊之形狀。 在較佳實施例中，該關聯過程包含：區塊匹配第一影像 之主區塊在該第二影像中以決定該第二影像中主區塊相對 於第一影像之位置位移；及藉由該第二影像中第一影像之 副區塊進行雙檢驗以確認該第二影像相對於該第一影像之 位置位移。在偵測到超出一可控制、可程式化之臨限值之 相關時終止該關聯。在一些實施例中，組合主區塊與副區 塊使得對於主區塊與副區塊兩者同時執行該關聯。 本發明之其他態樣係關於一副區塊，其較佳在面積上小 於主區塊，且由至少一像素寬之一中間區域而與主區塊隔 開定位。儘管兩區塊亦會重疊。另外為決定副區塊，較佳 藉由將副區塊之候選組之像素值與主區塊作比較以評估副 區塊之該候選組。在某些環境中可能期望藉由決定與主區 塊相比變化最多之副㈣（意即，藉由像素強度值或類似 參數）來選擇一副區塊。 本發明之另一態樣係關於一副區塊，其亦較佳在各個時 間處在影像内被重定位。可基於此副區塊在第二影像中之 一位置分析或參考移動向量之分析來完成此重定位。 本發明之另一態樣係關於一副區塊，其亦較佳在各個時 Ρ28475·Π3^°5 005754043 1363285. 間處在影像内被重成形。可基於副區塊區域之光學特徵相 對於主區塊區域之光學特徵之分析及/或移動向量之分析 來完成此重成形。 某些實施例之另一態樣為主區塊及/或副區塊在第二影 像中被計算之預測位置。該關聯可因此在該預測位置處或 在該預測位置周圍處的一有限區域中開始。 本發明之其他態樣係關於一移動向量，其較佳係基於偵 測在主區塊t之第-位置位移及在副區塊t之第二位置位 移，及基於該第一位置位移及該第二位置位移來計算一估 計位置位移。該估計位移可為該第—位移與該第二位移的 權重平均。 本發明之另一態樣係關於一動作方法，用於決定包含一 影像感測器之-光學追蹤裝置之相對運動，該方法包含以 下步驟：擷取由分別代表由該影像感測器感知之光強度之 像素值的-陣靠成之m選擇在該像素值之陣 列中的—第—區塊及至少—額外特徵（其與該第—區塊成 一預定關係），以建構-第一追蹤單元；擁取在時間上在該 第影像之後之-第二影像；積測在該第二影像中最匹配 該第-影像中第-追蹤單元之一第二追蹤單元；根據該第 —追縱單元與該第二追蹤單元之間之位移決定自該第一影 像至該第二影像之一相對運動；及基於由該影像感測器所 。負取之〜像之或多個累積相對運動极告該光學追縱裝置 之一動作。 光學導航系統，包含：一 本發明之一相關態樣係關於— P2847S-H3605 0〇5754〇43 .8· 1363285 * 影像感測器陣列，其適於擷取對應於一第一區域之一第一 影像及時間上在其之後對應於一第二區域之一第二影像； 及一處理電路，其適於： a. 自該第一影像決定包括小於該第一區域之一主區塊區 域之一主區塊； b. 自該第一影像決定與該主區塊相關之至少一副區塊， 該副區塊包括亦小於該第一區域之一副區塊區域； c. 形成一追蹤單元，其包括該主區塊及該副區塊； d. 使用該追蹤單元將該第一影像關聯至該第二影像以確 定該追縱單元在影像之間之一位置變化； e. 輸出基於該位置變化之移動向量。 該光學導航系統較佳由一或多個積體電路組成，容納於 一指標裝置十，且耦接至基於該追蹤單元而操作之一計算 系統。在多數情形下，處理電路包括一 Dsp及一可執行程 式指令集合。 本發明之又一態樣係關於一光學導航器，其包含：一影 像感測器，該感應器經組態以捕捉一第一影像及一第二影 像；用於自該第一影像決定一主區塊之構件；用於自該第 一影像決定與該主區塊相關之一或多個副區塊之構件；其 中該主區塊及該或該等副區塊形成在該第一影像中之一追 蹤單元，用於使用該影像感測器擷取在時間上在該第—影 像之後之一第二影像之構件；用於使用該第一影像之追蹤 單元將該第一影像關聯至該第二影像之構件。該關聯過程 包含： Ρ28475Ί13605 〇〇5754〇43 •9- 將第一影像之主區塊區塊匹配至該第二影像中之一位置 以決定該第二影像相對於該第一影像之位置變化；及藉由 識別該第二影像中該或該等副區塊相對於該第—影像之位 置而驗該位置變化。另外，提供用於輸出基於該位置變 化之移動向量之構件。 自實施方式中可瞭解本發明可在各種不同實施例中實 加·。此外，熟習此項技術者易瞭解此等不同實施例將可能 僅包括本發明上述態樣及目標之一或多者。因此，在任何 特定實施例中不包括此等特徵之一或多者不應理解為限制 本發明之範疇。儘管在光學滑鼠之情形中進行描述，熟習 此項技術者易瞭解本教示可用在基於影像擷取以估計物件 之動作的任何系統中。 【實施方式】 圖1中展示用於追蹤物件動作之一光學導航系統1〇〇之 一較佳實施例。一感應器陣列110耦接至一處理模組120 及記憶體130。通常在光學滑鼠應用中，此等電路在一或多 個積體電路中實現，該或該等積體電路與諸如透鏡、照明 件（LED、雷射等）及其他熟知組件之其他支撐結構一 起安裝在一印刷電路板（未圖示）或其他基板上，為清楚 起見將其略去。 處理模組1 20又由一定數量個熟知硬體及軟體組件組 成，包括基於半導體之處理閘及用於實施本文所描述之發 明方法的可程式化韌體。又，在光學滑鼠應用中，一移動 向里通常由電纜連接或無線連接經由一通訊通道1〇6傳輸 P28475-li36〇5 005754043 -10- 1363285. 至一個人電腦105,或某些其他電子處理裝置。對於其他應 用，處理模組120可被整合為一指標裝置100(較佳為手持 •式）之部分，其協作以提供動作相關訊號給不同類型平臺， 諸如視訊遊戲控制臺、音頻/視覺娛樂系統或某些其他互動 式計算裝置。熟習此項技術者將易瞭解其他實施例。 圖2A描述一 l6xi6陣列之CM〇s影像感測器其可用 於本發明之光學導航器（例如光學滑鼠）中以擷取一參考 φ 影像及一系列連續樣本影像。儘管此較佳實施例中使用 16χ 16陣列，但當然亦可使用其他陣列大小。 圖2B展示本發明之-追蹤單元，其包括一主區塊（m) -及至少一副區塊（A)。兩種區塊最初在一參考影像中被決 _ 疋（見下文之讨論）。較佳主區塊大概位於靠近影像之中心 部分處且副區塊大小上小於主區塊且由至少一像素與主區 塊隔開。舉例而言，在圖4B中，一主區塊包含5χ5區塊， 一副區塊包含空間上偏移之獨立3x3區塊。又，亦有可能 馨使該等區塊重疊，且期望精確大小及關係根據所要應用及 效能要求而變化。 使用多個區塊之優點為精確度得以提高，因為較小區塊 充當一動作驗證形式或檢驗器，且可幫助減少與僅檢查影 像之一單一子區的解決方案相關之問題。在後者情形下， 有可能影像在訊框之間之變化（歸因於光變化、主區塊之 縮減或扭曲等）可減小精確度。本發明因此提供一光學影 像冗餘檢驗形式。 圖3描述根據本發明之教示執行之一光學導航器追縱過 P28475-ii36〇5 〇〇5754〇43 1363285 程200的第一實施例的流程圖。如上所述，此等步驟較佳 由使用一 DSP之處理模組120或使用儲存（且可被載入/ . 改變）於系統1〇〇中之韌體程式之其他可程式化處理器執 行。 因此，一第一實施例如下操作： 步驟1:在操作210中擷取一第一影像作為一參考影像； 步驟2:在操作220中自該參考影像決定一主區塊（M); ^ 又’在一較佳實施例中，通常自影像訊框之一中心部分選 擇一區塊；但是如下文所解釋，一主區塊（M)可能不一 定為矩形形式。 V驟3 .由操作230決定至少一副區塊（a )或與主區塊 (Μ)相關之特徵。又，如上所述副區塊或特徵較佳在 I上j於主區塊，且與主區塊隔開一預定距離，使得在 兩者之間有一中間區域。此外，在一較佳方法中，藉由相 對於主區塊之像素強度值檢查候選區塊之相對像素強度值 _ 來選擇田】區塊。為增加區別能力期望（在許多情形下） 選擇大體上強度值與主區塊不同之一副區塊/特徵。因此， 可藉由根據與主區塊之像素強度比較或此項技術中已知之 其他一些光學基準給候選區塊排序來選擇一副區塊。下文 中，主區塊及副區塊指在參考影像内之一追蹤單元，其可 考慮為邏輯追蹤單元’因為其能夠被改變（若須要則包 括訊框間改變）； 步驟4 .在操作240中掏取時間上在該第一影像之後之 一第二影像作為一樣本影像； P28475-113605 〇〇5754〇43 -12· 丄 363585 步驟r藉由操作25G執行區塊匹配以定位在第二樣本 影像中參考影像之主區塊（M)，以決定樣本影像相對於第 一景> 像之位置位移； 步驟6:藉由操作260使用樣本影像中參考影像之副區 塊（A)執行雙檢驗，以確認樣本影像相對於參考影像之位 置位移。在某些情形下，且在區別主區塊與副區塊計算值 間之差異的事件中’可期望將主區塊與副區塊計算值進行 平均，或基於產生最大關聯之任何計算值，及/或基於主區 塊計算值可能比較小副區塊計算值更精確（因為其包圍更 大的面積）之假設，來使用某種形式之權重。此外從計 算速度之觀點看，可能在某些情形下期望基於區塊Μ之計 算距離自動選擇區塊（Α)之預測位置，並接著計算在此預 測位置處之關聯，且在距離主區塊之有限偏移内（意即， +/- 1或2個像素）以避免相對於整個訊框作區塊比較。若 在此有限區域内未發現區塊（Α)之關聯，則在任何情形中 此將可能需要新的副區塊，所以可能期望在某些情形下使 用此形式之推理計算。 步驟7 :操作270然後輸出基於該位置位移之一移動向 量；注意儘管一較佳實施例輸出自影像至影像之一移動向 量’但並不一定非得如此，相反可基於非連續資料訊框來 執行一關聯’及/或僅當事實上偵測到位置之明顯變化超出 某一臨限時輪出一向量。 步驟A :操作275決定副區塊之一或多者是否應重成形。 舉例而言，若主區塊（Μ )與副區塊（A )之像素值大體上 Ρ28475Ί13605 〇〇5754〇43 -13- 1363.285. 相同或起j __ 域，/ ，表明其並非明顯不同以改良效能之追蹤區 田壬則可執行此步驟。下文中對此作進一步解釋；亦可採 成形副區塊之其他原因。 步驟8:操作基於所_到之動作及區塊⑷之已 口位置判斷副區塊（A)是否應重定位。舉例而言，可為了 方止由於田1J區塊（A)太靠近邊緣而在隨後樣本影像中吾失 而執行此步驟。若“是”，則過程進行至步驟3;若‘‘否”， 則過程進行至步驟9。 、步驟9:操作又使用習知技術決^參考影像是否應 被替換。若參考影像應被替換，則過程進行至步驟1;否則 過程進行至步驟4。 因此：圖1中至流程圖邏輯上說明一光學導航器如何採 用 > 考〜像中-個5χ5主區塊與_個3χ3副區塊之追縱單 兀以決疋移動影像之移動向量。熟習此項技術者易瞭解此 處並沒有將與影像關聯之所有步驟包括在内以更好閣述本 發明’且可制額外操作以補充以上操作作為習知 部分。 ’^ 此外，應瞭解上述步驟並不一定必須以所展示之精確順 序執行，亦可根據需要使用其他組合。舉例而言，可以相 反順序執行主區塊及副區塊操作。對於涉及副區塊之 位及參考衫像之重擷取之操作亦可以相反順序執行。在某 些情形下，可在步驟250之後輸出一預備/預測移動向量 而非等待檢驗操作260之結束。若預備向量不，’ ^ 則可 在步驟270處提供更新。此外應注意視副區塊之數量及所

P28475-11360S 〇〇5754〇43 1363*285 要精確度而定操作260 一 了執仃夕次。顯而易見可符合本教 不而付Μ執行之其他實例。 圖4Α至圖4Β為根據本發明之一全部影像擷取過程之較 佳實_的圖形描述。在圖4Α中展示步驟ι (摘取參考影 像一操作2Η))、步驟2(識別_主區塊一㈣⑽ 及步驟3(識別一或多個副區塊——操作23〇)。又如上

所述，較佳藉由檢杳早F —千£塊之一候選組並基於諸如與主區

塊相比之相對像素強度值、制行進方向等之參數選擇一 組而選擇副區塊（A )。 圖4B展禾步驟4 (操作24〇中操取一新樣本影幻、步 驟5 (操作25〇將區塊（M)(在先前位置中以虛線展示） 匹配至樣本影像中之-新位置）及步驟6(操作⑽將區塊 (A )(在先則位置中以虛線展示）匹配至樣本影像中一新 位置）。步驟7然後使用圖示之操作27〇輸出一移動向量。 圖5A至圖5J為根據本發明實施之一主區塊或主要區塊 匹配操作250 (步驟5 )之一較佳實施例的圖形描述。如圖 所示，在圖5A中，藉由在ι6χ16訊框（代表儲存於記憶體 130中之感應器陣列110的邏輯像素值）之左上角的一上列 中之初始位置處開始並隨後逐漸以線性方式在一行集合上 一次移過一個（或多個）像素（圖5B、圖5C)直至達到 該列之末端（圖5 D )來傾測到一新訊框中之一主區塊（M )。 對於偏移一或多個像素之一列重複該過程（圖5E )。由於 存在12個水平及12個垂直位置，故可看出執行最多144 次獨立關聯；然而熟習此項技術者應理解此數量為主區塊 P28475-U36〇s 005754043 -15- 1363285u (μ)大小及陣列大小之函數，且本發明並不受限於此。 如圖51及圖5J中所示然後執行匹配。在此點上，該過程 可如下，或若需要可執行另一比較以確保與該訊框之其他 子區塊之匹配的精確度。儘管上述過程開始於該訊框之左 上角，但熟習此項技術者應理解可使用其他開始點及行進 方向。此外，可期望在最關聯至主區塊之一動作預測之一 角落上開始，及/或僅檢驗基於根據先前移動向量之一預測 位置的該訊框之一有限區域.舉例而言，若區塊（μ)被 偵測到以向量+2,+2 ( X、y座標）移動，則可能期望從一右 上角在下一訊框中開始檢驗，及/或在上部中開始搜尋。 圖6A至圖6F為根據本發明實施之次區塊/補充區塊或副 區塊匹配操作之一較佳實施例的圖形描述。可看出，在一 新訊框内偵測到一主區塊（M)之後，本發明過程定義且 預測該訊框之-窄子部分作為搜尋副區塊（A)之面積。因 此，在圖6A中，操作26〇開始於16χ16訊框（代表儲存於 記憶體130中感應器陣列！ 1〇之邏輯像素值之子集）之一 子區塊之左上角上列中的初始位置。在該較佳方法中該 子區塊包括由自主區塊（M)之一角落延伸之水平及垂直 線界定的-區域。與主區塊（M) 一樣，一匹配操作逐漸 在一行集合上以線性方式一次位移過一個（或多個）像素 (圖6B、圖6C)直至到達該列之末端（圖⑷。對於偏移 一或多個像素之-列重複該過程（圖6E)。由於存在6個 水平及6個垂直位置，故可看出執行最多％次獨立關聯； 然而熟習此項技術者應理解此數量為副區塊（a)大小、主 P28475.1j36〇5 005754043 -16- 1363*285. 區塊（Μ)大小、主區塊（M )之位置及陣列大小之函數， 且本發明並不X限於此。如圖6F中所示然後執行匹配。在 此點上It過程可停下，或若需要可執行另一比較以確保 與該訊框之其他子d塊之匹配的精確度在某些實施 例中基於先别移動向量提前預測區塊（a )之位置且僅 檢驗訊框之一有限區域可能具有優勢。 在-較佳實施例中，主區塊（M )及副區塊⑷之區塊 匹配使用-或多個熟知公式用於基於與臨限值（τ)或最小 值之比較之像素關聯，諸如： 3純 或 25 ΣΙχί-'Ι->最小値 i=l 其中Χι為樣本影像之主區塊中之元素，Yi為參考影像之 主區塊中之元素，且T為預定臨限。當然可使用其他演算 法’且本發明並不在此方面受限。 在某些實施例中，可使用如圖7A至圖7J所說明由主區 塊及副區塊形成之組合追蹤單元同時定位/匹配主區塊（m) 及副區塊（A)。在此方法中，同時對兩個不同區塊執行關 聯。因此，在圖7A中，在新樣本訊框中檢驗區塊（M)及 區塊（A)。如圖7B、7C、7D等所示，每一者皆被水平位 移一個像素。在圖7E中，該等區塊亦被垂直位移一個像素 且該過程如圖7F、7G及7H所示被重複。在圖71中，該 等區塊開始佔據新位置（呈現更接近之關聯），且在圖7】 Ρ2β475·ι13^〇5 005754043 -17- 1363285. 中’由對兩區塊之比較決定匹配。 在副區塊開始接近訊框邊緣之情形下，較佳執行重定位 操作280。圖8A至圖8F為根據本發明實施之該過程之一 較佳實施例的圖形描述。從圖8A中可見，當在一角落位置 (當然其他位置亦有可能）偵測到一副區塊（A)時，執行 重定位以移動該副區塊至一新副區塊位置，如圖8B所示。 在此情形下，藉由繞垂直於所量測之移動向量之軸旋轉而 選擇-新區塊。又’精確位置亦可根據新提議副區塊位置 之相對像素強度而變化，且可估計許多位置以選擇一新副 區塊。圖8B中之選擇亦利用移動向量資訊以有意選擇最有 可能處於下-樣本影像訊框之中心且事實上位於該處的一 區塊。在圖8C及8D中描述類似情形。然而，在此情形下， 由於副區塊接近-水平邊緣，故繞平行於該邊緣之轴翻轉 該區塊以重定位至主區塊之左邊，而非之前使用的右邊。 熟習此項技術者亦瞭解其他實例，且若必要可根據應用及 在訊框之間改變所採用之特定策略。 圖8E及8F描述-主區塊（M )開始佔據感應器陣列之 -邊緣之情形。在此等情形下，在操作·中參考影像較 佳由影像感測器操取之—新影像替換。或者，或除此之外， 亦選擇一新主區塊（M)及一新副區塊（A)。 藉由使用上述追蹤單元方法’可適當地調節副區塊相對 於主區塊之位置及副區塊之數量以滿足各種影像條件且有 效偵測影像之動作。 如前文間接提到，可能期望亦在操作275 (步驟中重 P28475-U3605 0〇5754〇43 •18· 1363585 成形或重選擇副區塊。圖9A至圖9B為根據本發明實施之 一副區塊重成形過程之一較佳實施例的圖形描述。在圖9 A 中可見，為一所提議之副區塊識別之平均像素強度值相對 接近為主區塊（M)而識別之平均像素強度值。在此情形 下*彳區塊之盈處減少了，因為其並不提供任何明顯新的 貢訊給關聯過程》為此原因，如圖9B所示，較佳自一替換 區域選擇一新副區塊，其中平均像素強度值比之前提議之 副區塊與主區塊相比更加不同。 其他情形亦可要求重成形/重定位副區塊。舉例而言在 某些環境下可能決定導航器之快速移動引起該指標裝置之 行進方向的變形。換言之，影像可歸因於考驗採樣率之快 速移動而變形；期望保持後者較小以減少功率等。因此可 能執行副區塊之重成形以補償動作之方向及幅度，使得一 新區塊具有在一比較過程中比較不容易扭曲或發生錯誤之 歲何开^狀。舉例而έ，當在水平方向上偵測到快速動作時， 了採用在垂直方向上具有相對較大尺寸之一新副區塊，反 之亦然。 除上述之實施例之外，圖1〇Α至圖1〇κ為可根據本發明 實施使用之一追蹤單元之一定數量個變型的圖形描述。可 看出該追蹤單元可基於各種主區塊形狀及副區塊/副特徵 形狀°在某些應用中，可能期望使用連續區塊（圖丨〇 A、 1 OB )'隔開區塊（圖10C )、不規則（例如，非矩形）匹配 形狀（圖10D )、不規則形狀與規則形狀之組合（圖〗〇e、 1 OF )、多個副區塊形狀（見圖丨〇1、丨〇J、】)、多個重疊 Ρ28475Ί13605 〇〇5754〇43 -19- 1363285 * 副區塊形狀（圖10G)且甚 塊與副區塊形狀（圖 10H)。因此’應理解本 所便用之區塊或“特徵，，並 不一定代表矩形/方形實體區塊， ,, 瓜且该主區塊與副區塊之一 或兩者可為不規則形狀。基 丞於本揭不内容熟習此項技術者 將易瞭解其他實例。 有

應瞭解由處理模組12G使用以實施上述本發明方法4 體程式可以熟知方式在製造物件（諸如普遍用於傳輸此等 程式之傳統電腦可讀媒體）中得以實現。此等媒體可包括 快閃驅動器、軟碟機、磁帶、硬碟、光學驅動器或等效非 揮發性儲存系統。以此格式，該等程式可容易地得以傳輸。 或者在上述中，程式可實施為一單獨積體電路之非揮發性 儲存部分之部分’或嵌人為在典型Dsp、微處理器或r队 處理器之架射非料㈣存結構之部分。肖於執行此等 程式之指令可如同其他程式R〇M 一樣且使用習知製造技 術經編碼或實施於矽或金屬中。 此外熟習此項技術者應瞭解本文中闡述内容並非可使用 之程式之全部集合，或此等程式執行之所有操作的無遺漏 /月單。事實上，期望光學導航器設計者根據客戶偏好及/或 系統效能要求添加其他特徵。 另外’熟習此項技術者易瞭解實施本發明之一光學導航 系統視目的使用者之需要、要求或願望及其他技術限制而 定可能不包括如上所示之所有程式。因此，本發明並不限 於上述之較佳實施例。最後，本文中雖未清楚展示或描述， 在該等模組中實現上述功能所需要之各種軟體程式、可執 P2847S-H3605 〇〇5754〇43 -20- 1363285. 行碼等之、.田節對本發明而言並不重要，且可基於本描述以 熟習此項技街者已知之任何數量的方式得以實施。 上述描述目的僅為所提出本發明之說明性實施例。應理 解本發明所提供之保護亦包括並延伸至在本發明申請專利 範圍之範疇内且與上文不同之實施例。 【圖式簡單說明】 圖1為根據本發明之教示建構之一光學導航系統的較佳 實施例的基礎方塊圖； 圖2A說明在本發明中採用之感應器陣列之一較佳實施 例； 圖2B說明與該感應器陣列關聯之追蹤單元之一較佳實 施例； 圖3描述根據本發明之教示執行之一光學導航器追蹤過 程的較佳實施例的流程圖； 圖4A至圖4B為根據本發明之一全部影像擷取過程之一 較佳實施例的圖形描述； 圖5 A至圖5 J為根據本發明實施之一主區塊或主要區塊 匹配過程之一較佳實施例的圖形描述； 圖6A至圖6F為根據本發明實施之次區塊/補充區塊或副 區塊匹配過程之一較佳實施例的圖形描述； 圖7 A至圖7 J為根據本發明實施之一複合（主區塊與次 區塊一起）區塊匹配過程之一較佳實施例的圖形描述； 圖8A至圖8F為根據本發明實施之副區塊/主區塊重定位 過程之一較佳實施例的圖形描述； P28475-1J36〇5 005754043 •21- 1363385* 圖9A至圖9B為根據本發明實施之一副區塊重成形過程 之一較佳實施例的圖形描述；以及 圖10A至圖10κ為可根據本發明使用之一追礙… 定數量個變型的圖形描述。 早兀 【主要元件符號說明】 100光學導航系統 105個人電腦 106通訊通道 110感應器陣列 120處理模組 130記憶體 Ρ28475^1ι36〇5 005754043 -22-

Claims (1)

1363285 十、申請專利範圍： 第095139291號專利申驾 中文申請專利範圍替換冰

1. 一種使用一影像感測器以決定一組移動影像相關之一移動 向量的方法，該方法包含： 擷取對應於一第一區域之一第一影像； 自該第一影像決定一主區塊，該主區塊包含一小於該 第· 一區域之· ~~主區塊區域； 自該第一影像決定至少一與該主區塊相關之副區塊， 該副區塊包含一小於該第一區域之一副區塊區域； 其中該主區塊及該副區塊形成該第一影像中之一追'縱 單元； 使用該影像感測器擷取時間上在該第一影像之後之一 第二影像； .使用該追蹤單元將該第一影像關聯（c〇rrelating)至該第 二影像，以決定該追蹤單元在該第一及第二影像之間之 一位置變化； 輸出基於諒位置變化之該移動向量；以及 基於該第二影像内之該副區塊之一位置之一分析，重 疋位（re-positioning)該副區塊。 2·如申睛專利範圍第丨項所述之決定移動向量之方法，.其中 該關聯過程包含：

1363285 驗，以決定認該第二影像相對於該 s 移。 ^ -像之該位置位 3. 如申請專利範圍第！項所述之決定移動向量之方法 該副區塊之面積小於該主區塊之面積。 4. 如申請專利範圍第！項所述之決定移動向量之方法 該副區塊藉由一中間區域與該主區塊隔開。 5. 如申請專利範圍第4項所述之決定移動向量之方法 該中間區域為至' 少一像素寬。 6·如申請專利範圍第4項所述之決定移動向量之方法一 包含一步驟：藉由比較-組候選副區塊之像素值以及= 區塊之像素值以評估該組候選副區塊。 7.如申請專利範圍第丨項所述之決 ％·，πβ 你勒句3：之方法，其令 該追蹤單元包括複數個分離的副區塊。 八 .8.如申#專利範ϋ第7項所述之決定移動向量之方法，其 該複數個分離的副區塊包括至少兩個在大小及/或形狀 不同的區塊。 9·如申凊專利範圍第1項所述之決定移動向量之方法，其 其中 其中 其中 其更 塊 步包含一步驟：自該第一影像之-中間區域選擇該以 10. 如申請專利範圍第W所述之決定移動向量之方法，盆 該主區塊具有一與該副區塊不同之形狀。 八 11. 如申請專利範圍第6項所述之決定移 作助向$之方法，盆 Γ步it:步驟：自該組候選副區塊中選擇像素強度值 该主區塊教為不同之一副區塊。 1363285 12.如申請專利範圍第1項所述之決定移動向量之方法其進 一步包含一步驟：基於該副區塊區域之光學特性相對於該 主區塊區域之光學特性之一分析，重成形（re-shaping)該副 區塊。 13·如申請專利範圍第1項所述之決定移動向量之方法，其進 -步包含-师基於該移動向量之一分析，重成形該副 區塊。 14·如申請專利範圍第丨項所述之決定移動向量之方法，其進 一步包含一步驟：計算該主區塊及/或該副區塊在該第二影 像内之一預測位置。 15.如申請專利範圍第14項所述之決定移動向量之方法其 包含一步驟：在該預測位置處及/或在該預測位置周圍處的 有限£域中開始執行該關聯（c〇rrelating)。 16·如申請專利範圍第1項所述之決定移動向量之方法，其中 在偵測到超出一臨限值之一關聯值時終止該關聯以決^該 位置位移。 17. 如申請專利範圍第1項所述之決定移動向量之方法，其中 該移動向量係基於偵測在該主區塊中之一第一位置位移及 在該副區塊中之一第二位置位移，及基於該第一位置位移 及該第—位置位移來計算一估計位移。 18. 如申請專利範圍第17項所述之決定移動向量之方法，其 中該估計位移為該第一位置位移與該第二位置位移之一權 重平均。 19·如申請專利範圍第1項所述之決定移動向量之方法，其中 组合該主區塊與該副區塊以使得對於該主區塊與該副區塊 兩者同時執行該關聯。 20.如申請專利範圍第1 該主區塊及該副區塊 則形狀。 項所述之決定移動向量之方法，其中 中之至少一者具有一不為矩形之不規 &如中請專利範圍第^所述之決^移動向量之方法，其中 該第二影像及該第-影像為由該影像感測器揭取之非連 影像。 、 22.種使用—影像感測器以決定一組移動影像相關之一移 動向量的方法，該方法包含： 掘取對應於一第一區域之一第一影像； 自該第-影像決^ -主區塊，該主區塊包含―小於該 第一區域之一主區塊區域； 自該第一影像決定至少一與該主區塊相關之副區塊， 該副區塊包含一小於該第一區域之一副區塊區域； 其中該主區塊及該副區塊形成該第一影像中之一追蹤 單元； 使用該影像感測器擷取時間上在該第一影像之後之一 第二影像； 使用該追蹤單元將該第一影像關聯（c〇rrelating)至該第 ’二影像’以決定該追蹤單元在該第一及第二影像之間之 一位置變化； 輸出基於該位置變化之該移動向量；以及 基於該移動向量之一分析，重定位該副區塊。 •4· 1363285 23.如申請專利範圍第22項所述之決定移動向量之方法，苴 中該關聯過程包含： 〃 使用該第-影像之該主區塊在該第二影像中進行區塊 匹配（Mock-matching)，錢定該主區塊在㈣二影像中 相對於該第一影像之一位置位移； 在該第二影像中使用該第一影像之該等副區塊進行檢 .驗’以決定認該第二影像相對於該第-影像之該位置位 移。 其 24·如申請專利範圍第22項所述之決定移動向量之方法 中該副區塊之面積小於該主區塊之面積。 其 25.如申請專利範圍第22項所述之決定移動向量之方法 中該副區塊藉由一中間區域與該主區塊隔開。 JL 26‘如申請專利範圍帛25項所述之決定移動向量之方法 中該中間區域為至少一像素寬。 其 27. 如申請專利範圍第25項所述之決定移動向量之方法一 更包含-步驟：藉由比較一组候選副區塊之像素值以及該 主區塊之像素值以評估該組候選副區塊。 28. 如申凊專利範圍第22項所述之決定移動向量之方法，其 中該追蹤單元包括複數個分離的副區塊。 29. 如申請專利範圍帛28項所述之決定移動向量之方法，其 中該複數個分離的副區塊包括至少 '、 /闷個在大小.及/或形取 上不同的區塊。 30. 如申凊專利範圍第22項所述之決定移動向量之方法，肩 進一步包含一步驟：自該第一影 、 豕 < 中間區域選擇該主 1363285 區塊。 31. 如申請專利範圍第22項所述之決定移動向量之方法，其 中該主區塊具有一與該副區塊不同之形狀。 32. 如申請專利範圍帛27項所述之決定移動向量之方法，其 進-步包括一步驟：自該組候選副區塊中選擇像素強度值 與該主區塊最為不同之一副區塊。 33. 如申請專利範圍第22項所述之決定移動向量之方法其 進一步包含—步驟：基於該副區塊區域之光學特性相躲 ，主區塊區域之光學特性之—分析’重成形（㈣咖㈡該 副區境。 34·如申請專利範圍第 進一步包含一步驟 副區塊。 22項所述之決定移動向量之方法其 基於該移動向量之一分析’重成形該 35·如申請專利範圍第22項所述之決定移動向量之方法，其 、 争匕3步驟·汁真該主區塊及/或該副區塊在該第一 _ 景夕像内之一預測位置。 36.如申請專利範圍第35項所述之決定移動向量之方法，其 ° 3步驟.在該預測位置處及/或在該預測位置周圍處的 有限[域中開始執行該關聯（correlating)。 37·如申請專利範圍第22項所述之決定移動向量之方法，其 中在偵測到超出一臨限值之一關聯值時終止該關聯以決定 該位置位移。 、 38.如申請專利範圍第22項所述之決定移動向量之方法，其 中該移動向量係基於偵測在該主區塊中之一第一位置位移 -6- 1363285 及在該副區塊甲之一第二位置位移 移及該第二位置位移來計算—估計位移。…弟―位置位 39·如申請專利範圍第38項所述之決定移動向量之 ::估計位移為該第一位置位移與該第二二 重平均。 從心權 收如申請專利範圍第22項所述之決定移動向量之方法，盆 中組合該主區塊與該副區塊以使得對於該主盘^ 塊兩者同時執行該關聯。 ^ ^ 中請專利範圍第22項所述之衫移動向量之方法 中該主區塊及該副區塊中之至少一者具有—不不 規則形狀。 + 42.如申請專利範圍第22項所述之決定移動向量之方法，農 中該第二影像及該第-影像為由該影像感剩器操取連 續影像。 思 43 . —種光學導航系統，其包含： 一影像感測器陣列，其適於擷取對應於一第一區域之 -第-影像及時間上在該第—影像之後對應於—第二區 域之一第二影像； 一處理電路，其適於： a. 自該第一影像決定包括小於該第—區域之一主區 塊區域之一主區塊； b. 自該第一影像決定與該主區塊相關之至少一副區 塊，該副區塊包括小於該第一區域之一副區塊區域； C.形成一追蹤單元，其包括該主區塊及該副區塊； 1363285 d.使用該追縦單元將該第一影像關聯至該第二影 像’以決定該追蹤單元在影像之間之一位置變化丨如 e•輸出基於該位置變化之一移動向量； f.基於該第二影像内之該副區塊 1_观〈_位置之一分 析’重定位（re-positioning)該副區塊。 其中該光 其中該光 44. 如申請專利範圍第43項所述之光學導航系統 學導航系統由一或多個積體電路组成。

45. 如申請專利範圍第43項所述之光學導航系統 于導航系統容納於一指標裝置内。 46.如申請專利範圍第43項所述之光學導航系統，其中該指 標裝置輕接至-計算系統，該計算系統基於該追縱單元進 行操作。 47.如申請專利範圍第43項所述之光學導航系統，其中該處 理電路包括一 DSP及一可執行程式指令之集合。 48_ —種光學導航系統，其包含： 一影像感測器陣列，其適於擷取對應於一第一區域之 一第一影像及時間上在該第一影像之後對應於一第二區 域之一第二影像； 一處理電路，其適於： a.自該第—影像決定包括小於該第—區域之一主區 塊區域之一主區塊； b·自該第—影像決定與該主區塊相關之至少一副區 塊’該副區塊包括小於該第一區域之一副區塊區域； c·形成一追蹤單元，其包括該主區塊及該副區塊； -8- 丄363285 d. 使用該追蹤單元將該第一影像關聯至該第二影 像’以決定該追蹤單元在影像之間之一位置變化； e. 輸出基於該位置變化之一移動向量； f. 基於該移動向量之一分析，重定位該副區塊。 49. 如申請專利範圍第48項所述之光學導航系統，其中該光 學導航系統由一或多個積體電路組成。 50. 如申請專利範圍第48項所述之光學導航系統，其中該光 學導航系統容納於一指標裝置内。 5 1 ·如申請專利範圍第50項所述之光學導航系統，其中該指 標裝置輕接至一計算系統，該計算系統基於該追蹤單元進 行操作。 52. 如申請專利範圍第48項所述之光學導航系統，其中該處 理電路包括一 DSP及一可執行程式指令之集合。 53. —種光學導航器，其包含： 一影像感測器，其經組態以擷取一第一影像及一第二 影像； 一用於自該第一影像決定一主區塊之裝置； 一用於自該第一影像決定與該主區塊相關之一或多個 副區塊之裝置； 其中該主區塊及該或該等副區塊形成該第一影像中 之一這蹤單元； 一用於使用該影像感測器擷取時間上在該第一影像之 後之一第二影像的裝置； -用於使用該第-影像之該追蹤單元將該第一影像關 -9- 聯至該第二影像之裝置， 其中該關聯過程包含：將該第—影像之該主區塊匹 配至在該第二影像中之一位置，以決定該第二影像 相對於該第一影像之一位置變化； 藉由識別該第二影像中該或該等副區塊相對於該 第一影像之一位置，驗證該位置變化；以及 用於输出基於該位置變化之移動向量之裝置；以及 基於該第二影像内之該副區塊之一位置之一分析，重 定位（re-positioning)該副區塊之一裝置。 54.—種光學導航器，其包含： 一影像感測器’其經組態以擷取一第一影像及一第二 影像； 一用於自該第一影像決定一主區塊之裝置； 用於自該第一影像決定與該主區塊相關之一或多個 副區塊之裝置； 其中該主區塊及該或該等副區塊形成該第一影像中 之一追蹤單元； 一用於使用該影像感測器擷取時間上在該第一影像之 後之一第二影像的裝置； 一用於使用該第一影像之該追蹤單元將該第一影像關 聯至該第二影像之裝置， 其中該關聯過程包含：將該第一影像之該主區塊匹 配至在該第二影像中之—位置，以決定該第二影像 相對於該第一影像之一位置變化； -10- 1363285 藉由識別該第二影像中該或該等副區塊相對於該 第一影像之一位置，驗證該位置變化；以及 一用於輸出基於該位置變化之移動向量之裝置；以及 基於該移動向量之一分析，重定位該副區塊之一裝置。