TW201428689A - 光學導航方法以及相關裝置 - Google Patents
光學導航方法以及相關裝置 Download PDFInfo
- Publication number
- TW201428689A TW201428689A TW102100035A TW102100035A TW201428689A TW 201428689 A TW201428689 A TW 201428689A TW 102100035 A TW102100035 A TW 102100035A TW 102100035 A TW102100035 A TW 102100035A TW 201428689 A TW201428689 A TW 201428689A
- Authority
- TW
- Taiwan
- Prior art keywords
- reference block
- motion vector
- sub
- block
- sensing image
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本發明提供一種光學導航方法,包含:依序取得多個感測影像,其中包括第一、第二與第三感測影像;在該第一感測影像中選取一主參考區塊;以該主參考區塊與該第二感測影像進行區塊匹配比對,以決定一第一移動向量;根據該第一移動向量,限縮該主參考區塊以產生一副參考區塊,其中該副參考區塊之尺寸小於該主參考區塊;以及以該副參考區塊與該第三感測影像進行區塊匹配比對,以決定一第二移動向量。
Description
本發明有關於一種光學導航方法,特別是一種根據移動向量而調整匹配區塊範圍大小、以提昇整體運算效率之光學導航方法,以及使用此方法之裝置。
光學導航方法是比對前後感測影像之差異以進行位移計算的方法,比對影像差異的常用方法包括區塊匹配(Block matching)等方法,因針對全影像進行比對會造成計算量過大,故在感測影像中決定一小於全影像範圍的參考區塊(reference block),並將該參考區塊與次一感測影像中的所有可能位置相比對(稱為全搜尋,fully search),計算每個位置的相關值誤差(correlation error),來找到次一感測感測影像中最符合該參考區塊的匹配區塊,進而比對匹配區塊與參考區塊之座標差異以計算出影像中特徵之移動量。由上可知,區塊範圍之大小會影響到相關值誤差之計算;當區塊範圍越大,相關值誤差計算的精確度越高,但計算量也隨之提高;相對的,當區塊範圍越小,相關值誤差計算的精確度越低,但計算量也隨之降低。
參照第1圖,其中顯示此先前技術之區塊匹配(Block matching)之步驟。感測影像11、12為前後依序擷取之兩影像,在感測影像11中決定一參考區塊111,舉例而言,假設感測影像11的範圍為6x6,而選取的是4x4的參考區塊。在感測影像12中,將4x4的參考區塊與所有可能的位置做比對,亦即參考區塊111的左上角(在感測影像11中以黑點標示),在感測影像12中有九種可能的位置(在感測影像12中以白圈標示)。對這九種可能的位置進行相關值誤差之計算,亦即進行區塊匹配比對,可
以找到與參考區塊111最匹配之匹配區塊121,其相關值誤差最低。相關值誤差之計算有各種方法,例如但不限於可計算區塊平均值、特徵面積、相鄰像素差值等,在此不贅述。決定匹配區塊121後,比較參考區塊111與匹配區塊121之座標差異,藉此可計算出位移,根據圖式中之座標方向X、Y可標示為(X位移量,Y位移量)=(-1,1)。原參考區塊111於感測影像12中已移至參考區塊123之新位置,故在感測影像12中決定一新參考區塊124,繼續重覆前述之步驟,與再次一個感測影像進行比對以計算出位移。
上述先前技術中,參考區塊的範圍大小是固定的,因此在運算效率和精確度方面不能兼顧。此外,參考區塊必須頻繁更新,造成計算量上的負擔。本發明即針對上述先前技術之缺點,提出一種光學導航方法,其根據前後之感測影像計算移動向量,並根據移動向量以調整參考區塊範圍大小,此外更可根據移動向量調整感測影像中的區塊匹配比對範圍,以提昇比對效率及提昇整體運算效率,且可兼顧匹配比對之準確性。
就其中一個觀點言,本發明提供一種光學導航方法,包含:依序取得多個感測影像,其中包括第一、第二與第三感測影像;根據一預設取樣範圍,在該第一感測影像中選取一主參考區塊;以該主參考區塊與該第二感測影像進行區塊匹配比對,以決定一第一移動向量;根據該第一移動向量,限縮該主參考區塊以產生一副參考區塊,其中該副參考區塊之尺寸小於該主參考區塊;以及以該副參考區塊與該第三感測影像進行區塊匹配比對,以決定一第二移動向量。
在本發明的其中一種實施方式中,可持續根據最新的移動向量更新該副參考區塊。較佳地,宜使更新後的副參考區塊尺寸不低於一下限。
在本發明的其中一種實施方式中,產生或更新該副參考區塊的步驟包含:根據第一、第二或當時最新的移動向量之水平及/或垂直
分量,自移動指向方向之側邊,往反方向限縮該主參考區塊而產生該副參考區塊。
在本發明的其中一種實施方式中,可更包含:根據第一、第二或當時最新的移動向量,限縮該副參考區塊在感測影像中的區塊匹配比對範圍。
在本發明的其中一種實施方式中,該限縮副參考區塊在感測影像中的區塊匹配比對範圍的步驟包含:根據該第一、第二或當時最新的移動向量之水平或垂直分量,由移動指向方向之反方向側邊,往內限縮。
在本發明的其中一種實施方式中,可更包含:持續根據最新的移動向量更新該副參考區塊,以及當該副參考區塊的特徵不足時,進行以下步驟之一:(1)根據當時最新的感測影像,根據該預設取樣範圍重新選取主參考區塊;(2)根據當時最新的感測影像,並根據最新的移動向量之水平或垂直分量反向調整位置,而重新選取主參考區塊;或(3)根據當時最新的感測影像,並根據最新的移動向量之水平或垂直分量,由移動指向方向之反方向側邊往內限縮,而重新選取副參考區塊。
在本發明的其中一種實施方式中,可更包含:持續根據最新的移動向量更新該副參考區塊,以及在以下條件之一或更多符合時,根據當時最新的感測影像重新選取主參考區塊或副參考區塊:(1)當根據最新的移動向量更新該副參考區塊會使更新後的副參考區塊尺寸低於一預設尺寸臨界值時;(2)當副參考區塊中的特徵值低於一預設特徵臨界值時,其中該副參考區塊的特徵值係根據預先定義之計算方式計算;
(3)當以當時最新的副參考區塊,在當時最新的感測影像中,有兩個以上可能的匹配位置時;及/或(4)自選取主參考區塊之後、到取得當時最新的感測影像,所經過的時間超過一預設的臨界時間。
在本發明的其中一種實施方式中,可根據最新的多個移動向量判斷是否能確認一移動趨勢,且於能確認該移動趨勢時,才根據移動趨勢重新選取主參考區塊或副參考區塊。其中該判斷是否能確認一移動趨勢之步驟可包含:判斷在一方向上的移動時間或次數是否大於一臨界值、或是移動平均值是否大於一平均值臨界值。
根據另一觀點,本發明又提供一利用上述方法以進行光學導航之裝置,包含:一影像擷取單元,用以擷取多個感測影像並轉換為電子訊號,其中該多個感測影像包括第一、第二與第三感測影像;一移動向量計算單元,接收影像擷取單元輸出的電子訊號,根據上述光學導航方法計算移動向量並予以輸出;以及一記憶單元,用以儲存該主參考區塊及/或該副參考區塊。
底下藉由具體實施例詳加說明,當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。
11、12、21、22、23、24、25‧‧‧感測影像
111、211、214‧‧‧主參考區塊
212、213、215‧‧‧副參考區塊
220、230、240、250‧‧‧匹配區塊
41‧‧‧影像擷取單元
42‧‧‧移動向量計算單元
43‧‧‧記憶單元
第1圖顯示先前技術之光學導航方法。
第2A~2M圖顯示本發明之光學導航方法的其中一種實施例。
第3A~3F圖顯示本發明之光學導航方法的另一種實施例。
第4圖顯示本發明之光學導航裝置的其中一種實施例。
有關本發明之前述及其他技術內容、特點與功效,在以
下配合參考圖式之較佳實施例的詳細說明中,將可清楚的呈現。以下實施例中所提到的方向用語,例如:上、下、左、右、前或後等,僅是參考附加圖式的方向。本發明中的圖式均屬示意,主要意在表示各裝置以及各元件之間之功能作用關係,至於形狀、厚度與寬度則並未依照比例繪製。
參照第2A、2B、2C圖,其中為本發明所提供之光學導航方法之一實施例示意圖。其中,第2A、2B圖中感測影像21、22為前後依序擷取之兩影像,在感測影像21中根據一預設取樣範圍決定一主參考區塊211,並在感測影像22中利用相關值誤差之計算以找到與主參考區塊211匹配之匹配區塊220。相關值誤差之計算可採用任何已知方法,在此不贅述。決定匹配區塊220後,比較主參考區塊211與匹配區塊220之座標差異,即可得移動向量(X位移量,Y位移量)=(-1,1)。
本發明的其中一個特點在於:根據移動向量而調整參考區塊的大小。參考第2C圖,此為接續第2B圖之步驟。當移動向量為(-1,1)時,便將感測影像21中原始決定之主參考區塊211,根據所計算出之移動向量,向反方向限縮以產生一副參考區塊212。根據本實施例,其方法為:根據該次移動向量之水平移動分量,自移動指向方向之側邊,往反方向限縮主參考區塊211之水平範圍,以及根據該次移動向量之垂直移動分量,自移動指向方向之側邊,往反方向限縮主參考區塊211之垂直範圍。以移動向量為(-1,1)為例,因計算出之水平移動分量(X位移量)為-1,因此如第2C圖所示,自左方(移動指向方向)的側邊往右方縮減一單位;以及,因計算出之垂直移動分量(Y位移量)為+1,因此如第2C圖所示,自上方(移動指向方向)的側邊往下方縮減一單位,依此方式限縮主參考區塊211以更新為副參考區塊212。其中,副參考區塊212為根據主參考區塊211所產生,而非從感測影像22中重新選取參考區塊,因此並不如先前技術一般需要重新讀取影像、重新選取參考區塊及暫存參考區塊,運算量遠較先前技術為低。
參考第2D圖,由於副參考區塊212的尺寸縮減為3x3,因此,如果進行全搜尋,則有十六種可能的位置需要比對(副參考區塊212左上角的黑點在感測影像中有白圈標示的十六種可能)。根據本發明的其中一種實施例,可以針對這所有十六種可能的位置進行全搜尋,而在本發明的另一種實施例中,則可以縮減搜尋的範圍,後面這種實施例容後詳述。
參考第2E圖,其中感測影像23為接續感測影像22所擷取之感測影像。在感測影像23中利用相關值誤差計算,找到與副參考區塊212匹配之匹配區塊230。決定匹配區塊230後,如第2F圖所示,比較參考區塊212與匹配區塊230之座標差異,即可得移動向量(X位移量,Y位移量)=(-2,2)。
參照第2G圖,在本實施例中,可再根據該次移動向量(-2,2)來限縮主參考區塊211,而得到更新的副參考區塊213。副參考區塊213可視為自主參考區塊211由左方和上方各縮減兩單位,或是可視為自副參考區塊212由左方和上方各縮減一單位(如第2H圖所示)。自主參考區塊211來得到更新後的副參考區塊213、或是自副參考區塊212來得到更新後的副參考區塊213,概念與結果相同,可視為等效,但運算上會略有不同,實施的方式可視需要任意決定。
參照第2I圖,其中感測影像24為接續感測影像23所擷取之感測影像。在感測影像24中利用相關值誤差計算,找到與副參考區塊213匹配之匹配區塊240。決定匹配區塊240後,比較參考區塊213與匹配區塊240之座標差異,即可得移動向量(X位移量,Y位移量)=(-3,3)。在本發明的其中一個實施例中,還可根據移動向量(-3,3)來繼續更新副參考區塊。
在本發明的另一個實施例中,副參考區塊的尺寸可設定一下限,舉例而言為2x2,當到達此下限時,即不再根據移動向量來限縮副參考區塊的尺寸(但可能會根據移動向量來增長副參考區塊的尺寸,容後說明)。亦即,在此實施例中,即使移動向量為(-3,3)或更多,但副參考區塊
的尺寸仍保持為2x2。
當參考區塊的尺寸不斷縮小時,可能導致參考區塊內的特徵不足而難以正確判斷匹配區塊,使得精確度下降。所謂的特徵有各種定義方式,例如但不限於是亮度大於某一參考位準的像素集合、與相鄰像素差值大於某一參考位準的像素集合、等等。根據本發明,當參考區塊內的特徵不足時,即可以重新選取主參考區塊。重新選取主參考區塊的時機,例如但不限於可根據副參考區塊的尺寸來決定、或是根據參考區塊內的特徵值來決定、或是可在無法確定找到匹配區塊時,即重新選取主參考區塊。此外,當某參考區塊的使用時間超過一定時間時,亦宜重新選取主參考區塊。以上各種決定重新選取主參考區塊時機的方式,不限於只使用其中一種,亦可多種搭配使用。
舉例而言,假設是根據副參考區塊的尺寸來決定重新選取主參考區塊的時機,則可設定一臨界尺寸,例如但不限於可與前述下限相同,在本實施例中為2x2。當根據移動向量限縮副參考區塊的尺寸,會使其低於臨界值時,即可重新選取主參考區塊。參照第2I圖,該次移動向量為(-3,3),如不考慮下限,則應自主參考區塊211由左方和上方各縮減三單位,但這將使所得的副參考區塊尺寸小於臨界值,因此,參照第2J圖,此時就可自感測影像24中,重新根據預設取樣範圍選取主參考區塊214。
再舉例而言,假設是根據參考區塊內的特徵值來決定重新選取主參考區塊的時機,則可根據特徵的定義方式來設定特徵值的計算方式,例如但不限於是亮度總值、亮度平均值、亮度大於某一參考位準的像素個數、與相鄰像素差值大於某一參考位準的像素個數、等等,並設定特徵值的臨界值。當副參考區塊中的特徵值低於臨界值時,即可重新選取主參考區塊。參照第2H圖,假設副參考區塊213中的特徵值不足,則參照第2J圖,此時就可自次一感測影像24中,重新根據預設取樣範圍選取主參考區塊214。
再舉例而言,假設是在無法確定找到匹配區塊時,重新選取主參考區塊,則可設定「確定」找到匹配區塊之條件,例如但不限於可為一差異臨界值。舉例而言,針對一副參考區塊,在一感測影像中計算所有可能位置之相關值誤差,其中相關值誤差最低者和相關值誤差次低者,兩者之間的差異不超過該差異臨界值,這表示有兩個位置都可能是匹配區塊,因此不能「確定」找到匹配區塊,則參照第2J圖,此時就可自感測影像24中,重新根據預設取樣範圍選取主參考區塊214。以上僅是舉例,總之,不論所使用的計算方法為何,當有兩個以上的可能匹配位置而無法確定匹配區塊為何時,即可重新選取主參考區塊。
再舉例而言,假設自選取主參考區塊211之後、到取得感測影像24,所經過的時間超過了預設的臨界時間,則參照第2J圖,此時亦可自感測影像24中,重新根據預設取樣範圍選取主參考區塊214。
此外,在需要重新進行選取時,亦可不根據預設取樣範圍選取主參考區塊214,而是根據當時的移動趨勢,選擇不同位置或尺寸的參考區塊、或是雖仍然選取主參考區塊214,但進行比對時,不以主參考區塊214來比對,而是直接以限縮後的副參考區塊來比對,舉例說明如下。
在第一種實施例中,例如可根據最後一個單位時間內的移動向量、或是根據先前一段時間內的平均移動向量,來反方向選取主參考區塊。例如假設自第2E圖到第2I圖的移動向量為(-1,1),則可反方向移動(1,-1)來選取同樣尺寸但位置不同的主參考區塊214’,如第2J圖所示。又例如,自第2A圖到第2I圖的平均移動向量為(-1,1),故如果根據平均移動向量來反方向選取主參考區塊,也會選取主參考區塊214’。若是平均移動向量不為整數,則可用任何方式取整數(四捨五入、無條件進位/捨去等),凡本發明中有關取平均值的部分都可依此原則處理。
在第二種實施例中,例如可根據最後一個單位時間內的移動向量、或是根據先前一段時間內的平均移動向量,來縮小範圍而產生副
參考區塊,例如假設自第2E圖到第2I圖的移動向量為(-1,1),則可以直接取副參考區塊214”,如第2J圖所示。自第2A圖到第2I圖的平均移動向量為(-1,1),故如根據平均移動向量來選取,也會取主參考區塊214”。在這第二種實施例中,可以省略或不省略取主參考區塊214的步驟,亦即,可以直接選取主參考區塊214”而不運算主參考區塊214,或是仍然運算並儲存主參考區塊214。
以上根據當時的移動趨勢來改變參考區塊的選取位置或尺寸,原因是:若已知移動趨勢,則往反方向取參考區塊,所取的參考區塊較不會很快地過時失效而需要頻繁地更新。不過,由於影像擷取時可能有雜訊而造成誤判移動趨勢,故如果需要對移動趨勢做更精準的判斷,可以設一個判斷機制來確認移動趨勢,以決定是否要改變參考區塊的選取位置或尺寸。若不符合此判斷機制,則仍以原始設定的位置和尺寸來選取主參考區塊;若符合此判斷機制,才改變參考區塊的選取位置或尺寸。
確認移動趨勢的判斷機制舉例而言可為:設定一時間或次數臨界值,而移動向量(或其任何一維的分量)維持同方向的移動,必須超過此時間或次數臨界值,才改變參考區塊的選取位置或尺寸。例如假設臨界值為2單位時間或2次,則自第2A圖到第2I圖,負X方向的移動持續了3個單位時間(或是,如每單位時間計數一次的話為3次),因此判斷:確實有往負X方向的移動趨勢,故在X方向上根據此移動趨勢改變參考區塊的選取位置或尺寸。Y方向上亦可做類似的判斷。當然,以上僅是舉例,除數字可以改變外,設定時間或次數臨界值也僅是其中一種方式,亦可根據其他參數如移動向量平均值是否大於一平均值臨界值等來確認移動趨勢。
參照第2K圖說明另一情況,假設在第2E圖之後,所取得的影像並非第2J圖的感測影像24、而是第2K圖的感測影像25。又,根據先前所述的原則,因為根據第2E圖之感測影像23計算得到的移動向量為(-2,2),因此參考區塊已更新為第2H圖的副參考區塊213。如第2K圖所示,
此時根據副參考區塊213,在感測影像25中利用相關值誤差計算,找到與副參考區塊213匹配之匹配區塊250。決定匹配區塊250後,比較參考區塊213與匹配區塊250之座標差異,即可得移動向量(X位移量,Y位移量)=(-2,1)。
參照第2L圖,根據該次移動向量限縮主參考區塊211,可得到更新後的副參考區塊215。副參考區塊215可視為自主參考區塊211由左方縮減兩單位、由上方縮減一單位,或是如第2M圖所示,可視為自副參考區塊213,由移動指向方向之反方向側邊,增加一單位;因為自第2E圖到第2K圖,移動向量為(0,-1),移動指向方向為往下,因此自上方(移動指向方向之反方向)的側邊,增加一單位。自主參考區塊211來得到更新後的副參考區塊215、或是自副參考區塊213來得到更新後的副參考區塊215,概念與結果相同,可視為等效,但運算上會略有不同,實施的方式可視需要任意決定。
以上敘述中,主參考區塊的尺寸乃是根據預設取樣範圍來決定。根據本發明的一個實施例,預設取樣範圍可根據精確度與運算效率的需求來決定其尺寸。當進行區塊匹配計算(相關值誤差計算)時,計算效率主要決定於兩因素:區塊大小與匹配計算次數。當區塊較大時,區塊內相關值誤差所耗運算時間較長,但須匹配運算之區塊數量較少,而區塊較小時,區塊內相關值誤差所耗運算時間較短,但須匹配運算之區塊數量較多。故在此兩因素交互影響中,會有一較佳區塊大小之範圍,其精確度與總體運算時間可達較佳之平衡,即可據此決定預設取樣範圍的尺寸。然而,此選擇也可能受其他因素影響,例如光學特性等來決定此預設取樣範圍,故以上決定預設取樣範圍尺寸的方式僅為舉例而非限制。
如前所述,當參考區塊的尺寸減小時,如進行全搜尋,則匹配計算的次數會增加。因此,根據本發明的其中一種實施例,當參考區塊的尺寸減小時,可相對應地減少搜尋的範圍,以減少匹配計算的次數。
參照第2A-2C圖,假設前後分別取得感測影像21、22,在感測影像21中根據一預設取樣範圍決定了主參考區塊211,並在感測影像22中進行區塊匹配計算(相關值誤差計算)而找到與主參考區塊211匹配之匹配區塊220,因此得到移動向量(-1,1),並依此限縮主參考區塊211而得到副參考區塊212。請對照第2D圖與第3A圖,在先前的實施例中,是以副參考區塊212在次一感測影像中進行全搜尋,因此如第2D圖所示有十六種可能。但在本實施例中,則根據前一時間點的移動向量,自移動指向方向之反方向側邊,往內縮減感測影像中的區塊匹配比對範圍。詳言之,如第3A圖所示,因前一時間點計算得到的移動向量為(-1,1),移動指向方向為往左及往上,因此在水平方向上,自移動指向方向(往左)之反方向側邊(右邊),往內縮小感測影像一個單位而不進行區塊匹配比對,又在垂直方向上,自移動指向方向(往上)之反方向側邊(下邊),往內縮小感測影像一個單位而不進行區塊匹配比對。不進行區塊匹配比對的範圍如第3A圖中黑影部分所示。如此,以副參考區塊212在次一感測影像中進行區塊匹配比對時,不必進行全搜尋,而僅需進行如第3A圖所示的九個可能位置的比對。在比對過程中,仍可找到匹配區塊230,如第3B圖所示。
類似地,請參照第2F圖與第2G圖,當移動向量為(-2,2)時,參考區塊更新為副參考區塊213,因此如第3C圖所示,進行區塊匹配比對時,自右方與下方縮小感測影像各兩個單位。如此,需要比對的位置僅為九個。
參照第3D圖,假設次一時間取得的為感測影像25,則在第3C圖所示的九個比對位置中,仍可找到匹配區塊250。
參照第3E圖,由於根據第3D圖計算得到的移動向量為(-2,1),因此,下次進行區塊匹配比對時,改為自右方縮小感測影像兩個單位、自下方縮小感測影像一個單位。所需比對的位置仍然僅為九個。
以上所述縮小區塊匹配比對範圍的方法,可減少匹配計算
的次數,降低總體的運算量而提升效率。
須說明的是,除了根據前一時間計算所得的移動向量來調整比對範圍之外,也可以使用前幾次的移動向量平均值來調整比對範圍。又,與重新選取參考區塊相似,由於影像擷取時可能有雜訊而造成誤判移動趨勢,故調整比對範圍時,也可以在確認移動趨勢之後才調整比對範圍。確認移動趨勢的方式舉例而言可採取前述的判斷機制,判斷在一方向上的移動時間或次數是否大於一臨界值、或是移動平均值是否大於一平均值臨界值,如是,才調整比對範圍。
參照第4圖,顯示本發明之光學導航裝置的一個實施例。光學導航裝置包含影像擷取單元41、移動向量計算單元42、記憶單元43。影像擷取單元41擷取光學影像並轉換為電子訊號。移動向量計算單元42接收影像擷取單元41輸出的電子訊號,根據前述光學導航方法,計算移動向量並予以輸出。在計算的過程中,可將主參考區塊及/或副參考區塊等需要暫存的資料,儲存在記憶單元43之中。其中,影像擷取單元41例如但不限於可為影像感測器,移動向量計算單元42例如但不限於可為處理器,記憶單元43例如但不限於可為緩衝記憶體。
本發明與先前技術相較,因為參考區塊的尺寸和感測影像中區塊匹配比對的範圍都可以適應性地改變,因此運算量較低,且不需要頻繁地重新選取主參考區塊,故計算效率較佳,且對記憶單元43的存取次數也較少。
以上已針對較佳實施例來說明本發明,唯以上所述者,僅係為使熟悉本技術者易於了解本發明的內容而已,並非用來限定本發明之權利範圍。對於熟悉本技術者,當可在本發明精神內,立即思及各種等效變化。例如,各實施例所圖示的感測影像、主參考區塊、副參考區塊尺寸都僅為舉例而可做各種變化;感測影像、主參考區塊、副參考區塊不限於為正方形而可為其他形狀;本發明調整參考區塊尺寸及調整感測影像中區
塊匹配比對的範圍,不限於在水平與垂直二維方向上都實施,而可只實施於其中一維;各實施例所述的一個單位,可以對應一或多個像素;本發明所稱之「依序」或「接續」之感測影像,僅表示時間之先後關係,其並不限於為緊接連續之感測影像,亦可為間隔其他感測影像之「依序」或「接續」感測影像,等等。故凡依本發明之概念與精神所為之均等變化或修飾,均應包括於本發明之申請專利範圍內。
21‧‧‧感測影像
211‧‧‧主參考區塊
213‧‧‧副參考區塊
Claims (32)
- 一種光學導航方法,包含:依序取得多個感測影像,其中包括第一、第二與第三感測影像;根據一預設取樣範圍,在該第一感測影像中選取一主參考區塊;以該主參考區塊與該第二感測影像進行區塊匹配比對,以決定一第一移動向量;根據該第一移動向量,限縮該主參考區塊以產生一副參考區塊,其中該副參考區塊之尺寸小於該主參考區塊;以及以該副參考區塊與該第三感測影像進行區塊匹配比對,以決定一第二移動向量。
- 如申請專利範圍第1項所述之光學導航方法,其中該限縮該主參考區塊以產生一副參考區塊的步驟包含:根據該第一移動向量之水平及/或垂直分量,自移動指向方向之側邊,往反方向限縮該主參考區塊而產生該副參考區塊。
- 如申請專利範圍第1項所述之光學導航方法,更包含:根據該第二移動向量限縮該主參考區塊,以更新該副參考區塊。
- 如申請專利範圍第3項所述之光學導航方法,其中該根據該第二移動向量限縮該主參考區塊以更新該副參考區塊的步驟包含:根據該第二移動向量之水平及/或垂直分量,自移動指向方向之側邊,往反方向限縮該主參考區塊而產生該副參考區塊。
- 如申請專利範圍第1項所述之光學導航方法,更包含:設定一下限;以及持續根據最新的移動向量更新該副參考區塊,且使更新後的副參考區塊尺寸不低於該下限。
- 如申請專利範圍第1項所述之光學導航方法,更包含:限縮該副參考區塊在第三感測影像中的區塊匹配比對範圍。
- 如申請專利範圍第6項所述之光學導航方法,其中該限縮該副參考區塊 在第三感測影像中的區塊匹配比對範圍的步驟包含:根據該第一移動向量之水平或垂直分量,由移動指向方向之反方向側邊,往內限縮。
- 如申請專利範圍第6項所述之光學導航方法,其中該限縮該副參考區塊在第三感測影像中的區塊匹配比對範圍的步驟包含:根據比對之前一段時間的平均移動向量之水平或垂直分量,由移動指向方向之反方向側邊,往內限縮。
- 如申請專利範圍第6項所述之光學導航方法,更包含:根據該多個移動向量判斷是否能確認一移動趨勢,且於能確認該移動趨勢時,才限縮該副參考區塊在第三感測影像中的區塊匹配比對範圍。
- 如申請專利範圍第9項所述之光學導航方法,其中該判斷是否能確認一移動趨勢之步驟包含:判斷在一方向上的移動時間或次數是否大於一臨界值、或是移動平均值是否大於一平均值臨界值。
- 如申請專利範圍第3項所述之光學導航方法,更包含:取得第四感測影像;以該更新之副參考區塊與第四感測影像進行區塊匹配比對,以決定一第三移動向量;以及根據該第二移動向量,限縮該更新之副參考區塊在第四感測影像中的區塊匹配比對範圍。
- 如申請專利範圍第11項所述之光學導航方法,其中該限縮該副參考區塊在第四感測影像中的區塊匹配比對範圍的步驟包含:根據該第二移動向量之水平或垂直分量,由移動指向方向之反方向側邊,往內限縮。
- 如申請專利範圍第1項所述之光學導航方法,更包含:持續根據最新的移動向量更新該副參考區塊,以及當該副參考區塊的特徵不足時,進行以下步驟之一:(1)根據當時最新的感測影像,根據該預設取樣範圍重新選取主參考區塊; (2)根據當時最新的感測影像,並根據最新的移動向量之水平或垂直分量反向調整位置,而重新選取主參考區塊;或(3)根據當時最新的感測影像,並根據最新的移動向量之水平或垂直分量,由移動指向方向之反方向側邊往內限縮,而重新選取副參考區塊。
- 如申請專利範圍第1項所述之光學導航方法,更包含:持續根據最新的移動向量更新該副參考區塊,以及在以下條件之一或更多符合時,根據當時最新的感測影像重新選取主參考區塊或副參考區塊:(1)當根據最新的移動向量更新該副參考區塊會使更新後的副參考區塊尺寸低於一預設尺寸臨界值時;(2)當副參考區塊中的特徵值低於一預設特徵臨界值時,其中該副參考區塊的特徵值係根據預先定義之計算方式計算;(3)當以當時最新的副參考區塊,在當時最新的感測影像中,有兩個以上可能的匹配位置時;(4)自選取主參考區塊之後、到取得當時最新的感測影像,所經過的時間超過一預設的臨界時間。
- 如申請專利範圍第13或14項所述之光學導航方法,更包含:根據最新的多個移動向量判斷是否能確認一移動趨勢,且於能確認該移動趨勢時,才根據移動趨勢重新選取主參考區塊或副參考區塊。
- 如申請專利範圍第13或14項所述之光學導航方法,其中該判斷是否能確認一移動趨勢之步驟包含:判斷在一方向上的移動時間或次數是否大於一臨界值、或是移動平均值是否大於一平均值臨界值。
- 一種光學導航裝置,包含:一影像擷取單元,用以擷取多個感測影像並轉換為電子訊號,其中該多個感測影像包括第一、第二與第三感測影像;一移動向量計算單元,接收影像擷取單元輸出的電子訊號,根據以 下步驟計算移動向量並予以輸出:根據一預設取樣範圍,在該第一感測影像中選取一主參考區塊;以該主參考區塊與該第二感測影像進行區塊匹配比對,以決定一第一移動向量;根據該第一移動向量,限縮該主參考區塊以產生一副參考區塊,其中該副參考區塊之尺寸小於該主參考區塊;以及以該副參考區塊與該第三感測影像進行區塊匹配比對,以決定一第二移動向量;以及一記憶單元,用以儲存該主參考區塊及/或該副參考區塊。
- 如申請專利範圍第17項所述之光學導航裝置,其中該限縮該主參考區塊以產生一副參考區塊的步驟包含:根據該第一移動向量之水平及/或垂直分量,自移動指向方向之側邊,往反方向限縮該主參考區塊而產生該副參考區塊。
- 如申請專利範圍第17項所述之光學導航裝置,其中該移動向量計算單元更執行以下步驟:根據該第二移動向量限縮該主參考區塊,以更新該副參考區塊。
- 如申請專利範圍第19項所述之光學導航裝置,其中該根據該第二移動向量限縮該主參考區塊以更新該副參考區塊的步驟包含:根據該第二移動向量之水平及/或垂直分量,自移動指向方向之側邊,往反方向限縮該主參考區塊而產生該副參考區塊。
- 如申請專利範圍第17項所述之光學導航裝置,其中該移動向量計算單元更執行以下步驟:設定一下限;以及持續根據最新的移動向量更新該副參考區塊,且使更新後的副參考區塊尺寸不低於該下限。
- 如申請專利範圍第17項所述之光學導航裝置,其中該移動向量計算單元更執行以下步驟:根據該第一移動向量,限縮該副參考區塊在第三感測影像中的區塊匹配比對範圍。
- 如申請專利範圍第22項所述之光學導航裝置,其中該限縮該副參考區塊在第三感測影像中的區塊匹配比對範圍的步驟包含:根據該第一移動向量之水平或垂直分量,由移動指向方向之反方向側邊,往內限縮。
- 如申請專利範圍第22項所述之光學導航裝置,其中該限縮該副參考區塊在第三感測影像中的區塊匹配比對範圍的步驟包含:根據比對之前一段時間的平均移動向量之水平或垂直分量,由移動指向方向之反方向側邊,往內限縮。
- 如申請專利範圍第22項所述之光學導航裝置,更包含:根據該多個移動向量判斷是否能確認一移動趨勢,且於能確認該移動趨勢時,才限縮該副參考區塊在第三感測影像中的區塊匹配比對範圍。
- 如申請專利範圍第25項所述之光學導航裝置,其中該判斷是否能確認一移動趨勢之步驟包含:判斷在一方向上的移動時間或次數是否大於一臨界值、或是移動平均值是否大於一平均值臨界值。
- 如申請專利範圍第19項所述之光學導航裝置,其中該移動向量計算單元更執行以下步驟:取得第四感測影像;以該更新之副參考區塊與第四感測影像進行區塊匹配比對,以決定一第三移動向量;以及根據該第二移動向量,限縮該更新之副參考區塊在第四感測影像中的區塊匹配比對範圍。
- 如申請專利範圍第27項所述之光學導航裝置,其中該限縮該副參考區塊在第四感測影像中的區塊匹配比對範圍的步驟包含.根據該第二移動向量之水平或垂直分量,由移動指向方向之反方向側邊,往內限縮。
- 如申請專利範圍第17項所述之光學導航裝置,其中該移動向量計算單元更執行以下步驟:持續根據最新的移動向量更新該副參考區塊,以及當該副參考區塊的特徵不足時,進行以下步驟之一: (1)根據當時最新的感測影像,根據該預設取樣範圍重新選取主參考區塊;(2)根據當時最新的感測影像,並根據最新的移動向量之水平或垂直分量反向調整位置,而重新選取主參考區塊;或(3)根據當時最新的感測影像,並根據最新的移動向量之水平或垂直分量,由移動指向方向之反方向側邊往內限縮,而重新選取副參考區塊。
- 如申請專利範圍第17項所述之光學導航裝置,其中該移動向量計算單元更執行以下步驟:持續根據最新的移動向量更新該副參考區塊,以及在以下條件之一或更多符合時,根據當時最新的感測影像重新選取主參考區塊或副參考區塊:(1)當根據最新的移動向量更新該副參考區塊會使更新後的副參考區塊尺寸低於一預設尺寸臨界值時;(2)當副參考區塊中的特徵值低於一預設特徵臨界值時,其中該副參考區塊的特徵值係根據預先定義之計算方式計算;(3)當以當時最新的副參考區塊,在當時最新的感測影像中,有兩個以上可能的匹配位置時;(4)自選取主參考區塊之後、到取得當時最新的感測影像,所經過的時間超過一預設的臨界時間。
- 如申請專利範圍第29或30項所述之光學導航裝置,更包含:根據最新的多個移動向量判斷是否能確認一移動趨勢,且於能確認該移動趨勢時,才根據移動趨勢重新選取主參考區塊或副參考區塊。
- 如申請專利範圍第29或30項所述之光學導航裝置,其中該判斷是否能確認一移動趨勢之步驟包含:判斷在一方向上的移動時間或次數是否大於一臨界值、或是移動平均值是否大於一平均值臨界值。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102100035A TWI571828B (zh) | 2013-01-02 | 2013-01-02 | 光學導航方法以及相關裝置 |
US13/847,396 US8958601B2 (en) | 2013-01-02 | 2013-03-19 | Optical navigation method and device using same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102100035A TWI571828B (zh) | 2013-01-02 | 2013-01-02 | 光學導航方法以及相關裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201428689A true TW201428689A (zh) | 2014-07-16 |
TWI571828B TWI571828B (zh) | 2017-02-21 |
Family
ID=51017256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102100035A TWI571828B (zh) | 2013-01-02 | 2013-01-02 | 光學導航方法以及相關裝置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8958601B2 (zh) |
TW (1) | TWI571828B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI571828B (zh) * | 2013-01-02 | 2017-02-21 | 奇高電子股份有限公司 | 光學導航方法以及相關裝置 |
US10157189B1 (en) | 2014-04-09 | 2018-12-18 | Vortex Intellectual Property Holding LLC | Method and computer program for providing location data to mobile devices |
US10735902B1 (en) | 2014-04-09 | 2020-08-04 | Accuware, Inc. | Method and computer program for taking action based on determined movement path of mobile devices |
US9418284B1 (en) | 2014-04-09 | 2016-08-16 | Vortex Intellectual Property Holding LLC | Method, system and computer program for locating mobile devices based on imaging |
US9911190B1 (en) | 2014-04-09 | 2018-03-06 | Vortex Intellectual Property Holding LLC | Method and computer program for generating a database for use in locating mobile devices based on imaging |
FR3063558A1 (fr) * | 2017-03-02 | 2018-09-07 | Stmicroelectronics (Rousset) Sas | Procede de controle de la detection en temps reel d'une scene par un appareil de communication sans fil et appareil correspondant |
CN113228102A (zh) * | 2019-01-09 | 2021-08-06 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法和图像处理程序 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4322343C2 (de) * | 1992-07-06 | 1996-10-02 | Mitsubishi Electric Corp | Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors |
JP2768646B2 (ja) * | 1995-04-05 | 1998-06-25 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 動きベクトル探索方法および探索装置 |
US5838828A (en) * | 1995-12-12 | 1998-11-17 | Massachusetts Institute Of Technology | Method and apparatus for motion estimation in a video signal |
US5751283A (en) * | 1996-07-17 | 1998-05-12 | Microsoft Corporation | Resizing a window and an object on a display screen |
JP3019787B2 (ja) * | 1996-09-20 | 2000-03-13 | 日本電気株式会社 | 動きベクトル検出装置 |
JP4034380B2 (ja) * | 1996-10-31 | 2008-01-16 | 株式会社東芝 | 画像符号化/復号化方法及び装置 |
US6014181A (en) * | 1997-10-13 | 2000-01-11 | Sharp Laboratories Of America, Inc. | Adaptive step-size motion estimation based on statistical sum of absolute differences |
US6625333B1 (en) * | 1999-08-06 | 2003-09-23 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre | Method for temporal interpolation of an image sequence using object-based image analysis |
US6965645B2 (en) * | 2001-09-25 | 2005-11-15 | Microsoft Corporation | Content-based characterization of video frame sequences |
GB2414614A (en) * | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Image processing to determine most dissimilar images |
US7916897B2 (en) * | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
JP2008109336A (ja) * | 2006-10-25 | 2008-05-08 | Matsushita Electric Ind Co Ltd | 画像処理装置および撮像装置 |
TW200838321A (en) * | 2007-03-02 | 2008-09-16 | X8 Technology Inc | Motion estimation method and system with dual search windows for high resolution video coding |
CN101222604B (zh) * | 2007-04-04 | 2010-06-09 | 晨星半导体股份有限公司 | 运算移动估计值与估算图像的移动向量的方法 |
US8195598B2 (en) * | 2007-11-16 | 2012-06-05 | Agilence, Inc. | Method of and system for hierarchical human/crowd behavior detection |
US8358876B1 (en) * | 2009-05-20 | 2013-01-22 | Adobe Systems Incorporated | System and method for content aware in place translations in images |
TWI396116B (zh) * | 2009-12-18 | 2013-05-11 | Pixart Imaging Inc | 位移偵測裝置及方法 |
TWI571828B (zh) * | 2013-01-02 | 2017-02-21 | 奇高電子股份有限公司 | 光學導航方法以及相關裝置 |
-
2013
- 2013-01-02 TW TW102100035A patent/TWI571828B/zh active
- 2013-03-19 US US13/847,396 patent/US8958601B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
TWI571828B (zh) | 2017-02-21 |
US8958601B2 (en) | 2015-02-17 |
US20140185866A1 (en) | 2014-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI571828B (zh) | 光學導航方法以及相關裝置 | |
KR100834637B1 (ko) | 스테레오 카메라 장치에서 이미지들을 정렬하기 위한 장치및 방법 | |
JP5075757B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 | |
US8224069B2 (en) | Image processing apparatus, image matching method, and computer-readable recording medium | |
US10015374B2 (en) | Image capturing apparatus and photo composition method thereof | |
JP2004234423A (ja) | ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラム | |
JP5048542B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2007052670A (ja) | 辺検出方法及び隅評価方法及び装置及びプログラム | |
US9706121B2 (en) | Image processing apparatus and image processing method | |
US10116865B2 (en) | Image processing apparatus and image processing method for calculating motion vector between images with different in-focus positions | |
JP6579816B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6304619B2 (ja) | 像振れ補正システム、プログラム及び方法 | |
US20160156833A1 (en) | Focus control device, non-transitory computer readable recording medium having therein program for focus control, and method for focus control | |
US20130076868A1 (en) | Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same | |
JP6448457B2 (ja) | 撮影方向変動検出装置および撮影方向変動検出方法 | |
US10346680B2 (en) | Imaging apparatus and control method for determining a posture of an object | |
US10430971B2 (en) | Parallax calculating apparatus | |
JP2011135227A (ja) | 被写体追跡装置及びその制御方法 | |
KR101305732B1 (ko) | 비디오 검색을 위한 블록 생성 방법 및 이를 통해 생성된 블록을 기초로 한 질의 처리 방법 | |
JP6592881B2 (ja) | 面検出方法、面検出装置、及び撮像装置 | |
JP6381212B2 (ja) | 撮像装置及びその制御方法 | |
JP2009288893A (ja) | 画像処理装置 | |
JP2000348175A (ja) | 対応点検出装置及び方法 | |
KR101599810B1 (ko) | 바둑 복기 시스템 | |
JP2016076838A (ja) | 画像処理装置及び画像処理装置の制御方法 |