TWI571805B - 基於雜湊函數的漸進式影像匹配方法與裝置 - Google Patents

Description

基於雜湊函數的漸進式影像匹配方法與裝置

本發明提供一種影像匹配方法與裝置，且特別是關於一種基於雜湊函數的漸進式影像匹配方法與裝置。

影像匹配是電腦視覺領域中非常重要的一環，舉凡影像檢索、物件追蹤、三維場景的重建等都需要計算兩張輸入影像的相似度或是對其中的物件進行匹配。習知影像匹配大部分是對影像的特徵如色彩直方圖(color histogram)或是對頻率域等進行特徵描述後再進行特徵距離的計算。而近幾年來，由於強韌性特徵點如SIFT(Scale Invariant Feature Transform)演算法的發明，影像匹配可藉由影像中的這些強韌性特徵點來進行比對。

然而，隨著影像解析度的提升，高解析度影像由百萬至千萬個像素組成，使得高解析度影像上具有上萬個特徵點。雖然透過SIFT演算法可以快速找到影像中的特徵點，但對於上萬個特徵點的影像匹配將會非常耗時。若需要比對的影像數目很多(如100張影像)，執行影像匹配的時間將更久。

因此，在影像匹配的過程中，若可以減少需要比對的特徵點數量，將可以大幅降低影像匹配的執行時間。

本發明之目的在於提供一種基於雜湊函數的漸進式影像匹配方法與裝置，其在影像匹配的過程中過濾不需比對的特徵點，並同時降低比對錯誤的機率，藉此以提升影像匹配的執行效率與準確度。

本發明實施例提供一種基於雜湊函數的漸進式影像匹配方法，適用於一影像匹配裝置。漸進式影像匹配方法用以將第一影像之多個第一影像特徵點分別匹配到第二影像之多個第二影像特徵點其中之一。漸進式影像匹配方法包括如下步驟：選取未匹配的某個第一影像特徵點，且根據多個雜湊函數將選取的第一影像特徵點與所述多個第二影像特徵點轉換為多組第一表單。每個第一表單具有多個短二元碼，且選取的第一影像特徵點與所述多個第二影像特徵點分別對應到所述多個短二元碼其中之一；於每個第一表單中選擇與第一影像特徵點之短二元碼相同的多個第二影像特徵點，並將選擇的第二影像特徵點作為候選點；根據已匹配的第一影像特徵點與已匹配的第二影像特徵點透過一對極幾何法估測第二影像中的一匹配範圍，且擷取匹配範圍中的候選點。已匹配的第一影像特徵點與已匹配的第二影像特徵點越多，對極幾何估算地越準確，匹配範圍中的候選點也越少；最後將選取的第一影像特徵點匹配到匹配範圍中的候選點其中之一，並回到選取未進行匹配的某個第一影像特徵點的步驟中。

本發明實施例提供一種影像匹配裝置，用以將第一影像之多個第一影像特徵點分別匹配到第二影像之多個第二影像特徵點其中之一。影像匹配裝置包括儲存元件與影像處理器。儲存元件儲存所述第一影像特徵點與所述多個第二影像特徵點；以及影像處理器耦接儲存元件，且用以執行下列步驟：選取未匹配的某個第一影像特徵點，且根據多個雜湊函數將選取的第一影像特徵點與所述多個第二影像特徵點轉換為多組第一表單。每個 第一表單具有多個短二元碼，且選取的第一影像特徵點與所述多個第二影像特徵點分別對應到所述多個短二元碼其中之一；於每個第一表單中選擇與第一影像特徵點之短二元碼相同的多個第二影像特徵點，並將選擇的第二影像特徵點作為候選點；根據已匹配的第一影像特徵點與已匹配的第二影像特徵點透過一對極幾何法估測第二影像中的一匹配範圍，且擷取匹配範圍中的候選點。已匹配的第一影像特徵點與已匹配的第二影像特徵點越多，對極幾何估算地越準確，匹配範圍中的候選點越少；最後將選取的第一影像特徵點匹配到匹配範圍中的候選點其中之一，並回到選取未進行匹配的某個第一影像特徵點的步驟中。

綜合以上所述，本發明實施例所提供的基於雜湊函數的影像匹配方法與裝置，其透過雜湊函數將特徵點進行初步的分類及篩選，接著再利用對極幾何法過濾不需要比對的特徵點與根據已匹配成功的特徵點的數量逐漸減少後續需要比對的特徵點數，並同時降低匹配錯誤的機率，藉此以提升影像匹配的執行效率與準確度。

為使能更進一步瞭解本發明之特徵及技術內容，請參閱以下有關本發明之詳細說明與附圖，但是此等說明與所附圖式僅係用來說明本發明，而非對本發明的權利範圍作任何的限制。

100‧‧‧影像匹配裝置

110‧‧‧儲存元件

120‧‧‧影像處理器

I‧‧‧第一影像

J‧‧‧第二影像

f1、f2、f3‧‧‧第一影像特徵點

a、b、c、d、e‧‧‧第二影像特徵點

Re‧‧‧匹配範圍

LI‧‧‧對極線

HP‧‧‧雙曲線

S310、S320、S330、S340‧‧‧步驟

S432、S434、S436‧‧‧步驟

S510、S520、S530、S540‧‧‧步驟

S610、S620、S630‧‧‧步驟

S710、S720、S730、S740‧‧‧步驟

圖1是本發明一實施例之基於雜湊函數的影像匹配裝置的示意圖。

圖2是本發明一實施例之第一影像與第二影像的示意圖。

圖3是本發明一實施例之基於雜湊函數的影像匹配方法的流程圖。

圖4A是本發明一實施例之步驟S330的細部流程圖。

圖4B是本發明一實施例之步驟S434的細部流程圖。

圖5是本發明一實施例之某個第一影像特徵點與多個第二影像特徵點的關係圖。

圖6是本發明一實施例之步驟S340的細部流程圖。

圖7是本發明一實施例之步驟S630的細部流程圖。

在下文中，將藉由圖式說明本發明之各種例示實施例來詳細描述本發明。然而，本發明概念可能以許多不同形式來體現，且不應解釋為限於本文中所闡述之例示性實施例。此外，圖式中相同參考數字可用以表示類似的元件。

本發明實施例所提供的基於雜湊函數的影像匹配方法與裝置，其先利用多組的雜湊函數將所選取的影像與待匹配影像中的特徵點轉換為多組二元碼，以藉此將待匹配影像中的特徵點進行初步的分類及篩選。接著再透過對極幾何法根據已匹配成功的特徵點過濾待匹配影像中不需要比對的特徵點。最後再將所選取的影像之特徵點匹配到待匹配影像中需要比對的特徵點其中之一。而隨著匹配成功的特徵點的增加，其將會過濾出越多待匹配影像中不需要比對的特徵點，進而可減少待匹配影像中需要比對的特徵點，藉此以提升影像匹配的執行效率與準確度。以下將進一步介紹本發明揭露之基於雜湊函數的漸進式影像匹配方法與裝置。

首先，請同時參考圖1-2，圖1顯示本發明一實施例之基於雜湊函數的影像匹配裝置的示意圖，且圖2顯示本發明一實施例之第一影像與第二影像的示意圖。如圖1-2所示，影像匹配裝置100為用來將第一影像I之第一影像特徵點f1、f2、f3分別匹配到第二影像J之第二影像特徵點a、b、c、d、e其中之一。在本實施例中，影像匹配裝置100可為電腦主機、錄影機、平板電腦、智慧型手機、筆記型電腦、雲端系統或其他需要影像匹配(如利 用影像匹配結果進行影像檢索、物件追蹤、三維場景重建等)的電子裝置，本發明對此不作限制。舉例來說，作為影像匹配裝置100的智慧型手機在拍攝到第一影像I與第二影像J之後，影像匹配裝置100傳送第一影像I與第二影像J到雲端系統進行影像匹配，或直接在智慧型手機上進行影像匹配。

影像匹配裝置100包括一儲存元件110與一影像處理器120。儲存元件110儲存有第一影像特徵點f1-f3與第二影像特徵點a-e，以提供影像處理器120依序將第一影像I中的第一影像特徵點f1、f2、f3匹配到第二影像J之第二影像特徵點a-e其中之一。在本實施例中，第一影像特徵點f1-f3與第二影像特徵點a-e為透過SIFT演算法而產生，且上述影像特徵點之產生方式為所屬技術領域具有通常知識者所知悉，故不再贅述。而第一影像特徵點f1-f3與第二影像特徵點a-e亦可由其他演算法，如角點偵測(corner detector)、SURF演算法(speeded up robust feature)等，本發明對此不作限制。

影像處理器120耦接儲存元件110且用以執行下列步驟，以依序將第一影像I中的第一影像特徵點f1、f2、f3匹配到第二影像J之第二影像特徵點a-e其中之一。意即，影像處理器120先將例如第一影像特徵點f1匹配到例如第二影像特徵點c，接著再將例如第一影像特徵點f2匹配到例如第二影像特徵點e，最後再將例如第一影像特徵點f3匹配到例如第二影像特徵點b，以完成第一影像I與第二影像J中特徵點的影像匹配。詳細的影像匹配方法如下所述。

請同時參考圖3，並同時參考圖1-2。首先，影像處理器120選取未進行匹配的某個第一影像特徵點，且根據多個雜湊函數將選取的第一影像特徵點與所述多個第二影像特徵點轉換為多個第一表單，以藉此將第二影像特徵點進行初步的分類及篩選(步驟S310)。每個第一表單具有多個短二元碼，且選取的第一影像 特徵點與所述多個第二影像特徵點分別對應到多個短位元碼其中之一。在本實施例中，短二元碼代表位元長度較短的二元碼(如位元長度為2的二元碼)。

舉例來說，影像處理器120選取未進行匹配的第一影像特徵點f1。第一影像特徵點f1與第二影像特徵點a-e之座標與特徵點描述向量如下表<一>所示。

其中，特徵點座標為第一影像特徵點f1與第二影像特徵點a-e位於第一影像I與第二影像J的位置。特徵點描述向量為對應的特徵點與其周圍像素特徵的描述，且有關特徵點描述向量的產生方法為所屬技術領域具有通常知識者所知悉，故不再贅述。

而影像處理器120將根據多個雜湊函數將選取的第一影像特徵點f1與第二影像特徵點a-e轉換為多個第一表單，且每個第一表單具有3組位元長度為2的短二元碼。更進一步來說，雜湊函數為由下式<1>表示： 其中，r代表一個隨機向量，q代表特徵點描述向量，且r‧q代表將隨機向量與特徵點描述向量作內積。在本例子中，影像處理器120將根據0~1的常態分佈產生三組隨機向量，如下表<二>所示。

表<二>

而影像處理器120將透過式<1>，且根據第一影像特徵點f1與第二影像特徵點a-e之特徵點描述向量以及三組隨機向量來產生三組第一表單。意即，影像處理器120根據多個雜湊函數(代表三組不同的隨機向量)將選取的第一影像特徵點f1與第二影像特徵點a-e轉換為多個第一表單，如下表<三>所示。

以計算第一影像特徵點f1之第一組第一表單之短二元碼來作說明，影像處理器120藉由式<1>將第一影像特徵點f1之特徵點描述向量(即，[50,32,17,11,18])分別與第一組隨機向量[0.8644,0.0942,-0.8519,0.8735,-0.4380]以及[-0.4297,-1.1027,0.3962,-0.9649,0.1684]作內積，以分別計算得到數值「1」與「0」，其中數值「1」對應到短二元碼的高位元，且數值「0」對應到短二元碼的高位元。因此，第一影像特徵點f1之第一組第一表單之短二元碼表示為「10」。

值得注意的是，在其他實施例中，第一影像I中的第一影像特徵點f1-f3亦可分別具有一特徵強度，即第一影像特徵點f1-f3 作為第一影像I的特徵點之可靠度。因此，影像處理器120在選取未進行匹配的某一該第一影像特徵點的過程中，將可根據第一影像特徵點f1-f3之間的特徵強度來選取第一影像特徵點。在本實施例中，影像處理器120將選取具有最高該特徵強度且未進行匹配的該第一影像特徵點來與第二影像J中的某個第二影像特徵點匹配。舉例來說，第一影像特徵點f1-f3之間的特徵強度為f1>f2>f3。因此，影像處理器120將先選取第一影像特徵點f1進行匹配，接著依序選取第一影像特徵點f2、f3進行匹配。當然，影像處理器120亦可依據其他資訊來決定選取第一影像特徵點f1-f3的順序，本發明對此不作限制。

在轉換為多個第一表單(即步驟S310)後，影像處理器120將在每個第一表單之中，選擇與第一影像特徵點之短二元碼相同第二影像特徵點，並將所選擇的第二影像特徵點作為多個候選點(步驟S320)。承接上述例子，在第一組第一表單中，影像處理器120將選擇第一影像特徵點f1之短二元碼為「10」，且第二影像特徵點c、d、e具有相同的短二元碼；類似地，在第二組第一表單中，影像處理器120將選擇第一影像特徵點f1之短二元碼為「00」，且第二影像特徵點a、c、d、e具有相同的短二元碼；以及在第三組第一表單中，影像處理器120將選擇第一影像特徵點f1之短二元碼為「01」，且第二影像特徵點c、e具有相同的短二元碼。因此，影像處理器120將整合三組第一表單，並將第二影像特徵點a、c、d、e作為候選點。

由上述可知，影像處理器120將透過多個雜湊函數的計算而進行初步的分類與篩選，即留下第二影像特徵點a、c、d、e，且刪除第二影像特徵點b。

接下來，影像處理器120將根據已匹配的第一影像特徵點與已匹配的第二影像特徵點透過對極幾何(epipolar geometry)法估測第二影像中的一匹配範圍，且擷取匹配範圍中的多個候選點， 以提供所選取的第一影像特徵點進行影像匹配(步驟S330)。若已匹配的第一影像特徵點與已匹配的第二影像特徵點越多，對極幾何可估算地越準確，據此取得的匹配範圍將越小，其中的候選點數也越少。

意即，隨著匹配成功的特徵點的增加，匹配範圍的估測將會越來越準確而漸進式地限縮到一個範圍內，進而可過濾越多第二影像中不需要比對的特徵點。據此，若影像處理器120匹配目前的第一影像特徵點之前已經匹配成功多個第一影像特徵點(如已匹配成功50個第一影像特徵點)，影像處理器120將會因為之前匹配成功的個數增加而可減少第二影像中需要比對的第二影像特徵點(即匹配範圍中的候選點)，藉此以提升影像匹配的執行效率。

更進一步來說，請同時參考圖4A，其顯示本發明一實施例之步驟S330的細部流程圖。在步驟S432中，影像處理器120首先將計算選取的第一影像特徵點投影到第二影像中的一對極線(epipolar line)，如圖5所示之第一影像I之第一影像特徵點f1投影到第二影像J之對極線LI。而有關第二影像中的對極線的產生方法為所屬技術領域具有通常知識者所知悉，故不再贅述。而承接上述例子，影像處理器120將估測出對極線LI之線性方程式例如為-2X+Y+3=0。

在估測完第二影像中的對極線(即步驟S432)後，由於影像處理器120在估測對極線的過程中會有誤差而導致後續比對到錯誤的第二影像特徵點，故影像處理器120將計算關聯於估測對極線不準確的一變異矩陣，並根據變異矩陣與對極線計算一雙曲線，以模擬估測對極線不準確的狀況(步驟S434與S436)。此時，雙曲線會映射到第二影像，且第二影像中的匹配範圍對應到雙曲線的範圍內，如圖5之匹配範圍Re對應到雙曲線HP的範圍內。而有關雙曲線的計算方法為所屬技術領域具有通常知識者所知 悉，故不再贅述。

值得注意的是，若影像處理器120在選取某個未匹配的第一影像特徵點(如選取未匹配的第一影像特徵點f1)之前已經匹配成功多個第一影像特徵點與多個第二影像特徵點，影像處理器120將會根據已匹配的第一影像特徵點與已匹配的第二影像特徵點來計算變異矩陣，更進一步的計算流程如下。請同時參考圖4B，首先，影像處理器120將累計已匹配的第一影像特徵點的數量(步驟S510)。接著，影像處理器120將判斷累計的數量是否大於等於一預定量(步驟S520)。若累計的數量大於等於預定量，影像處理器120將根據已匹配的第一影像特徵點與已匹配的第二影像特徵點計算目前的變異矩陣，(步驟S530)。反之，若累計的數量小於預定量，影像處理器120將前一次計算雙曲線的變異矩陣作為目前的變異矩陣，以根據目前的變異矩陣與對極線計算雙曲線(步驟S540)。

據此，影像處理器120對每個第一影像特徵點進行影像匹配的過程中，變異矩陣將因為已匹配的第一影像特徵點與已匹配的第二影像特徵點越來越多而越來越準確，以致雙曲線漸進式地逼近對極線(如圖5之對極線LI)而逐漸縮小匹配範圍(如圖5之匹配範圍Re)，使得匹配範圍中需要比對的第二影像特徵點越來越少(即匹配範圍中的候選點)，進而可加快整體影像匹配的速度。

承接上述例子，影像處理器120將估測出雙曲線HP之雙曲線方程式例如為3.4009X²-4.1198xy+0.9401Y²12.2396X+5.6406Y+8.9401。此時，雙曲線將映射到第二影像，且第二影像中的匹配範圍將對應到雙曲線的範圍內，如圖5所示之雙曲線HP映射到第二影像J，且第二影像J中的匹配範圍Re將對應到雙曲線HP的範圍內。

在計算出映射到第二圖像的雙曲線後，影像處理器120將擷取匹配範圍中的多個候選點。承接上述例子，影像處理器120 接著將第二影像特徵點a、c、d、e(即步驟S320中產生的候選點)的座標代入雙曲線方程式，以判斷第二影像特徵點a、c、d、e是否在雙曲線HP的範圍內(即匹配範圍Re中)。

在本例子中，若代入雙曲線方程式的結果大於0，表示代入的座標不在雙曲線HP的範圍內，影像處理器120將過濾此座標對應的特徵點；反之，若代入雙曲線方程式的結果小於等於0,表示代入的座標位在雙曲線HP的範圍內，影像處理器120將保留此座標對應的特徵點。第二影像特徵點a、c、d、e的座標代入雙曲線方程式的結果如下表<四>所示。

由上表<四>可知，代入的座標(15,20)與(148,293)在雙曲線HP的範圍內，影像處理器120將保留此座標對應的第二影像特徵點a與c。而代入的座標(348,117)與(413,89)不在雙曲線HP的範圍內，影像處理器120將過濾此座標對應的第二影像特徵點d與e。據此，影像處理器120遂將擷取匹配範圍Re中的第二影像特徵點a與c(即候選點)。

請回到圖3，在擷取匹配範圍中的多個候選點(即步驟S330)後，影像處理器120遂將一開始選取的第一影像特徵點匹配到匹配範圍中的多個候選點其中之一(步驟S340)。更進一步來說，請同時參考圖6，影像處理器120遂根據另一個雜湊函數(即不同於表<二>中的三組隨機向量)，將選取的第一影像特徵點f1與匹配範圍Re中的多個候選點轉換為一第二表單(步驟S61)。第二表單具有多個長二元碼，且第一影像特徵點與匹配範圍中的多個候選點分別對應到多個長二元碼其中之一。值得注意的是，相較 於上述短二元碼，長二元碼的位元長度為大於短二元碼的位元長度。而承接上述例子，雜湊函數如同上式<1>所示，其中r為不同於表<二>中的一組隨機向量，如下表<五>所示。

而影像處理器120將透過式<1>與表<五>的隨機向量，且根據選取的第一影像特徵點f1與第二影像特徵點a、c(即匹配範圍Re中的多個候選點)轉換為一第二表單，如下表<六>所示。

以計算第一影像特徵點f1之長二元碼來作說明，影像處理器120藉由式<1>與表<五>將第一影像特徵點f1之特徵點描述向量(即，[50,32,17,11,18])分別與隨機向量[0.6434,0.6819,0.0147,-1.3015,-1.2846]、[0.8122,0.8385,1.4203,-0.9898,-1.1832]、[-0.4663,-0.3659,1.1183,-0.4656,-1.5608]、[-0.2831,-1.3229,-0.1962,0.4190,0.7423]、[-0.1430,-2.1619,-0.6442,1.4396,-0.8469]以及[0.0573,0.6434,-0.6704,-0.0031,0.3529]作內積，以分別計算得到數值「1」、「1」、「0」、「0」、「0」與「1」，其中長二元碼共6個位元，且數值「1」、「1」、「0」、「0」、「0」與「1」對應到長二元碼的高位元到低位元。因此，第一影像特徵點f1之長二元碼表示為「110001」。

在轉換為第二表單(即步驟S610)後，影像處理器120將計算 代表第一影像特徵點的長二元碼與其他的多個長二元碼之漢明距離，並排序多個漢明距離(步驟S620)。承接上述例子且同時參考表<六>，第一影像特徵點f1與第二影像特徵點a之間的漢明距離為「1」，以及第一影像特徵點f1與第二影像特徵點b之間的漢明距離為「0」。

接下來，影像處理器120將由最小漢明距離開始，選取且計算對應的至少一個第二影像特徵點與選取的第一影像特徵點之間的歐氏距離，並將歐氏距離最小且小於一臨界值的第二影像特徵點匹配到選取的第一影像特徵點(步驟S630)。在本實施例中，為選取排序在最前面的一個第二影像特徵點以進行後續處理，而選取對應的第二影像特徵點的數量亦可依照實際狀況作調整，本發明對此不作限制。

更進一步來說，請同時參考圖7，其顯示本發明一實施例之步驟S630的細部流程圖。如圖7所示，首先影像處理器120將由最小漢明距離開始，選取對應的至少一個第二影像特徵點，且計算選取的第二影像特徵點與選取的第一影像特徵點之間的歐氏距離(步驟S710)。接下來影像處理器120將選取歐氏距離最小的第二影像特徵點，以取得與第一影像特徵點最匹配的第二影像特徵點(步驟S720)。接著，影像處理器120將判斷最小的歐氏距離是否小於臨界值，以進一步判斷取得的第二影像特徵點是否適合匹配第一影像特徵點(步驟S730)。若影像處理器120判斷最小的歐氏距離小於臨界值，表示匹配成功，影像處理器120接著將選取的第一影像特徵點匹配到歐氏距離最小的第二影像特徵點(步驟S740)，並回到選取未進行匹配的某個第一影像特徵點的步驟(即步驟S310)。反之，若影像處理器120判斷最小的歐氏距離大於等於臨界值，表示匹配失敗，影像處理器120將回到選取未進行匹配的某個第一影像特徵點的步驟(即步驟S310)，以重新尋找尚未匹配的第一影像特徵點來與第二影像中的某個第二影像 特徵點匹配。

承接上述例子，在此例子中，影像處理器120將由最小漢明距離開始選取對應的二個第二影像特徵點。故影像處理器120將選取第二影像特徵點a與c，並分別計算第二影像特徵點a、c與第一影像特徵點f1之間的歐氏距離。在此，第一影像特徵點f1的描述向量為[50,32,17,11,18]，第二影像特徵點a的描述向量為[12,33,48,04,37]，以及第二影像特徵點c的描述向量為[49,33,18,12,19]。因此，第二影像特徵點a與第一影像特徵點f1之間的歐氏距離為∥[50,32,17,11,18]-[12,33,48,04,37]∥²=(38)²+(-1)²+(-31)²+(7)²+(19)²=6859。而第二影像特徵點c與第一影像特徵點f1之間的歐氏距離為∥[50,32,17,11,18]-[49,33,18,12,19]∥²=(1)²+(-1)²+(-1)²+(-1)²+(-1)²=5。

因此，影像處理器120將選取歐氏距離最小的第二影像特徵點c，並判斷最小的歐氏距離是否小於臨界值。若臨界值設定為10，影像處理器120將判斷最小的歐氏距離小於臨界值，表示匹配成功。此時，影像處理器120將第二影像特徵點c匹配到第一影像特徵點f1。而若臨界值設定為3，影像處理器120將判斷最小的歐氏距離大於等於臨界值，表示匹配失敗。而不管第一影像特徵點f1有沒有成功匹配到某個第二影像特徵點a-e。影像處理器120將重新尋找第一影像I中尚未匹配的第一影像特徵點(如第一影像特徵點f2與f3)來與第二影像J中的某個第二影像特徵點a-e匹配，直到第一影像I中的所有第一影像特徵點皆已執行過匹配流程。

綜上所述，本發明實施例所提供的基於雜湊函數的影像匹配方法與裝置，其透過雜湊函數將特徵點進行初步的分類及篩選，接著再利用比對成功的特徵點進行對極幾何的估算，並以取得的對極幾何進一步限縮特徵點的比對範圍，而隨著匹配成功的點數的增加，對極幾何可逐漸估算的愈來愈準確，也更能過濾不正確 的特徵點，藉此提升影像匹配的執行效率與準確度。

以上所述僅為本發明之實施例，其並非用以侷限本發明之專利範圍。

S310、S320、S330、S340‧‧‧步驟

Claims (11)

1. 一種基於雜湊函數的漸進式影像匹配方法，適用於一影像匹配裝置，用以將一第一影像之多個第一影像特徵點分別匹配到一第二影像之多個第二影像特徵點其中之一，且該漸進式影像匹配方法包括：選取未匹配的某一該第一影像特徵點，且根據多個雜湊函數將選取的該第一影像特徵點與該些第二影像特徵點轉換為多組第一表單，其中每一該第一表單具有多個短二元碼，且選取的該第一影像特徵點與該些第二影像特徵點分別對應到該些短二元碼其中之一；於每一該第一表單中選擇與該第一影像特徵點之該短二元碼相同的該些第二影像特徵點，並將選擇的該些第二影像特徵點作為多個候選點；根據已匹配的該些第一影像特徵點與已匹配的該些第二影像特徵點透過一對極幾何法估測該第二影像中的一匹配範圍，且擷取該匹配範圍中的該些候選點，其中已匹配的該些第一影像特徵點與已匹配的該些第二影像特徵點越多，該匹配範圍越小；以及將選取的該第一影像特徵點匹配到該匹配範圍中的該些候選點其中之一，並回到選取未進行匹配的某一該第一影像特徵點的步驟。
2. 如請求項1之漸進式影像匹配方法，其中，於將選取的該第一影像特徵點匹配到該匹配範圍中的該些候選點其中之一的步驟中，更包括：根據另一該雜湊函數將選取的該第一影像特徵點與該匹配範圍中的該些候選點轉換為一第二表單，其中該第二表單具有多個長二元碼，該第一影像特徵點與該匹配範圍中的該些候選點分別對應到該些長二元碼其中之一，且該些長二元碼的位元長度大於該些短二元碼的位元長度； 計算代表該第一影像特徵點的該長二元碼與其他的該些長二元碼之漢明距離，並排序該些漢明距離；以及由最小該漢明距離開始，選取且計算對應的至少一該第二影像特徵點與選取的該第一影像特徵點之間的歐氏距離，並將選取的該第一影像特徵點匹配到該歐氏距離最小且小於一臨界值的該第二影像特徵點。
3. 如請求項1之漸進式影像匹配方法，其中，該些第一影像特徵點分別具有一特徵強度，且於選取未進行匹配的某一該第一影像特徵點的步驟中，更包括：選取具有最高該特徵強度且未進行匹配的該第一影像特徵點。
4. 如請求項1之漸進式影像匹配方法，其中，於估測該第二影像中的該匹配範圍的步驟中，更包括：計算選取的該第一影像特徵點投影到該第二影像中的一對極線；計算關聯於估測該對極線不準確的一變異矩陣；以及根據該變異矩陣與該對極線計算一雙曲線，該雙曲線映射到該第二影像，且該第二影像中的該匹配範圍對應到該雙曲線的範圍內。
5. 如請求項4之漸進式影像匹配方法，其中，於計算該變異矩陣的步驟中，更包括：累計已匹配的該些第一影像特徵點的一數量；判斷累計的該數量是否大於等於一預定量；若累計的該數量大於等於該預定量，根據已匹配的該些第一影像特徵點與已匹配的該些第二影像特徵點計算目前的該變異矩陣；以及 若累計的該數量小於該預定量，將前一次計算該雙曲線的該變異矩陣作為目前的該變異矩陣。
6. 如請求項2之漸進式影像匹配方法，其中，於將選取的該第一影像特徵點匹配到該歐氏距離最小且小於該臨界值的該第二影像特徵點的步驟中，更包括：選取該歐氏距離最小的該第二影像特徵點；判斷最小的該歐氏距離是否小於該臨界值；若最小的該歐氏距離小於該臨界值，將選取的該第一影像特徵點匹配到該歐氏距離最小的該第二影像特徵點；以及若最小的該歐氏距離大於等於該臨界值，選取的該第一影像特徵點匹配失敗。
7. 一種影像匹配裝置，用以將一第一影像之多個第一影像特徵點分別匹配到一第二影像之多個第二影像特徵點其中之一，且該影像匹配裝置包括：一儲存元件，儲存該些第一影像特徵點與該些第二影像特徵點；以及一影像處理器，耦接該儲存元件，且用以執行下列步驟：選取未匹配的某一該第一影像特徵點，且根據多個雜湊函數將選取的該第一影像特徵點與該些第二影像特徵點轉換為多組第一表單，其中每一該第一表單具有多個短二元碼，且選取的該第一影像特徵點與該些第二影像特徵點分別對應到該些短二元碼其中之一；於每一該第一表單中選擇與該第一影像特徵點之該短二元碼相同的該些第二影像特徵點，並將選擇的該些第二影像特徵點作為多個候選點；根據已匹配的該些第一影像特徵點與已匹配的該些第二影 像特徵點透過一對極幾何法估測該第二影像中的一匹配範圍，且擷取該匹配範圍中的該些候選點，其中已匹配的該些第一影像特徵點與已匹配的該些第二影像特徵點越多，該匹配範圍越小；以及將選取的該第一影像特徵點匹配到該匹配範圍中的該些候選點其中之一，並回到選取未進行匹配的某一該第一影像特徵點的步驟。
8. 如請求項7之影像匹配裝置，其中，該些第一影像特徵點分別具有一特徵強度，且於選取未進行匹配的某一該第一影像特徵點時，該影像處理器選取具有最高該特徵強度且未進行匹配的該第一影像特徵點。
9. 如請求項7之影像匹配裝置，其中，該影像匹配裝置為電腦主機、錄影機、平板電腦、智慧型手機、筆記型電腦與雲端系統其中之一。
10. 如請求項7之影像匹配裝置，其中，於估測該第二影像中的該匹配範圍時，該影像處理器計算選取的該第一影像特徵點投影到該第二影像中的一對極線，計算關聯於估測該對極線不準確的一變異矩陣，且根據該變異矩陣與該對極線計算一雙曲線，其中，該雙曲線映射到該第二影像，且該第二影像中的該匹配範圍對應到該雙曲線的範圍內。
11. 如請求項10之影像匹配裝置，其中，於計算該變異矩陣時，該影像處理器累計已匹配的該些第一影像特徵點的一數量，並判斷累計的該數量是否大於等於一預定量；其中，若累計的該數量大於等於該預定量，該影像處理器根據 已匹配的該些第一影像特徵點與已匹配的該些第二影像特徵點計算目前的該變異矩陣；以及其中，若累計的該數量小於該預定量，該影像處理器將前一次計算該雙曲線的該變異矩陣作為目前的該變異矩陣。