TWI601097B - 將影像特徵與參考特徵相匹配之方法及其所用積體電路 - Google Patents

將影像特徵與參考特徵相匹配之方法及其所用積體電路 Download PDF

Info

Publication number
TWI601097B
TWI601097B TW101139468A TW101139468A TWI601097B TW I601097 B TWI601097 B TW I601097B TW 101139468 A TW101139468 A TW 101139468A TW 101139468 A TW101139468 A TW 101139468A TW I601097 B TWI601097 B TW I601097B
Authority
TW
Taiwan
Prior art keywords
feature
current
individual
features
image
Prior art date
Application number
TW101139468A
Other languages
English (en)
Other versions
TW201329908A (zh
Inventor
諾柏特 史托費勒
彼得 梅亞
Original Assignee
美塔歐有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美塔歐有限公司 filed Critical 美塔歐有限公司
Publication of TW201329908A publication Critical patent/TW201329908A/zh
Application granted granted Critical
Publication of TWI601097B publication Critical patent/TWI601097B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features

Description

將影像特徵與參考特徵相匹配之方法及其所用積體電路
本發明係關於一種將影像特徵與參考特徵相匹配之方法，其包含以下步驟：提供由攝取裝置攝取之當前影像；提供參考特徵，其中該等參考特徵中之每一者包含至少一參考特徵描述符；判定該當前影像中之當前特徵及使該等當前特徵中之每一者與至少一個別當前特徵描述符相關聯；及藉由判定每一個別當前特徵描述符與每一個別參考特徵描述符之間的個別相似性度量來將該等當前特徵與該等參考特徵相匹配。本發明亦關於一種用於影像特徵與參考特徵之匹配的積體電路。
標準方法、局限及現有解決方案：諸如在擴增實境應用及電腦視覺中處理由相機拍攝之影像的許多任務需要找到同一物件或場景之多個影像中對應於同一實體三維(3D)表面之點或特徵。舉例而言，在擴增實境中，主要問題係判定相機相對於世界的位置及定向(相機姿勢)。
初始化光學追蹤(亦即，當無法獲得來自先前圖框之知識時)之標準方法可分成三個主要構成區塊：特徵偵測、特徵描述及特徵匹配(參見圖1)。如熟習此項技術者將理解，當無法獲得來自先前圖框之知識時，其並不意謂不允許來自非光學感測器(例如GPS或羅盤)之知識。特徵偵測亦稱為特徵抽取。
首先，藉助於具有高重複性之方法執行特徵偵測以用於識別影像中之特徵。換言之，該方法將針對不同視點、不同定向及/或照明設定來選擇影像中對應於同一實體三維表面之部分作為特徵(例如，局部特徵描述符作為SIFT([1])、形狀描述符([18])或熟習此項技術者已知之其他方法)。通常在尺度空間中(亦即，按不同尺度)抽取特徵。因此，除二維位置外，每一特徵還具有可重複的尺度。另外，可重複的定向(旋轉)係根據特徵周圍的區域中的像素之強度計算為，例如，強度梯度之主要方向。
其次，判定特徵描述符以實現對特徵的比較及匹配。常用方法使用特徵之計算出的尺度及定向來轉換特徵描述符之坐標，其不隨旋轉及尺度而改變。舉例而言，該描述符可為n維實數向量，此向量係藉由串連局部影像強度(諸如梯度)之函數的直方圖而構成(如[1]中)。
最後，一個重要的任務係特徵匹配。已知在當前強度影像中偵測到並描述之當前特徵，目標係找到所提供特徵之集合中對應於同一實體三維表面之特徵，該等所提供特徵將被稱為參考特徵。最簡單的特徵匹配方法係藉助於窮舉搜尋來找到當前特徵之描述符之最近鄰居並選擇相對應的參考特徵作為匹配。更先進的方法使用描述符領域中之空間資料結構來加速匹配。不幸的是，還沒有已知方法可以實現高維空間中的最近鄰居搜尋，該最近鄰居搜尋顯著快於窮舉搜尋。因此，常用方法改為使用例如藉由諸如kd樹之空間分割資料結構來實現的近似最近鄰居搜尋 ([1])。
圖1(結合圖2)示出將當前特徵集合與參考特徵集合相匹配之標準方法之流程圖。在步驟S11中，提供由攝取裝置拍攝之當前影像CI。下一步驟S12接著偵測並描述當前影像CI中之特徵(可選的為：根據估計模型特徵位置之已做選擇性抽取)，其中每個所得的當前特徵c具有特徵描述符d(c)及在相機影像c1中之二維位置。以下參考示範性實施更詳細地闡述可用於特徵偵測及描述之可能方法。在步驟S13中提供參考特徵r之集合，該等參考特徵各自具有描述符d(r)及在全球坐標系統中之(局部)位置及/或定向。可自參考影像或三維模型或關於物件之其他資訊抽取參考特徵。請注意，在視覺搜尋及分類任務的情況下，在全球坐標系統中之位置及/或定向係可選的。在步驟S14中，將來自步驟S12之當前特徵c與來自步驟S13之參考特徵r相匹配。舉例而言，針對每個當前特徵，搜尋相對於某一距離度量具有最接近當前特徵之描述符之描述符的參考特徵。根據步驟S15，應用程式使用特徵匹配，例如，以便在擴增實境應用中非常準確地估計攝取裝置之位置及定向，該擴增實境應用將空間記錄之虛擬三維物件整合成相機影像。
標準方法之局限：為了在不同環境中成功初始化追蹤，靈活性很重要。例如，[1]中所描述之特徵非常適用於紋理化的環境。在紋理很少的環境中，或在紋理改變(例如，汽車表層的外觀取決於其環境及相機位置而劇烈改變)的情況下，如[1] 中之特徵具有很大難度。如[18]中所描述之特徵更適合於非紋理化的環境。因此，經常調適並改變特自助餐及特徵描述演算法，以便更好地適合特殊任務。
隨著參考特徵之數目增長，匹配單一當前特徵所用之時間增加，因硬體的局限而使即時處理在某一時刻不可能。此外，特徵描述符之獨特性隨著參考特徵之數目增長而減小，此又限制了匹配品質並顯著影響穩健性。
已提議之解決方案：存在基於充當參考特徵的地理參考(geo-referenced)局部影像特徵之集合的不同方法。此等方法之假設為，若攝取裝置之位置大致已知，則唯有位於攝取裝置附近的彼等參考特徵可能係可見的。換言之，該等方法旨在減少參考特徵之間的潛在匹配之數目。舉例而言，已提議使用感測器資料(例如，GPS定位)來使搜尋區域變窄且針對每個空間區域使用預先建置之字彙樹之集合在此搜尋區域中找到最佳匹配影像之方法([2]、[4])。另外，在使用單一整體字彙樹且在特徵匹配評分程序中預先併入GPS位置時達成更好的結果([4])。[5]之方法使用GPS獲得裝置之粗略位置，以用於在室外擴增實境系統中初始化視覺追蹤。已知此位置，以粗略GPS量測結果周圍的數個位置樣本處的受限相機位置執行初始化，直至初始化成功。在另一種方法中，使用差分GPS/IMU硬體模型與卡爾曼濾波器中之氣壓高度量測結果的組合，以便改良裝置之三維單位估計的準確度([7])。[8]之方法使用潛在可見集合(PVS)， 因而不僅考慮到特徵之空間接近度而且考慮到可見度約束。提到用GPS進行的粗略定位以用於在室外應用中擷取PVS。
[3]之視覺慣性追蹤方法應用慣性感測器來量測相機自先前圖框至當前圖框的相對移動。此知識用於為逐個圖框進行追蹤之特徵預測位置且在影像空間中定義二維搜尋空間。因為該技術僅使用相對相機轉換之量測，所以其僅適合於初始化相機姿勢追蹤或視覺搜尋任務。
上述方法均未提出藉由在硬體上加速視覺演算法來提升速度及效能。
考慮視覺演算法之硬體加速的典型方法使特徵偵測及特徵描述最佳化，而特徵匹配仍然實施於軟體中。舉例而言，在[13]中，匹配仍在軟體中，而特徵偵測及描述在硬體上得以最佳化：「自章節II可看出，用於影像匹配程式之最佳化SIFT演算法由五個階段組成：1)高斯金字塔建構。2)DoG空間建構及特徵識別。3)梯度及定向直方圖產生。4)特徵描述符產生。5)影像匹配。考慮到Xilinx FPGA嵌入式系統之本質，已針對FPGA實施採用類似於[6]之最高層級系統分割。更具體而言，將前三個階段實施為名為SIFT特徵偵測模組之硬體核心，而認為使用Xilinx MicroBlaze軟體處理器將後兩個階段實施為名為SIFT特徵產生及影像匹配模組之軟體模組」。上述情形同樣適用於[14]。請注意，[6]論述了高匹配處理時間的問題(稱為關聯)，但並未提議建置特殊硬體區塊來解決此問題。相反地，他們提議藉由 在更快的通用處理器上運行其軟體解決方案來加速其軟體解決方案。
藉助於硬體加速來加速影像處理的另一實例揭示於[17]中。作者論述了許多視覺追蹤演算法並非全部可易於實施於FPGA上。他們使自己明確限於不需要複雜的浮點計算之技術，以便使FPGA上使用之區域最小化。他們選擇加速影像處理：「有許多不同的視覺追蹤演算法，但該等演算法並非全部可易於實施於FPGA上。我們已經避免使用需要複雜的浮點計算之技術，以便使FPGA上使用之區域最小化。我們發現可使用很少的閘來執行分段。」
因此，提供一種在執行視覺計算任務時以減少之處理及功率需求實現更高效能及更高演算法靈活性的方法將係有益的。特定言之，該方法應不僅實現更快的匹配程序，而且藉由利用額外的提示改良匹配品質。
根據本發明之一態樣，一種將影像特徵與參考特徵相匹配之方法包含以下步驟：提供由攝取裝置攝取之當前影像；提供參考特徵，其中該等參考特徵中之每一者包含至少一參考特徵描述符；判定該當前影像中之當前特徵及使該等當前特徵中之每一者與至少一個別當前特徵描述符相關聯；及藉由判定每一個別當前特徵描述符與每一個別參考特徵描述符之間的個別相似性度量來將該等當前特徵與該等參考特徵中之至少一些相匹配，該相似性度量之判定係在積體電路上由固線式邏輯或可組配邏輯執行，該 固線式邏輯或可組配邏輯處理用於判定相似性度量之邏輯功能。
根據本發明，就視覺計算任務如何可藉由在硬體中實施專用部件得以最佳化且更穩健地即時運行，提議一種新方法。選擇最有用的構成區塊及調適軟體以利用該最佳化不僅僅是新的，而且極具創新性，從而以減少之處理及功率需求實現更高效能。另一方面，使用硬體加速之大部分上述方法採用特徵抽取及特徵描述符建置，其大大降低了關於所用特徵之系統靈活性。同時，該等方法並未在描述符層級上加速匹配程序。此外，歸因於如上所述之靈活性需求(紋理化環境、非紋理化環境等)，仍經常採用並改變用於特徵偵測及特徵描述之演算法且該等演算法表現出廣泛的多樣性。
本發明之另一作用係基於預先得知的資料(參考特徵)改良光學追蹤系統之初始化，以便以減少之處理及功率需求實現更高效能。
根據本發明之另一態樣，提供有一種用於影像特徵與參考特徵的匹配之積體電路，其包含：用於接收個別當前特徵之數個當前特徵描述符之介面，該等當前特徵係自由攝取裝置攝取之當前影像獲得；用於接收個別參考特徵之數個參考特徵描述符之介面；及邏輯電路，該邏輯電路用於判定每一個別當前特徵描述符與每一個別參考特徵描述符之間的個別相似性度量以便將該等當前特徵與該等參考特徵相匹配，其中該邏輯電路包含固線式邏輯或可組 配邏輯，該固線式邏輯或可組配邏輯處理用於判定相似性度量之邏輯功能。
在一較佳實施例中，我們的方法實施於專用硬體區塊上且並非由通用處理器執行。該硬體區塊當然可為與通用處理器相同的積體電路(亦稱為矽或晶片)之部分。
在一較佳實施例中，該專用硬體區塊係不可程式化之單元，其中可程式化指執行通用指令之動態序列。
在一較佳實施例中，當前影像可為強度影像或深度影像。
當我們在本揭示內容全篇中提到強度影像時，我們指表示自環境反射的不同量之光之影像，其主要取決於環境之材料及光情形。強度影像可以不同位元的解析度(8位元或高動態範圍)將強度編碼於一個(例如灰階)或一個以上通道(例如RGB，即，紅-綠-藍)中。
有若干方法可能提供深度影像或稀疏深度資訊，該資訊包含影像中的元素(例如像素或特徵)之深度，該影像可在以下段落中將描述的根據本發明之匹配程序中使用。
根據判定強度影像中之至少一元素之深度的一實施例，具有已知相對位置及/或定向之至少兩個攝取裝置各自攝取個別強度影像，其中在該等影像中找到對應，且該等攝取裝置之相對位置及/或定向用來計算該等強度影像中之至少一元素之深度，該深度係該等對應中之至少一者的部分。在此情況下，匹配程序將在兩個一般步驟中進 行。首先，將當前圖框1與當前圖框2之特徵相匹配，以便根據攝取裝置1與2之間的給定姿勢計算其深度資訊。在後一步驟中，接著將當前特徵與參考特徵相匹配，其中在匹配程序期間利用深度資訊或導出的位置資訊。
根據判定強度影像中之至少一元素之深度的另一實施例，至少一攝取裝置在不同時間點自不同位置攝取強度影像，其中在不同影像中找到對應，且在不同影像之間該攝取裝置之相對位置及/或定向及該等對應之結構得以恢復且用來計算該等強度影像中之至少一元素之深度，該深度係該等對應中之至少一者的部分。如在以上情況下一樣，匹配同樣可在若干程序中進行，即，將最近的影像特徵彼此相匹配及接著在與較早的參考特徵之匹配程序中併入額外資訊。
根據判定強度影像中之至少一元素之深度的另一實施例，提供有強度影像之至少一資料庫，其中針對該等強度影像中之每一者，已知總深度、或至少一影像區域之深度、或一或多個像素之深度，且將由攝取裝置攝取之強度影像(當前強度影像)與此資料庫相匹配。匹配結果用來計算當前強度影像中之至少一元素之深度。
根據判定強度影像中之至少一元素之深度的另一實施例，提供有環境模型及關於在攝取該強度影像時該攝取裝置相對於該環境模型之位置及/或定位(其可為初始估計)的資訊，其中該環境模型及關於該攝取裝置之位置及/或定位的資訊得以組合並用來計算該強度影像中之至少 一元件之深度或位置估計。
根據判定強度影像中之至少一元素之深度的另一實施例，提供有至少一感測器，用於擷取深度資訊或範圍資料及該至少一感測器相對於攝取裝置之至少一相對位置及/或定向，其中該深度資訊或範圍資料用來計算該強度影像中之至少一元件之深度。較佳地，已知感測器及攝取裝置兩者之姿勢(位置及定向)及本質參數。
當然，此程序亦可以反覆方式實施，其中使用初始位置估計來與參考特徵相匹配及計算第一姿勢，使用該第一姿勢來細化當前特徵位置及開始另一匹配程序。
根據一實施例，參考特徵係自至少一參考影像抽取，該至少一參考影像已由不同於該攝取裝置之第二攝取裝置記錄。根據一實施例，該至少一參考影像之攝取時間比當前影像之攝取時間早至少一天。
舉例而言，可使用距離度量作為根據本發明之相似性度量。根據一實施例，本發明之方法可包括藉由比較距離度量與至少一個別臨界值來判定至少一個別檢驗參數，其中該檢驗參數係用作判定是否執行匹配或影響距離度量之準則。若執行匹配，則在匹配程序中使用個別所判定之相似性度量。
根據本發明之一實施例，用於判定個別距離度量或其部分及個別檢驗參數(如以下更詳細闡述)之計算係在積體電路上以管線方式平行執行。舉例而言，積體電路之時脈信號之每個時脈循環計算一個個別距離度量及/或檢 驗參數。
在本發明之一態樣中，在判定個別相似性度量後，該方法進一步包含儲存直至此時已判定之相似性度量中之最相似的相似性度量及第二最相似的相似性度量，及與該最相似的相似性度量相關聯之個別當前特徵描述符之索引。
根據一實施例，比較最相似的相似性度量與第二最相似的相似性度量之導數，其中若此比較滿足預定條件，則提供該最相似的相似性度量及第二最相似的相似性度量、該索引及相關聯之參考特徵描述符以用於進一步處理。
該方法可進一步包含：判定計算出之距離度量中之最低的距離度量，及儲存已針對其判定該最低的距離度量之個別當前特徵描述符之索引。
根據一態樣，該方法可進一步包括將當前特徵描述符儲存於積體電路之記憶體(諸如SRAM)上，該等當前特徵描述符係在無需等待狀態的情況下自該記憶體擷取。
根據一實施例，該方法進一步包含以下步驟：使當前特徵中之每一者與至少一當前特徵描述符向量相關聯，其中參考特徵中之每一者包含至少一參考特徵描述符向量；及計算參考特徵之參考特徵描述符向量中之每一者與當前特徵之當前特徵描述符向量中之每一者之間的個別相似性度量。
在一可能實施中，將當前影像之至少一像素設定 為當前影像中之個別當前特徵，即，影像之每個像素可表示特徵。
根據本發明之一實施例，對影像之不同解析度運行該方法。
根據本發明之一實施例，第一特徵抽取程序可用來抽取第一當前特徵集合且針對該第一當前特徵集合建置第一當前特徵描述符集合，且第二特徵抽取程序可用來抽取第二當前特徵集合且針對該第二當前特徵集合建置第二當前特徵描述符集合，其中第一特徵抽取程序與第二特徵抽取程序或第一特徵描述符產生程序與第二特徵描述符產生程序彼此不同，且第一與第二當前特徵描述符集合之特徵匹配程序係由固線式邏輯或可組配邏輯執行。第一集合與第二集合之匹配程序係彼此獨立地由固線式邏輯執行。圖3示出總程序，其中1..n表示不同的特徵抽取方法，1..m表示不同的特徵描述符程序且將不同的所得描述符集合相匹配。
在另一態樣中，該方法可包含：在分類的情況下，在特徵匹配後執行幾何驗證以移除錯誤的特徵匹配或移除誤判(false positive)。
根據本發明之一實施例，該方法可進一步包含：提供參考特徵集合之步驟，其中該等參考特徵中之每一者包含至少一第一參數，該至少一第一參數至少部分地指示該參考特徵相對於全球坐標系統之位置及/或定向，其中該全球坐標系統係地球坐標系統或物件坐標系統，或該至少 一第一參數至少部分地指示該參考特徵相對於海拔之位置；使個別當前特徵與至少一第二參數相關聯之步驟，該至少一第二參數至少部分地指示該當前特徵相對於全球坐標系統之位置及/或定向，或該至少一第二參數至少部分地指示該當前特徵相對於海拔之位置；及藉由判定該至少一第一參數與該至少一第二參數之間的相似性度量將該當前特徵與該參考特徵集合之該等參考特徵中之至少一者相匹配之步驟。
舉例而言，該方法可包括在匹配個別當前特徵時以該參考特徵集合內之減少數目個參考特徵來定義搜尋空間之步驟，其中該搜尋空間係基於該至少一第二參數判定。
根據一實施例，該方法可包括考慮特徵抽取程序之指示符(例如由特徵抽取程式產生之正負號)之步驟。舉例而言，在特徵抽取期間，SURF特徵之正負號對應於高斯拉普拉斯算子(Laplacian)之正負號。
根據本發明之一實施例，在用於建構特徵描述符之方法中，自影像抽取特徵點以獲得呈二維描述(參數a0,a1)形式的特徵點。且使用由追蹤系統提供之關於攝取裝置之定向的空間資訊來針對所抽取特徵點計算特徵定向(參數b0,b1,b2)。舉例而言，追蹤系統將攝取裝置相對於世界坐標系統之定向提供為Euler角度，且特徵描述符應該與重力對準。針對所有特徵獲得定向之一種很簡單的方法為：首先使用Euler角度將重力轉換至附接至攝取裝置之坐標系統，且接著將其投影至影像平面上。進而計算影像中之重 力的方向且將其用於影像中之所有特徵。此技術假設正交投影，而通常並非如此。併入相機之本質參數放鬆了此假設，但基於二維影像之所有技術仍假設影像中可見之一切均位於一平面上且因此係近似法。根據本發明之一實施例，基於相鄰像素的像素強度計算且儲存至少一特徵相對於共同坐標系統之一或多個方向。在匹配階段中，僅匹配相對於共同坐標系統具有類似方向之特徵以減少所需比較之數目且降低錯誤匹配之比率。
根據本發明之一態樣，當前特徵描述符或參考特徵描述符中之至少一者係物件之較高層級描述，從而使其不隨尺度及/或旋轉及/或光而改變。
根據本發明之實施例，該方法亦可包括偵測及描述來自強度影像之特徵的方法，其不隨由攝取裝置與物件之間的距離產生的尺度而改變，但對於多種應用對物件之真實(實體)尺度敏感。因此提議利用強度影像中之元素(例如像素)之深度在強度影像中之該特定元素(像素)處進行特徵偵測及/或描述。因此，可在真實(實體)尺度上偵測並描述特徵，從而提供與關於強度影像之標準的尺度不變特徵描述符相比得以改良之獨特性，而不會引入對相機移動的任何約束。在一實施例中，該方法可包含以下步驟：提供由相機社區之強度影像；提供用於在偵測該強度影像中之至少一特徵之特徵偵測程序中判定該強度影像中之至少一元素之深度的方法，其中藉由在某一尺度上處理該強度影像之影像強度資訊來執行特徵偵測，該尺度取決於該強度 影像中之至少一元素之深度；及提供至少一偵測到之特徵之特徵描述符。
根據本發明之一實施例，該方法可進一步包含以下步驟：提供攝取裝置在全球坐標系統中之位置及定向之量測結果；根據該量測結果判定攝取裝置之姿勢；提供環境之三維模型，其中該姿勢結合該三維模型用來計算強度影像中之特徵之至少一元素的深度，例如，此係藉助於投射自攝取裝置中心穿過該特徵進入該三維模型之虛擬射線。
可藉由GPS感測器/接收器、IR或RFID三角測量法，或藉助於定位方法使用寬頻或無線基礎結構來提供攝取裝置在全球坐標系統中之位置的量測結果。可藉由慣性感測器、加速度計、陀螺儀、羅盤或者機械、電磁、聲學或光學追蹤系統中之至少一者提供攝取裝置在全球坐標系統中之定向的量測結果。在本發明之上下文中，慣性感測器可藉由使用以下各者之任何組合來例如不斷提供包括物件或裝置相對於環境之位置及/或定向的感測器資訊：磁力計(例如羅盤)、運動感測器/旋轉感測器(加速度計/陀螺儀)、重力感測器及提供此資訊之其他感測器。
1、20‧‧‧積體電路
2‧‧‧周邊介面
3‧‧‧組態暫存器
4‧‧‧外部記憶體介面
6‧‧‧內部SRAM
7、8、13‧‧‧暫存器
9、11、12、14‧‧‧單元
10‧‧‧比較單元
15‧‧‧緩衝器
16‧‧‧控制單元
21‧‧‧暫存器組
22、23‧‧‧累加器暫存器
c‧‧‧當前特徵
d(c)‧‧‧當前特徵描述符
d(r)‧‧‧參考特徵描述符
r‧‧‧參考特徵
AA‧‧‧絕對海拔
CD‧‧‧攝取裝置
CDA‧‧‧(絕對)海拔
CI‧‧‧當前影像
D(c,r)‧‧‧相似性度量
F1、F2‧‧‧特徵
G‧‧‧重力向量
P(c,r)‧‧‧檢驗參數
RA‧‧‧特徵F1之相對海拔
S11~S36、S111~S118‧‧‧步驟
SS‧‧‧搜尋空間
將參考以下諸圖進一步描述本發明之實施例，其中：圖1示出將當前特徵集合與參考特徵集合相匹配之標準方法之流程圖， 圖2係用於結合圖1來說明特徵之偵測、描述及匹配的描述，圖3描述特徵匹配程序之實施例及其藉助於圖形處理單元(GPU)之可能應用，圖4示出應用根據本發明之一實施例之方法的示範性場景，圖5示出根據本發明之一實施例之在匹配程序中之相似性度量判定在積體電路上之一可能實施，圖6描繪根據本發明之一實施例之在匹配程序中之相似性度量判定在積體電路上之另一可能實施，圖7示出如參考圖5及圖6所描述之程序之大致工作流程的流程圖，圖8示出的圖有關於在匹配程序中的字彙樹對最佳分格最先的效能，圖9示出根據本發明之一實施例之用於光學姿勢估計的深度抽取機制與實體尺度特徵描述符之可能組合之流程圖，圖10描繪根據本發明之另一實施例之方法的流程圖，其中在匹配前檢驗特徵是否可在理論上適合。
開頭已簡要介紹一種初始化程序且在圖1中示出該程序。在初始化程序所用時間及初始化之成功率方面可測得改良。在行動系統上，功率消耗係另一重要方面。藉由明智選擇初始化程序之最有用的構成區塊來實施於硬體 中且藉由相應地調適軟體以便利用該最佳化，本發明提出了一種新方法。
觀察自特徵偵測、特徵描述至特徵匹配的程序鏈，所有初始化程序的共同之處在於匹配程序。在此程序中，將來自先前所記錄之物件之特徵與來自當前相機影像之特徵相匹配。此外，與特徵抽取及特徵描述相比，匹配演算法並不需要不斷的且頻繁的採用及改變。
藉此，本發明之方法不僅改良時間及功率消耗，而且允許演算法之成功率得以改良。另外，珍貴的晶片尺寸並未浪費在不斷改變演算法上。採用本發明得出重大改良，同時僅使用小的晶片區域且在資訊抽取程序中保持靈活性。
根據較佳實施例，有可能將物件分類(視覺搜尋程序)(此係將當前影像與先前產生之類別描述相匹配的程序)，或者匹配單獨的特徵相(特徵匹配程序)，該等特徵可用來運行姿勢最佳化程序。記住，視覺搜尋可基於每個影像匹配若干特徵。同時，整個影像可為特徵。兩種方法均受本發明支援。
類別描述可與相機姿勢相關聯且亦可用來產生初始相機姿勢估計。
根據本發明，視覺搜尋程序及特徵匹配程序均可適用於存在於資料庫及存在於當前影像中之不同的特徵及特徵描述符。在該情況下，藉由硬體單元在兩個獨立的運行中使用不同的特徵抽取及/或特徵描述方法來抽取不同 特徵且將其匹配(如圖3中所指示)。舉例而言，首先抽取並匹配SIFT特徵，接著抽取並匹配SURF特徵。
圖3描述類似於上文參考圖1所描述的特徵匹配程序，及將該匹配應用於姿勢估計，從而呈現三維物件及畫出背景影像。該呈現及畫出背景影像係在圖形處理器單元(GPU)上進行。
本發明之一優點為，有可能省去以前必要的處理步驟或以完全不同的有利組態來運行該等處理步驟。舉例而言，可省略或省去特徵抽取程序，從而產生很高數目個描述符。相反地，可選擇每個像素或很高數目個隨機選擇之像素作為描述符中心。在此情況下，根據本發明，每一像素或該等所選像素中之每一者將被視為特徵。代替選擇隨機像素，可使用網格來抽取描述符中心，例如，一條線之每10個像素抽取一次，其中每10個像素列分析一次。要匹配之特徵(每個影像約10.000個特徵)的大幅度增加導致幾千個影像之測試資料庫上成功的初始化增加了76%。
加速匹配避免了不得不建置高效匹配結構，例如字彙樹，其無法提供更好的結果且僅僅係出於效能原因而建置。圖8示出當使用分別具有5個分支(b)及5個層級(L)或6個分支及6個層級的字彙樹(Voc)或具有已定義之最小數目10個匹配的最佳方格最先(BBF)方法時的效能比較(藉由每個類別得以正確追蹤之參考影像的百分比來指示)。BBF方法可被視為窮舉搜尋的近似法。字彙樹的另一主要缺點為，其將僅傳回類別，而不傳回單獨的特徵對應，該等特 徵對應係計算準確的相機姿勢所必要的。
在應用於許多特徵時避免錯誤匹配之措施為，增加用於初始化之PROSAC([11])反覆之數目(高於5000)並引入額外的合理性檢驗(基於幾何驗證)。
有利的是，在該程序期間可測試特徵對是否可在理論上適合。此可藉由對照參考特徵之已記錄位置檢驗當前特徵之估計位置來達成。根據本發明之此態樣，提議藉由考慮其在世界坐標(或全球坐標)中的位置之(部分)知識而使搜尋空間變窄或影響用於匹配由攝取裝置拍攝之當前影像之影像特徵的距離度量。全球坐標系統可為地球坐標系統或物件坐標系統(例如，建築物或產品包裝或汽車)，其具有與地球重力有關之固定的海拔或固定的定向。因為可判定之特徵之位置的自由度很大程度上取決於關於攝取裝置之位置及定向的可獲得資訊，所以下文參考圖4及圖10更具體地闡釋本發明之態樣之不同的示範性實施。
本發明之另一態樣為係考慮特徵抽取程序之指示符，例如由SURF特徵抽取程式產生之正負號(正或負的高斯拉普拉斯算子)。
本發明之另一態樣不僅考慮了兩個特徵描述符之間的最小距離，而且考慮了最小距離與第二最佳距離之間的距離。特定言之，若第二最佳距離乘以小於0,9之純量因數大於最佳匹配之距離，則將兩個描述符視為匹配。此避免了誤判(錯誤匹配之特徵)的發生，誤判將導致錯誤的分類或導致姿勢估計中的問題。
在本發明之另一態樣中，將當前影像之所有當前特徵彼此相匹配，從而移除彼此非常類似的特徵(距離度量低於某一臨界值)。接著將當前特徵之經過濾集合與參考特徵相匹配。
本發明之另一態樣允許經反覆最近點(ICP)方法對三維模型的高效匹配或對準。
在點雲集合上運行之標準ICP適用於以下步驟：1.使用窮舉搜尋或使用基於樹的搜尋來計算最近點(需要設定最大搜尋半徑)；2.已知最近點對應，估計姿勢；3.已知估計姿勢，轉換點雲中之一者；4.若估計姿勢小於臨界值，則結束該程序，否則返回至步驟1。
在此方法中，必須測試三維空間中兩個點之間的許多距離，以便找到最近距離。因為引擎係建置得足夠靈活而將計算出之特徵距離不僅定義為描述符之間的距離，而且定義為三維位置之估計距離，所以可加速純ICP或與三維描述符耦合之ICP。演算法可將數個當前三維點傳遞至引擎且將其與更高數目個參考點相匹配，該等參考點係例如藉由定義最大搜尋半徑而在當前三維點附近選擇的。
本發明很適合於物件分類。本發明亦很適合於相機姿勢初始化，其中無法獲得關於物件相對於相機之姿勢的先前知識或此先前知識不完整。
特徵偵測： 特徵係影像中之顯著元素，其可為點、線、曲線、相連區域或像素之任何其他集合。此外，根據本發明，可將像素、影像之所有像素或所選像素集合中之每一者定義為特徵。
特徵偵測演算法通常為顯著性偵測程式。舉例而言，其找到線、邊緣或微分算子之局部極值。在文獻中，此區域被稱為特徵偵測程式之取樣窗口或量測孔隙。將回應最終定限以決定哪些元素係特徵而哪些不是。為了在某一尺度上抽取特徵，在計算特徵偵測程式之回應前可相應地按比例縮放取樣窗口或按比例縮放影像。接著將特徵之尺寸定義為用來偵測該特徵之取樣窗口之尺寸。
關鍵點偵測方法之常見實例包括拉高斯拉普拉斯算子(LoG)、高斯差(DoG)、海賽行列式(DoH)、最大穩定極值區域(MSER)、哈裡斯特徵或基於學習的角點偵測程式(諸如FAST)。
針對本發明，三維特徵亦表示可能的資料來源。可藉由許多方法(例如，識別局部極值)自深度影像或三維模型抽取三維特徵。
在本發明之一態樣中，整個影像亦可被視為特徵。
特徵/影像描述：抽取之視覺特徵(特徵點、邊緣、角點、局部極值等)需可重複，此意謂：儘管視點(定向、尺度等)、照明條件及/或影像雜訊不同，仍應該可能進行該等特徵之抽 取。
匹配程序由找到自兩個或兩個以上影像抽取之至少一相對應的視覺特徵組成。其常常需要產生允許相對於某一相似性或距離度量以類似方式來描述不同影像中之相同實體特徵的描述符。[21]中提供某些特徵點描述符之綜述或比較。一旦產生了針對每個所抽取特徵之一個或多個描述符，則根據相似性或距離度量對其進行匹配：使用最近描述符或基於[1]之比率測試給查詢影像中之每個特徵指派一匹配。
[18]描述了表示局部影像形狀及其空間配置之描述符以及空間金字塔核。
[20]描述了基於特徵之空間關係的描述符，此亦為一種可能性。該方法為，在集合Pu中選擇點X之n個最近鄰居。自Pm選擇m<n個點。基於m中之f個點(對於交叉比率，f=5，而對於仿射不變量，f=4)，計算所有可能的不變量。仿射不變量係兩個三角區域之間的比率：A(a,c,d)/A(a,b,c)。透視不變量係三角區域之交叉比率：(A(a,b,c)*A(a,d,e))/(A(a,b,d)*A(a,c,e))。在[20]中，使用雜湊程序來匹配特徵，而使用我們的引擎，則可省去該程序。
[15]對用於匹配之三維描述符及基於深度影像之描述符進行全面綜述。
對於本發明，總的來說，描述符可有利地為自二維影像或二維影像之部分或三維資料導出之向量，其不僅僅係藉由將像素轉換至不同的色空間中或正規化該等像素 的值而產生的。在本發明之另一態樣中，描述符係自像素、形狀或深度值之直方圖、統計資料或相對關係導出的。
匹配程序：匹配程序係本發明之解決方案之關鍵構成區塊。圖5中示出根據一實施例之可能配置。圖7中示出可能的程序圖。根據一實施例，其組合了以下計算：舉例而言，可使用距離度量作為根據本發明之相似性度量。D(c,r)描述根據本發明之在兩個描述符之間的一有利距離度量。特定言之，D(c,r)描述在當前特徵c之當前特徵描述符d(c)與參考特徵r之參考特徵描述符d(r)之間的距離度量。舉例而言，如上文參考圖1所描述，分別判定並提供當前特徵c及參考特徵r及其特徵描述符d(c)及d(r)。
通常可判定在包括個別當前特徵描述符d(c)之個別當前特徵c之一或多個性質與包括個別參考特徵描述符d(r)之個別參考特徵r之一或多個性質之間的個別距離度量D(c,r)。
本發明之方法可包括判定在每一個別當前特徵描述符d(c)與每一個別參考特徵描述符d(r)之間的個別第一距離度量△d以用於判定相似性度量D(c,r)。
根據一實施例，本發明之方法可包括判定在共同坐標系統中在當前影像中的個別當前特徵描述符d(c)之位置資訊x(c)及/或y(c)與個別參考特徵描述符d(r)之個別位置資訊x(r)、y(r)之間的個別第二距離度量(此處為△x及/或△y)以用於判定相似性度量D(c,r)。舉例而言，可將此計算為在 由d(c)描述之個別當前特徵之三維位置資訊x(c)與由d(r)描述之個別參考特徵之三維位置資訊x(r)之間的歐幾裡得距離。
根據另一實施例，本發明之方法可包括判定個別第三距離度量△z以用於判定相似性度量D(c,r)，該個別第三距離度量指示在共同坐標系統中在當前影像中的個別當前特徵描述符d(c)之位置資訊z(c)與個別參考特徵描述符d(r)之位置資訊z(r)之間的角度。舉例而言，可將此計算為在由相機中心及個別當前特徵之三維位置資訊定義的第一向量z(c)與由相機中心及個別參考特徵之三維位置資訊定義的第二向量z(r)之間的純量乘積。
在另一實施例中，△z可指示在相對於全球坐標系統之相機定向與特徵之個別方向性質之間的角度，例如，該方向性質係由該特徵所在之已知表面之表面法線導出。
根據另一實施例，本發明之方法可包括判定在當前影像中的個別當前特徵描述符d(c)之純量性質u(c)及/或v(c)與個別參考特徵描述符d(r)之個別純量性質u(r)、v(r)之間的個別第四距離度量(此處為△u及/或△v)以用於判定相似性度量D(c,r)。舉例而言，可根據SURF(正或負的高斯拉普拉斯算子)計算此度量。
根據另一實施例，本發明之方法可包括，藉由將個別第一、第二、第三及第四距離度量中之至少一者與個別第一、第二、第三及第四距離度量中之至少另一者相組合來判定個別組合式距離度量D(c,r)以用於判定個別相似 性度量。
舉例而言，D(c,r)可為△u、△v、△x、△y、△z及/或△d之組合。
P(c,r)描述本發明之匹配程序之另一有利的可選部分。其可用於檢驗是否應該匹配兩個描述符。此主要有助於避免錯誤的匹配。取決於給定之臨界值，P檢驗是否滿足特定條件。
根據一實施例，本發明之方法可包括判定檢驗參數P，計算該檢驗參數P以判定具有當前特徵中之一者及參考特徵中之一者的特徵對c,r是否有資格作為有效匹配。
根據一實施例，本發明之方法可包括，藉由比較個別第二距離度量△x及/或△y、第三距離度量△z及第四距離度量△u、△v中之至少一者與至少一個別臨界值來判定至少一個別檢驗參數P(c,r)，其中該檢驗參數P(c,r)用來判定具有當前特徵中之一者及參考特徵中之一者的特徵對c,r是否有資格作為有效匹配。
舉例而言，該方法可進一步包括加權重於個別當前特徵c及參考特徵r中之至少一者，或在該等性質中之一或多者之間的距離度量中之至少一者。此外，該方法可包括在判定組合式距離度量D(c,r)時加權重於第一、第二、第三及/或第四距離度量中之至少一者。
特定言之，可為上述分量中之每一者提供一權重(諸如wu、wv、wx等)，該權重取決於系統可獲得之資訊。此處所用之資訊可為來自特徵抽取程序之資訊或為當前特 徵在全球坐標系統或相機坐標系統中之位置(例如，對於利用極線幾何約束的立體匹配)。若無法獲得此種資訊，則可將公式D(c,r)中之個別權重設定為零或例如取決於資訊之不確定性的某一值。若已知或可獲得關於△u、△v、△x、△y、△z之資訊不完整，或未知或無法獲得此資訊，則可將臨界值設定為很高值或取決於不確定性資訊按比例縮放。
根據一實施例，如上所述之距離度量D(c,r)之各部分(諸如△u、△v、△x、△y、△z及△d)可判定如下：△u=(u(c)-u(r))2
△v=|v(c)-v(r)|
特徵描述符之給定長度48應理解為實施例之可能實施而不應理解為會限制本發明。當然可使該長度更長或更短。可計算並考慮類似的、其他或額外類型之距離度量。
根據本發明之實施例，如以上公式中所陳述，計算個別距離度量可包含計算差總和或平方差總和以用於判定個別長度或維度(i)上的個別距離度量。
根據一實施例，檢驗參數P(c,r)及距離度量D(c,r) 可判定如下：P(c,r)=△u<θ u ^△v<θ v ^△x<θ x ^△y<θ y ^△z>θ z
D(c,r)=w u ．△u+w v ．△v+w x ．△x+w y ．△y+w z ．△z+w d ．△d
舉例而言，欄位u、v、x、y、z及d可為整數或具有任意位元寬度之浮點儲存單元。在本發明之一有利實施中，描述符欄位di各自為一個位元組(byte)長。
硬體經特殊設計以有效解決整個描述符匹配問題，不僅僅是加速絕對差之總和。若進一部分得以最佳化，則達成的效能增益很少，此係由於快取未中(cache-miss)等。因此，硬體包括其自身的記憶體(圖5中：SRAM6)，該記憶體載入當前描述符(已自當前影像抽取當前描述符)之向量。
關於計算如上所述之個別相似性度量、距離度量、組合式距離度量、檢驗參數等的上述功能或步驟，根據本發明之積體電路包括實施於該積體電路上之執行該等個別功能或步驟之一或多個個別單元。以下參考圖5及圖6更具體地描述此等單元之實例。然而，此等實例不應理解為會限制本發明，因為熟習此項技術者將理解，有多種選項來將根據本發明之技術之所述功能或步驟實施於固線式邏輯或可組配邏輯中。
根據圖5及圖7，示出根據本發明之一實施例之在匹配程序中的相似性度量判定之一可能實施。在積體電路1上判定相似性度量，在如圖5所示之實施例中，該積體電路 係可組配的。特定言之，積體電路1包括處理用於判定相似性度量之邏輯功能的固線式邏輯或可組配邏輯。本發明之一實施例運行如下：經由周邊介面2，主機處理器(圖中未示)存取儲存了位址、臨界值及權重(稍後論述其用途)之組態暫存器3。接著，主機處理器藉由寫入至虛擬觸發器暫存器而開始操作。外部記憶體介面4自外部DRAM讀取向量集合 C (在當前影像中找到的數個當前描述符向量c)及R(基於參考影像產生的數個參考描述符向量r)。如上所述，在操作開始時將 C 完全讀取至內部SRAM 6中。將來自 R 之向量逐個讀取至具有內容「向量 r 」之暫存器7中。接著將來自SRAM 6之向量逐個讀取至具有內容「向量 c 」之暫存器8中。單元9對如上所述之中間值u、v、x、y、z、d進行「減、乘、加」計算。在比較單元10中比較此等值與臨界值(「比較、與」)，且在單元11中加權重於此等值(「乘、加」)，從而得出如上所述之值P(c,r)及D(c,r)。在已自當前影像抽取之當前描述符向量超過SRAM 6一次可保存之向量的情況下，可將當前描述符向量分成兩個或兩個以上部分(c1,c2,...cn)且可將其載入至SRAM 6中並藉由積體電路1逐個處理。
在單元12中，判定P是否成立。若P成立，則比較D與暫存器13中的值D1、D2，該暫存器13經更新而含有直至此時已判定之值D(c,r)之最小值D1及第二最小值D2，且最小值D1之索引c被保存為cmin。在處理來自SRAM 6之所有向量 c 後，在單元14中檢驗條件D1<t*D2。換言之，判 定D1與D2的比率是否低於來自組態暫存器3之已定義臨界值，以便判定D1是否顯著小於D2。若該條件成立，則將新的元組[r,cmin,D1,D2]發送至輸出緩衝器15。當輸出緩衝器15已滿時，將其內容經由外部記憶體介面4及記憶體匯流排寫入至外部記憶體。由控制單元16執行對此程序之總體控制。
圖5示出該等組件之一實施例之綜述，而圖7示出如上所述之程序之大致工作流程。
如上所述之組件及其功能(在本發明之上下文中亦稱為硬體引擎)係藉由固線式邏輯或可組配邏輯實施於積體電路上，該固線式邏輯或可組配邏輯處理用於在晶片上判定相似性度量之邏輯功能。換言之，可直接藉助於相對應的數位電子電路，特定言之，藉助於固線式邏輯或可組配邏輯，來實施如上所述之待在匹配程序中執行之功能。可使用數位技術之積體電路以靈活方式實施此電子電路。亦即，為了整合根據本發明之功能，如上所述，可給現有處理系統在適當位置提供或補充至少一可規劃邏輯電路，諸如PLD(可規劃邏輯裝置)或FPGA(可現場規劃閘陣列)。此邏輯電路可實施於例如積體電路晶片上，該晶片例如用於諸如行動電話之行動裝置中。
圖6示出本發明在積體電路20上之可能實施之另一實施例。開發出此實施例以便不僅處置基於點的短描述符或其他短描述符，而且處置較長描述符，例如基於形狀的描述符，且此實施例使以上方法擴展為適用於較長向 量，例如3000個位元組長。只要所用的組件與圖5之實施例中相同，則給個別組件指定相同參考數目。
在圖5之實施例之此變體中，已添加了保存長向量r之暫存器組21及保存個別參數Pacc及Dacc之兩個累加器暫存器22、23。一次僅比較長向量c及r之部分ci及ri。遞增地計算函數Pi(c,r)及Di(c,r)且在Pacc及Dacc中累加該等函數。接著自該等暫存器22、23讀取最終值P及D，然後如前所述更新D1及D2。此擴展允許以最小的額外硬體工作量來比較長得多的向量。圖6示出經擴展之引擎之組件的綜述。
因此，根據本發明之一態樣，提供有保存參考特徵描述符向量R之暫存器組及用於保存個別檢驗參數(Pacc)及個別距離度量(Dacc)之兩個累加器暫存器22、23，其中一次僅比較個別當前特徵描述符向量C及參考特徵描述符向量R之部分(ci及ri)。
取決於SRAM 6之可用尺寸或總體辨識/初始化管線中所用的不同描述符之數目，可將引擎開始若干次。舉例而言，引擎可首先找到基於點的描述符之間的最佳匹配，且接著針對基於形狀的描述符找到最佳匹配(亦使用不同的臨界值及權重)。
根據本發明之一實施例，P及D的計算係以管線方式完全平行地執行。舉例而言，總處理量為每個時脈循環一個向量比較：每個循環自SRAM 6讀取一新的向量c。在管線已滿後，亦每個循環更新D1、D2、cmin之值。引擎 針對電腦視覺任務之靈活性亦有利於在例如由硬體(諸如Microsoft Kinect)收集之兩個三維點雲之間找到姿勢。
驗證：視覺特徵抽取及匹配通常為基於影像之分類及基於影像之定位與追蹤中兩個必不可少的步驟。
根據一實施例，在分類的情況下，在特徵匹配後執行幾何驗證以移除錯誤的特徵匹配或移除誤判。此步驟亦稱為幾何異常值否決。常常需要幾何驗證，因為無論使用什麼描述符或分類程式，均常常無法避免有異常值，即，錯誤匹配之特徵。稱為RANSAC([10])之標準方法係基於一種反覆執行以下兩個步驟之演算法：首先，該演算法隨機挑選計算某一轉換模型所需的最小數目個特徵之樣本(亦稱為樣本集合)。通常可使用矩陣來描述此轉換，例如，在經由單應性矩陣估計來計算姿勢的情況下可使用四個點，在經由必要矩陣估計來計算姿勢的情況下可使用五個點，等等。接著，該演算法估計轉換參數且對驗證該等轉換參數之匹配(亦稱為一致性集合)的數目計數。為了決定匹配mk={rk,ck}是否驗證該等轉換參數，例如，可藉由此估計轉換參數將來自參考影像之參考特徵rk轉換至當前影像中，且計算在當前特徵ck與經轉換之參考特徵之間的距離。當該距離小於某一臨界值Tm時，匹配被視為驗證了轉換參數集合。該演算法執行數目N1次反覆，且搜尋最佳轉換參數集合，該最佳轉換參數集合允許驗證該參數集合之最高數目個匹配(一致性集合之最高基數)。若對應於最佳參 數集合之匹配的數目超過某一臨界值Nm，則一致性集合中驗證該參數集合的匹配被視為正常值(正確匹配)且其他匹配被視為異常值(錯誤匹配)。對應於最佳參數集合之匹配的數目超過Nm之條件通常用來證實匹配程序之成功。唯有在成功匹配程序的情況下，才可判定匹配係正常值還是異常值。
RANSAC方法可改良如下：有可能基於匹配強度來分級或加權重於一致性集合或給樣本集合提供先前可能性([11])。通常所用的匹配強度係基於兩個已匹配特徵之描述符之間的相似性度量有多好。
已提議其他方法來加速並改良RANSAC之結果，例如[12]中，其中設想由同時具有獨特的光度及幾何性質的特徵點之局部及最小子集組成的實體，以允許穩定的物件偵測及可靠的相機姿勢估計。此等實體被稱為自然三維標記(N3M)。
如[16]中所描述，可應用簡化幾何檢驗之方法，該等方法係基於特徵定向之直方圖或基於簡單線邊檢驗。
應用：圖9示出依靠深度資訊之描述符之可能用途，以便提供本發明之一更複雜實施例之實例。
根據本發明之態樣，在匹配特徵時，可使用影像中之元素(例如像素)之深度作為進一步資訊。通常可將影像中之元素(例如像素)之深度定義為指在成像於此元素(像素)中之實體表面與攝取裝置(特定言之，攝取裝置之光學中心) 之間的距離。
圖9示出深度抽取機制與實體尺度特徵描述符之可能組合，以用於光學姿勢估計，例如，以便產生室外AR體驗。在此實例中，如圖9中，使用粗略感測器資料及環境模型來抽取深度。
在步驟S111中，由攝取裝置攝取強度影像I1或載入該強度影像。另外，根據粗略感測器量測結果(諸如GPS位置及定向感測器資訊)估計攝取裝置在攝取I1時的初始姿勢。最後，提供包括三維資料及影像資料之先進環境模型(類似於Google街景(Streetview))(步驟S112)。僅當未預先產生用於追蹤之參考模型(例如，已含有特徵三維坐標及特徵描述符)，才需要影像資料。在步驟S113中，使用由步驟S111提供之假設相機姿勢來載入環境模型，亦即，自強度影像I1之相機視點呈現該環境模型。在步驟S114中自環境模型擷取深度資訊，且在步驟S115中使用該深度資訊來計算偵測到之特徵之真實尺度描述符。換言之，使用隨影像I1所記錄之深度資訊，在例如1 m之固定尺度上抽取真實尺度特徵。因為環境模型組合了三維資料與影像資料，所以可產生尺度為1 m之實體尺度特徵之參考三維模型(S116，當然可預先進行此步驟)。
接著可使用S115及S116之結果來產生I1中之特徵與思維實體尺度特徵之對應。在此步驟中，使用硬體引擎來將I1之當前特徵與模型之特徵相匹配。三維模型及粗略感測器資料的使用提供對當前特徵在世界坐標系統中的 位置之估計，此係藉由自相機中心射出穿過該特徵之像素位置的射線且將特徵三維位置假設為該射線碰上虛擬三維模型之處。位置資訊可用作X0、X1及X2來計算△x，且描述符用來計算△d。有了良好的GPS定位及穩定的定向資料，則可將θx設定為很低且可將wx設定為高於零的值。圖10說明位置資料如何可有助於匹配程序。
使用最佳化演算法，可計算I1在環境模型坐標系統中之細化姿勢。細化姿勢可用於例如遊客資料擴增實境視覺效果之應用，或可選地用來細化S111且反覆通過步驟S111-S117，直至姿勢的變化已低於已定義之品質臨界值。
圖10描繪根據本發明之另一實施例之方法的流程圖，其中在匹配前檢驗特徵十分可在理論上適合。在步驟S31中，提供由攝取裝置拍攝之當前影像。在步驟S32中提供此攝取裝置在全球坐標系統中之(部分)位置及/或定向。接著，步驟S33偵測並描述來自所提供當前影像之特徵且計算每個當前特徵在全球坐標系統中之(部分)位置及/或定向。在步驟S34中提供一參考特徵集合，該等參考特徵各自具有描述符及在全球坐標系統中之(部分)位置及/或定向，其中該等參考特徵與該等當前特徵一起充當對步驟S35中之匹配的輸入。所提議之匹配方法(步驟S35)接著為每個當前特徵找到匹配的參考特徵，此係藉由尋找該參考特徵之集合中具有最近描述符之參考特徵，該等參考特徵在全球坐標系統中的(部分)位置及/或定向接近該當前特徵在該全球坐標系統中的(部分)已知位置及/或定向。此知識或部 分知識例如可嵌入於△x、△y、△z中。最後，在步驟S36中在應用程式中使用該等特徵匹配。
可藉由方程式E描述當前特徵之位置，該方程式E描述點、射線、直線、圓、圓錐、圓柱或任何其他幾何形狀。匹配程序接著僅認為位置離由E定義之幾何形狀的距離低於臨界值θ之彼等參考特徵係可能匹配。因此，θ例如取決於用來計算當前特徵之部分位置的感測器度量之已判定準確度。取決於部分空間資訊之個別來源之不確定性，在參考特徵與當前特徵之位置之間的距離未必需要為歐幾裡得距離，而是可能對於不同自由度具有不同權重(其意謂，位置值x及y可整合於△y中，而高度值整合於具有不同θ的△x中)。此外，其可能取決於參考特徵與攝取裝置之間的距離。[9]中可找到不確定性傳遞之詳情。
在我們的方法中，針對匹配程序之最簡單的方法為：執行窮舉搜尋，且針對當前與參考特徵之每個組合檢驗該等特徵之空間距離，然後才認為該組合係可能匹配並計算兩個描述符之間的距離。該想法之更複雜實施將使用描述符域及/或空間域中的空間資料結構來加速匹配。適合的資料結構包括但不限於包圍體(軸對準盒、定向盒、球、任意體積)、網格(均勻或不均勻)或任何種類之樹(例如四分樹、八分樹、BSP樹、kd樹、R樹)。此外，未必需要針對該等特徵集合中之任一者中的每個單一特徵找到匹配，而匹配程序旨在找到在參考特徵與當前特徵之間的至少一匹配。
找到的特徵匹配可用於應用，該等應用包括物件偵測、物件分類、物件定位及相機在全球坐標系統中的定位。後一種定位(亦稱為「自我定位」)可例如藉助於穩健的姿勢估計方法(諸如，例如RANSAC、PROSAC或M估計程式)來執行。注意，此等方法需要對本質相機參數之估計，特定言之，聚焦長度。取決於關於攝取裝置之位置及/或定向之可獲得資訊及像素之深度，產生了本發明之想法之不同的可能實施。該等實施在空間約束方面不同，以在匹配程序中使搜尋空間或P變窄，其取決於參考特徵之位置及/或定向，該等參考特徵係一給定當前特徵之潛在匹配。以下將詳細闡釋我們認為特別重要的示範性實例。
該等方法假設可獲得對相機之本質參數之估計。此估計可例如由校正程序或合理猜測(例如，基於相機解析度)產生。可藉由兩個不同實施來看基於攝取裝置之位置之指示的彼等方法。基於量測結果(例如GPS)提供該裝置之經度及緯度。取決於所用硬體，可能無法獲得海拔量測結果，或海拔量測結果可能很不準確。若可獲得攝取裝置之絕對海拔之量測結果且可認為該量測結果足夠準確，則使用該量測結果。否則，使用假設，例如，使用者位於街道層級且將其手中的攝取裝置保持在該街道層級上方大致1.5至2米的海拔處。接著可用較高θ及較低權重來處理該海拔。裝置之海拔可獨立於經度及緯度，例如，藉助於氣壓計來量測。
以下，我們將假設特徵為點(即，特徵點、關鍵 點或興趣點)。然而，可藉由任何其他種類之特徵，例如，藉由將特徵之重力中心視為其位置，來以類似方式實施本發明。其他特徵可為邊緣、小邊(edgelet)或區域。以下，使用來自裝置位置及三維裝置定向之射線或點作為示範性實施來描述本發明之一實施例。
若已知攝取裝置在世界坐標中之位置(例如，藉助於GPS及可選的氣壓計)以及三維定向(例如，藉由慣性感測器及數位羅盤之組合量測得)，則根據本發明之態樣之方法使用此資訊以及相機之本質參數及當前影像中之當前特徵之位置來以世界坐標定義此特徵所在之射線。若另外可獲得對特徵之深度之估計，則該方法能夠計算當前特徵在世界坐標中之絕對三維位置。
在匹配階段中，僅考慮比臨界值(θ)更接近當前特徵所在之點或射線的參考特徵。同樣，可以併入位置及/或定向之個別自由度的一或多個不確定性的方式來定義在參考特徵與點或射線之間的距離度量。在世界坐標域中適合於此組態之空間資料結構將為均勻的網格。例如，將應用3DDDA演算法來判定射線所穿過之相關單元。針對該網格中的每一單元，可應用在描述符域中的任何空間資料結構來儲存該單元中所含的參考特徵，例如KD樹。
以下，使用來自二維重力方向之一維特徵海拔及一維特徵深度作為示範性實施來描述本發明之另一實施例。此實施例或參考此實施例所描述之本發明之態樣可在無本發明之上述實施例或態樣中之任一者的情況下使用或 與無本發明之上述實施例或態樣中之任一者組合使用。
有了重力向量在與攝取裝置相關聯之坐標系統中之量測結果(例如藉由慣性感測器)及當前相機影像中之當前特徵之深度(例如，藉助於立體深度方法)，根據本發明之態樣之方法計算此特徵之相對或絕對海拔。
影像中之特徵之二維位置以及本質相機參數使得能夠在於攝取裝置相關聯之坐標系統中定義三維射線。因為另外可能已知該特徵之深度，所以可計算該特徵在相機對準坐標系統之三維位置。接著將自攝取裝置之光學中心至三維特徵位置之向量投影至由該特徵之海拔產生之正規化重力向量上。
上述方法產生相對於攝取裝置之相對海拔度量。為了計算該特徵之絕對海拔，需要加上裝置之絕對海拔。此可例如經由GPS或氣壓計量測得，或可基於如上所述之假設。
已知當前影像中之當前特徵，該方法在具有(部分已知的)世界坐標之參考特徵集合中尋找對應。更特定言之，取決於關於攝取裝置在拍攝當前影像時之位置及/或定向之可獲得資訊，及當前影像之特定像素之可能可獲得之深度，可判定當前特徵在世界坐標中之(部分)位置。接著可使用此位置使搜尋空間變窄，此係藉由僅將位置接近於當前特徵在世界坐標中之(部分)位置的彼等參考特徵視為可能匹配。例如可使用所得匹配在擴增實境應用中初始化視覺相機追蹤方法。
如上所述，已知方法基於攝取裝置之位置決定哪些參考特徵可能可見而哪些參考特徵最有可能不可見。此決定係在每個影像的層級上進行，意謂：針對當前相機影像中之所有當前特徵，將參考特徵之同一子集視為可能匹配。根據本發明之方法不同於此等方法，因為其使相機影像之偵測到之特徵與該偵測到之特徵相對於全球坐標系統之至少部分位置及/或定向資訊相關聯且在每個特徵的層級上進行此決定。針對當前相機影像中之每個偵測到之特徵，基於其(部分)已知全球位置來判定可能匹配的參考特徵之集合。
圖4說明本發明之此態樣之一可能實施。特定言之，圖4示出攝取裝置CD，其提供裝置坐標(即，攝取裝置坐標系統之坐標)中之重力向量G的量測結果及特徵F1之深度D。已知該兩條資訊，可計算特徵F1相對於攝取裝置CD之相對海拔RA。特定言之，影像中之特徵F1之二維位置以及本質相機參數使得能夠在與攝取裝置相關聯之坐標系統中定義三維射線。因為已知特徵F1之深度D，所以可計算該特徵在相機對準坐標系統中之三維位置。接著將自攝取裝置CD之光學中心至特徵F1之三維特徵位置之向量投影至由特徵F1之相對海拔RA產生之正規化重力向量上。加上攝取裝置CD之(絕對)海拔CDA，產生特徵F1之絕對海拔AA。可對特徵F2進行類似計算，以計算其海拔。
接著在當前特徵F1之海拔AA周圍定義對應於當前特徵F1之參考特徵的搜尋空間SS。注意，以此方式，不 將參考特徵F2視為可能匹配，即使其看上去很類似於F1。因為其不在搜尋空間SS中。當然可經由在所提議之硬體引擎中計算P來控制搜尋空間。因此，根據此態樣之本發明減小了不匹配之可能性。
根據本發明之一態樣，首先藉由軟體方法(例如使用GPS資料作為輸入)將參考特徵之很大集合(例如幾十億或幾百萬)減小至較小集合(例如幾千或幾十萬)，接著使用硬體引擎來匹配該等參考特徵。
在全球坐標系統域中的用於此實施之很適合的資料結構將為不均勻的網格，其大部分小格沿著重力軸。
在本發明之一態樣中，至少一個別臨界值及權重取決於對攝取裝置之姿勢(例如相機姿勢)之初始估計的不確定性。在此情況下，臨界值θ(θi)及權重(wi)取決於特徵位置估計之已傳遞不確定性，此不確定性係基於裝置之當前姿勢估計而傳遞。
舉例而言，基於用於提供攝取裝置的位置、定向及/或海拔之感測器之類型判定不確定性資訊
根據本發明之一實施例，可獲得關於特徵之不確定性資訊，可該資訊可用來判定檢驗參數P(c,r)及/或相似性度量D(c,r)。舉例而言，可取決於特徵之不確定性資訊而動態改變臨界值(以上公式中的θx、θy)，及/或取決於不確定性資訊而選擇用於判定距離度量D(c,r)之部分或其部分(諸如△u、△v、△x、△y、△z、△d)的特徵向量之參數。
舉例而言，具有低不確定性之參數可用來判定第 一距離度量△x且將θx設定為低值。具有高不確定性之參數可用來判定第二距離度量△y且相應地將θy設定為較高值。舉例而言，可獲得當前特徵P之三維位置資訊之參數p0、p1、p2中之每一者的不確定性(其中例如，p0、p1、p2分別對應於笛卡爾坐標中之x軸、y軸及z軸)。假設以很小的不確定性判定了高度p2，但坐標度量p0及p1具有高不確定性。在此情況下，p2將為△x之部分，其中p0及p1為△y之部分，且θx<θy。
參考文獻：
[1] Lowe, David G. 「Distinctive Image Features from Scale-Invariant Keypoints.」 International Journal of Computer Vision 60.2 (2004): 91-110.
[2] Kumar, Ankita等人「Experiments on visual loop closing using vocabulary trees.」 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops 0 (2008): 1-8.
[3] Bleser, Gabriele及Didier Stricker. 「Advanced tracking through efficient image processing and visual-inertial sensor fusion.」 Computers & Graphics 33.1 (2009): 59-72.
[4] Chen, David M等人「City-scale landmark identification on mobile devices」. 2011 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (2011).
[5] Reitmayr, G.及T. W. Drummond. 「Initialisation for Visual Tracking in Urban Environments.」 2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality (2007): 1-9.
[6] Bonato, Vanderlei, Eduardo Marques及George A Constantinides. 「A Parallel Hardware Architecture for Scale and Rotation Invariant Feature Detection.」 IEEE Transactions on Circuits and Systems for Video Technology 18.12 (2008): 1703-1712.
[7] Schall, Gerhard等人「Global pose estimation using multi-sensor fusion for outdoor Augmented Reality.」 2009 8th IEEE International Symposium on Mixed and Augmented Reality (2009): 153-162.
[8] Arth, Clemens等人「Wide area localization on mobile phones.」 2009 8th IEEE International Symposium on Mixed and Augmented Reality (2009): 73-82.
[9] US 7 768 534 B2.
[10] Fischler, M. A.及Bolles, R. C.. 「Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography.」 1981 Communications of the ACM 24 (1981): 381-395.
[11] Chum, O.及Matas, J. 「Matching with PROSAC - progressive sample consensus.」 2005 Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (2005): 220 - 226
[12] Hinterstoisser, Stefan等人「N3M: Natural 3D Markers for Real-Time Object Detection and Pose Estimation,」 2007 2007 IEEE 11th International Conference on Computer Vision (2007): 1-7
[13] Yao, Lifan等人「An architecture of optimised SIFT feature detection for an FPGA implementation of an image matcher.」 2009 International Conference on FieldProgrammable Technology (2009): 30-37.
[14] Zhang, Jing等人「Overview of approaches for accelerating scale invariant feature detection algorithm.」 2011 International Conference on Electric Information and Control Engineering (2011): 585 - 589.
[15] Taati, Babak: 「Generation and Optimization of Local Shape Descriptors for Point Matching in 3-D Surfaces.」 Thesis (Ph.D, Electrical & Computer Engineering) - Queen's University, Kingston, Ontario, Canada, August 2009.
[16] Wagner, Daniel等人「Pose tracking from natural features on mobile phones.」 2008 7th IEEEACM International Symposium on Mixed and Augmented Reality (2008): 125-134.
[17] Smith, Ross, Wayne Piekarski及Grant Wigley. 「Hand Tracking For Low Powered Mobile AR User Interfaces.」 Proceedings of the Sixth Australasian conference on Userinterface第40卷(1999)：7-16.
[18] Bosch, A, Andrew Zisserman及X Munoz. 「Representing shape with a spatial pyramid kernel.」 Image Processing 5 (2007): 401-408.
[19] Wu, Changchang等人「3D model matching with Viewpoint-Invariant Patches (VIP).」 IEEE Conference on Computer Vision and Pattern Recognition (2008) 0 (2008): 1-8.
[20] Uchiyama, Hideaki及Marchand, Eric. 「Toward Augmenting Everything: Detecting and Tracking Geometrical Features on Planar Objects.」 2011 International Symposium on Mixed and Augmented Reality (2011)：17-25.
[21] Mikolajczyk, K.及Schmid, C. 「A Performance Evaluation of Local Descriptors.」 2005 IEEE Trans. Pattern Anal. Mach. Intell. 27, 10 (2005): 1615-1630.
1‧‧‧積體電路
2‧‧‧周邊介面
3‧‧‧組態暫存器
4‧‧‧外部記憶體介面
6‧‧‧內部SRAM
7、8‧‧‧暫存器
9、11、12、14‧‧‧單元
10‧‧‧比較單元
13‧‧‧暫存器
15‧‧‧緩衝器
16‧‧‧控制單元
c‧‧‧當前特徵
r‧‧‧參考特徵
D(c,r)‧‧‧相似性度量
P(c,r)‧‧‧檢驗參數

Claims (30)

  1. 一種將影像特徵與參考特徵相匹配之方法，其包含以下步驟：提供由一攝取裝置攝取之一當前影像，提供參考特徵(r)，其中該等參考特徵中之每一者包含至少一參考特徵描述符(d(r))，判定該當前影像中之當前特徵(c)及使該等當前特徵中之每一者與至少一個別當前特徵描述符(d(c))相關聯，藉由判定每一個別當前特徵描述符(d(c))與每一個別參考特徵描述符(d(r))之間的一個別相似性度量(D(c,r))來將該等當前特徵與該等參考特徵中之至少一些相匹配，該相似性度量之判定係在一積體電路上由一固線式邏輯組件或可組配邏輯組件執行，該固線式邏輯組件或可組配邏輯組件處理用於判定該相似性度量之邏輯功能。
  2. 根據申請專利範圍第1項之方法，其中該當前影像係一強度影像或一深度影像。
  3. 根據申請專利範圍第1或2項之方法，其包含判定在包括該個別當前特徵描述符(d(c))之該個別當前特徵(c)之一或多個性質與包括該個別參考特徵描述符(d(r))之該個別參考特徵(r)之一或多個性質之間的一個別距離度量(D(c,r))，以用於判定該相似性度量(D(c,r))。
  4. 根據申請專利範圍第1或2項之方法，其中計算一檢驗參 數(P)，以便判定具有該等當前特徵中之一者及該等參考特徵中之一者的一特徵對(c,r)是否有資格作為一有效匹配。
  5. 根據申請專利範圍第1或2項之方法，其包含判定在每一個別當前特徵描述符(d(c))與每一個別參考特徵描述符(d(r))之間的一個別第一距離度量(△d)，以用於判定該相似性度量(D(c,r))。
  6. 根據申請專利範圍第1或2項之方法，其包含判定在一共同坐標系統中在該當前影像中的該個別當前特徵描述符(d(c))之位置資訊(x(c),y(c))與該個別參考特徵描述符(d(r))之位置資訊(x(r),y(r))之間的一個別第二距離度量(△x,△y)，以用於判定該相似性度量(D(c,r))。
  7. 根據申請專利範圍第1或2項之方法，其包含判定一個別第三距離度量(△z)以用於判定該相似性度量(D(c,r))，該個別第三距離度量指出在一共同坐標系統中在該當前影像中的該個別當前特徵描述符(d(c))之位置資訊(z(c))與該個別參考特徵描述符(d(r))之位置資訊(z(r))之間的一角度。
  8. 根據申請專利範圍第1或2項之方法，其包含判定在該當前影像中的該個別當前特徵描述符(d(c))之一純量性質(u(c),v(c))與該個別參考特徵描述符(d(r))之純量性質(u(r),v(r))之間的一個別第四距離度量(△u,△v)，以用於判定該相似性度量(D(c,r))。
  9. 根據申請專利範圍第4項之方法，其包含計算差總和或 平方差總和以用於判定一個別長度或維度(i)上的該個別第一、第二、第三及/或第四距離度量。
  10. 根據申請專利範圍第4項之方法，其包含藉由將該個別第一、第二、第三及第四距離度量中之至少一者與該個別第一、第二、第三及第四距離度量中之至少另一者相組合來判定一個別組合式距離度量(D(c,r))，以用於判定該個別相似性度量。
  11. 根據申請專利範圍第3項之方法，其進一步包含：在判定組合式距離度量(D(c,r))時，加權重於該等性質中之至少一者，或在該個別當前特徵與該個別參考特徵之一或多個性質之間的該等距離度量中之至少一者，或該第一、第二、第三及第四距離度量中之至少一者。
  12. 根據申請專利範圍第4項之方法，其包含藉由比較該個別第二距離度量(△x,Ay)、第三距離度量(△z)及第四距離度量(△u,△v)中之至少一者與至少一個別臨界值來判定至少一個別檢驗參數(P(c,r))，其中該檢驗參數(P(c,r))用來判定具有該等當前特徵中之一者及該等參考特徵中之一者的一特徵對(c,r)是否有資格作為一有效匹配。
  13. 根據申請專利範圍第12項之方法，其中該至少一個別臨界值及該權重取決於對該攝取裝置之一姿勢之初始估計的不確定性。
  14. 根據申請專利範圍第3項之方法，其中用於判定該個別距離度量(D(c,r))或其部分及該個別檢驗參數(P(c,r))之計算係在該積體電路上以管線方式平行執行。
  15. 根據申請專利範圍第14項之方法，其中一個個別距離度量(D(c,r))及/或檢驗參數(P(c,r))係在該積體電路之一時脈信號之每個時脈循環計算。
  16. 根據申請專利範圍第14項之方法，其中在判定一個別相似性度量(D(c,r))後，該方法進一步包含儲存直至此時已判定之該等相似性度量中之一最相似的相似性度量(D1)及一第二最相似的相似性度量(D2)，及與該最相似的相似性度量(D1)相關聯之該個別當前特徵描述符之一索引(cmin)。
  17. 根據申請專利範圍第16項之方法，其中比較該最相似的相似性度量(D1)與該第二最相似的相似性度量之一導數(t*D2)，其中若此比較滿足一預定條件，則提供該最相似的相似性度量(D1)及該第二最相似的相似性度量(D2)、該索引(cmin)及該相關聯之參考特徵描述符(d(r))以用於進一步處理。
  18. 根據申請專利範圍第3項之方法，其進一步包含判定該等計算出之距離度量中之一最低的距離度量(D1)，及儲存已針對其判定該最低的距離度量之該個別當前特徵描述符之一索引(cmin)。
  19. 根據申請專利範圍第1或2項之方法，其進一步提供：保存一參考特徵描述符向量(R)之一暫存器組，及用於保存一個別檢驗參數(P(c,r))及一個別距離度量(D(c,r))之兩個累加器暫存器(Pacc,Dacc))，其中一次僅比較一個別當前特徵描述符向量(C)及參考特徵描述符向量(R)之 部分(ci及ri)。
  20. 根據申請專利範圍第1或2項之方法，其進一步包括將該等當前特徵描述符(d(c))儲存於該積體電路之一記憶體(SRAM)上，該等當前特徵描述符(d(c))係在無需等待狀態的情況下自該記憶體擷取。
  21. 根據申請專利範圍第1或2項之方法，其進一步包含：使該等當前特徵中之每一者與至少一當前特徵描述符向量(C)相關聯，其中該等參考特徵中之每一者包含至少一參考特徵描述符向量(R)，計算該等參考特徵之該等參考特徵描述符向量(R)中之每一者與該等當前特徵之該等當前特徵描述符向量(C)中之每一者之間的一個別相似性度量(D(c,r))。
  22. 根據申請專利範圍第1或2項之方法，其中將該當前影像之至少一像素設定為該當前影像中之一個別當前特徵。
  23. 根據申請專利範圍第1或2項之方法，其中對該影像之不同解析度運行該方法。
  24. 根據申請專利範圍第1或2項之方法，其中一第一特徵抽取程序用來抽取一第一當前特徵集合，且針對該第一當前特徵集合建置一第一當前特徵描述符集合，且一第二特徵抽取程序用來抽取一第二當前特徵集合，且針對該第二當前特徵集合建置一第二當前特徵描述符集合，其中該第一特徵抽取程序與該第二特徵抽取程序或一第一特徵描述符產生程序與一第二特徵描述符產生程序彼 此不同，且該第一與該第二當前特徵描述符集合之特徵匹配程序係由固線式邏輯組件或可組配邏輯組件執行。
  25. 根據申請專利範圍第1或2項之方法，其進一步包含：在分類的情況下，在特徵匹配後執行幾何驗證，以移除錯誤的特徵匹配或移除誤判。
  26. 根據申請專利範圍第1或2項之方法，其進一步包含：提供一參考特徵集合，其中該等參考特徵中之每一者包含至少一第一參數，該至少一第一參數至少部分地指出該參考特徵相對於一全球坐標系統之一位置及/或定向，其中該全球坐標系統係一地球坐標系統或一物件坐標系統，或該至少一第一參數至少部分地指出該參考特徵相對於一海拔之一位置，使一個別當前特徵與至少一第二參數相關聯，該至少一第二參數至少部分地指出該當前特徵相對於該全球坐標系統之一位置及/或定向，或該至少一第二參數至少部分地指出該當前特徵相對於一海拔之一位置，藉由判定該至少一第一參數與該至少一第二參數之間的該相似性度量，將該當前特徵與該參考特徵集合之該等參考特徵中之至少一者相匹配。
  27. 根據申請專利範圍第1或2項之方法，其包括在匹配該個別當前特徵時以該參考特徵集合內之減少個數的參考特徵來定義一搜尋空間之步驟，其中該搜尋空間係基於該至少一第二參數判定的。
  28. 根據申請專利範圍第1或2項之方法，其包括考慮該特徵 抽取程序之指示符的步驟，該指示符例如為由特徵抽取器產生之正負號。
  29. 根據申請專利範圍第1或2項之方法，其中該當前特徵描述符(d(c))或該參考特徵描述符(d(r))中之至少一者係一物件之一較高層級描述，從而使其不隨尺度及/或旋轉及/或光而改變。
  30. 一種用以將影像特徵與參考特徵相匹配之積體電路，其包含：用以接收個別當前特徵之數個當前特徵描述符(向量c)之一介面，該等當前特徵係從由一攝取裝置攝取之一當前影像獲得，用以接收個別參考特徵之數個參考特徵描述符(向量r)之一介面，及一邏輯電路，用以判定每一個別當前特徵描述符與每一個別參考特徵描述符之間的一個別相似性度量(D(c,r))，以便將該等當前特徵與該等參考特徵相匹配，其中該邏輯電路包含處理用以判定該相似性度量之邏輯功能的固線式邏輯組件或可組配邏輯組件。
TW101139468A 2011-11-18 2012-10-25 將影像特徵與參考特徵相匹配之方法及其所用積體電路 TWI601097B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2011/070489 WO2013071981A1 (en) 2011-11-18 2011-11-18 Method of matching image features with reference features and integrated circuit therefor

Publications (2)

Publication Number Publication Date
TW201329908A TW201329908A (zh) 2013-07-16
TWI601097B true TWI601097B (zh) 2017-10-01

Family

ID=45002953

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101139468A TWI601097B (zh) 2011-11-18 2012-10-25 將影像特徵與參考特徵相匹配之方法及其所用積體電路

Country Status (5)

Country Link
US (1) US9378431B2 (zh)
EP (1) EP2780861A1 (zh)
CN (1) CN104221031B (zh)
TW (1) TWI601097B (zh)
WO (1) WO2013071981A1 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036925B2 (en) 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
US9977992B2 (en) * 2012-02-28 2018-05-22 Snell Advanced Media Limited Identifying points of interest in an image
EP2648157A1 (en) * 2012-04-04 2013-10-09 Telefonaktiebolaget LM Ericsson (PUBL) Method and device for transforming an image
JP6261187B2 (ja) * 2013-05-21 2018-01-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2015017941A1 (en) * 2013-08-09 2015-02-12 Sweep3D Corporation Systems and methods for generating data indicative of a three-dimensional representation of a scene
US10592687B2 (en) * 2013-10-14 2020-03-17 Indiana University Research And Technology Corporation Method and system of enforcing privacy policies for mobile sensory devices
US9303999B2 (en) * 2013-12-30 2016-04-05 Google Technology Holdings LLC Methods and systems for determining estimation of motion of a device
US9922270B2 (en) 2014-02-13 2018-03-20 Nant Holdings Ip, Llc Global visual vocabulary, systems and methods
JP6230442B2 (ja) * 2014-02-20 2017-11-15 株式会社東芝 算出装置、方法及びプログラム
US9277361B2 (en) 2014-02-20 2016-03-01 Google Inc. Methods and systems for cross-validating sensor data acquired using sensors of a mobile device
TWI554899B (zh) * 2014-08-08 2016-10-21 雅虎股份有限公司 影像檢索方法及使用該影像檢索方法之行動通訊裝置、資料庫管理系統與電腦程式產品
EP2993612B1 (en) 2014-09-03 2017-10-25 Metaio GmbH Apparatus and method for detecting a feature in an image
US10796196B2 (en) * 2015-03-05 2020-10-06 Nant Holdings Ip, Llc Large scale image recognition using global signatures and local feature information
US9721186B2 (en) 2015-03-05 2017-08-01 Nant Holdings Ip, Llc Global signatures for large-scale image recognition
US9984301B2 (en) * 2015-04-20 2018-05-29 Qualcomm Incorporated Non-matching feature-based visual motion estimation for pose determination
ITUB20153277A1 (it) * 2015-08-28 2017-02-28 St Microelectronics Srl Procedimento per ricerche visuali, sistema, apparecchiatura e prodotto informatico corrispondenti
US9947111B2 (en) * 2015-10-28 2018-04-17 Sony Corporation Method of multiple camera positioning utilizing camera ordering
KR20180104056A (ko) 2016-01-22 2018-09-19 코닝 인코포레이티드 와이드 필드 개인 디스플레이
US10482681B2 (en) 2016-02-09 2019-11-19 Intel Corporation Recognition-based object segmentation of a 3-dimensional image
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US9892543B2 (en) * 2016-02-26 2018-02-13 Carnegie Mellon University Systems and methods for estimating pose of textureless objects
US9864931B2 (en) * 2016-04-13 2018-01-09 Conduent Business Services, Llc Target domain characterization for data augmentation
TWI571805B (zh) * 2016-04-15 2017-02-21 元智大學 基於雜湊函數的漸進式影像匹配方法與裝置
US10591988B2 (en) * 2016-06-28 2020-03-17 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
US10453213B2 (en) * 2016-08-29 2019-10-22 Trifo, Inc. Mapping optimization in autonomous and non-autonomous platforms
US10390003B1 (en) 2016-08-29 2019-08-20 Perceptln Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
US10571926B1 (en) 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and obstacle avoidance
US10410328B1 (en) 2016-08-29 2019-09-10 Perceptin Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
US10395117B1 (en) 2016-08-29 2019-08-27 Trifo, Inc. Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10032276B1 (en) 2016-08-29 2018-07-24 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous device
US10043076B1 (en) 2016-08-29 2018-08-07 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10571925B1 (en) 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and task planning
US11314262B2 (en) 2016-08-29 2022-04-26 Trifo, Inc. Autonomous platform guidance systems with task planning and obstacle avoidance
US10402663B1 (en) 2016-08-29 2019-09-03 Trifo, Inc. Visual-inertial positional awareness for autonomous and non-autonomous mapping
US10366508B1 (en) 2016-08-29 2019-07-30 Perceptin Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
US10162362B2 (en) 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
TWI595446B (zh) 2016-10-19 2017-08-11 國立清華大學 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
CN110268224A (zh) * 2017-02-10 2019-09-20 深圳市大疆创新科技有限公司 用于无人机实时位置跟踪的系统和方法
DE102017107335A1 (de) * 2017-04-05 2018-10-11 Testo SE & Co. KGaA Verfahren zur Identifikation von korrespondierenden Bildbereichen in einer Folge von Bildern
US10600206B2 (en) * 2017-04-28 2020-03-24 Htc Corporation Tracking system and method thereof
CN107330917B (zh) * 2017-06-23 2019-06-25 歌尔股份有限公司 移动目标的跟踪拍摄方法和跟踪设备
US10496104B1 (en) 2017-07-05 2019-12-03 Perceptin Shenzhen Limited Positional awareness with quadocular sensor in autonomous platforms
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
WO2019101345A1 (de) * 2017-11-27 2019-05-31 Siemens Aktiengesellschaft Verfahren und vorrichtung zur projektierung einer spezifi-schen verfahrenstechnischen anlage
US11113522B2 (en) * 2018-02-08 2021-09-07 Datalogic Ip Tech S.R.L. Segment-based pattern matching algorithm
US10866989B1 (en) * 2018-04-06 2020-12-15 Architecture Technology Corporation Real time recommender modeling system, methods of construction, and methods of use
JP6973285B2 (ja) * 2018-05-15 2021-11-24 日本電信電話株式会社 テンプレート姿勢推定装置、方法、及びプログラム
EP3876198A4 (en) 2018-10-30 2022-06-29 Alt Limited Liability Company Method and system for the inside-out optical tracking of a movable object
US11774983B1 (en) 2019-01-02 2023-10-03 Trifo, Inc. Autonomous platform guidance systems with unknown environment mapping
CN110547766B (zh) * 2019-08-22 2023-04-28 苏州佳世达光电有限公司 口扫机的操作方法
US11281917B2 (en) * 2019-10-31 2022-03-22 Aptiv Technologies Limited Multi-domain neighborhood embedding and weighting of point cloud data
CN111444948B (zh) * 2020-03-21 2022-11-18 哈尔滨工程大学 一种图像特征提取与匹配方法
AU2020289853B2 (en) 2020-04-09 2022-02-03 Sensetime International Pte. Ltd. Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
CN111861883B (zh) * 2020-06-23 2022-06-14 燕山大学 基于同步积分surf算法的多路视频拼接方法
CN113221921B (zh) * 2021-05-21 2022-05-27 吉林大学 基于优选空间的sift特征快速提取方法、计算机设备以及存储介质
US11954882B2 (en) * 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
CN113627446B (zh) * 2021-08-18 2023-10-31 成都工业学院 基于梯度向量的特征点描述算子的图像匹配方法及系统
CN117115487B (zh) * 2023-10-23 2024-03-08 睿励科学仪器（上海）有限公司 模板匹配方法、模板匹配系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070009159A1 (en) * 2005-06-24 2007-01-11 Nokia Corporation Image recognition system and method using holistic Harr-like feature matching
TW200951833A (en) * 2008-04-15 2009-12-16 Novafora Inc Methods and systems for representation and matching of video content

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003240166A1 (en) * 2002-05-30 2003-12-19 Koninklijke Philips Electronics N.V. Unit for and method of estimating a motion vector
US7382897B2 (en) * 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
EP1736928A1 (en) * 2005-06-20 2006-12-27 Mitsubishi Electric Information Technology Centre Europe B.V. Robust image registration
US7583857B2 (en) * 2005-08-24 2009-09-01 Siemens Medical Solutions Usa, Inc. System and method for salient region feature based 3D multi modality registration of medical images
DE102005061952B4 (de) 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
CN101576894B (zh) * 2008-05-09 2012-05-30 中国科学院半导体研究所 实时图像内容检索系统及图像特征提取方法
US8687891B2 (en) * 2009-11-19 2014-04-01 Stanford University Method and apparatus for tracking and recognition with rotation invariant feature descriptors
EP2339537B1 (en) * 2009-12-23 2016-02-24 Metaio GmbH Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070009159A1 (en) * 2005-06-24 2007-01-11 Nokia Corporation Image recognition system and method using holistic Harr-like feature matching
TW200951833A (en) * 2008-04-15 2009-12-16 Novafora Inc Methods and systems for representation and matching of video content

Also Published As

Publication number Publication date
CN104221031B (zh) 2019-06-11
CN104221031A (zh) 2014-12-17
US9378431B2 (en) 2016-06-28
TW201329908A (zh) 2013-07-16
US20150049955A1 (en) 2015-02-19
WO2013071981A1 (en) 2013-05-23
EP2780861A1 (en) 2014-09-24

Similar Documents

Publication Publication Date Title
TWI601097B (zh) 將影像特徵與參考特徵相匹配之方法及其所用積體電路
CN108604301B (zh) 用于大rgb-d扫描的可缩放自动全局配准的基于关键点的点对特征
EP2770783B1 (en) A wearable information system having at least one camera
Bao et al. Semantic structure from motion
TWI570633B (zh) 以參考特徵匹配影像特徵之方法
US9560273B2 (en) Wearable information system having at least one camera
US10719727B2 (en) Method and system for determining at least one property related to at least part of a real environment
US9679384B2 (en) Method of detecting and describing features from an intensity image
Wu et al. A triangulation-based hierarchical image matching method for wide-baseline images
WO2018128667A1 (en) Systems and methods for lane-marker detection
US10607350B2 (en) Method of detecting and describing features from an intensity image
Gedik et al. 3-D rigid body tracking using vision and depth sensors
JP2014106725A (ja) 点群解析装置、点群解析方法及び点群解析プログラム
El Bouazzaoui et al. Enhancing rgb-d slam performances considering sensor specifications for indoor localization
Ekekrantz et al. Adaptive iterative closest keypoint
WO2022062853A1 (zh) 遥感图像的配准方法、装置、设备、存储介质及系统
WO2023130842A1 (zh) 一种相机位姿确定方法和装置
Tal et al. An accurate method for line detection and manhattan frame estimation
Hui et al. Determining shape and motion from monocular camera: A direct approach using normal flows
Thomas et al. Fast robust perspective transform estimation for automatic image registration in disaster response applications
CN111951211B (zh) 一种目标检测方法、装置及计算机可读存储介质
Yu et al. A novel high accuracy sub-pixel corner detection algorithm for camera calibration
Zhang et al. Multi-scale sparse feature point correspondence by graph cuts
Bao et al. Semantic structure from motion: A novel framework for joint object recognition and 3D reconstruction
Lin et al. Evaluation, Design and Application of Object Tracking Technologies for Vehicular Technology Applications