TWI798459B - 提取特徵之方法、圖像匹配之方法以及處理圖像之方法 - Google Patents

提取特徵之方法、圖像匹配之方法以及處理圖像之方法 Download PDF

Info

Publication number
TWI798459B
TWI798459B TW108123229A TW108123229A TWI798459B TW I798459 B TWI798459 B TW I798459B TW 108123229 A TW108123229 A TW 108123229A TW 108123229 A TW108123229 A TW 108123229A TW I798459 B TWI798459 B TW I798459B
Authority
TW
Taiwan
Prior art keywords
image
points
descriptors
feature
reduced
Prior art date
Application number
TW108123229A
Other languages
English (en)
Other versions
TW202016793A (zh
Inventor
成昌勳
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202016793A publication Critical patent/TW202016793A/zh
Application granted granted Critical
Publication of TWI798459B publication Critical patent/TWI798459B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

在從圖像提取特徵的方法中，基於輸入圖像來估計多個 初始關鍵點。基於通過縮小所述輸入圖像而產生的經縮小圖像來產生多個描述符。通過分別將所述多個初始關鍵點與所述多個描述符匹配來獲得多個特徵點。也提供一種圖像匹配的方法及一種處理圖像的方法。

Description

提取特徵之方法、圖像匹配之方法以及處理圖 像之方法 [相關申請的交叉參考]
2018年10月18日在韓國智慧財產權局(Korean Intellectual Property Office，KIPO)提出申請且名稱為“從圖像提取特徵的方法、使用所述提取方法將圖像匹配的方法、及使用所述匹配方法來處理圖像的方法(Method of Extracting Features from Image,Method of Matching Images Using the Same and Method of Processing Images Using the Same)”的韓國專利申請第10-2018-0124329號全文併入本文中供參考。
各示例性實施例涉及影像處理技術，且更具體來說涉及從圖像提取特徵的方法、使用所述提取方法將圖像匹配的方法、以及使用所述匹配方法來處理圖像的方法。
電腦視覺技術與利用各種電子裝置實現五個人類感官中的視覺識別能力的人工智慧技術有關。電腦視覺技術中的圖像匹配技術一直是重要的技術領域，因為圖像匹配技術可應用於例如智慧型機器人、擴增實境、虛擬實境、三維結構資訊、基於面部識別的安全技術等各種應用。隨著移動通訊裝置(例如，智慧型電話及平板個人電腦(PC))在移動通訊技術中得到顯著發展，在移動環境中持續需要即時圖像匹配技術。然而，當在移動環境中捕獲圖像時，各種影響因素(例如，大小、照明、障礙物及旋轉等)可能影響所捕獲的圖像。此外，當所捕獲的圖像具有大幅運動或移動時或者當所捕獲的圖像是在黑暗環境中捕獲時，可能難以精確地識別所捕獲的圖像中的特徵。
各實施例涉及一種從圖像提取特徵的方法。所述方法可包括：基於輸入圖像來估計多個初始關鍵點；基於通過縮小所述輸入圖像而產生的經縮小圖像來產生多個描述符；以及通過分別將所述多個初始關鍵點與所述多個描述符匹配來獲得多個特徵點。
各實施例涉及一種將圖像匹配的方法。所述方法可包括：基於第一輸入圖像來檢測多個第一特徵點；基於第二輸入圖像來檢測多個第二特徵點；以及基於所述多個第一特徵點及所述多個第二特徵點來獲得所述第一輸入圖像與所述第二輸入圖像之間的多個對應點。檢測所述多個第一特徵點包括：基於所述第一 輸入圖像來估計多個第一初始關鍵點；基於通過縮小所述第一輸入圖像而產生的第一經縮小圖像來產生多個第一描述符；以及通過分別將所述多個第一初始關鍵點與所述多個第一描述符匹配來獲得所述多個第一特徵點。
各實施例涉及一種處理圖像的方法。所述方法可包括：設定第一輸入圖像與第二輸入圖像之間的多個對應點；以及基於所述多個對應點來對所述第一輸入圖像及所述第二輸入圖像中的至少一者實行影像處理。設定所述多個對應點包括：基於所述第一輸入圖像來檢測多個第一特徵點；基於所述第二輸入圖像來檢測多個第二特徵點；以及基於所述多個第一特徵點及所述多個第二特徵點來獲得所述多個對應點。檢測所述多個第一特徵點包括：基於所述第一輸入圖像來估計多個第一初始關鍵點；基於通過縮小所述第一輸入圖像而產生的第一經縮小圖像來產生多個第一描述符；以及通過分別將所述多個第一初始關鍵點與所述多個第一描述符匹配來獲得所述多個第一特徵點。
100、100a、100b:特徵提取裝置
110:關鍵點估計器
120:描述符產生器
122:縮放器
124:關鍵點計算器
126:描述符計算器
130:特徵點產生器
140:圖像轉換器
200:圖像匹配裝置
210:相似度比較器
220:對應點產生器
300、1060:影像處理裝置
310:處理單元
1000:電子系統
1010:處理器
1020:連線性
1030:記憶體裝置
1040:使用者介面
1050:圖像攝取裝置
A、A':區域
B22、B24、B26、B42、B44、B46:原始畫素資料/藍色畫素資料
COMP:比較訊號
CP:對應點訊號
D1:第一方向
D2:第二方向
DSC:描述符訊號
FP:特徵點訊號
FP1:第一特徵點訊號
FP2:第二特徵點訊號
G12、G14、G16、G21、G23、G25、G32、G34、G36、G41、G43、G45:原始畫素資料/綠色畫素資料
GIMG:1通道圖像
IKP:初始關鍵點訊號
IKP11、IKP12、IKP13:初始關鍵點/第一初始關鍵點
IKP21、IKP22、IKP23:第二初始關鍵點
IMG1:輸入圖像/第一輸入圖像
IMG2:第二輸入圖像
IS1:第一圖像訊號
IS2:第二圖像訊號
IS_1C:1通道圖像訊號
IS_R:原始圖像訊號
OBJ11、OBJ12、OBJ21、OBJ22、SOBJ11、SOBJ12:對象
OIS:輸出圖像訊號
P11、P12、P13、P14、P15、P16、P21、P22、P23、P24、P25、P26、P31、P32、P33、P34、P35、P36、P41、P42、P43、P44、P45、P46、:1通道畫素資料
PA、PA'、PB、PC、PD、PD'、PE、PE':畫素
PIDIFF、PIDIFF':強度差
R11、R13、R15、R31、R33、R35:原始畫素資料/紅色畫素資料
RIMG:原始圖像
S100、S110、S120、S122、S124、S130、S132、S134、S136、S138、S200、S200a、S400、S400a、S600、S410、S420、S430、S1100、S1200、S1300、S1310、S1320、S1330、S2100、S2200:步驟
SF:縮放因數
SIMG1:經縮小圖像
SIS:經縮小圖像訊號
SKP:經縮小關鍵點訊號
SKP11、SKP12、SKP13:經縮小關鍵點
通過參照附圖詳細地闡述示例性實施例，對於所屬領域中的技術人員來說，各特徵將變得顯而易見，圖式中：圖1示出根據示例性實施例的從圖像提取特徵的方法。
圖2示出根據示例性實施例的特徵提取裝置。
圖3示出圖1中產生多個描述符的步驟。
圖4A、圖4B、圖5A及圖5B示出圖3中產生所述多個描述 符的操作。
圖6示出根據示例性實施例的從圖像提取特徵的方法。
圖7示出根據示例性實施例的特徵提取裝置。
圖8示出圖6中將輸入圖像轉換成1通道圖像的實例。
圖9示出圖8中產生多個1通道畫素資料的實例。
圖10A及圖10B示出圖8中將輸入圖像轉換成1通道圖像的操作。
圖11示出圖6中將輸入圖像轉換成1通道圖像的另一實例。
圖12示出圖11中產生多個1通道畫素資料的實例。
圖13示出根據示例性實施例將圖像匹配的方法。
圖14示出根據示例性實施例的圖像匹配裝置。
圖15示出圖13中獲得多個對應點的實例。
圖16示出圖15中獲得所述多個對應點的操作。
圖17示出根據示例性實施例的處理圖像的方法。
圖18示出根據示例性實施例的影像處理裝置。
圖19示出根據示例性實施例的電子系統。
在下文，將參照附圖詳細地解釋各示例性實施例。
圖1示出根據示例性實施例的從圖像提取特徵的方法。參照圖1，可基於輸入圖像來估計多個初始關鍵點(步驟S200)。關鍵點可表示與輸入圖像的特徵或特性相關聯的點，且可被稱為 興趣點。舉例來說，關鍵點可位於輸入圖像中的物件的輪廓處。可基於各種用於圖像分析的演算法中的至少一者來從輸入圖像估計所述多個初始關鍵點，如稍後將闡述。
在一些示例性實施例中，輸入圖像可為1通道圖像。1通道圖像可不包含顏色資訊，且可僅包含亮度資訊。1通道圖像可被稱為灰色圖像(gray image)、灰階圖像(grayscale image)或單色圖像。當輸入圖像不是1通道圖像時，可通過轉換圖像過程將輸入圖像轉換成1通道圖像，如將參照圖6闡述。
可基於通過縮小輸入圖像而產生的經縮小圖像來產生多個描述符(步驟S400)。每一描述符可表示相應關鍵點的特徵或特性。也可使用各種用於圖像分析的演算法中的至少一者來產生所述多個描述符，如稍後將闡述。
舉例來說，當輸入圖像被轉換成經縮小圖像時，鄰近的畫素之間的強度差可增大。換句話說，經縮小圖像中鄰近的畫素的強度差可大於輸入圖像中鄰近的畫素的強度差。因此，當基於經縮小圖像來產生所述多個描述符時，每一描述符可相對於雜訊為穩健的且具有改善的奇異性。
通過分別將所述多個初始關鍵點與所述多個描述符匹配來獲得多個特徵點(步驟S600)。舉例來說，可將一個初始關鍵點與一個描述符彼此匹配，以獲得一個特徵點。可使用所述多個特徵點來獲得兩個圖像之間的多個對應點，如將參照圖13闡述。
圖2示出根據示例性實施例的特徵提取裝置。參照圖2，特徵提取裝置100a可包括關鍵點估計器110、描述符產生器120及特徵點產生器130。
關鍵點估計器110可接收1通道圖像訊號IS_1C作為輸入圖像，基於1通道圖像訊號IS_1C來估計多個初始關鍵點，且輸出指示所述多個初始關鍵點的初始關鍵點訊號IKP。換句話說，關鍵點估計器110可實行或執行圖1中的步驟S200。輸入圖像可為1通道圖像，例如，灰色圖像、灰階圖像或單色圖像。
在一些示例性實施例中，可從外部圖像攝取裝置(例如，圖19中的圖像攝取裝置1050)及/或外部記憶體裝置(例如，圖19中的記憶體裝置1030)提供1通道圖像訊號IS_1C。在其他示例性實施例中，可從單獨的圖像轉換器(例如，圖7中的圖像轉換器140)提供1通道圖像訊號IS_1C。
描述符產生器120可實行或執行圖1中的步驟S400。舉例來說，描述符產生器120可接收1通道圖像訊號IS_1C、初始關鍵點訊號IKP及縮放因數SF，可基於通過縮小1通道圖像訊號IS_1C而產生的經縮小圖像來產生多個描述符，且可輸出指示所述多個描述符的描述符訊號DSC。
舉例來說，描述符產生器120可包括縮放器122、關鍵點計算器124及描述符計算器126。縮放器122可接收1通道圖像訊號IS_1C及縮放因數SF，可通過縮小1通道圖像訊號IS_1C來產生經縮小圖像，且可輸出指示經縮小圖像的經縮小圖像訊號SIS。可從位於特徵提取裝置100a之內或之外的控制器提供縮放因數SF。
關鍵點計算器124可接收經縮小圖像訊號SIS、縮放因數SF及初始關鍵點訊號IKP，可計算包含在經縮小圖像訊號SIS中且對應於所述多個初始關鍵點的多個經縮小關鍵點，且可輸出 指示所述多個經縮小關鍵點的經縮小關鍵點訊號SKP。
描述符計算器126可接收經縮小圖像訊號SIS及經縮小關鍵點訊號SKP，可計算所述多個描述符，且可輸出描述符訊號DSC。
特徵點產生器130可實行或執行圖1中的步驟S600。舉例來說，特徵點產生器130可接收初始關鍵點訊號IKP及描述符訊號DSC，可通過分別將所述多個初始關鍵點訊號IKP與描述符訊號DSC匹配來獲得多個特徵點，且輸出指示所述多個特徵點的特徵點訊號FP。
在一些示例性實施例中，可以硬體來實作關鍵點估計器110、描述符產生器120及特徵點產生器130的至少一部分。舉例來說，根據示例性實施例的特徵提取裝置100a中所包括的元件的至少一部分可包含在基於電腦的電子系統中。在另一實施例中，可以硬體來實作所有的關鍵點估計器110、描述符產生器120及特徵點產生器130。在其他示例性實施例中，可以軟體(例如，指令代碼或程式常式)來實作關鍵點估計器110、描述符產生器120及特徵點產生器130的至少一部分。舉例來說，所述指令代碼或程式常式可由基於電腦的電子系統來執行，且可儲存在位於基於電腦的電子系統之內或之外的任何儲存裝置中。在另一實施例中，可以軟體來實作所有的關鍵點估計器110、描述符產生器120及特徵點產生器130。
圖3示出圖1中產生多個描述符的實例。圖4A、圖4B、圖5A及圖5B示出圖3中產生所述多個描述符的操作。參照圖1、圖3、圖4A及圖4B，在產生所述多個描述符之前，可基於輸入圖 像IMG1來估計多個初始關鍵點IKP11、IKP12及IKP13(步驟S200)。
如圖4A中所示，輸入圖像IMG1可包含兩個物件OBJ11及OBJ12。舉例來說，可將物件OBJ11的兩個隅角點及物件OBJ12的一個隅角點估計為(或稱為)所述多個初始關鍵點IKP11、IKP12及IKP13。此種將隅角點估計為關鍵點的方式可被稱為隅角檢測或隅角檢測方案。
可將圖像中的物件的隅角點界定為圖像中的物件的至少兩個邊緣的相交點。此外，還可將圖像中的物件的隅角點界定為如下點：在所述點的局部鄰域中，存在至少兩個主要且不同的邊緣。圖像中的關鍵點或興趣點可為具有將要被穩健地檢測到(即，將要在雜訊背景下被良好地檢測到)的經良好界定的位置的點。舉例來說，圖像中的物件的隅角點可用作圖像中的關鍵點或興趣點。此外，圖像中的物件的頂點可用作圖像中的關鍵點或興趣點。
在一些示例性實施例中，可基於例如加速段測試特徵(Features from Accelerated Segment Test，FAST)、哈裡斯(Harris)等各種演算法中的至少一者來檢測圖像中的隅角點。可將所檢測到的隅角點估計為初始關鍵點IKP11、IKP12及IKP13。
在其他示例性實施例中，可將輸入圖像IMG1中的團塊(blob)點或團塊區(圖4A中未示出)估計為多個初始關鍵點。此種將團塊點估計為關鍵點的方式可被稱為團塊檢測或團塊檢測方案。
團塊檢測或團塊檢測方案可與在數位圖像中檢測與周 圍區相比在性質(例如，亮度或顏色)上不同的區有關。舉例來說，團塊可為圖像的其中一些性質恒定或近似恒定的區。團塊中的所有點可彼此相似。舉例來說，團塊可用作關鍵點。團塊區可被稱為感興趣區(region of interest，ROI)。
在一些示例性實施例中，可基於例如最大穩定極值區(Maximally Stable Extremal Region，MSER)等各種演算法中的至少一者來檢測團塊。可將所檢測到的團塊估計為初始關鍵點。
如以上所述，可基於隅角檢測及團塊檢測中的至少一者來估計所述多個初始關鍵點。舉例來說，可基於例如脊線檢測(ridge detection)、邊緣檢測等其他檢測方案中的至少一者來估計所述多個初始關鍵點。
在下文中，將基於其中圖像中的物件的隅角被估計為所述多個初始關鍵點IKP11、IKP12及IKP13的情形來闡述示例性實施例。
如以上所述，在步驟S400中，基於經縮小圖像SIMG1來產生所述多個描述符。在步驟S410中，可通過基於縮放因數縮小輸入圖像IMG1來產生經縮小圖像SIMG1。舉例來說，步驟S410可由圖2中的縮放器122實行。
如圖4B中所示，經縮小圖像SIMG1可為通過將輸入圖像IMG1縮小約一半(即，約1/2)而產生的圖像。用於縮小輸入圖像IMG1的縮放因數可為約2。可從輸入圖像IMG1中的物件OBJ11及OBJ12縮小出經縮小圖像SIMG1中的物件SOBJ11及SOBJ12。舉例來說，經縮小圖像SIMG1中的物件SOBJ11及SOBJ12的邊緣的大小可為輸入圖像IMG1中的物件OBJ11及 OBJ12的對應邊緣的大小的一半(即，1/2)。
可基於縮放因數及所述多個初始關鍵點IKP11、IKP12及IKP13來計算經縮小圖像SIMG1中的所述多個經縮小關鍵點SKP11、SKP12及SKP13(步驟S420)。舉例來說，可通過對所述多個初始關鍵點IKP11、IKP12及IKP13應用縮放因數來計算經縮小圖像SIMG1中的所述多個經縮小關鍵點SKP11、SKP12及SKP13。經縮小圖像SIMG1中的所述多個經縮小關鍵點SKP11、SKP12及SKP13可分別對應於輸入圖像IMG中的所述多個初始關鍵點IKP11、IKP12及IKP13。步驟S420可由圖2中的關鍵點計算器124實行。
在一些示例性實施例中，當輸入圖像IMG1中的n個初始關鍵點的畫素位置是x i={x i ,y i }，i=1、2、...、n時，其中n是大於或等於2的自然數，可通過方程式1來獲得經縮小圖像SIMG1中的n個經縮小關鍵點的畫素位置
Figure 108123229-A0305-02-0012-14
，i=1、2、...、n。
Figure 108123229-A0305-02-0012-1
在方程式1中，△s可對應於縮放因數。
舉例來說，輸入圖像IMG1中的左上畫素位置可為(1,1)，且經縮小圖像SIMG1中的左上畫素位置可為(1,1)。在此種情形中，當縮放因數是約2時，輸入圖像IMG1中的初始關鍵點IKP11的畫素位置是(60,20)，且通過方程式1，經縮小圖像SIMG1中的經縮小關鍵點SKP11的畫素位置可為(30,10)。
如以上所述，當通過對輸入圖像中的初始關鍵點的畫素位置應用縮放因數來計算經縮小圖像中的經縮小關鍵點的畫素位 置時，可防止輸入圖像中的初始關鍵點的位置資訊的損失，這是因為初始關鍵點的畫素位置是從輸入圖像(例如，原圖像)而估計，且因此可維持經縮小關鍵點的位置準確度，這是因為經縮小關鍵點的畫素位置是基於初始關鍵點的無損位置資訊而計算。
可基於經縮小圖像SIMG1中與所述多個經縮小關鍵點SKP11、SKP12及SKP13鄰近的多個相鄰點來計算經縮小圖像SIMG1的所述多個描述符(步驟S430)。所述多個相鄰點可表示與所述多個經縮小關鍵點SKP11、SKP12及SKP13的畫素位置鄰近的畫素。步驟S430可由圖2中的描述符計算器126實行。
在一些示例性實施例中，可使用例如以下等各種演算法中的至少一者來產生所述多個描述符：定向性加速段測試特徵及旋轉性二元穩健獨立基本特徵(Oriented Features from Accelerated Segment Test(FAST)and Rotated Binary Robust Independent Elementary Features(BRIEF)，ORB)、尺度不變特徵變換(Scale-Invariant Feature Transform，SIFT)、加速穩健特徵(Speeded Up Robust Features，SURF)、最大非自相似度(Maximal Self-Dissimilarities，MSD)。
SIFT可為用於提取圖像中的特徵的特徵檢測演算法。通過SIFT產生的所提取特徵點可應用於例如監控攝像機或自主導航系統等影像處理系統。影像處理系統可通過從圖像中的物件的所提取特徵點匯出高階描述符來識別所述物件。
此外，SURF可為另一種用於提取圖像中的特徵的方法。通過SURF產生的所提取特徵點可應用於例如物件跟蹤系統或全景圖像產生系統等影像處理系統。影像處理系統可通過根據 積分圖像的每一尺度匯出特徵點及高階描述符來辨識圖像中的物件，所述積分圖像是通過對輸入圖像的畫素值進行求和或累加而產生。儘管SIFT及SURF具有對於圖像(或物件)大小、照射變化及因旋轉所致的圖像變化而穩健的優點，但SIFT及SURF具有由於所產生的描述符是實值或浮動向量而需要進行複雜計算的缺點。
ORB可為定向性FAST及旋轉性BRIEF演算法。舉例來說，當使用ORB來識別圖像中的物件時，可通過定向性FAST或旋轉性BRIEF演算法來提取圖像中的物件的特徵點，可基於通過定向性FAST或旋轉性BRIEF演算法產生的所提取特徵點來產生二元描述符。由於所產生的二元描述符是二元向量，因此計算量可減小，且物件識別速度可提高。
基於以上所述的演算法，可為經縮小圖像SIMG1中的n個經縮小關鍵點
Figure 108123229-A0305-02-0014-2
產生n個描述符
Figure 108123229-A0305-02-0014-3
，i=1、2、3、...、n。
如以上所述，可基於ORB、SIFT、SURF及MSD中的至少一者來產生多個描述符。舉例來說，可基於例如以下等其他演算法中的至少一者來產生所述多個描述符：BRIEF、二元穩健不變可縮放關鍵點(Binary Robust Invariant Scalable Key point，BRISK)、快速視網膜關鍵點(Fast Retina Key point，FREAK)。
在產生所述多個描述符之後，通過分別將輸入圖像IMG1中的所述多個初始關鍵點IKP11、IKP12及IKP13與所述多個描述符匹配來獲得所述多個特徵點(步驟S600)。
舉例來說，可將初始關鍵點IKP11與經縮小關鍵點 SKP11的描述符匹配，以獲得一個特徵點。相似地，可分別將n個初始關鍵點x i={x i ,y i }，i=1、2、...、n與n個描述符
Figure 108123229-A0305-02-0015-15
，i=1、 2、3、...、n匹配，以獲得n個特徵點
Figure 108123229-A0305-02-0015-5
。
參照圖5A及圖5B，圖5A示出圖4A中的區域A的放大圖。圖5B示出圖4B中的區域A'的放大圖。
舉例來說，在圖5A中，畫素PA可具有亮灰色(例如，高灰度)，與畫素PA鄰近的畫素PB及PC可具有暗灰色(例如，低灰度)，且與畫素PB及PC鄰近的畫素PD及PE可具有黑色(例如，零灰度)。舉例來說，在圖5B中，由於圖像是通過約為一半的縮放因數而被縮小，因此畫素PA'(與圖5A中的畫素PA對應)可具有相對亮的灰色，與圖5A中的畫素PB及PC對應的畫素可被省略或刪除，且畫素PD'及PE'(與圖5A中的畫素PD及PE對應)可具有黑色。
舉例來說，圖5B中的經縮小圖像SIMG1中鄰近的畫素PA'與PD'之間的強度差PIDIFF'可大於圖5A中的輸入圖像IMG1中鄰近的畫素PA與PB之間的強度差PIDIFF。換句話說，隨著圖像被縮小，鄰近的畫素之間的強度差可增大。
如以上所述，可從輸入圖像IMG1估計所述多個初始關鍵點IKP11、IKP12及IKP13，以便可維持所述多個初始關鍵點的位置準確度。此外，當可從其中鄰近的畫素PA'與PD'之間的強度差PIDIFF'相對大的經縮小圖像SIMG1產生所述多個描述符時，所述多個描述符可相對於雜訊為穩定的，且可具有改善的奇異性。舉例來說，當在暗環境中捕獲的低照度圖像(例如，夜間照片)及/或在物件的大幅運動下捕獲的模糊圖像被縮小時，低照度 圖像或模糊圖像中鄰近的畫素之間的強度差(或亮度差)可增大。因此，在經縮小圖像中獲得的描述符可具有比在原圖像中獲得的描述符改善的特異性或奇異性。
圖6示出根據示例性實施例的從圖像提取特徵的方法。參照圖6，當輸入圖像不是1通道圖像時，可將輸入圖像轉換成1通道圖像(步驟S100)。
在一些示例性實施例中，輸入圖像可為具有貝爾圖案(Bayer pattern)的3通道圖像(例如，紅綠藍(RGB)圖像)。可能難以從畫素資料呈貝爾圖案的原始圖像提取特徵點。因此，可將原始圖像轉換成用於提取特徵的1通道圖像。
舉例來說，可基於1通道圖像來估計多個初始關鍵點(步驟S200a)，且可基於通過縮小1通道圖像而產生的經縮小圖像來產生多個描述符(步驟S400a)。圖6中的步驟S200a及S400a可分別與圖1中的步驟S200及S400實質上相同，只不過步驟S200a及S400a是基於1通道圖像而實行。
舉例來說，可通過分別將所述多個初始關鍵點與所述多個描述符匹配來獲得多個特徵點(步驟S600)。圖6中的步驟S600可與圖1中的步驟S600實質上相同。
圖7示出根據示例性實施例的特徵提取裝置。參照圖7，特徵提取裝置100b可包括關鍵點估計器110、描述符產生器120、特徵點產生器130及圖像轉換器140。
圖7中的特徵提取裝置100b可與圖2中的特徵提取裝置100a實質上相同，只不過特徵提取裝置100b進一步包括圖像轉換器140。
圖像轉換器140可接收指示輸入圖像的原始圖像訊號IS_R，可將輸入圖像轉換成1通道圖像，且可輸出指示1通道圖像的1通道圖像訊號IS_1C。輸入圖像可為尚未經處理的原始圖像。換句話說，圖像轉換器140可實行或執行圖6中的步驟S100。
在一些示例性實施例中，可從外部圖像攝取裝置(例如，圖19中的圖像攝取裝置1050)及/或外部記憶體裝置(例如，圖19中的記憶體裝置1030)提供原始圖像訊號IS_R。
在一些示例性實施例中，可以硬體來實作圖像轉換器140的至少一部分。在其他示例性實施例中，可以軟體(例如，指令代碼或程式常式)來實作圖像轉換器140的至少一部分。
圖8示出圖6中將輸入圖像轉換成1通道圖像的實例。圖9示出圖8中產生多個1通道畫素資料的實例。圖10A及圖10B示出用於闡述圖8中將輸入圖像轉換成1通道圖像的操作的實例。
參照圖6、圖8、圖9、圖10A及圖10B，將輸入圖像轉換成1通道圖像(圖6中的步驟S100)。可接收尚未經處理的原始圖像RIMG作為輸入圖像(圖8中的步驟S110)。
如圖10A中所示，原始圖像RIMG可為具有貝爾圖案的3通道圖像。舉例來說，原始圖像RIMG可包含從多個彩色畫素獲得的多個彩色畫素資料。所述多個彩色畫素資料中可包括紅色畫素資料R11、R13、R15、...、R31、R33、R35、...、綠色畫素資料G12、G14、G16、...、G21、G23、G25、...、G32、G34、G36、...、G41、G43、G45、...、以及藍色畫素資料B22、B24、B26、...、B42、B44、B46、...。在原始圖像RIMG中，一個紅色畫素資料(例如，R11)、兩個綠色畫素資料(例如，G12及G21)、以及一個藍 色畫素資料(例如，B22)可排列成2*2矩陣形式，以構成一個畫素資料群組。舉例來說，原始圖像RIMG可包括通過沿著第一方向D1及與第一方向D1交叉(例如，垂直)的第二方向D2重複排列與一個畫素資料群組對應的RGGB顏色圖案而形成的圖像圖案。
舉例來說，參照圖10B，可基於原始圖像RIMG中所包含的所有多個原始畫素資料R11、G12、R13、G14、R15、G16、...、G21、B22、G23、B24、G25、B26、...、R31、G32、R33、G34、R35、G36、...、G41、B42、G43、B44、G45、B46、...來產生1通道圖像GIMG中所包含的多個1通道畫素資料P11、P12、P13、P14、P15、P16、...、P21、P22、P23、P24、P25、P26、...、P31、P32、P33、P34、P35、P36、...、P41、P42、P43、P44、P45、P46、...(步驟S120)。所述多個原始畫素資料可表示從所述多個彩色畫素獲得的彩色圖像的畫素值(例如，灰階)，且所述多個1通道畫素資料可表示灰色圖像的畫素值。
在一些示例性實施例中，原始圖像RIMG與1通道圖像GIMG可具有實質上相同的大小。換句話說，原始圖像RIMG中的所述多個原始畫素資料的數目(或所述多個彩色畫素的數目)可與1通道圖像GIMG中的所述多個1通道畫素資料的數目(或多個畫素或灰色畫素的數目)實質上相同。
舉例來說，當產生所述多個1通道畫素資料(步驟S120)時，可基於所述多個原始畫素資料中的X個原始畫素資料來產生所述多個1通道畫素資料中的一個1通道畫素資料(例如，第一1通道畫素資料)，其中X是大於或等於2的自然數。可從彼此鄰近 的X個畫素獲得所述X個原始畫素資料。舉例來說，可通過將所述X個原始畫素資料相加來產生求和後的原始畫素資料(步驟S122)。可通過將求和後的原始畫素資料除以X來產生所述一個1通道畫素資料(步驟S124)。
在一些示例性實施例中，可從排列成2*2矩陣形式的四個畫素獲得所述X個原始畫素資料。所述四個畫素的畫素資料可為一個畫素資料群組。換句話說，由於在原始圖像RIMG中重複包含排列成2*2矩陣形式的一個紅色畫素資料、兩個綠色畫素資料及一個藍色畫素資料的RGGB顏色圖案，因此X是4，且可通過所述一個畫素資料群組來產生所述多個1通道畫素資料中的每一者。
舉例來說，可使用原始圖像RIMG中對應位置處的原始畫素資料R11以及與原始畫素資料R11鄰近的原始畫素資料G12、G21及B22來計算1通道圖像GIMG中的1通道畫素資料P11。舉例來說，可通過如下方程式來獲得1通道畫素資料P11的值：P11=(R11+G12+G21+B22)/4。
相似地，可使用原始圖像RIMG中排列成2*2矩陣形式的原始畫素資料G12、R13、B22及G23來計算1通道圖像GIMG中的1通道畫素資料P12，可使用原始圖像RIMG中排列成2*2矩陣形式的原始畫素資料G21、B22、R31及G32來計算1通道圖像GIMG中的1通道畫素資料P21，且可以相似的方式來計算1通道圖像GIMG中的1通道畫素資料的其餘部分。
在一些示例性實施例中，1通道圖像GIMG中排列在最後一列及最後一行中的1通道畫素資料在原始圖像RIMG中可不 具有對應的排列成2*2矩陣形式的畫素資料群組。因此，可使用原始圖像RIMG中對應位置處的一個原始畫素資料、或使用原始圖像RIMG中對應位置處的一個原始畫素資料及與所述一個原始畫素資料鄰近的另一個原始畫素資料來計算1通道圖像GIMG中排列在最後一列及最後一行中的1通道畫素資料。舉例來說，1通道圖像GIMG中排列在第一列且最後一行中的1通道畫素資料可實質上等於原始圖像RIMG中排列在第一列且最後一行中的原始畫素資料，或者可通過將原始圖像RIMG中排列在第一列及第二列且最後一行中的兩個原始畫素資料相加並通過將相加後的原始畫素資料除以2來加以計算。
圖11示出圖6中將輸入圖像轉換成1通道圖像的另一實例。圖12示出圖11中產生多個1通道畫素資料的實例。參照圖6、圖10A、圖10B、圖11及圖12，當將輸入圖像轉換成1通道圖像(步驟S100)時，可接收尚未經處理的原始圖像RIMG作為輸入圖像(步驟S110)。圖11中的步驟S110可與圖8中的步驟S110實質上相同。
參照圖10A及圖10B，可基於原始圖像RIMG中所包含的多個原始畫素資料R11、G12、R13、G14、R15、G16、...、G21、B22、G23、B24、G25、B26、...、R31、G32、R33、G34、R35、G36、...、G41、B42、G43、B44、G45、B46、...的一部分來產生1通道圖像GIMG中所包含的多個1通道畫素資料P11、P12、P13、P14、P15、P16、...、P21、P22、P23、P24、P25、P26、...、P31、P32、P33、P34、P35、P36、...、P41、P42、P43、P44、P45、P46、...(圖11中的步驟S130)。
當產生所述多個1通道畫素資料(圖11中的步驟S130)時，可選擇所述多個原始畫素資料中的第一原始畫素資料(步驟S132)。舉例來說，可從與相同顏色對應的第一畫素獲得第一原始畫素資料。可通過放大第一原始畫素資料來獲得所述多個1通道畫素資料(圖12中的步驟S134)。舉例來說，可將第一原始畫素資料設定為所述多個1通道畫素資料的一部分(圖12中的步驟S136)，且可通過基於第一原始畫素資料而實行的內插運算來計算所述多個1通道畫素資料的其餘部分(圖12中的步驟S138)。
在一些示例性實施例中，參照圖10A及圖10B，可選擇原始圖像RIMG中的紅色畫素資料R11、R13、R15、...、R31、R33、R35、...作為第一原始畫素資料，且可將1通道圖像GIMG中對應位置處的1通道畫素資料P11、P13、P15、...、P31、P33、P35、...的值設定成分別等於紅色畫素資料R11、R13、R15、...、R31、R33、R35、...的值。
可通過內插運算來計算1通道圖像GIMG中剩餘的1通道畫素資料P12、P14、P16、...、P21、P22、P23、P24、P25、P26、...、P32、P34、P36、...、P41、P42、P43、P44、P45、P46、...。舉例來說，可通過P12=(P11+P13)/2=(R11+R13)/2來獲得1通道畫素資料P12。
相似地，可使用1通道畫素資料P11及P31來計算1通道圖像GIMG中的1通道畫素資料P21，可使用1通道畫素資料P11及P33來計算1通道圖像GIMG中的1通道畫素資料P22，且可以相似的方式計算1通道圖像GIMG中的1通道畫素資料的其餘部分。
在其他示例性實施例中，參照圖10A及圖10B，可選擇原始圖像RIMG中的藍色畫素資料B22、B24、B26、...、B42、B44、B46、..作為第一原始畫素資料，且可基於原始圖像RIMG中的藍色畫素資料B22、B24、B26、...、B42、B44、B46、...來獲得1通道圖像GIMG中的所述多個1通道畫素資料。
圖13示出根據示例性實施例的將圖像匹配的方法。參照圖13，基於第一輸入圖像來檢測多個第一特徵點(步驟S1100)，且基於第二輸入圖像來檢測多個第二特徵點(步驟S1200)。第一輸入圖像與第二輸入圖像可為不同的圖像。舉例來說，第一輸入圖像與第二輸入圖像可為移動圖像中的兩個連續的畫面圖像，即，可分別為第(t-1)畫面圖像及第t畫面圖像。
可基於根據示例性實施例的從圖像提取特徵的方法來實行或執行圖13中的步驟S1100及S1200中的每一者，如參照圖1至圖12所述。舉例來說，可基於第一輸入圖像來估計多個第一初始關鍵點。可基於通過縮小第一輸入圖像而產生的第一經縮小圖像來產生多個第一描述符。可通過分別將所述多個第一初始關鍵點與所述多個第一描述符匹配來獲得所述多個第一特徵點。相似地，可基於第二輸入圖像來估計多個第二初始關鍵點。可基於通過縮小第二輸入圖像而產生的第二經縮小圖像來產生多個第二描述符。可通過分別將所述多個第二初始關鍵點與所述多個第二描述符匹配來獲得所述多個第二特徵點。
基於所述多個第一特徵點及所述多個第二特徵點來獲得第一輸入圖像與第二輸入圖像之間的多個對應點(步驟S1300)。舉例來說，可通過將第一輸入圖像中的一個第一初始關 鍵點與第二輸入圖像中的一個第二初始關鍵點匹配來獲得一個對應點。可使用原圖像(例如，原尺度圖像)來實行此匹配操作。
如以上所述，當基於根據示例性實施例的提取圖像特徵的方法來實行步驟S1100及S1200時，可獲得相對於雜訊為穩健的且具有改善的奇異性的描述符。另外，當使用具有改善的奇異性的所述多個第一描述符及第二描述符來獲得所述多個對應點時，第一輸入圖像與第二輸入圖像之間的對應點估計準確度(例如，第一輸入圖像與第二輸入圖像的匹配準確度)可改善。
圖14示出根據示例性實施例的圖像匹配裝置。參照圖14，圖像匹配裝置200可包括特徵提取裝置100、相似度比較器210及對應點產生器220。
特徵提取裝置100可接收指示第一輸入圖像的第一圖像訊號IS1及指示第二輸入圖像的第二圖像訊號IS2，可基於第一輸入圖像及第二輸入圖像來檢測多個第一特徵點及多個第二特徵點，且可輸出指示所述多個第一特徵點的第一特徵點訊號FP1及指示所述多個第二特徵點的第二特徵點訊號FP2。
圖14中的特徵提取裝置100可對應於圖2中的特徵提取裝置100a或圖7中的特徵提取裝置100b。舉例來說，當第一輸入圖像及第二輸入圖像中的每一者是1通道圖像時，圖14中的特徵提取裝置100可為圖2中的特徵提取裝置100a。當第一輸入圖像及第二輸入圖像中的每一者是原始圖像時，圖14中的特徵提取裝置100可對應於圖7中的特徵提取裝置100b。
相似度比較器210可接收第一特徵點訊號FP1及第二特徵點訊號FP2，可比較所述多個第一特徵點中所包含的多個第一 描述符與所述多個第二特徵點中所包含的多個第二描述符之間的相似度，且可輸出指示比較結果的比較訊號COMP。
對應點產生器220可接收第一特徵點訊號FP1、第二特徵點訊號FP2及比較訊號COMP，可獲得第一輸入圖像與第二輸入圖像之間的多個對應點，且可輸出指示所述多個對應點的對應點訊號CP。
在一些示例性實施例中，可以硬體來實作相似度比較器210及對應點產生器220的至少一部分。在其他示例性實施例中，可以軟體(例如，指令代碼或程式常式)來實作相似度比較器210及對應點產生器220的至少一部分。
圖15示出圖13中獲得多個對應點的實例。圖16示出用於闡述圖15中獲得所述多個對應點的操作的實例。
參照圖4A、圖13、圖15及圖16，在獲得所述多個對應點之前，通過將第一輸入圖像IMG1(例如，第(t-1)畫面圖像)中的所述多個第一初始關鍵點IKP11、IKP12及IKP13與所述多個第一描述符匹配來獲得多個第一特徵點
Figure 108123229-A0305-02-0024-7
，j=1、2、3、...、n，如圖4A中所示。另外，通過將第二輸入圖像IMG2(例如，第t畫面圖像)中的多個第二初始關鍵點IKP21、IKP22及IKP23與多個第二描述符匹配來獲得多個第二特徵點
Figure 108123229-A0305-02-0024-8
，j=1、2、3、...、n，如圖16中所示。與第一輸入圖像IMG1相比，第二輸入圖像IMG2中的物件OBJ21及OBJ22可向右下方向移位。
當獲得所述多個對應點(步驟S1300)時，可選擇所述多個第一特徵點中的所述多個第一描述符中的一者(步驟S1310)，且可通過比較所選的第一描述符與所述多個第二特徵點 中的所述多個第二描述符之間的相似度來選擇所述多個第二描述符中的一者(步驟S1320)。所選的第二描述符可與所選的第一描述符具有最高相似度。步驟S1310及S1320可由圖14中的相似度比較器210實行。
可將所述多個第一初始關鍵點中的與所述多個第一特徵點中所選的第一描述符對應的一者及所述多個第二初始關鍵點中的與所述多個第二特徵點中所選的第二描述符對應的一者設定成所述多個對應點中的一者(步驟S1330)。步驟S1330可由圖14中的對應點產生器220實行。
舉例來說，可選擇與第一初始關鍵點IKP11對應的第一描述符，可比較所選的第一描述符與和第二初始關鍵點IKP21、IKP22及IKP23對應的所有第二描述符之間的相似度，且可選擇和與所選的第一描述符具有最高程度的相似度的第二描述符對應的一個第二初始關鍵點。舉例來說，可將第一初始關鍵點IKP11及第二初始關鍵點IKP21設定成一個對應點。
相似地，可對剩餘的第一描述符實行相似度比較，可將第一初始關鍵點IKP12及第二初始關鍵點IKP22設定成另一個對應點，且可將第一初始關鍵點IKP13及第二初始關鍵點IKP23設定成另一對應點。因此，可通過比較所述多個第一特徵點
Figure 108123229-A0305-02-0025-9
，j=1、2、3、...、n的描述符與所述多個第二特徵點
Figure 108123229-A0305-02-0025-10
，j=1、2、3、...、n的描述符之間的相似度d i,j (
Figure 108123229-A0305-02-0025-13
,
Figure 108123229-A0305-02-0025-12
)來獲得所有所述多個對應點。
在一些示例性實施例中，可基於漢明距離(Hamming distance)及歐幾裡得距離(Euclidean distance)中的至少一者來 確定所述多個第一描述符與所述多個第二描述符之間的相似度。舉例來說，可基於各種其他演算法中的至少一者來確定所述多個第一描述符與所述多個第二描述符之間的相似度。
可參照圖15基於其中針對第一描述符設定一個對應點(例如，通過比較一個第一描述符與所有第二描述符之間的相似度)的情形來闡述示例性實施例。舉例來說，可首先選擇一個第二描述符，可比較所選的第二描述符與所有第一描述符之間的相似度以選擇與所選的第二描述符具有最高程度的相似度的一個第一描述符，且可將與所選的第一描述符及第二描述符對應的一個第一初始關鍵點及一個第二初始關鍵點設定成一個對應點。
圖17示出根據示例性實施例的處理圖像的方法。參照圖17，可設定第一輸入圖像與第二輸入圖像之間的多個對應點(步驟S2100)。
可基於根據示例性實施例的將圖像匹配的方法來實行或執行圖17中的步驟S2100，如參照圖13至圖16所述。舉例來說，可基於第一輸入圖像來檢測多個第一特徵點。可基於第二輸入圖像來檢測多個第二特徵點。可基於所述多個第一特徵點及所述多個第二特徵點來獲得第一輸入圖像與第二輸入圖像之間的所述多個對應點。
可基於所述多個對應點對第一輸入圖像及第二輸入圖像中的至少一者實行影像處理(步驟S2200)。舉例來說，影像處理可包括例如攝像機運動、雜訊降低、視頻數位圖像穩定化(Video Digital Image Stabilization，VDIS)、高動態範圍(High Dynamic Range，HDR)等各種功能。另外，影像處理可進一步包括例如運 動檢測、圖像配准、視頻跟蹤、圖像嵌拼(image mosaicing)、全景拼接(panoramic stitching)、三維(3D)建模、物件識別等各種功能。
圖18示出根據示例性實施例的影像處理裝置。參照圖18，影像處理裝置300可包括圖像匹配裝置200及處理單元310。
圖像匹配裝置200可接收指示第一輸入圖像的第一圖像訊號IS1及指示第二輸入圖像的第二圖像訊號IS2，可設定第一輸入圖像與第二輸入圖像之間的多個對應點，且可輸出指示所述多個對應點的對應點訊號CP。圖18中的圖像匹配裝置200可對應於圖14中的圖像匹配裝置200。
處理單元310可接收第一圖像訊號IS1、第二圖像訊號IS2及對應點訊號CP，可對第一輸入圖像及第二輸入圖像中的至少一者實行影像處理，且可輸出指示影像處理結果的輸出圖像訊號OIS。
在一些示例性實施例中，可以硬體來實作處理單元310的至少一部分。在其他示例性實施例中，可以軟體(例如，指令代碼或程式常式)來實作處理單元310的至少一部分。
如所屬領域中的技術人員應瞭解，本發明可實施為一種系統、方法、電腦程式產品及/或實施在上面實施有電腦可讀程式碼的一個或多個電腦可讀媒體中的電腦程式產品。所述電腦可讀程式碼可被提供到通用電腦的、專用電腦的或其他可程式設計資料處理設備的處理器。所述電腦可讀媒體可為電腦可讀訊號媒體或電腦可讀儲存媒體。所述電腦可讀儲存媒體可為可包含或儲存供指令執行系統、設備或裝置使用或結合所述指令執行系統、設 備或裝置使用的程式的任何有形媒體。舉例來說，所述電腦可讀媒體可為非暫時性電腦可讀媒體。
圖19示出根據示例性實施例的電子系統。參照圖19，電子系統1000可包括處理器1010、連線性(connectivity)1020、記憶體裝置1030、使用者介面1040、圖像攝取裝置1050及影像處理裝置1060。此外，電子系統1000可包括電源。
處理器1010可實行各種計算功能，例如，特定計算及任務。連線性1020可與外部裝置進行通訊。記憶體裝置1030可用作由處理器1010處理的資料的資料儲存、或者用作工作記憶體。使用者介面1040可包括至少一個輸入裝置(例如，小鍵盤、按鈕、麥克風、觸控式螢幕等)及/或至少一個輸出裝置(例如，揚聲器或顯示裝置等)。所述電源可向電子系統1000提供電力。
圖像攝取裝置1050及影像處理裝置1060可由處理器1010控制。圖像攝取裝置1050可將輸入圖像提供到影像處理裝置1060。舉例來說，圖像攝取裝置1050可包括互補金屬氧化物半導體(complementary metal oxide semiconductor，CMOS)圖像感測器、電荷耦合裝置(charged coupled device，CCD)圖像感測器等。影像處理裝置1060可為圖18中的影像處理裝置300，且可根據參照圖1至圖18所述的示例性實施例而運行。
作為總結與回顧，當為了進行圖像匹配及描述符產生而以相同的圖像尺度實行關鍵點估計時，可引發雜訊。
在根據示例性實施例的從圖像提取特徵的方法、將圖像匹配的方法及處理圖像的方法中，可基於輸入圖像來估計多個關鍵點，且可基於經縮小圖像來產生多個描述符。可通過使用原圖 像來估計關鍵點而維持關鍵點的位置準確度，且可通過使用其中鄰近的畫素之間的強度差相對大的經縮小圖像來產生描述符而獲得對於雜訊為穩健的且具有改善的奇異性的描述符。另外，當使用具有改善的奇異性的所述多個描述符來獲得多個對應點時，兩個輸入圖像之間的對應點估計準確度(例如，兩個輸入圖像的匹配準確度)可改善。
具體來說，可提供在相對暗環境中捕獲的低照度圖像(例如，夜間照片)及/或其中對象運動為大幅的模糊圖像作為輸入圖像。在此種情形中，當基於低照度圖像或模糊圖像的經縮小圖像而非其原圖像來獲得描述符時，在經縮小圖像中獲得的描述符可具有比在原圖像中獲得的描述符改善的特異性或奇異性。
各示例性實施例可應用於包括影像處理裝置的各種電子裝置及電子系統。舉例來說，各示例性實施例可應用於例如以下等系統：行動電話、智慧型電話、平板電腦、膝上型電腦、個人數位助理(personal digital assistant，PDA)、可攜式多媒體播放機(portable multimedia player，PMP)、數位攝像機、可攜式遊戲機、音樂播放機、攝錄影機、視頻播放機、導航裝置、可佩戴裝置、物聯網(internet of things，IoT)裝置、萬物互聯(internet of everything，IoE)裝置、電子書閱讀器、虛擬實境(virtual reality，VR)裝置、擴增實境(augmented reality，AR)裝置、機器人裝置等。另外，各示例性實施例可應用於需要影像處理的各種裝置及系統，例如汽車攝像機、醫療攝像機等。
本文中已公開了示例性實施例，且雖然採用了具體用語，然而所述用語應僅以一般性及說明性意義而非出於限制目的 來加以使用及解釋。在一些情況中，如所屬領域中的普通技術人員從本申請提交時起即明瞭，除非另有具體指示，否則結合特定實施例所述的特徵、特性、及/或元件可單獨使用，或者可與結合其他實施例所述的特徵、特性、及/或元件組合使用。因此，所屬領域中的技術人員應理解，在不背離以上權利要求書中所述的本發明的精神及範圍的條件下，可在形式及細節上作出各種改變。
S200、S400、S600:步驟

Claims (7)

  1. 一種從圖像提取特徵的方法，所述方法包括：由關鍵點估計器基於1通道圖像來估計多個初始關鍵點；由描述符產生器通過縮放因數縮小所述1通道圖像，以產生經縮小的1通道圖像；由所述描述符產生器使用所述縮放因數自所述多個初始關鍵點產生多個經縮小關鍵點；由所述描述符產生器基於所述多個經縮小關鍵點來產生所述經縮小的1通道圖像的多個描述符；以及由特徵點產生器通過分別將所述多個初始關鍵點與所述多個描述符匹配來獲得多個特徵點，其中：所述1通道圖像自原始圖像產生，所述原始圖像具有以作為2*2矩陣的4個像素為群組進行排列的X個顏色通道，所述4個像素對應於兩種或多種顏色，其中X是大於或等於2的自然數，通過將所述2*2矩陣的所述4個像素的值相加後再除以4來產生所述1通道圖像，並且基於所產生的所述1通道圖像估計所述多個初始關鍵點。
  2. 如申請專利範圍第1項所述的方法，其中產生所述多個描述符包括：由所述描述符產生器基於所述經縮小的1通道圖像中與所述多個經縮小關鍵點鄰近的多個相鄰點來為所述經縮小的1通道圖像計算所述多個描述符。
  3. 如申請專利範圍第2項所述的方法，其中當所述1通道圖像被轉換成所述經縮小的1通道圖像時，鄰近的畫素之間的強度差增大。
  4. 一種將圖像匹配的方法，所述方法包括：由特徵提取裝置基於第一輸入圖像來檢測多個第一特徵點；由所述特徵提取裝置基於第二輸入圖像來檢測多個第二特徵點；以及由對應點產生器基於所述多個第一特徵點及所述多個第二特徵點來獲得所述第一輸入圖像與所述第二輸入圖像之間的多個對應點，其中檢測所述多個第一特徵點包括：由所述特徵提取裝置的關鍵點估計器基於作為所述第一輸入圖像的第一1通道圖像來估計多個第一初始關鍵點；由所述特徵提取裝置的描述符產生器通過縮放因數縮小所述第一1通道圖像，以產生經縮小的第一1通道圖像；由所述描述符產生器使用所述縮放因數自所述多個第一初始關鍵點產生多個第一經縮小關鍵點；由所述描述符產生器基於所述多個第一經縮小關鍵點來產生所述經縮小的第一1通道圖像的多個第一描述符；以及由所述特徵提取裝置的特徵點產生器通過分別將所述多個第一初始關鍵點與所述多個第一描述符匹配來獲得所述多個第一特徵點，其中： 所述第一1通道圖像自第一原始圖像產生，所述第一原始圖像具有以作為2*2矩陣的4個像素為群組進行排列的X個顏色通道，所述4個像素對應於兩種或多種顏色，其中X是大於或等於2的自然數，通過將所述2*2矩陣的所述4個像素的值相加後再除以4來產生所述第一1通道圖像，並且基於所產生的所述第一1通道圖像估計所述多個第一初始關鍵點。
  5. 如申請專利範圍第4項所述的方法，其中檢測所述多個第二特徵點包括：由所述關鍵點估計器基於作為所述第二輸入圖像的第二1通道圖像來估計多個第二初始關鍵點；由所述描述符產生器通過所述縮放因數縮小所述第二1通道圖像，以產生經縮小的第二1通道圖像；由所述描述符產生器使用所述縮放因數自所述多個第二初始關鍵點產生多個第二經縮小關鍵點；由所述描述符產生器基於所述多個第二經縮小關鍵點來產生所述經縮小的第二1通道圖像的多個第二描述符；以及由所述特徵點產生器通過分別將所述多個第二初始關鍵點與所述多個第二描述符匹配來獲得所述多個第二特徵點。
  6. 如申請專利範圍第5項所述的方法，其中獲得所述多個對應點包括：選擇所述多個第一特徵點中的所述多個第一描述符中的一者； 通過比較所選的第一描述符與所述多個第二特徵點中的所述多個第二描述符之間的相似度來選擇所述多個第二描述符中的一者，所選的第二描述符與所選的所述第一描述符具有最高相似度；以及選擇所述多個第一初始關鍵點中的與所述多個第一特徵點中所選的所述第一描述符對應的一者及所述多個第二初始關鍵點中的與所述多個第二特徵點中所選的所述第二描述符對應的一者設定成所述多個對應點中的一者。
  7. 一種處理圖像的方法，所述方法包括：由圖像匹配裝置設定第一輸入圖像與第二輸入圖像之間的多個對應點；以及由處理單元基於所述多個對應點來對所述第一輸入圖像及所述第二輸入圖像中的至少一者實行影像處理，其中設定所述多個對應點包括：由所述圖像匹配裝置的特徵提取裝置基於所述第一輸入圖像來檢測多個第一特徵點；由所述特徵提取裝置基於所述第二輸入圖像來檢測多個第二特徵點；以及由所述圖像匹配裝置的對應點產生器基於所述多個第一特徵點及所述多個第二特徵點來獲得所述多個對應點，其中檢測所述多個第一特徵點包括：由所述特徵提取裝置的關鍵點估計器基於作為所述第一輸入圖像的第一1通道圖像來估計多個第一初始關鍵點；由所述特徵提取裝置的描述符產生器通過縮放因數縮小 所述第一1通道圖像，以產生經縮小的第一1通道圖像；由所述描述符產生器使用所述縮放因數根據所述多個第一初始關鍵點計算多個第一經縮小關鍵點；由所述描述符產生器基於所述多個第一經縮小關鍵點來產生所述經縮小的第一1通道圖像的多個第一描述符；以及由所述特徵提取裝置的特徵點產生器通過分別將所述多個第一初始關鍵點與所述多個第一描述符匹配來獲得所述多個第一特徵點，其中：所述第一1通道圖像自第一原始圖像產生，所述第一原始圖像具有以作為2*2矩陣的4個像素為群組進行排列的X個顏色通道，所述4個像素對應於兩種或多種顏色，其中X是大於或等於2的自然數，通過將所述2*2矩陣的所述4個像素的值相加後再除以4來產生所述第一1通道圖像，並且基於所產生的所述第一1通道圖像估計所述多個第一初始關鍵點。
TW108123229A 2018-10-18 2019-07-02 提取特徵之方法、圖像匹配之方法以及處理圖像之方法 TWI798459B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0124329 2018-10-18
KR1020180124329A KR102528453B1 (ko) 2018-10-18 2018-10-18 영상 내의 특징 추출 방법, 이를 이용하는 영상 매칭 방법 및 영상 처리 방법

Publications (2)

Publication Number Publication Date
TW202016793A TW202016793A (zh) 2020-05-01
TWI798459B true TWI798459B (zh) 2023-04-11

Family

ID=70279578

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108123229A TWI798459B (zh) 2018-10-18 2019-07-02 提取特徵之方法、圖像匹配之方法以及處理圖像之方法

Country Status (4)

Country Link
US (1) US11295159B2 (zh)
KR (1) KR102528453B1 (zh)
CN (1) CN111079770A (zh)
TW (1) TWI798459B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11189000B2 (en) * 2019-06-24 2021-11-30 Intel Corporation Architecture to generate binary descriptor for image feature point
CN113743418B (zh) * 2020-05-28 2024-04-26 中科寒武纪科技股份有限公司 图像中特征点的描述子的生成方法、装置和存储介质
CN113537392B (zh) * 2021-08-06 2023-10-03 数贸科技（北京）有限公司 相似图像的识别方法、装置、计算设备及计算机存储介质
CN114119686A (zh) * 2021-11-24 2022-03-01 刘文平 空间布局相似计算的多源遥感影像配准方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI459821B (zh) * 2007-12-31 2014-11-01 Altek Corp Identification device of image feature pixel and its identification method
US20150036938A1 (en) * 2013-08-02 2015-02-05 Postech Academy - Industry Foundation Method for recognizing object using covariance descriptor and apparatus thereof
US20150294189A1 (en) * 2012-07-23 2015-10-15 Selim BenHimane Method of providing image feature descriptors
CN105354248A (zh) * 2015-10-19 2016-02-24 南通大学 基于灰度的分布式图像底层特征识别方法及系统
CN107239780A (zh) * 2017-04-29 2017-10-10 安徽慧视金瞳科技有限公司 一种多特征融合的图像匹配方法
US20170364768A1 (en) * 2015-09-02 2017-12-21 Apple Inc. Detecting keypoints in image data
US20180107894A1 (en) * 2014-05-06 2018-04-19 Nant Holdings Ip, Llc Image-based feature detection using edge vectors

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776134B1 (ko) * 2005-12-23 2007-11-15 매그나칩 반도체 유한회사 이미지 센서 및 이미지 밝기 분포 조절방법
US7945576B2 (en) 2007-05-29 2011-05-17 Microsoft Corporation Location recognition using informative feature vocabulary trees
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8363973B2 (en) 2008-10-01 2013-01-29 Fuji Xerox Co., Ltd. Descriptor for image corresponding point matching
US8712109B2 (en) 2009-05-08 2014-04-29 Microsoft Corporation Pose-variant face recognition using multiscale local descriptors
US20120082372A1 (en) 2010-10-01 2012-04-05 Siemens Corporation Automatic document image extraction and comparison
US20120182442A1 (en) * 2011-01-14 2012-07-19 Graham Kirsch Hardware generation of image descriptors
KR101913336B1 (ko) * 2011-10-06 2018-10-31 삼성전자주식회사 이동 장치 및 그 제어 방법
WO2013073273A1 (ja) * 2011-11-18 2013-05-23 日本電気株式会社 局所特徴量抽出装置、局所特徴量抽出方法、及びプログラム
EP2801055B1 (en) 2012-01-02 2016-04-20 Telecom Italia S.p.A. Method and system for image analysis
KR101912748B1 (ko) 2012-02-28 2018-10-30 한국전자통신연구원 확장성을 고려한 특징 기술자 생성 및 특징 기술자를 이용한 정합 장치 및 방법
KR101454692B1 (ko) 2013-11-20 2014-10-27 한국과학기술원 객체 추적장치 및 그 방법
KR102209008B1 (ko) * 2014-02-17 2021-01-28 삼성전자주식회사 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
KR101581112B1 (ko) 2014-03-26 2015-12-30 포항공과대학교 산학협력단 계층적 패턴 구조에 기반한 기술자 생성 방법 및 이를 이용한 객체 인식 방법과 장치
US9524432B1 (en) 2014-06-24 2016-12-20 A9.Com, Inc. Fast interest point extraction for augmented reality
KR102251960B1 (ko) 2015-01-15 2021-05-14 삼성전자주식회사 이미지 분석 방법과 이를 수행하는 전자 장치 및 서버
JP6393230B2 (ja) 2015-04-20 2018-09-19 株式会社日立製作所 オブジェクト検出方法及び画像検索システム
KR101752742B1 (ko) * 2015-12-29 2017-06-30 서울대학교산학협력단 가우시안 스케일 공간 생성 단순화를 기반으로 한 특징점 추출 방법 및 장치
KR102696652B1 (ko) * 2017-01-26 2024-08-21 삼성전자주식회사 스테레오 매칭 방법 및 영상 처리 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI459821B (zh) * 2007-12-31 2014-11-01 Altek Corp Identification device of image feature pixel and its identification method
US20150294189A1 (en) * 2012-07-23 2015-10-15 Selim BenHimane Method of providing image feature descriptors
US20170236033A1 (en) * 2012-07-23 2017-08-17 Apple Inc. Method of providing image feature descriptors
US20150036938A1 (en) * 2013-08-02 2015-02-05 Postech Academy - Industry Foundation Method for recognizing object using covariance descriptor and apparatus thereof
US20180107894A1 (en) * 2014-05-06 2018-04-19 Nant Holdings Ip, Llc Image-based feature detection using edge vectors
US20170364768A1 (en) * 2015-09-02 2017-12-21 Apple Inc. Detecting keypoints in image data
CN105354248A (zh) * 2015-10-19 2016-02-24 南通大学 基于灰度的分布式图像底层特征识别方法及系统
CN107239780A (zh) * 2017-04-29 2017-10-10 安徽慧视金瞳科技有限公司 一种多特征融合的图像匹配方法

Also Published As

Publication number Publication date
US11295159B2 (en) 2022-04-05
US20200125884A1 (en) 2020-04-23
CN111079770A (zh) 2020-04-28
KR102528453B1 (ko) 2023-05-02
KR20200043680A (ko) 2020-04-28
TW202016793A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
TWI798459B (zh) 提取特徵之方法、圖像匹配之方法以及處理圖像之方法
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
CN111435438A (zh) 适于增强现实、虚拟现实和机器人的图形基准标记识别
US9256324B2 (en) Interactive operation method of electronic apparatus
KR20170047167A (ko) 전자 장치가 동영상의 얼굴의 인상을 변형하는 방법 및 그 전자 장치
JP7499280B2 (ja) 人物の単眼深度推定のための方法およびシステム
EP3886044B1 (en) Robust surface registration based on parameterized perspective of image templates
CN112771572B (zh) 基于用户指定的初始化点的对象跟踪
Mohatta et al. Robust hand gestural interaction for smartphone based AR/VR applications
CN106548117B (zh) 一种人脸图像处理方法和装置
Sharma et al. Air-swipe gesture recognition using OpenCV in Android devices
WO2020155984A1 (zh) 人脸表情图像处理方法、装置和电子设备
US20230097869A1 (en) Method and apparatus for enhancing texture details of images
CN113627328B (zh) 电子设备及其图像识别方法、片上系统和介质
US9117110B2 (en) Face detection-processing circuit and image pickup device including the same
Akman et al. Multi-cue hand detection and tracking for a head-mounted augmented reality system
Xu et al. A real-time hand detection system during hand over face occlusion
US20230016350A1 (en) Configurable keypoint descriptor generation
JP2020177619A (ja) 赤外線カメラによる対話型画像処理システム
US11810266B2 (en) Pattern radius adjustment for keypoint descriptor generation
Chang et al. A low-complexity image stitching algorithm suitable for embedded systems
CN115362481A (zh) 运动模糊鲁棒图像特征描述符
CN112150351A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
TWI696981B (zh) 使用紅外線攝影機的互動影像處理系統
TWI696149B (zh) 使用深度引擎的互動影像處理方法、裝置及媒體