TWI695324B - 影像處理裝置及其方法 - Google Patents

影像處理裝置及其方法 Download PDF

Info

Publication number
TWI695324B
TWI695324B TW107105608A TW107105608A TWI695324B TW I695324 B TWI695324 B TW I695324B TW 107105608 A TW107105608 A TW 107105608A TW 107105608 A TW107105608 A TW 107105608A TW I695324 B TWI695324 B TW I695324B
Authority
TW
Taiwan
Prior art keywords
image
key points
representative
analyzed
image processing
Prior art date
Application number
TW107105608A
Other languages
English (en)
Other versions
TW201832133A (zh
Inventor
范姜淑貞
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201832133A publication Critical patent/TW201832133A/zh
Application granted granted Critical
Publication of TWI695324B publication Critical patent/TWI695324B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

一種影像處理裝置及其方法。影像處理裝置儲存至少一參考影像，且執行以下運作：(a)接收一影像，(b)決定該影像之複數個代表關鍵點，例如：以密度限制方式決定，(c)依據該等代表關鍵點，於該影像中找出與一第一參考影像對應之一匹配區域，(d)判斷該等代表關鍵點與該第一參考影像之複數個參考關鍵點間之一匹配數目小於一門檻值，以及(e)將該影像之該匹配區域儲存於該影像處理裝置以作為一第二參考影像。

Description

影像處理裝置及其方法
本發明係關於一種影像處理裝置及其方法。具體而言，本發明係關於一種關鍵點(keypoints)擷取及應用之影像處理裝置及其方法。
隨著科技的快速發展，各種影像處理技術已廣泛地應用於許多領域，例如：擴增實境(Augmented Reality；AR)及安全監控。許多應用需要影像比對技術來辨識或/及追蹤影像中之目標物件，而某些應用甚至還會基於辨識出/追蹤到之目標物件計算出其他資訊。以某些擴增實境之應用為例，針對攝影機所擷取之一影像，需將之與目標物件之參考影像比對，再依據該影像中比對到之匹配區域(matched area)來計算攝影機之位置及角度。
為辨識或/及追蹤一目標物件，傳統的影像比對技術事先儲存該目標物件之一或多張參考影像，再將一待分析影像與該(等)參考影像比對以判斷該待分析影像內是否具有該目標物件。許多傳統的影像比對技術係利用該待分析影像中各畫素之特徵值(例如：梯度值)找出待分析影像之關鍵點(keypoints)，再以所找出之關鍵點與參考影像中之關鍵點進行特徵比對，藉此判斷該待分析影像是否具有該目標物件。
傳統的影像比對技術有二個明顯的缺點，其一與關鍵點之選 擇方式相關。如前所述，傳統的影像比對技術係選取該待分析影像中特徵值較強之畫素作為關鍵點。當一待分析影像中包含特徵值不明顯之目標物件及特徵值明顯之其他物件(例如：黑白相間之棋盤)時，傳統的影像比對技術所找出之關鍵點便會過於集中於非目標物件所在之區域，導致無法成功地辨識出或/及追蹤到該目標物件。
傳統的影像比對技術之另一個缺點與其所儲存之目標物件之參考影像相關。許多應用需要持續地採用影像比對技術來辨識或/及追蹤多張待分析影像中之目標物件。隨著時間之流逝，影像比對之環境/條件可能產生改變，例如：外在環境可能改變(例如：亮度改變)、攝影機拍攝之角度可能改變、攝影機所拍攝之目標物件之材質可能產生改變(例如：紙張產生摺痕)。傳統的影像比對技術不會更新其所儲存之目標物件之參考影像，因此，當影像比對之環境/條件改變時，待分析影像中之目標物件與參考影像可能已具有明顯差異，導致無法成功地辨識出或/及追蹤到該目標物件。
有鑑於此，如何選擇適當之關鍵點及更新目標物件之參考影像以達到較準確之影像比對結果，乃業界亟需努力之目標。
為解先前技術一節所述之傳統影像比對技術之問題，本發明提供了影像處理裝置及方法。
本發明所提供之一影像處理裝置包含一收發介面及一處理器，其中該處理器電性連接至該收發介面。該收發介面接收一影像。該處理器決定該影像之複數個初始關鍵點(Keypoints)，將該影像區分為複數 個區域，根據一門檻數量及各該初始關鍵點之一強度值決定該等初始關鍵點之至少一部份為該影像之複數個代表關鍵點，其中各該區域所具有之該等代表關鍵點之一數量不超過該門檻數量。
本發明所提供之另一影像處理裝置包含一收發介面、一儲存器及一處理器，其中該處理器電性連接至該收發介面及該儲存器。該收發介面接收一影像，且該儲存器至少儲存一參考影像。該處理器執行以下運作：(a)決定該影像之複數個代表關鍵點，(b)依據該等代表關鍵點，於該影像中找出與該儲存器所儲存之一第一參考影像對應之一匹配區域，(c)判斷該等代表關鍵點與該第一參考影像之複數個參考關鍵點間之一匹配數目小於一門檻值，以及(d)將該影像之該匹配區域儲存於該儲存器作為一第二參考影像。
本發明所提供之一影像處理方法適用於一電子裝置。該影像處理方法包含下列步驟：(a)接收一影像，(b)決定該影像之複數個初始關鍵點，(c)將該影像區分為複數個區域，以及(d)根據一門檻數量及各該初始關鍵點之一強度值決定該等初始關鍵點之至少一部份為該影像之複數個代表關鍵點，其中各該區域所具有之該等代表關鍵點之一數量不超過該門檻數量。
本發明所提供之另一影像處理方法適用於一電子裝置。該電子裝置至少儲存一參考影像。該影像處理方法包含下列步驟：(a)決定一影像之複數個代表關鍵點，(b)依據該等代表關鍵點，於該影像中找出與該第一參考影像對應之一匹配區域，(c)判斷該等代表關鍵點與一第一參考影像之複數個參考關鍵點間之一匹配數目小於一門檻值，以及(d)將該影像之該 匹配區域儲存於該電子裝置以作為一第二參考影像。
由上述說明可知，本發明所提供之影像處理技術(至少包含影像處理裝置及方法)以密度限制之方式決定一影像之代表關鍵點。簡言之，本發明之影像處理技術將一影像區分為複數個區域，且限制各區域之代表關鍵點之數量，使得影像之代表關鍵點能較為平均地分散於影像上。因此，即使一影像中具有特徵值較明顯(例如：亮度對比較明顯)之特定物件，本發明所決定之代表關鍵點不會集中於該特定物件。因此，即使所欲辨識或/及追蹤之目標物件之特徵值較不明顯，本發明仍能找出適當/適量的代表關鍵點進行比對，故能提升辨識/追蹤目標物件之成功率。
此外，本發明所提供之影像處理技術更可利用該等代表關鍵點進行影像比對，以辨識/追蹤目標物件。本發明利用先前所儲存之參考影像與該等代表關鍵點比對，再依據比對結果適時地更新所儲存之參考影像。因此，影像處理技術在辨識/追蹤目標物件時所比對之參考影像更接近於目前處理中之影像之環境狀態，因而能提高在影像中辨識出/追蹤到目標物件之機率。
以下結合圖式闡述本發明之詳細技術及較佳實施方式，俾使本發明所屬技術領域中具有通常知識者能理解所請求保護之發明之特徵。
1‧‧‧影像處理裝置
11‧‧‧收發介面
13‧‧‧處理器
100、101‧‧‧影像
3‧‧‧影像處理裝置
31‧‧‧儲存器
311‧‧‧參考影像佇列
302、304、306、308‧‧‧參考影像
S401~S407‧‧‧步驟
S501~S507‧‧‧步驟
第1圖描繪第一實施方式之影像處理裝置1之架構示意圖； 第2圖描繪將影像區分為複數個區域之示意圖； 第3圖描繪第二實施方式之影像處理裝置3之架構示意圖； 第4圖係描繪第三實施方式之影像處理方法之流程圖；以及 第5圖係描繪第四實施方式之影像處理方法之流程圖。
以下將透過實施方式來解釋本發明所提供之影像處理裝置及方法。然而，該等實施方式並非用以限制本發明需在如該等實施方式所述之任何環境、應用或方式方能實施。因此，關於實施方式之說明僅為闡釋本發明之目的，而非用以限制本發明之範圍。應理解，在以下實施方式及圖式中，與本發明非直接相關之元件已省略而未繪示，且各元件之尺寸以及元件間之尺寸比例僅為例示而已，而非用以限制本發明之範圍。
本發明之第一實施方式為一影像處理裝置1，其架構示意圖係描繪於第1圖。影像處理裝置1包含收發介面11及處理器13，其中處理器13電性連接至收發介面11。收發介面11可為各種能接收訊號及資料之有線或無線介面，且處理器13可為各種處理單元、中央處理單元(central processing unit；CPU)、微處理器(Microprocessor)、微控制器(Microcontroller Unit；MCU)或本發明所屬技術領域中具有通常知識者所知悉之其他計算裝置其中之任一者。影像處理裝置1可應用於不同領域，例如：擴增實境(Augmented Reality；AR)及安全監控，但不以此為限。
於本實施方式中，影像處理裝置1採用密度限制(Density restriction)之方式決定一影像之複數個代表關鍵點(Keypoints)。使用者可事先決定或在影像處理裝置1運作過程中決定欲從一影像中找出之代表關鍵點之數量，該數量稱之為一代表關鍵點數量。
茲假設收發介面11接收了影像101。接著，處理器13計算影像101上各畫素之強度值，且將強度值大於一門檻強度之畫素作為影像101 之複數個初始關鍵點。舉例而言，處理器101可採用各畫素之亮度梯度值(Gradient)之絕對值作為強度值，但不限於此。本發明所屬技術領域中具有通常知識者應可理解其他能區分畫素之特徵強弱之數值亦可作為強度值，茲不贅言。
處理器13將影像101區分為複數個區域，其中該等區域彼此不重疊。須說明者，本發明未限制該等區域之數量及該等區域之形狀。處理器13會從影像101之該等初始關鍵點決定出複數個代表關鍵點。在決定該等代表關鍵點之過程，處理器13會參考一門檻數量，該門檻數量為影像101中各區域所能具有之代表關鍵點之上限。於本實施方式中，處理器13根據影像101被區分之區域數量與該代表關鍵點數量決定該門檻數量(例如：將該代表關鍵點數量除以該區域數量作為該門檻數量)。於某些實施方式中，該門檻數量可由使用者事先設定。接著，處理器13根據該門檻數量及各該初始關鍵點之強度值，決定各區域之代表關鍵點，其中各該區域所具有之該等代表關鍵點之一數量不超過該門檻數量。
為便於理解，茲以一具體範例詳述處理器13可如何決定影像101之該等代表關鍵點，但該具體範例並非用以限制本發明之範圍。於該具體範例中，代表關鍵點數量為500，且處理器13將影像101區分為25個區域如第2圖所示。處理器101所決定之各該初始關鍵點落於該等區域其中之一。處理器13根據代表關鍵點數量(亦即，500)與影像101被區分之區域之數量(亦即，25)計算出門檻數量(例如：20)。處理器13根據落於各區域中之初始關鍵點之強度值決定各區域之代表關鍵點，例如：選取各區域中強度值排名前20之初始關鍵點作為代表關鍵點。須說明者，當某一或某 些區域中之初始關鍵點之數目小於門檻數量時，處理器13所決定出來之代表關鍵點之實際數量將會少於代表關鍵點數量。
於某些實施方式中，處理器13可採用另一種方式從影像101之該等初始關鍵點決定出複數個代表關鍵點。具體而言，處理器13依據一處理順序選取該等初始關鍵點(尚未被選取/分析過的)其中之一作為一待分析關鍵點，再判斷該待分析關鍵點是否能作為一代表關鍵點。於某些實施方式中，處理器13由該等強度值之最大者至該等強度值之最小者排序該等初始關鍵點以作為該處理順序。針對每次所選取之該待分析關鍵點，處理器13判斷該待分析關鍵點所屬之該區域之一區域累積數量是否小於該門檻數量，該區域累積數量代表該區域中已決定之代表關鍵點之數量。若該區域累積數量小於該門檻數量，處理器13指定該待分析關鍵點作為一代表關鍵點，且會將該區域累積數量及一全域累積數量(為影像101中已決定之代表關鍵點之數量)個別地加一。若該區域累積數量達到該門檻數量，處理器13便捨棄該待分析關鍵點(亦即，不選取該待分析關鍵點作為一代表關鍵點)。處理器13會重複前述運作，直到該全域累積數量達到該代表關鍵點數量或所有的初始關鍵點皆被分析完畢。須說明者，本發明未限制處理器13記錄各該區域之區域累積數量之方式。舉例而言，處理器13可利用一表格或其他方式記錄該等區域累積數量。
由上述說明可知，影像處理裝置1將待分析之一影像區分為複數個區域，且限制各區域所能具有之代表關鍵點之數量(亦即，密度限制)。因此，影像處理裝置1為一影像所決定之代表關鍵點會分散在該影像之不同區域。藉由前述之密度限制，即使一影像中具有特徵值較明顯(例 如：亮度對比較明顯)之特定物件，影像處理裝置1所決定之代表關鍵點不會集中於該特定物件。因此，本發明能解決傳統技術無法針對影像中特徵值不明顯之目標物件(欲辨識/追蹤之對象)找出適量之關鍵點的問題，因而能使影像比對技術提升辨識/追蹤目標物件之成功率。
本發明之第二實施方式為一種影像處理裝置3，其架構示意圖係描繪於第3圖。影像處理裝置3包含前述實施方式中所述之收發介面11及處理器13，且更包含一儲存器31。儲存器31可為一記憶體、一通用串列匯流排(Universal Serial Bus；USB)碟、一硬碟、一光碟(Compact Disk；CD)、一隨身碟或本發明所屬技術領域中具有通常知識者所知且具有相同功能之任何其他儲存媒體或電路。須說明者，於本發明之其他實施方式中，儲存器31亦可被設置為外在於影像處理裝置3。
於本實施方式中，處理器13於儲存器31定義一參考影像佇列(Queue)311以儲存一張或複數張參考影像，其中各參考影像為一目標物件之影像。於影像處理裝置3初始運作時，參考影像佇列311僅包含一張參考影像。須說明者，於其他實施方式中，影像處理裝置3不一定要以佇列來儲存參考影像，只要能知道參考影像被儲存之順序即可。此外，於其他實施方式中，於影像處理裝置3初始運作時，儲存器31可儲存多張參考影像。
於本實施方式中，影像處理裝置3會為其所接收到之影像決定複數個代表關鍵點，利用該等代表關鍵點比對所接收到之影像與參考影像佇列311中之至少一參考影像，再根據比對之結果決定是否更新參考影像佇列311中之參考影像。
茲假設收發介面11已接收影像100，且已將影像100與參考影 像佇列311中之至少一參考影像比對過。關於本實施方式所採用之比對方式，請容後詳述。在接收過影像100後，收發介面11還接收到影像101，處理器13會決定影像101之複數個代表關鍵點。
具體而言，若處理器13先前將影像100與參考影像佇列311中之至少一參考影像比對後於影像100中找出一匹配區域(亦即，處理器13於該匹配區域中找出目標物件)，處理器13會根據影像100中之該匹配區域，決定影像101之一感興趣區域(Region Of Interest)(例如：與該匹配區域座標相同之區域)，且於該感興趣區域中找出影像101之代表關鍵點。舉例而言，處理器13可計算影像101之該感興趣區域中之各畫素之強度值(例如：亮度梯度值之絕對值)，且將強度值大於一門檻強度之畫素作為影像101之該等代表關鍵點。須說明者，於某些實施方式中，當影像100與一參考影像比對找出匹配區域時，該參考影像即可優先作為下一張影像比對時的參考影像，由於該參考影像與前次影像(亦即，影像100)中找出的該先前匹配區域對應，故優先比對該參考影像能提升下一張影像找出匹配區域之成功率。
若處理器13先前將影像100與參考影像佇列311中之所有參考影像比對後無法於影像100中找出一匹配區域(亦即，處理器13無法於影像中找出目標物件)，處理器13會採用第一實施方式所述之密度限制之方式決定影像101之複數個代表關鍵點。本發明所屬技術領域中具有通常知識者自能根據第一實施方式之敘述了解其運作細節，茲不贅言。
於決定出影像101之該等代表關鍵點後，處理器13依據該等代表關鍵點將影像101與參考影像佇列311中之至少一參考影像進行比對， 藉此判斷出影像101中是否具有目標物件。為便於理解，茲假設此時參考影像佇列311已依先後順序儲存了參考影像302、304、……、306、308。處理器13選取參考影像佇列311所儲存之參考影像其中之一(例如：最新儲存之參考影像308)，依據影像101之該等代表關鍵點與參考影像308比對，判斷是否能於影像101中找出與參考影像308對應之匹配區域(亦即，是否能於影像101中找出目標物件)。需說明者，當選取一儲存時間晚於儲存器中其它任一影像之參考影像時(例如：最新儲存之參考影像308)，由於該參考影像更接近於目前處理中之影像101之環境狀態，故優先比對該參考影像能提升影像找出匹配區域之成功率。
若處理器13依據影像101之該等代表關鍵點，無法於影像101中找出與參考影像308對應之一匹配區域，則會選擇參考影像佇列311中之另一參考影像(例如：次新之參考影像306)進行比對，依此類推。處理器13會重複執行前述運作，直到影像101與某一參考影像比對成功(亦即，於影像101中找到匹配區域)或是參考影像佇列311中已無其他未被比對過之參考影像。須說明者，本發明未限制處理器13以何種順序選取參考影像，例如：可由參考影像佇列之開頭或結尾依序選取或隨機選取。此外，如何利用影像101之代表特徵點與參考影像比對並非本發明之重點，本發明所屬技術領域中具有通常知識者自能理解處理器13如何利用代表特徵點進行影像比對，茲不贅言。
若處理器13依據影像101之該等代表關鍵點於影像101中找出與一參考影像(例如：參考影像308)對應之一匹配區域，處理器13還會判斷在影像比對過程中，影像101之該等代表關鍵點與參考影像之複數個參 考關鍵點之一匹配數目是否小於一第一門檻值。當該匹配數目小於第一門檻值時，代表所找出之該匹配區域與參考影像之相似度低於預設標準，有可能是目前擷取影像之環境與參考影像被拍攝之環境有較大的不同，例如：環境的亮度降低或是提高。因此，處理器13將影像101之該匹配區域加入儲存器31之參考影像佇列311以作為另一參考影像。須說明者，收發介面11於相鄰時間點所接收之影像，其被拍攝之環境與狀況應較為相似。因此，影像處理裝置3將本次比對成功但相似程度低於預設標準之匹配區域加入參考影像佇列311可提升之後影像比對成功的機率。
於某些實施方式中，處理器13根據一先進先出(First In First Out；FIFO)規則管理儲存器31(例如：參考影像佇列311)所儲存之參考影像。具體而言，當處理器13欲將一匹配區域加入儲存器31作為一參考影像時，會先判斷儲存器31所儲存之參考影像之一影像數量是否達到一第二門檻值時。若儲存器31所儲存之參考影像之影像數量已達第二門檻值(代表儲存器31能儲存參考影像之空間已滿)，處理器13會以先進先出之規則刪除儲存器31中最早加入之參考影像(例如：參考影像302)。
由上述說明可知，影像處理裝置3會辨識所接收到之影像中是否具有目標物件。簡言之，影像處理裝置3先決定影像之複數個代表關鍵點(例如：於感興趣區域中找，或以密度限制方式於整張影像中找)，再根據該等代表關鍵點與參考影像佇列之至少一參考影像進行比對。當比對成功(亦即，影像中有一匹配區域對應至某一參考影像)但是相似度低於預設標準(亦即，該等代表關鍵點與參考影像之複數個參考關鍵點間之一匹配數目小於第一門檻值)時，影像處理裝置會儲存比對成功之匹配區域， 將之作為一張參考影像。藉由更新所儲存之參考影像，影像處理裝置3在進行影像比對時所使用之參考影像與目前所接受到之影像被拍攝之環境狀態較為接近，因而影像處理裝置3能更為精確地在影像中辨識出目標物件。此外，當影像處理裝置3所處理的前一張影像找不出匹配區域時，影像處理裝置3會以密度限制之方式決定目前影像中之代表特徵點。透過此種方式，亦可解決傳統技術無法針對影像中特徵值不明顯之目標物件找出適量之關鍵點的問題，進而精確地在影像中辨識出目標物件。
須說明者，第二實施方式之影像處理裝置3適用於多種應用領域。舉例而言，若將影像處理裝置3應用於擴增實境(Augmented Reality；AR)，影像處理裝置3可針對所接收到之各張影像進行二階段的比對。於第一階段之粗略比對，影像處理裝置3可採用前述機制將一影像與參考影像比對，並適時地更新儲存器31所儲存之31參考影像。若影像處理裝置3在第一階段於該影像中找出一匹配區域，則進入第二階段之細緻比對。於第二階段，影像處理裝置3將該影像之該匹配區域進行透視轉換(Perspective transform)，藉此，該匹配區域中之物件會被轉正(例如：由梯形轉變為矩形)。之後，影像處理裝置3再將經透視轉換後之匹配區域與目標物件之一張正的參考影像比對，以在匹配區域中找出目標物件及其座標。之後，影像處理裝置3便可利用前述座標估計相機所在之位置及角度。由於影像處理裝置3在某些狀況下係以密度限制方式決定關鍵點，且會適時地(例如：環境變化較動態時)更新其所儲存之參考影像，因此能提高比對成功之機率，進而計算出更為精準的相機所在位置及角度。
本發明之第三實施方式為一種影像處理方法，其流程圖係描 繪於第4圖。該影像處理方法適用於一電子裝置，例如第一實施方式所述之影像處理裝置1。
首先，該電子裝置執行步驟S401以接收一影像。接著，執行步驟S403，由該電子裝置決定該影像之複數個初始關鍵點。舉例而言，步驟S403可計算該影像上各畫素之強度值(例如：亮度梯度值之絕對值)，再將強度值大於一門檻強度之畫素作為該影像之初始關鍵點。另外，執行步驟S405，由該電子裝置將該影像區分為複數個區域。須說明者，本發明未限制步驟S403及步驟S405之執行順序；換言之，步驟S405可早於步驟S403執行，或該二步驟可同時執行。接著，執行步驟S407，由該電子裝置根據一門檻數量及各該初始關鍵點之強度值決定該等初始關鍵點之至少一部份為該影像之複數個代表關鍵點，其中各該區域所具有之該等代表關鍵點之一數量不超過該門檻數量。
於某些實施方式中，步驟S407係依據一處理順序選取該等初始關鍵點其中之一作為一待分析關鍵點，再判斷該待分析關鍵點所屬之該區域之一區域累積數量是否小於該門檻數量。若該待分析關鍵點所屬之該區域之一區域累積數量小於該門檻數量，指定該待分析關鍵點作為該等代表關鍵點其中之一。若該待分析關鍵點所屬之該區域之一區域累積數量不小於該門檻數量，捨棄該待分析關鍵點(亦即，不選取該待分析關鍵點作為代表關鍵點)。步驟S407會重複前述流程，直到所決定之代表關鍵點之一總數達到一預定數量或所有的初始關鍵點皆被分析完畢。
須說明者，關於步驟S407所採用之該處理順序，於某些實施方式中，該影像處理方法可由該等強度值之最大者至該等強度值之最小 者排序該等初始關鍵點以作為該處理順序。
除了上述步驟，第三實施方式亦能執行第一實施方式所描述之影像處理裝置1之所有運作及步驟，具有同樣之功能，且達到同樣之技術效果。本發明所屬技術領域中具有通常知識者可直接瞭解第三實施方式如何基於上述第一實施方式以執行此等運作及步驟，具有同樣之功能，並達到同樣之技術效果，故不贅述。
本發明之第四實施方式為一種影像處理方法，其流程圖係描繪於第4圖。該影像處理方法適用於一電子裝置，例如第二實施方式所述之影像處理裝置3。該電子裝置儲存至少一參考影像。
首先，該電子裝置執行步驟S501以決定一影像之複數個代表關鍵點。舉例而言，若該影像處理方法先前已處理過另一影像，且於該另一影像中找出與該電子裝置所儲存之某一參考影像對應之一匹配區域，則步驟S501會根據該匹配區域決定該影像之一感興趣區域，再於該感興趣區域決定該影像之該等代表關鍵點。若該影像處理方法未能於該另一影像找出與任一參考影像對應之匹配區域，則會以第三實施方式所述之方式決定該影像之該等代表關鍵點。
接著，執行步驟S503，由該電子裝置判斷是否能依據該等代表關鍵點，於該影像中找出與該電子裝置所儲存之某一參考影像(為便於說明，稱之為「第一參考影像」)對應之一匹配區域。若步驟S503之判斷結果為否，代表該影像之比對不成功，影像處理方法結束對該影像之處理流程。若步驟S503之判斷結果為是，代表比對成功，接著執行步驟S505，由該電子裝置判斷該等代表關鍵點與該第一參考影像之複數個參考關鍵點 間之一匹配數目是否小於一第一門檻值。若否，影像處理方法結束對該影像之處理流程。若步驟S505之判斷結果為是，則執行步驟S507，由該電子裝置將該影像之該匹配區域儲存至該電子裝置。
於某些實施方式中，影像處理方法在執行步驟在執行步驟S507前，會先執行另一步驟以判斷該電子裝置所儲存之一影像數量是否達到一第二門檻值。若判斷之結果為否，則直接執行步驟S507。若判斷之結果為是，則影像處理方法會再執行另一步驟，由該電子裝置依據一先進先出規則刪除該電子裝置中之一第三參考影像。
除了上述步驟，第四實施方式亦能執行第二實施方式所描述之影像處理裝置3之所有運作及步驟，具有同樣之功能，且達到同樣之技術效果。本發明所屬技術領域中具有通常知識者可直接瞭解第四實施方式如何基於上述第一實施方式以執行此等運作及步驟，具有同樣之功能，並達到同樣之技術效果，故不贅述。
須說明者，於本發明的前述的實施方式中，本發明所屬技術領域中具有通常知識者應可輕易了解前述實施方式中的該等步驟可藉由對應之元件所達成(例如：藉由處理器執行運算操作、藉由儲存器儲存資料及藉由收發介面傳送及接收資料等)。此外，於本發明專利說明書及申請專利範圍中，第一參考影像、第二參考影像及第三參考影像中之「第一」、「第二」及「第三」僅用來表示不同之參考影像而已。此外，第一門檻值及第二門檻值中之「第一」及「第二」僅用來表示不同之門檻值而已。
由上述說明可知，本發明所提供之影像處理技術(至少包含影像處理裝置及方法)以密度限制之方式決定一影像之代表關鍵點。簡言 之，本發明之影像處理技術將一影像區分為複數個區域，且限制各區域之代表關鍵點之數量，使得影像之代表關鍵點能較為平均地分散於影像上。因此，即使一影像中具有特徵值較明顯(例如：亮度對比較明顯)之特定物件，本發明所決定之代表關鍵點不會集中於該特定物件。因此，即使所欲辨識或/及追蹤之目標物件之特徵值較不明顯，本發明仍能找出適當/適量的代表關鍵點進行比對，故能提升辨識/追蹤目標物件之成功率。
此外，本發明所提供之影像處理技術更可利用該等代表關鍵點進行影像比對，以辨識/追蹤目標物件。本發明利用先前所儲存之參考影像與該等代表關鍵點比對，再依據比對結果適時地更新所儲存之參考影像。因此，影像處理技術在辨識/追蹤目標物件時所比對之參考影像較接近於目前處理中之影像之環境狀態，因而能提高在影像中辨識出/追蹤到目標物件之機率。
上述實施方式僅用來例舉本發明之部分實施態樣，以及闡釋本發明之技術特徵，而非用來限制本發明之保護範疇及範圍。任何本發明所屬技術領域中具有通常知識者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，而本發明之權利保護範圍以申請專利範圍為準。
S501~S507‧‧‧步驟

Claims (13)

  1. 一種影像處理裝置，包含：一收發介面，接收一影像；以及一處理器，電性連接至該收發介面，決定該影像之複數個初始關鍵點(keypoints)，將該影像區分為複數個區域，根據一門檻數量及各該初始關鍵點之一強度值決定該等初始關鍵點之至少一部份為該影像之複數個代表關鍵點，其中，各該區域所具有之該等代表關鍵點之一數量不超過該門檻數量，其中，該處理器依據一處理順序選取該等初始關鍵點其中之一作為一待分析關鍵點，判斷該待分析關鍵點所屬之該區域之一區域累積數量小於該門檻數量，以及指定該待分析關鍵點作為該等代表關鍵點其中之一。
  2. 如請求項1所述之影像處理裝置，其中該處理器更判斷該待分析關鍵點所屬之該區域之該區域累積數量達到該門檻數量，因應的捨棄該待分析關鍵點。
  3. 如請求項2所述之影像處理裝置，其中該處理器由該等強度值之最大者至該等強度值之最小者排序該等初始關鍵點以作為該處理順序。
  4. 一種影像處理裝置，包含：一收發介面，接收一影像；一儲存器，儲存至少一參考影像；以及一處理器，電性連接至該收發介面及該儲存器，且執行以下運作：(a)決定該影像之複數個代表關鍵點，(b)依據該等代表關鍵點，於該影像中找出與該儲存器所儲存之 一第一參考影像對應之一匹配區域(matched area)，(c)判斷該等代表關鍵點與該第一參考影像之複數個參考關鍵點間之一匹配數目(matched number)小於一第一門檻值，以及(d)將該影像之該匹配區域儲存於該儲存器作為一第二參考影像，其中，該處理器將該影像之該匹配區域儲存至該儲存器前，判斷該儲存器之一影像數量達到一第二門檻值，該處理器於判斷該影像數量達到該第二門檻值後依據一先進先出(First In First Out；FIFO)規則刪除該儲存器中之一第三參考影像。
  5. 如請求項4所述之影像處理裝置，其中若該處理器先前於接收一先前影像時，將該先前影像與該儲存器所儲存之一第四參考影像比對後，於該先前影像中找出一先前匹配區域，則該處理器根據該先前匹配區域，決定該影像之一感興趣區域(Region Of Interest)，其中該運作(a)係於該感興趣區域中尋找該影像之該等代表關鍵點。
  6. 如請求項5所述之影像處理裝置，其中該運作(b)包含：依據該等代表關鍵點，將該影像優先與該第四參考影像進行比對，以尋找該匹配區域。
  7. 如請求項4所述之影像處理裝置，其中該運作(b)包含：依據該等代表關鍵點，將該影像優先與該儲存器所儲存之一第五參考影像進行比對，以尋找該匹配區域，其中該第五參考影像之一儲存時間晚於該儲存器中其它任一參考影像。
  8. 如請求項4所述之影像處理裝置，其中該處理器係藉由以下運作來決定出該等代表關鍵點：(a1)決定該影像之複數個初始關鍵點，(a2)將該影像區分為複數個區域，以及(a3)根據一門檻數量及各該初始關鍵點之一強度值決定該等初始關鍵點之至少一部份為該影像之該等代表關鍵 點，其中各該區域所對應之該等代表特徵點之一數量不超過該門檻數量。
  9. 如請求項8所述之影像處理裝置，其中處理器依據一處理順序選取該等初始關鍵點其中之一作為一待分析關鍵點，判斷該待分析關鍵點所屬之該區域之一區域累積數量小於該門檻數量，以及指定該待分析關鍵點作為該等代表關鍵點其中之一。
  10. 如請求項8所述之影像處理裝置，其中該處理器依據一處理順序選取該等初始關鍵點其中之一作為一待分析關鍵點，判斷該待分析關鍵點所屬之該區域之一區域累積數量達到該門檻數量，以及捨棄該待分析關鍵點。
  11. 一種影像處理方法，適用於一電子裝置，該影像處理方法包含下列步驟：(a)接收一影像；(b)決定該影像之複數個初始關鍵點(keypoints)；(c)將該影像區分為複數個區域；以及(d)根據一門檻數量及各該初始關鍵點之一強度值決定該等初始關鍵點之至少一部份為該影像之複數個代表關鍵點；其中，各該區域所具有之該等代表關鍵點之一數量不超過該門檻數量；其中，該步驟(d)包含下列步驟：依據一處理順序選取該等初始關鍵點其中之一作為一待分析關鍵點；判斷該待分析關鍵點所屬之該區域之一區域累積數量小於該門檻數量；以及指定該待分析關鍵點作為該等代表關鍵點其中之一。
  12. 如請求項11所述之影像處理方法，其中該步驟(d)包含下列步驟：判斷該待分析關鍵點所屬之該區域之該區域累積數量達到該門檻數量；以及捨棄該待分析關鍵點。
  13. 如請求項12所述之影像處理方法，其中該步驟(d)更包含下列步驟：由該等強度值之最大者至該等強度值之最小者排序該等初始關鍵點以作為該處理順序。
TW107105608A 2017-02-15 2018-02-14 影像處理裝置及其方法 TWI695324B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762459075P 2017-02-15 2017-02-15
US62/459,075 2017-02-15

Publications (2)

Publication Number Publication Date
TW201832133A TW201832133A (zh) 2018-09-01
TWI695324B true TWI695324B (zh) 2020-06-01

Family

ID=63157087

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107105608A TWI695324B (zh) 2017-02-15 2018-02-14 影像處理裝置及其方法

Country Status (3)

Country Link
US (2) US10636139B2 (zh)
CN (1) CN108428242B (zh)
TW (1) TWI695324B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108428242B (zh) * 2017-02-15 2022-02-08 宏达国际电子股份有限公司 图像处理装置及其方法
JP7147436B2 (ja) 2018-09-28 2022-10-05 コニカミノルタ株式会社 検査装置、画像形成装置、および検査装置用プログラム
US11263780B2 (en) * 2019-01-14 2022-03-01 Sony Group Corporation Apparatus, method, and program with verification of detected position information using additional physical characteristic points
CN110838104B (zh) * 2019-10-30 2022-08-23 上海联影智能医疗科技有限公司 多时间点的感兴趣区域匹配方法、设备和存储介质
CN112767348B (zh) * 2021-01-18 2023-11-24 上海明略人工智能(集团)有限公司 一种检测信息的确定方法和装置
US11698849B2 (en) * 2021-03-15 2023-07-11 Micro Focus Llc Automated application testing of mutable interfaces

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201030633A (en) * 2008-12-02 2010-08-16 Intel Corp Image recognition algorithm, method of identifying a target image using same, and method of selecting data for transmission to a portable electronic device
CN102379701A (zh) * 2010-09-03 2012-03-21 洪西进 生物特征辨识方法
US20160048536A1 (en) * 2014-08-12 2016-02-18 Paypal, Inc. Image processing and matching
CN106203242A (zh) * 2015-05-07 2016-12-07 阿里巴巴集团控股有限公司 一种相似图像识别方法及设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8171030B2 (en) * 2007-06-18 2012-05-01 Zeitera, Llc Method and apparatus for multi-dimensional content search and video identification
JP2009053818A (ja) * 2007-08-24 2009-03-12 Toshiba Corp 画像処理装置及びその方法
KR101589711B1 (ko) * 2007-10-12 2016-01-28 도요타 모터 유럽 비디오 데이터의 처리 방법 및 시스템
JP4565015B2 (ja) * 2008-05-15 2010-10-20 シャープ株式会社 画像処理装置、画像形成装置、画像処理システム、画像処理プログラムおよびその記録媒体
US8111923B2 (en) * 2008-08-14 2012-02-07 Xerox Corporation System and method for object class localization and semantic class based image segmentation
US20120011119A1 (en) * 2010-07-08 2012-01-12 Qualcomm Incorporated Object recognition system with database pruning and querying
WO2012040099A1 (en) * 2010-09-20 2012-03-29 Qualcomm Incorporated An adaptable framework for cloud assisted augmented reality
US8774504B1 (en) * 2011-10-26 2014-07-08 Hrl Laboratories, Llc System for three-dimensional object recognition and foreground extraction
US8917910B2 (en) * 2012-01-16 2014-12-23 Xerox Corporation Image segmentation based on approximation of segmentation similarity
US9202129B2 (en) * 2013-03-12 2015-12-01 Qualcomm Incorporated Reducing object detection time by utilizing space localization of features
US9076195B2 (en) * 2013-08-29 2015-07-07 The Boeing Company Methods and apparatus to identify components from images of the components
WO2016004330A1 (en) * 2014-07-03 2016-01-07 Oim Squared Inc. Interactive content generation
CN104299260B (zh) * 2014-09-10 2017-05-17 西南交通大学 一种基于sift和lbp的点云配准的接触网三维重建方法
US20160092727A1 (en) * 2014-09-30 2016-03-31 Alcatel-Lucent Usa Inc. Tracking humans in video images
US9167129B1 (en) * 2014-12-12 2015-10-20 Xerox Corporation Method and apparatus for segmenting image into halftone and non-halftone regions
US9704245B2 (en) * 2015-08-18 2017-07-11 International Business Machines Corporation Determining localization from images of a vicinity
CN105956579A (zh) * 2016-05-27 2016-09-21 国创科视科技股份有限公司 融合模糊模板和点特征的手指静脉快速识别方法
NZ749449A (en) * 2016-06-30 2023-06-30 Magic Leap Inc Estimating pose in 3d space
CN108428242B (zh) * 2017-02-15 2022-02-08 宏达国际电子股份有限公司 图像处理装置及其方法
TWI640931B (zh) * 2017-11-23 2018-11-11 財團法人資訊工業策進會 影像目標追蹤方法及裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201030633A (en) * 2008-12-02 2010-08-16 Intel Corp Image recognition algorithm, method of identifying a target image using same, and method of selecting data for transmission to a portable electronic device
CN102379701A (zh) * 2010-09-03 2012-03-21 洪西进 生物特征辨识方法
US20160048536A1 (en) * 2014-08-12 2016-02-18 Paypal, Inc. Image processing and matching
CN106203242A (zh) * 2015-05-07 2016-12-07 阿里巴巴集团控股有限公司 一种相似图像识别方法及设备

Also Published As

Publication number Publication date
CN108428242B (zh) 2022-02-08
US20180260946A1 (en) 2018-09-13
US10636139B2 (en) 2020-04-28
CN108428242A (zh) 2018-08-21
US20200143529A1 (en) 2020-05-07
US11080845B2 (en) 2021-08-03
TW201832133A (zh) 2018-09-01

Similar Documents

Publication Publication Date Title
TWI695324B (zh) 影像處理裝置及其方法
JP2022023887A (ja) 外観検索のシステムおよび方法
US10217010B2 (en) Information processing apparatus for registration of facial features in a collation database and control method of the same
CN109740633B (zh) 一种图像相似度计算方法、装置、存储介质
WO2017107494A1 (zh) 羽毛球挥拍动作识别方法和装置
US20120148118A1 (en) Method for classifying images and apparatus for the same
US10600190B2 (en) Object detection and tracking method and system for a video
US10353954B2 (en) Information processing apparatus, method of controlling the same, and storage medium
US10528844B2 (en) Method and apparatus for distance measurement
CN109446364A (zh) 抓拍检索方法、图像处理方法、装置、设备及存储介质
CN108596079B (zh) 手势识别方法、装置及电子设备
US10762133B2 (en) Information processing apparatus, method of controlling the same, and storage medium
CN110363790B (zh) 目标追踪方法、装置和计算机可读存储介质
EP2966591A1 (en) Method and apparatus for identifying salient events by analyzing salient video segments identified by sensor information
JP6128910B2 (ja) 学習装置、学習方法及びプログラム
TW201621754A (zh) 多類別物件分類方法及系統
KR102127872B1 (ko) 영상처리 및 위치정보를 이용한 위치결정 방법 및 장치
CN111783639A (zh) 图像检测方法、装置、电子设备及可读存储介质
WO2023179133A1 (zh) 一种目标算法的选取方法、装置、电子设备及存储介质
CN109544614B (zh) 一种基于图像低频信息相似度的匹配图像对识别的方法
JP6360304B2 (ja) 認証データベース管理方法、認証データベース管理装置及び認証データベース管理プログラム
KR102581154B1 (ko) 모델 앙상블을 이용한 객체 탐지 방법 및 장치
JP2016045538A (ja) 情報処理装置、画像判定方法、及びプログラム
JP2016207106A (ja) 物体検出における誤検出低減方法および装置
WO2020003510A1 (ja) 特定方法、判定方法、特定プログラム、判定プログラムおよび情報処理装置