TW201437925A - 物體識別裝置、方法及電腦程式產品 - Google Patents

Abstract

本發明揭示一種物體辨識裝置，其可減少對成像有與輸入影像所成像之物體僅存在些微差異的不同物體的參考影像的錯誤辨識。本發明之物體辨識裝置包含：局部特徵量對照部，其算出從參考影像中的座標轉換到輸入影像中的對應座標的幾何轉換資訊，並對照從參考影像所抽出的局部特徵量以及從輸入影像所抽出的局部特徵量；輸入影像差異區域決定部，其根據關於經對照判定為一致的輸入影像的幾何轉換資訊，將參考影像中的差異區域轉換，並決定與參考影像中的差異區域對應的輸入影像中的差異區域；輸入影像差異區域特徵量抽出部，其修正輸入影像中的差異區域，並從該經過修正的輸入影像的差異區域抽出特徵量；以及特徵量對照部，其對照輸入影像差異區域特徵量抽出部所抽出的特徵量以及從參考影像中的差異區域所抽出的特徵量，並輸出對照結果。

Description

物體識別裝置、方法及電腦程式產品

本發明係關於一種正確辨識影像中的物體的裝置、方法以及電腦程式產品。

為了能夠相對於拍攝尺寸或角度的變化、遮蔽(occlusion)等而確實穩定地辨識出影像內的被成像體，吾人提出一種檢測出複數個影像內具有特徴的點(特徴點)，並抽出各特徴點周邊的局部區域的特徴量(局部特徴量)的方式。其代表性方式，在專利文獻1或非專利文獻1中，揭示一種使用尺度不變性特徵轉換(Scale Invariant Feature Transform，SIFT)特徴量的局部特徴量抽出裝置。

局部特徴量抽出裝置，首先從影像的各畫素抽出關於輝度的資訊，並從所抽出之輝度資訊檢測出複數個具有特徴的點(特徴點)。然後，局部特徴量抽出裝置，將所檢測到的關於各特徴點的資訊(亦即特徴點資訊)輸出。在此，所謂特徴點資訊，例如，係指表示所檢測到的局部特徴點的座標位置或尺度、特徴點的方向性等的資訊。然後，局部特徴量抽出裝置，從所檢測到的各特徴點的座標值、尺度、以及方向性等的特徴點資訊，取得進行特徴量抽出的局部區域，並產生(記述)局部特徴量。

然後，成像有與所拍攝之影像內的被成像體相同的被成像體的影像的辨識，如非專利文獻1所記載的，係藉由比較從拍攝影像(亦即輸入影像)所抽出的局部特徴量1與從參考影像所產生的局部特徴量2來進行。具體而 言，首先，針對記載了構成局部特徴量1的各特徴點周圍的資訊的特徴量與構成局部特徴量2的特徴量的整體組合，進行特徴空間上的距離的計算。然後，將所計算之距離為最靠近的局部特徴量1以及局部特徴量2的組合，判定為對應的特徴量。然後，將產生該等對應之特徴量的來源的特徴點的組合，也判定為係互相對應。之後，關於經判定為互相對應的特徴點的組合，判定其是否依照特定的幾何轉換資訊，從輸入影像的特徴點的座標位置移動到參考影像的特徴點的座標位置。根據該移動的判定，決定所對應之特徴點為正確或錯誤。當在此經判定為正確對應的特徴點的數目在既定值以上時，便判斷其成像有同一被成像體。

【先行技術文獻】 【專利文獻】

【專利文獻1】美國專利第6711293號說明書

【專利文獻2】日本特開2010-79545號公報

【專利文獻3】WO2012/108088號公報

【專利文獻4】日本特開2010-266964號公報

【專利文獻5】日本特開2010-128925號公報

【專利文獻6】日本特開2007-115109號公報

【非專利文獻】

【非專利文獻1】David G. Lowe著，「Distinctive image features from scale-invariant keypoints」，(美國)，International Journal of Computer Vision，60(2)，2004年11月，p.91-110

利用關連的局部特徴量的物體辨識方式，係根據從輸入影像的輝度資訊所抽出的局部特徴量與從參考影像的輝度資訊所抽出的局部特徴量的對應關係，進行物體的辨識。其結果，當成像有與輸入影像所成像之物體僅 存在些微差異的不同物體的影像為參考影像時，由於輸入影像與參考影像之間互相對應的特徴點存在多數個，故會有將兩影像錯誤辨識為係成像有同一物體的影像的問題。

本發明之主要目的在於提供一種可抑制對於成像有與輸入影像所成像之物體僅存在些微差異的不同物體的參考影像的錯誤辨識，進而能夠更正確地辨識出成像有同一物體的參考影像的裝置、方法以及電腦程式產品。

本發明之物體辨識裝置包含：局部特徴量對照部，其算出從參考影像中的座標轉換到輸入影像中的對應座標的幾何轉換資訊，並對照從參考影像所抽出的局部特徴量以及從輸入影像所抽出的局部特徴量；輸入影像差異區域決定部，其根據關於經對照判定為一致的輸入影像的幾何轉換資訊，將參考影像中的差異區域轉換，並決定與參考影像中的差異區域對應的輸入影像中的差異區域；輸入影像差異區域特徴量抽出部，其修正輸入影像中的差異區域，並從該經過修正之輸入影像的差異區域抽出特徴量；以及特徴量對照部，其對照輸入影像差異區域特徴量抽出部所抽出的特徴量以及從參考影像中的差異區域所抽出的特徴量，並輸出對照結果。

本發明之物體辨識方法包含以下步驟：算出從參考影像中的座標轉換到輸入影像中的對應座標的幾何轉換資訊，對照從參考影像所抽出的局部特徴量與從輸入影像所抽出的局部特徴量，根據關於經對照判定為一致的輸入影像的幾何轉換資訊，轉換參考影像中的差異區域，決定與該經過轉換之參考影像中的差異區域對應的輸入影像中的差異區域，修正輸入影像中的差異區域，從該經過修正之輸入影像的差異區域抽出特徴量，對照從輸入影像的差異區域所抽出的特徴量以及從參考影像中的差異區域所抽出的特徴量，並輸出對照結果。

本發明之電腦程式產品，使電腦執行以下處理：局部特徴量對照處理，其算出從參考影像中的座標轉換到輸入影像中的對應座標的幾何轉換資 訊，並對照從參考影像所抽出的局部特徴量以及從輸入影像所抽出的局部特徴量；輸入影像差異區域決定處理，其根據關於經對照判定為一致的輸入影像的幾何轉換資訊，將參考影像中的差異區域轉換，並決定與該經過轉換之參考影像中的差異區域對應的輸入影像中的差異區域；輸入影像差異區域特徴量抽出處理，其修正輸入影像中的差異區域，並從該經過修正之輸入影像的差異區域抽出特徴量；以及特徴量對照處理，其對照輸入影像差異區域特徴量抽出處理所抽出的特徴量以及從參考影像中的差異區域所抽出的特徴量，並輸出對照結果。

採用如上所述的構造，輸入影像差異區域決定部，根據局部特徴量對照部所算出的幾何轉換資訊，轉換參考影像中的差異區域並決定輸入影像中的差異區域；輸入影像差異區域特徴量抽出部，從輸入影像中的差異區域抽出特徴量；特徴量對照部，對照從輸入影像中的差異區域所抽出的特徴量以及從參考影像中的差異區域所抽出的特徴量；藉此便可區分出以往僅靠局部特徴量的對照所無法辨識出的細微差異，並辨識出成像有同一物體的影像，進而達到本發明之目的。

再者，本發明亦可藉由儲存了上述程式的電腦可讀取的非揮發性記錄媒體而實現。

根據本發明，可提供一種可減少對成像有與輸入影像所成像之物體僅存在些微差異的不同物體的參考影像的錯誤辨識的技術。

Z1、Z1’、Z2、Z3、Z4、Z5、Z6、Z7、Z8、Z9、Z10、Z11、Z12、Z13、Z14‧‧‧物體辨識裝置

11‧‧‧局部特徴量抽出部

12‧‧‧局部特徴量對照部

13‧‧‧輸入影像差異區域決定部

14‧‧‧輸入影像差異區域特徴量抽出部

15‧‧‧特徴量對照部

16‧‧‧局部特徴量對照部

17‧‧‧差異區域推定部

18‧‧‧差異區域特徴量抽出部

19‧‧‧差異區域推定部

20‧‧‧差異區域推定部

21‧‧‧差異區域推定部

22‧‧‧差異區域推定部

23‧‧‧差異區域推定部

24‧‧‧差異區域推定部

25‧‧‧差異區域推定部

26‧‧‧輸入影像差異區域特徴量抽出部

27‧‧‧特徴量對照部

28‧‧‧輸入影像差異區域特徴量抽出部

29‧‧‧特徴量對照部

30‧‧‧局部特徴量對照部

31‧‧‧特徴量對照部

32‧‧‧辨識分數統合判定部

33‧‧‧差異區域推定部

34‧‧‧差異區域推定部

101‧‧‧輝度資訊抽出部

102‧‧‧局部特徴點檢出部

103‧‧‧局部特徴量生成部

201‧‧‧對應特徴點決定部

202‧‧‧錯誤對應點去除部

203‧‧‧辨識分數算出部

204‧‧‧閾值判定部

401‧‧‧差異區域資訊修正部

402‧‧‧修正差異區域影像生成部

403‧‧‧差異區域特徴量算出部

404‧‧‧差異區域影像生成部

501‧‧‧差異區域辨識分數算出部

502‧‧‧閾值判定部

701‧‧‧錯誤對應特徴點密集度探索部

801‧‧‧差異區域影像生成部

901‧‧‧物體區域推定部

902‧‧‧錯誤對應特徴點密集度探索部

2001‧‧‧轉換影像生成部

2002‧‧‧差分影像生成部

2003‧‧‧物體區域推定部

2004‧‧‧大差分區域檢出部

2101‧‧‧大差分區域檢出部

2102‧‧‧錯誤對應特徴點密集度探索部

2103‧‧‧錯誤對應特徴點密集度探索部

2104‧‧‧差分影像生成部

2105‧‧‧大差分區域檢出部

2106‧‧‧差異待選區域重複檢出部

2201‧‧‧樣板比對部

2202‧‧‧樣板比對部

2301‧‧‧樣板比對部

2302‧‧‧樣板比對部

2501‧‧‧樣板比對部

2502‧‧‧差異待選區域重複檢出部

2601‧‧‧差異區域局部特徴量抽出部

2602‧‧‧差異區域局部特徴量抽出部

2701‧‧‧錯誤對應點去除部

2702‧‧‧閾值判定部

2901‧‧‧差異區域辨識分數算出部

2902‧‧‧閾值判定部

2903‧‧‧差異區域辨識分數算出部

2904‧‧‧差異區域辨識分數算出部

2905‧‧‧閾值判定部

3001‧‧‧閾值判定部

3101‧‧‧閾值判定部

3201‧‧‧辨識分數統合部

3202‧‧‧閾值判定部

9000‧‧‧電腦

9010‧‧‧CPU

9020‧‧‧RAM

9030‧‧‧ROM

9040‧‧‧硬碟機

9050‧‧‧通信介面

9060‧‧‧可移式記錄媒體

40301‧‧‧色構成比特徴量算出部

40302‧‧‧色配置特徴量算出部

40303‧‧‧文字對照用特徴量算出部

40304‧‧‧二值化處理部

40305‧‧‧文字區域檢出部

40306‧‧‧文字對照用特徴量算出部

40307‧‧‧影像值抽出部

40308‧‧‧形狀特徴量算出部

S131~S136‧‧‧步驟

【圖1】係表示第1實施態樣的物體辨識裝置的構造例的方塊圖。

【圖2】係表示輸入影像差異區域決定部13的動作例的流程圖。

【圖3】係表示局部特徴量抽出部11的構造例的方塊圖。

【圖4】係表示局部特徴量對照部12的構造例的方塊圖。

【圖5】係表示輸入影像差異區域特徴量抽出部14的構造例的方塊圖。

【圖6】係表示輸入影像差異區域特徴量抽出部14的構造例的方塊圖。

【圖7】係表示差異區域特徴量算出部403的構造例的方塊圖。

【圖8】係表示差異區域特徴量算出部403的構造例的方塊圖。

【圖9】係表示差異區域特徴量算出部403的構造例的方塊圖。

【圖10】係表示差異區域特徴量算出部403的構造例的方塊圖。

【圖11】係表示差異區域特徴量算出部403的構造例的方塊圖。

【圖12】係表示從參考影像的差異區域、輸入影像的差異區域分別抽出文字特徴量時的抽出對象區域的例示圖。

【圖13】係表示從參考影像的差異區域、輸入影像的差異區域分別抽出文字特徴量時的抽出對象區域的例示圖。

【圖14】係表示特徴量對照部15的構造例的方塊圖。

【圖15】係表示第1實施態樣的物體辨識裝置的構造例的方塊圖。

【圖16】係表示相對於參考影像的差異區域、相對於輸入影像的輸入影像差異區域的關係圖。

【圖17】表示係相對於參考影像的差異區域、相對於輸入影像的輸入影像差異區域的關係圖。

【圖18】係表示相對於參考影像的差異區域、相對於輸入影像的輸入影像差異區域的關係圖。

【圖19】係表示相對於參考影像的差異區域、相對於輸入影像的輸入影像差異區域的關係圖。

【圖20】係表示第2實施態樣的物體辨識裝置的構造例的方塊圖。

【圖21】係表示局部特徴量對照部16的構造例的方塊圖。

【圖22】係表示差異區域推定部17的構造例的方塊圖。

【圖23】係表示差異區域特徴量抽出部18的構造例的方塊圖。

【圖24】係表示第3實施態樣的物體辨識裝置的構造例的方塊圖。

【圖25】係表示差異區域推定部19的構造例的方塊圖。

【圖26】係表示第4實施態樣的物體辨識裝置的構造例的方塊圖。

【圖27】係表示差異區域推定部20的構造例的方塊圖。

【圖28】係表示第5實施態樣的物體辨識裝置的構造例的方塊圖。

【圖29】係表示差異區域推定部21的構造例的方塊圖。

【圖30】係表示差異區域推定部21的構造例的方塊圖。

【圖31】係表示差異區域推定部21的構造例的方塊圖。

【圖32】係表示差異區域推定部21的構造例的方塊圖。

【圖33】係表示第6實施態樣的物體辨識裝置的構造例的方塊圖。

【圖34】係表示差異區域推定部22的構造例的方塊圖。

【圖35】係表示差異區域推定部22的構造例的方塊圖。

【圖36】係表示第7實施態樣的物體辨識裝置的構造例的方塊圖。

【圖37】係表示差異區域推定部23的構造例的方塊圖。

【圖38】係表示差異區域推定部23的構造例的方塊圖。

【圖39】係表示差異區域推定部23的構造例的方塊圖。

【圖40】係表示第8實施態樣的物體辨識裝置的構造例的方塊圖。

【圖41】係表示差異區域推定部24的構造例的方塊圖。

【圖42】係表示差異區域推定部24的構造例的方塊圖。

【圖43】係表示差異區域推定部24的構造例的方塊圖。

【圖44】係第9實施態樣的物體辨識裝置的構造例的方塊圖。

【圖45】係表示差異區域推定部25的構造例的方塊圖。

【圖46】係表示差異區域推定部25的構造例的方塊圖。

【圖47】係表示第10實施態樣的物體辨識裝置的構造例的方塊圖。

【圖48】係表示輸入影像差異區域特徴量抽出部26的構造例的方塊圖。

【圖49】係表示輸入影像差異區域特徴量抽出部26的構造例的方塊圖。

【圖50】係表示特徴量對照部27的構造例的方塊圖。

【圖51】係表示第11實施態樣的物體辨識裝置的構造例的方塊圖。

【圖52】係表示輸入影像差異區域特徴量抽出部28的構造例的方塊圖。

【圖53】係表示特徴量對照部29的構造例的方塊圖。

【圖54】係表示特徴量對照部29的構造例的方塊圖。

【圖55】係表示第12實施態樣的物體辨識裝置的構造例的方塊圖。

【圖56】係表示局部特徴量對照部30的構造例的方塊圖。

【圖57】係表示特徴量對照部31的構造例的方塊圖。

【圖58】係表示辨識分數統合判定部32的構造例的方塊圖。

【圖59】係表示電腦的構成要素的例子的方塊構造圖。

【圖60】係表示差異區域特徴量算出部403的構造例的方塊圖。

【圖61】係表示第13實施態樣的物體辨識裝置的構造例的方塊圖。

【圖62】係表示第14實施態樣的物體辨識裝置的構造例的方塊圖。

(第1實施態樣)

參照圖式說明本發明的第1實施態樣。

圖1係表示本發明的第1實施態樣的物體辨識裝置的構造的方塊圖。物體辨識裝置Z1，係由局部特徴量抽出部11、局部特徴量對照部12、輸入影像差異區域決定部13、輸入影像差異區域特徴量抽出部14、特徴量對照部15所構成。物體辨識裝置Z1，例如，可使用個人電腦或行動資訊終端機等的資訊處理裝置構成。然後，欲構成物體辨識裝置Z1的各部的功能，例如，可使用記憶體等的記憶區域，並將記憶區域所儲存之程式用處理器展開並執行而實現。另外，後述的其他實施態樣的構成要件也可用同樣方式實現。

在圖式以及以後的說明中，有時會將資料庫簡單記載成「DB」。

局部特徴量抽出部11，從輸入影像抽出局部特徴量。關於局部特徴量抽出部11的處理的詳細情況，容後敘述。

局部特徴量對照部12，對照在局部特徴量抽出部11中從輸入影像所抽出的局部特徴量亦即局部特徴量1，與從參考影像所抽出的局部特徴量亦即局部特徴量2，同時輸出用來修正輸入影像與參考影像的幾何差異的幾何轉換資訊。該幾何轉換資訊，係為了在對照局部特徴量1與局部特徴量2時，判斷關於局部特徴點的對應的正確或錯誤而算出。再者，局部特徴量對照部12，將經判定為成像有同一物體(亦即，進行對照的結果，局部特徴量為一致)的參考影像的影像ID(Identification)當作局部特徴辨識影像ID輸出。局 部特徴量2，可如圖1所示的，預先從複數張參考影像抽出並儲存於資料庫，亦可用即時處理的方式從參考影像利用局部特徴量抽出部11抽出。當儲存於資料庫時，從成像有類似的物體的參考影像所抽出的局部特徴量，賦與關連再加以登錄亦可。關於局部特徴量對照部12的處理的詳細情況，容後敘述。

輸入影像差異區域決定部13，針對與從局部特徴量對照部12所輸出之局部特徴辨識影像ID對應的參考影像，或是與該局部特徴辨識影像ID相關的參考影像群的差異區域，利用從局部特徴量對照部12所接收的幾何轉換資訊進行幾何轉換，並將輸入影像差異區域資訊輸出。

在此，所謂差異區域，係指輸入影像所成像之物體與參考影像所成像之物體可能產生些微差異的區域。該差異區域可在影像中存在複數個。參考影像(或參考影像群)的差異區域資訊，例如當差異區域為矩形時，可為在參考影像中的差異區域的4個角落的座標值資訊。或者，差異區域資訊，亦可為表示構成差異區域的參考影像中的畫素群的座標值的資訊。當輸入影像所成像的物體與參考影像所成像的物體的差分，為物體中的文字列區域時，差異區域資訊，可為包圍該文字列整體的矩形的在參考影像中的4個角落的座標值資訊，或是包圍構成該文字列的各個文字的矩形的在參考影像中的4個角落的座標值資訊群，或者是這兩者的資訊。

輸入影像差異區域資訊，係對參考影像中的差異區域的4個角落的座標值分別運用幾何轉換資訊所得到的資訊。輸入影像差異區域資訊，例如，由輸入影像中的差異區域的4個角落的座標值表示。或者，當參考影像中的差異區域資訊為構成該差異區域的參考影像中的畫素群的座標值資訊時，亦可對該等畫素群分別運用幾何轉換資訊，並將輸入影像中的構成差異區域的畫素群的座標值資訊當作輸入影像差異區域資訊。當輸入影像所成像的物體與參考影像所成像的物體的差分，為物體中的文字列區域時，輸入影像差異區域資訊，亦可為對包圍該文字列整體的矩形的在參考影像中的4個角落的各座標值分別運用幾何轉換資訊所得到的輸入影像中的區域的4 個角落的座標值資訊。或者，輸入影像差異區域資訊，亦可為對包圍構成該文字列的各個文字的矩形的在參考影像中的4個角落的座標值分別運用幾何轉換資訊所得到的輸入影像中的區域的4個角落的座標值資訊群。或者，輸入影像差異區域資訊亦可為該兩者的資訊。參考影像中的差異區域資訊可事前登錄於資料庫。關於其實現方法，參考影像中的差異區域資訊，在將局部特徴量2當作資料庫儲存的情況下，亦可如圖1所示的一併儲存於局部特徴量DB。關於輸入影像差異區域決定部13的處理的詳細情況，容後敘述。

輸入影像差異區域特徴量抽出部14，根據輸入影像差異區域決定部13所決定的輸入影像差異區域資訊，對輸入影像中的差異區域進行修正，並從修正後的差異區域抽出特徴量。關於輸入影像差異區域特徴量抽出部14的處理的詳細情況，容後敘述。

特徴量對照部15對照在輸入影像差異區域特徴量抽出部14中從輸入影像中的差異區域所抽出的特徴量(亦即特徴量1)，以及從參考影像中的差異區域所抽出的特徴量(亦即特徴量2)，判定輸入影像以及參考影像是否成像有同一物體。特徴量對照部15，將與經判定為成像有同一物體的影像對應的影像ID當作差異區域辨識影像ID輸出。特徴量2，可如圖1所示的，預先從複數張參考影像抽出並儲存於資料庫，亦可用即時處理的方式從參考影像抽出。在儲存於資料庫的情況下，類似的物體亦可用賦與關連的方式登錄。從輸入影像的差異區域所抽出的特徴量1，與從參考影像的差異區域所抽出的特徴量2，係由同一處理所抽出的特徴量，或是同種類的特徴量。關於特徴量對照部15的詳細情況，容後敘述。

圖2係用來說明圖1所示之輸入影像差異區域決定部13的動作例的流程圖。如圖2所示的，輸入影像差異區域決定部13，在S131進行控制處理用的變數i的初始化。在S132中，輸入影像差異區域決定部13取得幾何轉換資訊。在S133中，輸入影像差異區域決定部13取得參考影像的差異區域資訊。在此所取得的差異區域資訊，當差異區域為矩形時，可為其4個角落的在參考 影像中的座標值資訊，亦可為表示構成差異區域的參考影像中的畫素群的座標值的資訊。在S134，輸入影像差異區域決定部13，將在S132所取得的幾何轉換資訊運用於在S133所取得的差異區域資訊。在此，當差異區域資訊為表示差異區域的4個角落的座標值資訊時，輸入影像差異區域決定部13，將幾何轉換資訊運用於4個座標值之中的1個。另外，當差異區域資訊為構成差異區域的參考影像中的畫素群的座標值資訊時，輸入影像差異區域決定部13，將幾何轉換資訊運用於畫素群之中的1個畫素。當在此時點變數i未達到既定的數值N時，輸入影像差異區域決定部13，在S135更新變數i的值，繼續進行S133與S134的處理，直到變數i的值在N以上為止。S135的“i++”係表示將i的值加1的意思。當在S133所取得的差異區域資訊，係關於參考影像中的某1個區域的資訊，且係該區域的4個角落的座標值資訊時，輸入影像差異區域決定部13設定N=4。當差異區域資訊為構成差異區域的參考影像中的畫素群的座標值資訊時，輸入影像差異區域決定部13，將構成差異區域的參考影像中的畫素群的數設定成N的值。另外，當在S133所取得的差異區域資訊，像包圍構成物體中的一部份的文字列的各個文字的矩形那樣，為影像中所存在的複數個區域的4個角落的座標值資訊群時，輸入影像差異區域決定部13，以該區域數為n，並設定N=4×n。最後，在S136，輸入影像差異區域決定部13將S134所算出的輸入影像差異區域資訊輸出，並結束處理。

接著，參照圖3，詳細敘述局部特徴量抽出部11的處理。圖3係表示局部特徴量抽出部11的構造例的方塊圖。如圖3所示的，局部特徴量抽出部11可由輝度資訊抽出部101、局部特徴點檢出部102、局部特徴量生成部103所構成。

輝度資訊抽出部101，接收輸入影像，從該輸入影像的各畫素抽出關於輝度的資訊並輸出。在此所接收的輸入影像，為數位相機、數位視訊攝影機、行動電話等的攝影裝置所拍攝的影像，或是通過掃描器等所擷取到的影像等。另外，影像可為像JPEG(Joint Photographic Experts Group，聯合圖像專家群)那樣的經過壓縮的影像，或是像TIFF(Tagged Image File Format， 標籤圖檔格式)那樣的未經過壓縮的影像。局部特徴點檢出部102，從影像檢測出多數個具有特徴的點(特徴點)，並將關於各特徴點的資訊(亦即特徴點資訊)輸出。在此，所謂特徴點資訊，例如，係表示所檢測到的局部特徴點的座標位置或尺度、特徴點的方向性、對特徴點所分配的固有ID亦即「特徴點編號」等的資訊。另外，局部特徴點檢出部102可將各特徴點的方向性的每個方向的各別特徴點資訊當作特徴點資訊輸出。例如，局部特徴點檢出部102，可僅針對各特徴點的最主要的方向性的方向輸出特徴點資訊，亦可也將第2順位以後的主要方向性的方向的特徴點資訊輸出。

另外，當局部特徴點檢出部102也將第2順位以後的主要方向性的方向的特徴點資訊輸出時，可對各特徴點的方向性的每個方向賦與不同的特徴點編號。局部特徴點檢出部102，在從影像檢測出特徴點並抽出特徴點資訊時，例如，可採用高斯差(Difference-of-Gaussian，DoG)處理。具體而言，局部特徴點檢出部102，可用DoG處理進行尺度空間的極值探索，藉此決定特徴點的位置與尺度。再者局部特徴點檢出部102，可用所決定之特徴點的位置與尺度以及周邊區域的梯度資訊，算出各特徴點的方向性。另外，局部特徴點檢出部102，在從影像檢測出特徴點並抽出特徴點資訊時，亦可不採用DoG，而是採用Fast-Hessian Detector(快速海森檢測法)等的其他方法。局部特徴點檢出部102，亦可從在其內部所檢測到的特徴點之中選出重要的特徴點，並將關於該特徴點的資訊當作特徴點資訊輸出。

局部特徴量生成部103，接收從局部特徴點檢出部102所輸出的特徴點資訊，產生(記述)相對於各特徴點的局部區域的特徴量，亦即局部特徴量。另外，局部特徴量生成部103，亦可用ZIP或LZH等可逆壓縮的壓縮形式將局部特徴量輸出。局部特徴量生成部103，當在局部特徴點檢出部102中，決定了所檢測到的特徴點的重要程度時，可依照該特徴點的重要程度順序產生局部特徴量並輸出。另外，局部特徴量生成部103，亦可依照特徴點的座標位置順序產生局部特徴量並輸出。局部特徴量生成部103，首先，根據特徴點資訊，從所檢測到的各特徴點的座標值、尺度以及方向性，取得進行特徴量抽出的局部區域。另外，當相對於1個特徴點存在方向性不同的複 數個特徴點資訊時，局部特徴量生成部103可針對各特徴點資訊取得局部區域。接著，局部特徴量生成部103，使局部區域因應特徴點的方向性方向旋轉並規格化之後，將其分割成副區域。例如，可將局部區域分割成16方塊(4×4方塊)。接著，局部特徴量生成部103，針對局部區域的每個副區域產生特徴向量。副區域的特徴向量，例如，可使用梯度方向直方圖。具體而言，局部特徴量生成部103，針對各副區域的每個畫素算出梯度方向，將其量子化成8個方向，並針對每個副區域統計經過量子化的8個方向的頻率，產生梯度方向直方圖。此時，局部特徴量生成部103，將對各特徴點所產生的16方塊×8方向的梯度方向直方圖所構成的特徴向量當作局部特徴量輸出。局部特徴量生成部103，在所輸出的局部特徴量之中，包含特徴點的座標位置資訊。

接著，參照圖4，詳細敘述局部特徴量對照部12的處理。圖4係表示局部特徴量對照部12的構造例的方塊圖。如圖4所示的，局部特徴量對照部12可由對應特徴點決定部201、錯誤對應點去除部202、辨識分數算出部203、閾值判定部204所構成。

對應特徴點決定部201，接收局部特徴量抽出部11從輸入影像所抽出的局部特徴量1，以及從參考影像所抽出的局部特徴量2，並輸出對應特徴點資訊。例如，當上述的局部特徴量1與局部特徴量2分別為記述局部特徴點周邊的梯度直方圖的特徴量的集合時，對應特徴點決定部201，將特徴量空間的距離計算針對特徴量的全部組合進行。在此，對應特徴點決定部201，只要是在最小距離值相對於次小距離值非常小的情況，關於該距離值為最小的特徴量的組合，便判斷作為其特徴量以及特徴量記述的基礎的局部特徴點為互相對應。然後，對應特徴點決定部201，將與局部特徴點的位置資訊對應的局部特徴點的位置資訊當作對應特徴點資訊輸出。

錯誤對應點去除部202，從對應特徴點決定部201接收對應特徴點資訊，並從該等對應特徴點之中，判別出正確對應的特徴點與錯誤對應的特徴點。然後，錯誤對應點去除部202，將該經過判別的特徴點資訊分別輸出， 同時將該判別所使用的幾何轉換資訊也一併輸出。例如，錯誤對應點去除部202，對於從對應特徴點決定部201所接收的對應特徴點資訊，應用RANSAC(random sample consensus，隨機抽樣一致演算法)等的方法，推定從參考影像中的座標到輸入影像中的座標的幾何轉換資訊。錯誤對應點去除部202，將在此所推定的幾何轉換資訊，分別運用於對應特徴點的參考影像側的特徴點，當其與輸入影像側的特徴點幾乎一致時，便判斷其為正確對應的特徴點。相反的當其與輸入側的特徴點不一致時，錯誤對應點去除部202便判斷其為錯誤對應的特徴點。

辨識分數算出部203，從錯誤對應點去除部202接收對應特徴點資訊，並輸出辨識分數。辨識分數係表示(局部)特徴量的類似程度。所輸出的辨識分數可用以下的方式求出。例如，辨識分數算出部203，計算從錯誤對應點去除部202所接收到的對應特徴點資訊之中的正確對應的特徴點的組合數。然後，辨識分數算出部203，亦可參照預先準備好的使正確對應的特徴點的組合數映對到0到1之間的分數用的表，然後輸出辨識分數。或者，當正確對應的特徴點的組合數為c時，辨識分數算出部203，亦可將預先決定好的特徴點的最低對應數設為m，並將m/(c+m)當作辨識分數算出。

閾值判定部204，對從辨識分數算出部203所輸出的辨識分數進行閾值處理。當辨識分數在閾值以上時，閾值判定部204，便判定其為成像有同一物體的影像，並將該參考影像的ID當作局部特徴辨識影像ID輸出。該閾值判定部204所使用的閾值，可為事前所決定並保持於內部的數值，亦可為從外部所賦予的數值。

接著，詳細敘述輸入影像差異區域特徴量抽出部14。圖5、圖6係表示輸入影像差異區域特徴量抽出部14的構造例的方塊圖。以下，針對各圖進行說明。

如圖5所示的，輸入影像差異區域特徴量抽出部14可由差異區域資訊修正部401、修正差異區域影像生成部402、差異區域特徴量算出部403所構成。

差異區域資訊修正部401，從輸入影像差異區域決定部13接收輸入影像差異區域資訊，以變更輸入影像差異區域的範圍的方式修正該輸入影像差異區域資訊。例如，差異區域資訊修正部401，可將以輸入影像的差異區域內的某個點為基準擴大既定比率的區域當作修正後的差異區域。或者，差異區域資訊修正部401，亦可將以輸入影像的差異區域內的某個點為基準擴展既定畫素的區域當作修正後的差異區域。在此，作為基準的點可為差異區域的重心點。另外，當輸入影像的差異區域，係對參考影像中的差異區域的4個角落的座標值分別運用幾何轉換資訊所得到的輸入影像中的差異區域的4個角落的座標值時，作為基準的點，可為該4個角落所定義之矩形的對角線的交點。例如，當在從輸入影像差異區域決定部13所接收到的輸入影像差異區域的端部有邊緣密集等情況下，便可預測在輸入影像差異區域外包含著同種類的資訊。此時，差異區域資訊修正部401，就輸入影像差異區域資訊的修正而言，可使輸入影像差異區域朝可預測包含了同種類的資訊的方向偏移，或是將輸入影像差異區域擴大。

修正差異區域影像生成部402接收輸入影像，並從差異區域資訊修正部401接收修正差異區域資訊。當該修正差異區域資訊為輸入影像中的修正後的差異區域的4個角落的座標值資訊時，修正差異區域影像生成部402，依序讀取將4個角落之中的相隣的2個角落以直線連結時所通過的畫素，並決定從輸入影像中將其數值讀取過去的畫素及其順序。藉此，修正差異區域影像生成部402產生差異區域影像並將其輸出。或者，當從差異區域資訊修正部401所接收到的修正差異區域資訊係表示輸入影像中的構成修正後的差異區域的畫素群的座標值的資訊時，修正差異區域影像生成部402以該順序讀取輸入影像並當作差異區域影像輸出。

差異區域特徴量算出部403，從修正差異區域影像生成部402所生成的差異區域影像抽出特徴量，並將該特徴量輸出。關於差異區域特徴量算出部403的詳細情況，容後敘述。當輸入影像所成像之物體處於彎曲狀態時，輸入影像差異區域決定部13所算出的輸入影像的差異區域有時會包含誤 差。即使在此等情況下，輸入影像差異區域特徴量抽出部14，由於具有圖5的構造，且係在進行過差異區域資訊的修正之後才進行特徴量的抽出處理，故仍可抽出正確的特徴量。

另外，如圖6所示的，輸入影像差異區域特徴量抽出部14亦可由差異區域影像生成部404與差異區域特徴量算出部403所構成。圖6的差異區域影像生成部404，與圖5所示的輸入影像差異區域特徴量抽出部14的構成要件亦即修正差異區域影像生成部402幾乎相同，惟並非輸入「修正差異區域資訊」，而係輸入「輸入影像差異區域資訊」，此點有所不同。圖6的差異區域特徴量算出部403，與圖5所示的差異區域特徴量算出部403相同，故詳細說明省略。

圖7、圖8、圖9、圖10、圖11、圖60係表示差異區域特徴量算出部403的構造例的方塊圖。以下，針對各圖進行說明。

如圖7所示的，差異區域特徴量算出部403可由色構成比特徴量算出部40301所構成。色構成比特徴量算出部40301將修正差異區域影像生成部402所生成的差異區域影像的色直方圖當作特徴量輸出。在此所生成的特徴量，例如可為RGB(Red、Green、Blue)空間的直方圖，或是HSV(Hue、Saturation、Value)空間的直方圖，或是其他顏色空間的直方圖。差異區域特徴量算出部403在圖7中的構造，於輸入影像所成像之物體與參考影像所成像之物體的顏色存在明顯差異時，特別有效。

另外，如圖8所示的，差異區域特徴量算出部403亦可由色配置特徴量算出部40302所構成。色配置特徴量算出部40302將修正差異區域影像生成部402所生成的差異區域影像的顏色配置的資訊當作特徴量輸出。在此所生成的特徴量，可為將差異區域影像分割成8×8的區塊，對各區塊中的畫素值的平均值進行2維DCT，並將轉換係數從低頻分量開始依序抽出既定個數者。或者，在此所生成的特徴量，亦可為將差異區域影像分割成副方塊並於每個副方塊所算出之表示平均色的數值(RGB值等)。差異區域特徴量算出 部403在圖8中的構造，與圖7的構造同樣，於輸入影像所成像之物體與參考影像所成像之物體的顏色存在明顯差異時，特別有效。

另外，如圖9所示的，差異區域特徴量算出部403可由文字對照用特徴量算出部40303所構成。該構造可在當輸入影像所成像之物體與參考影像所成像之物體的差分為物體中的文字列區域時，輸入影像的差異區域為對包圍構成該文字列的各個文字的矩形的參考影像中的4個角落的座標值分別運用幾何轉換資訊所得到的輸入影像中的區域的4個角落的座標值資訊群的情況下構成。亦即，在該構造中，參考影像中的差異區域亦即各文字的外接矩形的4個角落的座標值經幾何轉換所得到的輸入影像中的區域當作差異區域影像輸入到文字對照用特徴量算出部40303。然後，文字對照用特徴量算出部40303從該差異區域影像抽出特徴量。文字對照用特徴量算出部40303，可根據修正差異區域影像生成部402所生成的差異區域影像，例如，先將外接於各文字的矩形分別分割成4×4，並在每個分割區域構築8個方向的梯度直方圖，然後將其當作特徴量抽出。差異區域特徴量算出部403在圖9中的構造，於輸入影像所成像之物體與參考影像所成像之物體僅在一部份的文字有所差異時，特別有效。

另外，如圖10所示的，差異區域特徴量算出部403亦可由二值化處理部40304、文字區域檢出部40305、文字對照用特徴量算出部40306所構成。

該構造可在當輸入影像所成像之物體與參考影像所成像之物體的差分為物體中的文字列區域時，輸入影像的差異區域為對包圍該文字列整體的矩形的在參考影像中的4個角落的各座標值分別運用幾何轉換資訊所得到的輸入影像中的區域的4個角落的座標值資訊的情況下構成。除此之外，亦可為對包圍構成該文字列的各個文字的矩形的在參考影像中的4個角落的座標值分別運用幾何轉換資訊所得到的輸入影像中的區域的4個角落的座標值資訊群。

二值化處理部40304，對修正差異區域影像生成部402所生成的差異區 域影像，根據預先設定的閾值或者適應性算出的閾值進行二值化，並將二值化的結果當作二值化影像輸出。適應性算出閾值的方法，例如，可考慮就差異區域影像的畫素值的分布而言，以某個點P所區分的2個等級的等級內分散為最小&等級間分散為最大的P為閾值而自動算出的判別二值化。當在修正差異區域影像生成部402所生成的差異區域影像中存在文字時，若考慮到文字多以與其背景部分的反差較大的方式用黑色或者白色書寫這個前提，則二值化處理部40304所輸出的二值化影像，會輸出成文字部分為黑色而背景部分為白色或者文字部分為白色而背景部分為黑色的其中任一種影像。在此，當輸入影像所成像之物體為彎曲時，輸入影像差異區域決定部13所算出的輸入影像的差異區域有時會包含誤差。此時，若對分別將幾何轉換資訊運用於包圍文字列整體的矩形的在參考影像中的4個角落的各座標值所得到的輸入影像中的區域直接進行判別二值化，則會有二值化的閾值並未正確設定，文字區域無法檢測出的可能性存在。然而，在圖10的構造中，當輸入影像的差異區域除了對包圍文字列整體的矩形的在參考影像中的4個角落的各座標值分別運用幾何轉換資訊所得到的輸入影像中的區域的4個角落的座標值資訊之外更包含以下的資訊時，二值化處理部40304便可輸出更正確的二值化影像。該資訊，係對包圍構成該文字列的各個文字的矩形的在參考影像中的4個角落的座標值分別運用幾何轉換資訊所得到的輸入影像中的區域的4個角落的座標值資訊群。具體而言，二值化處理部40304，對於將幾何轉換資訊分別運用於包圍構成成為差分的文字列的各個文字的矩形的在參考影像中的4個角落的座標值所得到的輸入影像中的區域先進行判別二值化。接著，二值化處理部40304，使用在此算出的閾值，對於將幾何轉換資訊運用於包圍文字列整體的矩形的在參考影像中的4個角落的座標值所得到的輸入影像中的區域進行二值化。當進行像這樣的二值化處理時，一開始決定閾值時所使用的區域，成為包含著文字的可能性較高的區域。因此，比起對於分別將幾何轉換資訊運用於包圍文字列整體的矩形的在參考影像中的4個角落的各座標值所得到的輸入影像中的區域直接進行判別二值化的情況而言，更可實現減輕輸入影像的差異區域中的誤差的影響的二值化。再者，當欲在決定閾值時所使用的區域之中，選擇性利用包含文字的可能性較高的區域時，亦可利用各區域內的畫素值的分 散程度較高的區域。

文字區域檢出部40305，接收二值化處理部40304所生成的二值化影像，並將影像中文字存在區域的資訊亦即文字區域資訊輸出。欲檢測出文字存在區域，例如，文字區域檢出部40305，會將二值化影像中的黑色畫素所連結的部分當作一塊部分，並將外接於該各連結部分的矩形的4個角落的座標值資訊群，或者構成各連結部分的畫素群的座標值資訊當作文字區域資訊輸出。在檢測出連結部分時，當二值化處理部40304所生成的二值化影像中黑畫素較多時，由於可能會於暗色背景書寫白色文字，故亦可在將二值化影像中的白色畫素與黑色畫素反轉之後，再進行上述的處理。由於1個連結部可認為幾乎相當於1個文字，故在此所輸出的文字區域資訊，係表示外接於差異區域影像中存在的各個文字的矩形的4個角落的資訊。

文字對照用特徴量算出部40306，與圖9所示的差異區域特徴量算出部403的構成要件亦即文字對照用特徴量算出部40303幾乎相同，惟除了差異區域影像之外更輸入了文字區域資訊，此點有所不同。亦即，在該構造中，文字對照用特徴量算出部40306，並非係從對成為差分的文字列的各個文字的外接矩形的在參考影像中的4個角落的座標值進行幾何轉換所得到的輸入影像中的區域抽出特徴量。取而代之，文字對照用特徴量算出部40306，係從對包圍差分的文字列整體的矩形的在參考影像中的4個角落的座標值進行幾何轉換所得到的輸入影像中的區域，重新檢測出文字區域，並從該檢測到的文字區域算出特徴量。差異區域特徴量算出部403在圖10中的構造，與圖9的構造同樣，於輸入影像所成像之物體與參考影像所成像之物體僅在一部份的文字有所差異的情況下，特別有效。

另外，如圖11所示的，差異區域特徴量算出部403亦可由影像值抽出部40307所構成。影像值抽出部40307，可將修正差異區域影像生成部402所生成的差異區域影像的輝度值就這樣當作特徴量輸出。或者，亦可在將修正差異區域影像生成部402所生成之差異區域影像的全部輝度值的平均設為a，標準偏差設為s，差分區域影像的輝度值設為p時，將以(p-a)/s的方式修 正的輝度值當作特徴量輸出。另外，如圖11所示的，當差異區域特徴量算出部403由影像值抽出部40307所構成時，亦可將差異區域的縱向以及横向的畫素數的資訊與特徴量一併輸出。

另外，如圖60所示的，差異區域特徴量算出部403亦可由形狀特徴量算出部40308所構成。形狀特徴量算出部40308將修正差異區域影像生成部402所生成之差異區域影像的形狀資訊當作特徴量輸出。形狀特徴量算出部40308亦可藉由以下的處理產生特徴量。例如，亦可將修正差異區域影像生成部402所生成的差異區域影像分割成4×4等的複數個副方塊，在該每個分割區域構築複數個方向的梯度直方圖，將該直方圖當作特徴量抽出，藉此產生特徴量。或者，亦可從修正差異區域影像生成部402所生成的差異區域影像將邊緣抽出，作成各畫素的值表示邊緣強度的邊緣影像，並將該邊緣影像當作特徴量抽出，藉此產生特徴量。或者，亦可對上述的邊緣影像根據相對於邊緣強度的既定閾值進行2值化的處理，並將該2值化的影像當作特徴量抽出，藉此產生特徴量。

差異區域特徴量算出部403在圖60中的構造，於輸入影像所成像之物體與參考影像所成像之物體的形狀存在明顯的差異時，特別有效。

另外，差異區域特徴量算出部403，除了圖7、圖8、圖9、圖10、圖11、圖60的構造之外，亦可構成將該等構造組合的構造，或是將各別構造所算出的特徴量統合成1個特徴量輸出。

圖12、圖13，係在差異區域特徴量算出部403分別為圖9、圖10的構造時，表示作為抽出特徴量的對象的區域的例子的圖像。如圖12所示的，在輸入影像的差異區域為對構成文字列的各個文字的外接矩形的在參考影像中的4個角落的座標值進行幾何轉換所得到的區域的情況下，當輸入影像所成像的物體彎曲時，運用幾何轉換資訊所得到的區域有時會包含誤差。此時，特徴量抽出對象區域與實際的文字部分偏離錯開。另一方面，如圖13所示的，當從輸入影像中的區域將文字區域重新檢測出，並從該檢測到的 文字區域將特徴量抽出時，便不會受到幾何轉換所導致之誤差的影響，而能夠抽出更正確的特徴量。再者，藉由進行差異區域資訊修正部401的修正，即使文字超出修正前的輸入影像的差異區域，也能夠正確地抽出特徴量。

接著，詳細敘述特徴量對照部15。圖14係表示特徴量對照部15的構造例的方塊圖。以下，針對該圖進行說明。如圖14所示的，特徴量對照部15可由差異區域辨識分數算出部501與閾值判定部502所構成。

差異區域辨識分數算出部501，將從輸入影像的差異區域所抽出的特徴量當作特徴量1，並將從參考影像的差異區域所抽出的特徴量當作特徴量2，然後分別接收之。接著，差異區域辨識分數算出部501，將根據該2個特徴量所決定的辨識分數當作差異區域辨識分數輸出。差異區域辨識分數，係特徴量1與特徴量2越類似，其數值越高的度量。例如，差異區域辨識分數算出部501，可計算特徴量1與特徴量2在特徴量空間上的距離，並將其倒數當作差異區域辨識分數輸出。或者，在將特徴量1與從複數參考影像群分別抽出的特徴量2對照的情況下，差異區域辨識分數算出部501亦可將差異區域辨識分數以如下方式輸出。首先，差異區域辨識分數算出部501，找出在特徴量的全部組合之中，在特徴量空間上的距離的最小值。接著，差異區域辨識分數算出部501，可將特徴量的全部組合中的特徴量空間上的距離除以該最小值的數值的倒數，當作差異區域辨識分數輸出。或者，差異區域辨識分數算出部501，亦可參照預先準備好的將特徴量1與特徴量2在特徴量空間上的距離值映對到0~1之間的分數用的表，藉此輸出差異區域辨識分數。或者，當從輸入影像的差異區域所抽出的特徴量為像圖11那樣的輝度值或是利用平均或標準偏差修正的輝度值時，差異區域辨識分數算出部501亦可將差異區域辨識分數以如下方式輸出。差異區域辨識分數算出部501，可將參考影像的差異區域中的與對應輝度值的差分的總和、或與對應輝度值的差的2次方的總和、或與對應輝度值的差的絶對值的總和越小反而越大的分數當作差異區域辨識分數輸出。或者，差異區域辨識分數算出部501，亦可將對應輝度值的正規化互相關越接近1越大的分數當作差異區域 辨識分數輸出。當從輸入影像的差異區域所抽出的特徴量為像圖11那樣的輝度值或是利用平均或標準偏差修正的輝度值時，差異區域辨識分數算出部501亦可將差異區域辨識分數以如下方式輸出。首先，在如前所述的比較對應的畫素的輝度值之前，差異區域辨識分數算出部501，以抽出特徴量2的參考影像的差異區域與抽出特徴量1的輸入影像的差異區域的位置最吻合的方式用盧卡斯-卡納德方法(Lucas-Kanade method)等將特徴量1轉換。然後，差異區域辨識分數算出部501，將特徴量2與轉換後的特徴量1的對應畫素的輝度值的差分的總和、或輝度值的差的2次方的總和、或輝度值的差的絶對值的總和越小反而越大的分數當作差異區域辨識分數輸出。或者，當從輸入影像的差異區域所抽出的特徴量為像圖60那樣的形狀特徴量，特別是各畫素的數值表示邊緣強度的邊緣影像，或者是前述將邊緣影像以相對於邊緣強度的閾值處理2值化的影像時，差異區域辨識分數算出部501亦可將差異區域辨識分數以如下方式輸出。首先，差異區域辨識分數算出部501，將從參考影像的差異區域所抽出的特徴量亦即特徴量2當作樣板，一邊改變其尺度、方向或位置，一邊尋找特徴量1之中影像圖案最類似的區域。然後，差異區域辨識分數算出部501，可將相對於此時的樣板的畫素數圖案為一致的畫素數的比例當作差異區域辨識分數輸出。此時，測量圖案一致程度的尺度，可使用對應的畫素的邊緣強度的差分的絶對值的總和、對應的畫素的邊緣強度的差分的2次方的總和等，亦可使用除此以外的尺度。當從輸入影像的差異區域所抽出的特徴量為像圖60那樣的形狀特徴量，特別是各畫素的數值表示邊緣強度的邊緣影像，或者是前述將邊緣影像以相對於邊緣強度的閾值處理2值化的影像時，亦可用如下方式處理。亦即，差異區域辨識分數算出部501，亦可並不將從參考影像的差異區域所抽出的特徴量亦即特徴量2全部利用，而是部分利用。例如，差異區域辨識分數算出部501，亦可考慮邊緣的連續性等而將相當於輪廓的邊緣利用於對照。具體而言，差異區域辨識分數算出部501，對特徴量2之中相當於輪廓的各邊緣，以泛用型霍氏轉換等方法尋找與特徴量1最吻合的位置。或者，差異區域辨識分數算出部501，亦可一邊改變前述的相當於輪廓的邊緣的尺度、方向或位置一邊尋找與特徴量1最重疊一致的位置，亦可用其他方法尋找。此時，差異區域辨識分數算出部501，例如亦可將相對於全部投票數的 投票數的最大值的比例當作差異區域辨識分數輸出。或者，當從輸入影像的差異區域所抽出的特徴量為圖9或圖10的情況，差異區域辨識分數算出部501亦可在每個對應的矩形算出該類似度，並將該等算出之類似度當作差異區域辨識分數輸出。當從輸入影像的差異區域所抽出的特徴量為圖9或圖10的情況，對應的矩形的例子以圖12、圖13的虛線箭號分別表示之。在圖9的情況下，參考影像中的各個文字的區域與將該各個文字的座標位置幾何轉換所得到的輸入影像中的區域為對應的矩形。在圖10的情況下，參考影像中的各個文字的座標位置與輸入影像中的各個文字的座標位置比較，其座標位置接近的文字為對應的矩形。

閾值判定部502，對從差異區域辨識分數算出部501所輸出的差異區域辨識分數進行閾值處理。當差異區域辨識分數在閾值以上時，閾值判定部502判定其為成像有同一物體的影像，並將該參考影像的ID當作差異區域辨識影像ID輸出。該閾值判定部502所使用的閾值，可為事前決定並保持於內部的數值，亦可為從外部所賦予的數值。或者，當從差異區域辨識分數算出部501所輸出的差異區域辨識分數，為從參考影像內的複數個矩形區域分別抽出的特徴量與從該各個矩形區域對應的輸入影像內的區域分別抽出的特徴量的類似度時，閾值判定部502亦可以如下方式處理。亦即，閾值判定部502，亦可算出相對於對應的區域數而言類似度在閾值以上的對應區域數的比例，並將該比例在閾值以上的參考影像的ID當作差異區域辨識影像ID輸出。或者，當從差異區域辨識分數算出部501所輸出的最高的差異區域辨識分數與第2高的差異區域辨識分數的差分在閾值以上時，閾值判定部502，亦可將形成最高的差異區域辨識分數的參考影像的ID當作差異區域辨識影像ID輸出。或者，當相對於從差異區域辨識分數算出部501所輸出的最高的差異區域辨識分數的第2高的差異區域辨識分數的比率在閾值以下時，閾值判定部502亦可將形成最高的差異區域辨識分數的參考影像的ID當作差異區域辨識影像ID輸出。或者，閾值判定部502，首先，對從差異區域辨識分數算出部501所輸出的差異區域辨識分數進行閾值處理，限定出在閾值以上者。之後，當最高的差異區域辨識分數與第2高的差異區域辨識分數差距很大時，閾值判定部502，亦可將形成最高的差異區域辨識分數的參考 影像的ID當作差異區域辨識影像ID輸出。或者，當從輸入影像差異區域特徴量抽出部14所接收到的特徴量為將複數個特徴量統合成1個的特徴量時，閾值判定部502亦可以如下方式處理。亦即，閾值判定部502，首先，針對某個特徴量進行差異區域辨識分數算出以及閾值判定。然後對於作為結果輸出之ID所對應的參考影像，針對其他特徴量進行差異區域辨識分數算出以及閾值判定，以這樣的方式，閾值判定部502進行階段性的對照，這樣也是可以。

圖15係本發明的第1實施態樣的物體辨識裝置的實現例之一。圖15的物體辨識裝置Z1’，與圖1幾乎相同，惟設置了儲存著差異區域資訊的資料庫亦即差異區域資訊DB，此點有所不同。當局部特徴量2並未儲存成資料庫，而是從參考影像以即時處理的方式抽出時，以該圖15的構造可實現本發明的第1實施態樣的物體辨識裝置。

圖16、圖17、圖18、圖19係分別表示可認為是相對於參考影像的差異區域、相對於輸入影像的輸入影像差異區域的關係的圖案的圖像。

圖16係表示物體顯示於參考影像整體，而差異區域為參考影像整體的情況。這在同一品牌但口味不同的糖果包裝等處很常見，相當於刻在物體上的文字、花樣等幾乎相同，但該物體的顏色不同的情況。

圖17係表示物體顯示於參考影像整體，而差異區域為參考影像的一部分的情況。這在同一系列但卷數不同的書本的封皮等處很常見，相當於雖然幾乎相同，但僅在物體的一部分於顏色、文字或花樣有所不同的情況。

圖18、圖19，分別與圖16、圖17幾乎相同，惟參考影像並非成像有影像整體而是僅成像有其一部分，此點有所不同。在該任一圖案中，本發明的第1實施態樣的物體辨識裝置Z1’，其差異區域的資訊均事前登錄成資料庫。該登錄之參考影像中的差異區域，以及使用幾何轉換資訊與差異區域資訊所決定之輸入影像中的差異區域，還有該輸入影像中的差異區域經過 修正的區域，可分別將具有差異的必要最小限度的區域從參考影像與輸入影像抽出。因此，不消說差異區域為物體整體的情況，就連在其為物體的一部分的情況下，也能夠正確辨識影像所成像的物體。藉此，便可防止在以往的僅使用局部特徴量的情況下所造成的錯誤辨識問題。

如以上所述的，本發明的第1實施態樣的物體辨識裝置Z1或者Z1’，可降低對成像有與輸入影像所成像之物體僅存在些微差異的不同物體的參考影像的錯誤辨識。其理由如以下所述。根據對照局部特徴量時所算出的在輸入影像與參考影像之間的幾何轉換資訊，轉換參考影像中的差異區域，藉此決定輸入影像中的差異區域。然後，對照從輸入影像的差異區域所抽出的特徴量與從參考影像的差異區域所抽出的特徴量，藉此區分出以往的局部特徴量的對照所無法辨識的微細差異，進而能夠辨識出成像有同一物體的影像。

(第2實施態樣)

參照圖式說明本發明的第2實施態樣。

圖20係表示本發明的第2實施態樣的物體辨識裝置的構造的方塊圖。如圖20所示的，第2實施態樣的物體辨識裝置Z2係由局部特徴量抽出部11、局部特徴量對照部16、輸入影像差異區域決定部13、輸入影像差異區域特徴量抽出部14、差異區域推定部17、差異區域特徴量抽出部18、特徴量對照部15所構成。像這樣，第2實施態樣的物體辨識裝置Z2，將第1實施態樣的物體辨識裝置的局部特徴量對照部12變更為局部特徴量對照部16，並將儲存了差異區域資訊的資料庫亦即差異區域資訊DB變更為差異區域推定部17以及差異區域特徴量抽出部18，此點有所不同。關於局部特徴量對照部16、差異區域推定部17、差異區域特徴量抽出部18的詳細情況，容後敘述。其他構成要件與第1實施態樣相同，故附上相同的符號，並省略詳細說明。

圖21係表示局部特徴量對照部16的構造例的方塊圖。以下，針對該圖進行說明。如圖21所示的，局部特徴量對照部16可由對應特徴點決定部 201、錯誤對應點去除部202、辨識分數算出部203、閾值判定部204所構成。其與圖4所示之局部特徴量對照部12具有相同的構成要件，然而除了從錯誤對應點去除部202所輸出的幾何轉換資訊、從閾值判定部204所輸出的局部特徴辨識影像ID之外，更使錯誤對應點去除部202所輸出的對應特徴點資訊從局部特徴量對照部16輸出，此點有所不同。另外，對應特徴點資訊，如前所述的，係包含表示在參考影像與輸入影像之間特徴點係正確對應或是錯誤對應的資訊在內的資訊。

圖22係表示差異區域推定部17的構造的方塊圖。以下，針對該圖進行說明。如圖22所示的，差異區域推定部17可由錯誤對應特徴點密集度探索部701所構成。

錯誤對應特徴點密集度探索部701，從局部特徴量對照部16接收對應特徴點資訊，並將關於參考影像中的差異區域的資訊亦即差異區域資訊輸出。從局部特徴量對照部16所接收到的對應特徴點資訊，形成已經判別出正確對應的特徴點與錯誤對應的特徴點的狀態。因此，藉由將其中錯誤對應的特徴點密集的區域從影像中找出來，便可推定出參考影像中的差異區域。錯誤對應的特徴點密集的區域的尋找，例如，可用以下的方法，或是其他的方法。該方法為，設定既定大小的矩形窗，在差分影像中移動該矩形窗，當錯誤對應的特徴點的數目於矩形窗內在既定數目以上時，便將該矩形窗的區域當作差異區域。

圖23係表示差異區域特徴量抽出部18的構造例的方塊圖。以下，針對該圖進行說明。如圖23所示的，差異區域特徴量抽出部18可由差異區域影像生成部801、差異區域特徴量算出部403所構成。

差異區域影像生成部801，與圖6所示的輸入影像差異區域特徴量抽出部14的構成要件亦即差異區域影像生成部404幾乎相同，惟在以下的點有所不同。該不同點為：並非輸入輸入影像，而係輸入參考影像，且並非輸入「輸入影像差異區域資訊」，而係輸入差異區域資訊此點；以及並非輸出根 據輸入影像差異區域資訊而從輸入影像所生成的差異區域影像，而係輸出根據差異區域資訊而從參考影像所生成的差異區域影像此點。差異區域特徴量算出部403，與圖5或圖6所示的輸入影像差異區域特徴量抽出部14的構成要件亦即差異區域特徴量算出部403相同，故省略詳細說明。另外，圖5、圖6與圖23中的差異區域特徴量算出部403所算出的特徴量，係以相同的處理所算出的特徴量。

本發明的第2實施態樣的物體辨識裝置Z2，即使不將參考影像中的差異區域事前登錄成資料庫，也能夠推定出參考影像中的差異區域。因此，物體辨識裝置Z2，像在以利用物體辨識功能的產品檢驗系統從多數的產品之中區分出某處具有損傷的產品的情況那樣，在無法事前登錄關於差異區域的資訊時，可發揮功效。然後，本發明的第2實施態樣的物體辨識裝置Z2所進行的參考影像中的差異區域的推定，無論是在差異區域為物體整體的情況下，還是在其為物體的一部分的情況下，均可進行。因此，無論是對圖16、圖17、圖18、圖19其中哪一種情況，本發明的第2實施態樣的物體辨識裝置Z2均可發揮功效。

(第3實施態樣)

參照圖式說明本發明的第3實施態樣。

圖24係表示本發明的第3實施態樣的物體辨識裝置的構造的方塊圖。如圖24所示的，第3實施態樣的物體辨識裝置Z3係具備局部特徴量抽出部11、局部特徴量對照部16、輸入影像差異區域決定部13、輸入影像差異區域特徴量抽出部14、特徴量對照部15、差異區域推定部19、差異區域特徴量抽出部18所構成。像這樣，第3實施態樣的物體辨識裝置Z3，將第2實施態樣的物體辨識裝置Z2的差異區域推定部17變更為差異區域推定部19，此點有所不同。關於差異區域推定部19的詳細情況，容後敘述。其他的構成要件，與第2實施態樣相同，故附上相同的符號，並省略詳細說明。

圖25係表示差異區域推定部19的構造例的方塊圖。以下，針對該圖進 行說明。如圖25所示的，差異區域推定部19可具備物體區域推定部901、錯誤對應特徴點密集度探索部902而構成。

物體區域推定部901，接收與從局部特徴量對照部16所輸出的局部特徴辨識影像ID對應的參考影像，或是與該局部特徴辨識影像ID有所關連的參考影像群，並輸出表示參考影像中物體存在區域的資訊，亦即物體區域資訊。在此所接收的參考影像，可如圖24所示的預先儲存於資料庫，亦可不這麼做。在物體區域推定部901中的處理，例如，可為解析參考影像中的邊緣強度以大概推定出物體區域的方法，亦可為預先學習辨識出背景區域的影像圖案並將背景以外的區域大概推定為物體區域的方法。錯誤對應特徴點密集度探索部902，與圖22所示的差異區域推定部17的構成要件亦即錯誤對應特徴點密集度探索部701類似，除了從局部特徴量對照部16所接收到的對應特徴點資訊之外，更輸入了從物體區域推定部901所輸出的物體區域資訊，此點有所不同。錯誤對應特徴點密集度探索部902，著眼於在對應特徴點之中存在於物體區域內部的點，找出錯誤對應特徴點密集的區域，藉此便不會受到從物體以外的區域出現的錯誤對應的特徴點的影響，而能夠推定出參考影像中的差異區域。

另外，錯誤對應特徴點密集度探索部902，探索在參考影像中錯誤對應的特徴點密集的區域的範圍受到限定，故比起探索範圍為參考影像整體的錯誤對應特徴點密集度探索部701而言，可更高速地進行處理。

本發明的第3實施態樣的物體辨識裝置Z3，與第2實施態樣同樣，即使不將參考影像中的差異區域事前登錄成資料庫，也能夠推定出參考影像中的差異區域。因此，物體辨識裝置Z3，像在以利用物體辨識功能的產品檢驗系統從多數的產品之中區分出某處具有損傷的產品的情況那樣，在無法事前登錄關於差異區域的資訊時，可發揮功效。然後，本發明的第3實施態樣的物體辨識裝置Z3所進行的參考影像中的差異區域的推定，無論是在差異區域為物體整體的情況之下，還是在其為物體的一部分的情況之下，均可進行，且不會受到從物體以外的區域出現的錯誤對應的特徴點的影響， 而能夠以高精度推定出差異區域，故在圖18或圖19的情況下特別有效。

(第4實施態樣)

參照圖式說明本發明的第4實施態樣。

圖26係表示本發明的第4實施態樣的物體辨識裝置的構造的方塊圖。如圖26所示的，第4實施態樣的物體辨識裝置Z4係具備局部特徴量抽出部11、局部特徴量對照部12、輸入影像差異區域決定部13、輸入影像差異區域特徴量抽出部14、特徴量對照部15、差異區域推定部20、差異區域特徴量抽出部18所構成。

像這樣，第4實施態樣的物體辨識裝置Z4，將第3實施態樣的物體辨識裝置Z3的局部特徴量對照部16以及差異區域推定部19變更為局部特徴量對照部12以及差異區域推定部20，此點有所不同。局部特徴量對照部12，與第1實施態樣的物體辨識裝置Z1或者Z1’的局部特徴量對照部12相同，故詳細說明省略。關於差異區域推定部20的詳細情況，容後敘述。其他的構成要件，與第3實施態樣相同，故附上相同的符號，並省略詳細說明。

圖27係表示差異區域推定部20的構造例的方塊圖。以下，針對該圖進行說明。如圖27所示的，差異區域推定部20可具備轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003、大差分區域檢出部2004而構成。

轉換影像生成部2001，接收輸入影像與從局部特徴量對照部12所輸出的幾何轉換資訊，並輸出轉換影像。轉換影像生成部2001，例如，對輸入影像的各畫素運用幾何轉換資訊，將輸入影像的各畫素投影於與參考影像相同大小的影像上，藉此產生轉換影像。此時，在投影標的影像中，針對輸入影像中的畫素未投影的畫素，轉換影像生成部2001將該畫素值填上0等數值並產生轉換影像。另外，當從局部特徴量對照部12所輸出的幾何轉換資訊為從參考影像中的座標轉換到輸入影像中的座標的資訊時，該轉換影 像生成部2001所運用的幾何轉換資訊，必須為進行相反的轉換的資訊。亦即，當從局部特徴量對照部12所輸出的幾何轉換資訊為從參考影像中的座標轉換到輸入影像中的座標的3×3矩陣時，轉換影像生成部2001所運用的幾何轉換資訊可使用其反矩陣。

差分影像生成部2002，接收與從局部特徴量對照部12所輸出的局部特徴辨識影像ID對應的參考影像，或是與該局部特徴辨識影像ID有所關連的參考影像群，以及從轉換影像生成部2001所輸出的轉換影像，並將取得參考影像與轉換影像的差分的影像當作差分影像輸出。另外，差分影像生成部2002，在取得參考影像與轉換影像的差分時，例如，可修正其中一方的影像的輝度，使兩方的影像的輝度的平均值一致，再取得差分。在此所接收到的參考影像，可如圖26所示的預先儲存於資料庫，亦可不這麼做。

物體區域推定部2003，從差分影像生成部2002接收差分影像，推定出物體區域資訊，並將其輸出。在此所輸出的物體區域資訊，例如，可藉由將差分影像之中差分值較小的區域從影像中找出而推定。這是因為，吾人認為差分影像之中差分值較小的區域為參考影像與轉換影像成像有同一物體的可能性較高的區域。物體區域的推定，例如，可設定既定大小的矩形窗，在差分影像中移動該矩形窗，當矩形窗內畫素值較小的畫素在既定數目以上時，將該矩形窗的區域當作物體區域，亦可用除此以外的方法進行推定。

大差分區域檢出部2004，接收從差分影像生成部2002所輸出的差分影像，以及從物體區域推定部2003所輸出的物體區域資訊，並輸出差異區域資訊。大差分區域檢出部2004，判斷在差分影像內的物體區域中，其差分值變大的部位為參考影像與轉換影像所成像之物體存在差異的部位的可能性較高，將差分值較大的部位從影像內找出，並將該區域資訊當作差異區域資訊輸出。差分值較大的部位亦即差異區域的尋找，例如，可設定既定大小的矩形窗，在差分影像內的物體區域中移動該矩形窗，當矩形窗內畫素值較大的畫素在既定數目以上時，將該矩形窗的區域當作差異區域，亦 可用除此以外的方法。

如以上所述的，在本發明的第4實施態樣中，差異區域推定部20使用輸入影像、參考影像、幾何轉換資訊，推定出參考影像中的差異區域。本發明的第4實施態樣的物體辨識裝置Z4，與第2或第3實施態樣同樣，即使不將參考影像中的差異區域事前登錄成資料庫，也能夠推定出參考影像中的差異區域。因此，物體辨識裝置Z4，像以利用物體辨識功能的產品檢驗系統從多數的產品之中區分出某處具有損傷的產品的情況那樣，在無法事前登錄關於差異區域的資訊時，可發揮功效。然後，本發明的第4實施態樣所進行的參考影像中的差異區域的推定，無論是差異區域為物體整體的情況，還是為物體的一部分的情況，均可進行，惟與第3實施態樣同樣，由於係先推定出物體區域以排除背景的影響，之後再推定出差異區域，故能夠以高精度推定出差異區域，因此在圖18或圖19的情況下特別有效。

(第5實施態樣)

參照圖式說明本發明的第5實施態樣。

圖28係表示本發明的第5實施態樣的物體辨識裝置的構造的方塊圖。如圖28所示的，第5實施態樣的物體辨識裝置Z5係具備局部特徴量抽出部11、局部特徴量對照部16、輸入影像差異區域決定部13、輸入影像差異區域特徴量抽出部14、特徴量對照部15、差異區域推定部21、差異區域特徴量抽出部18而構成。

像這樣，第5實施態樣的物體辨識裝置Z5，係將第3實施態樣的物體辨識裝置Z3與第4實施態樣的物體辨識裝置Z4組合而成的構造。物體辨識裝置Z5與第3實施態樣的物體辨識裝置Z3在比較上，將差異區域推定部19變更成差異區域推定部21，此點有所不同。關於差異區域推定部21的詳細情況，容後敘述。其他的構成要件與第3實施態樣同樣，故附上相同的符號，並省略詳細說明。

圖29、圖30、圖31、圖32係表示差異區域推定部21的構造例的方塊圖。以下，針對各圖進行說明。

如圖29所示的，差異區域推定部21可由轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003、錯誤對應特徴點密集度探索部902所構成。圖29的轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003，與圖27所示的差異區域推定部20的構成要件亦即轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003相同，故詳細說明省略。另外，圖29的錯誤對應特徴點密集度探索部902，與圖25所示的差異區域推定部19的構成要件亦即錯誤對應特徴點密集度探索部902相同，故詳細說明省略。亦即，差異區域推定部21，並非像差異區域推定部19那樣，係從利用參考影像所推定出的物體區域找出錯誤對應的特徴點密集的區域，而是從利用經過轉換的輸入影像與參考影像的差分所推定出的物體區域找出錯誤對應的特徴點密集的區域，藉此推定出差分區域。

另外，如圖30所示的，差異區域推定部21亦可由轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003、大差分區域檢出部2101、錯誤對應特徴點密集度探索部2102所構成。

圖30的轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003，與圖27所示的差異區域推定部20的構成要件亦即轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003相同，故詳細說明省略。圖30的大差分區域檢出部2101，與圖27所示的差異區域推定部20的構成要件亦即大差分區域檢出部2004幾乎相同，惟並非輸出差異區域資訊而係輸出差異待選區域資訊，此點有所不同。

該大差分區域檢出部2101所輸出的差異待選區域資訊，可與大差分區域檢出部2004所輸出的差異區域資訊相同，亦可為比該差異區域資訊掌握更廣一點的區域的區域資訊。圖30的錯誤對應特徴點密集度探索部2102，與圖25所示的差異區域推定部19的構成要件亦即錯誤對應特徴點密集度探 索部902類似，惟並非輸入物體區域資訊，取而代之，係輸入差異待選區域資訊，此點有所不同。

從錯誤對應特徴點密集度探索部2102所輸出的差異區域資訊，係從轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003、大差分區域檢出部2101這4個構件組合所推定出來的差異待選區域之中，進一步以錯誤對應特徴點密集度探索部2102篩選出差異區域所求得。因此，可輸出可靠度較高的差異區域資訊。

另外，如圖31所示的，差異區域推定部21亦可由轉換影像生成部2001、錯誤對應特徴點密集度探索部2103、差分影像生成部2104、大差分區域檢出部2105所構成。

圖31的轉換影像生成部2001，與圖27所示的差異區域推定部20的構成要件亦即轉換影像生成部2001相同，故省略詳細說明。圖31的錯誤對應特徴點密集度探索部2103，與圖22所示的差異區域推定部17的構成要件亦即錯誤對應特徴點密集度探索部701幾乎相同，惟並非輸出差異區域資訊，而係輸出差異待選區域資訊，此點不同。該錯誤對應特徴點密集度探索部2103所輸出的差異待選區域資訊，可與錯誤對應特徴點密集度探索部701所輸出的差異區域資訊相同，亦可為比該差異區域資訊掌握更廣一點的區域的區域資訊。圖31的差分影像生成部2104，與圖27所示的差異區域推定部20的構成要件亦即差分影像生成部2002類似，惟除了參考影像與轉換影像之外更輸入了差異待選區域資訊，此點有所不同。差分影像生成部2104，根據取得參考影像與轉換影像的差分所生成的差分影像，而將差異待選區域資訊所示之區域的影像當作差分影像輸出。圖31的大差分區域檢出部2105，與圖27所示之差異區域推定部20的構成要件亦即大差分區域檢出部2004類似，惟僅輸入差分影像此點有所不同。由於對大差分區域檢出部2105所輸入的差分影像，為與在錯誤對應特徴點密集度探索部2103已經被推定為差異待選區域的區域相關而輸出的差分影像，故在此階段，已經成為表示物體區域的整體或其一部分的區域的影像。從大差分區域檢出部2105所輸出 的差異區域資訊，係從錯誤對應特徴點密集度探索部2103所推定的差異待選區域之中，再以大差分區域檢出部2105限縮出差異區域所求得。因此，可輸出可靠度較高的差異區域資訊。

另外，如圖32所示的，差異區域推定部21亦可由轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003、大差分區域檢出部2101、錯誤對應特徴點密集度探索部2103、差異待選區域重複檢出部2106所構成。圖32的轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003，與圖27所示的差異區域推定部20的構成要件亦即轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003相同，故省略詳細說明。圖32的大差分區域檢出部2101，與圖30的大差分區域檢出部2101相同，故省略詳細說明。另外，圖32的錯誤對應特徴點密集度探索部2103，與圖31的錯誤對應特徴點密集度探索部2103相同，故詳細說明省略。圖32的差異待選區域重複檢出部2106，接收從大差分區域檢出部2101所輸出的差異待選區域資訊、從錯誤對應特徴點密集度探索部2103所輸出的差異待選區域資訊，將該2個資訊中差異待選區域重複的區域判斷為差異區域，並將該差異區域資訊輸出。差異待選區域重複檢出部2106，將無論在大差分區域檢出部2101或是在錯誤對應特徴點密集度探索部2103均經判定為差異待選區域的區域的資訊輸出，藉此輸出可靠度較高的差異區域資訊。

如以上所述的，在本發明的第5實施態樣中，差異區域推定部21，使用輸入影像、參考影像、幾何轉換資訊、對應特徴點資訊，推定出參考影像中的差異區域。本發明的第5實施態樣的物體辨識裝置Z5，與第2、第3、第4實施態樣同樣，即使並未將參考影像中的差異區域事前登錄成資料庫，也能夠推定出參考影像中的差異區域。因此，物體辨識裝置Z5，像以利用物體辨識功能的產品檢驗系統從多數的產品之中區分出某處具有損傷的產品的情況那樣，在無法事前登錄關於差異區域的資訊時可發揮功效。另外，本發明的第5實施態樣，以及，第5實施態樣所進行的參考影像中的差異區域的推定，無論是在差異區域為物體整體的情況下，還是為物體的一部分的情況下，均可進行，比起第2實施態樣等而言，由於可獲得可靠度更高的 差異區域，故可實現更高精度的辨識。另外，本發明的第5實施態樣，在差異區域推定部21為圖31或圖32的構造時，可在錯誤對應特徴點密集度探索部2103之前加入物體區域推定部。此時，可在所推定出的物體區域之中進行誤對應特徴點密集度探索，以推定出差異待選區域。此時，與第3或第4實施態樣同樣，由於可先將背景的影響去除之後，再推定出差異區域，故第5實施態樣的物體辨識裝置Z5，在圖18或圖19的情況下特別有效。

(第6實施態樣)

參照圖式說明本發明的第6實施態樣。

圖33係表示本發明的第6實施態樣的物體辨識裝置的構造的方塊圖。如圖33所示的，第6實施態樣的物體辨識裝置Z6係具備局部特徴量抽出部11、局部特徴量對照部12、輸入影像差異區域決定部13、輸入影像差異區域特徴量抽出部14、特徴量對照部15、差異區域推定部22、差異區域特徴量抽出部18所構成。像這樣，第6實施態樣的物體辨識裝置，將第4實施態樣的物體辨識裝置Z4的差異區域推定部20變更為差異區域推定部22，此點有所不同。關於差異區域推定部22的詳細情況，容後敘述。其他的構成要件與第4實施態樣同樣，故附上相同的符號，並省略詳細說明。

圖34、圖35係表示差異區域推定部22的構造例的方塊圖。以下，針對各圖進行說明。

如圖34所示的，差異區域推定部22可由樣板比對部2201所構成。樣板比對部2201，接收與從局部特徴量對照部12所輸出的局部特徴辨識影像ID對應的參考影像，或是與該局部特徴辨識影像ID有所關連的參考影像群。再者，樣板比對部2201，亦接收與從局部特徴量對照部12所輸出的局部特徴辨識影像ID對應的參考影像的差異區域的樣板影像，或是與該局部特徴辨識影像ID有所關連的樣板影像群，並輸出差異區域資訊。該樣板影像為在差異區域周邊典型可見的影像圖案。在參考影像中移動該樣板影像，進行尋找與樣板影像最類似的區域的樣板比對處理，藉此便可推定出參考影 像中的差異區域。樣板影像，可如圖33所示的預先儲存於資料庫，亦可不這麼做。

另外，如圖35所示的，差異區域推定部22亦可由物體區域推定部901、樣板比對部2202所構成。圖35的物體區域推定部901，與圖25所示的差異區域推定部19的構成要件亦即物體區域推定部901相同，故詳細說明省略。樣板比對部2202，與圖34所示的差異區域推定部22的構成要件亦即樣板比對部2201類似，惟除了與從局部特徴量對照部12所輸出的局部特徴辨識影像ID對應的參考影像、與從局部特徴量對照部12所輸出的局部特徴辨識影像ID對應的差異區域的樣板影像之外，更輸入了從物體區域推定部901所輸出的物體區域資訊，此點有所不同。樣板比對部2202，可針對參考影像中的物體區域，使用樣板影像進行樣板比對，藉此推定出參考影像中的差異區域。另外，樣板比對部2202，由於在參考影像中樣板影像移動範圍受到限定，故比起樣板影像移動範圍為參考影像整體的樣板比對部2201而言，可更高速進行處理。

如以上所述的，在本發明的第6實施態樣中，差異區域推定部22，係使用參考影像，以及表示可見於差異區域周邊的影像圖案的樣板影像，推定出參考影像中的差異區域。本發明的第6實施態樣的物體辨識裝置Z6，與第2~第5實施態樣同樣，無須將參考影像中的差異區域事前登錄成資料庫。然後，若事前知曉可見於差異區域的典型影像圖案的話，物體辨識裝置Z6便可藉由將該影像圖案當作樣板影像利用，而推定出差異區域。例如，當欲從均為相同的信封惟僅收件人不同的複數張郵件影像之中辨識出特定的郵件時，記載收件人的區域可定義為像所謂的郵件編號、地址、收件人那樣文字列的配置在某種程度上為既定格式的影像圖案。因此，在該等情況下物體辨識裝置Z6便可發揮功效。然後，本發明的第6實施態樣所進行的參考影像中的差異區域的推定，無論是在差異區域為物體整體的情況下，還是在為物體的一部分的情況下，均可進行，惟當差異區域推定部22的構造為圖35的情況時，與第3~第5實施態樣同樣，可先推定出物體區域以去除背景的影響之後，再推定出差異區域。因此，物體辨識裝置Z6，能夠以高 精度推定出差異區域，在圖18或圖19的情況下特別有效。

(第7實施態樣)

參照圖式說明本發明的第7實施態樣。

圖36係表示本發明的第7實施態樣的物體辨識裝置的構造的方塊圖。如圖36所示的，第7實施態樣的物體辨識裝置Z7係具備局部特徴量抽出部11、局部特徴量對照部16、輸入影像差異區域決定部13、輸入影像差異區域特徴量抽出部14、特徴量對照部15、差異區域推定部23、差異區域特徴量抽出部18所構成。像這樣，第7實施態樣的物體辨識裝置Z7，為將第2實施態樣的物體辨識裝置Z2與第6實施態樣的物體辨識裝置Z6組合而成的構造。在物體辨識裝置Z7與第2實施態樣的物體辨識裝置Z2的比較中，差異區域推定部17變更為差異區域推定部23此點有所不同。關於差異區域推定部23的詳細情況，容後敘述。其他的構成要件與第2實施態樣同樣，故附上相同的符號，並省略詳細說明。

圖37、圖38、圖39係表示差異區域推定部23的構造例的方塊圖。以下，針對各圖進行說明。

如圖37所示的，差異區域推定部23可由錯誤對應特徴點密集度探索部2103、樣板比對部2301所構成。圖37的錯誤對應特徴點密集度探索部2103，與圖31所示的差異區域推定部21的構成要件亦即錯誤對應特徴點密集度探索部2103相同，故詳細說明省略。另外，圖37的樣板比對部2301，與圖35所示的差異區域推定部22的構成要件亦即樣板比對部2202類似，惟並非輸入物體區域資訊，取而代之係輸入差異待選區域資訊，此點有所不同。亦即，圖37的樣板比對部2301，針對錯誤對應特徴點密集度探索部2103所推定的參考影像中的差異待選區域，使用樣板影像進行樣板比對，推定出參考影像中的差異區域。樣板比對部2301，從錯誤對應特徴點密集度探索部2103所推定出的差異待選區域之中，更進一步利用樣板比對限縮出差異區域，以輸出可靠度較高的差異區域資訊。

另外，如圖38所示的，差異區域推定部23亦可由樣板比對部2302、錯誤對應特徴點密集度探索部2102所構成。圖38的樣板比對部2302，與圖34所示的差異區域推定部22的構成要件亦即樣板比對部2201幾乎相同，惟並非輸出差異區域資訊，而係輸出差異待選區域資訊，此點有所不同。該樣板比對部2302所輸出的差異待選區域資訊，可與樣板比對部2201所輸出的差異區域資訊相同，亦可為掌握比該差異區域資訊更廣一點的區域的區域資訊。另外，圖38的錯誤對應特徴點密集度探索部2102，與圖30所示的差異區域推定部21的構成要件亦即錯誤對應特徴點密集度探索部2102相同，故詳細說明省略。亦即，圖38的錯誤對應特徴點密集度探索部2102，僅著眼於對應特徴點之中存在於樣板比對部2302所推定之參考影像中的差異待選區域的內部的點，找出錯誤對應的特徴點密集的區域，以推定出差異區域。錯誤對應特徴點密集度探索部2102，從樣板比對部2302所推定的差異待選區域之中，更進一步限縮出差異區域，藉此輸出可靠度較高的差異區域資訊。

另外，如圖39所示的，差異區域推定部23亦可由錯誤對應特徴點密集度探索部2103、樣板比對部2302、差異待選區域重複檢出部2106所構成。圖39的錯誤對應特徴點密集度探索部2103，與圖31所示的差異區域推定部21的構成要件亦即錯誤對應特徴點密集度探索部2103相同，故詳細說明省略。圖39的樣板比對部2302，與圖38所示的差異區域推定部23的構成要件亦即樣板比對部2302相同，故詳細說明省略。差異待選區域重複檢出部2106，與圖32所示的差異區域推定部21的構成要件亦即差異待選區域重複檢出部2106相同，故詳細說明省略。在圖39的構造中，差異待選區域重複檢出部2106，將無論是在錯誤對應特徴點密集度探索部2103還是在樣板比對部2302均經判定為差異待選區域的區域的資訊輸出，藉此輸出可靠度較高的差異區域資訊。

如以上所述的，在本發明的第7實施態樣中，差異區域推定部23，係使用參考影像、樣板影像以及對應特徴點資訊，推定出參考影像中的差異區 域。本發明的第7實施態樣的物體辨識裝置Z7，與第2~第6實施態樣同樣，無須將參考影像中的差異區域事前登錄成資料庫。然後，與第6實施態樣同樣，若事前知曉可見於差異區域的典型影像圖案，則物體辨識裝置Z7便可將該影像圖案當作樣板影像利用，進而推定出差異區域。例如，當欲從均為相同的信封惟僅收件人不同的複數張郵件影像之中辨識出特定的郵件時，記載收件人的區域可定義為像所謂的郵件編號、地址、收件人那樣文字列的配置在某種程度上為既定格式的影像圖案。因此，在該等情況下物體辨識裝置Z7便可發揮功效。然後，本發明的第7實施態樣所進行的參考影像中的差異區域的推定，無論是在差異區域為物體整體的情況下，或是在為物體的一部分的情況下，均可進行，與第5實施態樣同樣，比起第2實施態樣等而言，由於可獲得可靠度更高的差異區域，故可實現更高精度的辨識。另外，到此為止所敘述之本發明的第7實施態樣，係將第2實施態樣的物體辨識裝置Z2與第6實施態樣的物體辨識裝置Z6組合構成的態樣。在此，圖36的構造亦可理解為係將第3實施態樣的物體辨識裝置Z3與第6實施態樣的物體辨識裝置Z6組合而成的構造。亦即，當差異區域推定部23為圖37、圖38、圖39的構造時，可在錯誤對應特徴點密集度探索部2103與樣板比對部2302之前加入物體區域推定部。由於該構造係在將背景的影響去除之後，再從物體區域之中推定出差異區域，故在圖18或圖19的情況下特別有效。

(第8實施態樣)

參照圖式說明本發明的第8實施態樣。

圖40係表示本發明的第8實施態樣的物體辨識裝置的構造的方塊圖。如圖40所示的，第8實施態樣的物體辨識裝置Z8係具備局部特徴量抽出部11、局部特徴量對照部12、輸入影像差異區域決定部13、輸入影像差異區域特徴量抽出部14、特徴量對照部15、差異區域推定部24、差異區域特徴量抽出部18所構成。像這樣，第8實施態樣的物體辨識裝置Z8，形成將第4實施態樣的物體辨識裝置與第6實施態樣的物體辨識裝置組合而成的構造。物體辨識裝置Z8，在與第4實施態樣的物體辨識裝置Z4的比較上，將差異區域推 定部20變更為差異區域推定部24，此點有所不同。關於差異區域推定部24的詳細情況，容後敘述。其他的構成要件與第4實施態樣相同，故附上相同的符號，並省略詳細說明。

圖41、圖42、圖43係表示差異區域推定部24的構造例的方塊圖。以下，針對各圖進行說明。

如圖41所示的，差異區域推定部24可由轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003、大差分區域檢出部2101、樣板比對部2301所構成。圖41的轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003，與圖27所示的差異區域推定部20的構成要件亦即轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003相同，故詳細說明省略。圖41的大差分區域檢出部2101，與圖30所示的差異區域推定部21的構成要件亦即大差分區域檢出部2101相同，故詳細說明省略。另外，圖41的樣板比對部2301，與圖37所示的差異區域推定部23的構成要件亦即樣板比對部2301相同，故詳細說明省略。亦即，圖41的樣板比對部2301，針對大差分區域檢出部2101所推定之參考影像中的差異待選區域，使用樣板影像進行樣板比對，以推定出參考影像中的差異區域。樣板比對部2301，從大差分區域檢出部2101所推定的差異待選區域之中，更進一步限縮出差異區域，藉此輸出可靠度較高的差異區域資訊。

另外，如圖42所示的，差異區域推定部24，亦可由轉換影像生成部2001、樣板比對部2302、差分影像生成部2104、大差分區域檢出部2105所構成。圖42的轉換影像生成部2001，與圖27所示的差異區域推定部20的構成要件亦即轉換影像生成部2001相同，故詳細說明省略。另外，圖42的樣板比對部2302，與圖38所示的差異區域推定部23的構成要件亦即樣板比對部2302相同，故詳細說明省略。圖42的差分影像生成部2104以及大差分區域檢出部2105，分別與圖31所示的差異區域推定部21的構成要件亦即差分影像生成部2104以及大差分區域檢出部2105相同，故詳細說明省略。大差分區域檢出部2105，從樣板比對部2302所推定的差異待選區域之中，更進 一步限縮出差異區域，藉此輸出可靠度較高的差異區域資訊。

另外，如圖43所示的，差異區域推定部24亦可由轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003、大差分區域檢出部2101、樣板比對部2302、差異待選區域重複檢出部2106所構成。圖43的轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003，與圖27所示的差異區域推定部20的構成要件亦即轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003相同，故詳細說明省略。另外，圖43的大差分區域檢出部2101，與圖30所示的差異區域推定部21的構成要件亦即大差分區域檢出部2101相同，故詳細說明省略。另外，圖43的樣板比對部2302，與圖38所示的差異區域推定部23的構成要件亦即樣板比對部2302相同，故詳細說明省略。另外，圖43的差異待選區域重複檢出部2106，與圖32所示的差異區域推定部21的構成要件亦即差異待選區域重複檢出部2106相同，故詳細說明省略。在圖43的構造中，差異待選區域重複檢出部2106，將無論是在大差分區域檢出部2101還是在樣板比對部2302均經判定為差異待選區域的區域的資訊輸出，藉此輸出可靠度較高的差異區域資訊。

如以上所述的，在本發明的第8實施態樣中，物體辨識裝置Z8使用輸入影像、參考影像、幾何轉換資訊、樣板影像，推定出參考影像中的差異區域資訊。本發明的第8實施態樣的物體辨識裝置Z8，與第2~第7實施態樣同樣，無須將參考影像中的差異區域事前登錄成資料庫。然後，與第6或第7實施態樣同樣，若事前知曉可見於差異區域的典型影像圖案，則物體辨識裝置Z8便可將該影像圖案當作樣板影像利用，進而推定出差異區域。例如，當欲從均為相同的信封惟僅收件人不同的複數張郵件影像之中辨識出特定的郵件時，記載收件人的區域可定義為像所謂的郵件編號、地址、收件人那樣文字列的配置在某種程度上為既定格式的影像圖案。因此，在該等情況下物體辨識裝置Z8便可發揮功效。然後，本發明的第8實施態樣所進行的參考影像中的差異區域的推定，無論是在差異區域為物體整體的情況下，或是在為物體的一部分的情況下，均可進行，與第5以及第7實施態樣同樣，比起第2實施態樣等而言，由於可獲得可靠度更高的差異區域，故可實現更 高精度的辨識。另外，本發明的第8實施態樣，在差異區域推定部24為圖42或圖43的構造時，可在樣板比對部2302之前加入物體區域推定部。由於該構造可在將背景的影響去除之後，再從物體區域之中推定出差異區域，故在圖18或圖19的情況下特別有效。

(第9實施態樣)

參照圖式說明本發明的第9實施態樣。

圖44係表示本發明的第9實施態樣的物體辨識裝置的構造的方塊圖。如圖44所示的，第9實施態樣的物體辨識裝置Z9係由局部特徴量抽出部11、局部特徴量對照部16、輸入影像差異區域決定部13、輸入影像差異區域特徴量抽出部14、特徴量對照部15、差異區域推定部25、差異區域特徴量抽出部18所構成。像這樣，第9實施態樣的物體辨識裝置Z9形成將第5實施態樣的物體辨識裝置Z5與第6實施態樣的物體辨識裝置Z6組合的構造。物體辨識裝置Z9，在與第5實施態樣的物體辨識裝置Z5的比較上，將差異區域推定部21變更成差異區域推定部25此點有所不同。關於差異區域推定部25的詳細情況，容後敘述。其他的構成要件，與第5實施態樣相同，故附上相同的符號，並省略詳細說明。

差異區域推定部25，可由如圖22所示的僅以錯誤對應特徴點密集度探索部701推定出差異區域的構造、如圖27所示的以轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003、大差分區域檢出部2004推定出差異區域的構造、如圖34所示的僅以樣板比對部2201推定出差異區域的構造組合所構成。關於該等3個推定差異區域的構造，當以某1個構造先推定出差異待選區域之後，再以其他構造對該差異待選區域更進一步進行限縮時，3個推定差異區域的構造無論以哪種順序構成均可。另外，關於該等3個推定差異區域的構造，亦可先以各構造分別推定出差異待選區域，再將該各構造所推定出的差異待選區域的重複區域當作最終的差異區域輸出。另外，關於該等3個推定差異區域的構造，亦可用某1個構造先推定出差異待選區域之後，再從該差異待選區域之中，用剩下的2個構造對差異待選區 域分別進行限縮，並將該2個構造所推定出的差異待選區域的重複區域當作最終的差異區域輸出。另外，關於該等3個推定差異區域的構造，亦可先以2個構造分別推定出差異待選區域，再從該2個構造所推定出的差異待選區域的重複區域之中，以剩下的1個構造對差異待選區域進行限縮，並將所限縮出的區域當作最終的差異區域輸出。

圖45、圖46係表示差異區域推定部25的構造例的方塊圖。以下，針對各圖進行說明。

如圖45所示的，差異區域推定部25可由轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003、大差分區域檢出部2101、樣板比對部2501、錯誤對應特徴點密集度探索部2102所構成。圖45的轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003，與圖27所示的差異區域推定部20的構成要件亦即轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003相同，故詳細說明省略。圖45的大差分區域檢出部2101，與圖30的大差分區域檢出部2101相同，故詳細說明省略。圖45的樣板比對部2501，與圖37所示的差異區域推定部23的構成要件亦即樣板比對部2301幾乎相同，惟並非輸出差異區域資訊，而係輸出差異待選區域資訊，此點有所不同。圖45的錯誤對應特徴點密集度探索部2102，與圖30所示的差異區域推定部21的構成要件亦即錯誤對應特徴點密集度探索部2102相同，故詳細說明省略。亦即，圖45的錯誤對應特徴點密集度探索部2102，著眼於對應特徴點之中存在於樣板比對部2501所推定之參考影像中的差異待選區域內部的點，找出錯誤對應的特徴點密集的區域，以推定出差異區域。然後，該樣板比對部2501，亦針對大差分區域檢出部2101所推定之參考影像中的差異待選區域使用樣板影像進行樣板比對，以推定出參考影像中的差異待選區域。從錯誤對應特徴點密集度探索部2102、大差分區域檢出部2101以及樣板比對部2501所推定的差異待選區域之中，更進一步利用錯誤對應特徴點密集度探索部2102對差異區域進行限縮，藉此輸出可靠度較高的差異區域資訊。

另外，如圖46所示的，差異區域推定部25亦可由轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003、大差分區域檢出部2101、樣板比對部2302、錯誤對應特徴點密集度探索部2103、差異待選區域重複檢出部2502所構成。

圖46的轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003，與圖27所示的差異區域推定部20的構成要件亦即轉換影像生成部2001、差分影像生成部2002、物體區域推定部2003相同，故詳細說明省略。另外，圖46的大差分區域檢出部2101，與圖30所示的差異區域推定部21的構成要件亦即大差分區域檢出部2101相同，故詳細說明省略。另外，圖46的樣板比對部2302，與圖38所示的差異區域推定部23的構成要件亦即樣板比對部2302相同，故詳細說明省略。另外，圖46的錯誤對應特徴點密集度探索部2103，與圖31所示的差異區域推定部21的構成要件亦即錯誤對應特徴點密集度探索部2103相同，故詳細說明省略。圖46的差異待選區域重複檢出部2502，與圖32所示的差異區域推定部21的構成要件亦即差異待選區域重複檢出部2106類似。然而，差異待選區域重複檢出部2502，接收分別從大差分區域檢出部2101、樣板比對部2302、錯誤對應特徴點密集度探索部2103輸出的3個差異待選區域資訊，將該等3個資訊中差異待選區域有所重複者判斷為差異區域，並將該差異區域資訊輸出，此點有所不同。差異待選區域重複檢出部2502，將在大差分區域檢出部2101、樣板比對部2302以及錯誤對應特徴點密集度探索部2103均經判定為差異待選區域的區域的資訊輸出，藉此輸出可靠度較高的差異區域資訊。

另外，差異區域推定部25亦可構成圖45或圖46以外的構造。例如，首先利用錯誤對應特徴點密集度探索部2103推定出差異待選區域，接著以樣板比對部2501更進一步對差異待選區域進行限縮，最後由轉換影像生成部2001、差分影像生成部2104、大差分區域檢出部2105的組合推定出最終的差異區域資訊，這樣也是可以。另外，利用錯誤對應特徴點密集度探索的差異待選區域的推定、利用樣板比對的差異待選區域的推定、利用大差分區域檢出的差異待選區域的推定的處理順序，亦可為到此為止所敘述之構 造例以外的順序。

如以上所述的，在本發明的第9實施態樣中，差異區域推定部25，使用輸入影像、參考影像、幾何轉換資訊、對應特徴點資訊、樣板影像，推定出參考影像中的差異區域資訊。本發明的第9實施態樣的物體辨識裝置Z9，與實施態樣2~8同樣，無須將參考影像中的差異區域事前登錄成資料庫。然後，與第6~第8實施態樣同樣，若事前知曉可見於差異區域的典型影像圖案，則物體辨識裝置Z9便可將該影像圖案當作樣板影像利用，藉此推定出差異區域。例如，當欲從均為相同的信封惟僅收件人不同的複數張郵件影像之中辨識出特定的郵件時，記載收件人的區域可定義為像所謂的郵件編號、地址、收件人那樣文字列的配置在某種程度上為既定格式的影像圖案。因此，在該等情況下物體辨識裝置Z9便可發揮功效。然後，本發明的第9實施態樣所進行的參考影像中的差異區域的推定，無論是在差異區域為物體整體的情況下，或是在為物體的一部分的情況下，均可進行，與第5、第7、第8實施態樣同樣，比起第2實施態樣等而言，由於可獲得可靠度更高的差異區域，故可實現更高精度的辨識。另外，本發明的第9實施態樣，例如，當差異區域推定部25為圖46的構造時，可在樣板比對部2302或錯誤對應特徴點密集度探索部2103之前加入物體區域推定部。由於該構造可在將背景的影響去除之後，再從物體區域之中推定出差異區域，故在圖18或圖19的情況下特別有效。

(第10實施態樣)

參照圖式說明本發明的第10實施態樣。

圖47係表示本發明的第10實施態樣的物體辨識裝置的構造例的方塊圖。如圖47所示的，第10實施態樣的物體辨識裝置Z10可具備局部特徴量抽出部11、局部特徴量對照部12、輸入影像差異區域決定部13、輸入影像差異區域特徴量抽出部26、特徴量對照部27而構成。像這樣，第10實施態樣的物體辨識裝置Z10，將第1實施態樣的物體辨識裝置Z1的輸入影像差異區域特徴量抽出部14以及特徴量對照部15變更為輸入影像差異區域特徴量抽 出部26以及特徴量對照部27，此點有所不同。關於輸入影像差異區域特徴量抽出部26與特徴量對照部27的詳細情況，容後敘述。其他的構成要件，與第1實施態樣相同，故附上相同的符號，並省略詳細說明。

圖48、圖49係表示輸入影像差異區域特徴量抽出部26的構造例的方塊圖。以下，針對各圖進行說明。

如圖48所示的，輸入影像差異區域特徴量抽出部26可由差異區域資訊修正部401、差異區域局部特徴量抽出部2602所構成。圖48的差異區域資訊修正部401，與圖5所示的輸入影像差異區域特徴量抽出部14的構成要件亦即差異區域資訊修正部401相同，故詳細說明省略。差異區域局部特徴量抽出部2602，接收從差異區域資訊修正部401所輸出的修正差異區域資訊，以及在局部特徴量抽出部11中從輸入影像所抽出的局部特徴量亦即局部特徴量1，並抽出特徴量1。差異區域局部特徴量抽出部2602，根據成為記述局部特徴量1時的基礎的特徴點的座標資訊，找出存在於經過修正的輸入影像的差異區域內的特徴點，並輸出將該特徴點周邊的資訊當作局部特徴量記述的特徴量作為特徴量1。亦即，在此所輸出的特徴量1，為將局部特徴量1的一部分切出所生成的特徴量。在本發明的第10實施態樣中，於特徴量對照部27與特徴量1對照的特徴量2，與特徴量1同樣，為將從參考影像所抽出之局部特徴量亦即局部特徴量2的一部分切出所生成的特徴量。

另外，如圖49所示的，輸入影像差異區域特徴量抽出部26亦可由差異區域局部特徴量抽出部2601所構成。圖49的差異區域局部特徴量抽出部2601，與圖48所示的輸入影像差異區域特徴量抽出部26的構成要件亦即差異區域局部特徴量抽出部2602幾乎相同，惟並非輸入「修正差異區域資訊」，而係輸入修正前的輸入影像的差異區域資訊亦即輸入影像差異區域資訊，此點有所不同。

圖50係表示特徴量對照部27的構造例的方塊圖。以下，針對該圖進行說明。如圖50所示的，特徴量對照部27可由對應特徴點決定部201、錯誤對 應點去除部2701、辨識分數算出部203、閾值判定部2702所構成。圖50的對應特徴點決定部201、辨識分數算出部203，與圖4所示的局部特徴量對照部12的構成要件亦即對應特徴點決定部201、辨識分數算出部203相同，故詳細說明省略。圖50的錯誤對應點去除部2701，與圖4所示的局部特徴量對照部12的構成要件亦即錯誤對應點去除部202幾乎相同，惟其並未輸出幾何轉換資訊，而係僅輸出對應特徴點資訊，此點有所不同。圖50的閾值判定部2702，與圖4所示的局部特徴量對照部12的構成要件亦即閾值判定部204幾乎相同，惟並非輸出局部特徴辨識影像ID，而係輸出差異區域辨識影像ID，此點有所不同。

在本發明的第10實施態樣中，與第1~第9實施態樣不同，將局部特徴量的一部分切出所生成的特徴量係使用於差異區域的辨識。因此，第10實施態樣，在輸入影像差異區域特徴量抽出部中產生特徴量時，只要輸入從輸入影像所抽出的局部特徴量即可，輸入影像此要素並非必要。因此，當物體辨識裝置Z10構成局部特徴量的抽出在客戶端側進行而其他處理在伺服器側進行的伺服器客戶端系統時，只要將比輸入影像更小資料量的局部特徴量傳送到伺服器側即可。藉此，物體辨識裝置Z10便可縮短直到獲得辨識結果為止的處理時間。另外，在本發明的第10實施態樣中的特徴量對照部，雖係進行與局部特徴量對照部幾乎相同的處理，惟其可將從差異區域以外部份所檢出之特徴點的對應所造成的影響排除，而僅進行差異區域的對照。因此，比起將從影像整體所抽出之局部特徴量全部運用的以往的方式而言，在本發明的第10實施態樣中的特徴量對照部，更可區別出物體內的差異，進而實現高精度的辨識。另外，作為本發明的第10實施態樣的構造例，到此為止依序說明的圖47，為以第1實施態樣為基礎的構造。然後同樣地，圖47亦可設置成分別以第2~第9實施態樣以及後述的第13、第14實施態樣為基礎的構造。換言之，亦可使對第2~第9以及第13、第14實施態樣的構造例中的輸入影像差異區域特徴量抽出部14的輸入，不是輸入影像而是局部特徴量1，進而構成物體辨識裝置Z10。

(第11實施態樣)

參照圖式說明本發明的第11實施態樣。

圖51係表示本發明的第11實施態樣的物體辨識裝置的構造的方塊圖。如圖51所示的，第11實施態樣的物體辨識裝置Z11係具備局部特徴量抽出部11、局部特徴量對照部12、輸入影像差異區域決定部13、輸入影像差異區域特徴量抽出部28、特徴量對照部29而構成。像這樣，第11實施態樣的物體辨識裝置Z11，將第1實施態樣的物體辨識裝置Z1的輸入影像差異區域特徴量抽出部14以及特徴量對照部15變更為輸入影像差異區域特徴量抽出部28以及特徴量對照部29，此點有所不同。關於輸入影像差異區域特徴量抽出部28、特徴量對照部29的詳細情況，容後敘述。其他的構成要件，與第1實施態樣相同，故附上相同的符號，並省略詳細說明。

圖52係表示輸入影像差異區域特徴量抽出部28的構造例的方塊圖。以下，針對該圖進行說明。如圖52所示的，輸入影像差異區域特徴量抽出部28可由差異區域資訊修正部401、修正差異區域影像生成部402、差異區域特徴量算出部403、差異區域影像生成部404所構成。圖52的差異區域資訊修正部401、修正差異區域影像生成部402、差異區域特徴量算出部403，與圖5所示的輸入影像差異區域特徴量抽出部14的構成要件亦即差異區域資訊修正部401、修正差異區域影像生成部402、差異區域特徴量算出部403相同，故詳細說明省略。另外，圖52的差異區域影像生成部404，與圖6所示的輸入影像差異區域特徴量抽出部14的構成要件亦即差異區域影像生成部404相同，故詳細說明省略。亦即，輸入影像差異區域特徴量抽出部28，將圖5與圖6的構造組合，從經過修正的輸入影像的差異區域抽出特徴量1a，並從未經過修正的輸入影像的差異區域抽出特徴量1b。

圖53、圖54係表示特徴量對照部29的構造例的方塊圖。以下，針對各圖進行說明。

如圖53所示的，特徴量對照部29可由差異區域辨識分數算出部2901、閾值判定部2902、差異區域辨識分數算出部2903、閾值判定部502所構成。 圖53的差異區域辨識分數算出部2901，與圖14所示的特徴量對照部15的構成要件亦即差異區域辨識分數算出部501相同，故詳細說明省略。圖53的閾值判定部2902，與圖14所示的特徴量對照部15的構成要件亦即閾值判定部502幾乎相同，惟當閾值判定的結果判定為並非同一影像時，輸出對該等影像的再判定指示，此點有所不同。圖53的差異區域辨識分數算出部2903，與圖14所示的特徴量對照部15的構成要件亦即差異區域辨識分數算出部501幾乎相同，惟除了2個特徴量之外更從閾值判定部2902接收再判定指示，此點有所不同。差異區域辨識分數算出部2903，對有再判定指示的影像，再次算出差異區域辨識分數。圖53的閾值判定部502，與圖14所示的特徴量對照部15的構成要件亦即閾值判定部502相同，故詳細說明省略。亦即，當特徴量對照部29為圖53的構造時，進行以下的處理。首先，差異區域辨識分數算出部2901，使用從修正前的輸入影像的差異區域所抽出的特徴量1b與從參考影像的差異區域所抽出的特徴量算出辨識分數。然後，閾值判定部2902判定其相同性。針對在該階段經判定為相同的參考影像，閾值判定部2902將該參考影像的ID當作差異區域辨識影像ID輸出。另一方面，針對在該階段經判定為不相同的參考影像，差異區域辨識分數算出部2903，使用從經過修正的輸入影像的差異區域所抽出的特徴量1a與從參考影像的差異區域所抽出的特徴量再度算出辨識分數。然後，閾值判定部502判定其相同性。若在此經判定為相同，則閾值判定部502便將該參考影像的ID當作差異區域辨識影像ID輸出。在圖53中的閾值判定部2902與閾值判定部502，可使用同一閾值進行判定，亦可在閾值判定部2902中的閾值比在閾值判定部502中的閾值更寬鬆。

另外，如圖54所示的，特徴量對照部29亦可由差異區域辨識分數算出部2901、差異區域辨識分數算出部2904、閾值判定部2905所構成。圖54的差異區域辨識分數算出部2901以及差異區域辨識分數算出部2904，與圖14所示的特徴量對照部15的構成要件亦即差異區域辨識分數算出部501相同，故詳細說明省略。圖54的閾值判定部2905，與圖14所示的特徴量對照部15的構成要件亦即閾值判定部502類似，惟輸入2個差異區域辨識分數此點有所不同。閾值判定部2905，將從差異區域辨識分數算出部2901與差異 區域辨識分數算出部2904所輸出的差異區域辨識分數合成，並對合成後的差異區域辨識分數進行與閾值判定部502同樣的處理。差異區域辨識分數的合成方法，例如，可算出從差異區域辨識分數算出部2901與差異區域辨識分數算出部2904所輸出的差異區域辨識分數的積，亦可算出該等分數的和，亦可選擇2個差異區域辨識分數之中較大的一方。亦即，特徴量對照部29，將特徴量1a(第1特徴量)與從參考影像的差異區域所抽出的特徴量(第3特徴量)的對照，以及特徴量1b(第2特徴量)與第3特徴量的對照平行進行，並將2個對照結果的統合結果當作對照結果輸出。

在本發明的第11實施態樣中，與第1實施態樣同樣，該差異區域的資訊事前登錄成資料庫。該登錄之參考影像中的差異區域，以及用幾何轉換資訊與差異區域資訊所決定之輸入影像中的差異區域，還有該輸入影像中的差異區域經過修正的區域，可分別將具有差異的必要最小限度的區域從參考影像與輸入影像抽出。因此，不消說差異區域為物體整體的情況，即使是為物體的一部分的情況，本發明的第11實施態樣的物體辨識裝置Z11，也能夠正確辨識出影像所成像的物體，進而能夠防止在以往的僅使用局部特徴量的情況下造成問題的錯誤辨識。再者，並非像第1實施態樣那樣，僅使用從輸入影像的修正前的差異區域或是修正後的差異區域其中之一所抽出的特徴量進行辨識，而是使用分別從輸入影像的修正前與修正後的差異區域所抽出的特徴量二者進行辨識，物體辨識裝置Z11便可更正確地進行辨識。另外，作為本發明的第11實施態樣的構造例，到此為止依序說明的圖51，為以第1實施態樣為基礎的構造。然後同樣地，圖51亦可設置成分別以第2~第10實施態樣以及後述的第13、第14實施態樣為基礎的構造。

(第12實施態樣)

參照圖式說明本發明的第12實施態樣。

圖55係表示本發明的第12實施態樣的物體辨識裝置的構造例的方塊圖。如圖55所示的，第12實施態樣的物體辨識裝置Z12可具備局部特徴量抽出部11、局部特徴量對照部30、輸入影像差異區域決定部13、輸入影像差 異區域特徴量抽出部14、特徴量對照部31、辨識分數統合判定部32而構成。像這樣，第12實施態樣的物體辨識裝置Z12，將第1實施態樣的物體辨識裝置Z1的局部特徴量對照部12以及特徴量對照部15變更為局部特徴量對照部30以及特徴量對照部31，並將辨識分數統合判定部32當作新的構成要件加入，此點有所不同。關於局部特徴量對照部30、特徴量對照部31、辨識分數統合判定部32的詳細情況，容後敘述。其他的構成要件，與第1實施態樣相同，故附上相同的符號，並省略詳細說明。

圖56係表示局部特徴量對照部30的構造例的方塊圖。以下，針對該圖進行說明。如圖56所示的，局部特徴量對照部30可由對應特徴點決定部201、錯誤對應點去除部202、辨識分數算出部203、閾值判定部3001所構成。圖56的對應特徴點決定部201、錯誤對應點去除部202、辨識分數算出部203，與圖4所示的局部特徴量對照部12的構成要件亦即對應特徴點決定部201、錯誤對應點去除部202、辨識分數算出部203相同，故詳細說明省略。圖56的閾值判定部3001，與圖4所示的局部特徴量對照部12的構成要件亦即閾值判定部204幾乎相同，惟除了局部特徴辨識影像ID之外，更輸出從與該局部特徴辨識影像ID對應的參考影像或是與其有所關連的參考影像群所抽出的局部特徴的辨識分數，此點有所不同。亦可使該閾值判定部3001所設定之閾值比閾值判定部204所設定之閾值更寬鬆，藉此輸出複數個局部特徴辨識影像ID與辨識分數。

圖57係表示特徴量對照部31的構造例的方塊圖。以下，針對該圖進行說明。如圖57所示的，特徴量對照部31可由差異區域辨識分數算出部501、閾值判定部3101所構成。圖57的差異區域辨識分數算出部501，與圖14所示的特徴量對照部15的構成要件亦即差異區域辨識分數算出部501相同，故詳細說明省略。圖57的閾值判定部3101，與圖14所示的特徴量對照部15的構成要件亦即閾值判定部502幾乎相同，惟除了差異區域辨識影像ID之外，更輸出從與該差異區域辨識影像ID對應的參考影像或是與其有所關連的參考影像群的差異區域所抽出的特徴量的差異區域辨識分數，此點有所不同。亦可使該閾值判定部3101所設定之閾值比閾值判定部502所設定之閾值更 寬鬆，藉此輸出複數個差異區域辨識影像ID與差異區域辨識分數。

圖58係表示辨識分數統合判定部32的構造例的方塊圖。以下，針對該圖進行說明。如圖58所示的，辨識分數統合判定部32可由辨識分數統合部3201、閾值判定部3202所構成。辨識分數統合部3201，接收從局部特徴量對照部30所輸出的辨識分數，以及從特徴量對照部31所輸出的差異區域辨識分數，並輸出統合分數。此時，辨識分數統合判定部32，例如可求出與同一影像ID對應的辨識分數以及差異區域辨識分數的積，並將該數值當作統合分數輸出。圖58的閾值判定部3202，與圖4所示的局部特徴量對照部12的構成要件亦即閾值判定部204或圖14所示的特徴量對照部15的構成要件亦即閾值判定部502幾乎相同，惟將辨識分數統合部3201所輸出的統合分數當作輸入，並將該數值在閾值以上的影像的影像ID當作辨識影像ID輸出，此點有所不同。

本發明的第12實施態樣的物體辨識裝置Z12，與第1~第11實施態樣不同，並非僅以差異區域辨識分數決定最終的辨識結果，而是根據將其與局部特徴量的辨識分數統合之後的分數判定最終的辨識結果。例如，在成像有同一物體的影像於惡劣的環境(例如陰暗環境)下拍攝而另一類似物體於理想的環境下拍攝這樣的情況下，而且，當該等類似物體除了結構之外連色調也類似時，僅靠從差異區域所抽出的特徴量並無法正確進行辨識。然而，藉由與根據局部特徴量的辨識結果配合，便可使對同一物體的辨識結果的正確性相對地提高。另外，作為本發明的第12實施態樣的構造例，到此為止依序說明的圖55，為以第1實施態樣為基礎的構造。然後同樣地，圖55亦可設置成分別以第2~第11實施態樣以及後述的第13、第14實施態樣為基礎的構造。亦即，在第2~第11實施態樣以及第13、第14實施態樣的構造例中，可從局部特徴量對照部輸出辨識分數，並從特徴量對照部輸出差異區域辨識分數，並將該等分數輸入辨識分數統合判定部，進而以此方式構成物體辨識裝置Z12。

(第13實施態樣)

參照圖式說明本發明的第13實施態樣。

圖61係表示本發明的第13實施態樣的物體辨識裝置的構造例的方塊圖。如圖61所示的，第13實施態樣的物體辨識裝置Z13係具備局部特徴量抽出部11、局部特徴量對照部12、輸入影像差異區域決定部13、輸入影像差異區域特徴量抽出部14、特徴量對照部15、差異區域特徴量抽出部18、差異區域推定部33而構成。參考影像DB係可儲存複數張參考影像的資料庫。

像這樣，第13實施態樣的物體辨識裝置Z13，將第4實施態樣的物體辨識裝置Z4的差異區域推定部20變更為差異區域推定部33，此點有所不同。其他的構成要件，與第4實施態樣相同，故附上相同的符號，並省略詳細說明。

差異區域推定部33，比較每2張參考影像，推定出參考影像中的差異區域。具體而言，差異區域推定部33進行以下的處理。首先，差異區域推定部33，從2張參考影像分別抽出局部特徴量。接著，差異區域推定部33，利用對照該等局部特徴量所算出的幾何轉換資訊，進行該2張參考影像的位置對準。接著，差異區域推定部33，求出位置已經對準的2張參考影像的差分。然後，差異區域推定部33，根據該差分，進行差異區域的推定，藉此輸出與該2張參考影像對應的差異區域資訊。差異區域推定部33，可針對從參考影像DB所儲存的參考影像選出的2張參考影像的每個組合輸出差異區域資訊。例如，當參考影像DB儲存了參考影像A、B、C、D、E等5張參考影像時，差異區域推定部33，可輸出從該5張參考影像選出2張的組合數亦即10組的差異區域資訊。

差異區域推定部33，在上述的推定出差異區域的處理中，亦可從2張參考影像分別抽出局部特徴量，並對照該等局部特徴量以算出對應特徴點。然後，由於所算出之對應特徴點係表示2張參考影像一致的區域(同一區域)，故差異區域推定部33亦可將除了外接於對應特徴點的區域以外的區域，推定為各參考影像中的差異區域，並將該區域當作差異區域資訊輸出。

第13實施態樣的特徴量對照部15，可與圖14的第1實施態樣的特徴量對照部15同樣，由差異區域辨識分數算出部501與閾值判定部502所構成。接著，針對第13實施態樣的特徴量對照部15的處理進行說明。特徴量對照部15，亦可對差異區域推定部33所輸出的差異區域資訊，進行以下的勝出方式的處理。首先，特徴量對照部15，在與某2張參考影像對應的差異區域資訊中，對照從輸入影像的差異區域所抽出的特徴量，以及從2張參考影像的各差異區域所抽出的特徴量，並算出差異區域辨識分數。然後，特徴量對照部15，選擇具有較高差異區域辨識分數的參考影像，並在與所選擇的參考影像以及未經處理的另1張參考影像對應的差異區域資訊中重複同樣的處理。將該處理進行到全部的參考影像都經過處理。然後，特徴量對照部15，將最終所選擇的參考影像，判定為與輸入影像成像有同一物體的影像，並將該參考影像的ID當作差異區域辨識影像ID輸出。

茲說明上述的勝出方式的具體處理的例子。參考影像DB係儲存了參考影像A、B、C、D、E等5張參考影像的構件。首先，特徴量對照部15，在與參考影像A以及參考影像B對應的差異區域中，根據輸入影像的特徴量，和參考影像A以及參考影像B各自的特徴量算出差異區域辨識分數。在此，當參考影像A具有比參考影像B更高的差異區域辨識分數時，特徴量對照部15，在與參考影像A以及下一參考影像亦即參考影像C對應的差異區域中，根據輸入影像的特徴量，和參考影像A以及參考影像C各自的特徴量算出差異區域辨識分數。然後，當參考影像C具有比參考影像A更高的差異區域辨識分數時，特徴量對照部15，在與參考影像C以及下一參考影像亦即參考影像D對應的差異區域中，進行同樣的處理。然後，當參考影像D具有比參考影像C更高的差異區域辨識分數時，特徴量對照部15，在與參考影像D以及下一參考影像亦即參考影像E對應的差異區域中，進行同樣的處理。然後，當參考影像D具有比參考影像E更高的差異區域辨識分數時，全部的參考影像都已經過處理，據此，特徴量對照部15便將參考影像D判定為與輸入影像成像有同一物體的影像。然後，特徴量對照部15將參考影像D的ID當作差異區域辨識影像ID輸出。

或者，特徴量對照部15，亦可並非一定要將在上述勝出方式的處理中最終所選擇的參考影像輸出。例如，特徴量對照部15，亦可判定在最終所選擇的參考影像與其他參考影像的組合中所算出的最終所選擇的參考影像的差異區域辨識分數的平均值或最小值是否在閾值以上，藉此決定最終可否輸出。

或者，亦可進行與上述勝出方式的處理不同的處理。例如，特徴量對照部15，在各參考影像的全部組合中，對照從輸入影像的差異區域所抽出的特徴量以及從2張參考影像的各差異區域所抽出的特徴量，算出各參考影像的差異區域辨識分數。然後，特徴量對照部15，並非擇一地選擇某一方的參考影像，而是選擇所有差異區域辨識分數在既定閾值以上的參考影像。或者，特徴量對照部15，亦可選擇所有差異區域辨識分數在既定閾值以上且與另一方的參考影像的差異區域辨識分數的差在既定值以上的參考影像。然後，特徴量對照部15，可將如是選擇之參考影像，判定為與輸入影像成像有同一物體的影像，並將該等參考影像的ID當作差異區域辨識影像ID輸出。

或者，亦可進行如下的處理。特徴量對照部15，保持在各參考影像的組合中所算出的差異區域辨識分數。然後，在對全參考影像的組合算出差異區域辨識分數的時點，特徴量對照部15，針對每張參考影像算出差異區域辨識分數的平均值，並將所算出的數值當作各參考影像的最終差異區域辨識分數。特徴量對照部15，可根據該最終差異區域辨識分數輸出差異區域辨識影像ID。

差異區域推定部33，亦可在上述的推定差異區域的處理中，將2張參考影像中顏色不相類似的區域推定為差異區域。該處理，例如以如下方式進行。首先，差異區域推定部33，將2張參考影像的尺寸變更為相同影像尺寸。接著，差異區域推定部33，計算在2張參考影像中互相對應的畫素的顏色類似度。接著，差異區域推定部33，將顏色不相類似的區域推定為差異區域， 並將該區域當作差異區域資訊輸出。特徴量對照部15，針對在各參考影像之間的比較中被檢測出為顏色不相類似的區域，在變更成與參考影像相同影像尺寸的輸入影像以及參考影像之間進行對照處理。在使用該方法的情況下，在計算各參考影像之間或是參考影像與輸入影像之間的顏色類似度時，除了對應的畫素之外，亦可包含其周邊畫素在內，找出類似的顏色。關於計算顏色的類似度的方法，例如，可採用算出比較畫素中的R(紅)、G(綠)、B(藍)各輝度值的差分的2次方的和的方法。或者，亦可採用在以R、G、B的輝度值的總和將R、G、B的輝度值分別規格化之後，算出比較畫素中的規格化數值的差分的2次方的和的方法。

另外，差異區域推定部33，在上述的推定差異區域的處理中，亦可將2張參考影像中並非顏色而係邊緣成分不相類似的區域推定為差異區域。具體而言，差異區域推定部33，在變更為相同影像尺寸的2張參考影像中，從各張參考影像抽出邊緣成分，並計算所抽出之邊緣成分的類似度。接著，差異區域推定部33，將邊緣成分不相類似的區域推定為差異區域，並將該區域當作差異區域資訊輸出。特徴量對照部15，針對在各參考影像之間的比較中被檢測出為邊緣成分不相類似的區域，進行輸入影像與參考影像的對照處理。

另外，亦可利用顏色或邊緣以外的特徴量進行同樣的處理。

如以上所述的，本發明的第13實施態樣的物體辨識裝置Z13，並非像第2~第12實施態樣那樣係動態比較輸入影像與參考影像以推定出差異區域，而係事前進行參考影像之間的比較以推定出差異區域。利用事前所推定的差異區域，本發明的第13實施態樣的物體辨識裝置Z13便可將直到獲得辨識結果為止的時間縮得比第2~第12實施態樣更短。

(第14實施態樣)

參照圖式說明本發明的第14實施態樣。

圖62係表示本發明的第14實施態樣的物體辨識裝置的構造例的方塊圖。如圖62所示的，第14實施態樣的物體辨識裝置Z14係具備局部特徴量抽出部11、局部特徴量對照部16、輸入影像差異區域決定部13、輸入影像差異區域特徴量抽出部14、特徴量對照部15、差異區域特徴量抽出部18、差異區域推定部34而構成。

像這樣，第14實施態樣的物體辨識裝置Z14，將第13實施態樣的物體辨識裝置Z13的局部特徴量對照部12以及差異區域推定部33變更為局部特徴量對照部16以及差異區域推定部34，此點有所不同。其他的構成要件，與第13實施態樣相同，故附上相同的符號，並省略詳細說明。

差異區域推定部34，與第13實施態樣中的差異區域推定部33同樣，比較每2張參考影像，藉此推定出參考影像中的差異區域。在該推定出差異區域的處理中，差異區域推定部34，使用局部特徴量對照部16所輸出的對應特徴點資訊，以及2張參考影像的對應特徴點資訊(以下稱為「參考影像對應特徴點資訊」)，此點與第13實施態樣有所不同。

具體而言，差異區域推定部34進行如下的處理。首先，差異區域推定部34，從2張參考影像分別抽出局部特徴量。接著，差異區域推定部34，對照該2張參考影像的局部特徴量以算出參考影像對應特徴點資訊。接著，差異區域推定部34，從局部特徴量對照部16所輸出的對應特徴點資訊，將與所算出之參考影像對應特徴點資訊一致的對應特徴點資訊排除。接著，差異區域推定部34，選擇2張參考影像之中未被排除而留下的對應特徴點資訊較多的一方的參考影像，在所選擇的參考影像中，將外接於所留下之對應特徴點的區域，當作與該2張參考影像對應的差異區域資訊輸出。

或者，差異區域推定部34，亦可不輸出外接於對應特徴點的區域的資訊，而是將從對應特徴點資訊之中將與參考影像對應特徴點資訊一致者排除之後的對應特徴點資訊本身當作差異區域資訊輸出。此時，輸入影像差異區域特徴量抽出部14所使用的特徴量為局部特徴量。

在對照的處理中，與第13實施態樣同樣，針對每2張影像進行比較。

差異區域推定部34比較每2張參考影像以推定出參考影像中的差異區域的方法，亦可與第13實施態樣中的差異區域推定部33同樣，為將顏色或邊緣成分不相類似的區域當作差異區域的方法。在該方法中，差異區域推定部34亦可追加進行使用輸入影像與參考影像的對應特徴點資訊的處理。例如，差異區域推定部34，亦可在附近存在對應特徴點的區域中，提高所算出的顏色或邊緣的類似度的可靠度，並在附近不存在對應特徴點的區域中，降低所算出的顏色或邊緣的類似度的可靠度。另外，所謂「可靠度高」，係表示高估所算出的類似度(例如乘以較大的係數)，所謂「可靠度低」，係表示低估所算出的類似度(例如乘以較小的係數)。

如以上所述的，本發明的第14實施態樣的物體辨識裝置Z14，在事前的差異區域的推定處理中，除了參考影像之間的比較處理之外，也進行根據輸入影像與參考影像的對應特徴點資訊的處理。藉此，物體辨識裝置Z14，便可進行比第13實施態樣更高精度的辨識。

圖59係表示構成電腦的要素的例子的方塊構造圖。圖59的電腦9000具備CPU(Central Processing Unit，中央處理單元)9010、RAM(Random Access Memory，隨機存取記憶體)9020、ROM(Read Only Memory，唯讀記憶體)9030、硬碟機9040、通信介面9050。另外，可移式記錄媒體9060，可裝設於電腦9000或取出。可移式記錄媒體9060，亦可為可裝設或取出的磁碟媒體、光碟媒體或者記憶卡等。

前述的物體辨識裝置Z1、Z1’、Z2~Z14的構成要件，亦可由程式在電腦9000的CPU9010中執行而實現。具體而言，該等構成要件，亦可由CPU9010從ROM9030、硬碟機9040或者可移式記錄媒體9060讀取程式，並使所讀取的程式以例如圖2所示之流程圖的順序於CPU9010執行而實現。然後，在該等情況下，以上述實施態樣為例進行說明的本發明，可理解為係由代表該 電腦程式的程式碼或是儲存了代表該電腦程式的程式碼的電腦可讀取記錄媒體(例如硬碟機9040或可移式記錄媒體9060等)所構成。

或者，該等構成要件，亦可由專用的硬體實現。另外，物體辨識裝置Z1、Z1’、Z2~Z14，亦可為具備該等構成要件的專用硬體。

以上，係參照實施態樣說明本案發明，惟本案發明並不限於上述實施態樣。本案發明的構造或詳細內容，在本案發明的範圍內可作出本領域從業人員所能理解的各種變更。

本申請案，主張以在2012年12月28日提出申請的日本專利申請案特願2012-288397為基礎的優先權，而包含其所揭示的全部內容。

上述的實施態樣的一部分或全部，亦可記載成如以下的附註那樣，惟本發明並非僅限於以下的內容。

(附註1)一種物體辨識裝置，其特徵為包含：局部特徴量對照部，其算出從參考影像中的座標轉換到輸入影像中的對應座標的幾何轉換資訊，並對照從該參考影像所抽出的局部特徴量與從該輸入影像所抽出的局部特徴量；輸入影像差異區域決定部，其根據關於被該對照判定為一致的該輸入影像的該幾何轉換資訊，將該參考影像中的差異區域轉換，並決定與該參考影像中的差異區域對應的該輸入影像中的差異區域；輸入影像差異區域特徴量抽出部，其修正該輸入影像中的差異區域，並從該經過修正的輸入影像的差異區域抽出特徴量；以及特徴量對照部，其對照該輸入影像差異區域特徴量抽出部所抽出的特徴量以及從該參考影像中的差異區域所抽出的特徴量，並輸出對照結果。

(附註2)如附註1所記載的物體辨識裝置，其中，該輸入影像差異區域特徴量抽出部，將該輸入影像的差異區域修正為擴張既定畫素分量的區域，並從該經過修正的輸入影像的差異區域抽出特徴量。

(附註3)如附註1所記載的物體辨識裝置，其中，該輸入影像差異區域特徴量抽出部，將該輸入影像的差異區域修正為以該差異區域內的基準點為基準擴張既定比率的區域，並從該經過修正的輸入影像的差異區域抽出特徴量。

(附註4)如附註1所記載的物體辨識裝置，其中，該輸入影像差異區域特徴量抽出部，當在該輸入影像的差異區域內的端部存在邊緣密集的區域時，將該輸入影像的差異區域修正為朝該邊緣密集的方向擴張的區域，並從該經過修正的輸入影像的差異區域抽出特徴量。

(附註5)如附註1所記載的物體辨識裝置，其中更包含：差異區域推定部，其比較每2張參考影像，藉此將所比較的參考影像之間存在差異的區域當作該參考影像中的差異區域算出。

(附註6)如附註5所記載的物體辨識裝置，其中，該局部特徴量對照部，將幾何轉換資訊，以及包含表示正確對應的特徴點與錯誤對應的特徴點的資訊在內的對應特徴點資訊輸出， 該差異區域推定部，根據該局部特徴量對照部所輸出的對應特徴點資訊算出該參考影像中的差異區域。

(附註7)如附註1~6中任一項所記載的物體辨識裝置，其中，該輸入影像差異區域特徴量抽出部，將從該輸入影像差異區域決定部所決定的該輸入影像中的差異區域所抽出的特徴量亦即第1特徴量，以及該輸入影像差異區域特徴量抽出部所抽出的特徴量亦即第2特徴量輸出，該特徴量對照部，對照該第1特徴量以及從該參考影像中的差異區域所抽出的特徴量，當判定無同一性時，對照該第2特徴量以及從該參考影像中的差異區域所抽出的特徴量，並將該對照的結果輸出。

(附註8)如附註7所記載的物體辨識裝置，其中，該特徴量對照部，將該第1特徴量與從該參考影像中的差異區域所抽出的特徴量的對照，以及該第2特徴量與從該參考影像中的差異區域所抽出的特徴量的對照平行進行，並將該2個對照結果的統合結果當作對照結果輸出。

(附註9)一種物體辨識方法，其特徵為包含：局部特徴量對照步驟，其算出從參考影像中的座標轉換到輸入影像中的對應座標的幾何轉換資訊，並對照從該參考影像所抽出的局部特徴量以 及從該輸入影像所抽出的局部特徴量；輸入影像差異區域決定步驟，其根據關於被該對照判定為一致的該輸入影像的該幾何轉換資訊，將該參考影像中的差異區域轉換，並決定與該參考影像中的差異區域對應的該輸入影像中的差異區域；輸入影像差異區域特徴量抽出步驟，其修正該輸入影像中的差異區域，並從該經過修正的輸入影像的差異區域抽出特徴量；以及特徴量對照步驟，其對照該輸入影像差異區域特徴量抽出步驟所抽出的特徴量以及從該參考影像中的差異區域所抽出的特徴量，並輸出對照結果。

(附註10)一種電腦程式產品，其使電腦發揮以下構件的功能：局部特徴量對照部，其算出從參考影像中的座標轉換到輸入影像中的對應座標的幾何轉換資訊，並對照從該參考影像所抽出的局部特徴量以及從該輸入影像所抽出的局部特徴量；輸入影像差異區域決定部，其根據關於被該對照判定為一致的該輸入影像的該幾何轉換資訊，將該參考影像中的差異區域轉換，並決定與該參考影像中的差異區域對應的該輸入影像中的差異區域；輸入影像差異區域特徴量抽出部，其修正該輸入影像中的差異區域，並從該經過修正的輸入影像的差異區域抽出特徴量；以及特徴量對照部，其對照該輸入影像差異區域特徴量抽出部所抽出的特徴量以及從該參考影像中的差異區域所抽出的特徴量，並輸出對照結果。

【產業上的可利用性】

在以往的僅使用局部特徴量的物體辨識中，同一品牌但包裝的顏色或一部份的文字不同的產品的正確辨識、相同信封但收件人不同的郵件的正確辨識有其困難。若根據本發明，便可區分出以往的僅利用局部特徴量的對照所無法辨識出的細微差異，進而辨識出成像有同一物體的影像。本發明可應用於無條碼的POS系統、產品檢驗系統、郵件自動分類系統等。

Z1‧‧‧物體辨識裝置

11‧‧‧局部特徴量抽出部

12‧‧‧局部特徴量對照部

13‧‧‧輸入影像差異區域決定部

14‧‧‧輸入影像差異區域特徴量抽出部

15‧‧‧特徴量對照部

Claims (10)

1. 一種物體辨識裝置，包含：局部特徴量對照機構，其算出從參考影像中的座標轉換到輸入影像中的對應座標的幾何轉換資訊，並對照從該參考影像所抽出的局部特徴量以及從該輸入影像所抽出的局部特徴量；輸入影像差異區域決定機構，其根據關於被該對照判定為一致的該輸入影像的該幾何轉換資訊，將該參考影像中的差異區域轉換，並決定與該參考影像中的差異區域對應的該輸入影像中的差異區域；輸入影像差異區域特徴量抽出機構，其修正該輸入影像中的差異區域，並從該經過修正之輸入影像的差異區域抽出特徴量；以及特徴量對照機構，其對照該輸入影像差異區域特徴量抽出機構所抽出的特徴量以及從該參考影像中的差異區域所抽出的特徴量，並輸出對照結果。
2. 如申請專利範圍第1項之物體辨識裝置，其中，該輸入影像差異區域特徴量抽出機構，將該輸入影像的差異區域修正為擴張既定畫素分量的區域，並從該經過修正之輸入影像的差異區域抽出特徴量。
3. 如申請專利範圍第1項之物體辨識裝置，其中，該輸入影像差異區域特徴量抽出機構，將該輸入影像的差異區域修正為以該差異區域內的基準點為基準擴張既定比率的區域，並從該經過修正之輸入影像的差異區域抽出特徴量。
4. 如申請專利範圍第1項之物體辨識裝置，其中，該輸入影像差異區域特徴量抽出機構，當在該輸入影像的差異區域內的端部存在邊緣密集的區域時，將該輸入影像的差異區域修正為朝該邊緣密集方向擴張的區域，並從該經過修正之輸入影像的差異區域抽出特徴量。
5. 如申請專利範圍第1項之物體辨識裝置，其中更包含： 差異區域推定機構，其比較每2張參考影像，藉此將所比較的參考影像之間存在差異的區域當作該參考影像中的差異區域算出。
6. 如申請專利範圍第5項之物體辨識裝置，其中，該局部特徴量對照機構，將幾何轉換資訊，以及包含表示正確對應的特徴點與錯誤對應的特徴點的資訊在內的對應特徴點資訊輸出；該差異區域推定機構，根據該局部特徴量對照機構所輸出的對應特徴點資訊算出該參考影像中的差異區域。
7. 如申請專利範圍第1至6項中任一項之物體辨識裝置，其中，該輸入影像差異區域特徴量抽出機構，將從該輸入影像差異區域決定機構所決定之該輸入影像中的差異區域所抽出的特徴量亦即第1特徴量，以及該輸入影像差異區域特徴量抽出機構所抽出的特徴量亦即第2特徴量輸出；該特徴量對照機構，對照該第1特徴量以及從該參考影像中的差異區域所抽出的特徴量，當判定無同一性時，對照該第2特徴量以及從該參考影像中的差異區域所抽出的特徴量，並將該對照的結果輸出。
8. 如申請專利範圍第7項之物體辨識裝置，其中，該特徴量對照機構，將該第1特徴量與從該參考影像中的差異區域所抽出的特徴量的對照，以及該第2特徴量與從該參考影像中的差異區域所抽出的特徴量的對照平行進行，並將該2個對照結果的統合結果當作對照結果輸出。
9. 一種物體辨識方法，包含以下步驟：算出從參考影像中的座標轉換到輸入影像中的對應座標的幾何轉換資訊，並對照從該參考影像所抽出的局部特徴量以及從該輸入影像所抽出的局部特徴量；根據關於被該對照判定為一致的該輸入影像的該幾何轉換資訊，將該參考影像中的差異區域轉換，並決定與該經過轉換之該參考影像中的差異 區域對應的該輸入影像中的差異區域；修正該輸入影像中的差異區域，並從該經過修正之輸入影像的差異區域抽出特徴量；以及對照從該輸入影像的差異區域所抽出的特徴量以及從該參考影像中的差異區域所抽出的特徴量，並輸出對照結果。
10. 一種電腦程式產品，其使電腦執行：局部特徴量對照處理，其算出從參考影像中的座標轉換到輸入影像中的對應座標的幾何轉換資訊，並對照從該參考影像所抽出的局部特徴量以及從該輸入影像所抽出的局部特徴量；輸入影像差異區域決定處理，其根據關於被該對照判定為一致的該輸入影像的該幾何轉換資訊，將該參考影像中的差異區域轉換，並決定與該經過轉換之該參考影像中的差異區域對應的該輸入影像中的差異區域；輸入影像差異區域特徴量抽出處理，其修正該輸入影像中的差異區域，並從該經過修正之輸入影像的差異區域抽出特徴量；以及特徴量對照處理，其對照該輸入影像差異區域特徴量抽出處理所抽出的特徴量以及從該參考影像中的差異區域所抽出的特徴量，並將對照結果輸出。