TWI505201B - Object recognition device, object recognition method and program product - Google Patents

Description

物體識別裝置、物體識別方法及程式產品

本發明係關於能正確地識別影像中之物體的裝置、方法及程式。

為了能因應攝影尺寸或角度之變化、遮蔽而強力識別影像內之被攝物，有人提案複數偵測影像內具特徵的點(特徵點)並取出各特徵點周邊之局部區域的特徵量(局部特徵量)之方式。作為其代表之方式，於專利文獻1或非專利文獻1中揭露有使用SIFT(Scale Invariant Feature Transform，標度不變性特徵轉換)特徵量之局部特徵量取出裝置。

以往，在局部特徵量取出裝置，首先僅從影像的各畫素取出與亮度有關的資訊，並從取出之亮度資訊複數偵測具特徵的點(特徵點)，再輸出與各特徵點有關的資訊亦即特徵點資訊。在此，所謂的特徵點資訊，例如，為表示被偵測之局部特徵點的座標位置或標度、特徵點的方位等者。然後，從被偵測之各特徵點的座標值、標度，以及方位等之特徵點資訊，取得進行特徵量取出之局部區域，而產生(定義)局部特徵量。

例如，如同非專利文獻1中所記載般，為了識別攝影之影像內的被攝物及相同的被攝物所轉映之影像，比較從攝影之影像(亦即輸入影像)取出之局部特徵量1，及從參照之影像產生之局部特徵量2。具體而言，首先，就關於構成局部特徵量1的特徵點附近之區域的各特徵量，與關於構成局部特徵量2的特徵點附近之區域的各特徵量之全組合，進行在特徵空間上之 距離計算，並判定對應著位於最靠近之特徵量的特徵量。就對應著的特徵量，判定其亦對應著成為特徵量產生的根源之特徵點。其後，關於被判定為對應著特徵點之組合，基於判定依照鑑別的幾何變換移動位於輸入影像之特徵點的座標位置時之座標位置，與位於參照影像之特徵點的座標位置是否一致，來決定對應著的特徵點之正誤。在此，判定正確地對應著的特徵點數在一定值以上時，判定為由相同之被攝物所轉映(亦即，輸入影像內之被攝物與參照影像內之被攝物為一致)。

[先行技術文獻]

[專利文獻]

專利文獻1：美國專利第6711293號說明書

專利文獻2：日本特開2010-79545號公報

[非專利文獻]

非專利文獻1：David G. Lowe著，「Distinctive image features from scale-invariant keypoints」，(美國)，International Journal of Computer Vision，60(2)，2004年，p.91-110

利用習知的局部特徵量之物體識別方式，係基於從輸入影像的亮度資訊取出之局部特徵量，及從參照影像的亮度資訊取出之局部特徵量的對應關係進行物體的識別。藉由這種識別方法，雖然轉映到輸入影像之物體與轉映到參照影像之物體不同，在兩者之間僅存在些微差異時，由於對應之特徵點多數存在，故有誤判為轉映相同物體之影像的問題點存在。

本發明係有鑑於上述問題，而以提供一種能更為正確地識別轉映到影像之物體與由相同物體所轉映之影像的技術為其課題。

本發明之物體識別裝置，包含：局部特徵量對照機構，其判定從輸入影像取出的特徵點之分別的特徵量，與從參照影像取出的特徵點之分別的特徵量是否正確地對應著；輸入影像差異區域特徵量取出機構，其在基於由該局部特徵量對照機構判定為正確地對應著之特徵量的組合數之分數在既定值以上的場合，取出位在對應於一影像區域的位置之該輸入影像的區域之特徵量，該影像區域係藉由對於該參照影像的既定區域進行修正該輸入影像與該參照影像間之幾何上的偏移之幾何變換而得；以及特徵量對照機構，其對照由該輸入影像差異區域特徵量取出機構取出之特徵量，及從該參照影像之該既定區域取出之特徵量，並輸出對照結果。

本發明之物體識別方法，其特徵為包含以下步驟：局部特徵量對照步驟，其判定從輸入影像取出之特徵點之分別的特徵量，與從參照影像取出之特徵點的各自之特徵量是否正確地對應著；輸入影像差異區域特徵量取出步驟，其在基於由該局部特徵量對照步驟判定為正確地對應著之特徵量的組合數之分數在既定值以上的場合，取出位在對應於一影像區域的位置之該輸入影像的區域之特徵量，該特徵量係藉由對於該參照影像的既定區域進行修正該輸入影像與該參照影像間之幾何上的偏移之幾何變換而得；以及特徵量對照步驟，其對照由該輸入影像差異區域特徵量取出步驟取出之特徵量，及從該參照影像之該既定區域取出之特徵量，並輸出對照結果。

本發明之程式，係將電腦做為以下機構發揮功能：局部特徵量對照機構，其判定從輸入影像取出的特徵點之分別的特徵量，與從參照影像取出的特徵點之分別的特徵量是否正確地對應著；輸入影像差異區域特徵量取出機構，其在基於由該局部特徵量對照機構判定為正確地對應著之特徵量的組合數之分數在既定值以上的場合，取出位在對應於一影像區域的位置之該輸入影像的區域之特徵量，該影像區域係藉由對於該參照影像的既定區域進行修正該輸入影像與該參照影像間之幾何上的偏移之幾何變換而得；以及特徵量對照機構，其對照由該輸入影像差異區域特徵量取出機構取出之特徵量，及從該參照影像之該既定區域取出之特徵量，並輸出對照結果。

依本發明，可以提供一種更為正確地識別轉映到影像之物體與由相同物體所轉映之影像的技術。

11‧‧‧局部特徵量取出部

12‧‧‧局部特徵量對照部

13‧‧‧輸入影像差異區域決定部

14‧‧‧輸入影像差異區域特徵量取出部

15‧‧‧特徵量對照部

16‧‧‧局部特徵量對照部

17‧‧‧差異區域推定部

18‧‧‧差異區域特徵量取出部

19、20、21、22、23、24、25‧‧‧差異區域推定部

26‧‧‧輸入影像差異區域特徵量取出部

27‧‧‧特徵量對照部

28‧‧‧局部特徵量對照部

29‧‧‧特徵量對照部

30‧‧‧識別分數統合判定部

101‧‧‧亮度資訊取出部

102‧‧‧局部特徵點偵測部

103‧‧‧局部特徵量產生部

201‧‧‧對應特徵點決定部

202‧‧‧誤對應點除去部

203‧‧‧識別分數計算部

204‧‧‧臨界值判定部

401‧‧‧差異區域影像產生部

402‧‧‧差異區域特徵量計算部

501‧‧‧差異區域識別分數計算部

502‧‧‧臨界值判定部

701‧‧‧誤對應特徵點密集度探索部

801‧‧‧差異區域影像產生部

901‧‧‧物體區域推定部

902‧‧‧誤對應特徵點密集度探索部

2001‧‧‧變換影像產生部

2002‧‧‧差異影像產生部

2003‧‧‧物體區域推定部

2004、2101‧‧‧大差異量區域偵測部

2102、2103‧‧‧誤對應特徵點密集度探索部

2104‧‧‧差異影像產生部

2105‧‧‧大差異量區域偵測部

2106‧‧‧差異候補區域重複偵測部

2201、2202、2301、2302、2501‧‧‧模板比對部

2502‧‧‧差異候補區域重複偵測部

2601‧‧‧差異區域局部特徵量取出部

2701‧‧‧誤對應點除去部

2702、2801、2901、3002‧‧‧臨界值判定部

3001‧‧‧識別分數統合部

【圖1】表示第1實施態樣中物體識別裝置的構成例之方塊圖。

【圖2】表示輸入影像差異區域決定部13之動作例的流程圖。

【圖3】表示局部特徵量取出部11的構成例之方塊圖。

【圖4】表示局部特徵量對照部12的構成例之方塊圖。

【圖5】表示輸入影像差異區域特徵量取出部14的構成例之方塊圖。

【圖6】表示特徵量對照部15的構成例之方塊圖。

【圖7】表示第1實施態樣的變形例中物體識別裝置的構成例之方塊圖。

【圖8】表示對於參照影像之差異區域與對於輸入影像之輸入影像差異區域的關係之影像圖。

【圖9】表示對於參照影像之差異區域與對於輸入影像之輸入影像差異區域的關係之影像圖。

【圖10】表示對於參照影像之差異區域與對於輸入影像之輸入影像差異區域的關係之影像圖。

【圖11】表示對於參照影像之差異區域與對於輸入影像之輸入影像差異區域的關係之影像圖。

【圖12】表示第2實施態樣中物體識別裝置的構成例之方塊圖。

【圖13】表示局部特徵量對照部16的構成例之方塊圖。

【圖14】表示差異區域推定部17的構成例之方塊圖。

【圖15】表示差異區域特徵量取出部18的構成例之方塊圖。

【圖16】表示第3實施態樣中物體識別裝置的構成例之方塊圖。

【圖17】表示差異區域推定部19的構成例之方塊圖。

【圖18】表示第4實施態樣中物體識別裝置的構成例之方塊圖。

【圖19】表示差異區域推定部20的構成例之方塊圖。

【圖20】表示第5實施態樣中物體識別裝置的構成例之方塊圖。

【圖21】表示差異區域推定部21的構成例之方塊圖。

【圖22】表示差異區域推定部21的構成例之方塊圖。

【圖23】表示差異區域推定部21的構成例之方塊圖。

【圖24】表示差異區域推定部21的構成例之方塊圖。

【圖25】表示第6實施態樣中物體識別裝置的構成例之方塊圖。

【圖26】表示差異區域推定部22的構成例之方塊圖。

【圖27】表示差異區域推定部22的構成例之方塊圖。

【圖28】表示第7實施態樣中物體識別裝置的構成例之方塊圖。

【圖29】表示差異區域推定部23的構成例之方塊圖。

【圖30】表示差異區域推定部23的構成例之方塊圖。

【圖31】表示差異區域推定部23的構成例之方塊圖。

【圖32】表示第8實施態樣中物體識別裝置的構成例之方塊圖。

【圖33】表示差異區域推定部24的構成例之方塊圖。

【圖34】表示差異區域推定部24的構成例之方塊圖。

【圖35】表示差異區域推定部24的構成例之方塊圖。

【圖36】表示第9實施態樣中物體識別裝置的構成例之方塊圖。

【圖37】表示差異區域推定部25的構成例之方塊圖。

【圖38】表示差異區域推定部25的構成例之方塊圖。

【圖39】表示第10實施態樣中物體識別裝置的構成例之方塊圖。

【圖40】表示輸入影像差異區域特徵量取出部26的構成例之方塊圖。

【圖41】表示特徵量對照部27的構成例之方塊圖。

【圖42】表示第11實施態樣中物體識別裝置的構成例之方塊圖。

【圖43】表示局部特徵量對照部28的構成例之方塊圖。

【圖44】表示特徵量對照部29的構成例之方塊圖。

【圖45】表示識別分數統合判定部30的構成例之方塊圖。

(第1實施態樣)

就本發明之第1實施態樣參照圖面來說明。

圖1表示第1實施態樣中物體識別裝置的構成之方塊圖。物體識別裝置，包含：局部特徵量取出部11、局部特徵量對照部12、輸入影像差異區域決定部13、輸入影像差異區域特徵量取出部14，以及特徵量對照部15。物體識別裝置，例如，可使用個人電腦、PDA(Personal Digital Assistant，個人數位助理)等資訊處理裝置而構成。然後，構成物體識別裝置之各部的功能，例如，處理器，係藉由將儲存於儲存區域之程式在記憶體解壓縮而執行加以實現。又，就後述之其他實施態樣中的構成元件，亦可以同樣地實現。

局部特徵量取出部11，係從輸入影像偵測特徵點，並將被偵測到之特徵點與其附近區域亦即局部區域的特徵量作為局部特徵量而取出。關於藉由局部特徵量取出部11進行處理之詳細內容將於後述。

局部特徵量對照部12，係於局部特徵量取出部11鑑別局部特徵量，該局部特徵量係將從輸入影像取出之局部特徵量1，與從參照影像取出之局部特徵量2加以對照而對應。關於鑑別對應之局部特徵量之方法的詳細內容，參照圖4並於後述。局部特徵量對照部12，係因應將局部特徵量對應之局部區域進行了幾何變換後時之位置，鑑別在輸入影像與參照影像間對應之局部區域。例如，在將位於輸入影像之局部區域，以影像之中心為軸而以既定之角度的量旋轉移動後時之局部區域的座標位置，與位於參照區域之局部特徵量所對應的局部區域之座標位置為一致之場合，輸入影像以及參照影像中座標位置一致之局部區域，係作為對應之局部區域而被鑑別。亦即，上述幾何變換係進行以修正參照影像與輸入影像間之幾何上的偏移。又，局部特徵量對照部12，在鑑別出對應之局部區域的場合，會輸出有關使用後之幾何變換的資訊(幾何變換資訊)，及判定為局部區域為對應之參照影像的影像ID亦即局部特徵識別影像ID。

從參照影像取出之局部特徵量2，亦得事先從複數之參照影像預先取出，並儲存於圖1所示之局部特徵量DB等資料庫，亦得以即時運算模式從參照影像利用局部特徵量取出部11而取出。預先儲存於資料庫時，亦得將從包含類似之目標物的(將類似之物體作為被攝物)參照影像取出之局部特徵量付加關連而登錄。關於局部特徵量對照部12之詳細內容將於後述。

輸入影像差異區域決定部13，係對於從局部特徵量對照部12輸出之對應局部特徵識別影像ID之參照影像，或是與局部特徵識別影像ID付加關連之參照影像群的差異區域，進行表示從局部特徵量對照部12輸出之幾何變換資訊的幾何變換，並輸出輸入影像差異區域資訊。

在此，本實施態樣中，所謂參照影像之差異區域，係於預測在轉映到輸入影像之物體與轉映到參照影像之物體僅會產生些微差異之場合，於參照影像中其差異會產生之部分轉映的區域。參照影像之差異區域的資訊，例如差異區域為矩形的場合，亦可為該矩形之4隅的座標值資訊。又，亦可為表示構成之差異區域的參照影像中之畫素群的座標值資訊。

輸入影像差異區域資訊，可以定為藉由分別對於參照影像中差異區域的4隅之座標值進行幾何變換而得之輸入影像中的座標值。又，在參照影像之差異區域的資訊為構成其差異區域之畫素群的座標值資訊之場合，可以分別對於這些畫素群，進行對應幾何變換資訊之幾何變換，而將構成輸入影像中差異區域之畫素群的座標值資訊定為輸入影像差異區域資訊。

參照影像之差異區域資訊，係事前儲存於資料庫中。例如，在將局部特徵量2預先儲存於圖1之局部特徵量DB等資料庫的場合，亦得將參照影像之差異區域資訊與局部特徵量2一同於儲存局部特徵量DB。

輸入影像差異區域特徵量取出部14，係從由輸入影像差異區域決定部13輸出之輸入影像差異區域資訊表示的輸入影像中之區域(輸入影像中之 差異區域)取出特徵量。輸入影像差異區域特徵量取出部14之詳細內容將於後述。

特徵量對照部15，於輸入影像差異區域特徵量取出部14對照從輸入影像中之差異區域取出之特徵量1，及從參照影像中之差異區域取出之特徵量2，並輸出對照結果。特徵量對照部15，於該對照，判定包含於輸入影像之目標物與包含於參照影像之目標物是否相同(輸入影像與參照影像是否將相同之物體作為被攝物)。在判定為相同時，特徵量對照部15會將判定為相同之輸入影像的影像ID作為差異區域識別影像ID輸出。

特徵量2，亦得如圖1般，事先從複數之參照影像中取出並預先儲存於資料庫，亦得以即時運算模式從參照影像中取出。在預先儲存於資料庫之場合，亦得將類似的物體付加關連而登錄。特徵量對照部15之詳細內容將於後述。

圖2表示藉由如圖1所示之輸入影像差異區域決定部13的處理流程之流程圖。如圖2所示，首先，藉由S131進行控制處理用之變數i的初始化。

在S132中，從局部特徵量對照部12取得被輸出之幾何變換資訊。在S133中，從局部特徵量DB取得參照影像之差異區域資訊。在此，取得之差異區域資訊，在參照影像之差異區域為矩形的場合，亦得為此矩形的4隅之座標值資訊，亦得為表示構成差異區域之參照影像中的畫素群之座標值的資訊。

在S134中，係對於在S133中取得之差異區域資訊，進行在S132中取得之表示幾何變換資訊的幾何變換。在此，在差異區域資訊為4隅之座標值資訊的場合，於4個座標值中的1個進行幾何變換。又，在差異區域資訊為構成差異區域之參照影像中的畫素群之座標值資訊的場合，於畫素群中的1個畫素進行幾何變換。在此時點變數i未滿一定數N的場合，於S135更新變數i的值，並在變數i的值變成N以上為止，繼續S133與S134的處 理。於S133取得之差異區域資訊，為4隅的參照影像中之座標值資訊時，定為N=4，而差異區域資訊，為構成差異區域之參照影像中的畫素群之座標值資訊時，設定構成差異區域之參照影像中的畫素群之數作為N的值。最後，在S136，輸出以S134計算出之輸入影像差異區域資訊，並結束處理。

其次，參照圖3，就局部特徵量取出部11進行詳述。圖3表示局部特徵量取出部11的構成例之方塊圖。局部特徵量取出部11，包含：亮度資訊取出部101、局部特徵點偵測部102，以及局部特徵量產生部103。

亮度資訊取出部101，接收輸入影像，並從該輸入影像的各畫素僅取出與亮度有關的資訊並輸出。在此，接收之輸入影像，係藉由數位相機、數位攝影機、行動電話等攝影設備而攝影之影像，或是藉由掃描機等讀入之影像等。又，影像可為JPEG(Joint Photographic Experts Group，聯合影像專家小組)這種壓縮之影像，亦可為TIFF(Tagged Image File Format，標籤影像檔案格式)這種未壓縮之影像。

局部特徵點偵測部102，係從影像具複數地偵測特徵的點(特徵點)，並輸出關於各特徵點的資訊亦即特徵點資訊。在此，所謂特徵點資訊，例如，為表示被偵測之特徵點的座標位置或標度、特徵點的方位，對於特徵點分配之固有的ID(Identification)亦即「特徵點號碼」等者。又，局部特徵點偵測部102，亦可將特徵點資訊，於各特徵點的每個方位的方向作為各別的特徵點資訊而輸出。例如，局部特徵點偵測部102，亦可僅輸出關於各特徵點中最主要的方位之方向的特徵點資訊，亦可輸出關於第2主要的方位之方向的特徵點資訊。又，局部特徵點偵測部102，在也輸出關於第2主要的方位之方向的特徵點資訊時，可以賦與各特徵點中之每個方位的方向不同的特徵點號碼。局部特徵點偵測部102，在從影像偵測特徵點而取出特徵點資訊時，例如，可以使用DoG(Difference-of-Gaussian，高斯差)處理。具體而言，局部特徵點偵測部102，可以使用DoG處理而藉由進行在標度間隔之極值探索來決定特徵點的位置與標度。進而，局部特徵點偵測部102，可以使用決定之特徵點的位置及標度與周邊區域的梯度資訊來計算各特徵點的 方位。又，局部特徵點偵測部102，在從影像偵測特徵點而取出特徵點資訊時，亦可以不藉由DoG，而使用Fast-Hessian Detector(快速Hessian檢測子)等其他的手法。局部特徵點偵測部102，亦可僅從在其內部偵測的特徵點之中選出重要的特徵點，並僅將關於該特徵點的資訊作為特徵點資訊輸出。

局部特徵量產生部103，接收從局部特徵點偵測部102輸出之特徵點資訊，並產生(記述)對於各特徵點之局部區域(特徵點及其周邊的區域)的特徵量亦即局部特徵量。又，局部特徵量產生部103，亦得以ZIP或LZH等以可逆壓縮方式壓縮之形式來輸出局部特徵量。局部特徵量產生部103，於局部特徵點偵測部102，認定偵測之特徵點的重要度時，可以依照該特徵點的重要度順序產生局部特徵量而輸出。又，局部特徵量產生部103，亦得依照特徵點的座標位置順序產生局部特徵量而輸出。在局部特徵量產生部103，首先，基於特徵點資訊，從被偵測到之各特徵點的座標值、標度，以及方位，取得進行特徵量取出之局部區域。又，在對於1個特徵點有方位不同的複數之特徵點資訊存在時，可以對於各特徵點資訊取得局部區域。其次，在使局部區域因應特徵點的方位方向旋轉而正規化後，分割為次區域。例如，可以將局部區域分割為16區塊(4×4區塊)。其次，對於各個局部區域的次區域產生特徵向量。作為次區域的特徵向量，例如，可使用梯度方向直方圖。具體而言，對於每個各次區域的畫素計算梯度方向，將其於8方向量子化，對於每個次區域統計量子化後之8方向的頻度，而產生梯度方向直方圖。此時，將藉由對於各特徵點產生之16區塊×8方向的梯度方向直方圖構成之特徵向量作為局部特徵量而輸出。於輸出之局部特徵量，包含特徵點的座標位置資訊而輸出。

其次，參照圖4，就局部特徵量對照部12進行詳述。圖4表示局部特徵量對照部12的構成例之方塊圖。如圖4所示，局部特徵量對照部12，包含：對應特徵點決定部201、誤對應點除去部202、識別分數計算部203，以及臨界值判定部204。

對應特徵點決定部201，在局部特徵量取出部11接收從輸入影像取出 之局部特徵量1，及從參照影像取出之局部特徵量2。對應特徵點決定部201，判定局部特徵量1與局部特徵量2是否對應，在對應之場合，局部特徵量1與局部特徵量2作為係對應者，輸出對應特徵點資訊。例如，在該局部特徵量1與該局部特徵量2分別為記述了特徵點周邊的梯度直方圖之特徵量的集合之場合，首先，就局部特徵量的全組合進行特徵量空間中之距離計算。只有在變成最小的距離值對於次小之距離值變成十分地小的場合，該距離值有關變成最小的局部特徵量之組合，判斷為其局部特徵量及其局部特徵量有局部特徵區域為對應，並將與局部特徵區域的位置資訊對應之局部特徵區域的位置資訊作為對應特徵點資訊而輸出。

誤對應點除去部202，係從對應特徵點決定部201接收對應特徵點資訊，並從這些對應特徵點之中，判別正確地對應著之特徵點及錯誤對應著之特徵點，在分別輸出該判別之特徵點資訊的同時，也一併輸出對該判別使用之幾何變換資訊。例如，對於從對應特徵點決定部201接收之對應特徵點資訊，適用RANSAC等手法，而將有關使參照影像中的座標向輸入影像中的座標移動之幾何變換之資訊作為幾何變換資訊而推定。在此，使被推定之幾何變換資訊，對於對應特徵點的參照影像側之特徵點分別作用，在這些於輸入影像側的特徵點幾乎一致的場合判斷為正確地對應著之特徵點，反則於輸入側的特徵點不一致的場合判斷為錯誤對應之特徵點。

識別分數計算部203，從誤對應點除去部202接收對應特徵點資訊，並輸出識別分數。輸出之識別分數，例如，從由誤對應點除去部202接收之對應特徵點資訊中，計數正確地對應之特徵點的組合數，並事先準備好使該數映射至從0到1間的分數用之表格，亦可參照該表格而輸出識別分數。又，在正確地對應之特徵點的組合數為c的場合，亦可將事先決定之特徵點的最低對應數作為m，而將m/(c+m)作為識別分數計算。臨界值判定部204，係將從識別分數計算部203輸出之識別分數進行臨界值處理，而於在臨界值以上的場合判定為轉映相同物體之影像，並將該參照影像的ID作為局部特徵識別影像ID輸出。在該臨界值判定部204設定之臨界值，得為事前決定而保持於內部的值，亦得為從外部給予的值。

其次，參照圖5，就輸入影像差異區域特徵量取出部14詳述。圖5表示輸入影像差異區域特徵量取出部14的構成例之方塊圖。如圖5所示，輸入影像差異區域特徵量取出部14，包含：差異區域影像產生部401，以及差異區域特徵量計算部402。

差異區域影像產生部401，從輸入影像及輸入影像差異區域決定部13接收輸入影像差異區域資訊，並在該輸入影像差異區域資訊為輸入影像中之差異區域的4隅之座標值資訊時，在分別以直線連結了4隅中相鄰的2隅時，依序讀取該直線上的畫素。就包圍被讀取之畫素群之區域，藉由從輸入影像中讀取其值之畫素及決定其順序，產生輸入影像中的差異區域影像並輸出。又，在從輸入影像差異區域決定部13接收之輸入影像差異區域資訊，為表示構成輸入影像中差異區域之畫素群的座標值之資訊的場合，差異區域影像產生部401，會以該順序讀取輸入影像，並作為輸入影像中的差異區域影像而輸出。

差異區域特徵量計算部402，從藉由差異區域影像產生部401產生之差異區域影像取出特徵量，並輸出該特徵量。作為以差異區域特徵量計算部402取出之特徵量，例如，為了進行有關輸入影像之差異區域與參照影像之差異區域的顏色資訊之解析，亦得取出「顏色配置」、「顏色直方圖」等特徵量。或是，為了解析輸入影像之差異區域與參照影像之差異區域的細微文字差異，亦得取出能呈現「像文字的程度」之特徵量。

其次，參照圖6，就特徵量對照部15加以詳述。圖6表示特徵量對照部15的構成例之方塊圖。如圖6所示，特徵量對照部15，包含差異區域識別分數計算部501及臨界值判定部502。

差異區域識別分數計算部501，係將從輸入影像之差異區域取出的特徵量作為特徵量1，而將從參照影像之差異區域取出的特徵量作為特徵量2，而分別接收。差異區域識別分數計算部501，係將從接收之兩個特徵量決定 之識別分數，作為差異區域識別分數而輸出。差異區域識別分數，係在特徵量1與特徵量2愈為類似時，則其值變得愈高之標度。例如，亦可計算在特徵量1與特徵量2之特徵量空間上的距離，並將其數作為差異區域識別分數輸出。或是，在對照特徵量1與從複數之參照影像群中分別取出的特徵量2時，亦可找出在特徵量的全組合之中於特徵量空間上的距離之最小值，而於該最小值，將除以在特徵量的全組合之中特徵量空間上的距離之值的倒數作為差異區域識別分數而輸出。或是，亦可事先準備好，使在特徵量1與特徵量2之特徵量空間上的距離值，映射至0~1之間的分數用之表格，並參照該表格而輸出差異區域識別分數。

臨界值判定部502，將從差異區域識別分數計算部501輸出之差異區域識別分數與臨界值比較，在為臨界值以上的場合判定為轉映了相同物體的影像，並將該參照影像的ID作為差異區域識別影像ID而輸出。該以臨界值判定部502設定之臨界值，亦可為事前決定而保存於內部之值，亦可為從外部給與之值。

圖7表示本實施態樣的變形例中之物體識別裝置的構成。圖7所示之物體識別裝置，在設置有僅收納了差異區域資訊之資料庫亦即差異區域資訊DB這點上，有別於圖1所示之物體識別裝置。局部特徵量2不作為資料庫而儲存，從參照影像以即時運算模式取出之場合，能以此圖7之構成實現本實施態樣。

圖8至圖11，分別為表示考量參照影像中之差異區域，與輸入影像中之差異區域之間的關係之圖案的影像圖。

圖8表示，物體顯示於參照影像全體，對於參照影像全體設定差異區域之場合的例子。該例係相當於刻劃於物體之文字、模樣等幾乎相同，但該物體的顏色不同之場合等，用以清楚看到相同品牌而口味不同之點心包裝等。亦即，在該例中，由於考量輸入影像的全體與參照影像的全體不同，故參照影像的全體係作為差異區域而設定。

圖9表示，物體顯示於參照影像全體，對於參照影像的一部分設定差異區域的場合之例子。該例係關於物體幾乎相同，但僅物體的一部分，顏色、文字或模樣不同之場合，用以清楚看見相同系列中不同集數的書之背表紙等。亦即，該例中，由於考量輸入影像的一部分與參照影像的一部分不同，將參照影像的一部作為差異區域而設定。圖10以及圖11所示之例，雖然分別與圖8及圖9所示之例幾乎相同，但在參照影像並非影像全體而僅其一部分轉映這點上是不同的。

於任一的例中，在本實施態樣，亦需事前將作為其差異區域而設定的區域之資訊資料庫登錄。本實施態樣中，登錄之參照影像中的差異區域及輸入影像中的差異區域，係分別為，將預測會產生差異之必要最小限的區域分別從參照影像及輸入影像取出者。為此，在將參照影像之全體的局部特徵量與輸入影像之全體的局部特徵量比較時，即使因僅有些微差異而判定為相同影像的場合，亦可藉由僅再度比較參照影像及輸入影像的差異影像之特徵量，而可以分辨起因於物品的不同之細微差異。其結果，可以抑制在僅使用局部特徵量時，成為問題之錯誤判定。

如上述般依本實施態樣，局部特徵量對照部12係用以判定，從輸入影像取出之特徵點的各自之特徵量，係與從參照影像取出之特徵點的各自之特徵量對應。輸入影像差異區域特徵量取出部14，在基於藉由局部特徵量對照部12判定為對應之特徵量的組合數之分數為既定值以上的場合，從位於對應於一影像區域的位置之輸入影像的區域取出特徵量，該影像區域係藉由對於參照影像之既定區域(差異區域)進行修正輸入影像與參照影像間之幾何上的偏移之幾何變換而得。又，本實施態樣中參照影像的差異區域，係藉由輸入影像差異區域決定部13決定。特徵量對照部15，對照藉由輸入影像差異區域特徵量取出部14取出之特徵量，及從參照影像之差異區域取出之特徵量，並輸出對照結果。其結果，可以更為正確地識別轉映到參照影像之物體及由相同物體所轉映之輸入影像。

(第2實施態樣)

就本發明之第2實施態樣參照圖面來說明。在第2實施態樣中，不於事前將參照影像中的差異區域登錄資料庫，推定參照影像中的差異區域而進行識別。

圖12為表示本發明之第2實施態樣中物體識別裝置的構成之方塊圖。如圖12所示，本實施態樣之物體識別裝置，包含：局部特徵量取出部11、局部特徵量對照部16、輸入影像差異區域決定部13、輸入影像差異區域特徵量取出部14、差異區域推定部17、差異區域特徵量取出部18，以及特徵量對照部15。如此，在第2實施態樣之物體識別裝置中，第1實施態樣之物體識別裝置的局部特徵量對照部12係變更為局部特徵量對照部16，以及儲存了差異區域資訊之資料庫亦即差異區域資訊DB變更為差異區域推定部17以及差異區域特徵量取出部18，上述各點係與第1實施態樣不同。局部特徵量對照部16、差異區域推定部17、差異區域特徵量取出部18之詳細內容將於後述。關於其他構成元件由於與第1實施態樣相同，故附加相同的符號而省略詳細的說明。

圖13為表示局部特徵量對照部16的構成例之方塊圖。如圖13所示，局部特徵量對照部16，包含：對應特徵點決定部201、誤對應點除去部202、識別分數計算部203，以及臨界值判定部204。亦即，圖13所示之局部特徵量對照部16的構成元件，係與圖4所示之局部特徵量對照部12的構成元件相同。然而，圖13所示之局部特徵量對照部16，係加上從誤對應點除去部202輸出幾何變換資訊，以及從臨界值判定部204輸出局部特徵識別影像ID，在從誤對應點除去部202輸出之對應特徵點資訊係從局部特徵量對照部16輸出的點上，係有別於圖4之局部特徵量對照部12。

圖14為表示差異區域推定部17的構成之方塊圖。如圖14所示，差異區域推定部17，包含誤對應特徵點密集度探索部701。誤對應特徵點密集度探索部701，係從局部特徵量對照部16接收對應特徵點資訊，並輸出有關參照影像中之差異區域的資訊亦即差異區域資訊。從局部特徵量對照部 16接收之對應特徵點資訊，包含正確地對應著之特徵點的資訊，及錯誤對應著之特徵點的資訊。為此，藉由用包含於對應特徵點資訊之錯誤地對應著之特徵點的資訊，從參照影像中探索錯誤地對應著之特徵點密集的區域，可以推定參照影像中的差異區域。錯誤地對應著之特徵點密集的區域之探索，例如，規定一定的大小之矩形窗，在差異影像中移動此矩形窗，在錯誤地對應著之特徵點的數量於矩形窗內為一定數量以上之場合，可以將該矩形窗的區域作為差異區域。推定參照影像中之差異區域的方法並不限定於此，只要是基於錯誤地對應著之特徵點為密集之區域而推定的方法，亦可以以任意的方法實施。亦即，參照影像之差異區域(既定區域)，包含以下區域：藉由局部特徵量對照部16，判定為參照影像中錯誤對應著特徵點密集之區域。

圖15為表示差異區域特徵量取出部18的構成例之方塊圖。如圖15所示，差異區域特徵量取出部18，包含差異區域影像產生部801，及差異區域特徵量計算部402。

差異區域影像產生部801，與圖5所示之輸入影像差異區域特徵量取出部14之構成元件，亦即差異區域影像產生部401幾乎相同。然而，差異區域影像產生部801中，取代輸入影像以及輸入影像差異區域資訊，在參照影像以及差異區域資訊係分別輸入這點上，係有別於差異區域影像產生部401。又，以差異區域影像產生部801產生之差異影像，並非基於輸入影像差異區域資訊而從輸入影像產生，其在基於參照影像中的差異區域資訊而從參照影像產生這點上係不同的。

由於差異區域特徵量計算部402，係與圖5所示之輸入影像差異區域特徵量取出部14的構成元件，亦即差異區域特徵量計算部402相同，故省略詳細說明。又，藉由圖5及圖15中之差異區域特徵量計算部402計算之特徵量，非得為依相同處理計算之特徵量。

在如以上之本實施態樣中，即使不預先將參照影像中之差異區域於事 前登錄資料庫，由於可以推定參照影像中的差異區域，藉由利用了物體識別之品檢系統，在無法將預測到會產生差異之區域作為差異區域於事前先登錄的場合(例如，從多數的製品僅辨別出某處具有損傷之製品的場合等)為具有效果的。然後，依本實施態樣進行之參照影像中的差異區域之推定，即使差異區域為物體全體的場合，由於亦可能為物體之一部分的場合，故即便對於圖8至圖11所示之任一的例子之場合，本實施態樣亦為有效的。

(第3實施態樣)

就本發明之第3實施態樣參照圖面來說明。

圖16為表示本發明之第3實施態樣亦即物體識別裝置之構成的方塊圖。如圖16所示，第3實施態樣之物體識別裝置，包含：局部特徵量取出部11、局部特徵量對照部16、輸入影像差異區域決定部13、輸入影像差異區域特徵量取出部14、特徵量對照部15、差異區域推定部19、以及差異區域特徵量取出部18。

如此，第3實施態樣之物體識別裝置中，在將第2實施態樣的物體識別裝置之差異區域推定部17變更為差異區域推定部19這點上係有別於第2實施態樣。差異區域推定部19之詳細內容將於後述。關於其他之構成元件，係與第2實施態樣相同，故附加相同的符號而省略詳細的說明。

圖17表示差異區域推定部19的構成例之方塊圖。如圖17所示，差異區域推定部19，包含物體區域推定部901，以及誤對應特徵點密集度探索部902。

物體區域推定部901，接收對應於從局部特徵量對照部16輸出之局部特徵識別影像ID的參照影像，或是接收與該局部特徵識別影像ID附加關連之參照影像群，並輸出表示參照影像中物體存在的區域的資訊亦即物體區域資訊。在此接收之參照影像，如圖16所示，可事先儲存至資料庫，亦可從物體識別裝置的外部取得。作為在物體區域推定部901中之處理，例 如，考量藉由解析參照影像中的邊緣強度以大略地推定物體區域的方法，或是考量事先學習背景區域的影像圖案，而作為背景以外的區域將物體區域大略地推定之方法等。

誤對應特徵點密集度探索部902，係與圖14所示之差異區域推定部17之構成元件，亦即誤對應特徵點密集度探索部701類似。然而，誤對應特徵點密集度探索部902，係加上從局部特徵量對照部16接收之對應特徵點資訊，而輸入從物體區域推定部901輸出之物體區域資訊這點上，係有別於第2實施態樣。誤對應特徵點密集度探索部902，僅著眼於對應特徵點之中，在物體區域的內部存在的點，而探索錯誤對應著之特徵點密集之區域。

亦即，誤對應特徵點密集度探索部902，係從參照影像中的物體區域之內部推定差異區域。為此，本實施態樣中，不受到從物體以外的區域出現之錯誤對應的特徵點之影響，而可以推定參照影像中的差異區域。換句話說，參照影像中之差異區域(既定區域)，成為包含以下區域之區域：於參照影像物品轉映的區域中，由局部特徵量對照部16判定為錯誤對應之特徵點密集之區域。又，由於誤對應特徵點密集度探索部902，係限定探索於參照影像中錯誤對應之特徵點為密集的區域之範圍，故相較於探索範圍為參照影像全體亦即誤對應特徵點密集度探索部701，可進行高速的處理。

在本實施態樣中，與實施態樣2相同，由於即便沒預先將參照影像中的差異區域於事前登錄資料庫，亦可以推定參照影像中的差異區域，藉由利用了物體識別之品檢系統，在無法於事前將關於差異區域的資訊先登錄的場合(例如，從多數的製品僅辨別出某處具有損傷之製品的場合等)為具有效果的。然後，雖然依本實施態樣進行之參照影像中的差異區域之推定，即使在差異區域為物體全體的場合，亦可能為物體之一分部的場合，然而，由於可以不受到來自物體以外的區域出現之錯誤對應的特徵點之影響而高精度地推定差異區域，故在圖10以及圖11所示之例的場合特別有效。

(第4實施態樣)

就本發明之第4實施態樣參照圖面來說明。第4實施態樣中，就使用其他的方法作為差異區域的推定方法的場合加以說明。

圖18為表示本發明之第4實施態樣亦即物體識別裝置的構成之方塊圖。如圖18所示，第4實施態樣之物體識別裝置，包含：局部特徵量取出部11、局部特徵量對照部12、輸入影像差異區域決定部13、輸入影像差異區域特徵量取出部14、特徵量對照部15、差異區域推定部20、以及差異區域特徵量取出部18。如此，在第4實施態樣之物體識別裝置中，第3實施態樣之物體識別裝置的局部特徵量對照部16以及差異區域推定部19，係變更為局部特徵量對照部12以及差異區域推定部20這點上，係與第3實施態樣不同。局部特徵量對照部12係與第1實施態樣之物體識別裝置的局部特徵量對照部12相同，故省略詳細說明。差異區域推定部20之詳細內容將於後述。關於其他的構成元件，係與第3實施態樣相同，附加相同的符號而省略詳細的說明。

圖19表示差異區域推定部20的構成例之方塊圖。如圖19所示，差異區域推定部20，包含：變換影像產生部2001、差異影像產生部2002、物體區域推定部2003、以及大差異量區域偵測部2004。

變換影像產生部2001，接收輸入影像及從局部特徵量對照部12輸出之幾何變換資訊，並對於輸入影像進行表示幾何變換資訊之幾何變換，而輸出變換影像。在此輸出之變換影像，例如，對於輸入影像之各畫素，藉由進行表示幾何變換資訊之幾何變換，並使輸入影像的各畫素投影至與參照影像同等大小的影像上，來產生變換影像。此時，在投影處的影像，關於輸入影像中的畫素沒有投影的畫素，將此畫素值隱埋為0等而產生變換影像。又，從局部特徵量對照部12輸出之幾何變換資訊，為從參照影像中的座標向輸入影像中的座標變換之資訊的場合，以此變換影像產生部2001使其作用之幾何變換資訊，需要成為進行此逆變換之資訊。亦即，從局部特徵量對照部12輸出之幾何變換資訊，為從參照影像中的座標向輸入影像中的座標變換之3×3的行列之場合，以變換影像產生部2001使其作用之幾何 變換資訊，係使用此逆行列。

差異影像產生部2002，接收對應於從局部特徵量對照部12輸出之局部特徵識別影像ID的參照影像(或是與此局部特徵識別影像ID附加關連之參照影像群)，及接收從變換影像產生部2001輸出之變換影像。差異影像產生部2002，係將取得了參照影像與變換影像之差異量的影像作為差異影像輸出。又，取得參照影像與變換影像的差異量時，例如，亦可，在修正一方的影像之亮度後再取得差異量，以使兩方的影像之亮度的平均值為一致。在此接收之參照影像，係如圖18般，可以事先儲存至資料庫，亦可從物品識別裝置的外部取得。

物體區域推定部2003，從差異影像產生部2002接收差異影像，而推定並輸出該差異影像中的物體區域資訊(表示在參照影像中物體存在著的區域之資訊)。在此輸出之物體區域資訊，例如，可藉由從影像中探索在差異影像之中其差異量值為小的區域來推定。此為考量以下理由之故：在差異影像之中差異量值為小的區域，係由變換影像判定為與參照影像為相同物體所轉映之可能性為高的區域。物體區域的推定，例如，可以考量一定大小的矩形窗，在差異影像中移動此矩形窗，而在矩形窗內畫素值之小的畫素為一定數以上的場合，將此矩形窗的區域定為物體區域，亦可為其他方法。

大差異量區域偵測部2004，接收從差異影像產生部2002輸出之差異影像，及從物體區域推定部2003輸出之物體區域資訊。大差異量區域偵測部2004，在物體區域中，差異影像內的差異量值變大的地方，判斷為在轉映到參照影像之物體與轉映到變換影像之物體差異存在的地方有的可能性為高。從而，大差異量區域偵測部2004，係從影像內探索差異量值大的場所，並將此區域資訊作為差異區域資訊輸出。差異量值大的場所(亦即差異區域)的探索，例如，可以規定一定大小的矩形窗，並在差異影像內的物體區域中移動此矩形窗，而在矩形窗內畫素值的大小畫素在一定數以上的場合，將此矩形窗的區域定為差異區域，也可以用其他方法探索。

如以上之本實施態樣中，變換影像產生部2001，對於輸入影像進行修正輸入影像與參照影像間之幾何上的偏移之幾何變換，並輸出變換影像。大差異量區域偵測部2004，就包含變換影像與參照影像之差異量為既定值以上之區域的區域之資訊，作為差異量區域資訊輸出。又，大差異量區域偵測部2004，在參照影像中物體存在的區域之中，可以將有關包含變換影像與參照影像之差異量為既定值以上的區域之區域的資訊，作為差異量區域資訊輸出。

在本實施態樣中，與實施態樣2、3相同，由於即便沒預先將參照影像中的差異區域於事前登錄資料庫，亦可以推定參照影像中的差異區域，藉由利用了物體識別之品檢系統，在無法於事前將關於差異區域的資訊先登錄的場合(例如，從多數的製品僅辨別出某處具有損傷之製品的場合等)為具有效果的。然後，雖然依本實施態樣進行之參照影像中的差異區域之推定，即使在差異區域為物體全體的場合，亦可能為物體之一分部的場合，然而，與實施態樣3相同，由於係先藉由推定物體區域而除去背景的影響後，再推定差異區域，故可以高精度地推定差異區域，在圖10或圖11所示之例的場合特別有效。

(第5實施態樣)

就本發明之第5實施態樣參照圖面來說明。

圖20為表示本發明之第5實施態樣亦即物體識別裝置的構成之方塊圖。如圖20所示，第5實施態樣之物體識別裝置，包含：局部特徵量取出部11、局部特徵量對照部16，輸入影像差異區域決定部13，輸入影像差異區域特徵量取出部14、特徵量對照部15、差異區域推定部21、以及差異區域特徵量取出部18。如此，第5實施態樣之物體識別裝置中，係將第3實施態樣之物體識別裝置與第4實施態樣之物體識別裝置合併而構成。相較於第3實施態樣之物體識別裝置，在差異區域推定部19變更為差異區域推定部21這點上是不同的。差異區域推定部21之詳細內容將於後述。關於其他的構成元件，係與第3實施態樣相同，附加相同的符號而省略詳細的 說明。

圖21至圖24，為表示差異區域推定部21之構成例的方塊圖，以下就各圖加以說明。

圖21所示之差異區域推定部21，包含：變換影像產生部2001、差異影像產生部2002、物體區域推定部2003、以及誤對應特徵點密集度探索部902。圖21之變換影像產生部2001、差異影像產生部2002、物體區域推定部2003，係與圖19所示之差異區域推定部20的構成元件亦即變換影像產生部2001、差異影像產生部2002、物體區域推定部2003相同，故省略詳細說明。又，圖21之誤對應特徵點密集度探索部902，係與圖17所示之差異區域推定部19的構成元件亦即誤對應特徵點密集度探索部902相同，故省略詳細說明。

亦即，差異區域推定部21，係如同差異區域推定部19，並非從只利用參照影像而推定的物體區域來探索誤對應的特徵點密集之區域，而係藉由從利用變換後之輸入影像與參照影像的差異量來推定之物體區域，探索誤對應的特徵點為密集之區域，以推定差異量區域。

又，圖22所示之差異區域推定部21，包含：變換影像產生部2001、差異影像產生部2002、物體區域推定部2003、大差異量區域偵測部2101、以及誤對應特徵點密集度探索部2102。圖22之變換影像產生部2001、差異影像產生部2002、及物體區域推定部2003，係與圖19所示之差異區域推定部20的構成元件亦即變換影像產生部2001、差異影像產生部2002、及物體區域推定部2003相同，故省略詳細說明。

雖然圖22之大差異量區域偵測部2101，與圖19所示之差異區域推定部20的構成元件亦即大差異量區域偵測部2004幾乎相同，然而，在並非輸出差異區域資訊，而係輸出差異候補區域資訊這點上是不同的。此大差異量區域偵測部2101所輸出之差異候補區域資訊，可以與由大差異量區域 偵測部2004輸出之差異區域資訊相同，亦可僅捉稍微比此差異區域資訊廣的區域，作為此區域資訊。

雖然圖22之誤對應特徵點密集度探索部2102，係與圖17所示之差異區域推定部19的構成元件亦即誤對應特徵點密集度探索部902類似，然而，在取代物體區域資訊而輸入差異候補區域資訊這點上是不同的。由於從誤對應特徵點密集度探索部2102輸出之差異區域資訊，係從由變換影像產生部2001、差異影像產生部2002、物體區域推定部2003、及大差異量區域偵測部2101四者的組合所推定之差異候補區域中，進而以誤對應特徵點密集度探索部2102限縮差異區域，故能輸出可靠度為高的差異區域資訊。

又，圖23所示之差異區域推定部21，包含：變換影像產生部2001、誤對應特徵點密集度探索部2103、差異影像產生部2104、及大差異量區域偵測部2105。圖23之變換影像產生部2001，係與圖19所示之差異區域推定部20的構成元件亦即變換影像產生部2001相同，故省略詳細說明。

雖然圖23之誤對應特徵點密集度探索部2103，與圖14所示之差異區域推定部17的構成元件亦即誤對應特徵點密集度探索部701幾乎相同，但是，在並非輸出差異區域資訊而係輸出差異候補區域資訊這點上是不同的。此誤對應特徵點密集度探索部2103所輸出之差異候補區域資訊，可以與以誤對應特徵點密集度探索部701輸出之差異區域資訊相同，亦可以捉取比此差異區域資訊稍廣的區域，作為此區域資訊。

雖然圖23之差異影像產生部2104，係與圖19所示之差異區域推定部20的構成元件亦即差異影像產生部2002類似，然而，在加上參照影像與變換影像而輸入差異候補區域資訊這點上是不同的。在差異影像產生部2104，從藉由取出參照影像與變換影像的差異量產生之差異影像，將差異候補區域資訊所示之區域的影像作為差異影像輸出。

圖23之大差異量區域偵測部2105，係與圖19所示之差異區域推定部 20的構成元件亦即大差異量區域偵測部2004類似，然而，在只輸入差異影像這點上是不同的。由於在大差異量區域偵測部2105輸入之差異影像，係僅輸出關於已經由誤對應特徵點密集度探索部2103作為差異候補區域推定之區域的差異影像，故已經在此段階，成為表示物體區域的全體或是此一部分之區域的影像。由於從大差異量區域偵測部2105輸出之差異區域資訊，係從由誤對應特徵點密集度探索部2103推定之差異候補區域中，進而以大差異量區域偵測部2402限縮差異區域，故該輸出可靠度高的差異區域資訊。

又，圖24所示之差異區域推定部21，包含變換影像產生部2001、差異影像產生部2002、物體區域推定部2003、大差異量區域偵測部2101、誤對應特徵點密集度探索部2103、及差異候補區域重複偵測部2106。圖24之變換影像產生部2001、差異影像產生部2002、及物體區域推定部2003，係與圖19所示之差異區域推定部20的構成元件亦即變換影像產生部2001、差異影像產生部2002、物體區域推定部2003相同，故省略詳細說明。圖24之大差異量區域偵測部2101，係與圖22之大差異量區域偵測部2101相同，故省略詳細說明。又，圖24之誤對應特徵點密集度探索部2103，係與圖23之誤對應特徵點密集度探索部2103相同，故省略詳細說明。

圖24之差異候補區域重複偵測部2106，接收從大差異量區域偵測部2101輸出之差異候補區域資訊，及從誤對應特徵點密集度探索部2103輸出之差異候補區域資訊，並將此二差異候補區域重複之區域判斷為差異區域，並輸出此差異區域資訊。由從差異候補區域重複偵測部2106輸出之差異區域資訊，係成為後大差異量區域偵測部2101及誤對應特徵點密集度探索部2103任一者作為差異候補區域判定之區域的資訊，故能輸出可靠度高的差異區域資訊。

在本實施態樣中，與實施態樣2、3、4相同，由於即便沒預先將參照影像中的差異區域於事前登錄資料庫，亦可以推定參照影像中的差異區域，藉由利用了物體識別之品檢系統，如同從多數的製品僅辨別出某處具 有損傷之製品的場合，在無法於事前將關於差異區域的資訊先登錄的場合為具有效果的。又，在本實施態樣中，然後，雖然依本實施態樣進行之參照影像中的差異區域之推定，即使在差異區域為物體全體的場合，亦可能為物體之一分部的場合，然而，由於相較於第2實施態樣等，可得到可靠度高的差異區域，故可實現高精度的識別。又，在本實施態樣中，差異區域推定部21為圖23或圖24之構成的場合，可以於誤對應特徵點密集度探索部2103之前加入物體區域推定部，此時，變為從推定之物體區域中進行誤對應特徵點密集度探索，而推定差異候補區域。此時，與實施態樣3、4相同，由於可先除去背景的影響後，再推定差異區域，故在如圖10以及圖11所示之例子的場合，特別有效。

(第6實施態樣)

就本發明之第6實施態樣參照圖面來說明。

圖25為表示本發明之第6實施態樣亦即物體識別裝置的構成之方塊圖。如圖25所示，第6實施態樣之物體識別裝置，包含：局部特徵量取出部11、局部特徵量對照部12、輸入影像差異區域決定部13、輸入影像差異區域特徵量取出部14、特徵量對照部15、差異區域推定部22、及差異區域特徵量取出部18。如此，在第6實施態樣之物體識別裝置中，第4實施態樣之物體識別裝置的差異區域推定部20係變更為差異區域推定部22這點上，係與第4實施態樣不同。差異區域推定部22之詳細內容將於後述。關於其他的構成元件，係與第4實施態樣相同，附加相同的符號而省略詳細的說明。

圖26以及圖27，為表示差異區域推定部22之構成例的方塊圖，以下就各圖加以說明。

如圖26所示，差異區域推定部22包含模板比對部2201。模板比對部2201，在接收對應於從局部特徵量對照部12輸出之局部特徵識別影像ID之參照影像(或是與此局部特徵識別影像ID附加關連之參照影像群)的同 時，亦接收對應於從局部特徵量對照部12輸出之局部特徵識別影像ID的差異區域之模板影像(或是與該局部特徵識別影像ID附加關連之模板影像群)，並基於接收之影像群，輸出差異區域資訊。具體而言，此模板影像，為在差異區域周邊典型的可見的影像圖案。模板比對部2201，藉由比對參照影像中的各區域與此模板影像，並進行探索模板影像差最類似之區域的模板比對處理，以推定參照影像中的差異區域。亦即，於參照影像中與既定之圖案影像之類似度為既定值以上的區域，係設定作為參照影像中的差異區域。模板影像，如圖25般，可以事先儲存於資料庫，亦可從物體識別裝置的外部取得。

又，作為其它例，如圖27所示，差異區域推定部22，亦可包含物體區域推定部901以及模板比對部2202。圖27之物體區域推定部901，係與圖17所示之差異區域推定部19的構成元件亦即物體區域推定部901相同，故省略詳細說明。

模板比對部2202，係與圖26所示之差異區域推定部22的構成元件亦即模板比對部2201類似。模板比對部2202，加上對應於從局部特徵量對照部12輸出之局部特徵識別影像ID之參照影像，以及對應於從局部特徵量對照部12輸出之局部特徵識別影像ID之差異區域的模板影像，輸入從物體區域推定部901輸出之物體區域資訊這點上係與模板比對部2201不同。模板比對部2202，可以僅就參照影像中的物體區域，藉由進行使用模板影像之模板比對，推定參照影像中的差異區域。又，由於模板比對部2202，限定與模板影像比對之參照影像中的區域之範圍，故相較於與模板影像比對之區域的範圍寫參照影像全體亦即模板比對部2201，可以進行高速的處理。

在本實施態樣中，雖與實施態樣2~5相同，無需將參照影像中的差異區域於事前登錄資料庫，若於事前分別在差異區域所見之典型的影像圖案，則藉由利用此影像圖案作為模板影像，即可以推定差異區域。例如，在從以相同的信封而僅屬名不同之複數的郵件影像之中僅想識別出鑑別的 郵件的場合，記載有屬名之區域，由於可以將所謂郵遞區號、住址、屬名這種文字列的配置定義為某種程度決定之影像圖案，故為有效果的。然後，雖然依本實施態樣進行之參照影像中的差異區域之推定，即使在差異區域為物體全體的場合，亦可能為物體之一分部的場合，然而，在差異區域推定部22之構成為圖27的場合，由於與實施態樣3~5相同，可以先藉由推定物體區域除去背景的影響後，再推定差異區域，故可以高精度地推定差異區域，而在圖10及圖11所示之例的場合特別有效。

(第7實施態樣)

就本發明之第7實施態樣參照圖面來說明。

圖28為表示本發明之第7實施態樣亦即物體識別裝置的構成之方塊圖。如圖28所示，第7實施態樣之物體識別裝置，包含：局部特徵量取出部11、局部特徵量對照部16、輸入影像差異區域決定部13、輸入影像差異區域特徵量取出部14、特徵量對照部15、差異區域推定部23、及差異區域特徵量取出部18。如此，在第7實施態樣之物體識別裝置中，成為合併第2實施態樣之物體識別裝置及第6實施態樣之物體識別裝置的構成。相較於第2實施態樣之物體識別裝置，差異區域推定部17係變更為差異區域推定部23這點上，係與第2實施態樣不同。差異區域推定部23之詳細內容將於後述。關於其他之構成元件，係與第2實施態樣相同，故附加相同的符號而省略詳細的說明。

圖29，圖30以及圖31，為表示差異區域推定部23之構成例的方塊圖，以下就各圖加以說明。

圖29所示之差異區域推定部23，包含誤對應特徵點密集度探索部2103，以及模板比對部2301。圖29之誤對應特徵點密集度探索部2103，係與圖23所示之差異區域推定部21的構成元件亦即誤對應特徵點密集度探索部2103相同，故省略詳細說明。

又，雖然圖29之模板比對部2301，係與圖27所示之差異區域推定部22的構成元件亦即模板比對部2202類似，然而，在取代物體區域資訊而輸入差異候補區域資訊這點上是不同的。亦即，圖29之模板比對部2301，僅就誤以對應特徵點密集度探索部2103推定之參照影像中的差異候補區域，進行使用模板影像之模板比對，並推定參照影像中的差異區域。由於從模板比對部2301輸出之差異區域資訊，係從藉由誤對應特徵點密集度探索部2103推定之差異候補區域中，進而藉由模板比對部2301限縮差異區域，故能輸出可靠度高的差異區域資訊。

又，圖30所示之差異區域推定部23，亦得以模板比對部2302、誤對應特徵點密集度探索部2102構成。雖然圖30之模板比對部2302，與圖26所示之差異區域推定部22之構成元件亦即模板比對部2201幾乎相同，然而，在並非輸出差異區域資訊而係輸出差異候補區域資訊這點上，係與模板比對部2201不同。此模板比對部2302輸出之差異候補區域資訊，可以與以模板比對部2201輸出之差異區域資訊相同，也可以捉只比此差異區域資訊稍微廣的區域，作為此區域資訊。

又，圖30之誤對應特徵點密集度探索部2102，係與圖22所示之差異區域推定部21的構成元件亦即誤對應特徵點密集度探索部2102相同，故省略詳細說明。亦即，圖30之誤對應特徵點密集度探索部2102，僅著眼於對應特徵點之中，存在於由模板比對部2302推定之參照影像中的差異候補區域之內部的點，並探索錯誤對應之特徵點為密集的區域，而推定差異區域。由於從誤對應特徵點密集度探索部2102輸出之差異區域資訊，係從由模板比對部2302推定之差異候補區域中，進而藉由誤對應特徵點密集度探索部2102限縮差異區域，故能輸出可靠度高的差異區域資訊。

又，圖31所示之差異區域推定部23，包含誤對應特徵點密集度探索部2103、模板比對部2302、及差異候補區域重複偵測部2106。圖31之誤對應特徵點密集度探索部2103，係與圖23所示之差異區域推定部21的構成元件亦即誤對應特徵點密集度探索部2103相同，故省略詳細說明。圖31 之模板比對部2302，係與圖30所示之差異區域推定部23的構成元件亦即模板比對部2302相同，故省略詳細說明。差異候補區域重複偵測部2106，係與圖24所示之差異區域推定部21的構成元件亦即差異候補區域重複偵測部2106相同，故省略詳細說明。

由於以圖31的構成從差異候補區域重複偵測部2106輸出之差異區域資訊，係成為藉由誤對應特徵點密集度探索部2103及模板比對部2302任一者作為差異候補區域而判定之區域的資訊，故能輸出可靠度高的差異區域資訊。

在本實施態樣中，雖與實施態樣2~6相同，無需將參照影像中的差異區域於事前登錄資料庫，與實施態樣6相同，若於事前分別在差異區域所見之典型的影像圖案，則藉由利用此影像圖案作為模板影像，即可以推定差異區域。例如，在從以相同的信封而僅屬名不同之複數的郵件影像之中僅想識別出鑑別的郵件的場合，記載有屬名之區域，由於可以將所謂郵遞區號、住址、屬名這種文字列的配置定義為某種程度決定之影像圖案，故為有效果的。然後，雖然依本實施態樣進行之參照影像中的差異區域之推定，即使在差異區域為物體全體的場合，亦可能為物體之一分部的場合，然而，與第5實施態樣相同，由於相較於第2實施態樣等，可得到可靠度為高之差異區域，故可實現高精度的識別。又，雖然至此所述之本實施態樣，係將第2實施態樣之物體識別裝置與第6實施態樣之物體識別裝置合併之構成的場合，但圖28的構成，亦可為將第3實施態樣之物體識別裝置與第6實施態樣之物體識別裝置合併之構成。亦即，差異區域推定部23為圖29、圖30、圖31之構成的場合，可以於誤對應特徵點密集度探索部2103及模板比對部2302之前加上物體區域推定部，此時，由於藉由除去背景的影響而成為從物體區域之中推定差異區域，故在圖10或圖11所示之例子的場合成為特別有效的構成。

(第8實施態樣)

就本發明之第8實施態樣參照圖面來說明。

圖32為表示本發明之第8實施態樣亦即物體識別裝置的構成之方塊圖。如圖32所示，第8實施態樣之物體識別裝置，包含：局部特徵量取出部11、局部特徵量對照部12、輸入影像差異區域決定部13、輸入影像差異區域特徵量取出部14、特徵量對照部15、差異區域推定部24、及差異區域特徵量取出部18。如此，在第8實施態樣之物體識別裝置中，係將第4實施態樣之物體識別裝置與第6實施態樣之物體識別裝置合併而構成，相較於第4實施態樣之物體識別裝置，在差異區域推定部20變更為差異區域推定部24這點上是不同的。差異區域推定部24之詳細內容將於後述。關於其他的構成元件，係與第4實施態樣相同，附加相同的符號而省略詳細的說明。

圖33至圖35，為表示差異區域推定部24之構成例的方塊圖，以下就各圖加以說明。

圖33所示之差異區域推定部24，包含：變換影像產生部2001、差異影像產生部2002、物體區域推定部2003、大差異量區域偵測部2101、以及模板比對部2301。圖33之變換影像產生部2001、差異影像產生部2002、物體區域推定部2003，係與圖19所示之差異區域推定部20的構成元件亦即變換影像產生部2001、差異影像產生部2002、物體區域推定部2003相同，故省略詳細說明。圖33之大差異量區域偵測部2101，係與圖22所示之差異區域推定部21的構成元件亦即大差異量區域偵測部2101相同，故省略詳細說明。又，圖33之模板比對部2301，係與圖29所示之差異區域推定部23的構成元件亦即模板比對部2301相同，故省略詳細說明。

亦即，圖33之模板比對部2301，僅就由大差異量區域偵測部2101推定之參照影像中的差異候補區域，進行使用模板影像之模板比對，而推定參照影像中的差異區域。由於從模板比對部2301輸出之差異區域資訊，係從由大差異量區域偵測部2101推定之差異候補區域中，進而藉由模板比對部2301限縮差異區域，故該輸出可靠度高的差異區域資訊。

又，圖34所示之差異區域推定部24，包含變換影像產生部2001、模板比對部2302、差異影像產生部2104、以及大差異量區域偵測部2105。圖34之變換影像產生部2001，係與圖19所示之差異區域推定部20的構成元件亦即變換影像產生部2001相同，故省略詳細說明。又，圖34之模板比對部2302，係與圖30所示之差異區域推定部23的構成元件亦即模板比對部2302相同，故省略詳細說明。圖34之差異影像產生部2104以及大差異量區域偵測部2105，係分別與圖23所示之差異區域推定部21的構成元件亦即差異影像產生部2104以及大差異量區域偵測部2105相同，故省略詳細說明。

由於從大差異量區域偵測部2105輸出之差異區域資訊，係從由模板比對2302推定之差異候補區域中，進而藉由大差異量區域偵測部2105限縮差異區域，故該輸出可靠度高的差異區域資訊。

又，圖35所示之差異區域推定部24，包含：變換影像產生部2001、差異影像產生部2002、物體區域推定部2003、大差異量區域偵測部2101、模板比對部2302、以及差異候補區域重複偵測部2106。

圖35之變換影像產生部2001、差異影像產生部2002、及物體區域推定部2003，係與圖19所示之差異區域推定部20的構成元件亦即變換影像產生部2001、差異影像產生部2002、及物體區域推定部2003相同，故省略詳細說明。又，圖35之大差異量區域偵測部2101，係與圖22所示之差異區域推定部21的構成元件亦即大差異量區域偵測部2101相同，故省略詳細說明。又，圖35之模板比對部2302，係與圖30所示之差異區域推定部23的構成元件亦即模板比對部2302相同，故省略詳細說明。又，圖35之差異候補區域重複偵測部2106，係與圖24所示之差異區域推定部21的構成元件亦即差異候補區域重複偵測部2106相同，故省略詳細說明。

由於以圖35的構成從差異候補區域重複偵測部2106輸出之差異區域 資訊，係成為藉由大差異量區域偵測部2101及模板比對部2302任一者作為差異候補區域判定之區域的資訊，故能輸出可靠度高的差異區域資訊。

在本實施態樣中，與實施態樣2~7相同，無需將參照影像中的差異區域於事前登錄資料庫，而與實施態樣6或7相同，若於事前分別在差異區域所見之典型的影像圖案，則藉由利用此影像圖案作為模板影像，即可以推定差異區域。例如，在從以相同的信封而僅屬名不同之複數的郵件影像之中僅想識別出鑑別的郵件的場合，記載有屬名之區域，由於可以將所謂郵遞區號、住址、屬名這種文字列的配置定義為某種程度決定之影像圖案，故為有效果的。然後，雖然依本實施態樣進行之參照影像中的差異區域之推定，即使在差異區域為物體全體的場合，亦可能為物體之一分部的場合，然而，與第5以及第7實施態樣相同，相較於第2實施態樣等，由於可以得到可靠度高的差異區域，故可以實現高精度的識別。又，在本實施態樣中，在差異區域推定部24為圖34或圖35之構成的場合，可以在模板比對部2302之前加入物體區域推定部，此時，由於係在除去背景的影響後從物體區域中推定差異區域，故在圖10或圖11的場合成為特別有效的構成。

(第9實施態樣)

就本發明之第9實施態樣參照圖面來說明。

圖36為表示本發明之第9實施態樣亦即物體識別裝置的構成之方塊圖。如圖36所示，第9實施態樣之物體識別裝置，包含：局部特徵量取出部11、局部特徵量對照部16、輸入影像差異區域決定部13、輸入影像差異區域特徵量取出部14、特徵量對照部15、差異區域推定部25、以及差異區域特徵量取出部18。

如此，在第9實施態樣之物體識別裝置中，係將第5實施態樣之物體識別裝置與第6實施態樣之物體識別裝置合併而構成。第9實施態樣之物體識別裝置，相較於第5實施態樣之物體識別裝置，在差異區域推定部21變更為差異區域推定部25這點上是不同的。差異區域推定部25之詳細內 容將於後述。關於其他的構成元件，係與第5實施態樣相同，附加相同的符號而省略詳細的說明。

差異區域推定部25，可以作為以下之構成的組合加以構成：如圖14之僅由誤對應特徵點密集度探索部701推定差異區域之構成、如圖19之藉由變換影像產生部2001、差異影像產生部2002、物體區域推定部2003、及大差異量區域偵測部2004推定差異區域之構成、以及如圖26之僅由模板比對部2201推定差異區域之構成。有關推定這三個差異區域之構成，作為在先以某一個構成推定了差異候補區域後，再以其他構成進而限縮此差異候補區域之構成的場合，可將推定三個差異區域之構成依任何順序構成。又，有關推定這三個差異區域之構成，亦可以各構成分別推定差異候補區域，並將以此各構成推定之差異候補區域的重複區域作為最終的差異區域輸出。又，有關推定這三個差異區域之構成，在以某一個構成先推定了差異候補區域之後，亦可從此差異候補區域中，以剩餘的兩個各構成分別限縮差異候補區域，而將以此二構成推定之差異候補區域的重複區域作為最終的差異區域輸出。又，有關推定這三個差異區域之構成，亦可以先以二構成分別推定差異候補區域，並從以此二構成推定之差異候補區域的重複區域中，以剩餘的一個構成限縮差異候補區域，而將在此限縮之區域作為最終的差異區域輸出。

圖37以及圖38，為表示差異區域推定部25之構成例的方塊圖，以下就各圖加以說明。

如圖37所示，差異區域推定部25，包含：變換影像產生部2001、差異影像產生部2002、物體區域推定部2003、大差異量區域偵測部2101、模板比對部2501、以及誤對應特徵點密集度探索部2102。

圖37之變換影像產生部2001、差異影像產生部2002、及物體區域推定部2003，係與圖19所示之差異區域推定部20的構成元件亦即變換影像產生部2001、差異影像產生部2002、及物體區域推定部2003相同，故省 略詳細說明。圖37之大差異量區域偵測部2101，係與圖22之大差異量區域偵測部2101相同，故省略詳細說明。

雖然圖37之模板比對部2501，與圖29所示之差異區域推定部23的構成元件亦即模板比對部2301幾乎相同，但是在並非輸出差異量區域資訊而係輸出差異量候補區域資訊這點上是不同的。

圖37之誤對應特徵點密集度探索部2102，係與圖22所示之差異區域推定部21的構成元件亦即誤對應特徵點密集度探索部2102相同，故省略詳細說明。亦即，圖37之誤對應特徵點密集度探索部2102，僅著眼於對應特徵點之中，存在於由模板比對部2501推定之參照影像中的差異候補區域之內部的點，並探索錯誤對應之特徵點為密集的區域，而推定差異區域。然後，此模板比對部2501，也僅就由大差異量區域偵測部2101推定之參照影像中的差異候補區域，進行使用模板影像之模板比對，並推定參照影像中的差異區域候補。由於從誤對應特徵點密集度探索部2102輸出之差異區域資訊，係從以大差異量區域偵測部2101以及模板比對部2501推定之差異候補區域中，進而藉由誤對應特徵點密集度探索部2102限縮差異區域，故能輸出可靠度高的差異區域資訊。

又，如圖38所示，差異區域推定部25，可由變換影像產生部2001、差異影像產生部2002、物體區域推定部2003、大差異量區域偵測部2101、模板比對部2302、誤對應特徵點密集度探索部2103、以及差異候補區域重複偵測部2502構成。圖38之變換影像產生部2001、差異影像產生部2002、及物體區域推定部2003，係與圖19所示之差異區域推定部20的構成元件亦即變換影像產生部2001、差異影像產生部2002、及物體區域推定部2003相同，故省略詳細說明。又，圖38之大差異量區域偵測部2101，係與圖22所示之差異區域推定部21的構成元件亦即大差異量區域偵測部2101相同，故省略詳細說明。又，圖38之模板比對部2302，係與圖30所示之差異區域推定部23的構成元件亦即模板比對部2302相同，故省略詳細說明。又，圖38之誤對應特徵點密集度探索部2103，係與圖23所示之差異區域 推定部21的構成元件亦即誤對應特徵點密集度探索部2103相同，故省略詳細說明。

圖38之差異候補區域重複偵測部2502，係與圖24所示之差異區域推定部21的構成元件亦即差異候補區域重複偵測部2106類似。圖38之差異候補區域重複偵測部2502，接收從大差異量區域偵測部2101、模板比對部2302、及誤對應特徵點密集度探索部2103分別輸出之三個差異候補區域資訊，並將這三個差異候補區域為重複的區域判斷為差異區域，而輸出此差異區域資訊這些點上，係與差異候補區域重複偵測部2106不同。由於從差異候補區域重複偵測部2502輸出之差異區域資訊，係成為藉由大差異量區域偵測部2101、模板比對2302、及誤對應特徵點密集度探索部2103任一者作為差異候補區域判定之區域的資訊，故能輸出可靠度高的差異區域資訊。

又，差異區域推定部25，亦可由圖37或圖38以外構成。例如，先對於以誤對應特徵點密集度探索部2103推定之差異候補區域，再藉由模板比對部2501進而限縮差異候補區域。也可以進而從此限縮之差異候補區域之中，以變換影像產生部2001、差異影像產生部2104、及大差異量區域偵測部2105之組合，推定最終的的差異區域資訊。又，使用了誤對應特徵點密集度探索之差異候補區域的推定，可依照使用了模板比對的差異候補區域之推定、使用了大差異量區域偵測之差異候補區域之推定的處理順序，亦可為至此所述之構成例以外的順序。

在本實施態樣中，雖與實施態樣2~8相同，無需將參照影像中的差異區域於事前登錄資料庫，與實施態樣6~8相同，若於事前分別在差異區域所見之典型的影像圖案，則藉由利用此影像圖案作為模板影像，即可以推定差異區域。例如，在從以相同的信封而僅屬名不同之複數的郵件影像之中僅想識別出鑑別的郵件的場合，記載有屬名之區域，由於可以將所謂郵遞區號、住址、屬名這種文字列的配置定義為某種程度決定之影像圖案，故為有效果的。然後，雖然依本實施態樣進行之參照影像中的差異區域之 推定，即使在差異區域為物體全體的場合，亦可能為物體之一分部的場合，然而，與第5、7、8實施態樣相同，相較於第2實施態樣等，由於可得到可靠度高的差異區域，故可實現高精度的識別。又，在本實施態樣中，例如，在差異區域推定部25為圖38之構成的場合，可以在模板比對部2302或誤對應特徵點密集度探索部2103之前加上物體區域推定部，此時，由於在除去背景的影響後從物體區域之中推定差異區域，在圖10或圖11的場合為特別有效的構成。

(第10實施態樣)

就本發明之第10實施態樣參照圖面來說明。

圖39為表示本發明之第10實施態樣亦即物體識別裝置的構成例之方塊圖。如圖39所示，第10實施態樣之物體識別裝置，包含：局部特徵量取出部11、局部特徵量對照部12、輸入影像差異區域決定部13、輸入影像差異區域特徵量取出部26、特徵量對照部27。

如此，第10實施態樣之物體識別裝置中，第1實施態樣之物體識別裝置的輸入影像差異區域特徵量取出部14以及特徵量對照部15，係變更為輸入影像差異區域特徵量取出部26以及特徵量對照部27，這點上是不同的。輸入影像差異區域特徵量取出部26與特徵量對照部27之詳細內容將於後述。關於其他的構成元件，係與第1實施態樣相同，附加相同的符號而省略詳細的說明。

圖40表示輸入影像差異區域特徵量取出部26的構成例之方塊圖。如圖40所示，輸入影像差異區域特徵量取出部26包含差異區域局部特徵量取出部2601。

差異區域局部特徵量取出部2601，接收從輸入影像差異區域決定部13輸出之輸入影像差異區域資訊，並於局部特徵量取出部11接收從輸入影像取出之局部特徵量亦即局部特徵量1，而基於接收之輸入影像差異區域資訊 以及局部特徵量取出特徵量1。在此取出之特徵量1，基於成為記述局部特徵量1時的基本之特徵點的座標資訊，探索於輸入影像的差異區域內存在之特徵點，並將此特徵點周邊的資訊作為局部特徵量，而將記述之特徵量作為特徵量1輸出。亦即，在此輸出之特徵量1，為將局部特徵量1的一部分切出而產生的特徵量。本實施態樣中，藉由特徵量對照部27而與特徵量1對照之特徵量2，係與特徵量1相同，為切出從參照影像取出的局部特徵量亦即局部特徵量2之一部分，而產生的特徵量。

圖41表示特徵量對照部27的構成例之方塊圖。如圖41所示，特徵量對照部27，包含：對應特徵點決定部201、誤對應點除去部2701、識別分數計算部203、以及臨界值判定部2702。圖41之對應特徵點決定部201、識別分數計算部203，係與圖4所示之局部特徵量對照部12的構成元件亦即對應特徵點決定部201、識別分數計算部203相同，故省略詳細說明。

雖然圖41之誤對應點除去部2701，與圖4所示之局部特徵量對照部12的構成元件亦即誤對應點除去部202幾乎相同，但是，在不輸出幾何變換資訊，而只輸出對應特徵點資訊這點上是不同的。雖然圖41的臨界值判定部2702，與圖4所示之局部特徵量對照部12的構成元件亦即臨界值判定部204幾乎相同，但是，在不輸出局部特徵識別影像ID而係輸出差異區域識別影像ID這點上是不同的。

如以上之本實施態樣中，在藉由特徵量對照部27之對照上使用的輸入影像之特徵量與參照影像之特徵量，係分別為，在藉由局部特徵量對照部12之對照(判定)上使用的輸入影像之特徵量與參照影像之特徵量的分別之一部分。

在本實施態樣中，與實施態樣1~9不同，由於切出局部特徵量的一部分而於差異區域的識別上使用產生之特徵量，故在輸入影像差異區域特徵量取出部產生特徵量時，只要輸入從輸入影像取出之局部特徵量即可，而不需要輸入影像本身。為此，作為只在客戶端側進行在局部特徵量的取出， 而在伺服器側進行其他的處理之伺服器客戶端系統，而構成物體識別裝置的場合，在本實施態樣中，只需將比輸入影像更為輕量的局部特徵量傳送到伺服器側即可，故可以使得到識別結果為止的處理時間短縮。又，在本實施態樣中之特徵量對照部，雖然進行與局部特徵量對照部幾乎相同的處理，但是，由於可以除去從差異區域以外偵測之特徵點的對應所造成的影響，且可以進行僅藉由差異區域的對照，故相較於使用從影像全體取出之局部特徵量全體之習知的方式，可以更為識分辨物體內的差異，在結果上變得可實現高精度的識別。又，作為本實施態樣之構成例，至今依序說明而來之圖39，雖然係基於第1實施態樣的構成，同樣地，也可分別基於第2~9實施態樣之構成。亦即，亦可將第2~9實施態樣之構成例中之向輸入影像差異區域特徵量取出部14的輸入，不做為輸入影像而做為局部特徵量1而構成。

(第11實施態樣)

就本發明之第11實施態樣參照圖面來說明。

圖42為表示本發明之第11實施態樣亦即物體識別裝置之構成例的方塊圖。如圖42所示，第11實施態樣之物體識別裝置，包含：局部特徵量取出部11、局部特徵量對照部28、輸入影像差異區域決定部13、輸入影像差異區域特徵量取出部14、特徵量對照部29、以及識別分數統合判定部30。

如此，在第11實施態樣之物體識別裝置，第1實施態樣之物體識別裝置的局部特徵量對照部12以及特徵量對照部15，係變更為局部特徵量對照部28以及特徵量對照部29，而識別分數統合判定部30係作為新的構成元件加入這點，係有別於第1實施態樣。局部特徵量對照部28、特徵量對照部29、及識別分數統合判定部30之詳細內容將於後述。關於其他的構成元件，係與第1實施態樣相同，附加相同的符號而省略詳細的說明。

圖43表示局部特徵量對照部28的構成例之方塊圖。如圖43所示，局部特徵量對照部28，包含：對應特徵點決定部201、誤對應點除去部202、 識別分數計算部203、以及臨界值判定部2801。

圖43之對應特徵點決定部201、誤對應點除去部202、識別分數計算部203，係與圖4所示之局部特徵量對照部12的構成元件亦即對應特徵點決定部201、誤對應點除去部202、識別分數計算部203相同，故省略詳細說明。

雖然圖43之臨界值判定部2801，與圖4所示之局部特徵量對照部12的構成元件亦即臨界值判定部204幾乎相同，然而，在不僅局部特徵識別影像ID，亦輸出與局部特徵的識別分數這點上是不同的，該局部特徵係從對應於此局部特徵識別影像ID之參照影像(或是與其附加關連之參照影像群)取出。以此臨界值判定部2801設定之臨界值，亦可比以臨界值判定部204設定之臨界值更為緩慢，而與局部特徵識別影像ID一同複數輸出識別分數。

圖44表示特徵量對照部29的構成例之方塊圖。如圖44所示，特徵量對照部29，包含：差異區域識別分數計算部501，以及臨界值判定部2901。圖44之差異區域識別分數計算部501，係與圖6所示之特徵量對照部15的構成元件亦即差異區域識別分數計算部501相同，故省略詳細說明。

雖然圖44之臨界值判定部2901，與圖6所示之特徵量對照部15的構成元件亦即臨界值判定部502幾乎相同，但是，不只差異區域識別影像ID，亦輸出與特徵量之差異區域識別分數這點上是不同的，該特徵量係從對應於此差異區域識別影像ID之參照影像或是與其附加關連付之參照影像群的差異區域取出。在此臨界值判定部2901設定之臨界值，亦可比以臨界值判定部502設定之臨界值更為緩慢，而與差異區域識別影像ID一同複數輸出差異區域識別分數。

圖45表示識別分數統合判定部30的構成例之方塊圖。如圖45所示，識別分數統合判定部30，包含識別分數統合部3001以及臨界值判定部3002。

識別分數統合部3001，接收從局部特徵量對照部28輸出之識別分數，及接收從特徵量對照部29輸出之差異區域識別分數，並基於接收之分數計算統合分數而輸出。此時，亦可求取對應於例如相同之影像ID的識別分數與差異區域識別分數之積，而將此值作為統合分數輸出。

圖45之臨界值判定部3002，係與圖4所示之局部特徵量對照部12的構成元件亦即臨界值判定部204、圖6所示之特徵量對照部15的構成元件亦即臨界值判定部502幾乎相同。與臨界值判定部204以及臨界值判定部502不同的點在於，臨界值判定部3002，係將從識別分數統合部3001輸出之統合分數與既定的臨界值比較，而在成為臨界值以上之場合，此輸入影像及參照影像，係判定為將相同物體作為被攝物之影像，並將此輸入影像之影像ID作為識別影像ID輸出；而在未滿臨界值之場合，此輸入影像及參照影像，係判定為並非將相同物體作為被攝物之影像。亦即，臨界值判定部3002，基於藉由局部特徵量對照部28之對照的結果，以及藉由特徵量對照部29之對照的結果，來判定輸入影像與參照影像，是否為將相同物體作為被攝物之影像。

在本實施態樣中，與實施態樣1~10不同，不僅以差異區域識別分數決定最終的識別結果，而係從將他們與藉由局部特徵量之識別分數統合的分數，來判定最終的識別結果。轉映相同物體的影像係在不良環境(例如，黑暗環境)，而其他的類似物體係在理想的環境攝影之場合，若將這些類似物體不僅紋理連色調也設定為類似，則雖然僅藉由從差異區域取出之特徵量無法正確識別，但是藉由與以局部特徵量判定之識別結果合併，便可以將對於相同物體之識別結果相對地提高。又，關於本實施態樣之構成例，至此為止依序說明而來圖42，係基於第1實施態樣之構成，同樣地，亦可為分別基於第2~10實施態樣之構成。亦即，第2~10實施態樣之構成例中，亦可構成為：分別從局部特徵量對照部輸出識別分數，以及從特徵量對照部輸出差異區域識別分數，而使該等分數輸入至識別分數統合判定部。

本發明之具體的構成並不限於前述實施態樣，即便在未脫離本發明的主旨的範圍內之變更，亦含概於本發明。

本申請案，係以2012年8月23日申請之日本申請案特願2012-814534為基礎主張優先權，故該案之揭露均涉及於此。

以上，參照實施態樣說明本發明，但本發明不限定於上述實施態樣。在本願發明之構成或是細節上，本發明之範圍內的所屬技術領域具通常知識者可以進行能理解的各種變更。

上述實施態樣之一部分或全部，雖然亦如以下之附記般所記載，但並不限於以下。

(附記1)一種物體識別裝置，包含：局部特徵量對照機構，用以判定從輸入影像取出之特徵點的各自之特徵量，與從參照影像取出之特徵點的各自之特徵量，是否正確地對應著；輸入影像差異區域特徵量取出機構，其在基於由該局部特徵量對照機構判定為正確地對應著之特徵量的組合數之分數在既定值以上的場合，取出位在對應於一影像區域的位置之位於該輸入影像的區域之特徵量，該影像區域係藉由對於該參照影像的既定區域進行修正該輸入影像與該參照影像間之幾何上的偏移之幾何變換而得；以及特徵量對照機構，其對照由該輸入影像差異區域特徵量取出機構取出之特徵量，以及由該參照影像之該既定區域取出之特徵量，並輸出對照結果。

(附記2)如附記1所述之物體識別裝置，更包含：儲存裝置，其儲存了有關該參照影像之該既定區域的資訊。

(附記3)如附記1所述之物體識別裝置，其中，該參照影像之該既定區域，係包含位於由該局部特徵量對照機構判定為特徵量錯誤地對應著之參 照影像的特徵點之區域。

(附記4)如附記1所述之物體識別裝置，其中，該參照影像之該既定區域，係物品轉映的區域之中，包含特徵點的區域，該特徵點係位於由該局部特徵量對照機構判定為特徵量錯誤地對應著之參照影像。

(附記5)如附記1所述之物體識別裝置，其中，該參照影像之該既定區域，包含藉由幾何變換而得之影像與該參照影像間之差異量為既定值以上的區域，該幾何變換係對於該輸入影像進行修正該輸入影像與該參照影像間之幾何上的偏移。

(附記6)如附記1所述之物體識別裝置，其中，該參照影像之該既定區域，包含物品轉映之區域中由該局部特徵量對照機構判定為特徵量錯誤地對應著之特徵點，且，包含對於該輸入影像進行幾何變換而得之影像與該參照影像間之差異量為既定值以上之區域，該幾何變換係修正該輸入影像與該參照影像間之幾何上的偏移。

(附記7)如附記1所述之物體識別裝置，其中，該參照影像之該既定區域，包含該參照影像中與既定的圖案影像之類似度在一定值以上之區域。

(附記8)如附記1所述之物體識別裝置，其中，該參照影像之該既定區域，包含以下區域：在該參照影像中，由該局部特徵量對照機構判定為特徵量錯誤對應著，且，與既定之圖案影像的類似度為既定值以上之區域。

(附記9)如附記1所述之物體識別裝置，其中，該參照影像之該既定區域，包含以下區域：藉由對於該輸入影像進行修正該輸入影像與該參照影像間之幾何上的偏移之幾何變換而得之影像，與該參照影像間之差異量為既定值以上，且，在該參照影像中與既定之圖案影像的類似度為既定值以上之區域。

(附記10)如附記1所述之物體識別裝置，其中，該參照影像之該既定區域，包含以下區域：包含由該局部特徵量對照機構判定為特徵量錯誤對應著之特徵點，且，藉由對於該輸入影像進行修正該輸入影像與該參照影像間之幾何上的偏移之幾何變換而得之影像，與該參照影像間之差異量為既定值以上，且，在該參照影像中與既定之圖案影像的類似度為既定值以上之區域。

(附記11)如附記第1至10項中任一項所述之物體識別裝置，其中，在藉由該特徵量對照機構對照，所使用的該輸入影像的特徵量與該參照影像的特徵量，係分別為在藉由該局部特徵量對照機構判定，所使用之該輸入影像的特徵量與該參照影像的特徵量之各自的一部份。

(附記12)如附記第1至11項中任一項所述之物體識別裝置，其中，更包含：統合判定機構，其基於藉由該局部特徵量對照機構之該判定的結果，與藉由該特徵量對照機構之該對照的結果，判定該輸入影像與該參照影像，是否為將相同物體作為被攝物之影像。

(附記13)一種物體識別方法，其特徵為包含以下步驟：局部特徵量對照步驟，用以判定從輸入影像取出之特徵點的各自之特徵量，與從參照影像取出之特徵點的各自之特徵量是否正確地對應著；輸入影像差異區域特徵量取出步驟，在基於藉由該局部特徵量對照步驟判定為正確地對應著之特徵量的組合數之分數為既定值以上的場合，取出位於對應於一影像區域的位置之該輸入影像的區域之特徵量；該影像區域係藉由對於該參照影像之既定區域進行修正該輸入影像與該參照影像間之幾何上的偏移之幾何變換而得；及特徵量對照步驟，用以對照藉由該輸入影像差異區域特徵量取出步驟取出之特徵量，及從該參照影像之該既定區域取出之特徵量，並輸出對照結果。

(附記14)一種程式產品，用以將電腦做為以下機構發揮功能： 局部特徵量對照機構，用以判定從輸入影像取出之特徵點之各別的特徵量，與從參照影像取出之特徵點之各別的特徵量是否正確地對應著；輸入影像差異區域特徵量取出機構，在基於藉由該局部特徵量對照機構判定為正確地對應著之特徵量的組合數之分數為既定值以上的場合，取出位於對應於一影像區域的位置之該輸入影像的區域之特徵量，該影像區域係藉由對於該參照影像的既定區域進行修正該輸入影像與該參照影像間之幾何上的偏移之幾何變換而得；及特徵量對照機構，用以對照由該輸入影像差異區域特徵量取出機構取出之特徵量，及由該參照影像的該既定區域取出之特徵量，並輸出對照結果。

【產業利用性】

在習知之利用局部特徵量的物體識別中，要正確的識別出以相同品牌包裝之顏色或是僅一部分的文字不同之製品，或是要正確的識別出以相同信封而只有屬名不同之郵寄物，實屬困難；依本發明，可以分別僅以習知之局部特徵量之對照無法識別之細微差異，或僅識別轉映相同之物體的影像，可適用於無條碼之POS系統(POINT OF SALES，銷售時點情報系統)、品檢系統、及郵寄物自動分類系統等。

11‧‧‧局部特徵量取出部

12‧‧‧局部特徵量對照部

13‧‧‧輸入影像差異區域決定部

14‧‧‧輸入影像差異區域特徵量取出部

15‧‧‧特徵量對照部

Claims (9)

1. 一種物體識別裝置，包含：局部特徵量對照機構，用以判定從輸入影像取出之特徵點的各自之特徵量，與從參照影像取出之特徵點的各自之特徵量，是否正確地對應著；輸入影像差異區域特徵量取出機構，其在基於由該局部特徵量對照機構判定為正確地對應著之特徵量的組合數之分數在既定值以上的場合，取出在對應於一影像區域的位置之該輸入影像中的區域之特徵量，該影像區域係藉由對於該參照影像的既定區域進行修正該輸入影像與該參照影像間之幾何上的偏移之幾何變換而得；以及特徵量對照機構，其對照由該輸入影像差異區域特徵量取出機構取出之特徵量，以及由該參照影像之該既定區域取出之特徵量，並輸出對照結果；其中，在藉由該特徵量對照機構進行之對照所使用的該輸入影像的特徵量、與該參照影像的特徵量，係分別為在藉由該局部特徵量對照機構進行之判定所使用之該輸入影像的特徵量、與該參照影像的特徵量之各自的一部份。
2. 如申請專利範圍第1項所述之物體識別裝置，更包含：儲存裝置，其儲存了有關該參照影像之該既定區域的資訊。
3. 如申請專利範圍第1項所述之物體識別裝置，其中，該參照影像之該既定區域，係包含由該局部特徵量對照機構判定為特徵量錯誤地對應著之參照影像中的特徵點之區域。
4. 如申請專利範圍第1項所述之物體識別裝置，其中，該參照影像之該既定區域，係於物品轉映的區域中，包含由該局部特徵量對照機構判定為特徵量錯誤地對應著之參照影像內之特徵點的區域。
5. 如申請專利範圍第1項所述之物體識別裝置，其中，該參照影像之該既定區域，包含藉由對於該輸入影像進行修正該輸入影像與該參照影像間之幾何上的偏移而得之影像、與該參照影像間之差異量為既定值以上的區域。
6. 如申請專利範圍第1項所述之物體識別裝置，其中，該參照影像之該既定區域，於物品轉映之區域中符合下列情況的區域：包含由該局部特徵 量對照機構判定為特徵量錯誤地對應著之特徵點，且包含對於該輸入影像進行修正該輸入影像與該參照影像間之幾何上偏移的幾何變換而得之影像與該參照影像間之差異量為既定值以上之區域。
7. 如申請專利範圍第1項所述之物體識別裝置，其中，該參照影像之該既定區域，包含該參照影像中與既定的圖案影像之類似度在一定值以上之區域。
8. 一種物體識別方法，其特徵為包含以下步驟：局部特徵量對照步驟，用以判定從輸入影像取出之特徵點的各自之特徵量，與從參照影像取出之特徵點的各自之特徵量是否正確地對應著；輸入影像差異區域特徵量取出步驟，在基於藉由該局部特徵量對照步驟判定為正確地對應著之特徵量的組合數之分數為既定值以上的場合，取出在對應於一影像區域的位置之該輸入影像中的區域之特徵量，該影像區域係藉由對於該參照影像的既定區域進行修正該輸入影像與該參照影像間之幾何上的偏移之幾何變換而得；及特徵量對照步驟，用以對照藉由該輸入影像差異區域特徵量取出步驟取出之特徵量，及從該參照影像之該既定區域取出之特徵量，並輸出對照結果；其中，在該特徵量對照步驟進行之對照所使用的該輸入影像的特徵量、與該參照影像的特徵量，係分別為在局部特徵量對照步驟進行之判定所使用之該輸入影像的特徵量、與該參照影像的特徵量之各自的一部份。
9. 一種程式產品，用以使電腦發揮作為以下機構的功能：局部特徵量對照機構，用以判定從輸入影像取出之特徵點的各自之特徵量，與從參照影像取出之特徵點的各自之特徵量，是否正確地對應著；輸入影像差異區域特徵量取出機構，其在基於由該局部特徵量對照機構判定為正確地對應著之特徵量的組合數之分數在既定值以上的場合，取出在對應於一影像區域的位置之該輸入影像中的區域之特徵量，該影像區域係藉由對於該參照影像的既定區域進行修正該輸入影像與該參照影像間之幾何上的偏移之幾何變換而得；以及特徵量對照機構，其對照由該輸入影像差異區域特徵量取出機構取出之特徵量，以及由該參照影像之該既定區域取出之特徵量，並輸出對照結 果；其中，在藉由該特徵量對照機構進行之對照所使用的該輸入影像的特徵量、與該參照影像的特徵量，係分別為在藉由該局部特徵量對照機構進行之判定所使用之該輸入影像的特徵量、與該參照影像的特徵量之各自的一部份。