JP5869989B2 - 物品照合装置および方法並びにプログラム - Google Patents

Description

本発明は、所定の照合対象の物品を撮影した画像と、予め記憶された複数の物品の画像情報とを照合する物品照合装置および方法並びにプログラムに関するものである。

従来、商品を最終消費者に販売する小売業においては、実際の在庫の数量を確認して、その確認した実際の在庫の数量と在庫管理表に記載のある在庫の数量との差異を把握する在庫確認作業が定期的に行われている。例えば、店舗にある全ての商品について、商品に付されたバーコードを読み込んで商品番号を取得し、その取得した商品番号に基づいて商品ごとに個数を集計して在庫表を作成し、予め記憶されていた在庫管理表と比較することにより、実際の在庫の数量との差異情報を取得することが行われている。

しかし、近来の商品の多様化に伴い、大型の店舗などでは、多様な多数の商品が存在する場合も多い。このため、１つ１つ商品を陳列棚から取り出してバーコードを読み取って在庫確認作業をすることはコストや作業時間を要するものであるため小売業者の大きな負担となっている。このため、店舗の在庫商品を自動的に認証して集計する技術が期待されている。

そこで、たとえば特許文献１においては、陳列棚に陳列されている商品を撮影した画像データを取得し、その画像データと、予め商品毎に記憶された商品マスターファイルに含まれている画像データとを照合し、これらが一致したものについて在庫管理用のファイルを作成して記憶し、この記憶した在庫管理用のファイルのファイルリストを出力したり、集計したりすることによって在庫管理を簡単に実行する方法が提案されている。

特許第３４９３００７号公報 国際公開第９８／１１５０９号 特開２００５−１０７９７８号公報 特許第４１３５５５６号公報

しかしながら、特許文献１に記載の方法においては、全ての商品マスターファイルに含まれている画像データと、撮影した画像データとを照合して比較するため、照合処理の時間が膨大となる問題がある。

また、特許文献１には、商品マスターファイルの画像データと撮影した画像データを照合した際に、該当する商品が１つもリストアップされなかった場合には、撮影した画像データから文字を抽出し、その文字を含む商品マスターファイルをリストアップする方法が提案されているが、この場合においても、商品マスターファイルに含まれる全て文字と画像データから抽出された文字列との照合を行う必要があるので、やはり照合処理時間が膨大となってしまう。

また、特許文献１においては、単純に画像データから抽出された文字と、商品マスターファイルに含まれている文字との照合を行うため、たとえば画像データから抽出された文字が本のタイトルの「ＡＢＣ」である場合、タイトルとして「ＡＢＣ」を含む商品マスターファイルだけでなく、たとえば出版社として「ＡＢＣ」を含む商品マスターファイルもリストアップするため誤照合が生じる可能性がある。

また、特許文献２にも書籍を撮影した画像データに基づいて、その書籍の種類を判別する方法が提案されているが、特許文献１と同様に予め記憶された全ての画像データとの比較を行う必要があるため照合処理の時間が膨大となる問題がある。

また、特許文献３には、ＣＤなどの被写体を撮影した画像データに基づいて、そのＣＤに録音されている音声情報などをサーバから検索するシステムが提案されており、その検索を行う際、被写体の種別によって画像認識する対象を限定することが開示されているが、その被写体の種別はユーザによって入力されるものであり、検索対象を絞り込む際に用いられる被写体の種別を自動的に特定する方法は開示されていない。

また、特許文献４には、物品を撮影した画像データから物品を特徴づける文字や記号を抽出し、外部記憶装置に記憶されたデータと照合することによって抽出した文字や記号を認識することが開示されているが、その具体的な照合方法については開示されていない。

本発明は、上記事情に鑑み、所定の照合対象の物品を撮影した画像データと、予め記憶された複数の種々の物品の画像データとを照合することによって、種々の物品の中から照合対象の物品に該当する物品を抽出する場合において、より高速かつ高精度に該当物品を抽出することができる物品照合装置および方法並びにプログラムを提供することを目的とするものである。

本発明の物品照合装置は、複数の物品について、各物品の全体的な外観を表す全体画像情報と、各物品の外観の一部分の位置情報およびその一部分に含まれる各物品の属性情報を含む部分特徴情報とが対応付けられて記憶されている物品情報記憶部と、物品情報記憶部に記憶された物品の全体画像情報と部分特徴情報とに基づいて、所定の照合対象物品の照合を行う物品照合部とを備え、物品照合部が、照合対象物品を撮影した画像を取得し、その画像内における文字情報とその文字情報の画像内における位置情報とを取得する文字情報取得部を有し、その文字情報取得部によって取得された文字情報と部分特徴情報に含まれる属性情報の内容を表す文字情報とが一致し、かつ文字情報取得部によって取得された位置情報と部分特徴情報に含まれる位置情報とが一致する物品を対象物品候補として抽出する第１照合部と、第１照合部よって抽出された複数の対象物品候補の全体画像情報と、撮影した画像とに基づいて全体照合を行う第２照合部とを備えたことを特徴とする。

また、上記本発明の物品照合装置においては、第１照合部を、対象物品候補の中から、部分特徴情報に予め設定された属性情報の種類を含む属性限定対象物品候補を抽出する属性限定部を有するものとし、第２照合部を、属性限定部によって抽出された複数の属性限定対象物品候補の全体画像情報と、上記撮影した画像とに基づいて全体照合を行うものとできる。

また、上記予め設定された属性情報の種類を、メーカ、出版社、製造年、発行年、著作者のいずれかとすることができる。

また、上記各物品の属性情報の種類を、メーカ、出版社、製造年、発行年、著作者、シリーズ番号、巻数、号数、規格品番記号のいずれかとすることができる。

また、上記画像を、陳列棚に陳列された照合対象物品を撮影したものとできる。

また、上記画像を、複数の照合対象物品を含むものとし、その画像から各照合対象物品の単品画像データをそれぞれ区分して抽出する単品画像抽出部を設け、第１および第２照合部を、その単品画像データを用いて部分照合および全体照合を行うものとできる。

また、部分特徴情報の位置情報として、矩形領域の位置情報を用いることができる。

また、全体画像情報を、物品を複数の方向から見た画像を有するものとできる。

また、全体照合の結果に基づいて更新される照合結果在庫テーブルを設けることができる。

また、物品を、化粧品、書籍および所定の情報を記録した記録媒体商品のいずれか１つとすることができる。

本発明の物品照合方法は、複数の物品について、各物品の全体的な外観を表す全体画像情報と、各物品の外観の一部分の位置情報およびその一部分に含まれる各物品の属性情報を含む部分特徴情報とが対応付けられて記憶されている物品情報記憶部を用い、物品情報記憶部に記憶された物品の全体画像情報と部分特徴情報とに基づいて、所定の照合対象物品の照合を行う物品照合方法であって、照合対象物品を撮影した画像を取得し、その画像内における文字情報とその文字情報の画像内における位置情報とを取得し、その取得した文字情報と部分特徴情報に含まれる属性情報の内容を表す文字情報とが一致し、かつ上記取得した位置情報と部分特徴情報に含まれる位置情報とが一致する物品を対象物品候補として抽出し、その抽出した複数の対象物品候補の全体画像情報と、撮影した画像とに基づいて全体照合を行うことを特徴とする。

本発明の物品照合プログラムは、複数の物品について、各物品の全体的な外観を表す全体画像情報と、各物品の外観の一部分の位置情報およびその一部分に含まれる各物品の属性情報を含む部分特徴情報とが対応付けられて記憶されている物品情報記憶部を用い、物品情報記憶部に記憶された物品の全体画像情報と部分特徴情報とに基づいて、所定の照合対象物品の照合を行う手順をコンピュータに実行させる物品照合プログラムであって、所定の照合対象物品の照合を行う手順において、照合対象物品を撮影した画像を取得し、その画像内における文字情報とその文字情報の画像内における位置情報とを取得する手順と、その取得した文字情報と部分特徴情報に含まれる属性情報の内容を表す文字情報とが一致し、かつ上記取得した位置情報と部分特徴情報に含まれる位置情報とが一致する物品を対象物品候補として抽出する手順と、その抽出した複数の対象物品候補の全体画像情報と、撮影した画像とに基づいて全体照合を行う手順とを実行させることを特徴とする。

本発明の物品照合装置および方法並びにプログラムによれば、複数の物品について、各物品の全体的な外観を表す全体画像情報と、各物品の外観の一部分の位置情報およびその一部分に含まれる各物品の属性情報を含む部分特徴情報とを対応付けて記憶しておき、まず、照合対象物品を撮影した画像内における文字情報とその文字情報の位置情報とを取得し、その取得した文字情報および位置情報と、上述した各物品の部分特徴情報とを比較することによって、取得した文字情報および位置情報と部分特徴情報に含まれる属性情報の内容を表す文字情報と位置情報とが一致する物品を対象物品候補として抽出し、次いで、その抽出した複数の対象物品候補の全体画像情報と撮影した画像とに基づいて全体照合を行って該当物品を抽出するようにしたので、画像内の文字情報およびその位置情報を用いて対象物品候補を絞り込むことができ、これにより全体照合の対象の物品を減らして全体照合処理の時間を短縮することができるので、該当物品を高速に抽出することができる。

また、文字情報およびその位置情報を用いて対象物品候補を絞り込んだ後にさらに全体照合を行うことによって高精度な抽出を行うことができる。

また、上記本発明の物品照合装置および方法並びにプログラムにおいて、さらに、対象物品候補の中から、部分特徴情報に予め設定された属性情報の種類を含む属性限定対象物品候補を抽出し、その抽出した複数の属性限定対象物品候補の全体画像情報と、撮影した画像とに基づいて全体照合を行うようにした場合には、さらに全体照合の対象の物品を減らして全体照合処理の時間を短縮することができ、該当物品を高速に抽出することができる。

また、上述した予め設定された属性情報の種類を、メーカ、出版社、製造年、発行年、著作者のいずれかとした場合には、これらの属性情報の種類は、他の属性情報の種類と比較すると、その内容が短い文字情報で表され、かつ撮影した画像内の限定的な特定位置に存在することが多いので、撮影した画像内から抽出する際に、誤認識が少なく、より高精度な対象物品候補の絞り込みを行うことができる。

本発明の物品照合装置の一実施形態を用いた物品照合システムの概略構成を示すブロック図 物品マスターテーブルの一例を示す図 照合結果在庫テーブルの一例を示す図 本発明の物品照合装置の一実施形態を用いた物品照合システムの作用を説明するためのフローチャート 本発明の物品照合装置の一実施形態を用いた物品照合システムの作用を説明するためのフローチャート 照合対象物品の画像を撮影する方法を説明するための図 対象物品候補の抽出処理を説明するための図 物品マスターテーブルを作成する物品マスターテーブル登録システムの一実施形態の概略構成を示すブロック図 図７に示す物品マスターテーブル登録システムの作用を説明するためのフローチャート 部分特徴情報を取得する方法を説明するためのフローチャート

以下、本発明の物品照合装置および方法並びにプログラムの一実施形態を用いた物品照合システムについて、図面を参照しながら詳細に説明する。本実施形態の物品照合システムは、陳列棚に陳列された物品を撮影した画像データを取得し、その画像データと、物品マスターテーブルに予め登録された物品情報と照合することによって物品の在庫確認処理を行うものである。図１は、本実施形態の物品照合システム１の概略構成を示すブロック図である。

本実施形態の物品照合システム１は、図１に示すように、カメラ１０と、物品照合装置２０と、モニタ３０とを備えている。

カメラ１０は、陳列棚に陳列された照合対象物品を撮影するためのものである。カメラ１０によって撮影された画像データは物品照合装置２０に出力される。なお、カメラ１０による撮影については、複数の照合対象物品をまとめて撮影する方が効率が良いが、これに限らず、単品毎にそれぞれ撮影を行うようにしてもよい。

物品照合装置２０は、図１に示すように、画像取得部２１と、単品画像抽出部２２と、第１照合部２３と、第２照合部２４と、マスターデータベース２５と、通信部２９とを備えている。なお、第１照合部２３と第２照合部２４とが請求項における物品照合部に相当し、マスターデータベース２５が請求項における物品情報記憶部に相当するものである。

物品照合装置２０は、コンピュータに本発明の物品照合プログラムの一実施形態がインストールされたものである。そして、中央処理装置（ＣＰＵ）によって上記物品照合プログラムが実行されることによって画像取得部２１、単品画像抽出部２２、第１照合部２３、第２照合部２４および通信部２９が機能し、第１照合部２３および第２照合部２４によってマスターデータベース２５が参照される。上記物品照合プログラムは、ＣＤ−ＲＯＭなどの記録媒体に記録されたものでもよいし、インターネットを経由してサーバなどからダウンロードしたものでもよい。

画像取得部２１は、カメラ１０によって撮影された照合対象物品の画像データを取得し、これを半導体メモリやハードディスクなどの記憶媒体に一旦記憶するものである。

単品画像抽出部２２は、画像取得部２１から照合対象物品の画像データを読み出し、その画像データ内に複数の照合対象物品の画像データが含まれる場合に、１つ１つの照合対象物品の単品画像データをそれぞれ区分して抽出するものである。単品画像データの抽出については、たとえば撮影された画像データ内に含まれる矩形領域を自動的に抽出し、その１つ１つの矩形領域の画像データを単品画像データとしてもよいし、物品の外形を表すテンプレートデータを予め記憶しておき、撮影された画像データとテンプレートデータとでテンプレートマッチングを行うことによって単品画像データを抽出するようにしてもよい。なお、単品画像データの抽出については、その他の種々の公知な方法を用いることができる。

また、撮影された画像データに１つの照合対象物品の画像データしか含まれていない場合には、撮影された画像データをそのまま単品画像データとしてもよいし、撮影された画像データから物品の背景の画像データを除去したものを単品画像データとして抽出するようにしてもよい。

第１照合部２３および第２照合部２４は、単品画像抽出部２２から出力された単品画像データと、マスターデータベース２５に予め登録された物品情報とに基づいて、照合対象物品の照合処理を行うものである。

ここで、第１照合部２３および第２照合部２４は、照合対象商品の照合処理を行う際、上述したようにマスターデータベース２５に予め登録された物品情報を参照するものであるが、照合処理の説明の前に、まず、マスターデータベース２５に登録されている物品情報について説明する。

マスターデータベース２５には、図１に示すように、複数の在庫の物品情報を有する物品マスターテーブル２６が登録されている。図２は、この物品マスターテーブル２６の一例を示すものである。

物品マスターテーブル２６は、図２に示すように、複数の物品を識別するための物品コード（識別情報）と、その各物品コードによって特定される物品の全体画像情報、類似物品コード、属性情報および部分特徴情報とを対応付けたものである。

ここで、物品としては、陳列棚に陳列されて展示販売される商品であれば如何なるものでもよい。このような展示販売される商品としては、たとえば化粧品や書籍のほか、映像情報が記録されたＤＶＤやＢＤ、音楽情報が記録されたＣＤ、ソフトウェアアプリケーションが記録されたＣＤ−ＲＯＭ、メモリカード、磁気テープなどといった所定の情報が記録された記録媒体商品などがある。また、物品としては、上述したような商品として販売されるものに限らず、図書館の陳列棚に陳列される書籍などでもよい。

本実施形態の物品マスターテーブル２６は、上述したような化粧品、書籍、ＤＶＤなどの物品のうちのいずれか１つについて作成されたものである。

物品マスターテーブル２６における物品コードは、上述したように個々の物品を識別するための識別情報であり、たとえば物品が化粧品の場合には、ＪＡＮ（Japanese Article Number）コードが使用される。また、物品が書籍の場合には、ＩＳＢＮ（International Standard Book Number）コードが使用される。物品コードとしては、ＪＡＮやＩＳＢＮに限らず、個々の物品を識別できるものであれば如何なるものを用いてもよい。なお、同一の物品については同じ物品コードが付されるため、たとえば同一の物品が在庫として複数個存在したとしても、その物品に対応する物品コードのテーブルは１つだけ存在するものとする。

全体画像情報は、物品の全体的な外観を表すものであり、具体的には、たとえば物品全体を前後左右からカメラなどによって撮影した画像データである。物品マスターテーブル２６に登録される全体画像情報は、画像データそのものでも良いし、画像データが保存されたデータサーバのＵＲＬ（Uniform Resource Locator）や保存フォルダのディレクトリなどといった接続先のリンク情報でもよい。また、全体画像情報は、物品を陳列棚に陳列した際に正面方向となり得る方向から撮影した画像データを含むものであるが、たとえば円筒形状の物品である場合には、前後左右方向に限らず、その他の方向からの画像データを含めるようにしてもよい。

類似物品コードは、物品コードによって特定される物品と類似した全体画像情報を有する物品の物品コードである。

属性情報は、物品コードによって特定される物品に属する情報であり、その物品に関連する情報であれば如何なる情報でもよい。たとえば物品が化粧品である場合には、属性情報の種類としては、たとえば図２に示すように、その化粧品の「製品名」、化粧品の「価格」、化粧水、口紅、ファンデーションなどといった化粧品の「分類」、化粧品の「メーカ」、化粧品の「製造年」、化粧品の「サイズ（高さ）」や「サイズ（幅）」などがある。

また、たとえば物品が書籍である場合には、属性情報の種類としては、たとえば、書籍の「タイトル」、書籍の「価格」、文庫本、単行本、漫画、雑誌などといった書籍の「分類」、書籍の「出版社」、書籍の「シリーズ番号」、1巻、２巻、３巻といった書籍の「巻数」、１月号、２月号、３月号といった書籍の「号数」、書籍の「発行年」、書籍の「著作者」、書籍の「サイズ（高さ）」や「サイズ（幅）」などがある。

また、たとえば物品がＤＶＤである場合には、属性情報の種類としては、たとえば、ＤＶＤに記録された映画などの「タイトル」、ＤＶＤの「価格」、アクション、アニメ、ホラー、ドキュメンタリーなどといったＤＶＤに記録された映画の「分類」、ＤＶＤを発行している「発行元」、ＤＶＤの「規格品番記号」、1巻、２巻、３巻といったＤＶＤの「巻数」、ＤＶＤの「発行年」、ＤＶＤのパッケージの「サイズ（高さ）」や「サイズ（幅）」などがある。なお、「規格品番記号」は、ＤＶＤ以外の一般的な商品に付されるものである。

なお、上記説明では、化粧品、書籍、ＤＶＤおよびＣＤの属性情報について説明したが、これに限らず、物品の種類に応じて種々の属性情報が登録されるものとする。

物品マスターテーブル２６には、上述したような属性情報の種類とその内容とが対応付けられて登録される。属性情報の内容とは、たとえば属性情報の種類が、化粧品の「メーカ」である場合には、そのメーカの具体的な名称である「○○社」であり、また、属性情報の種類が化粧品の「製造年」である場合には、その化粧品の具体的な製造年である「２０１２年」である。

部分特徴情報は、物品の外観の一部の範囲の情報である。具体的には、物品の外観の一部の範囲に現れている上述した属性情報の種類および内容と、その属性情報の内容が現れている一部の範囲の位置情報とが部分特徴情報として登録される。

本実施形態においては、一部の範囲の位置情報として、水平方向をＸ方向、垂直方向をＹ方向とした場合のＸ座標、Ｙ座標およびサイズとが登録される。一部の範囲のＸ座標およびＹ座標としては、一部の範囲を矩形領域で定義した場合には、たとえばその矩形領域の左上の角の点の位置座標や、矩形領域の中心座標などを用いることができる。また、一部の範囲のサイズとしては、一部の範囲のＸ方向のサイズとＹ方向のサイズとが登録される。なお、上記一部の範囲の位置情報は、物品の全体的な外観における相対的な位置情報であって、物品の外観の一部の範囲に現れている属性情報の内容が正面方向に向いているときの位置情報とする。

また、部分特徴情報は必ずしも１つでなくてもよく、属性情報の種類および内容とその位置情報との組み合わせを複数組登録するようにしてもよい。

そして、物品マスターテーブル２６には、全ての在庫の物品の物品コードと、上述した全体画像情報、類似物品コード、属性情報および部分特徴情報とが対応付けられて登録されている。なお、物品マスターテーブル２６は、後述する物品マスターテーブル登録システムにおける物品マスターテーブル作成装置によって作成されるものであるが、その作成方法については後で詳述する。

第１照合部２３と第２照合部２４は、上述した物品マスターテーブル２６を用いて照合対象物品の照合を行うものである。

第１照合部２３は、図１に示すように、文字情報取得部２３ａと、属性限定部２３ｂとを備えている。

文字情報取得部２３ａは、単品画像抽出部２２から出力された照合対象物品の単品画像データを取得し、その単品画像データ内における文字情報とその文字情報の単品画像データ内における位置情報とを取得するものである。なお、ここでいう「文字情報」には、ひらがな、カタカナ、漢字や英文字などだけでなく、数字や記号なども含まれるものとする。また、複数の文字などからなるものだけでなく、１つの文字なども含むものとする。

具体的には、文字情報取得部２３ａは、まず、単品画像データ内において文字情報が現れている部分領域を抽出する。たとえば単品画像データを２値化し、その２値化データに対してラベリングを施し、そのラベリングの情報に基づいて文字情報が存在すると思われる塊領域を部分領域として抽出する。なお、部分領域の抽出方法については、これに限らず、種々の公知の方法を用いることができる。また、文字情報を含む部分領域は１つに限らず、複数存在する場合には複数抽出するようにしてもよい。

そして、文字情報取得部２３ａは、抽出された部分領域の位置情報を取得するとともに、その領域内のラベリングデータに基づいて文字認識処理を行って部分領域内に存在する文字情報を認識する。文字認識処理については既に公知であるので詳細な説明は省略する。

そして、第１照合部２３は、文字情報取得部２３ａによって取得された文字情報およびその位置情報と、上述した物品マスターテーブル２６に含まれる部分特徴情報とを比較することによって部分照合を行い、これにより対象物品候補を抽出するものである。

具体的には、第１照合部２３は、文字情報取得部２３ａによって取得された文字情報およびその位置情報と、各物品の物品マスターテーブル２６に含まれる部分特徴情報とを比較し、文字情報取得部２３ａによって取得された文字情報と物品マスターテーブル２６の部分特徴情報に含まれる属性情報の内容を表す文字情報とが一致し、かつ文字情報取得部２３ａによって取得された位置情報と物品マスターテーブル２６の部分特徴情報に含まれる位置情報とが一致する物品を対象物品候補として抽出するものである。

上述したように第１照合部２３において抽出された対象物品候補の情報は、属性限定部２３ｂに出力される。

属性限定部２３ｂは、上述したようにして抽出された対象物品候補の中から、その部分特徴情報に属性情報の種類として「メーカ」、「出版社」、「製造年」、「発行年」、「著作者」のいずれかを含む対象物品候補を属性限定対象物品候補として抽出するものである。すなわち、属性限定部２３ｂは、文字情報取得部２３ａによって取得された文字情報およびその位置情報と一致する情報を含む部分特徴情報を有する複数の対象物品候補の中から、さらに、その部分特徴情報の属性情報の種類が、「メーカ」、「出版社」、「製造年」、「発行年」、「著作者」のいずれかであるものを属性限定対象物品候補として抽出するものである。

なお、これらの属性情報の種類（「メーカ」、「出版社」、「製造年」、「発行年」、「著作者」のいずれか）を部分特徴情報に含む対象物品候補を属性限定対象物品候補として抽出するのは、これらの属性情報の種類は、他の属性情報の種類と比較すると、その内容が短い文字情報で表され、かつ単品画像データ内の限定的な特定位置に存在することが多いので文字情報取得部２３ａによって取得される際に誤認識が少なく、より高精度な対象物品候補の絞り込みを行うことができるからである。

また、本実施形態においては、上述したように、属性情報の種類を「メーカ」、「出版社」、「製造年」、「発行年」、「著作者」のいずれかに限定するようにしたが、これらに限らず、たとえば所定の入力部を用いてユーザが設定入力することによって、限定対象の属性情報の種類を任意に追加、変更、削除など編集できるようにしてもよい。

第２照合部２４は、第１照合部２３の属性限定部２３ｂによって抽出された複数の属性限定対象物品候補の物品マスターテーブル２６の全体画像情報と、単品画像抽出部２２において取得された照合対象物品の単品画像データとに基づいて全体照合を行うものである。

第２照合部２４の全体照合は、たとえば照合対象物品の単品画像データと、属性限定対象物品候補の物品マスターテーブル２６の全体画像情報に含まれる画像データとのテンプレートマッチングによって行われる。具体的には、第２照合部２４は、たとえば所定の相関関数を用いて照合対象物品の単品画像データと、属性限定対象物品候補の画像データとの類似度を算出し、その類似度が所定の基準値よりも高い画像データを含む全体画像情報を有する対象物品候補を最終的な対象物品として特定する。

マスターデータベース２５は、上述した物品マスターテーブル２６とともに、図１に示すような照合結果在庫テーブル２７および管理在庫テーブル２８を記憶するものである。

照合結果在庫テーブル２７は、図３に示すように、各物品コードとその物品コードによって特定される物品の在庫数とが対応付けられたものである。そして、照合結果在庫テーブル２７は、上述した第２の照合部２４における照合処理の結果に基づいて更新されるものである。具体的には、照合処理によって所定の照合対象物品に対応する１つの対象物品が物品マスターテーブル２６から抽出された際、照合結果在庫テーブル２７におけるその対象物品の物品コードの在庫数が１つインクリメントされて照合結果在庫テーブル２７が更新される。

管理在庫テーブル２８も、照合結果在庫テーブル２７と同様に、各物品コードとその物品コードによって特定される物品の在庫数とが対応付けられたものであるが、管理在庫テーブル２８は、店舗や図書館などに物品が搬入および搬出される毎に更新されるものである。具体的には、管理在庫テーブル２８は、店舗や図書館などに物品が搬入される度に、その物品の物品コードに対応する在庫数が１つインクリメントされ、かつ物品が搬出される度に、その物品の物品コードに対応する在庫数が１つデクリメントされて更新されるものである。なお、店舗における物品の搬入とは物品が入荷されたことを意味し、物品の搬出とはその物品が売れて持ち出されたことを意味する。

つまり、管理在庫テーブル２８は、店舗や図書館などにおいて管理されている物品の在庫状況を表すものであり、照合結果在庫テーブル２７は、実際に店舗や図書館内に存在する物品の在庫状況を表すものである。管理在庫テーブル２８と照合結果在庫テーブル２７とは、本来、上述した照合処理が終了した時点において一致するものである。しかしながら、たとえば物品が盗まれたり、物品の搬入や搬出の時点において管理在庫テーブル２８の更新にミスがあったりした場合にはこれらのテーブルは一致しないことになる。照合結果在庫テーブル２７と管理在庫テーブルとはモニタ３０に表示されるものである。

通信部２９は、インターネットやＬＡＮなどの通信ネットワークを介して後述する物品マスターテーブル登録システムと通信を行うものである。物品マスターテーブル登録システムは、後で詳述するが、上述した物品マスターテーブル２６を作成するものであり、通信部２９は、物品マスターテーブル登録システムにおいて作成された物品マスターテーブル２６を通信ネットワークを介して取得し、マスターデータベース２５に出力するものである。

モニタ３０は、上述したように照合結果在庫テーブル２７や管理在庫テーブル２８を表示するものであるが、その他にも物品マスターテーブル２６や、画像取得部２１によって取得された画像データや、単品画像抽出部２２において抽出された単品画像データなども表示するものである。

次に、本実施形態の物品照合システム１の作用について、図４Ａおよび図４Ｂに示すフローチャートを参照しながら説明する。

まず、陳列棚に陳列された複数の照合対象の物品がユーザによって整理される（Ｓ１０）。これは、上述したような物品の撮影画像データに基づく照合処理が適切に行われるように実施される作業である。このとき照合対象の各物品は、上述した各物品の部分特徴情報に含まれる属性情報が正面方向に向くように整理されるが、ユーザが部分特徴情報の属性情報の内容を把握していない場合には、物品の外観の一部に現れている所定の文字列が正面方向に向くように整理される。

次に、上述したような物品の整理が終了した後、ユーザによってカメラ１０を用いて陳列棚に並んだ物品の撮影が行われる（Ｓ１２）。具体的には、たとえば図５に示すように、陳列棚２００の所定の棚に陳列された複数の照合対象の物品１０１〜１０５が含まれるようにカメラ１０の撮影範囲が設定されて撮影が行われる。なお、撮影範囲については、図５に示すような撮影範囲に限らず、たとえば一段の棚に陳列された複数の物品の全てが含まれるように撮影範囲を設定するようにしてもよいし、陳列棚２００全体が含まれるように撮影範囲を設定するようにしてもよい。

そして、カメラ１０によって撮影された画像データは、有線または無線によってカメラ１０に接続された物品照合装置２０の画像取得部２１によって取得されて一旦記憶される（Ｓ１４）。

次いで、画像取得部２１に記憶された画像データは単品画像抽出部２２によって読み出され、単品画像抽出部２２は、読み出した画像データから１つ１つの照合対象物品の単品画像データをそれぞれ区分して抽出する（Ｓ１６）。

単品画像抽出部２２によって抽出された単品画像データは第１照合部２３に出力される。そして、第１照合部２３の文字情報取得部２３ａによって単品画像データが取得され、文字情報取得部２３ａは、入力された単品画像データ内における文字情報とその文字情報の単品画像データ内における位置情報とを取得する（Ｓ１８）。

次に、第１照合部２３は、図６に示すように、文字情報取得部２３ａによって取得された文字情報（たとえば「富士フイルム株式会社」など）とその位置情報（たとえば「Ｘ１，Ｙ１」）と、各物品の物品マスターテーブル２６に含まれる部分特徴情報の属性情報の内容と位置情報を比較する。

第１照合部２３は、文字情報取得部２３ａによって取得された文字情報と物品マスターテーブル２６の部分特徴情報に含まれる属性情報の内容を表す文字情報とが一致し、かつ文字情報取得部２３ａによって取得された位置情報と物品マスターテーブル２６の部分特徴情報に含まれる位置情報とが一致する物品を対象物品候補として抽出する（Ｓ２０）。

そして、第１照合部２３において対象物品候補が複数抽出された場合には（Ｓ２２）、その情報が、属性限定部２３ｂに出力される。

属性限定部２３ｂは、入力された複数の対象物品候補の中から、その部分特徴情報に属性情報の種類として「メーカ」、「出版社」、「製造年」、「発行年」、「著作者」のいずれかを含む対象物品候補を属性限定対象物品候補として抽出する（Ｓ２４）。すなわち、属性限定部２３ｂは、文字情報取得部２３ａによって取得された文字情報およびその位置情報と一致する情報を含む部分特徴情報を有する複数の対象物品候補の中から、さらに、その部分特徴情報の属性情報の種類が、「メーカ」、「出版社」、「製造年」、「発行年」、「著作者」のいずれかであるものを属性限定対象物品候補として抽出する。

そして、属性限定部２３ｂにおいて属性限定対象物品候補が複数抽出された場合には（Ｓ２６）、第１照合部２３は、その属性限定対象物品候補の情報を第２照合部２４に出力する。

第２照合部２４は、入力された複数の属性限定対象物品候補の物品マスターテーブル２６の全体画像情報と、単品画像抽出部２２において取得された照合対象物品の単品画像データとに基づいて全体照合を行う（Ｓ２８）。

そして、この全体照合によって１つの属性限定対象物品候補が抽出された場合には（Ｓ３０，ＹＥＳ）、その属性限定対象物品候補の物品マスターテーブル２６の情報をモニタ３０に表示する（Ｓ３２）。次いで、モニタ３０に表示された情報がユーザによって確認され、該当物品であることが確認された場合には、ユーザによって所定の入力部を用いて照合結果在庫テーブル２７を更新するよう指示入力が行われ、第２照合部２４は、その指示入力に応じて照合結果在庫テーブル２７における該当物品の物品コードに対応する在庫数を１つインクリメントして照合結果在庫テーブルを更新する（Ｓ３４）。

一方、第２照合部２４における全体照合によって１つの属性限定対象物品候補が抽出されなかった場合には（Ｓ３０，ＮＯ）、該当物品を抽出することができなかった旨がモニタ３０に表示される（Ｓ３６）。そして、モニタ３０を確認したユーザは、照合対象物品の外観や商品コードなどを手作業によって直接確認し（Ｓ３８）、その確認した結果に基づいて照合結果在庫テーブル２７を更新する（Ｓ３４）。

なお、Ｓ２２において１つの対象物品候補しか抽出されなかった場合や、Ｓ２６において１つの属性限定対象物品候補しか抽出されなかった場合には、全体照合で１つの属性限定対象物品候補が抽出された場合と同様に、その対象物品候補または属性限定対象物品候補の物品マスターテーブル２６の情報がモニタ３０に表示される（Ｓ３２）。そして、モニタ３０に表示された情報がユーザによって確認され、該当物品であることが確認された場合には、ユーザによって所定の入力部を用いて照合結果在庫テーブル２７を更新するよう指示入力が行われ、第２照合部２４は、その指示入力に応じて照合結果在庫テーブル２７における該当物品の物品コードに対応する在庫数を１つインクリメントして照合結果在庫テーブルを更新する（Ｓ３４）。

そして、全ての照合対象物品の単品画像データについて、上述したような対象物品候補の抽出、属性限定対象物品候補の抽出および全体照合の処理が同様にして行われ、照合結果在庫テーブル２７が更新される。なお、本実施形態においては、上述したように１つの照合対象物品の部分照合および全体照合が行われる度に、照合結果在庫テーブル２７を更新するようにしたが、これに限らず、全ての照合対象物品の全体照合までの処理が終了した後に、その結果に基づいて、全ての照合対象物品の照合結果在庫テーブル２７の更新をまとめて行うように指示入力してもよい。

なお、全ての照合対象物品の照合が終了した時点において、照合結果在庫テーブル２７の在庫数と管理在庫テーブル２８の在庫数とを比較し、在庫数が異なるものがある場合には、その旨を示す情報をモニタ３０に表示するようにしてもよい。

上記実施形態の物品照合システム１によれば、複数の物品について、各物品の全体的な外観を表す全体画像情報と、各物品の外観の一部分の位置情報およびその一部分に含まれる各物品の属性情報を含む部分特徴情報とを対応付けて物品マスターテーブル２６として記憶しておき、まず、照合対象物品を撮影した画像内における文字情報とその文字情報の位置情報とを取得し、その取得した文字情報および位置情報と、上述した各物品の部分特徴情報とを比較することによって、取得した文字情報および位置情報と部分特徴情報に含まれる属性情報の内容を表す文字情報と位置情報とが一致する物品を対象物品候補として抽出し、次いで、その抽出した複数の対象物品候補の全体画像情報と撮影した画像とに基づいて全体照合を行って該当物品を抽出するようにしたので、画像内の文字情報およびその位置情報を用いて対象物品候補を絞り込むことができ、これにより全体照合の対象の物品を減らして全体照合処理の時間を短縮することができるので、該当物品を高速に抽出することができる。

また、対象物品候補の中から、部分特徴情報に属性情報の種類として「メーカ」、「出版社」、「製造年」、「発行年」、「著作者」のいずれかを含む属性限定対象物品候補を抽出し、その抽出した複数の属性限定対象物品候補の全体画像情報と、撮影した画像とに基づいて全体照合を行うようにしたので、さらに全体照合の対象の物品を減らして全体照合処理の時間を短縮することができ、該当物品を高速に抽出することができる。

なお、上記実施形態の説明においては、文字情報取得部２３ａにおいて、文字情報を含む部分領域が１つだけ取得された場合について説明したが、文字情報取得部２３ａにおいて、文字情報を含む部分領域が複数取得された場合には、各文字情報およびその位置情報について、それぞれ物品マスターテーブル２６の部分特徴情報を参照し、各文字情報について抽出された対象物品候補のＡＮＤで得られる集合を取得するようにすればよい。

具体的には、文字情報取得部２３ａにおいて、たとえば文字情報「ＡＢＣ」およびその位置情報「Ｘａ，Ｙａ」と、文字情報「ＤＥＦ」およびその位置情報「Ｘｂ，Ｙｂ」とが取得された場合には、文字情報「ＡＢＣ」およびその位置情報「Ｘａ，Ｙａ」に基づいて第１の対象物品候補の群を抽出するとともに、文字情報「ＤＥＦ」およびその位置情報「Ｘｂ，Ｙｂ」に基づいて第２の対象物品候補の群を抽出し、この第１の対象物品候補の群と第２の対象物品候補の群のＡＮＤで得られる集合を取得するようにすればよい。

また、上記実施形態においては、第１照合部２３において抽出された複数の対象物品候補の中から、さらに属性情報の種類に基づいて属性限定対象物品候補を絞り込み、その属性限定対象物品候補に対して全体照合処理を行うようにしたが、属性情報の種類に基づく絞り込みは必ずしも行わなくてもよい。

すなわち、属性限定部２３ｂにおける属性限定対象物品候補の抽出処理を行うことなく、第１照合部２３において抽出された複数の対象物品候補に対して全体照合処理を行うようにしてもよい。

次に、上述した物品マスターテーブル２６を作成する物品マスターテーブル登録システムについて説明する。図７は、物品マスターテーブル登録システム２の概略構成を示すブロック図である。

本実施形態の物品マスターテーブル登録システム２は、図７に示すように、カメラ４０と、物品マスターテーブル作成装置５０と、モニタ７０とを備えている。

カメラ４０は、物品マスターテーブル６２への登録対象の物品の全体的な外観を撮影するものであり、カメラ４０によって物品の全体的な外観を撮影した画像データに基づいて、物品マスターテーブル６２に登録される全体画像情報が取得される。したがって、カメラ４０による撮影は、たとえば登録対象物品の前後左右方向から行われる。また、上記画像データに物品コードを表すバーコード画像が含まれる場合には、そのバーコード画像に基づいて、物品マスターテーブル６２に登録される物品コードが取得される。なお、登録対象物品の全体的な外観の画像データに物品コードを表すバーコード画像が含まれていない場合には、そのバーコード画像が含まれる部分がカメラ４０によって別途撮影される。また、バーコード画像をバーコードリーダによって別途読み取るようにしてもよい。なお、登録対象物品の撮影については、１つの物品毎に行われる。

また、本実施形態においては、カメラ４０によって撮影された画像データを用いて登録対象の物品の全体画像情報や物品コードを取得するようにしたが、たとえば物品が書籍であるような場合には、スキャナを用いて画像データを取得するようにしてもよい。

また、物品の全体的な外観の画像データやバーコード画像を含む画像データは、必ずしもカメラによる撮影やスキャナによる光電的な読取りによって取得する必要はなく、たとえば書籍については、書籍を編集する過程において予め作成された表表紙、裏表紙および背表紙の画像データを取得し、その画像データに基づいて全体画像情報や物品コードを取得するようにしてもよい。

物品マスターテーブル作成装置５０は、図７に示すように、画像取得部５１、画像領域抽出部５２、類似判断部５３、部分領域抽出部５４、文字認識部５５、物品コード領域抽出部５６、物品コード認識部５７、物品属性取得部５８、物品属性情報データベース５９、文字一致判断部６０、マスターデータベース６１および通信部６３を備えている。

画像取得部５１は、カメラ４０によって撮影された登録対象物品の画像データを取得し、これを半導体メモリやハードディスクなどの記憶媒体に一旦記憶するものである。

画像領域抽出部５２は、画像取得部５１から登録対象物品の画像データを読み出し、その画像データから物品の背景の画像データを削除することによって物品領域画像データを取得するものである。なお、物品領域画像データの取得方法については、種々の公知の方法を用いることができる。画像領域抽出部５２によって取得された物品領域画像データ（たとえば前後左右の画像データ）は、登録対象物品の全体画像情報として物品マスターテーブル６２に登録される。

類似判断部５３は、画像領域抽出部５２において取得された物品領域画像データを取得し、その物品領域画像データと、既に物品マスターテーブル６２に登録されている複数の物品の全体画像情報とを照合し、登録対象物品の物品領域画像データと類似する画像データを含む全体画像情報を有する物品コードを類似物品コードとして取得するものである。物品領域画像データと登録済の物品の全体画像情報との照合は、たとえばテンプレートマッチングを用いて類似度を算出することによって行うようにすればよい。類似判断部５３によって取得された類似物品コードは、登録対象物品の類似物品コードとして物品マスターテーブル６２に登録される。

部分領域抽出部５４は、画像領域抽出部５２によって取得された物品領域画像データが入力され、その物品領域画像データに基づいて、登録対象物品の上述した属性情報の内容が現れている可能性がある部分領域を抽出するものである。

具体的には、部分領域抽出部５４は、物品領域画像データ内において文字情報が現れている領域を部分領域として抽出する。部分領域抽出部５４は、たとえば物品領域画像データを２値化し、その２値化データに対してラベリングを施し、そのラベリングの情報に基づいて文字情報が存在すると思われる塊領域を部分領域として抽出する。

なお、文字情報の領域（部分領域）の抽出方法については、これに限らず、種々の公知の方法を用いることができる。また、部分領域は１つに限らず、複数の文字情報の領域が抽出された場合には、その複数の文字情報の領域を部分領域として抽出するようにしてもよい。部分領域抽出部５４によって抽出された部分領域のラベリングデータは、文字認識部５５に出力される。

文字認識部５５は、部分領域抽出部５４によって抽出された部分領域内のラベリングデータに基づいて文字認識処理を行って部分領域内に存在する文字情報を認識する。文字認識処理については既に公知であるので詳細な説明は省略する。文字認識部５５において認識された文字情報は文字一致判断部６０に出力される。

物品コード領域抽出部５６は、画像取得部５１から登録対象物品の画像データを読み出し、その画像データから物品コードを表すバーコード画像が存在する領域を物品コード領域として抽出するものである。バーコード画像が存在する領域の抽出については、所定長の線分が複数配列されている領域を抽出するようにすればよいが、その抽出方法については種々の公知の方法を用いることができる。物品コード領域抽出部５６によって抽出された物品コード領域の情報は物品コード認識部５７に出力される。

物品コード認識部５７は、入力された物品コード領域の情報に基づいて、物品コード領域内に存在するバーコード画像を認識することによって、登録対象物品の物品コードを取得するものである。物品コード認識部５７によって取得された物品コードは、登録対象物品の物品コードとして物品マスターテーブル６２に登録される。

物品属性取得部５８は、物品コード認識部５７において認識された物品コードを取得し、その物品コードの内容に基づいて、物品属性情報データベース５９から登録対象物品の属性情報の種類とその内容を取得するものである。属性情報の種類としては、上述したとおり、たとえば「メーカ」、「出版社」、「製造年」、「発行年」、「著作者」、「シリーズ番号」、「巻数」、「号数」または「規格品番記号」などがあり、属性情報の内容とは、「メーカ」、「出版社」、「製造年」、「発行年」、「著作者」、「シリーズ番号」、「巻数」、「号数」または「規格品番記号」を表す具体的な文字列や数字など（たとえば「富士フイルム株式会社」、「２０１２年８月」など）である。

そして、物品属性取得部５８において取得された属性情報の種類とその内容は、登録対象物品の属性情報として物品マスターテーブル６２に登録される。なお、登録対象物品の属性情報としては、物品コードに基づいて取得されるものに限らず、たとえばユーザによる入力部を用いた設定入力によって取得されるものでもよい。物品属性取得部５８によって取得された属性情報の内容については、文字一致判断部６０にも出力される。

そして、文字一致判断部６０は、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性情報の内容とを比較し、これらが一致する場合には、その文字情報によって表される属性情報の内容および種類と、その文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として物品マスターテーブル６２に登録する。具体的には、たとえば、文字認識部５５において認識された文字情報と物品属性取得部５８から取得された属性情報の内容とがともに「富士フイルム株式会社」であった場合には、その「富士フイルム株式会社」と、その「富士フイルム株式会社」の属性情報の種類（たとえば「メーカ」など）と、その「富士フイルム株式会社」の文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として物品マスターテーブル６２に登録する。一方、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性情報の内容とを比較し、これらが一致しない場合には、文字一致判断部６０は、その文字情報を部分特徴情報としては登録しないものである。

物品属性情報データベース５９は、種々の物品コードによって表される属性情報の種類や内容を記憶したものである。

マスターデータベース６１は、登録物品対象の物品マスターテーブル６２を記憶するものである。物品マスターテーブル６２の詳細については、上述した物品照合装置２０のマスターデータベース２５に記憶されている物品マスターテーブル２６と同様である。また、マスターデータベース６１に、物品マスターテーブル６２における各物品の全体画像情報の画像データ６２ａを記憶するようにしてもよい。

物品マスターテーブル作成装置５０における物品マスターテーブル６２は、新しい登録対象物品のテーブルが登録される度に更新されるものである。そして、物品マスターテーブル作成装置５０における物品マスターテーブル６２は、通信部６３および通信ネットワークを介して物品照合システム１の物品照合装置２０に出力され、物品マスターテーブル作成装置５０における物品マスターテーブル６２の内容が、物品照合装置２０における物品マスターテーブル２６に上書きされることによって物品マスターテーブル２６が更新される。物品照合装置２０の物品マスターテーブル２６の更新は、物品マスターテーブル作成装置５０の物品マスターテーブル６２が更新される度に更新するようにしてもよいし、所定の期間毎に定期的に行うようにしてもよいし、ユーザによる更新指示入力に応じて任意のタイミングで行うようにしてもよい。

モニタ７０は、物品マスターテーブル６２や、画像領域抽出部５２によって取得された物品領域画像データなどを表示するものである。

次に、本実施形態の物品マスターテーブル登録システム２の作用について、図８および図９に示すフローチャートを参照しながら説明する。

まず、登録対象の物品がユーザによって所定の位置に設置される（Ｓ５０）。そして、ユーザによってカメラ４０を用いて登録対象の物品の全体的な外観が撮影される（Ｓ５２）。なお、このとき物品の全体的な外観の画像データに物品コードを表すバーコード画像が含まれていない場合には、そのバーコード画像が含まれる部分がカメラ４０によって別途撮影される。

次いで、カメラ４０によって撮影された画像データは、有線または無線によってカメラ４０に接続された物品マスターテーブル作成装置５０の画像取得部５１によって取得されて一旦記憶される。

画像取得部５１によって取得された画像データは物品コード領域抽出部５６に出力され、物品コード領域抽出部５６は、入力された画像データから物品コードを表すバーコード画像が存在する領域を物品コード領域として抽出する（Ｓ５４）。

そして、物品コード領域抽出部５６によって抽出された物品コード領域の情報は物品コード認識部５７に出力され、物品コード認識部５７は、入力された物品コード領域の情報に基づいて、物品コード領域内に存在するバーコード画像を認識し（Ｓ５６）、登録対象物品の物品コードを取得する（Ｓ５８）。物品コード認識部５７によって取得された物品コードは、登録対象物品の物品コードとして物品マスターテーブル６２に登録される。

次に、画像取得部５１によって取得された画像データは画像領域抽出部５２に出力され、画像領域抽出部５２は、入力された画像データから物品の背景の画像データを削除することによって物品領域画像データを取得する。そして、画像領域抽出部５２によって取得された物品領域画像データ（たとえば前後左右の画像データ）は、登録対象物品の全体画像情報として物品マスターテーブル６２に登録される（Ｓ６０）。

また、画像領域抽出部５２によって取得された物品領域画像データは類似判断部５３に出力され、類似判断部５３は、入力された物品領域画像データと、既に物品マスターテーブル６２に登録されている複数の物品の全体画像情報とを照合し、登録対象物品の物品領域画像データと類似する画像データを含む全体画像情報を有する物品コードを類似物品コードとして取得する（Ｓ６２）。類似判断部５３によって取得された類似物品コードは、登録対象物品の類似物品コードとして物品マスターテーブル６２に登録される。

次に、物品コード認識部５７において認識された物品コードが物品属性取得部５８に出力され、物品属性取得部５８は、その物品コードの内容に基づいて、物品属性情報データベース５９から登録対象物品の属性情報の種類とその内容を取得する（Ｓ６４）。そして、物品属性取得部５８において取得された属性情報の種類とその内容は、登録対象物品の属性情報として物品マスターテーブル６２に登録される。

そして、さらに登録対象物品について部分特徴情報が取得されるが、この部分特徴情報の取得の作用については、図９に示すフローチャートを参照しながら説明する。

まず、画像領域抽出部５２によって取得された物品領域画像データが部分領域抽出部５４に入力され、部分領域抽出部５４は、入力された物品領域画像データに基づいて、物品領域画像データ内において文字情報が現れている領域を部分領域として抽出する（Ｓ７０）。

そして、部分領域抽出部５４によって抽出された部分領域のラベリングデータが、文字認識部５５に出力され、文字認識部５５は、部分領域内のラベリングデータに基づいて文字認識処理を行って部分領域内に存在する文字情報を認識する（Ｓ７２）。文字認識部５５において認識された文字情報は文字一致判断部６０に出力される。

一方、物品属性取得部５８において物品コードに基づいて取得された属性情報の内容も文字一致判断部６０に出力される。

そして、文字一致判断部６０は、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性情報の内容とを比較し、これらが一致する場合には、その文字情報によって表される属性情報の内容およびその種類と、その文字情報が存在する部分領域の位置情報とを、登録対象物品の部分特徴情報として物品マスターテーブル６２に登録する（Ｓ７６）。一方、文字認識部５５において認識された文字情報と、物品属性取得部５８から取得された属性情報の内容とを比較し、これらが一致しない場合には、文字一致判断部６０は、その文字情報を部分特徴情報としては登録しない。

上述したようにして、新しい登録対象物品の物品マスターテーブル６２への登録が行われる。

上記実施形態の物品マスターテーブル登録システム２によれば、部分特徴情報の属性情報と位置情報とを高精度かつ簡易に抽出することができる。

１ 物品照合システム
２ 物品マスターテーブル登録システム
１０ カメラ
２０ 物品照合装置
２１ 画像取得部
２２ 単品画像抽出部
２３ 第１照合部
２３ａ 文字情報取得部
２３ｂ 属性限定部
２４ 第２照合部
２５ マスターデータベース
２６ 物品マスターテーブル
２７ 照合結果在庫テーブル
２８ 管理在庫テーブル

Claims (11)

1. 複数の物品について、前記各物品の全体的な外観を表す全体画像情報と、前記各物品の外観の一部分の位置情報および該一部分に含まれる前記各物品の属性情報を含む部分特徴情報とが対応付けられて記憶されている物品情報記憶部と、
   物品情報記憶部に記憶された前記物品の前記全体画像情報と前記部分特徴情報とに基づいて、所定の照合対象物品の照合を行う物品照合部とを備え、
   記物品照合部が、
   前記照合対象物品を撮影した画像を取得し、該画像内における文字情報と該文字情報の前記画像内における位置情報とを取得する文字情報取得部を有し、該文字情報取得部によって取得された文字情報と前記部分特徴情報に含まれる属性情報の内容を表す文字情報とが一致し、かつ前記文字情報取得部によって取得された位置情報と前記部分特徴情報に含まれる位置情報とが一致する前記物品を対象物品候補として抽出し、かつ前記対象物品候補の中から、前記部分特徴情報に予め設定された前記属性情報の種類を含む属性限定対象物品候補を抽出する属性限定部を有する第１照合部と、
   前記属性限定部によって抽出された複数の前記属性限定対象物品候補の前記全体画像情報と、前記撮影した画像とに基づいて全体照合を行う第２照合部とを備えたことを特徴とする物品照合装置。
2. 前記予め設定された属性情報の種類が、メーカ、出版社、製造年、発行年、著作者のいずれかであることを特徴とする請求項１記載の物品照合装置。
3. 前記各物品の前記属性情報の種類が、メーカ、出版社、製造年、発行年、著作者、シリーズ番号、巻数、号数、規格品番記号のいずれかであることを特徴とする請求項１または２記載の物品照合装置。
4. 前記画像が、陳列棚に陳列された前記照合対象物品を撮影したものであることを特徴とする請求項１から３いずれか１項記載の物品照合装置。
5. 前記画像が、複数の前記照合対象物品を含むものであり、
   前記画像から各前記照合対象物品の単品画像データをそれぞれ区分して抽出する単品画像抽出部を備え、
   前記第１照合部が、前記単品画像データから前記文字情報と該文字情報の前記単品画像データにおける位置情報とを取得し、
   前記第２照合部が、前記単品画像データを用いて前記全体照合を行うものであることを特徴とする請求項１から４いずれか１項記載の物品照合装置。
6. 前記部分特徴情報の位置情報が、矩形領域の位置情報であることを特徴とする請求項１から５いずれか１項記載の物品照合装置。
7. 前記全体画像情報が、前記物品を複数の方向から見た画像を有するものであることを特徴とする請求項１から６いずれか１項記載の物品照合装置。
8. 前記全体照合の結果に基づいて更新される照合結果在庫テーブルを備えたものであることを特徴とする請求項１から７いずれか１項記載の物品照合装置。
9. 前記物品が、化粧品、書籍および所定の情報を記録した記録媒体商品のいずれか１つであることを特徴とする請求項１から８いずれか１項記載の物品照合装置。
10. 複数の物品について、前記各物品の全体的な外観を表す全体画像情報と、前記各物品の外観の一部分の位置情報および該一部分に含まれる前記各物品の属性情報を含む部分特徴情報とが対応付けられて記憶されている物品情報記憶部を用い、該物品情報記憶部に記憶された前記物品の前記全体画像情報と前記部分特徴情報とに基づいて、所定の照合対象物品の照合を行う物品照合方法であって、
    前記照合対象物品を撮影した画像を取得し、該画像内における文字情報と該文字情報の前記画像内における位置情報とを取得し、
    該取得した文字情報と前記部分特徴情報に含まれる属性情報の内容を表す文字情報とが一致し、かつ前記取得した位置情報と前記部分特徴情報に含まれる位置情報とが一致する前記物品を対象物品候補として抽出し、
    該抽出した対象物品候補の中から、前記部分特徴情報に予め設定された前記属性情報の種類を含む属性限定対象物品候補を抽出し、
    該抽出した複数の前記属性限定対象物品候補の前記全体画像情報と、前記撮影した画像とに基づいて全体照合を行うことを特徴とする物品照合方法。
11. 複数の物品について、前記各物品の全体的な外観を表す全体画像情報と、前記各物品の外観の一部分の位置情報および該一部分に含まれる前記各物品の属性情報を含む部分特徴情報とが対応付けられて記憶されている物品情報記憶部を用い、該物品情報記憶部に記憶された前記物品の前記全体画像情報と前記部分特徴情報とに基づいて、所定の照合対象物品の照合を行う手順をコンピュータに実行させる物品照合プログラムであって、
    前記所定の照合対象物品の照合を行う手順において、
    前記照合対象物品を撮影した画像を取得し、該画像内における文字情報と該文字情報の前記画像内における位置情報とを取得する手順と、
    該取得した文字情報と前記部分特徴情報に含まれる属性情報の内容を表す文字情報とが一致し、かつ前記取得した位置情報と前記部分特徴情報に含まれる位置情報とが一致する前記物品を対象物品候補として抽出する手順と、
    該抽出した対象物品候補の中から、前記部分特徴情報に予め設定された前記属性情報の種類を含む属性限定対象物品候補を抽出する手順と、
    該抽出した複数の前記属性限定対象物品候補の前記全体画像情報と、前記撮影した画像とに基づいて全体照合を行う手順とを実行させることを特徴とする物品照合プログラム。

Images