JP6670511B2 - 商品情報取得システム - Google Patents

Description

本発明は，店舗などで陳列されている商品の情報を取得するための商品情報取得システムに関する。

小売業界においては，商品の陳列状況が商品の販売に影響することが知られている。そのため，商品の製造，販売会社としては，自社の商品が，店舗の陳列状況のどこに陳列されているのかを把握，確認できることが好ましい。

そこで下記特許文献１乃至特許文献３に示すような技術を用いて，商品の陳列状況を管理するシステムが存在する。

特開平５−３４２２３０号公報 特開平５−３３４４０９号公報 国際公開２０１２／０２９５４８

特許文献１の発明は，商品をどの陳列棚に陳列すべきかが知識のない者にもできるように，支援するシステムである。そのため，実際の商品の陳列状況を把握することはできない。また特許文献２は，商品マスタに記憶する各商品の画像と，商品が陳列什器に陳列された状態の陳列什器の画像とを比較することで，陳列什器に陳列されている商品イメージを切り出す処理を実行する発明である。しかしながら，陳列什器には必ずしも商品が正面を向いて陳列されているとは限らず，また光や影，反射などが映り込むこともある。そのため，陳列什器の画像と各商品の画像とを比較しても，その認識精度は低いのが実情である。

特許文献３は，陳列棚に空き空間がある場合に，その空き空間に陳列すべき商品を特定したり，陳列棚に陳列すべき商品を置き間違えた場合にそれを通知する発明である。この発明でも，商品と，陳列棚に陳列されている商品との画像マッチング処理を行って，陳列棚に陳列されている商品を特定しているが，特許文献２と同様の問題があり，認識精度が低いのが実情である。

そこで本発明者らは，上記課題に鑑み，陳列棚に陳列されている商品を，従来よりも高精度に特定できる商品情報取得システムを発明した。

第１の発明は，陳列されている商品の情報を取得する商品情報取得システムであって，前記商品情報取得システムは，店舗における商品の陳列状態が撮影された陳列棚画像情報または前記陳列棚画像情報に対する補正処理をした補正後画像情報について画像解析処理を実行する陳列棚画像情報解析処理部，を備えており，前記陳列棚画像情報解析処理部は，前記陳列棚画像情報または前記補正後画像情報から商品コードを読み取る処理と，前記陳列棚画像情報または前記補正後画像情報から商品が陳列されている領域であるフェイスを特定し，そのフェイス単位で，前記陳列棚画像情報または補正後画像情報に対する商品の標本画像情報とのマッチング処理と，を用いて，前記陳列棚に陳列されている商品を特定する，商品情報取得システムである。

本発明のように構成することで，店舗における陳列棚に陳列されている商品を特定することができる。とくに商品コードに基づいて陳列されている商品を特定するので，従来の画像認識のみによる場合よりも，高精度で商品を特定することが可能となる。

第２の発明は，陳列されている商品の情報を取得する商品情報取得システムであって，前記商品情報取得システムは，店舗における商品の陳列状態が撮影された陳列棚画像情報または前記陳列棚画像情報に対する補正処理をした補正後画像情報について画像解析処理を実行する陳列棚画像情報解析処理部，を備えており，前記陳列棚画像情報解析処理部は，前記陳列棚画像情報または前記補正後画像情報から商品コードを読み取る処理と，前記陳列棚画像情報または前記補正後画像情報に対する商品の標本画像情報とのマッチング処理と，を用いて，前記陳列棚に陳列されている商品を特定する，商品情報取得システムである。

本発明のように構成することで，店舗における陳列棚に陳列されている商品を特定することができる。とくに商品コードに基づいて陳列されている商品を特定するので，従来の画像認識のみによる場合よりも，高精度で商品を特定することが可能となる。

上述の発明において，前記陳列棚画像情報解析処理部は，前記陳列棚画像情報または前記補正後画像情報における商品コードを用いて特定した商品と，前記陳列棚画像情報または前記補正後画像情報から商品の標本画像情報とのマッチング処理によって特定した商品の候補と，を比較することで，陳列棚に陳列されている商品を特定する，商品情報取得システムのように構成することができる。

画像マッチング処理による商品の特定の場合には，類似度の高い順に候補が出力されることが一般的である。しかし外観が似たような商品がある場合では，類似度が近い値となる可能性がある。そのため，いずれの商品かを特定することができない。そこで，本発明のように商品コードを変換した商品ＩＤに対応する商品と，画像マッチング処理による候補となる商品とを比較することで，陳列されている商品を特定する精度を高められる。

上述の発明において，前記陳列棚画像情報解析処理部は，前記陳列棚画像情報または前記補正後画像情報における商品コードを用いて特定した商品の標本画像情報と，前記陳列棚画像情報または前記補正後画像情報とのマッチング処理を実行することで，前記陳列棚に陳列されている商品を特定する，商品情報取得システムのように構成することができる。

標本画像情報を用いた画像マッチング処理には，システムの負荷や処理時間がかかる。そこで，本発明のように，商品コードから変換した商品ＩＤによる標本画像情報との画像マッチング処理を実行することで，システムの負荷や処理時間を減らすことができる。また，陳列されている可能性が高い商品の標本画像情報との画像マッチング処理を行うので，陳列されている商品を特定する精度を高められる。

上述の発明において，前記陳列棚画像情報解析処理部は，前記陳列棚画像情報または前記補正後画像情報における影を検索する，繰り返している画像領域を検索する，商品形態の特徴を用いて特定する，商品幅を用いて特定する，のうち，いずれか一以上を用いることで，前記フェイスを特定する，商品情報取得システムである。

これらの発明のように構成することで，店舗における陳列棚に陳列されている商品を特定することができる。

第１の発明は，本発明のコンピュータプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，店舗における商品の陳列状態が撮影された陳列棚画像情報または前記陳列棚画像情報に対する補正処理をした補正後画像情報について画像解析処理を実行する陳列棚画像情報解析処理部，として機能させるための商品情報取得プログラムであって，前記陳列棚画像情報解析処理部は，前記陳列棚画像情報または前記補正後画像情報から商品コードを読み取る処理と，前記陳列棚画像情報または前記補正後画像情報から商品が陳列されている領域であるフェイスを特定し，そのフェイス単位で，前記陳列棚画像情報または補正後画像情報に対する商品の標本画像情報とのマッチング処理と，を用いて，前記陳列棚に陳列されている商品を特定する，商品情報取得プログラムである。

第２の発明は，本発明のコンピュータプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，店舗における商品の陳列状態が撮影された陳列棚画像情報または前記陳列棚画像情報に対する補正処理をした補正後画像情報について画像解析処理を実行する陳列棚画像情報解析処理部，として機能させるための商品情報取得プログラムであって，前記陳列棚画像情報解析処理部は，前記陳列棚画像情報または前記補正後画像情報から商品コードを読み取る処理と，前記陳列棚画像情報または前記補正後画像情報に対する商品の標本画像情報とのマッチング処理と，を用いて，前記陳列棚に陳列されている商品を特定する，商品情報取得プログラムである。

本発明の商品情報取得システムを用いることで，従来よりも，陳列棚に陳列されている商品を高精度で特定することができる。そのため，店舗における各商品の陳列状況を，高精度で取得することができる。

本発明の商品情報取得システムの全体の構成の一例を模式的に示す概念図である。 本発明の商品情報取得システムにおける陳列什器画像解析処理部の構成の一例を模式的に示す概念図である。 本発明の商品情報取得システムで用いるコンピュータのハードウェア構成の一例を模式的に示す概念図である。 本発明の商品情報取得システムにおける商品タグの処理プロセスの一例を模式的に示すフローチャートである。 本発明の商品情報取得システムにおける陳列什器画像の登録の処理プロセスの一例を模式的に示すフローチャートである。 本発明の商品陳列画像取得システムにおける陳列什器画像解析の処理プロセスの一例を模式的に示すフローチャートである。 商品情報記憶部の一例を模式的に示す概念図である。 カラービットの一例を模式的に示す概念図である。 通常の商品タグと，商品コードを付した商品タグの一例を模式的に示す図である。 商品タグが陳列棚に取り付けられた状態を模式的に示す図である。 陳列棚画像情報の一例を模式的に示す図である。 抽出した陳列棚画像情報を読み込んだ状態の画面表示の一例を示す図である。 抽出した陳列棚画像情報に対して，台形補正処理を行う状態の画面表示の一例を示す図である。 補正後画像情報に棚段の位置指定を受け付けた場合の画面の一例を示す図である。 実施例２における商品情報取得システムの構成の一例を模式的に示す図である。 実施例２における商品情報取得システムの陳列棚画像情報解析処理部の構成の一例を模式的に示す図である。 実施例２における処理プロセスの一例を模式的に示すフローチャートである。 フェイスを特定した状態の画面表示の一例を示す図である。 商品の認識結果を表示する画面表示の一例を示す図である。 実施例３における陳列棚画像情報解析処理部の一例を模式的に示す図である。 実施例５における陳列棚の一例を模式的に示す図である。

本発明の商品情報取得システム１の全体のシステム構成の一例を図１に示す。また，商品情報取得システム１における，後述の陳列棚画像情報解析処理部２２の構成の一例の概念図を図２に示す。

商品情報取得システム１は，そのシステムを運営する企業等の組織が利用するコンピュータである管理サーバ２において実現される。図３にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。

商品情報取得システム１における管理サーバ２は，小売店などの店舗における商品の陳列状況を撮影する撮影者が利用するコンピュータである撮影者端末３と，商品情報取得システム１によって商品の陳列状況を把握することを所望するシステム利用者が利用するコンピュータであるシステム利用者端末４と，ネットワークを介して情報の送受信が可能である。

商品情報取得システム１における管理サーバ２は，陳列棚画像情報受付処理部２０と陳列棚画像情報記憶部２１と陳列棚画像情報解析処理部２２と商品情報記憶部２３と陳列状況情報記憶部２４と出力処理部２５とを有する。

陳列棚画像情報受付処理部２０は，店舗において商品を陳列している陳列棚を撮影した画像情報（陳列棚画像情報）を撮影者端末３から受け付ける。ここで受け付ける陳列棚画像情報には，店舗識別情報（店舗名などの店舗を識別する情報）や撮影日時情報と紐付けられていることが好ましい。すなわち，陳列棚画像情報を撮影した店舗の店舗識別情報や撮影日時情報の入力を撮影者端末３で受け付け，それらの紐付けが行われていると良い。陳列棚画像情報は，通常，店舗ごとに撮影されるので，一つの店舗につき複数の陳列棚画像情報の入力を受け付けることが一般的であるが，一つの動画像や静止画像として入力を受け付けても良い。

陳列棚画像情報記憶部２１は，陳列棚画像情報受付処理部２０で受け付けた陳列棚画像情報を記憶する。陳列棚画像情報には，店舗識別情報，撮影日時情報などと対応付けられているとよい。

陳列棚画像情報解析処理部２２は，陳列棚画像情報受付処理部２０で受け付けた陳列棚画像情報について，後述する画像解析処理を実行することによって，商品タグや陳列棚などに付された商品コードを読み取り，その位置に陳列されている商品ＩＤと，陳列棚における商品の陳列位置との関連づけを行う。商品ＩＤとは，陳列棚の棚などに陳列されている商品を識別するための情報（商品識別情報）であって，たとえばＪＡＮコードそのもの，またはＪＡＮコードに対応付けられた情報などがある。商品ＩＤとは数字，文字のほか，記号等が含まれていてもよい。なお，商品ＩＤには，商品を識別するための情報のほか，当該小売店における価格または希望小売価格など，商品の価格を示す情報が含まれていてもよい。商品コードとは，商品ＩＤが所定の方式でコード化された情報である。

なお商品コードとしては，色を用いて情報を表示する方式，人間が視認することができないインキによって所定の情報を印字する方式などの方式を用いることができる。たとえば色を用いて情報を表示する方式としては，カラービット，カメレオンコード，High Capacity Color Barcode，Colorzip，カラードットコード（ADEU.NEK）などのカラーコード（カラーバーコード）がある。カラーコードとは，情報を表現するために用いられる色の羅列からなる符号である。カラーコードの一例であるカラービットは，隣接する色の変化（色の並び順）により情報を表現する。またカラーコードの一例であるカメレオンコードは，シアン，マゼンダ，イエローの色の組み合わせを用いることで情報を表現する。なお，カラーコードは，情報を表現するために用いられる色の羅列からなる符号であればよく，上述の例に限定されるものではない。なお，以下の説明では，商品コードとしてカラーコードの一例であるカラービットを用いた場合を説明する。

陳列棚画像情報解析処理部２２は，陳列棚画像情報から読み取った商品コードを商品ＩＤに，所定の方式に従って変換処理を行う。そして変換した商品ＩＤと，その商品コードが付されていた陳列棚の位置とを関連づけ，当該変換した商品ＩＤに対応する商品が，陳列棚の当該位置に置かれていると判定する。

陳列棚画像情報解析処理部２２は，陳列棚画像情報補正処理部２２０と棚段位置指定処理部２２１と商品コード変換処理部２２２と陳列状況情報処理部２２３とを有する。

陳列棚画像情報補正処理部２２０は，陳列棚画像情報受付処理部２０で受け付けた陳列棚画像情報，または陳列棚画像情報記憶部２１に記憶する陳列棚画像情報について，画像解析処理を実行するために必要な補正処理を実行する。補正処理としては，たとえば台形補正処理や，一つの陳列棚が複数の陳列棚画像情報に分かれている場合には，それらを合成して一つの陳列棚画像情報にする処理などを実行する。陳列棚画像情報補正処理部２２０において補正処理を実行した画像を補正後画像情報と呼ぶこととする。

商品コード変換処理部２２２は，補正後画像情報または補正処理を実行しない場合には陳列棚画像情報から，商品コードを認識して所定の方法により商品コードを商品ＩＤに変換をする。また，変換した商品ＩＤに対応する商品情報を，後述する商品情報記憶部２３を参照することで特定する。画像情報から商品コードを認識する処理は，画像情報から商品コードの領域を特定し，商品コードの領域に表示されている情報を用いて，商品コードに対応する変換方法で商品ＩＤに変換する処理を実行すればよい。たとえば，商品コードとしてカラーコードを用いる場合には，画像情報中のカラーコードを公知の方法で認識し，変換すればよい。

陳列状況情報処理部２２３は，商品コード変換処理部２２２が変換をした商品ＩＤと，その商品が陳列されている陳列棚における位置情報（何段目の棚段か，棚段において右または左の基準点からどれだけの位置にあるかなどを示す座標情報など）とを関連づける。そして関連づけの情報を，後述する陳列状況情報記憶部２４に記憶させる。

商品情報記憶部２３は，図７に示すように，商品ＩＤ，ＪＡＮコード，商品名，定格，メーカーなどの商品に関する情報（商品情報）を記憶する。商品情報として，販売価格，希望小売価格などの価格情報が含まれていてもよい。

陳列状況情報記憶部２４は，陳列棚画像情報解析処理部２２で判定した，商品ＩＤと，その商品の陳列棚における位置との関連づけられた情報を，陳列状況情報として記憶させる。

出力処理部２５は，システム利用者端末４からの出力要求を受け取り，陳列状況情報を出力する。

つぎに本発明の商品情報取得システム１の処理プロセスの一例を，図４乃至図６のフローチャートを用いて説明する。

まず商品情報取得システム１を用いるための前提として，カラーコードなどの商品コードを，陳列棚に取り付ける商品タグに付するための処理を説明する。商品コードを商品タグに付する担当者は，所定のコンピュータ（図示せず）を操作することで，商品を一意に識別可能な商品ＩＤを入力することで，当該コンピュータにおいて，カラーコードなどの商品コードの所定の変換方式によりコード化する（Ｓ１００）。

図７に示すように，商品ＩＤが「１２３４５６」と定められた商品については，当該商品ＩＤ「１２３４５６」を所定の方法で２進値に変換をする。この変換の際に，データの正確性を高めるためのチェックビット（補正コード）を付加した上で変換することが好ましい。たとえば「１２３４５６」を変換したときの２進値として「０００００００１００１０１１００００１１１１１１０００１１」を生成したとする。生成した２進値を，所定のカラービットで定められた相関関係にしたがって，カラービットを生成することでコード化をする。数値と色の変化の相関関係の一例を図８（ａ）に，カラービットによる２進値の表示例を図８（ｂ）に示す。また図８（ｃ）は，上記生成した２進値をカラービットにより表記をした場合の一例である。図８（ｃ）では横一直線ではなく，変形をしているが各マス目は連続している。カラービットの場合，最初のマス目は「赤」で始まり，最後のマス目は「緑」または「青」で終了することを規定しているので，かかる規定に沿うようにカラービットを生成するが，これ以外の規定を設けてもよいし，この規定に限定されるものでもない。そのため，「赤色」のマスから順に連続的に，隣接する色の変化によって「０」または「１」を示している。なお，図面の関係上，色の代わりにパターンで表示をしているが，実際には，対応する色が表示されている。

以上のように生成した商品コードを，当該コンピュータで所定の操作が行われることで，印刷装置が当該商品コードを商品タグに印刷する（Ｓ１１０）。商品コードは，商品タグのうち，商品に関する情報が表示されていない余剰スペース（空白）に印刷することが好ましい。商品タグは，消費者に対して商品の商品名，価格などを表示するものであり，陳列棚の対応する商品が置かれる近傍，たとえば下方，上方に取り付けられる。図９（ａ）に通常の商品タグの一例を，図９（ｂ）に商品コードを印刷した商品タグの一例を示す。

Ｓ１１０において商品コードが印刷された商品タグは，陳列棚において当該商品が陳列される位置の近傍，たとえば上や下などの取り付けられる（Ｓ１２０）。図１０は，商品タグが陳列棚に取り付けられた状態を模式的に示す図である。

以上のように，店舗の陳列棚には，商品コードが印刷された商品タグが取り付けられ，所定の撮影者が陳列棚を撮影可能となる。

つぎに店舗の陳列棚を撮影する場合の処理プロセスを説明する。

まず所定の撮影者は，店舗に行き，カメラなどの撮影装置によって陳列棚を撮影することで，陳列棚画像情報を取得する（Ｓ２００）。陳列棚画像情報の一例を図１１に示す。そして取得した陳列棚画像情報を，撮影者が利用する撮影者端末３に読み込ませ，当該店舗の識別情報を入力するなどによって，陳列棚画像情報と店舗識別情報とが紐付けられる（Ｓ２１０）。なお，撮影装置がスマートフォンやタブレット型コンピュータなどの可搬型通信端末の場合には，撮影装置と撮影者端末３とが一体的に構成されていてもよい。陳列棚が複数ある場合には，各陳列棚を撮影することが好ましい。さらに，陳列棚を識別する識別情報の入力を行い，陳列棚画像情報と陳列棚識別情報とが紐付けられていてもよい。加えて，撮影日時の情報の入力を受け付けて，陳列棚画像情報と紐付けられていてもよい。

そして撮影者が撮影者端末３において所定の操作を行うことで，陳列棚画像情報，店舗識別情報，陳列棚識別情報，撮影日時情報を管理サーバ２にアップロードする（Ｓ２２０）。撮影者端末３からアップロードされた陳列棚画像情報などは陳列棚画像情報受付処理部２０で受け付け，陳列棚画像情報，店舗識別情報，陳列棚識別情報，撮影日時情報などを対応付けて陳列棚画像情報記憶部２１に記憶させる。そして正常にアップロードが行えた場合には（Ｓ２３０），そのまま処理を終了し，正常にアップロードが行えなかった場合には（Ｓ２３０），再度，アップロードを行わせる。

つぎに管理サーバ２における，アップロードされた陳列棚画像情報を用いた解析処理を説明する。

撮影者端末３から送られた陳列棚画像情報は陳列棚画像情報受付処理部２０で受け付けられ，陳列棚画像情報記憶部２１に記憶されている。そして，所定のタイミングでシステム利用者は，システム利用者端末４で所定の操作をすることによって，処理対象とする陳列棚画像情報記憶部２１に記憶した陳列棚画像情報を抽出し，陳列棚画像情報に基づく陳列状況情報の解析処理を行う。この場合，陳列什器画像解析処理部は，たとえば店舗識別情報，撮影日時情報などをシステム利用者端末４から受け付けることで，該当する店舗の陳列棚画像情報を抽出すればよい。

まず，抽出した陳列棚画像情報を読み込むことで，図１２に示す画面に表示し，陳列棚画像情報に対する補正処理を実行する（Ｓ３００）。すなわち，陳列棚の棚段が水平に，商品が垂直になるように，陳列棚画像情報について，台形補正処理を実行する。

台形補正処理を実行するため，図１２に示すような，陳列棚画像情報に四角形（図１２において破線で示した四角形）を重畳表示させ，当該四角形の４点を処理対象とする範囲に合わせる入力操作をシステム利用者端末４から陳列棚画像情報補正処理部２２０で受け付ける。たとえば図１２では抽出した同一の陳列棚画像情報を左右に表示させ，左側にはシステム利用者が台形補正の入力を行うための四角形（システム利用者が４点を移動させるための四角形であって，図１２で破線で示した四角形）を重畳表示させる。そして，右側の陳列棚画像情報には，左側の陳列棚画像情報に重畳して表示する四角形（図１２において実線で示した四角形）の４点の移動に基づいて行われる台形補正処理後の画像情報が表示されている。そのため，左側の陳列棚画像情報に重畳して表示する四角形（破線で示した四角形）の各点は，右側の陳列棚画像情報に重畳して表示する長方形（実線で示した四角形）の垂直線，水平線に合うように移動させる。図１３に左側の陳列棚画像情報に重畳して表示する四角形（破線で示した四角形）の４点の移動を行った場合の画面の一例を示す。左側の陳列棚画像情報に重畳して表示する四角形（破線で示した四角形）の各点を，右側の陳列棚画像情報に重畳して表示する長方形（実線で示した四角形）の垂直線，水辺線に合う位置に移動させたら，図１３の画面における「台形補正確定」ボタンを押下する。

「台形補正確定」ボタンの受付を陳列棚画像情報補正処理部２２０でシステム利用者端末４から受け付けると，陳列棚画像情報補正処理部２２０は，陳列棚画像情報に対して台形補正処理を実行し，補正処理後の陳列棚画像情報（補正後画像情報）を画面上に表示させる。

そして補正後画像情報について，棚段位置の指定処理を行う（Ｓ３１０）。棚段の位置指定処理としては，棚段位置指定処理部２２１において，システム利用者端末４から，補正後画像情報のうち棚段の位置指定処理を行う領域について，棚段の位置の指定を受け付ける。すなわち，棚段ごとに商品が存在する領域の指定を受け付ける。そして各棚段の領域について，一段目，二段目のように，順次，段数の識別情報を付す。この場合，段数の識別情報の入力を受け付けてもよいし，指定された順番に順次，段数の識別情報を自動的に付してもよい。図１４に補正後画像情報に棚段の位置指定を受け付けた場合の画面の一例を示す。なお，図１４では，補正後画像情報のうち，位置指定を受けた領域が拡大して表示されている場合を示している。そして，棚段位置指定処理部２２１において棚段位置の指定を受け付けることによって，棚段として指定されていない領域が，商品タグがある領域として定められる。

以上のようにして棚段位置指定処理部２２１において，補正後画像情報における棚段位置が指定されると，棚段として指定されていない領域に対して，商品コード変換処理部２２２が，商品タグに表示されている商品コードを読み取り（Ｓ３２０），商品コードと商品ＩＤの変換方式に従って，商品コードを商品ＩＤに変換する処理を実行する（Ｓ３３０）。商品コードを商品ＩＤに変換する処理は，解析対象となる画像情報のうち，商品コードの領域の画像情報を抽出し，商品コードの変換方式にしたがって商品ＩＤに情報の変換を行えばよい。たとえば商品コードとしてカラービットを用いる場合，基準となるマス目，たとえば「赤色」のマス目から順に，隣接するマス目の色の変化に応じて情報を変換する。なお，商品コードの読取処理を行う場合，上述のように，棚段として指定されていない領域に対して行うほか，補正後画像情報または陳列棚画像情報の棚段として指定されている領域や，画像情報の全体にわたって処理を行ってもよい。

商品コードとしてカラービットを用いる場合，画像のうち２％程度の大きさであれば情報の変換が可能である。そのため，たとえば解析対象となる補正後画像情報が図１４に示すように複数の商品が陳列されている場合であっても，十分に商品コードを商品ＩＤに変換することが可能である。またカラービットの場合，一つの画像情報に複数のカラービット（商品コード）が写っていてもそれぞれ商品ＩＤに変換することが可能であるので，同時に複数の変換処理も可能である。

以上のようにして解析対象となった画像情報（補正後画像情報または陳列棚画像情報）から読み取った商品コードを商品ＩＤに変換すると，商品コード変換処理部２２２は，変換した商品ＩＤに対応する商品情報を商品情報記憶部２３を参照して抽出する。

そして陳列状況情報処理部２２３は，変換した商品ＩＤに対応する商品コードが付された商品タグの位置情報を特定する。すなわち棚段の何段目か，左右の基点からどの程度の位置にあるかを特定する。棚段の段数は棚段位置指定処理部２２１で棚段の段数の情報を受け付けているので，それに基づいて特定できる。また，左右の位置については，たとえば相対座標に基づいてその位置を特定することができる。

以上のように位置情報を特定すると，陳列状況情報処理部２２３は，Ｓ３３０で抽出した商品情報と商品ＩＤと，上記で特定した陳列棚における位置とを関連づけて陳列状況情報として陳列状況情報記憶部２４に記憶させる（Ｓ３４０，Ｓ３５０）。なおこの際に，処理対象とした陳列棚画像情報を撮影した日時情報，店舗識別情報なども関連づけて記憶させるとよい。

そして，システム利用者端末４が所定の操作をすることで，ある店舗のある時点における陳列状況情報を取得した場合には，店舗識別情報や日時情報に基づいて，商品の陳列棚における陳列状況情報（たとえばどの商品がどの陳列棚の何段目のどの位置で販売されていたか）を，出力処理部２５がシステム利用者端末４に出力することができる。また，期間を指定することで，出力処理部２５が，陳列状況情報記憶部２４に記憶する，指定期間における商品の陳列棚における陳列状況情報を抽出し，それらを合計したり，時系列的に整理して出力するなどにより，経時的変化を出力することもできる。さらに，特定の商品ＩＤの指定を受け付けることで，さらに出力処理部２５が，指定された商品ＩＤの陳列状況情報を抽出し，出力することもできる。

このように，商品コードを印刷した商品タグを陳列棚に取り付け，それを撮影した陳列棚画像情報を撮影し，解析処理を実行することで，ある時点における陳列されている商品の情報を取得することができる。また，経時的変化を把握することができる。

つぎに本発明の異なる実施態様として，陳列棚画像情報において陳列されている商品も特定し，その商品のフェイス数も陳列状況情報として特定する場合を説明する。フェイス数とは，同一商品が同一の棚段にいくつ横方向に並んでいるか（横方向への露出数）を示す情報であり，フェイス数が多いほど商品の露出が多く，売り場面積が確保されていることを意味するので，商品の販売会社にとっては重要な情報である。

そして，商品の購入者の目線となる位置の棚段はゴールデンラインと呼ばれ，陳列棚のうち，特に重要な棚段である。ゴールデンラインにおかれることで，購入者の目にとまりやすくなり，商品の認知度が高まるとともに，購入の可能性が高まるからである。そのため，商品の販売会社は，自社の商品をゴールデンラインの棚段の位置に置いてもらうよう店舗に働きかけを行うが，実際にどの程度，おかれていたのかを客観的に把握することが従来はできなかった。そこで，本実施例では，実施例１の変形例として，商品のフェイス数を棚段の位置ごとに陳列状況情報として出力できるので，商品のフェイス数を把握可能にし，また，いわゆるゴールデンラインにどれだけ商品が陳列されていたのかが把握可能となる。

本実施例の商品情報取得システム１においては，さらに標本画像情報記憶部２６を備えており，また，陳列棚画像情報解析処理部２２において，商品特定処理部２２４を備える。本実施例における商品情報取得システム１の構成の一例を図１５に，陳列棚画像情報解析処理部２２の構成の一例を図１６に示す。

商品特定処理部２２４は，棚段の位置指定を受け付け後，図１４の画面における「フェイス自動切出」または「フェイス修正」のボタンの押下を受け付けることで，システム利用者端末４から管理サーバ２にフェイス数特定処理の要求が行われ，それを商品特定処理部２２４で受け付けることで実行する。

商品特定処理部２２４は，補正後画像情報または陳列棚画像情報において，棚段として指定された領域においてフェイスを特定し，さらに特定したフェイスから商品の認識処理を実行する。そして同一の商品についてフェイス数を特定する処理を実行する。なお，フェイスとは，商品が陳列（露出）されている領域である。

フェイスの特定処理にはさまざまなものがあり，商品の種別や形態によって切り替えることができるが，（１）フェイスとフェイスの間の影を検索する，（２）繰り返している画像領域があるかのパターンを検索する，（３）ある一つのフェイスを特定した場合，商品幅がほぼ一定であるなど商品形態の特徴を用い，商品幅ごとに順次フェイスを特定する，（４）商品の種別ごとに商品幅が定まっているので，商品幅ごとにフェイスを特定する，など（１）乃至（４）を一以上，組み合わせることによって，フェイスを特定することができる。また（１）乃至（４）以外の方法を用いることもできる。

商品特定処理部２２４は，特定したフェイスに対して，図１８に示すように特定したフェイスの領域を表示させる。

つぎに，特定したフェイスの領域ごとに，あらかじめ記憶されている各商品の標本画像情報と，フェイスの領域の画像情報との画像マッチング処理を行い，当該フェイスの領域に表示されている商品の認識処理を実行する。各商品の標本画像情報は，あらかじめ商品ごとに複数の角度から撮影された画像情報である。たとえば，当該商品の側面がいずれかの標本画像に写っているだけの画像情報の数を用いると好ましい。

すなわち，特定したフェイス単位ごとに，後述する標本画像情報記憶部２６に記憶する各商品の標本画像情報と画像マッチング処理を行い，その類似性を元に商品を同定する処理を実行する。たとえばＡ商品と類似度が７５％，Ｂ商品と類似度が２５％のように同定してもよいし，もっとも類似度が高い商品を当該フェイスにある商品として同定してもよい。そして，後述する標本画像情報記憶部２６を参照して，同定した商品の商品ＩＤを特定する。なお，画像マッチング処理としてはさまざまな処理方法を用いることができるが，たとえば特徴量を用いてその類似度を比較することで処理が行える。

商品特定処理部２２４は，類似度の高い順に複数の候補を挙げている場合，商品コード変換処理部２２２において商品タグに付された商品コードから変換した商品ＩＤと，画像マッチング処理で特定した商品ＩＤとの比較を行い，一致している商品ＩＤを，当該フェイスの領域に陳列されている商品として特定をする。なお，いずれの商品とも一致しない場合には，「不明」乃至「欠品」（本来ならば陳列されているべきところ，売り切れなどによって商品が存在しない状態）として扱ってもよい。たとえば「不明」または「欠品」として所定の通知を画面上に表示をしてもよいし，「欠品」として特定を行ってもよい。あるいは当該フェイスの領域について「欠品」の指定の入力を，システム利用者端末４から受け付けてもよい。

そして商品特定処理部２２４は，各フェイスについて，フェイスの領域と各商品の標本画像情報との画像マッチング処理による商品の認識処理を実行後，商品ごとにフェイス数を算出する。すなわち，同一の商品ＩＤを有する商品が横方向にいくつ並んでいるかを算出する。これはフェイスの領域にある商品がすでに特定できているので，フェイスごとに同定された商品ＩＤが同一の商品がいくつ並んでいるかを算出することで商品ごとのフェイス数を算出できる。なお，各フェイスにおける商品の位置（位置情報）を特定することも行う。なお，「欠品」のフェイスについては，フェイス数としてそのままカウントをしてもよいし，「欠品」（フェイス数として「０」）として処理をしてもよい。商品の認識結果を表示する画面の一例を図１９に示す。

陳列状況情報処理部２２３は，上記のように商品特定処理部２２４で算出したフェイス数と，商品ＩＤと，陳列棚における商品が陳列されている棚段数，当該棚段における右または左からの位置情報とを関連づけて，陳列状況情報として陳列状況情報記憶部２４に記憶させる。

標本画像情報記憶部２６は，陳列棚に陳列される可能性のある商品の標本画像情報を記憶する。標本画像情報としては，一つの商品について，異なる角度から撮影された複数の画像情報が記憶されていることが好ましい。標本画像情報は，商品ＩＤ，ＪＡＮコードや商品名などの商品を識別する情報と紐付けられているとよい。

なお，商品特定処理部２２４における同一の陳列棚に対する２回目以降の処理については，さらに処理を高速化するため，以下のような処理方法を用いることもできる。なお，２回目以降の処理としては，陳列棚画像が同一の領域をおおよそ同じアングルで撮影がされているという前提条件がある場合であり，それを充足しない場合には，同一の領域をおおよそ同じアングルとなるように補正処理をした上で，後述する２回目以降の処理を行う。

２回目以降の処理としては，商品特定処理部２２４は，補正処理として抽出する陳列棚画像情報について，店舗識別情報，陳列棚識別情報，撮影日時情報に基づいて，２回目以降の処理であることを判定すると，前回，指定を受け付けた四角形の４点を自動的に決定し，台形補正処理を実行する。そして棚段位置の指定処理としては，前回，指定を受け付けた領域を各棚段の領域として自動的に決定し，フェイスの領域を自動的に特定する。

そして，前回，フェイスの領域を特定した画像情報と，今回，フェイスの領域を特定した画像情報との比較を行うことで，商品の認識処理を実行する。たとえばフェイスごとに，前回の画像情報と，今回の画像情報との間で類似性を求め，十分に類似性がある（所定の閾値以上の類似度がある）場合には，前回確定した商品ＩＤと同じ商品であると特定する。なお，この際に，商品位置がずれる場合もあるため，比較対象としては，所定数の範囲内のフェイスの画像情報と比較することが好ましい。

以上のように行うことで，２回目以降の処理については自動的に，あるいは処理手順を減らして実行することが可能となる。

つぎに陳列棚画像情報解析処理部２２における処理プロセスの一例を図１７のフローチャートを用いて説明する。なおＳ４００乃至Ｓ４３０の処理は，実施例１におけるＳ３００乃至Ｓ３３０の処理と同様なので説明を省略する。

陳列棚画像情報解析処理部２２は，Ｓ４３０において商品タグに付されている商品コードを商品ＩＤに変換し，対応する商品情報を商品情報記憶部２３から抽出後，商品特定処理部２２４が，フェイスの特定処理を実行する（Ｓ４４０）。すなわち，補正後画像情報または陳列棚画像情報において，棚段として指定された領域において，（１）フェイスとフェイスの間の影を検索する，（２）繰り返している画像領域があるかのパターンを検索する，（３）ある一つのフェイスを特定した場合，商品幅がほぼ一定であるなど商品形態の特徴を用い，商品幅ごとに順次フェイスを特定する，（４）商品の種別ごとに商品幅が定まっているので，商品幅ごとにフェイスを特定する，など（１）乃至（４）を一以上，組み合わせることによって，フェイスの領域を特定する。

フェイスを特定後，商品特定処理部２２４は，フェイスの領域ごとに，標本画像情報記憶部２６に記憶する各商品の標本画像情報と画像マッチング処理を行うことで，当該フェイスの領域に表示されている商品の認識処理を実行する（Ｓ４５０）。

このようにして商品の認識後，商品特定処理部２２４は，同一の商品ＩＤを持つ商品が横方向にいくつ並んでいるかを算出することで，商品ごとのフェイス数を算出するとともに（Ｓ４６０），当該商品が陳列されている陳列棚における棚段，棚段における横方向の位置（位置情報）を特定する。

陳列状況情報処理部２２３は，Ｓ４５０で認識した商品ＩＤ，フェイス数，特定した陳列棚における位置とを関連づけて陳列状況情報として陳列状況情報記憶部２４に記憶させる（Ｓ４７０，Ｓ４８０）。なおこの際に，処理対象とした陳列棚画像情報を撮影した日時情報，店舗識別情報なども関連づけて記憶させるとよい。

そして，システム利用者端末４が所定の操作をすることで，ある店舗のある時点における陳列状況情報を取得した場合には，店舗識別情報や日時情報に基づいて，商品の陳列棚における陳列状況情報を，出力処理部２５がシステム利用者端末４に出力することができる。また，期間を指定することで，出力処理部２５が，陳列状況情報記憶部２４に記憶する，指定期間における商品の陳列棚における陳列状況情報を抽出し，それらを合計したり，時系列的に整理して出力するなどにより，経時的変化を出力することもできる。さらに，特定の商品ＩＤの指定を受け付けることで，さらに出力処理部２５が，指定された商品ＩＤの陳列状況情報を抽出し，出力することもできる。

加えて，あらかじめ陳列棚ごとにどの棚段がゴールデンラインかを指定しておくことで，ゴールデンラインにおける陳列状況情報，あるいは各陳列棚での陳列状況情報と，どの陳列棚がゴールデンラインかを示す情報とを併せて出力させることが可能となる。

このように，商品コードを印刷した商品タグを陳列棚に取り付け，それを撮影した陳列棚画像情報を撮影し，解析処理を実行することで，ある時点における陳列されている商品の情報を取得することができる。また，経時的変化を把握することができる。さらに，実際に店舗の陳列棚画像情報に基づいて，陳列されている商品を同定しているので，仮に商品が欠品をしていた場合にも，それを特定することができる。すなわち，商品タグの商品コードからは商品ＩＤが認識できるものの，フェイスの領域では商品ＩＤを特定できなかった場合，その商品は欠品として処理を行うことができる。

実施例１および実施例２において，さらに，商品タグに印刷されている商品コードに基づいて商品の価格を特定しない場合に，商品タグに画像解析処理を実行することで，商品名，価格，定格などを認識をしてもよい。

この場合，陳列棚画像情報解析処理部２２においては，さらに商品タグ認識処理部２２５を備えている。本実施例における陳列棚画像情報解析処理部２２の一例を図２０に示す。

商品タグ認識処理部２２５は，棚段位置指定処理部２２１で指定を受け付けた棚段位置ではない領域について，所定の閉領域，好ましくは矩形領域を認識することで商品タグの領域を特定する。そして特定した商品タグの領域のうち，ＯＣＲや数字フォントとのパターンマッチングなどによって，価格，商品名，定格などの商品情報を抽出する。

商品コード変換処理部２２２は，商品タグ認識処理部２２５が認識した価格，商品名，定格などの商品情報と，商品コード変換処理部２２２で変換した商品ＩＤに対応する，商品情報記憶部２３に記憶する商品情報とを比較し，商品名，定格などの商品情報が一致しており，価格が相違する場合には，商品タグ認識処理部２２５で認識した価格を優先して商品情報として取り扱ってもよい。この場合，商品情報記憶部２３に記憶する当該商品の価格の情報を更新してもよい。このような処理によって，変更されやすい価格の情報が更新された場合でも，商品情報記憶部２３に記憶する価格情報も更新することが可能となる。なお，商品コード変換処理部２２２で上記比較等を行った商品情報は，実施例１乃至実施例２などと同様に，陳列状況情報処理部２２３が陳列状況情報として陳列状況情報記憶部２４に記憶させる。

つぎに実施例２および実施例３において，陳列棚画像情報解析処理部２２における画像情報のマッチング処理の際に，商品タグに付された商品コードを用いた場合の処理を説明する。

たとえば商品特定処理部２２４がＳ４５０における商品の認識処理において，フェイスの領域の画像情報と，標本画像情報記憶部２６に記憶する標本画像情報との画像情報のマッチング処理の際に，商品コード変換処理部２２２で変換をした商品ＩＤに対応する商品の標本画像情報を優先的に画像情報のマッチング処理の候補として用いる。そして，このマッチング処理の結果，ある一定以上の閾値の類似度であれば，当該商品ＩＤの商品であると同定する。

またフェイスの領域と商品タグの領域とに若干のズレがある可能性もあるので，上記マッチング処理の際には，そのフェイスの近くに位置する商品タグに付された商品コードを商品コード変換処理部２２２が変換をした商品ＩＤから順に行っていくとよい。すなわち，フェイスと商品タグとの距離の近接性に基づいて，候補とする商品ＩＤの優先度を順位づけ，画像情報のマッチング処理を行う標本画像情報を候補とするとよい。

一般的に画像情報のマッチング処理には処理時間とシステムの負荷が発生するので，本発明のように構成することで，処理時間とシステム負荷を大幅に減らすことができる。商品コードに基づく商品ＩＤの標本画像情報と，フェイスの領域の画像情報とのマッチングの結果，閾値が所定の条件を充足していない場合には，当該商品ＩＤの商品（商品タグに対応する商品）は陳列されていない，すなわち欠品と判定できる。

さらに，商品タグ認識処理部２２５が，商品タグの認識処理を行うのを，商品コード変換処理部２２２の処理を実行する際に行ってもよい。また，商品コード変換処理部２２２において，商品コードを認識した場合，その商品コードを含む閉領域，好ましくは矩形領域を商品タグの領域として認識をしてもよい。なお，商品情報記憶部２３において商品ＩＤが価格と関連づけられている場合には，その処理を実行せずともよいし，あるいは商品情報記憶部２３に記憶する価格の情報を優先的に，ＯＣＲ処理，画像マッチング処理に用いてもよい。

上述の各実施例においては，商品タグに商品コードを付した場合を説明していたが，商品コード以外の領域，たとえば陳列棚の背面パネル１００に所定の商品コードを付してもよい。この場合の陳列棚の一例を図２１に示す。陳列棚の背面パネル１００には，所定の情報がコード化された商品コードが貼付されている。この商品コードとしては，「欠品」を示す商品コードであってもよいし，その位置に陳列されるべき商品の欠品を示す情報をコード化した商品コード（欠品の情報と陳列される商品の商品ＩＤの情報）であってもよい。

Ｓ２００で陳列棚を撮影した場合に，欠品があると背面パネル１００にある商品コードも映り込む。そのときに商品コード変換処理部２２２が読み取り，「欠品」または当該位置に陳列されるべき商品の商品ＩＤの認識を行う。なお，この場合，商品コード変換処理部２２２は，棚段位置指定処理部２２１で指定された棚段以外の領域のみならず，陳列棚画像情報，補正後画像情報の全体にわたって，商品コードの読取処理を行う。

このような処理を行うことで，実施例２乃至実施例４に記載のように画像情報に対して標本画像情報を用いた画像マッチング処理を行わずとも，陳列している商品の欠品の認識を行うことが可能である。

なお，実施例１乃至実施例５の各実施例においては，必要に応じて処理の順番を変更することは可能である。

本発明の商品情報取得システム１を用いることで，従来よりも，陳列棚に陳列されている商品を高精度で特定することができる。そのため，店舗における各商品の陳列状況を，高精度で取得することができる。

１：商品情報取得システム
２：管理サーバ
３：撮影者端末
４：システム利用者端末
２０：陳列棚画像情報受付処理部
２１：陳列棚画像情報記憶部
２２：陳列棚画像情報解析処理部
２３：商品情報記憶部
２４：陳列状況情報記憶部
２５：出力処理部
２６：標本画像情報記憶部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
１００：背面パネル
２２０：陳列棚画像情報補正処理部
２２１：棚段位置指定処理部
２２２：商品コード変換処理部
２２３：陳列状況情報処理部
２２４：商品特定処理部
２２５：商品タグ認識処理部

Claims (7)

1. 陳列されている商品の情報を取得する商品情報取得システムであって，
   前記商品情報取得システムは，
   店舗における商品の陳列状態が撮影された陳列棚画像情報または前記陳列棚画像情報に対する補正処理をした補正後画像情報について画像解析処理を実行する陳列棚画像情報解析処理部，を備えており，
   前記陳列棚画像情報解析処理部は，
   前記陳列棚画像情報または前記補正後画像情報から商品コードを読み取る処理と，
   前記陳列棚画像情報または前記補正後画像情報から商品が陳列されている領域であるフェイスを特定し，そのフェイス単位で，前記陳列棚画像情報または補正後画像情報に対する商品の標本画像情報とのマッチング処理と，を用いて，前記陳列棚に陳列されている商品を特定する，
   ことを特徴とする商品情報取得システム。
2. 陳列されている商品の情報を取得する商品情報取得システムであって，
   前記商品情報取得システムは，
   店舗における商品の陳列状態が撮影された陳列棚画像情報または前記陳列棚画像情報に対する補正処理をした補正後画像情報について画像解析処理を実行する陳列棚画像情報解析処理部，を備えており，
   前記陳列棚画像情報解析処理部は，
   前記陳列棚画像情報または前記補正後画像情報から商品コードを読み取る処理と，前記陳列棚画像情報または前記補正後画像情報に対する商品の標本画像情報とのマッチング処理と，を用いて，前記陳列棚に陳列されている商品を特定する，
   ことを特徴とする商品情報取得システム。
3. 前記陳列棚画像情報解析処理部は，
   前記陳列棚画像情報または前記補正後画像情報における商品コードを用いて特定した商品と，前記陳列棚画像情報または前記補正後画像情報から商品の標本画像情報とのマッチング処理によって特定した商品の候補と，を比較することで，陳列棚に陳列されている商品を特定する，
   ことを特徴とする請求項１または請求項２に記載の商品情報取得システム。
4. 前記陳列棚画像情報解析処理部は，
   前記陳列棚画像情報または前記補正後画像情報における商品コードを用いて特定した商品の標本画像情報と，前記陳列棚画像情報または前記補正後画像情報とのマッチング処理を実行することで，前記陳列棚に陳列されている商品を特定する，
   ことを特徴とする請求項１または請求項２に記載の商品情報取得システム。
5. 前記陳列棚画像情報解析処理部は，
   前記陳列棚画像情報または前記補正後画像情報における影を検索する，繰り返している画像領域を検索する，商品形態の特徴を用いて特定する，商品幅を用いて特定する，のうち，いずれか一以上を用いることで，前記フェイスを特定する，
   ことを特徴とする請求項１に記載の商品情報取得システム。
6. コンピュータを，
   店舗における商品の陳列状態が撮影された陳列棚画像情報または前記陳列棚画像情報に対する補正処理をした補正後画像情報について画像解析処理を実行する陳列棚画像情報解析処理部，として機能させるための商品情報取得プログラムであって，
   前記陳列棚画像情報解析処理部は，
   前記陳列棚画像情報または前記補正後画像情報から商品コードを読み取る処理と，
   前記陳列棚画像情報または前記補正後画像情報から商品が陳列されている領域であるフェイスを特定し，そのフェイス単位で，前記陳列棚画像情報または補正後画像情報に対する商品の標本画像情報とのマッチング処理と，を用いて，前記陳列棚に陳列されている商品を特定する，
   ことを特徴とする商品情報取得プログラム。
7. コンピュータを，
   店舗における商品の陳列状態が撮影された陳列棚画像情報または前記陳列棚画像情報に対する補正処理をした補正後画像情報について画像解析処理を実行する陳列棚画像情報解析処理部，として機能させるための商品情報取得プログラムであって，
   前記陳列棚画像情報解析処理部は，
   前記陳列棚画像情報または前記補正後画像情報から商品コードを読み取る処理と，前記陳列棚画像情報または前記補正後画像情報に対する商品の標本画像情報とのマッチング処理と，を用いて，前記陳列棚に陳列されている商品を特定する，
   ことを特徴とする商品情報取得プログラム。

Images