JP6705075B2 - 商品陳列情報集計システム - Google Patents

Description

本発明は，店舗における商品の陳列状態を集計する商品陳列情報集計システムに関する。

小売業界においては，商品の陳列状況が商品の販売に影響することが知られている。そのため，商品の製造，販売会社としては，自社の商品が，店舗の陳列什器のどこに陳列されているのかを把握，確認できることが好ましい。

特許文献１では，知識が不足している操作者でも，陳列棚へ適切に商品を陳列する指定を短時間で行える装置が開示されている。また，特許文献２では，商品の陳列を支援する棚割支援システムの商品画像の入力を支援するシステムが開示されている。

しかし，特許文献１の装置では，陳列棚へ適切に商品を陳列する指定ができるのみで，実際の陳列状況がどのような状況であるかを集計することはできない。また，特許文献２のシステムでは，棚割支援システムを利用する際の商品画像の入力を支援するのみであって，このシステムを用いたとしても，実際の陳列状況がどのような状況であるかを集計することはできない。

また特許文献３および特許文献４では商品の陳列状況を判定するシステムが開示されている。

特開平５−３４２２３０号公報 特開平５−３３４４０９号公報 米国特許出願公開第２００９／００５９２７０号公報 特開２０１３−２５０６４７号公報

商品の販売において，陳列棚の何段目に陳列されているかは非常に重要である。特に，消費者（購入者）の視線の高さに位置する棚はゴールデンラインとも呼ばれ，消費者に対する商品の訴求効果が高いことから重要視されている。しかし特許文献３，特許文献４に開示されている発明では，商品の陳列状況は特定できるものの，それがゴールデンラインにどれだけ陳列されているのかなど，陳列状況を客観的に把握することが容易ではない。

また，商品の陳列状況を撮像する場合，商品を自動的に特定可能な程度に適切に撮像をしなければならない。しかし，撮像装置の位置や光の当たり具合などによって，商品や価格が自動的に特定できないといった場合もあり得る。そのような場合には，特許文献３や特許文献４に開示されている発明では処理を行うことが困難である。

そこで本発明者は上記課題に鑑み，商品の陳列状況を客観的，かつ容易に把握することができる商品陳列情報集計システムを発明した。また，本発明の商品陳列状況集計システムを用いることによって，商品や価格が自動的に特定できない場合であっても，処理を可能とすることができる。

第１の発明は，商品の陳列状態を集計する商品陳列情報集計システムであって，店舗における商品の陳列状態が撮影された陳列什器画像情報に基づいて，陳列什器に陳列している商品の商品識別情報と棚段位置とその商品のフェイス数の情報を生成する中間フォーマット情報生成処理部と，前記生成した商品識別情報と棚段位置とフェイス数の情報とに基づいて，商品のフェイス数を棚段位置に応じて表示させる画面を生成するインターフェイス生成処理部と，を有しており，前記中間フォーマット情報生成処理部は，さらに，前記陳列什器画像情報のうち，上下方向または左右方向に隣接する画像同士を連結することで連結画像情報を生成する陳列什器画像情報連結処理部と，前記連結画像情報のうち，陳列什器の棚段位置を特定する陳列什器特定処理部と，前記連結画像情報と，あらかじめ登録している登録商品画像情報とをマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する商品特定処理部と，前記特定した商品の商品識別情報に基づいてその商品のフェイス数を特定するフェイス数特定処理部と，を有しており，前記商品特定処理部は，すでに処理をした連結画像情報がある場合には，前回の処理に用いた連結画像情報と，今回処理対象となる連結画像情報とを比較することで変化箇所を抽出し，変化箇所について，前記登録商品画像情報とマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する，商品陳列情報集計システムである。

本発明のように構成することで，商品の陳列状況を撮影した画像情報から，その商品が陳列什器のどの棚段にどの程度のフェイス数で表示されているのか，を客観的かつ容易に把握することができる。
また，商品の陳列状況を撮影した画像情報から商品とそのフェイス数の特定処理を実行することができる。
一般に画像マッチング処理はコンピュータにとって負荷がかかる処理であり，また時間も要する。本発明のような処理を実行することで，コンピュータに対する負荷を減らし，また処理時間を減らすことにもつなげることができる。

上述の発明において，前記中間フォーマット情報生成処理部は，前記陳列什器画像情報における陳列什器の種別を特定する陳列什器特定処理部，を有しており，前記インターフェイス生成処理部は，前記陳列什器の種別の情報に基づいて，その陳列什器のゴールデンラインにおける棚段位置がゴールデンラインであることの表示処理を，前記画面で行う，商品陳列情報集計システムのように構成することができる。

本発明のような処理を行うことで，商品がゴールデンラインにどれだけ陳列されているのかを把握することができる。これによって，営業担当者は，自らの担当する商品のゴールデンラインへの陳列状況を容易に把握できるので，担当する商品をゴールデンラインの棚段に置いてもらうよう，営業活動に結びつけることができる。

上述の発明において，前記商品特定処理部は，前記連結画像情報のうち，前記登録商品画像情報を用いた商品の商品識別情報の特定処理ができていない欠損箇所の商品について，商品識別情報の入力を受け付ける，商品陳列情報集計システムのように構成することができる。

商品識別情報は，必ずしもすべての商品について自動的に特定できるわけではない。そこで，欠損箇所については、本発明のように入力を受け付けることで，商品の特定の精度を上げることができる。

上述の発明において，前記商品特定処理部は，前記特定した商品が同一の陳列什器の同一の棚段で縦方向に重複する同一の商品識別情報があることを判定した場合には，縦方向への重複を除外する処理を実行する，商品陳列情報集計システムのように構成することができる。

陳列什器には，縦方向に同一の商品が陳列されていることがある。商品の陳列状況において重要なフェイス数は，横方向の陳列による露出数であるから，縦方向への陳列を特定したとしても，その特定はフェイス数の算出にあたって無駄となる。そこで，本発明のように構成することで，フェイス数の算出の際に，迅速に処理を実行することができる。

上述の発明において，前記中間フォーマット情報生成処理部は，さらに，前記連結画像情報から価格札の領域を特定してその領域における価格を読み取り，前記読み取った価格を，前記特定した商品の価格の情報として特定する価格特定処理部，を有する商品陳列情報集計システムのように構成することができる。

本発明のように構成することで，商品の陳列状況を撮影した画像情報から商品の価格の特定処理を実行することができる。

上述の発明において，前記価格特定処理部は，すでに処理をした連結画像情報がある場合には，前回の処理に用いた連結画像情報と，今回処理対象となる連結画像情報とを比較することで変化箇所を抽出し，変化箇所について，前記価格札の領域を特定してその領域における価格を読み取り，前記読み取った価格を，前記特定した商品の価格の情報として特定する，商品陳列情報集計システムのように構成することができる。

商品の特定処理と同様，画像情報から価格を特定する処理は，コンピュータにとって負荷がかかる処理であり，また時間も要する。本発明のような処理を実行することで，コンピュータに対する負荷を減らし，また処理時間を減らすことにもつなげることができる。

上述の発明において，前記価格特定処理部は，前記連結画像情報において特定できていない価格札の領域または価格がある場合には，その商品についての価格の情報の入力を受け付ける，商品陳列情報集計システムのように構成することができる。

必ずしもすべての商品の価格を自動的に特定できるわけではない。そこで，欠損箇所については、本発明のように入力を受け付けることで，商品の価格の特定の精度を上げることができる。

第１の発明の商品陳列情報集計システムは，以下のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，店舗における商品の陳列状態が撮影された陳列什器画像情報に基づいて，陳列什器に陳列している商品の商品識別情報と棚段位置とその商品のフェイス数の情報を生成する中間フォーマット情報生成処理部，前記生成した商品識別情報と棚段位置とフェイス数の情報とに基づいて，商品のフェイス数を棚段位置に応じて表示させる画面を生成するインターフェイス生成処理部，として機能させる商品陳列情報集計プログラムであって，前記中間フォーマット情報生成処理部は，さらに，前記陳列什器画像情報のうち，上下方向または左右方向に隣接する画像同士を連結することで連結画像情報を生成する陳列什器画像情報連結処理部と，前記連結画像情報のうち，陳列什器の棚段位置を特定する陳列什器特定処理部と，前記連結画像情報と，あらかじめ登録している登録商品画像情報とをマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する商品特定処理部と，前記特定した商品の商品識別情報に基づいてその商品のフェイス数を特定するフェイス数特定処理部と，を有しており，前記商品特定処理部は，すでに処理をした連結画像情報がある場合には，前回の処理に用いた連結画像情報と，今回処理対象となる連結画像情報とを比較することで変化箇所を抽出し，変化箇所について，前記登録商品画像情報とマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する，商品陳列情報集計プログラムである。

本発明の商品陳列情報集計システムによって，商品の陳列状況を客観的，かつ容易に把握することができる。また，商品や価格が自動的に特定できない場合であっても，処理を可能とすることができる。

本発明の商品陳列状況集計システムの全体のシステム構成の一例を模式的に示す概念図である。 本発明の商品陳列情報集計システムにおける中間フォーマット生成処理部におけるシステム構成の一例を模式的に示す概念図である。 コンピュータのハードウェア構成の一例を模式的に示す図である。 陳列什器画像情報の登録処理の一例を模式的に示すフローチャートである。 中間フォーマット情報生成処理の一例を模式的に示すフローチャートである。 商品特定処理の一例を模式的に示すフローチャートである。 フェイス数特定処理の一例を模式的に示すフローチャートである。 価格特定処理の一例を模式的に示すフローチャートである。 変化箇所に対する商品特定処理の一例を模式的に示すフローチャートである。 変化箇所に対する価格特定処理の一例を模式的に示すフローチャートである。 中間フォーマット情報記憶部の一例を模式的に示す図である。 商品マスタ，店舗マスタの一例を模式的に示す図である。 商品のフェイス数を棚段の位置ごとに表示する画面の一例である。 システム利用者情報記憶部の一例を模式的に示す図である。 撮影した画像情報の一例を模式的に示す図である。 連結画像情報の一例を模式的に示す図である。 陳列什器の柱，棚段を特定した連結画像情報の一例を模式的に示す図である。 登録商品画像と連結画像情報との類似画像検索処理の一例を模式的に示す図である。 連結画像情報における各商品について，その商品識別情報，棚段数，位置情報を特定した場合の中間フォーマット情報の一例を模式的に示す図である。 図１９の中間フォーマット情報から，縦方向の重なりがある商品を削除した場合の中間フォーマット情報の一例を模式的に示す図である。 連結画像情報に，特定した商品を表示する場合の一例を模式的に示す図である。 欠損箇所の一例を模式的に示す図である。 特定したフェイス数を含む中間フォーマット情報の一例を模式的に示す図である。 商品の価格を含む中間フォーマット情報の一例を模式的に示す図である。 前回処理した連結画像情報との変化箇所の一例を模式的に示す図である。 中間フォーマット情報記憶部に記憶した中間フォーマット情報に基づいて，インターフェイス生成処理部が，システム利用者端末において，表示処理を行う場合の処理プロセスの一例を模式的に示すフローチャートである。 ログイン画面の一例を模式的に示す図である。 初期画面の一例を模式的に示す図である。 対象とする商品のフェイス数を棚段ごとに集計するサマリーテーブルの一例を模式的に示す図である。 商品ごとの平均売価，配荷店舗数などのサマリーテーブルの一例を模式的に示す図である。

本発明の商品陳列情報集計システム１の全体のシステム構成の一例を図１に示す。また，商品陳列情報集計システム１における，後述の中間フォーマット情報生成処理部２２の構成の一例の概念図を図２に示す。

商品陳列情報集計システム１は，そのシステムを運営する企業等の組織が利用するコンピュータである管理サーバ２において実現される。図３にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。

商品陳列情報集計システム１における管理サーバ２は，小売店などの店舗における商品の陳列状況を撮影する撮影者が利用するコンピュータであるアップロード端末３と，商品陳列情報集計システム１によって商品の陳列状況を把握することを所望するシステム利用者が利用するコンピュータであるシステム利用者端末４と，ネットワークを介して情報の送受信が可能である。

商品陳列情報集計システム１における管理サーバ２は，陳列什器画像情報受付処理部２０と陳列什器画像情報記憶部２１と中間フォーマット情報生成処理部２２と中間フォーマット情報記憶部２３とインターフェイス生成処理部２４とシステム利用者情報記憶部２５とを有する。

陳列什器画像情報受付処理部２０は，店舗において商品を陳列している陳列什器を撮影した画像情報（陳列什器画像情報）をアップロード端末３から受け付ける。ここで受け付ける陳列什器画像情報には，店舗識別情報（店舗名などの店舗を識別する情報）や日付情報と紐付けられていることが好ましい。すなわち，陳列什器画像情報を撮影した店舗の店舗識別情報や日付情報の入力をアップロード端末３で受け付け，それらの紐付けが行われていると良い。陳列什器画像情報は，通常，店舗ごとに撮影されるので，一つの店舗につき複数の陳列什器画像情報の入力を受け付けることが一般的であるが，一つの動画像や静止画像として入力を受け付けても良い。

陳列什器画像情報記憶部２１は，陳列什器画像情報受付処理部２０で受け付けた陳列什器画像情報を記憶する。

中間フォーマット情報生成処理部２２は，陳列什器画像情報記憶部２１に記憶する陳列什器画像情報に基づいて，陳列什器に陳列されている各商品の商品識別情報と，フェイス数と，価格とを特定し，中間フォーマット情報として，後述する中間フォーマット情報記憶部２３に記憶させる。中間フォーマット情報としては，上記のほかにも，店舗識別情報，陳列什器種別，棚段位置を含めることが好ましい。またその商品の売上金額を中間フォーマット情報として記憶させても良い。陳列什器種別とは，商品展示のための陳列什器の種類や展示位置，目的などに基づいて，陳列什器の種別を示す情報である。また棚段位置とは陳列什器において商品が置かれている棚の段数を示す情報である。商品識別情報とは商品名やＪＡＮコードなどの商品を識別する情報である。フェイス数とは，同一商品が同一の棚段にいくつ横方向に並んでいるか（横方向への露出数）を示す情報である。

中間フォーマット情報記憶部２３は，中間フォーマット情報生成処理部２２で生成した中間フォーマット情報を記憶する。図１１に中間フォーマット情報記憶部２３の一例を模式的に示す。なお，中間フォーマット情報は，任意に設定された単位期間（たとえば一週間，一月ごとなど）ごとに記憶されていることが好ましい。単位期間としては，各店舗の陳列什器を撮影する周期に対応していると良い。また中間フォーマット情報記憶部２３は，中間フォーマット情報を用いた処理を行うに当たり必要な商品マスタ，店舗マスタなどのテーブルに，各種の情報を記憶していても良い。商品マスタの一例を図１２（ａ）に，店舗マスタの一例を図１２（ｂ）に示す。商品マスタは商品識別情報と商品名との対応関係を記憶したテーブルであり，店舗マスタは店舗識別情報とエリア（地域）とチャネル（店舗の種類）とを記憶したテーブルである。

インターフェイス生成処理部２４は，中間フォーマット情報記憶部２３に記憶する中間フォーマット情報に基づいて，商品の陳列状況を表示するインターフェイスを生成し，システム利用者端末４で表示させる。この際に生成するインターフェイスとして，たとえば図１３に示す画面がある。

図１３の表示画面では，商品の陳列状況を表示する際に，特定の商品と，店舗の所在地域（エリア），店舗の種類（チャネル），陳列什器の種別，集計期間などに基づいて，陳列什器の棚段ごとのフェイス数を表示させた場合である。そしてゴールデンラインと呼ばれる商品の注目が集まりやすい棚段には，「（ＧＬ）」の表示がされ，そこがゴールデンラインであることが一見して認識できるように表示されている。

図１３の場合，フェイス数をＸ軸方向，陳列されている棚段をＹ軸方向として，該当する店舗数をヒートマップにより表示している。ヒートマップとは，店舗数に応じてそのマス目の背景色を変更することで，視覚的にデータを認識可能にした表示形態である。この場合，あらかじめ定められた閾値ごとに色が定められており，それぞれのマス目におけるデータと閾値とを比較して，対応する色が背景色となる。

たとえば図１３では，「ＡＢＣガム １４３グラム」の陳列状況について示している。この場合，棚段が７でありフェイス数が２の店舗が４８店舗あり，ゴールデンラインである棚段が１３で，フェイス数が１の店舗は１，フェイス数が２以上の店舗は０であることを示している。そのため，当該商品についてはゴールデンラインである棚段にはあまり設置されておらず，ゴールデンラインよりは若干，下の棚段に，２つまたは３つが横並びに陳列されている傾向にあることが理解可能である。したがって，システム利用者は，この画面を確認し，営業担当者などに対して陳列状況を伝え，営業担当者は店舗に対して，もう少し上の棚に設置するように店舗に対して営業活動を行うことができる。

このように，ゴールデンラインの棚段の表示と，該当する店舗数をヒートマップで表示することで，その商品の陳列状況を視覚的に容易に認識することが可能となる。

システム利用者情報記憶部２５は，システム利用者が本発明の商品陳列情報集計システム１を利用するにあたり必要な情報を記憶する。システム利用者情報記憶部２５の一例を図１４に示す。システム利用者情報記憶部２５には，たとえばシステム利用者の認証情報（システム利用者を識別するシステム利用者識別情報，パスワードなど），初期画面の設定，契約内容（フェイス数の表示対象とする商品のカテゴリーなどの情報）を記憶する。

中間フォーマット情報生成処理部２２は，陳列什器画像情報補正処理部２２０と陳列什器画像情報連結処理部２２１と登録陳列什器情報記憶部２２２と陳列什器特定処理部２２３と登録商品画像情報記憶部２２４と商品特定処理部２２５とフェイス数特定処理部２２６と価格特定処理部２２７とを有する。

陳列什器画像情報補正処理部２２０は，撮影された陳列什器画像情報に対して，レンズ歪み補正，台形補正などによる補正処理を行うことで，正面から撮影した画像となるような補正処理（正面画像化補正処理）を実行する。

陳列什器画像情報連結処理部２２１は，正面画像化補正処理を実行後の各陳列什器画像情報に対して，その画像の左右における類似点を特定し，画像を連結する処理を実行する。なお，通常，陳列什器は横方向に長いので左右の端部付近の類似点を特定することで各陳列什器画像情報を連結すれば良いが，陳列什器が縦方向に長く，縦方向の連結処理を行う必要がある場合には，上下の端部付近の類似点を特定することで陳列什器画像情報の連結処理を行っても良い。

登録陳列什器情報記憶部２２２は，店舗に設置されるであろう陳列什器の画像情報を，陳列什器の種別情報に対応づけて記憶している。また陳列什器の柱（切れ目）と棚段の位置の情報を，陳列什器の種別情報に対応づけて記憶していてもよい。

陳列什器特定処理部２２３は，陳列什器画像情報における陳列什器の柱（切れ目）と棚段を特定する。そして，特定した陳列什器の柱と棚段と，登録陳列什器情報記憶部２２２における陳列什器の柱と棚段の位置の情報とを比較することで，陳列什器画像情報における陳列什器の種別を特定する。なお，この際には処理対象となる陳列什器画像情報の陳列什器の柱，棚段の位置と，登録陳列什器情報記憶部２２２における陳列什器の画像情報の柱と棚段の位置との画像マッチングによりその同一性，類似性を判定することで，対応する陳列什器の種別を判定することができる。また画像マッチングによる方法のほかにも，処理対象となる陳列什器画像情報における特定した陳列什器の柱，棚段に基づいて，陳列什器の幅と棚段の間隔との比率を算出できるので，その比率と，登録陳列什器情報記憶部２２２に記憶する各種の陳列什器の幅と棚段の間隔との比率との同一性，類似性を比較することで，陳列什器の種別を特定しても良い。

登録商品画像情報記憶部２２４は，陳列什器に陳列されるであろう各種の商品の画像情報（登録商品画像情報）を記憶する。登録商品画像情報は，商品陳列情報集計システム１を利用することを希望するシステム利用者などがあらかじめ所定の方法で記憶させておけば良いが，それに限定されない。

商品特定処理部２２５は，登録商品画像情報記憶部２２４における各登録商品画像情報と，正面画像化補正処理を行った陳列什器画像情報とに基づいて，正面画像化補正処理後の陳列什器画像情報における商品識別情報を特定する。すなわち，陳列什器に陳列されている商品を特定する。

また商品特定処理部２２５は，同一の店舗の正面画像化補正処理後の陳列什器画像情報がすでにある場合には，前回撮影された正面画像化補正処理後の陳列什器画像情報と今回撮影した正面画像化補正処理後の陳列什器画像情報とを比較し，変化がない場合には，前回撮影した正面画像化補正処理後の陳列什器画像情報における商品と同一の商品として特定する。また，変化があることを判定した場合には，変化箇所の画像情報と，登録商品画像情報記憶部２２４に記憶する登録商品画像情報と比較することで，商品識別情報を特定する。一方，変化があることを判定した一方，商品画像情報記憶部との比較の結果，商品を特定できなかった場合には，商品名をクリアにし，欠損箇所として，欠損箇所の商品識別情報の入力を受け付ける。この場合，アップロード端末３から，担当者による入力を受け付けても良いし，それ以外のものが利用するコンピュータから入力を受け付けても良い。

フェイス数特定処理部２２６は，商品特定処理部２２５で特定した商品のうち，同一の棚段に同一の商品が並列して陳列されている個数を判定し，その個数をフェイス数として特定する。フェイス数はその商品の露出度合いを示すので，フェイス数が多ければ多いほど，消費者に対する商品の訴求効果が期待できる。そのため，営業担当者はフェイス数が多くなるように努力をするが，本発明のような処理を実行することで，フェイス数を特定できるので，営業担当者の支援につながる。

価格特定処理部２２７は，正面画像化補正処理を行った陳列什器画像情報に基づいて，陳列されている商品の価格を特定する。

また価格特定処理部２２７は，同一の店舗の正面画像化補正処理後の陳列什器画像情報がすでにある場合には，前回撮影された正面画像化補正処理後の陳列什器画像情報と今回撮影した正面画像化補正処理後の陳列什器画像とを比較し，変化がない場合には，前回撮影した正面画像化補正処理後の陳列什器画像情報における価格と同一の価格として特定する。また，変化があることを判定した場合には，変化箇所のうち価格札を特定し，それに基づいて価格を特定して更新する。一方，変化があることを判定した一方，価格を特定できなかった場合には，価格をクリアにし，欠損箇所として，欠損箇所の価格の入力を受け付ける。この場合，アップロード端末３から，担当者による入力を受け付けても良いし，それ以外のものが利用するコンピュータから入力を受け付けても良い。

次に本発明の商品陳列情報集計システム１の処理プロセスの一例を図４から図１０のフローチャートを用いて説明する。

まず商品陳列情報集計システム１を利用する場合には，定期的または不定期に店舗内の陳列什器を撮影者がカメラなどの撮像装置などを用いて撮影を行う（Ｓ１００）。この際に撮影した画像の一例を図１５（ａ）乃至図１５（ｃ）に示す。図１５では本発明の説明のため３枚の画像の場合を説明しているが，実際には，店舗内にある撮影対象となる陳列什器をすべて撮影する。

撮像装置で撮影した陳列什器画像情報（図１５（ａ）乃至（ｃ））に対して，撮影者は，店舗名（店舗識別情報）を入力し，それらをアップロード端末３で紐付けした上で（Ｓ１２０），管理サーバ２にアップロードする処理を実行する（Ｓ１２０）。アップロードされた図１５の各陳列什器画像情報は，陳列什器画像情報受付処理部２０で受け付ける。そして異常がなければ（Ｓ１３０），陳列什器画像情報受付処理部２０は，陳列什器画像情報記憶部２１に記憶させる。もし通信エラーや画像情報に何らかの異常があった場合には，陳列什器画像情報受付処理部２０は，アップロード端末３に対して，異常があった旨を通知し，再度の処理を促す。

以上のようにして撮影者が撮影した各陳列什器画像情報が管理サーバ２に記憶される。

つぎに，所定のタイミングにおいて，管理サーバ２の中間フォーマット情報生成処理部２２が中間フォーマット情報を生成し，中間フォーマット情報記憶部２３に記憶させる中間フォーマット情報生成処理を説明する。

まず処理対象とする店舗の店舗識別情報に基づいて，その店舗識別情報を有する陳列什器画像情報を陳列什器画像情報記憶部２１から抽出する（Ｓ２００）。この際に，複数の単位期間の陳列什器画像情報が記憶されている場合には，最新の単位期間の陳列什器画像情報を抽出することが好ましい。

陳列什器画像情報記憶部２１に記憶した陳列什器画像情報について，中間フォーマット生成処理部の陳列什器画像情報補正処理部２２０は，正面画像化の補正処理を実行する（Ｓ２１０）。具体的には陳列什器画像情報に対してレンズ歪み補正処理，台形補正処理を実行することで，正面画像化の補正処理を実行する。

そして補正処理後の陳列什器画像情報に対して，陳列什器画像情報連結処理部２２１は，各画像情報の右側所定範囲，左側所定範囲と，隣接する陳列什器画像情報の対応箇所（右側所定範囲に対して左側所定範囲，左側所定範囲に対して右側所定範囲）の一致点，類似点を特定し，それぞれの陳列什器画像情報を連結する処理を実行する（Ｓ２２０）。図１５（ａ）乃至（ｃ）の各陳列什器画像情報に対して正面画像化処理を実行後に，陳列什器画像連結処理部における各画像情報の連結処理を実行した結果を図１６に示す。図１６に示す連結した陳列什器画像情報を，連結画像情報とする。

そして，陳列什器特定処理部２２３は，各陳列什器の柱と棚段とを連結画像情報から特定する（Ｓ２３０）。この場合，陳列画像中の横方向（Ｘ軸方向），縦方向（Ｙ軸方向）に陳列什器の棚板や柱が連続している箇所（あるいは陳列什器の棚板や柱が連続していない箇所）を特定することで，柱と棚段を特定することができる。陳列什器の柱，棚段を特定した連結画像情報を図１７に示す。また，連結画像情報における陳列什器の柱に従って，陳列什器を識別する陳列什器識別情報を，連結画像情報における棚段に従って，陳列什器の棚段数の情報を，それぞれ付与する。

また，本発明の商品陳列情報集計システム１による，当該店舗における陳列什器画像情報に対する処理が初回の場合（Ｓ２４０），陳列什器特定処理部２２３は，登録陳列什器情報記憶部２２２に記憶する登録陳列什器情報（画像情報や，陳列什器の幅と棚段の比率など）と，陳列什器の柱，棚段を特定した連結画像情報とを比較することで，連結画像情報における陳列什器の種別を特定する。（Ｓ２５０）。

そして商品特定処理部２２５は，登録商品画像情報記憶部２２４に記憶する登録商品画像情報を用いて，連結画像情報に写っている商品（陳列什器に陳列されている商品）の商品識別情報を特定する処理を実行する（Ｓ２６０）。

商品特定処理としては，まず登録商品画像情報記憶部２２４に記憶する登録商品画像情報を抽出し，その登録商品画像情報と同一または類似する画像部分が連結画像情報に含まれているかを画像類似検索技術によりマッチング処理をする（Ｓ４００）。この場合，陳列什器ごと，棚段ごとに処理を行うことが好ましい。すなわち，図１８に示すように，所定位置の陳列什器（図１８では左端の陳列什器）の所定の棚段（図１８では最下段）から，登録商品画像情報に記憶する登録商品画像情報を随時，その棚段の範囲でマッチング処理を行う。そうすると，合致した商品画像情報がある場合には，その登録商品画像情報の商品識別情報と棚段数と位置情報（連結画像情報におけるＸ座標，Ｙ座標）とを特定する（Ｓ４１０）。そしてその棚段に対して，すべての登録商品画像情報とのマッチング処理が終了すると（Ｓ４２０），つぎの棚段（図１８では下から２段目）について，Ｓ４００およびＳ４１０の処理を同様に実行する。以上の処理を，同一の陳列什器のすべての棚段について実行し，すべての棚段について処理を終了すると，隣接する陳列什器の所定の棚段から同様の処理を実行する（Ｓ４３０）。

以上のような処理を連結画像情報におけるすべての陳列什器について処理を実行する（Ｓ４４０）。

以上のようにしてすべての陳列什器のすべての棚段についてＳ４００およびＳ４１０の処理を実行すると，連結画像情報におけるすべての陳列什器のすべての棚段に陳列されている各商品について，その商品識別情報，棚段数，位置情報を特定することができる。これを模式的に示すのが図１９である。

つぎに，商品特定処理部２２５は，Ｓ４００乃至Ｓ４４０の処理結果に基づき，同一の陳列什器の同一の棚段で縦方向に重複する同一の商品識別情報があるかを判定する（Ｓ４５０）。すなわち，同一の商品が縦方向に重なっている場合を除外する処理を実行する。この処理によって，たとえば図１７の陳列什器１の１段目には，同じ商品であるガムが縦方向に複数陳列されているが，この場合にはフェイス数は１としてカウントされなければならない。しかし画像類似検索技術を用いると，図１７の陳列什器１の１段目の同一商品のガムについて複数の陳列を特定してしまう可能性がある。そこで，かかる状況を除外するため，Ｓ４５０により縦方向への陳列を除外する処理を実行することとなる。

すなわち，図１９の場合，陳列什器１における商品識別情報「１１１１１」は，棚段１に位置（４，３０），（４，３２）にそれぞれ特定されている。しかしいずれも棚段１におけるものであり，Ｘ軸が同一または所定範囲（任意に設定可能である）であり，かつＹ軸が任意に設定した所定値以上異なることから，縦方向に陳列されている同一商品であると判定できる。したがって，いずれか一方を削除などにより処理対象から除外する。この処理を行った状態が図２０である。

以上のように縦方向に陳列されている商品を処理対象から除外すると，連結画像情報に，特定した商品を，管理サーバ２などの担当者が利用するコンピュータ上に表示させる（Ｓ４６０）。この場合，特定した商品の位置情報に基づいて，所定の記号，図２１では四角の記号により特定した商品を表示している。

図２１では四角の記号がある商品は商品特定処理部２２５で自動的に特定した商品を示しているが，商品の置かれている向き，位置，光の具合，明るさなどによって，実際には商品が陳列されているにもかかわらず，その商品の商品識別情報を特定できていない場合がある。図２２に欠損箇所の一例を模式的に示す。この欠損箇所があるかを担当者は確認した後，欠損箇所がある場合には（Ｓ４７０），当該コンピュータを利用して欠損箇所となっている商品を指定し，その商品識別情報を入力する。そして商品特定処理部２２５は，当該コンピュータで入力された商品識別情報の入力を受け付け（Ｓ４８０），また位置情報に基づいて，陳列什器，棚段数などを特定して記憶させる。

そして商品特定処理部２２５は，Ｓ４６０で特定した商品識別情報，Ｓ４８０で入力を受け付けた商品識別情報を中間フォーマット情報の一つとして中間フォーマット情報記憶部２３に記憶させる（Ｓ４９０）。

以上のような処理により，連結画像情報における商品特定処理を実行後，フェイス数特定処理部２２６におけるフェイス数特定処理を実行する（Ｓ２７０）。

フェイス数特定処理部２２６は，商品特定処理で特定した商品について，各陳列什器の棚段ごとに，同一の商品識別情報を有する商品が並列して陳列されている個数を判定する。すなわち，陳列什器ごとに，処理対象となる棚段を特定し（Ｓ５００），同一の棚段の横方向の同一の商品の数をカウントする（Ｓ５１０）。横方向にあるか同一の商品があるかは，商品識別情報，棚段数，位置情報に基づいて判定できる。たとえば図２０の場合，陳列什器１および陳列什器Ｎに陳列されている商品のフェイス数はいずれも「１」であるが，陳列什器２の棚段１の商品識別情報「２２２２３」は，位置情報から並列して陳列されていると判定できる。したがってフェイス数を「２」と判定する。

そしてフェイス数特定処理部２２６は，図２０の場合には，商品識別情報「２２２２３」のフェイス数は「２」，それ以外の商品のフェイス数は「１」として中間フォーマット情報記憶部２３に記憶させる。この状態を模式的に示すのが図２３である。

つぎに価格特定処理部２２７は，連結画像情報に基づいて，各商品の価格を特定する価格特定処理を実行する（Ｓ２８０）。

価格特定処理部２２７は，連結画像情報から価格札の領域を特定し，それを抽出する（Ｓ６００）。価格札は所定の矩形状であることが一般的であり，また陳列什器の棚段に取り付けられていることが一般的であるので，棚段にある矩形状の領域を特定すれば良い。なおこの際に，特定した価格札の領域の位置情報も特定する。

そして価格札の領域の価格を読み取り（Ｓ６１０），読み取った価格の情報を，対応する商品の価格の情報とする。また，以上のように価格特定処理部２２７において，価格札の領域を特定すると，連結画像情報に，特定した価格札の領域を，管理サーバ２などの担当者が利用するコンピュータ上に表示させる（Ｓ６２０）。この場合，特定した価格札の位置情報に基づいて，所定の記号により特定した価格札の領域を表示する。

商品特定処理部２２５における商品特定の処理と同様，価格札の置かれている向き，位置，光の具合，明るさなどによって，実際には価格札があるにもかかわらず，その価格札の領域を特定できていない場合がある。この欠損箇所があるかを担当者は確認した後，欠損箇所がある場合には（Ｓ６３０），担当者はそのコンピュータを利用して欠損箇所となっている価格札の領域を指定し，その価格を入力する。そして価格特定処理部２２７は，当該コンピュータで入力された価格の入力を受け付け（Ｓ６４０），また位置情報に基づいて，陳列什器，棚段数などを特定して記憶させる。

そして特定した価格札の領域の位置情報と，商品特定処理部２２５で特定したその棚段にある商品の位置情報とに基づいて，当該価格札に対応する商品を特定する（Ｓ６５０）。すなわち，価格札の領域の位置情報にもっとも近接している商品の位置情報を特定し，特定した商品を当該価格札に対応する商品として特定する。

そして価格特定処理部２２７は，Ｓ６１０で特定した価格，Ｓ６４０で入力を受け付けた価格を中間フォーマット情報の一つとして中間フォーマット情報記憶部２３に記憶させる（Ｓ６６０）。

以上のような処理により，価格特定処理部２２７は陳列されている商品の価格を特定し，中間フォーマット情報として中間フォーマット情報記憶部２３に記憶させることができる。この処理が行われた一例が図２４である。

以上のように，商品特定処理部２２５，フェイス数特定処理部２２６，価格特定処理部２２７における各処理を実行することで，中間フォーマット情報として中間フォーマット情報記憶部２３に記憶させる。

なお，中間フォーマット情報生成処理部２２は，中間フォーマット情報として，上記のほかにも，当該店舗に設置されているＰＯＳシステムからＰＯＳデータに基づく各商品の売上金額の情報などを取得することで，商品ごとの売上金額の情報を記憶しても良い。また，撮影日時の情報を記憶させても良い。

また，価格特定処理部２２７における価格特定処理は，商品特定処理部２２５における商品特定処理と，フェイス数特定処理部２２６におけるフェイス数特定処理のいずれの前後において実行しても良い。

Ｓ２４０において，本発明の商品陳列情報集計システム１による，当該店舗における陳列什器画像情報に対する処理が初回ではない場合，以下の処理を実行する。

まず，Ｓ２３０において，陳列什器画像情報で特定した陳列什器の柱，棚段に基づいて，今回の陳列什器画像情報における陳列什器や棚段と，前回の処理の陳列什器画像情報における陳列什器や棚段との対応関係を特定する（Ｓ２９０）。そして，Ｓ２２０において陳列什器画像情報連結処理部２２１が生成した連結画像情報と，前回の処理の際に陳列什器画像情報連結処理部２２１が生成した連結画像情報とを比較し，変化箇所を抽出する（Ｓ３００）。この際には，同じ棚段画像同士の対応箇所を同定した後，画像上の変化量が所定範囲の閾値外であるかどうかから変化箇所を特定する。具体的には，棚段の画像の左右の両端点を合わせ，画像撮影の際のカメラ位置の変化による画像の歪や，商品の陳列位置および商品の角度のゆらぎを許容するために，たとえば一定範囲（たとえば１０％）までの上下左右の画像の伸縮を許すという条件下で，画像内のよく一致する対応点を特定した後、局所的に（たとえば２０ピクセル四方以上の面積で）一致度が８０％を切る領域を変化箇所と判定する。前回の処理の連結画像情報との比較の結果，たとえば，図２５のように変化箇所を抽出する。比較の際には，照明の変化などを補正するために，事前に画像全体のコントラストや色温度の調整を行うことで判定精度を高める。

連結画像情報における変化していない箇所にある商品，価格札の価格については，前回の処理の際に生成した中間フォーマット情報である商品識別情報，位置，価格として特定する（Ｓ３１０）。

一方，変化箇所として抽出した箇所については，変化箇所に対する商品特定処理を商品特定処理部２２５が実行する（Ｓ３２０）。すなわち，商品特定処理部２２５は，登録商品画像情報記憶部２２４に記憶する登録商品画像情報を抽出し，その登録商品画像情報と同一または類似する画像部分が連結画像情報における変化箇所に含まれているかを画像類似検索技術によりマッチング処理をする（Ｓ７００）。そして合致した商品画像情報がある場合には，その登録商品画像情報の商品識別情報と棚段数と位置情報とを特定する（Ｓ７１０）。

この処理を一つの変化箇所に対してすべての登録商品画像情報記憶部２２４に記憶する登録商品画像情報について処理を実行すると（Ｓ７２０），つぎの変化箇所に対して同様の処理を実行する（Ｓ７３０）。そして，すべての変化箇所について処理を実行すると，Ｓ４５０と同様に，同一の陳列什器の同一の棚段で縦方向に重複する同一の商品識別情報があるかを判定する（Ｓ７４０）。

そして縦方向に陳列されている商品を処理対象から除外すると，Ｓ４６０と同様に，連結画像情報に，特定した商品を，管理サーバ２などの担当者が利用するコンピュータ上に表示させる（Ｓ７５０）。そして，変化箇所に対する欠損箇所があった場合には（Ｓ７６０），Ｓ４８０と同様に，担当者はそのコンピュータを利用して欠損箇所となっている商品を指定し，その商品識別情報を入力する。そして商品特定処理部２２５は，当該コンピュータで入力された商品識別情報の入力を受け付け（Ｓ７７０），また位置情報に基づいて，陳列什器，棚段数などを特定して記憶させる。

そして商品特定処理部２２５は，Ｓ７１０で特定した商品識別情報，Ｓ７７０で入力を受け付けた商品識別情報を中間フォーマット情報の一つとして中間フォーマット情報記憶部２３に記憶させる（Ｓ４９０）。

以上のような処理により，連結画像情報における商品特定処理を実行後，フェイス数特定処理部２２６におけるフェイス数特定処理を実行する（Ｓ３３０）。なお，フェイス数特定処理部２２６におけるフェイス数特定処理は，Ｓ５００とＳ５２０と同様なので説明を省略する。

そしてフェイス数の特定処理の終了後，Ｓ２９０で抽出した連結画像情報における変化箇所について，価格特定処理部２２７による価格特定処理を実行する（Ｓ３４０）。

すなわち，価格特定処理部２２７は，連結画像情報の変更箇所から価格札の領域を特定し，それを抽出する（Ｓ８００）。この際に，特定した価格札の領域の位置情報も特定する。

そして価格札の領域の価格を読み取り（Ｓ８１０），読み取った価格の情報を，対応する商品の価格の情報とする。また，以上のように価格特定処理部２２７において変更箇所における価格札の領域を特定すると，連結画像情報に，特定した価格札の領域を，管理サーバ２などの担当者が利用するコンピュータ上に表示させる（Ｓ８２０）。この場合，特定した価格札の位置情報に基づいて，所定の記号により特定した価格札の領域を表示する。

そして，変化箇所に対する欠損箇所があった場合には（Ｓ８３０），担当者はそのコンピュータを利用して欠損箇所となっている価格札の領域を指定し，その価格を入力する。そして価格特定処理部２２７は，当該コンピュータで入力された価格の入力を受け付け（Ｓ８４０），また位置情報に基づいて，陳列什器，棚段数などを特定して記憶させる。

そして特定した価格札の領域の位置情報と，商品特定処理部２２５で特定したその棚段にある商品の位置情報とに基づいて，当該価格札に対応する商品を特定する（Ｓ８５０）。

そして価格特定処理部２２７は，Ｓ８１０で特定した価格，Ｓ８４０で入力を受け付けた価格を中間フォーマット情報の一つとして中間フォーマット情報記憶部２３に記憶させる（Ｓ８６０）。

以上のような処理により，価格特定処理部２２７は陳列されている商品の価格を特定し，中間フォーマット情報として中間フォーマット情報記憶部２３に記憶させることができる。

つぎに中間フォーマット情報記憶部２３に記憶した中間フォーマット情報に基づいて，インターフェイス生成処理部２４が，システム利用者端末４において，表示処理を行う場合を説明する。この場合の処理プロセスの一例を図２６のフローチャートに示す。

インターフェイス生成処理部２４は，中間フォーマット情報記憶部２３に記憶した中間フォーマット情報に基づいて，図１３に示すようなフェイス数の表示画面を生成し，システム利用者端末４に送信する。具体的には，インターフェイス生成処理部２４は，システム利用者端末４から，所定の操作を受け付けることで，情報表示画面へのログイン要求を受け付ける。これによって，インターフェイス生成処理部２４は，図２７に示すログイン画面をシステム利用者端末４に表示させる。

図２７に示すログイン画面では，ログインＩＤ，パスワードなどの認証情報の入力を受け付け，システム利用者情報記憶部２５で記憶しているシステム利用者の認証情報と比較することで認証処理を実行する（Ｓ９００）。そして正常に認証処理が行えた場合，図２８に示すような初期画面としてあらかじめ設定された画面を生成し，表示させる（Ｓ９１０）。

図２８では，初期画面として，商品カテゴリーごとのフェイス数の単位期間あたりのランキングの表示画面である。初期画面としてどのような画面を表示するかは，システム利用者端末４からの設定操作を受け付けることで任意に可能である。すなわち，どのような画面を表示するかを設定しておけば，その設定にしたがってインターフェイス生成処理部２４が画面を生成し，表示処理を実行する。

たとえば，初期画面が商品カテゴリーごとのフェイス数の単位期間あたりのランキングの表示の場合，システム利用者情報記憶部２５に記憶する契約内容に基づいて，契約対象となっている商品のカテゴリーを特定する。そして該当するカテゴリーに属する商品ごとのフェイス数を中間フォーマット情報記憶部２３から抽出する。すなわち，契約カテゴリーが「キャンディ・キャラメル」であった場合，そのカテゴリーに属する商品を特定する。商品の特定は，たとえば登録商品画像情報記憶部２２４に，その商品ごとのカテゴリーを合わせて記憶しておき，それをインターフェイス生成処理部２４が参照することで特定しても良いし，カテゴリーと商品識別情報との対応関係を記憶した記憶部を用意しておき，その記憶部を参照しても良い。またこれ以外の方法によっても良い。

そしてカテゴリーに属する商品の特定後，インターフェイス生成処理部２４は中間フォーマット情報記憶部２３を参照することで，対象となるカテゴリーに属する商品のフェイス数を抽出する。この際には，単位期間，たとえば１週間であれば直近の１週間の分の各店舗の商品ごとのフェイス数を抽出する。

つぎに，図２８の初期画面などの表示画面において，「棚位置・棚内フェイス数」の選択を受け付けることで，インターフェイス生成処理部２４は，中間フォーマット情報記憶部２３を参照することで，商品ごとのフェイス数を抽出し，表示する（Ｓ９２０）。具体的には，「陳列位置」の選択を受け付けると，図１３に示す画面から，対象とする商品，対象とする店舗が存在するエリア（地域），店舗の形態，フェイス数の対象となる陳列什器の種別，集計期間の指定を受け付ける。そして，「帳票表示」の選択を受け付けることで，インターフェイス生成処理部２４は，中間フォーマット情報記憶部２３に記憶する中間フォーマット情報と，店舗マスタとを用いて，選択されたエリアと店舗の形態に基づいて，対象となる店舗を店舗識別情報から特定する。特定した店舗識別情報を有する店舗についての中間フォーマット情報から，集計期間内における単位期間ごとの中間フォーマット情報を絞り込み，さらに陳列什器種別情報に基づいて，対象となる陳列什器を絞り込む。そして絞り込まれたデータのうち，商品マスタを用いて，対象となる商品の商品識別情報についてのフェイス数を棚段位置の情報に基づいて，棚段ごとに集計するサマリーテーブルを図２９に示すように生成する。そしてこのテーブルに基づいて，表示を行う。この際に，陳列什器の種別が特定できているので，その種別ごとのゴールデンラインの表示をあわせて行う。以上のような処理をインターフェイス生成処理部２４が中間フォーマット情報記憶部２３に記憶する中間フォーマット情報を用いて実行することで，図１３に示すように，棚段ごとのフェイス数の表示，およびゴールデンラインの表示を行わせることが可能となる。

通常，ゴールデンラインは，商品の購入者の視線の高さに相当する棚段の位置が該当するので，陳列什器の種別によって定まる。そのため，ゴールデンラインの情報は，陳列什器の種別ごとに記憶していても良い。ゴールデンラインの情報は，登録陳列什器情報記憶部２２２に陳列什器の種別ごとに記憶していても良いし，陳列什器の種別とゴールデンラインの情報とを記憶する記憶部を備えていてもよい。そして，インターフェイス生成処理部２４における画面の表示処理の際に，それらの記憶部を参照することでゴールデンラインの表示を行っても良い。

また，たとえば子供向け商品，高齢者向け商品の場合には，成人よりも身長が低いことが多く，ゴールデンラインが成人に対する商品よりも低いことがある。そのような場合には，陳列什器ごとに固定化したゴールデンラインではなく，商品ごとに，陳列什器の種類に応じたゴールデンラインを記憶する記憶部を備えておき，インターフェイス生成処理部２４における画面の表示処理の際に，その記憶部を参照することで，ゴールデンラインの表示を行っても良い。すなわち当該記憶部には，商品識別情報と陳列什器の種別情報とゴールデンラインの棚段とを対応づけて記憶しておき，インターフェイス生成処理部２４において，商品識別情報と陳列什器の種別情報とゴールデンラインの棚段の情報に基づいて，ゴールデンラインの表示を行えば良い。

インターフェイス生成処理部２４は，上記のように，「棚位置・棚内フェイス数」のほかにも，中間フォーマット情報記憶部２３に記憶する中間フォーマット情報に基づいて，商品ごとの平均売価，配荷店舗数などのサマリーテーブルを生成することで，それぞれの表示を行うことができる。図３０（ａ）に平均売価のサマリーテーブルの一例を，図３０（ｂ）に配荷店舗数のサマリーテーブルの一例を模式的に示す。

以上のように，中間フォーマット情報記憶部２３に記憶する中間フォーマット情報を用いて，インターフェイス生成処理部２４がインターフェイスの生成処理を実行することで，その都度，必要なサマリーテーブルを生成し，それに基づいて画面の表示処理を行うことが可能となる。

本発明における商品陳列情報集計システム１によって，商品の陳列状況を客観的，かつ容易に把握することができる。また，商品や価格が自動的に特定できない場合であっても，処理を可能とすることができる。

１：商品陳列情報集計システム
２：管理サーバ
３：アップロード端末
４：システム利用者端末
２０：陳列什器画像情報受付処理部
２１：陳列什器画像情報記憶部
２２：中間フォーマット情報生成処理部
２３：中間フォーマット情報記憶部
２４：インターフェイス生成処理部
２５：システム利用者情報記憶部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
２２０：陳列什器画像情報補正処理部
２２１：陳列什器画像情報連結処理部
２２２：登録陳列什器情報記憶部
２２３：陳列什器特定処理部
２２４：登録商品画像情報記憶部
２２５：商品特定処理部
２２６：フェイス数特定処理部
２２７：価格特定処理部

Claims (12)

1. 商品の陳列状態を集計する商品陳列情報集計システムであって，
   店舗における商品の陳列状態が撮影された陳列什器画像情報に基づいて，陳列什器に陳列している商品の商品識別情報と棚段位置とその商品のフェイス数の情報を生成する中間フォーマット情報生成処理部と，
   前記生成した商品識別情報と棚段位置とフェイス数の情報とに基づいて，商品のフェイス数を棚段位置に応じて表示させる画面を生成するインターフェイス生成処理部と，を有しており，
   前記中間フォーマット情報生成処理部は，さらに，
   前記陳列什器画像情報のうち，上下方向または左右方向に隣接する画像同士を連結することで連結画像情報を生成する陳列什器画像情報連結処理部と，
   前記連結画像情報のうち，陳列什器の棚段位置を特定する陳列什器特定処理部と，
   前記連結画像情報と，あらかじめ登録している登録商品画像情報とをマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する商品特定処理部と，
   前記特定した商品の商品識別情報に基づいてその商品のフェイス数を特定するフェイス数特定処理部と，を有しており，
   前記商品特定処理部は，
   すでに処理をした連結画像情報がある場合には，前回の処理に用いた連結画像情報と，今回処理対象となる連結画像情報とを比較することで変化箇所を抽出し，
   変化箇所について，前記登録商品画像情報とマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する，
   ことを特徴とする商品陳列情報集計システム。
2. 前記陳列什器特定処理部は，
   前記陳列什器画像情報における陳列什器の種別を特定し，
   前記インターフェイス生成処理部は，
   前記陳列什器の種別の情報に基づいて，その陳列什器のゴールデンラインにおける棚段位置がゴールデンラインであることの表示処理を，前記画面で行う，
   ことを特徴とする請求項１に記載の商品陳列情報集計システム。
3. 前記商品特定処理部は，
   前記連結画像情報のうち，前記登録商品画像情報を用いた商品の商品識別情報の特定処理ができていない欠損箇所の商品について，商品識別情報の入力を受け付ける，
   ことを特徴とする請求項１または請求項２に記載の商品陳列情報集計システム。
4. 前記商品特定処理部は，
   前記特定した商品が同一の陳列什器の同一の棚段で縦方向に重複する同一の商品識別情報があることを判定した場合には，縦方向への重複を除外する処理を実行する，
   ことを特徴とする請求項１から請求項３のいずれかに記載の商品陳列情報集計システム。
5. 前記中間フォーマット情報生成処理部は，さらに，
   前記連結画像情報から価格札の領域を特定してその領域における価格を読み取り，前記読み取った価格を，前記特定した商品の価格の情報として特定する価格特定処理部，
   を有することを特徴とする請求項１から請求項４のいずれかに記載の商品陳列情報集計システム。
6. 前記価格特定処理部は，
   すでに処理をした連結画像情報がある場合には，前回の処理に用いた連結画像情報と，今回処理対象となる連結画像情報とを比較することで変化箇所を抽出し，
   変化箇所について，前記価格札の領域を特定してその領域における価格を読み取り，前記読み取った価格を，前記特定した商品の価格の情報として特定する，
   ことを特徴とする請求項５に記載の商品陳列情報集計システム。
7. 前記価格特定処理部は，
   前記連結画像情報において特定できていない価格札の領域または価格がある場合には，その商品についての価格の情報の入力を受け付ける，
   ことを特徴とする請求項５または請求項６に記載の商品陳列情報集計システム。
8. 店舗における商品の陳列状態が撮影された画像情報と，あらかじめ登録している登録商品画像情報とをマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する商品特定処理部と，
   前記特定した商品の商品識別情報に基づいてその商品のフェイス数を特定するフェイス数特定処理部と，を有しており，
   前記商品特定処理部は，
   すでに処理をした画像情報がある場合には，前回の処理に用いた画像情報と，今回処理対象となる画像情報とを比較することで変化箇所を抽出し，
   変化箇所について，前記登録商品画像情報とマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する，
   ことを特徴とするコンピュータシステム。
9. 店舗における商品の陳列状態が撮影された陳列什器画像情報のうち，上下方向または左右方向に隣接する画像同士を連結することで連結画像情報を生成する陳列什器画像情報連結処理部と，
   前記連結画像情報と，あらかじめ登録している登録商品画像情報とをマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する商品特定処理部と，
   前記特定した商品の商品識別情報に基づいてその商品のフェイス数を特定するフェイス数特定処理部と，
   前記特定した商品識別情報とフェイス数の情報とに基づいて，商品のフェイス数を表示させる画面を生成するインターフェイス生成処理部と，を有しており，
   前記商品特定処理部は，
   すでに処理をした連結画像情報がある場合には，前回の処理に用いた連結画像情報と，今回処理対象となる連結画像情報とを比較することで変化箇所を抽出し，
   変化箇所について，前記登録商品画像情報とマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する，
   ことを特徴とするコンピュータシステム。
10. コンピュータを，
    店舗における商品の陳列状態が撮影された陳列什器画像情報に基づいて，陳列什器に陳列している商品の商品識別情報と棚段位置とその商品のフェイス数の情報を生成する中間フォーマット情報生成処理部，
    前記生成した商品識別情報と棚段位置とフェイス数の情報とに基づいて，商品のフェイス数を棚段位置に応じて表示させる画面を生成するインターフェイス生成処理部，
    として機能させる商品陳列情報集計プログラムであって，
    前記中間フォーマット情報生成処理部は，さらに，
    前記陳列什器画像情報のうち，上下方向または左右方向に隣接する画像同士を連結することで連結画像情報を生成する陳列什器画像情報連結処理部と，
    前記連結画像情報のうち，陳列什器の棚段位置を特定する陳列什器特定処理部と，
    前記連結画像情報と，あらかじめ登録している登録商品画像情報とをマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する商品特定処理部と，
    前記特定した商品の商品識別情報に基づいてその商品のフェイス数を特定するフェイス数特定処理部と，を有しており，
    前記商品特定処理部は，
    すでに処理をした連結画像情報がある場合には，前回の処理に用いた連結画像情報と，今回処理対象となる連結画像情報とを比較することで変化箇所を抽出し，
    変化箇所について，前記登録商品画像情報とマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する，
    ことを特徴とする商品陳列情報集計プログラム。
11. コンピュータを，
    店舗における商品の陳列状態が撮影された画像情報と，あらかじめ登録している登録商品画像情報とをマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する商品特定処理部，
    前記特定した商品の商品識別情報に基づいてその商品のフェイス数を特定するフェイス数特定処理部，として機能させるコンピュータプログラムであって，
    前記商品特定処理部は，
    すでに処理をした画像情報がある場合には，前回の処理に用いた画像情報と，今回処理対象となる画像情報とを比較することで変化箇所を抽出し，
    変化箇所について，前記登録商品画像情報とマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する，
    ことを特徴とするコンピュータプログラム。
12. コンピュータを，
    店舗における商品の陳列状態が撮影された陳列什器画像情報のうち，上下方向または左右方向に隣接する画像同士を連結することで連結画像情報を生成する陳列什器画像情報連結処理部，
    前記連結画像情報と，あらかじめ登録している登録商品画像情報とをマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する商品特定処理部，
    前記特定した商品の商品識別情報に基づいてその商品のフェイス数を特定するフェイス数特定処理部，
    前記特定した商品識別情報とフェイス数の情報とに基づいて，商品のフェイス数を表示させる画面を生成するインターフェイス生成処理部，として機能させるコンピュータプログラムであって，
    前記商品特定処理部は，
    すでに処理をした連結画像情報がある場合には，前回の処理に用いた連結画像情報と，今回処理対象となる連結画像情報とを比較することで変化箇所を抽出し，
    変化箇所について，前記登録商品画像情報とマッチングすることで，陳列什器に陳列されている商品の商品識別情報を特定する，
    ことを特徴とするコンピュータプログラム。

Images