JPWO2014087725A1 - 商品情報処理装置、そのデータ処理方法、およびプログラム - Google Patents

Abstract

商品情報処理装置（１００）は、商品の陳列状態を撮像した画像から、少なくとも１種類の特定商品を抽出する商品抽出部（１０２）と、抽出された少なくとも１種類の特定商品と、他の商品との陳列関係を特定する陳列関係特定部（１０４）と、を備える。

Description

本発明は、商品情報処理装置、そのデータ処理方法、およびプログラムに関し、特に、商品陳列棚のフェイスに関する情報を処理する商品情報処理装置、そのデータ処理方法、およびプログラムに関する。

商品陳列棚におけるフェイスアップの出来映えを数値で定量的に表現する技術の一例が特許文献１に記載されている。特許文献１のシステムは、陳列棚画像中で、商品存在領域と商品不存在領域を識別し、境界線を抽出する。

また、特許文献２には、自動販売機のフェイス画像を撮影し、画像解析した結果（コラムＮｏ、商品コード、売価、Ｈ／Ｃ区分を解析）と自動販売機の設置データ（コラムＮｏ、売価、Ｈ／Ｃ区分）とを比較判定し、自動販売機のフェイス表示通りに設定されていないときに通知するシステムが記載されている。

また、特許文献３には、商品の陳列状態を撮像した画像から、商品陳列パターンを生成し、基準となる陳列パターンと比較し、陳列の乱れを検知するシステムが記載されている。

特開２００６−５９０３８号公報 特開２０１２−７３７３８号公報 特開２００３−２３０１３１号公報

上述した技術を用いれば、商品陳列棚を撮影した撮影画像から各商品を特定し、各商品の配置を特定することはできるかもしれない。しかしながら、管理対象とすべき特定商品と、それ以外の商品とを区別し、当該特定商品が他の商品を含む全陳列状態の中でどのような態様で陳列されているのかといった陳列関係を把握することはできなかった。

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、店舗の商品陳列棚における特定商品と他の商品との陳列関係を効率よく把握できる商品情報処理装置、そのデータ処理方法、およびプログラムを提供することにある。

本発明の商品情報処理装置は、
商品の陳列状態を撮像した画像から、少なくとも１種類の特定商品を抽出する商品抽出手段と、
抽出された少なくとも１種類の前記特定商品と、他の商品との陳列関係を特定する陳列関係特定手段と、を備える。

本発明の商品情報処理装置のデータ処理方法は、
商品情報処理装置が、
商品の陳列状態を撮像した画像から、少なくとも１種類の特定商品を抽出し、
抽出された少なくとも１種類の前記特定商品と、他の商品との陳列関係を特定するデータ処理方法である。

本発明のコンピュータプログラムは、
商品情報処理装置を実現するコンピュータに、
商品の陳列状態を撮像した画像から、少なくとも１種類の特定商品を抽出する手順、
抽出された少なくとも１種類の前記特定商品と、他の商品との陳列関係を特定する手順、を実行させるためのプログラムである。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

また、本発明のデータ処理方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明のデータ処理方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。

さらに、本発明のデータ処理方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。

本発明によれば、店舗の商品陳列棚における特定商品と他の商品との陳列関係を効率よく把握できる商品情報処理装置、そのデータ処理方法、およびプログラムが提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本発明の実施の形態に係る商品情報処理装置の構成を示す機能ブロック図である。 本発明の実施の形態に係る商品情報処理装置を用いた商品情報処理システムの構成例を示すブロック図である。 本発明の実施の形態に係る商品情報処理装置の利用シーンを説明するための図である。 本発明の実施の形態に係る商品情報処理装置の具体的な構成例を示す機能ブロック図である。 本実施形態の画像認識装置の特徴量データベースの構造の一例を説明するための図である。 本実施形態の商品データベースに保持される商品マスタの構造の一例を説明するための図である。 本実施形態の商品情報処理装置の動作の一例を示すフローチャートである。 本発明の実施の形態に係る商品情報処理システムの携帯端末と画像認識装置の動作の手順の一例を示すフローチャートである。 本実施形態の商品情報処理装置における撮像画像からフェイス領域を認識する処理を説明するための図である。 本実施形態の商品情報処理装置における携帯端末を利用した撮影画面の例を示す図である。 本発明の実施の形態に係る商品情報処理装置の構成を示す機能ブロック図である。 本発明の実施の形態に係る商品情報処理装置を用いた商品情報処理システムの構成例を示すブロック図である。 本発明の実施の形態に係る商品情報処理装置の具体的な構成例を示す機能ブロック図である。 本実施形態の商品データベースに保持される契約情報テーブルの構造の一例を説明するための図である。 本発明の実施の形態に係る商品情報処理装置により撮像される商品棚の配置の識別方法を説明するための図である。 本発明の実施の形態に係る商品情報処理装置における対象商品陳列領域の自動判別処理を説明するための図である。 本発明の実施の形態に係る商品情報処理装置における商品棚の撮影方法を説明するための図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

（第１の実施の形態）
図１は、本発明の実施の形態に係る商品情報処理装置１００の構成を示す機能ブロック図である。
従来、小売店の各店舗の商品陳列棚の商品の陳列状態の情報は、商品メーカの営業マン等が各店舗に赴き、手作業で収集し、日報等として記録されて管理されていた。
本発明の実施の形態に係る商品情報処理装置１００は、店舗の商品陳列棚における、管理対象とすべき特定商品と、それ以外の商品とを区別し、当該特定商品が他の商品を含む陳列状態の中でどのような態様で陳列されているのかといった陳列関係を撮影画像から把握する。

本発明の実施の形態に係る商品情報処理装置１００は、商品の陳列状態を撮像した画像から、少なくとも１種類の特定商品を抽出する商品抽出部１０２と、抽出された少なくとも１種類の特定商品と、他の商品との陳列関係を特定する陳列関係特定部１０４と、を備える。

商品情報処理装置１００の各構成要素は、ＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされた図１の構成要素を実現するプログラム、そのプログラムを格納する記憶ユニット、通信用インタフェースを備える任意のコンピュータ（不図示）のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。なお、各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。

図１の商品情報処理装置１００では、ＣＰＵにより各要素とともに商品情報処理装置１００全体が制御される。ＣＰＵが、ハードディスクに記憶されるプログラムをメモリに読み出して実行することにより、商品情報処理装置１００の図１の各ユニットの各機能を実現することができる。

本実施形態のコンピュータプログラムは、商品情報処理装置１００を実現させるためのコンピュータに、商品の陳列状態を撮像した画像から、少なくとも１種類の特定商品を抽出する手順、抽出された少なくとも１種類の前記特定商品と、他の商品との陳列関係を特定する手順、を実行させるように記述されている。

本実施形態のコンピュータプログラムは、コンピュータで読み取り可能な記録媒体に記録されてもよい。記録媒体は特に限定されず、様々な形態のものが考えられる。また、プログラムは、記録媒体からコンピュータのメモリにロードされてもよいし、ネットワークを通じてコンピュータにダウンロードされ、メモリにロードされてもよい。

図２は、本発明の実施の形態に係る商品情報処理装置１００を用いた商品情報処理システム１の構成例を示すブロック図である。図３は、本発明の実施の形態に係る商品情報処理装置１００の利用シーンを説明するための図である。図４は、本発明の実施の形態に係る商品情報処理装置１００の具体的な構成例を示す機能ブロック図である。
図２および図３に示すように、本実施形態の商品情報処理システム１は、店舗７の商品棚２０に陳列されている商品を撮像した画像を、ネットワーク３を介してデータセンタ（図中、「ＤＣ」と示す）５に送信し、データセンタ５に設けられた画像認識装置１０が受信した画像の認識処理を特徴量データベース（図中、「特徴量ＤＢ」と示す）１２に保持される特徴量に基づき行う。

商品棚２０の撮影方法は、様々考えられる。撮影方法の一例として、店舗７に設置されている監視カメラ２２を用いて、複数段かつ複数列にわたる棚を含む商品棚２０全体または比較的広い範囲の撮影領域２６を一括して撮影してもよい。あるいは、撮影方法の他の例としては、操作者２７がカメラ付きの携帯端末２４を用いて、たとえば、数段または数列の商品棚２０の一部分の比較的狭い範囲を、携帯端末２４をかざして撮影してもよい。

図４に示すように、本実施形態の商品情報処理システム１は、店舗７で使用される情報処理端末１１０と、データセンタ５に設けられる画像認識装置１０と、を備える。情報処理端末１１０と画像認識装置１０は、ネットワーク３を介して接続される。
情報処理端末１１０は、たとえば、カメラ（不図示）内蔵の図２の携帯端末２４、または監視カメラ２２に接続された端末（不図示）である。

携帯端末２４は、ネットワーク３に中継局（不図示）を介して接続可能な携帯端末であり、たとえば、タブレット端末、スマートフォン、またはＰＤＡ（Personal Digital Assistants）等である。監視カメラ２２に接続される端末は、たとえば、パーソナルコンピュータ、ＰＯＳ（Point Of Sales system）端末、タブレット端末、スマートフォン、またはＰＤＡ（Personal Digital Assistants）端末等である。

情報処理端末１１０および画像認識装置１０の各構成要素は、ＣＰＵ、メモリ、メモリにロードされた図４の構成要素を実現するプログラム、そのプログラムを格納する記憶ユニット、通信用インタフェースを備える任意のコンピュータのハードウェアとソフトウェアの任意の組合せによってそれぞれ実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

また、画像認識装置１０は、本実施形態では、データセンタ５のサーバコンピュータを利用したクラウドコンピューティングにより実現されるが、これに限定されるものではない。また、画像認識装置１０のサーバコンピュータは、仮想サーバなどにより構成されてもよい。

情報処理端末１１０は、撮像部１１２と、送信部１１４と、を備える。
撮像部１１２は、たとえば、携帯端末２４に内蔵されるカメラ、店舗７に設置された監視カメラ２２、情報処理端末１１０または画像認識装置１０から制御可能な店舗７内を撮影できるウェブカメラ、または、これらの組み合わせとすることができる。また、撮像部１１２が撮像する画像は、静止画でもよいし、動画でもよい。撮像画像が動画の場合、動画から逐次得られる画像データを、画像認識装置１０による画像認識処理に用いることができる。いずれの撮像手段を用いるか、また、静止画および動画のいずれを画像認識処理に用いるかは、各情報処理端末１１０の処理能力やネットワーク３の通信負荷を考慮して、適宜採用することができる。

情報処理端末１１０を用いて画像撮影する際、情報処理端末１１０は、所定のアプリケーションプログラムを起動し、アプリケーションプログラムにより、撮像部１１２を制御し、商品棚２０を撮影して画像を取得することができる。また、撮像手段は、情報処理端末１１０が撮像部１１２を内蔵する構成以外に、情報処理端末１１０に接続された外部カメラを用いる構成でもよい。

送信部１１４は、撮像部１１２が撮像した画像を、ネットワーク３を介して画像認識装置１０に送信する。
送信部１１４の通信手段は、有線または無線通信のいずれでもよいし、携帯通信網、公衆回線網、ＬＡＮ（Local Area Network）、またはＷＡＮ（Wide Area Network）のいずれを介した通信でもよく、情報処理端末１１０の構成等に応じて適宜採用するのが好ましい。このように、画像の通信方法は様々な方法が考えられ、本発明の本質に関わらないので、詳細な説明は省略する。また、情報処理端末１１０は、通信時のセキュリティ対策として、暗号化処理や認証処理を行う構成を含むこともできる。

撮像部１１２が商品棚２０を撮像した画像は、撮影時に情報処理端末１１０に保存せずに逐次送信部１１４により画像認識装置１０に送信してもよいし、情報処理端末１１０に、画像を保存しておき、後で複数の画像を一括して送信部１１４により画像認識装置１０に送信してもよい。

監視カメラ２２やウェブカメラを用いて撮像した画像を用いる場合、店舗７に設けられた情報処理端末１１０が、監視カメラ２２を遠隔操作して撮影して画像を取得してもよいし、情報処理端末１１０が、監視カメラ２２が撮影した画像を記録した記録媒体から画像を読み出して取得してもよい。画像の取得方法は様々な方法が考えられ、本発明の本質には関わらないので、詳細な説明は省略する。

また、本実施形態では、店舗７側からデータセンタ５に撮影した画像データを送信し、データセンタ５の画像認識装置１０が画像認識処理を行う構成としているが、これに限定されない。たとえば、情報処理端末１１０が、撮像部１１２で撮像した画像から特徴量を抽出する抽出部（不図示）を備えてもよい。そして、送信部１１４が、データセンタ５に特徴量の情報を送信する構成とすることもできる。画像データを送信する場合に比較して、特徴量の情報を送信する構成の方が、通信量を削減でき、通信負荷を抑制することができる。

さらに、情報処理端末１１０が、認識対象の商品画像の特徴量データを保持し、撮像画像の画像認識処理を行う画像認識部１２２を備えてもよい。そして、送信部１１４が、画像認識結果をデータセンタ５に送信する構成とすることもできる。この構成は、たとえば、認識対象の商品の種類が少ない場合や情報処理端末１１０の処理能力を高い場合等に有効であり、データセンタ５のサーバの負荷を低減することができる。

このように、図１の商品情報処理装置１００は、データセンタ５の画像認識装置１０（図４）と、店舗７の情報処理端末１１０（図４）とを組み合わせて実現することができる。商品情報処理装置１００の各構成要素の機能分担は、画像認識装置１０または情報処理端末１１０の処理能力や通信負荷等を考慮して適宜組み合わせを決めるのが望ましい。

また、送信部１１４により店舗７から画像認識装置１０に送信される情報は、画像データそのもの以外に、たとえば、店舗の識別情報、撮影者の情報、監視カメラ２２または情報処理端末１１０の識別情報等をさらに含めてもよい。また、画像情報に、撮影日時等の属性情報が含まれていない場合、撮影日時も含めてもよい。さらに、商品棚２０の一部の領域を撮影した画像を送信する場合、送信画像情報に、どの領域を撮影したかを示す情報を含めるのが好ましい。
これらの情報は、たとえば、日報を作成するアプリケーションプログラムと連動させること等で、自動的に取得してもよい。あるいは、携帯端末２４の操作画面を用いて操作者に情報を入力させてもよい。

また、画像認識装置１０は、キーボードやマウス等の入力装置（不図示）やディスプレイなどの表示装置やプリンタ等の出力装置（不図示）と接続されてもよく、操作者が操作するユーザインタフェース機能を有してもよい。また、画像認識装置１０は、タッチパネル等の入出力装置が一体となった形態でもよい。

画像認識装置１０は、受信部１２０と、画像認識部１２２と、商品特定部１３２と、相対位置特定部１３４と、フェイス数計数部１４２と、を備え、特徴量データベース１２と、商品データベース（図中、「商品ＤＢ」と示す）１３０と、に接続される。なお、商品特定部１３２と、相対位置特定部１３４と、フェイス数計数部１４２は、画像認識装置１０とは別の商品情報管理用のサーバ装置（不図示）で実現してもよい。

図５は、本実施形態の特徴量データベース１２の構造の一例を説明するための図である。
図５（ａ）に示すように、特徴量データベース１２には、各商品のフェイス画像の情報が登録されている。具体的には、図５（ｂ）に示すように、特徴量データベース１２は、特徴量テーブル１２４として、商品を識別するための商品ＩＤと、商品のフェイス画像を認識可能な特徴量を有する少なくとも１つの特徴点のデータとを対応付けて保持する。

図４に戻り、受信部１２０は、ネットワーク３を介して情報処理端末１１０から画像データを受信する。画像認識部１２２は、受信部１２０が受信した画像データから特徴量を抽出するとともに、特徴量データベース１２を参照し、特徴量データベース１２内に抽出された特徴量と一致する特徴量を有するものがあるか否かを照合する。

画像認識部１２２による認識処理には、たとえば、以下の処理が含まれる。
（ａ１）撮像画像から、特徴量を抽出し、特徴量データベース１２を参照し、商品のフェイス画像のパターン認識処理を行う。ここで、パターン認識処理する商品フェイス画像は、商品名まで特定できなくてもよく、たとえば、商品が飲料であれば、画像からペットボトル等のフェイス領域を認識できればよい。ここでは、撮像画像内に存在する全商品のフェイス領域を全て特定してよい。
（ａ２）認識された商品のフェイス領域の撮像画像内における相対位置を取得する。
（ａ３）認識されたフェイス領域内の画像の特徴量と特徴量データベース１２に格納される特徴量を照合し、少なくとも閾値以上の特徴量が一致するものを探索する。
（ａ４）一致した特徴量に対応する商品ＩＤを特定する。

商品データベース１３０は、図６に示すように、商品マスタ１３６として、たとえば、商品ＩＤ、商品名、商品の分類コード、価格、または商品のフェイス画像データを識別する画像ＩＤ等の情報を保持する。商品の分類コードとは、たとえば、階層的な分類を示す情報を含むことができ、大分類が飲料の場合、中分類として、お茶、コーヒー、紅茶、果汁ジュース、炭酸飲料、水等の分類、お茶の小分類として、ほうじ茶、緑茶、烏龍茶、ブレンド茶等の分類、さらに、枝番として、地域限定、期間限定、キャンペーン等の分類を含むことができる。さらに、商品データベース１３０には、他社の商品の情報を含んでもよい。
また、商品データベース１３０に、同一商品の各側面から撮影した画像の情報が登録されている場合には、画像認識部１２２において、商品の向きを認識することができる。

図４に戻り、商品特定部１３２は、画像認識部１２２により特徴量データベース１２に登録された特徴量と一致するものがあると認識された特徴量を有する商品ＩＤを画像認識部１２２から取得し、対応する商品を特定する。商品特定部１３２が特定すべき商品（以下、「特定商品」とも呼ぶ）の指定方法は、以下の方法が考えられる。また、同様に、後で説明する対象商品も指定してもよい。
（ｂ１）撮像部１１２による撮影時に情報処理端末１１０側で操作者が少なくとも１種類の特定商品を指定する。このとき、情報処理端末１１０は、特定商品を指定する画面、たとえば、商品リスト等を表示し、操作者の選択を受け付けることができる。そして、情報処理端末１１０は、指定された特定商品の情報を画像認識装置１０に撮像画像とともに送信し、商品特定部１３２は受信した特定商品の情報に基づいて、処理を行うことができる。
（ｂ２）画像認識装置１０側で、少なくとも１種類の特定商品を予め定められた設定情報として指定し、保持する。商品特定部１３２は、設定情報を参照し、指定された特定商品の情報に基づき、処理を行う。また、設定情報は、たとえば、所定の期間や店舗エリア等の他の条件と組み合わせて設定を選択または更新できる構成としてもよい。
（ｂ３）画像認識装置１０側で、自動的に認識する。
たとえば、商品特定部１３２が、特徴量データベース１２に登録されている商品を特定商品であると自動的に認識することができる。この場合、特定商品のみが特徴量データベース１２に登録されているものとする。また、対象商品は、商品特定部１３２が、特定商品の分類に基づき、同じ分類に属する商品を対象商品と自動的に認識することができる。分類が階層構造を有する場合、同じ階層または上の階層の分類に属する商品を対象商品とする。たとえば、商品が飲料で、特定商品が緑茶であった場合、対象商品は、緑茶、または、さらに上の階層の分類のお茶を対象商品とすることができる。

ここで、特定商品とは、商品情報処理システム１における管理対象となる少なくとも１種類の商品であり、たとえば、自社のある特定の商品でもよいし、ある特定のシリーズの商品群でもよい。また、他の商品とは、特定商品以外の商品である。そして、管理対象の商品（対象商品）とは、特定商品と他の商品を含み、商品棚２０における陳列関係を把握すべき対象となる商品である。たとえば、陳列関係を把握すべき対象となる特定商品は、商品が飲料であれば、炭酸飲料やお茶類などの種類別の商品群がそれぞれ個別に管理対象となる。すなわち、炭酸飲料とお茶等、異なる分類に属する複数種類の商品を含む商品群の中での陳列関係は、管理対象とならないものとする。
本発明では、同じ分類、たとえば、炭酸飲料の中で、少なくとも１種類の特定の商品（炭酸飲料商品Ａ）と、それ以外の他の商品（炭酸飲料商品Ｂ、Ｃ、Ｄ）とを区別し、特定商品と他の商品を含む商品棚２０における対象商品（炭酸飲料商品Ａ、Ｂ、Ｃ、Ｄ）の陳列状態の中での陳列関係を把握する。

本実施形態では、同じ分類の商品は、商品棚２０の中で、近傍にまとめて陳列されるものとし、分類が異なる商品が混在して陳列されるような陳列状態の場合、陳列関係を把握すべき対象から除外することができる。すなわち、商品棚２０の同じ棚、または上下に連続する複数段の棚に同じ分類の対象商品を含む領域が存在するものとする。商品情報処理装置１００は、このような商品の混在状態を検知して、通知する構成をさらに備えてもよい。

商品特定部１３２は、取得した商品ＩＤに対応する商品についてそれぞれ、管理対象の特定商品か、それ以外の他の商品か等を識別し、特定する。このとき、商品特定部１３２は、商品データベース１３０を参照し、商品マスタ１３６から商品ＩＤに対応する商品の情報を取得してもよい。さらに、商品特定部１３２は、他の商品が、陳列関係を把握すべき対象商品か否かを判別し、対象商品を特定する。

特徴量データベース１２は、少なくとも管理対象の特定商品の情報のみを保持していればよいが、他の商品、たとえば、他社の商品や管理対象外の商品の情報を保持してもよい。
特定商品の情報のみを保持している場合は、商品特定部１３２は、特徴量データベース１２に登録された特徴量と一致するものが特定商品と特定できる。一致しなかったものは、他の商品と特定できる。この場合、画像内の対象商品の領域が既に特定されている、または、撮像画像内には対象商品のみが含まれていることが前提となる。対象商品の領域の特定方法については、後述する。

また、特徴量データベース１２または商品マスタ１３６に、他の商品の情報も保持している場合、特徴量データベース１２に登録された特徴量と一致したものの商品ＩＤが、指定された特定商品の情報に基づいて、特定商品か他の商品か否かを判別できる。さらに、指定された特定商品の情報から特定商品の分類を判別し、特定商品と同じ分類に属する他の商品は対象商品であると特定する。ここで、たとえば、自社の炭酸飲料の商品Ａを特定商品とした場合、同じ分類、すなわち、炭酸飲料の商品Ａ以外の自社の商品と他社の炭酸飲料の商品を対象商品とすることができる。

たとえば、図９に示すように、撮像画像５０から、点線で囲まれた領域５２が、特定商品または対象商品と認識された各商品のフェイス領域であることを示す。なお、画像認識処理を画像撮影と同時に行う構成の場合には、携帯端末２４の画面上に、このように認識された商品のフェイス領域を示す枠を表示してもよい。また、撮像画像５０の表示画面上に、対象商品陳列領域５４を一点鎖線で示すように枠で囲み、提示してもよい。

また、画像認識処理を画像撮影と同時に行う構成の場合には、図１０（ａ）に示すように、携帯端末２４の画面６０上に、撮像された画像を表示するとともに、図１０（ｂ）に示すように、画像から特定された商品ＩＤに基づいて、商品情報６２を対応する商品位置に重畳して表示してもよい。
そして、操作者がこれらの認識結果を確認し、画像認識された結果が正しくない場合に、商品情報処理装置１００は、認識結果を訂正したり、認識結果が正しくない旨を通知したりする構成をさらに備えてもよい。

上述したように図１の陳列関係特定部１０４は、各商品フェイスの位置に基づいて、特定商品と他の商品との陳列関係を特定する。図１の陳列関係特定部１０４として、本実施形態では、図４に示すように、相対位置特定部１３４と、フェイス数計数部１４２とを有する。

ここで、陳列関係とは、たとえば、以下の項目を含むことができる。陳列関係特定部１０４は、これらの少なくとも一つの陳列関係を特定する。
（ｃ１）特定商品と対象商品中の他の商品のフェイス数の関係
例として、対象商品の全商品のフェイス数に対する特定商品のフェイス数（５フェイス中３フェイス等）
対象商品の全商品のフェイス数に対する特定商品のフェイス数の割合（３０％等）
（ｃ２）特定商品と対象商品中の他の商品のフェイス領域の面積の関係
例として、対象商品の全商品のフェイス領域の面積に対する特定商品のフェイス領域の面積の割合（４０％等）
（ｃ３）対象商品中の特定商品の相対位置
例として、対象商品の全商品が陳列される棚の段数に対して、特定商品が陳列される段数（４段中２段）
対象商品の全商品が陳列される棚の全段に対して、特定商品が陳列される棚の位置（４段中の最上段、中央、１、２段目等）
対象商品の全商品が陳列される棚内に対して、特定商品が陳列される棚内での位置（棚の左側、まん中、左から３フェイス目からフェイス数分、等）
（ｃ４）特定商品の商品棚２０における絶対位置
例として、特定商品が、商品棚２０の何段目の左から何フェイス目から何フェイス数分（または、棚の中の何割分）に陳列されているか等
（ｃ５）特定商品のフェイス向きの状態
例として、特定商品が４方向（向き１〜向き４）の商品画像を有する場合、総数と各方向の状態（全１０フェイス中、向き１は５フェイス、向き２は３フェイス、向き３と向き４は各１フェイス等）

本実施形態では、特定商品と対象商品中の他の商品のフェイス数の関係と、特定商品と対象商品中の他の商品の相対位置を陳列関係として特定する場合を例に説明する。

陳列関係特定部１０４は、撮像画像から、特定商品と、他の商品との相対位置を求め、陳列関係として出力してもよい。
本実施形態では、相対位置特定部１３４が、画像認識部１２２により撮像画像から認識された各商品フェイスの位置に基づいて、商品特定部１３２が特定した特定商品を含む対象商品の画像の中での相対位置を特定する。または、後述するように撮影領域が特定可能な場合には、陳列関係特定部１０４は、商品棚２０内における各商品フェイスの絶対位置を特定してもよい。商品フェイスの位置は、商品フェイス画像領域の少なくとも１箇所、たとえば、中心、重心、または左右上下の少なくとも１つの角等の座標等で表記してもよい。あるいは、陳列関係特定部１０４は、対象商品の陳列領域に対する特定商品の陳列領域の相対位置や分布情報を陳列関係として求めてもよい。相対位置特定部１３４は、求めた特定商品と、対象商品との相対位置を陳列関係として出力する。

フェイス数計数部１４２は、画像認識部１２２により抽出された少なくとも１種類の特定商品のフェイス数を計数し、特定商品のフェイス数に基づき、他の商品との陳列関係を特定する。
本実施形態では、フェイス数計数部１４２は、商品特定部１３２が特定した特定商品と対象商品のフェイス数をそれぞれ計数し、これらのフェイス数に基づき、特定商品と他の商品との陳列関係を特定して出力する。
さらにフェイス数計数部１４２は、商品データベース１３０に、同一商品の各側面から撮影した画像が登録されている場合、特定商品や対象商品の各フェイス数を、商品の向きごとに計数することができる。

このように、本実施形態では、相対位置特定部１３４とフェイス数計数部１４２により、特定商品と対象商品との陳列関係を求め、出力することができる。たとえば、撮影日時と特定商品の商品コードや商品名とともに、対象商品の全フェイス数と特定商品のフェイス数等の陳列関係の情報を出力する。陳列関係は、テキストデータまたは所定のプログラム言語、または情報データとして出力され、それぞれファイルとして保存したり、データベースに格納したりすることができる。あるいは、情報処理端末１１０にネットワーク３を介して情報を送信してもよい。これらの陳列関係の情報は、画像認識装置１０または画像認識装置１０に接続可能な端末装置、または情報処理端末１１０の表示部に画面表示させることもできる。あるいは、陳列関係の情報は、日報などの報告書として出力することもできる。

上述のような構成において、本実施の形態の商品情報処理装置１００によるデータ処理方法を以下に説明する。図７は、本実施形態の商品情報処理装置１００の動作の一例を示すフローチャートである。

本実施形態のデータ処理方法は、商品情報処理装置１００の商品抽出部１０２が、商品の陳列状態を撮像した画像から、少なくとも１種類の特定商品を抽出し（ステップＳ１０１）、陳列関係特定部１０４が、抽出された少なくとも１種類の前記特定商品と、他の商品との陳列関係を特定する（ステップＳ１０３）。

ここで、携帯端末２４を用いて店舗７の商品棚２０を撮像し、データセンタ５に送信する構成における商品情報処理システム１の動作について、具体的に説明する。
図８は、本発明の実施の形態に係る商品情報処理システム１の携帯端末２４と画像認識装置１０の動作の手順の一例を示すフローチャートである。
まず、携帯端末２４が、撮像部１１２により商品棚２０を撮像する（ステップＳ１１１）。そして、携帯端末２４が、送信部１１４により撮像画像をデータセンタ５の画像認識装置１０に送信する（ステップＳ１１３）。

画像認識装置１０において、受信部１２０が撮像画像を受信する（ステップＳ１１５）。そして、画像認識部１２２が、画像から特徴量を抽出し、商品のフェイス画像のパターン認識処理を行う（ステップＳ１１７）。そして、画像認識部１２２が、商品のフェイス画像として認識された各フェイス領域の、撮像画像内における相対位置を取得する（ステップＳ１１９）。

そして、画像認識部１２２が、認識されたフェイス画像の特徴量と特徴量データベース１２の特徴量とを照合し、商品ＩＤを取得する（ステップＳ１２１）。そして、商品特定部１３２が、フェイス画像に対応する商品が特定商品か他の商品かを特定する（ステップＳ１２３）。

さらに、商品特定部１３２が、他の商品が対象商品か否かを判別し、対象商品を特定する（ステップＳ１２５）。そして、相対位置特定部１３４が、特定商品と対象商品の画像の中での相対位置を特定する（ステップＳ１２７）。また、フェイス数計数部１４２が、特定商品と対象商品のフェイス数をそれぞれ計数する（ステップＳ１２９）。そして、商品特定部１３２とフェイス数計数部１４２が求めたフェイス数と相対位置が陳列関係として出力される（ステップＳ１３１）。

このようにして、本実施形態では、店舗７で商品棚２０を撮像した画像から、商品を個別に認識し、特定商品と、他の商品との陳列関係として、それぞれのフェイス数と、相対位置を取得することができる。

たとえば、本実施形態では、対象商品が何フェイスあった中、特定商品が何フェイスあったか、対象商品が何段何列あった中、特定商品は、どの段の何列目から何フェイスあったか等の陳列関係を取得することができる。

以上説明したように、本発明の実施の形態の商品情報処理装置１００によれば、各店舗７に操作者が赴き、携帯端末２４を用いて商品棚２０を撮影し、撮像画像をアップロードすると、または、店舗７に設置された監視カメラ２２により撮像された画像を収集すると、自動的に管理対象となる特定商品と、それ以外の商品を区別し、当該特定商品が他の商品を含む全陳列状態の中でどのような態様で陳列されているのかといった陳列関係を求めることができる。このように、本発明の実施の形態の商品情報処理装置１００によれば、店舗の商品陳列棚における特定商品と他の商品との陳列関係を効率よく把握できる。

（第２の実施の形態）
図１１は、本発明の実施の形態に係る商品情報処理装置２００の構成を示す機能ブロック図である。
本実施形態の商品情報処理装置２００は、上記実施の形態とは、商品情報処理装置１００が求めた陳列関係が、予め定めた陳列条件を満たすか否かを判別し、判別結果を出力する点で相違する。
商品情報処理装置２００は、上記実施形態の商品情報処理装置１００と同じ、商品抽出部１０２、および陳列関係特定部１０４を備えるとともに、さらに、判別部２０２と、出力部２０４と、を備える。

判別部２０２は、陳列関係特定部１０４により特定された陳列関係に基づき、特定商品の陳列状態が、予め定められた特定商品の陳列条件を満たすか否かを判別する。
出力部２０４は、判別部２０２による判別結果を出力する。

図１２は、本実施形態の商品情報処理装置２００を使用した商品情報処理システム１の構成例を示すブロック図である。図１３は、本発明の実施の形態に係る商品情報処理装置２００の具体的な構成列を示す機能ブロック図である。
本実施形態において、データセンタ５は、上記実施形態と同様な画像認識装置１０を備えるとともに、さらに、商品データベース（図中、「商品ＤＢ」と示す）２１２にアクセス可能な商品管理装置２１０を備える。なお、画像認識装置１０と商品管理装置２１０は、同じサーバコンピュータで構成されてもよい。

たとえば、小売店の各店舗７の商品棚２０に陳列される商品の配置は、商品のメーカと、小売店または小売店の本部とが予め契約を結び、定めている。商品のメーカが、この契約通りに各店舗７で商品が陳列されているか否かを確認するためには、メーカからの指示を受けた作業者が各店舗７に赴き、商品棚２０の陳列状態をチェックし、その結果を本部に報告する必要があった。
本発明の実施の形態に係る商品情報処理装置２００は、このような小売店とメーカとの間の契約の確認作業を行う上で、店舗の商品陳列棚における特定商品と他の商品との陳列関係を効率的に把握できるので、有効である。

契約内容は、少なくとも１つの陳列条件を含む。陳列条件の例としては、以下のものを含むことができる。
（ｄ１）特定の商品のフェイス数を指定する。例として、「特定商品を１０フェイス中、４フェイス連続して陳列する。」と指定する。
（ｄ２）特定の商品を陳列する商品棚の位置や段数を指定する。例として、「最上段の棚に陳列する。」、「中央の棚に陳列する。」、または「２、３段目の２段の棚に陳列する。」と指定する。
（ｄ３）特定の商品を陳列する割合を指定する。例として、「特定商品を同じ分類の商品全体の３割陳列する。」と指定する。

図１３に示すように、本実施形態の商品情報処理システム１において、画像認識装置１０は、図４の上記実施形態の画像認識装置１０と同様に、特徴量データベース１２に接続され、受信部１２０と、画像認識部１２２と、を備える。商品管理装置２１０は、商品データベース２１２に接続され、図４の上記実施形態の画像認識装置１０が有していた商品特定部１３２と、相対位置特定部１３４と、フェイス数計数部１４２と、を備えるとともに、さらに、判別部２０２、出力部２０４と、割合算出部２３２と、を備える。

商品データベース２１２は、図１４に示す契約情報テーブル２２２を保持する。契約情報テーブル２２２は、たとえば、店舗７を識別する店舗ＩＤ毎に、少なくとも１つ商品に対する少なくとも１つの陳列条件を対応付けて記憶する。あるいは、所定の期間やエリア等の条件に応じて、契約内容が選択または更新できてもよい。また、複数の条件の優先順位をさらに条件とすることもできる。各条件は、たとえば、所定のプログラム言語等で記述された条件式で表記することができる。

商品管理装置２１０の判別部２０２は、図１４の契約情報テーブル２２２を参照し、陳列関係特定部１０４で求められた陳列関係に基づいて、特定商品の陳列状態が、各陳列条件を満たすか否かを判別する。
出力部２０４は、判別部２０２による判別結果２１４を出力する。出力形態は特に限定されないが、たとえば、端末画面に表示、ウェブサイトにアップロード、プリンタに印字出力、所定のメールアドレスにメール送信、所定の形式のファイルに記録、データベースに登録、またはこれらの組み合わせとすることができる。

出力内容は、各陳列条件を満たすか否かの判別結果（条件達成した（ＯＫ）か、しない（ＮＧ）か）の他、店舗別、エリア別、商品別、商品分類別の条件達成率、達成率の目標値を達成していない、または達成している店舗の情報（店舗名、店舗数、店舗エリア、所属グループ等の情報）、またはこれらの組み合わせを含むことができる。また、これらの情報は、時系列に履歴を蓄積することもできる。あるいは、これらの情報は、日報、週報、月報等の報告書の情報に組み込むこともできる。

割合算出部２３２は、フェイス数計数部１４２により求められた特定商品と対象商品のフェイス数に基づいて、対象商品の全商品のフェイス数に対する特定商品のフェイス数の割合を求める。
本実施形態では、図１１の陳列関係特定部１０４として、相対位置特定部１３４と、フェイス数計数部１４２と、割合算出部２３２と、を有する。

このように構成された本実施形態の商品情報処理装置２００は、上記実施形態と同様に動作するとともに、さらに、判別部２０２が陳列関係特定部１０４により求められた陳列関係に基づいて特定商品の陳列状態が、各陳列条件を満たすか否かを判別し、出力部２０４が判別結果を出力する。すなわち、店舗７等で商品棚２０の商品の陳列状態を撮像するだけで、商品情報処理装置２００は、陳列状態が契約内容と合っているかどうか等の評価を効率よく行うことができる。

以上説明したように、本発明の実施の形態の商品情報処理装置２００によれば、上記実施形態と同様な効果を奏するとともに、さらに、小売店とメーカ等の間の契約の確認作業をする上で、店舗の商品陳列棚における特定商品と他の商品との陳列関係を効率的に把握でき、契約内容との照合を効率よく正確に行うことができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
たとえば、他の実施形態において、陳列関係特定部１０４は、特定商品を含む対象商品に対する、特定商品の陳列領域の割合を求め、特定商品の陳列領域の割合を、他の商品との陳列関係として特定し、出力してもよい。

また、上記実施形態の情報処理端末１１０の撮像部１１２による商品棚２０の撮影時の撮影領域の指定または識別方法は、例として、以下の方法が考えられる。
（ｅ１）予め商品棚２０に棚番号やバーコード等の識別情報を記載したラベル等を添付しておき、ラベルを画像に含むように撮影した画像から棚番号を認識する。
（ｅ２）撮影前に、撮影する棚番号等の情報を、携帯端末２４の操作画面を用いて操作者に入力させる。または、撮影時の監視カメラ２２の撮影方向と撮影範囲の情報等に基づき、撮影された商品棚２０の領域を特定する。
（ｅ３）アプリケーションプログラムによるガイダンス等に従い、指示された商品棚を順に操作者に撮影させる。または、運用で予め決められた商品が陳列されている棚を、予め決められた順に操作者に撮影させる。

図１５は、商品棚２０に棚番号やバーコード等の識別情報を記載したラベル等を添付した例を説明するための図である。
図１５では、商品棚２０が複数段の棚７０を含み、たとえば、撮像部１１２の撮像領域７６よりも広い範囲にわたり複数の商品７２が陳列されている例を示している。
棚７０には、商品棚２０の各棚７０の配置を識別するための情報を記載した少なくとも１つのラベル７４が含まれるように撮像領域７６内に配置されて添付される。そして、商品情報処理装置１００または商品情報処理装置２００は、ラベル７４と商品棚２０の棚７０の相対位置情報を保持する。

撮像部１１２により、少なくとも１つのラベル７４が含まれるように、商品棚２０に陳列される商品７２を撮像することで、商品情報処理装置１００または商品情報処理装置２００は、撮像画像に含まれるラベル７４の識別情報に基づいて、撮像画像中の商品棚２０における各棚７０の位置を取得することができる。

図１６は、本発明の他の実施形態に係る商品情報処理装置における対象商品陳列領域の自動判別処理を説明するための図である。
他の実施形態において、陳列関係特定部１０４は、撮像画像（撮像領域７６の画像）から特定商品８０と他の商品８２の陳列状態を把握すべき領域として、対象商品陳列領域８４を特定し、対象商品陳列領域８４における特定商品８０の配置を他の商品８２との陳列関係として特定してもよい。

また、他の実施形態において、陳列関係特定部１０４は、撮像領域７６内で認識された各商品７２のフェイス画像に基づいて特定された商品ＩＤに基づいて、特定商品８０と他の商品８２を特定する。そして、商品情報処理装置１００または商品情報処理装置２００は、特定された特定商品８０と他の商品８２が存在する領域を対象商品陳列領域８４として自動的に判別し、特定する対象商品陳列領域判別部（不図示）をさらに備える。

また、対象商品陳列領域判別部は、上述したようなラベル７４に、各棚７０に陳列されている商品の分類を識別するための情報を記載し、商品７２とともに撮像することで、対象商品陳列領域８４を判別することもできる。または、撮像時に、情報処理端末１１０において、対象商品の選択指示や入力操作を受け付けた後、対象商品のみを含むように撮像してもよい。あるいは、情報処理端末１１０の画面上に撮像画像上で認識すべき領域を囲む枠を表示するとともに、情報処理端末１１０の画面上で対象商品のみを含むように枠を変形させる操作を受け付け、操作により指定された領域を対象商品陳列領域８４としてもよい。

また、撮像領域７６が、対象商品陳列領域８４より狭い場合、図１７に示すように、商品棚２０全体を複数の撮像領域７６ａ、７６ｂ、７６ｃ、７６ｄに分割し、複数回撮像して得られた複数の画像に基づいて、商品棚２０全体を把握し、対象商品陳列領域８４を特定してもよい。

たとえば、情報処理端末１１０で、作業者にガイダンスにより複数の撮像領域７６ａ、７６ｂ、７６ｃ、７６ｄの撮影順序を指示することで、商品棚２０全体を順に撮像した画像を複数取得してもよい。あるいは、予め定められた順序に基づいて、作業者が複数の撮像領域７６ａ、７６ｂ、７６ｃ、７６ｄについて撮像してもよい。あるいは、監視カメラ２２により、自動的に撮影方向等を制御しながら、撮影箇所を移動して複数の撮像領域７６ａ、７６ｂ、７６ｃ、７６ｄを撮像し、商品棚２０全体を把握するための複数の画像を取得してもよい。

あるいは、作業者が予め対象商品陳列領域８４（図１７）を認識できている場合、少なくとも対象商品陳列領域８４を含むように、２つの撮像領域７６ａ、７６ｂのみを撮像し、２つの撮像画像を取得し、２つの撮像画像に基づいて、対象商品陳列領域８４を判別してもよい。または、商品情報処理装置１００または商品情報処理装置２００は、監視カメラ２２を用いて撮像した商品棚２０全体の画像と、携帯端末２４を用いて撮像した狭い領域の画像を組み合わせて、利用してもよい。

さらに、商品情報処理装置１００または商品情報処理装置２００は、画像から特定した対象商品陳列領域８４に含まれる特定商品８０と他の商品８２との相対位置から、商品棚２０における特定商品の絶対位置を特定する絶対位置特定部（不図示）をさらに備えてもよい。

なお、上記実施形態では、商品棚２０に陳列された商品を対象としているが、これに限定されない。本発明の実施の形態に係る商品情報処理装置は、たとえば、自動販売機等のフェイスの陳列状況の把握に利用することもできる。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

以下、参考形態の例を付記する。
１． 商品情報処理装置が、
商品の陳列状態を撮像した画像から、少なくとも１種類の特定商品を抽出し、
抽出された少なくとも１種類の前記特定商品と、他の商品との陳列関係を特定する商品情報処理装置のデータ処理方法。
２． １．に記載の商品情報処理装置のデータ処理方法において、
前記商品情報処理装置が、
特定された前記陳列関係に基づき、前記特定商品の陳列状態が、予め定められた前記特定商品の陳列条件を満たすか否かを判別し、
判別結果を出力する商品情報処理装置のデータ処理方法。
３． １．または２．に記載の商品情報処理装置のデータ処理方法において、
前記商品情報処理装置が、
抽出された少なくとも１種類の前記特定商品のフェイス数を計数し、前記特定商品のフェイス数に基づき、前記他の商品との陳列関係を特定する商品情報処理装置のデータ処理方法。
４． １．乃至３．いずれかに記載の商品情報処理装置のデータ処理方法において、
前記商品情報処理装置が、
前記特定商品を含む対象商品に対する、前記特定商品の陳列領域の割合を求め、前記特定商品の陳列領域の割合を、前記他の商品との陳列関係として特定する商品情報処理装置のデータ処理方法。
５． １．乃至４．いずれかに記載の商品情報処理装置のデータ処理方法において、
前記商品情報処理装置が、
前記画像から、前記特定商品と、前記他の商品との相対位置を求め、前記陳列関係として特定する商品情報処理装置のデータ処理方法。
６． １．乃至５．いずれかに記載の商品情報処理装置のデータ処理方法において、
前記商品情報処理装置が、
前記画像から、前記特定商品と前記他の商品の前記陳列状態を把握すべき領域として、対象商品陳列領域を特定し、前記対象商品陳列領域における前記特定商品の配置を前記他の商品との陳列関係として特定する商品情報処理装置のデータ処理方法。
７． ６．に記載の商品情報処理装置のデータ処理方法において、
前記商品情報処理装置が、
さらに、前記他の商品を前記画像から抽出し、
前記画像から、抽出された前記特定商品と前記他の商品の情報に基づいて、前記特定商品との前記陳列状態を把握すべき他の商品を特定し、前記対象商品陳列領域を自動的に判別する商品情報処理装置のデータ処理方法。
８． ６．または７．に記載の商品情報処理装置のデータ処理方法において、
前記商品情報処理装置が、さらに、
前記画像から特定した前記対象商品陳列領域に含まれる前記特定商品と前記他の商品との相対位置から、商品が陳列されている商品棚における前記特定商品の絶対位置を特定する商品情報処理装置のデータ処理方法。
９． １．乃至８．いずれかに記載の商品情報処理装置のデータ処理方法において、
前記商品情報処理装置が、
予め保持された前記特定商品のフェイス画像の特徴量に基づいて前記画像をパターン認識し、前記特定商品を抽出する商品情報処理装置のデータ処理方法。
１０． １．乃至９．いずれかに記載の商品情報処理装置のデータ処理方法において、
前記商品情報処理装置が、
携帯端末に含まれる撮像部、または、店舗に設置された監視カメラを用いて撮像される前記画像を用いて処理を行う商品情報処理装置のデータ処理方法。
１１． １．乃至１０．いずれかに記載の商品情報処理装置のデータ処理方法において、
前記商品情報処理装置が、情報処理端末と、サーバ装置と、を備え、
前記情報処理端末が、
店舗で撮像された前記画像の情報を、ネットワークを介して前記サーバ装置に送信し、
前記サーバ装置が、
前記画像の情報を、ネットワークを介して前記情報処理端末から受信し、
前記サーバ装置が、受信した前記画像の情報に基づき、前記特定商品を抽出する商品情報処理装置のデータ処理方法。

１２． 商品情報処理装置を実現するコンピュータに、
商品の陳列状態を撮像した画像から、少なくとも１種類の特定商品を抽出する手順、
抽出された少なくとも１種類の前記特定商品と、他の商品との陳列関係を特定する手順、を実行させるためのプログラム。
１３． １２．に記載のプログラムにおいて、
前記陳列関係を特定する手順により特定された前記陳列関係に基づき、前記特定商品の陳列状態が、予め定められた前記特定商品の陳列条件を満たすか否かを判別する手順、
前記判別する手順による判別結果を出力する手順、をさらにコンピュータに実行させるためのプログラム。
１４． １２．または１３．に記載のプログラムにおいて、
抽出された少なくとも１種類の前記特定商品のフェイス数を計数し、前記特定商品のフェイス数に基づき、前記他の商品との陳列関係を特定する手順をコンピュータに実行させるためのプログラム。
１５． １２．乃至１４．いずれかに記載のプログラムにおいて、
前記特定商品を含む対象商品に対する、前記特定商品の陳列領域の割合を求め、前記特定商品の陳列領域の割合を、前記他の商品との陳列関係として特定する手順をコンピュータに実行させるためのプログラム。
１６． １２．乃至１５．いずれかに記載のプログラムにおいて、
前記画像から、前記特定商品と、前記他の商品との相対位置を求め、前記陳列関係として特定する手順をコンピュータに実行させるためのプログラム。
１７． １２．乃至１６．いずれかに記載のプログラムにおいて、
前記画像から、前記特定商品と前記他の商品の前記陳列状態を把握すべき領域として、対象商品陳列領域を特定し、前記対象商品陳列領域における前記特定商品の配置を前記他の商品との陳列関係として特定する手順をコンピュータに実行させるためのプログラム。
１８． １７．に記載のプログラムにおいて、
さらに、前記他の商品を前記画像から抽出する手順、
前記画像から、抽出された前記特定商品と前記他の商品の情報に基づいて、前記特定商品との前記陳列状態を把握すべき他の商品を特定し、前記対象商品陳列領域を自動的に判別する手順、をコンピュータに実行させるためのプログラム。
１９． １７．または１８．に記載のプログラムにおいて、
前記画像から特定した前記対象商品陳列領域に含まれる前記特定商品と前記他の商品との相対位置から、商品が陳列されている商品棚における前記特定商品の絶対位置を特定する手順をコンピュータにさらに実行させるためのプログラム。
２０． １２．乃至１９．いずれかに記載のプログラムにおいて、
予め保持された前記特定商品のフェイス画像の特徴量に基づいて前記画像をパターン認識し、前記特定商品を抽出する手順をコンピュータに実行させるためのプログラム。
２１． １２．乃至２０．いずれかに記載のプログラムにおいて、
携帯端末に含まれる撮像部、または、店舗に設置された監視カメラを用いて撮像される前記画像を用いて処理を行う手順をコンピュータに実行させるためのプログラム。

この出願は、２０１２年１２月４日に出願された日本出願特願２０１２−２６５１４８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明の商品情報処理装置は、
商品の陳列状態を撮像した画像から、対象商品中の少なくとも１種類の特定商品を抽出する商品抽出手段と、
前記特定商品の位置と前記対象商品中の他の商品の位置との相対位置、前記特定商品のフェイス数と前記他の商品のフェイス数の関係、又は前記特定商品の陳列領域と前記他の商品の陳列領域の割合である陳列関係を特定する陳列関係特定手段と、を備える。

本発明の商品情報処理装置のデータ処理方法は、
商品情報処理装置が、
商品の陳列状態を撮像した画像から、対象商品中の少なくとも１種類の特定商品を抽出し、
前記特定商品の位置と前記対象商品中の他の商品の位置との相対位置、前記特定商品のフェイス数と前記他の商品のフェイス数の関係、又は前記特定商品の陳列領域と前記他の商品の陳列領域の割合である陳列関係を特定するデータ処理方法である。

本発明のコンピュータプログラムは、
商品情報処理装置を実現するコンピュータに、
商品の陳列状態を撮像した画像から、対象商品中の少なくとも１種類の特定商品を抽出する手順、
前記特定商品の位置と前記対象商品中の他の商品の位置との相対位置、前記特定商品のフェイス数と前記他の商品のフェイス数の関係、又は前記特定商品の陳列領域と前記他の商品の陳列領域の割合である陳列関係を特定する手順、を実行させるためのプログラムである。

２２． 商品の陳列状態を撮像した画像から、少なくとも１種類の特定商品を抽出する商品抽出手段と、
抽出された少なくとも１種類の前記特定商品と、他の商品との陳列関係を特定する陳列関係特定手段と、を備える商品情報処理装置。
２３． ２２．に記載の商品情報処理装置において、
前記陳列関係特定手段により特定された前記陳列関係に基づき、前記特定商品の陳列状態が、予め定められた前記特定商品の陳列条件を満たすか否かを判別する判別手段と、
前記判別手段による判別結果を出力する出力手段と、をさらに備える商品情報処理装置。
２４． ２２．または２３．に記載の商品情報処理装置において、
前記陳列関係特定手段は、抽出された少なくとも１種類の前記特定商品のフェイス数を計数し、前記特定商品のフェイス数に基づき、前記他の商品との陳列関係を特定する商品情報処理装置。
２５． ２２．乃至２４．いずれかに記載の商品情報処理装置において、
前記陳列関係特定手段は、前記特定商品を含む対象商品に対する、前記特定商品の陳列領域の割合を求め、前記特定商品の陳列領域の割合を、前記他の商品との陳列関係として特定する商品情報処理装置。
２６． ２２．乃至２５．いずれかに記載の商品情報処理装置において、
前記陳列関係特定手段は、前記画像から、前記特定商品と、前記他の商品との相対位置を求め、前記陳列関係として特定する商品情報処理装置。
２７． ２２．乃至２６．いずれかに記載の商品情報処理装置において、
前記陳列関係特定手段は、前記画像から、前記特定商品と前記他の商品の前記陳列状態を把握すべき領域として、対象商品陳列領域を特定し、前記対象商品陳列領域における前記特定商品の配置を前記他の商品との陳列関係として特定する商品情報処理装置。
２８． ２７．に記載の商品情報処理装置において、
前記商品抽出手段は、さらに、前記他の商品を前記画像から抽出し、
前記画像から、抽出された前記特定商品と前記他の商品の情報に基づいて、前記特定商品との前記陳列状態を把握すべき他の商品を特定し、前記対象商品陳列領域を自動的に判別する対象商品陳列領域判別手段をさらに備える商品情報処理装置。
２９． ２７．または２８．に記載の商品情報処理装置において、
前記画像から特定した前記対象商品陳列領域に含まれる前記特定商品と前記他の商品との相対位置から、商品が陳列されている商品棚における前記特定商品の絶対位置を特定する絶対位置特定手段をさらに備える商品情報処理装置。
３０． ２２．乃至２９．いずれかに記載の商品情報処理装置において、
前記商品抽出手段は、予め保持された前記特定商品のフェイス画像の特徴量に基づいて前記画像をパターン認識し、前記特定商品を抽出する商品情報処理装置。
３１． ２２．乃至３０．いずれかに記載の商品情報処理装置において、
前記画像は、携帯端末に含まれる撮像部、または、店舗に設置された監視カメラにより撮像される商品情報処理装置。
３２． ２２．乃至３１．いずれかに記載の商品情報処理装置において、
店舗で撮像された前記画像の情報を、ネットワークを介して送信する送信手段と、
前記画像の情報を、ネットワークを介して受信する受信手段と、を備え、
前記商品抽出手段は、前記受信手段が受信した前記画像の情報に基づき、前記特定商品を抽出する商品情報処理装置。
この出願は、２０１２年１２月４日に出願された日本出願特願２０１２−２６５１４８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (13)

1. 商品の陳列状態を撮像した画像から、少なくとも１種類の特定商品を抽出する商品抽出手段と、
   抽出された少なくとも１種類の前記特定商品と、他の商品との陳列関係を特定する陳列関係特定手段と、を備える商品情報処理装置。
2. 請求項１に記載の商品情報処理装置において、
   前記陳列関係特定手段により特定された前記陳列関係に基づき、前記特定商品の陳列状態が、予め定められた前記特定商品の陳列条件を満たすか否かを判別する判別手段と、
   前記判別手段による判別結果を出力する出力手段と、をさらに備える商品情報処理装置。
3. 請求項１または２に記載の商品情報処理装置において、
   前記陳列関係特定手段は、抽出された少なくとも１種類の前記特定商品のフェイス数を計数し、前記特定商品のフェイス数に基づき、前記他の商品との陳列関係を特定する商品情報処理装置。
4. 請求項１乃至３いずれかに記載の商品情報処理装置において、
   前記陳列関係特定手段は、前記特定商品を含む対象商品に対する、前記特定商品の陳列領域の割合を求め、前記特定商品の陳列領域の割合を、前記他の商品との陳列関係として特定する商品情報処理装置。
5. 請求項１乃至４いずれかに記載の商品情報処理装置において、
   前記陳列関係特定手段は、前記画像から、前記特定商品と、前記他の商品との相対位置を求め、前記陳列関係として特定する商品情報処理装置。
6. 請求項１乃至５いずれかに記載の商品情報処理装置において、
   前記陳列関係特定手段は、前記画像から、前記特定商品と前記他の商品の前記陳列状態を把握すべき領域として、対象商品陳列領域を特定し、前記対象商品陳列領域における前記特定商品の配置を前記他の商品との陳列関係として特定する商品情報処理装置。
7. 請求項６に記載の商品情報処理装置において、
   前記商品抽出手段は、さらに、前記他の商品を前記画像から抽出し、
   前記画像から、抽出された前記特定商品と前記他の商品の情報に基づいて、前記特定商品との前記陳列状態を把握すべき他の商品を特定し、前記対象商品陳列領域を自動的に判別する対象商品陳列領域判別手段をさらに備える商品情報処理装置。
8. 請求項６または７に記載の商品情報処理装置において、
   前記画像から特定した前記対象商品陳列領域に含まれる前記特定商品と前記他の商品との相対位置から、商品が陳列されている商品棚における前記特定商品の絶対位置を特定する絶対位置特定手段をさらに備える商品情報処理装置。
9. 請求項１乃至８いずれかに記載の商品情報処理装置において、
   前記商品抽出手段は、予め保持された前記特定商品のフェイス画像の特徴量に基づいて前記画像をパターン認識し、前記特定商品を抽出する商品情報処理装置。
10. 請求項１乃至９いずれかに記載の商品情報処理装置において、
    前記画像は、携帯端末に含まれる撮像部、または、店舗に設置された監視カメラにより撮像される商品情報処理装置。
11. 請求項１乃至１０いずれかに記載の商品情報処理装置において、
    店舗で撮像された前記画像の情報を、ネットワークを介して送信する送信手段と、
    前記画像の情報を、ネットワークを介して受信する受信手段と、を備え、
    前記商品抽出手段は、前記受信手段が受信した前記画像の情報に基づき、前記特定商品を抽出する商品情報処理装置。
12. 商品情報処理装置が、
    商品の陳列状態を撮像した画像から、少なくとも１種類の特定商品を抽出し、
    抽出された少なくとも１種類の前記特定商品と、他の商品との陳列関係を特定する商品情報処理装置のデータ処理方法。
13. 商品情報処理装置を実現するコンピュータに、
    商品の陳列状態を撮像した画像から、少なくとも１種類の特定商品を抽出する手順、
    抽出された少なくとも１種類の前記特定商品と、他の商品との陳列関係を特定する手順、を実行させるためのプログラム。

Images