JP6737446B2 - 商品特定システム - Google Patents

Description

本発明は，店舗などで陳列されている商品を特定するための商品特定システムに関する。

小売業界においては，商品の陳列状況が商品の販売に影響することが知られている。そのため，商品の製造会社，販売会社としては，自社または他社の商品が，店舗のどこに陳列されているのかを把握することで，自社商品の開発戦略，販売戦略につなげることができる。

一方，その実現のためには，店頭に陳列されている商品の正確な特定が重要である。そこで，店舗の陳列棚を撮影し，その画像情報から陳列されている商品を，人間が手作業で特定をすることが考えられる。この場合，ほぼ正確に商品を特定することができる。しかし，商品の陳列状況を継続的に把握するためには，一定期間ごとにその陳列状況を把握しなければならないが，店舗の陳列棚を撮影した画像情報から毎回，人間が商品を特定するのは，負担が大きくまた非効率である。

そこで店舗の陳列棚を撮影した画像情報から，そこに陳列されている商品を自動的に特定し，商品の陳列状況を把握することが求められる。たとえば商品ごとの標本画像をもとに，店舗の陳列棚を撮影した画像に対して画像認識技術を用いる方法がある。これらの従来技術として，たとえば，下記特許文献１乃至特許文献３に示すような技術を用いて，商品の陳列状況を管理するシステムが存在する。

特開平５−３４２２３０号公報 特開平５−３３４４０９号公報 国際公開２０１２／０２９５４８

特許文献１の発明は，商品をどの陳列棚に陳列すべきかが知識のない者にもできるように支援するシステムである。そのため，実際の商品の陳列状況を把握することはできない。また特許文献２は，商品の陳列を支援する棚割支援システムにおいて，商品画像の入力を支援するシステムである。しかし特許文献２のシステムでは，棚割支援システムを利用する際の商品画像の入力を支援するのみであって，このシステムを用いたとしても，実際の陳列状況がどのような状況であるかを特定することはできない。

特許文献３は，陳列棚に空き空間がある場合に，その空き空間に陳列すべき商品を特定したり，陳列棚に陳列すべき商品を置き間違えた場合にそれを通知する発明である。この発明でも，商品と，陳列棚に陳列されている商品との画像マッチング処理を行って，陳列棚に陳列されている商品を特定しているが，認識精度が低いのが実情である。

陳列棚を撮影した画像に対して，標本画像をもとに画像認識技術を用いる場合，その画像認識の精度や処理負荷が問題となる。たとえば，陳列棚が設置されている店舗では，照明の状態が均一ではなく，標本画像の照明との差が大きいと，画像認識の精度が低下する。そのため，陳列棚を撮影した画像から，そこに陳列されている商品を特定することは容易ではない場合がある。また，画像認識には大きな処理負荷が発生するので，多大なリソースが必要となってしまう。そのため，投下資本が大きくなってしまう。

そこで本発明者らは，上記課題に鑑み，陳列棚に陳列されている商品を，従来よりも高精度に特定できる一方，処理負荷を少なくすることを可能とする商品特定システムを発明した。

第１の発明は，陳列棚に陳列している商品を特定するための商品特定システムであって，前記商品特定システムは，前記陳列棚を撮影した第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する前記陳列棚を撮影した第１の画像情報における所定範囲のフェイスの画像情報とを比較し，前記フェイスの画像情報の類似性が所定条件を充足している前記第１の画像情報におけるフェイスにある商品の商品識別情報を，前記第２の画像情報におけるフェイスにある商品の商品識別情報として特定し，前記第２の画像情報におけるフェイスに対応づけて商品識別情報記憶部に記憶させる商品識別情報特定処理部，を有しており，前記商品特定システムは，前記第２の画像情報における棚段の画像情報と，前記第１の画像情報における棚段の画像情報とを比較し，前記棚段の画像情報の類似性が所定条件を充足している場合には，前記商品識別情報特定処理部において，前記第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する前記第１の画像情報における所定範囲のフェイスの画像情報との比較を行わずに，前記第２の画像情報における前記棚段のフェイスの商品識別情報を，前記第１の画像情報における前記棚段のフェイスの商品識別情報として特定する，商品特定システムである。

画像情報のフェイスにおける商品を特定するためには，従来は，商品の標本画像情報と対比することが一般的であった。しかし，商品の標本画像情報と画像マッチング処理を行う場合，処理負荷が大きくなり，またその精度も高いとはいえない。一方，本発明のように，第１の画像情報におけるフェイスの画像情報と比較することによって，画像マッチング処理を大幅に減らせるので，処理負荷が少なくなる。また商品の配置は継続性があることも多いので，第１の画像情報におけるフェイスの画像情報と類似度が高ければ，同一の商品である可能性が高い。そのため，商品を特定する精度を向上させることもできる。
また，商品の動きがあまりない棚段や，逆にきわめて短いサイクルで管理される棚段がある。このような棚段は，一定期間ごとに撮影をする場合，各画像情報ではあまり変化が生じない。そのため，第２の画像情報における棚段の画像情報と，第１の画像情報における棚段の画像情報との類似性が高ければ，そこに置かれている商品は同一であると考えられる。そこで，本発明のように構成することで，第２の画像情報のフェイスについて，フェイス単位での処理を行わずとも，棚段ごとまとめて各フェイスの商品識別情報を特定することができる。これによって，処理負荷を掛けずに商品識別情報の特定が行える。

上述の発明において，前記商品識別情報特定処理部は，前記第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する前記第１の画像情報における所定範囲のフェイスの画像情報とを比較し，もっとも類似性が高くかつ一定の閾値以上である第１の画像情報におけるフェイスにある商品の商品識別情報を，前記第２の画像情報におけるフェイスにある商品の商品識別情報として特定する，商品特定システムのように構成することができる。

陳列棚に陳列されている商品について，その配置が変更されることもある。その場合，第２の画像情報におけるフェイスの商品識別情報を特定するにあたり，第１の画像情報におけるフェイスの画像情報との比較の結果，類似性が所定条件を充足していない場合もある。その場合には，本発明のように，第２の画像情報におけるフェイスの画像情報と標本画像情報とを比較することで，商品識別情報を特定することが好ましい。

上述の発明において，前記商品特定システムは，さらに，画像情報に対する棚段位置の特定を行う棚段位置特定処理部，を有しており，前記棚段位置特定処理部は，前記第２の画像情報における棚段の位置を，前記第１の画像情報における棚段の位置に基づいて特定する，商品特定システムのように構成することができる。

第２の画像情報における棚段の位置は，本発明のように，第１の画像情報における棚段の位置に基づいて特定することで，処理負荷を掛けずに特定できる。

第１の発明の商品特定システムは，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，陳列棚を撮影した第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する前記陳列棚を撮影した第１の画像情報における所定範囲のフェイスの画像情報とを比較し，前記フェイスの画像情報の類似性が所定条件を充足している前記第１の画像情報におけるフェイスにある商品の商品識別情報を，前記第２の画像情報におけるフェイスにある商品の商品識別情報として特定し，前記第２の画像情報におけるフェイスに対応づけて所定の記憶領域に記憶させる商品識別情報特定処理部，として機能させるための商品特定プログラムであって，前記商品特定プログラムは，前記第２の画像情報における棚段の画像情報と，前記第１の画像情報における棚段の画像情報とを比較し，前記棚段の画像情報の類似性が所定条件を充足している場合には，前記商品識別情報特定処理部において，前記第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する前記第１の画像情報における所定範囲のフェイスの画像情報との比較を行わずに，前記第２の画像情報における前記棚段のフェイスの商品識別情報を，前記第１の画像情報における前記棚段のフェイスの商品識別情報として特定する，商品特定プログラムである。

本発明の商品特定システムを用いることによって，陳列棚に陳列されている商品を，従来よりも高精度に特定できる一方，処理負荷を少なくすることを可能とする。

本発明の商品特定システムのシステム構成の一例を模式的に示すブロック図である。 本発明の商品特定システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。 本発明の商品特定システムにおける初期処理の処理プロセスの一例を示すフローチャートである。 本発明の商品特定システムにおける二回目以降の処理の処理プロセスの一例を示すフローチャートである。 Ｎ−１回目の撮影画像情報に対して特徴量採取領域を設定した状態の一例を示す図である。 Ｎ回目の撮影画像情報に対して，特徴量採取領域を設定した状態の一例を示す図である。 Ｎ−１回目の特徴量採取領域と，Ｎ回目の特徴量採取領域とのペアの関係を示す図である。 Ｎ−１回目の撮影画像情報における棚位置Ｃを，関数Ｆにより，Ｎ回目の撮影画像情報における棚位置Ｄとして射影する状態を示す図である。 指定を受け付けた棚段位置の一例を示す図である。 商品識別情報特定処理部におけるフェイス単位での商品識別情報の特定処理を模式的に示す図である。 撮影画像情報の一例を示す図である。 図１１の撮影画像情報に対して，棚位置Ｃ１乃至Ｃ４の入力を受け付けた状態の一例を示す図である。 図１１の撮影画像情報に台形補正処理を実行して正置化した正置画像情報の一例を示す図である。 図１３の正置画像情報に対して棚段位置の指定を受け付けた一例を示す図である。 フェイス位置を特定した正置画像情報の一例を示す図である。 Ｎ回目の撮影画像情報の一例を示す図である。 Ｎ−１回目の撮影画像情報に対して特徴量採取領域が設定された状態の一例を示す図である。 Ｎ回目の撮影画像情報に対して特徴量採取領域が設定された状態の一例を示す図である。 Ｎ回目の撮影画像情報において，棚位置Ｄ１乃至Ｄ４を特定した状態の一例を示す図である。 図１６の撮影画像情報に，特定した頂点Ｄ１乃至Ｄ４を用いて台形補正処理を実行して正置化した正置画像情報の一例を示す図である。 Ｎ回目の正置画像情報に写っている陳列棚の各棚段の位置を特定した状態の一例を示す図である。 フェイス位置を特定した正置画像情報の一例を示す図である。 Ｎ回目の正置画像情報におけるフェイスの画像情報と，そのフェイスに対応するＮ−１回目の正置画像情報におけるフェイスの画像情報との類似性の比較をすることで，商品識別情報を特定する処理を模式的に示す図である。 Ｎ回目の正置画像情報におけるフェイスの画像情報と，そのフェイスに対応するＮ−１回目の正置画像情報におけるフェイスおよびその周辺のフェイスの画像情報との類似性の比較をすることで，商品識別情報を特定する処理を模式的に示す図である。 標本画像情報記憶部に記憶する標本画像情報の一例を示す図である。

本発明の商品特定システム１のシステム構成の一例を図１に示す。商品特定システム１は，管理端末２と撮影画像情報入力端末３とを用いる。

管理端末２は，商品特定システム１を運営する企業等の組織が利用するコンピュータである。また，撮影画像情報入力端末３は，店舗の陳列棚を撮影した撮影画像情報の入力を管理端末２に行う。

商品特定システム１における管理端末２，撮影画像情報入力端末３は，コンピュータを用いて実現される。図２にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

撮影画像情報入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えていてもよい。撮影画像情報入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。

本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。

商品特定システム１における管理端末２は，撮影画像情報入力端末３とネットワークを介して情報の送受信が可能である。

商品特定システム１における管理端末２は，撮影画像情報入力受付処理部２０と撮影画像情報記憶部２１と台形補正処理部２２と頂点座標記憶部２３と正置画像情報記憶部２４と棚段位置特定処理部２５と棚段位置座標記憶部２６とフェイス特定処理部２７とフェイス座標記憶部２８と商品識別情報特定処理部２９と標本画像情報記憶部３０と商品識別情報記憶部３１と棚段画像マッチング処理部３２とを有する。

撮影画像情報入力受付処理部２０は，撮影画像情報入力端末３で撮影した店舗の陳列棚の画像情報（撮影画像情報）の入力を受け付け，後述する撮影画像情報記憶部２１に記憶させる。撮影画像情報入力端末３からは，撮影画像情報のほか，撮影日時，店舗名などの店舗識別情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。

撮影画像情報記憶部２１は，撮影画像情報入力受付処理部２０で受け付けた撮影画像情報，撮影日時，店舗識別情報，画像情報識別情報などを対応づけて記憶する。撮影画像情報とは，台形補正処理を実行する対象となる画像情報であればよく，一つの陳列棚を複数枚で撮影した場合に，それが一つの画像情報として合成された画像情報も含まれる。また，歪み補正処理が実行された後の画像情報も撮影画像情報に含まれる。

台形補正処理部２２は，撮影画像情報記憶部２１に記憶した撮影画像情報に対して台形補正処理を実行して正置化し，正置画像情報を生成する。正置画像情報は，正置画像情報記憶部２４に記憶させる。この際に，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報なども対応づけて記憶させるとよい。台形補正処理は，撮影画像情報に写っている陳列棚の棚段が水平に，そこに陳列されている商品が垂直になるように行う補正処理である。

台形補正処理部２２における台形補正処理としては，初回の台形補正処理と，二回目以降の台形補正処理とに分かれる。

台形補正処理部２２における初回の台形補正処理は，陳列棚の長方形の領域の４頂点の指定の入力を受け付ける。陳列棚の長方形の領域の４頂点としては，陳列棚の棚位置の４頂点であってもよいし，棚段の４頂点であってもよい。また，２段，３段の棚段のまとまりの４頂点であってもよい。ここで指定を受け付けた４頂点は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報と対応づけて頂点座標記憶部２３に記憶させる。そして台形補正処理部２２は，指定を受け付けた４頂点の座標に基づいて，撮影画像情報に対して台形補正処理を実行し，正置画像情報として正置画像情報記憶部２４に記憶させる。この際に，台形補正処理部２２は，正置画像情報に対応付けて，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報と対応づけて正置画像情報記憶部２４に記憶をさせる。指定を受け付けた４頂点の座標情報に基づく正置化の処理は公知の方法を用いることができる

撮影画像情報は，一定期間ごとに，同じような領域を同じような角度で撮影がされることが望ましい。しかし完全に同じ領域を同じ角度で撮影をすることはできない。そこで，台形補正処理部２２は，二回目以降の台形補正処理を以下のように実行をする。

まず，台形補正処理部２２は，Ｎ回目の撮影画像情報に対応する同じ（ほぼ同じ）領域を撮影したＮ−１回目の撮影画像情報の頂点座標を頂点座標記憶部２３から特定する。Ｎ回目の撮影画像情報に対応する同じ（ほぼ同じ）領域を撮影したＮ−１回目の撮影画像情報の頂点座標は，撮影画像情報に対応する店舗識別情報，画像識別情報，撮影日時情報などに基づいて特定をする。そして，Ｎ−１回目の撮影画像情報に対して，特定をした４頂点の頂点座標を含む所定の大きさの矩形領域，たとえば棚段の幅の１／５程度の正方形を特徴量採取領域２２０として設定をする。Ｎ−１回目の撮影画像情報に対して，特徴量採取領域２２０を設定した状態の一例を図５に示す。特徴量採取領域２２０は，頂点座標を含む矩形領域であればよい。一方，陳列棚の背景同士がマッチングをしてしまうと，撮影位置が少しずれるだけで背景が大きくずれてしまう。そこで，特徴量採取領域２２０は，なるべく陳列棚の内側を多く含む位置に設定することが好ましい。つまり，頂点座標は，特徴量採取領域２２０において，特徴量採取領域２２０の中心点よりも陳列棚の外側方向に位置していることが好ましい。たとえば，頂点座標の４点は左上，右上，左下，右下に位置する。そして，特徴量採取領域２２０の矩形領域を縦横の中心でそれぞれ２分割した合計４領域に分割すると，左上の頂点座標を含む特徴量採取領域２２０では，その頂点座標が矩形領域のうち左上の領域に位置するように特徴量採取領域２２０を設定する。同様に，右上の頂点座標を含む特徴量採取領域２２０では，その頂点座標が矩形領域のうち右上の領域に位置するように特徴量採取領域２２０を設定し，左下の頂点座標を含む特徴量採取領域２２０では，その頂点座標が矩形領域のうち左下の領域に位置するように特徴量採取領域２２０を設定し，右下の頂点座標を含む特徴量採取領域２２０では，その頂点座標が矩形領域のうち右下の領域に位置するように特徴量採取領域２２０を設定する。これによって，頂点座標は，特徴量採取領域２２０において，特徴量採取領域２２０の中心点よりも陳列棚の外側方向に位置することとなる。

つぎに，台形補正処理部２２は，Ｎ回目の撮影画像情報において，Ｎ−１回目の撮影画像情報に設定した特徴量採取領域２２０を内包し，Ｎ−１回目の撮影画像情報の特徴量採取領域２２０以上の大きさの特徴量採取領域２２１を設定する。Ｎ回目の撮影画像情報に設定する特徴量採取領域２２１は，短辺の１／２の大きさは超えない。さらに，撮影画像情報よりも外側に出る場合には，その範囲をトリミングする。Ｎ回目の撮影画像情報に対して特徴量採取領域２２１を設定した状態の一例を図６に示す。

そして台形補正処理部２２は，Ｎ−１回目の撮影画像情報に対して設定した各特徴量採取領域２２０において，局所特徴量を採取し，局所特徴量による特徴点とその座標のセットとを記憶する。また，Ｎ回目の撮影画像情報に対して設定した各特徴量採取領域２２１において，局所特徴量を採取し，局所特徴量による特徴点とその座標のセットとを記憶する。

台形補正処理部２２は，Ｎ−１回目の撮影画像情報の特徴量採取領域２２０における特徴点の局所特徴量と，Ｎ−１回目の撮影画像情報の特徴量採取領域２２０に対応する位置にあるＮ回目の撮影画像情報の特徴量採取領域２２１における特徴点の局所特徴量とを比較する。そして，Ｎ−１回目の撮影画像情報の各特徴点の各局所特徴量にもっとも近い，Ｎ回目の撮影画像情報の各局所特徴量の特徴点を特定する。そしてもっとも近い局所特徴量同士の特徴点をペアとし，ペアとなる局所特徴量による特徴点の座標を対応づける。なお，この際に，局所特徴量同士の近さ（類似性）があらかじめ定められた閾値未満のペアは除外をする。これによって，Ｎ−１回目の特徴量採取領域２２０における局所特徴量の特徴点と，Ｎ回目の特徴量採取領域２２１におけるもっとも近い局所特徴量の特徴点同士のペアを特定できる。Ｎ−１回目の特徴量採取領域２２０の局所特徴量の特徴点と，Ｎ回目の特徴量採取領域２２１の局所特徴量の特徴点とのペアの関係を図７に示す。図７では，Ｎ−１回目の特徴量採取領域２２０における局所特徴量による特徴点の点群をＡ，Ｎ回目の特徴量採取領域２２１における局所特徴量による特徴点の点群をＢ，Ｎ−１回目の台形補正処理に用いた頂点をＣで示している。

Ｎ−１回目の特徴量採取領域２２０における局所特徴量による特徴点の点群Ａの座標と，点群Ａに対応するＮ回目の特徴量採取領域２２１における局所特徴量による特徴点の点群Ｂの座標とに基づいて，点群Ａを点群Ｂに射影する関数Ｆ（アフィン変換）を求める。関数Ｆは，サンプリング推定を反復する，ロバスト推定の一種であるＯｐｅｎＣＶのＲＡＮＳＡＣを利用するなどの方法があるが，それらに限定しない。なお，射影の関係にある関係線からずれが大きいペアは処理対象から除外をする。

台形補正処理部２２において関数Ｆを求めたのち，台形補正処理部２２は，Ｎ−１回目の台形補正処理で用いた頂点Ｃの座標を，関数Ｆに基づいてＮ回目の撮影画像情報に射影し，Ｎ回目の台形補正処理のための頂点Ｄの座標として特定する。これを模式的に示すのが図８である。

以上の処理を各特徴量採取領域２２０，２２１に対して行うことで，Ｎ回目の撮影画像情報における台形補正処理のための棚位置の４頂点を特定する。そして，台形補正処理部２２は，特定した４頂点に基づいて，Ｎ回目の撮影画像情報に対する台形補正処理を実行して正置化し，正置画像情報を正置画像情報記憶部２４に記憶させる。この際に，台形補正処理部２２は，正置画像情報に対応付けて，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報と対応づけて正置画像情報記憶部２４に記憶をさせる。特定したＮ回目の撮影画像情報に対応する頂点の座標は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報と対応づけて頂点座標記憶部２３に記憶させる。

なお，台形補正処理部２２における台形補正処理で用いる頂点の特定処理は，本発明のように陳列棚を撮影した画像情報から商品を特定する場合に限らず，同一の撮影対象物を撮影した複数の画像情報を正置化し，正置画像情報を生成する画像処理システムにも適用することができる。これによって，同一の撮影対象物を撮影した複数の画像情報について，それぞれ正置化して，その撮影対象物の正置画像情報を生成することができる。

また，Ｎ回目の撮影画像情報における台形補正処理のための棚位置の４頂点を特定するため，上述では，Ｎ−１回目の撮影画像情報における特徴量採取領域２２０での局所特徴量による特徴点の点群Ａと，Ｎ回目の撮影画像情報における特徴量採取領域２２１での局所特徴量による特徴点の点群Ｂとを用いて関数Ｆを求め，Ｎ−１回目の台形補正処理で用いた頂点Ｃの座標を，関数ＦによりＮ回目の撮影画像情報に射影し，Ｎ回目の台形補正処理のための頂点Ｄの座標として特定する処理を説明した。しかし，かかる処理では，Ｎ−１回目の撮影画像情報と，Ｎ回目の撮影画像情報とにおいて，類似する画像情報の対応点の座標（位置）を見つければよいので，上記の方法にするものではなく，画像情報内の箇所を特定するタイプの特徴量であればいかなるものであってもよい。たとえば，画像情報内における尖った箇所，ハイライトのポイントなどがある。本明細書では，局所特徴量などの，画像情報内の箇所を特定する特徴量を画像特徴量（位置特定型画像特徴量）という。なお，本明細書の説明では，画像特徴量として，上述のように局所特徴量を用いる場合を説明する。

頂点座標記憶部２３は，台形補正処理部２２で台形補正処理を行うにあたり用いる４頂点の座標情報を記憶する。座標情報は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報と対応づけられている。

正置画像情報記憶部２４は，台形補正処理部２２で台形補正処理をした正置画像情報を記憶する。正置画像情報記憶部２４は，正置画像情報に，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報と対応づけて記憶させるとよい。

棚段位置特定処理部２５は，正置画像情報に写っている陳列棚における棚段について，その位置の入力を受け付ける。棚段位置の指定は，領域２２２の指定を受け付け，その４点を棚段位置の座標とする。受け付けた棚段の領域２２２を構成する座標は，棚段位置座標記憶部２６に記憶する。棚段の領域２２２を構成する座標は，撮影日時情報，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報に対応づけて記憶させるとよい。この座標は，正置画像情報における陳列棚内での所定箇所（たとえば陳列棚の左上の頂点Ｃ１）を基準とした相対座標である。図９に，指定を受け付けた棚段の領域２２２の一例を示す。また同一の陳列棚については，Ｎ−１回目の正置画像情報の棚段の領域２２２を構成する座標を，Ｎ回目の棚段の領域２２２を構成する座標として特定する。

棚段位置座標記憶部２６は，正置画像情報における棚段の領域２２２を構成する座標を記憶する。たとえば，棚段の領域２２２を構成する座標に，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報とを対応づけて記憶する。

フェイス特定処理部２７は，正置画像情報における棚段ごとに，商品が置かれているフェイスを特定する。フェイス特定処理部２７は，初回のフェイスの特定処理と，二回目以降のフェイスの特定処理とに分かれる。

フェイス特定処理部２７における初回のフェイスの特定処理は，棚段位置座標記憶部２６に記憶する棚段位置の座標で構成される領域２２２（好ましくは矩形領域）の範囲内において，商品が置かれている領域（フェイス）を特定する。具体的には，商品と商品との間の影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，フェイスの領域を特定する。フェイスの特定処理としては，商品のカテゴリや商品の形態によって，任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したフェイスに対して，担当者による修正入力を受け付けてもよい。さらに，担当者からフェイスの位置の入力を受け付けるのでもよい。特定したフェイスを構成する領域の座標は，フェイスフェイス座標記憶部２８に記憶させる。この際には，正置画像情報におけるフェイスの領域の座標に，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報とを対応づけて記憶させる。またフェイスの領域を示す座標としては，矩形領域を特定するために必要な頂点の座標であり，たとえば４点，または右上と左下，左上と右下の２点の座標でよい。

フェイス特定処理部２７における二回目以降のフェイスの特定処理は，同一の陳列棚の同一の棚段について，フェイス座標記憶部２８に記憶する前回（Ｎ−１回目）の正置画像情報で特定したフェイスの領域の座標を抽出し，その座標を今回（Ｎ回目）の正置画像情報で特定したフェイスの領域の座標とする。

フェイスの領域の座標は，棚段の位置の座標と同様に，正置画像情報における陳列棚内での所定箇所（たとえば陳列棚の左上の頂点Ｃ１）を基準とした相対座標である。

フェイス座標記憶部２８は，フェイスの領域の座標を記憶する。たとえば，正置画像情報におけるフェイスの領域の座標に，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報とを対応づけて記憶する。

商品識別情報特定処理部２９は，陳列棚の棚段ごとに，フェイスに表示されている商品の商品識別情報を特定する。商品識別情報としては，商品名のほか，その商品に対して割り当てられているＪＡＮコードなどがあるが，それに限定されない。商品を識別することができる情報であればいかなるものでもよい。

商品識別情報特定処理部２９は，初回の商品識別情報の特定処理と，二回目以降の商品識別情報の特定処理とに分かれる。

初回の商品識別情報の特定処理は，フェイスごとに，フェイスの画像情報と，後述する標本画像情報記憶部３０に記憶する商品の標本画像情報とマッチングすることで，そのフェイスに表示されている商品の商品識別情報を特定する。具体的には，まず，処理対象となるフェイスの座標をフェイス座標記憶部２８から特定する。そしてその座標で構成される領域の画像情報と，標本画像情報記憶部３０に記憶する標本画像情報との類似性を判定し，その類似性がもっとも高い標本画像情報に対応する商品識別情報を，上記座標で構成されるフェイスに表示されている商品の商品識別情報として特定をする。

ここでフェイスの画像情報と標本画像情報との類似性を判定するには，以下のような処理を行う。まず，商品識別情報特定処理部２９における商品識別情報の特定処理の前までの処理において，正置画像情報におけるフェイスの領域の画像情報と，標本画像情報との方向が同じ（横転や倒立していない）となっており，また，それぞれの画像情報の大きさがおおよそ同じとなっている（所定範囲以上で画像情報の大きさが異なる場合には，類似性の判定の前にそれぞれの画像情報の大きさが所定範囲内となるようにサイズ合わせをしておく）。そして，フェイスの画像情報と，標本画像情報との類似性は，フェイスの画像情報の画像特徴量（たとえば局所特徴量）に基づく特徴点と，標本画像情報との画像特徴量（たとえば局所特徴量）に基づく特徴点を，それぞれ抽出する。そして，フェイスの画像情報の特徴点と，標本画像情報の特徴点とでもっとも類似性が高いペアを検出し，それぞれで対応する点の座標の差を求める。そして，差の平均値を求める。差の平均値は，フェイスの画像情報と，標本画像情報との全体の平均移動量を示している。そして，すべての特徴点のペアの座標差を平均の座標差と比較し，外れ度合いの大きなペアを除外する。そして，残った対応点の数で類似性を順位付ける。

以上のような方法でフェイスの画像情報と，標本画像情報との類似性を算出できる。また，その精度を向上させるため，さらに，色ヒストグラム同士のＥＭＤ（Ｅａｒｔｈ Ｍｏｖｅｒｓ Ｄｉｓｔａｎｃｅ）を求め，類似性の尺度としてもよい。これによって，撮影された画像情報の明度等の環境変化に比較的強い類似性の比較を行うことができ，高精度で特定をすることができる。なお，類似性の判定は，上述に限定をするものではない。特定した商品識別情報は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部３１に記憶する。

商品識別情報特定処理部２９は，二回目以降の商品識別情報の特定処理を以下のように実行する。Ｎ回目の正置画像情報におけるフェイスの商品識別情報の特定処理は，まず処理対象となるフェイスのフェイス識別情報をフェイス座標記憶部２８から特定する。特定したフェイス識別情報をＸとする。そして，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と，フェイス識別情報Ｘに対応する位置にあるＮ−１回目の正置画像情報における領域の画像情報とを比較する。類似性の判定については，色ヒストグラム同士のＥＭＤを求め，類似性の尺度とすることが好ましいが，それに限定するものではない。その類似性が一定の閾値以上であれば，Ｎ−１回目の正置画像情報におけるその領域のフェイスに対応する商品識別情報を商品識別情報記憶部３１から抽出し，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの商品識別情報とする。これによって，処理対象となるＮ回目の正置画像情報におけるフェイス識別情報Ｘの商品識別情報を特定できる。もし類似性が一定の閾値未満であれば，初回の場合と同様に，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と，標本画像情報記憶部３０に記憶する標本画像情報とを比較して，類似性が所定の閾値以上で，かつ，もっとも類似性が高い商品識別情報を，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘのフェイスの商品識別情報として特定をする。

なお，Ｎ−１回目の正置画像情報におけるフェイスの領域の画像情報との比較において，対応するフェイスの位置との比較のみならず，所定範囲のフェイスを比較対象として含めてもよい。たとえばＮ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と比較する場合，比較対象としては，Ｎ−１回目の正置画像情報におけるフェイス識別情報Ｘの領域のほか，その領域から所定範囲にあるフェイスの領域，たとえばその左右方向に一または複数離隔している位置にあるフェイス，上下の棚段に位置するフェイスの領域も含めてもよい。さらに，Ｎ−１回目の正置画像情報におけるフェイス識別情報Ｘの領域のほか，フェイス識別情報Ｘ−２，Ｘ−１，Ｘ，Ｘ＋１，Ｘ＋２のように，複数の隣接するフェイスの領域を含めてもよい。

この場合，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と，Ｎ−１回目の正置画像情報における，比較対象となる範囲のフェイスの範囲の領域のそれぞれの画像情報とを比較し，もっとも類似性が高いＮ−１回目の正置画像情報のフェイス識別情報を特定する。なお，類似性は，類似性は一定の閾値以上であることを条件としてもよい。そして特定したＮ−１回目の正置画像情報のフェイス識別情報に対応する商品識別情報を商品識別情報記憶部３１から抽出し，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの商品識別情報とする。この処理を模式的に示すのが図１０である。図１０（ａ）は前回（Ｎ−１回目）の正置画像情報であり，図１０（ｂ）は今回（Ｎ回目）の正置画像情報である。そして，Ｎ回目の正置画像情報の棚段１の各フェイスの領域の画像情報と，Ｎ−１回目の正置画像情報の棚段１の各フェイスの領域の画像情報とをそれぞれ比較することで類似性を判定し，もっとも類似性が高いＮ−１回目の正置画像情報の棚段１のフェイスの商品識別情報を，Ｎ回目の正置画像情報の棚段１のフェイスの商品識別情報として特定をすることを示す。図１０では，Ｎ回目の正置画像情報のフェイスに対応する位置にあるＮ−１回目の正置画像情報のフェイスに加え，その左右２つずつのフェイスとの比較を行う場合を示している。なお同一棚段のみならず，上下の棚段のフェイス位置の画像情報との比較を行ってもよい。たとえば図１０の場合，Ｎ回目の正置画像情報の棚段２の中心のフェイス位置の商品識別情報を特定する際に，Ｎ−１回目の正置画像情報の棚段２の中心およびその左右２つずつのフェイスの領域の画像情報と比較するのみならず，Ｎ−１回目の正置画像情報の棚段１の中心およびその左右２つずつのフェイスの領域の画像情報，Ｎ−１回目の正置画像情報の棚段３の中心およびその左右２つずつのフェイスの領域の画像情報と類似性の比較を行ってもよい。

Ｎ−１回目の正置画像情報のフェイスの画像情報との比較の結果，類似性が閾値を充足しないなどによって商品識別情報を特定できなかった場合には，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘの領域の画像情報と，標本画像情報記憶部３０に記憶する標本画像情報とを比較して，類似性が所定の閾値以上で，かつ，もっとも類似性が高い商品識別情報を，Ｎ回目の正置画像情報におけるフェイス識別情報Ｘのフェイスの商品識別情報として特定をする。この場合の類似性の判定処理は，初回の商品識別情報の特定処理と同様に行える。

以上のようにして特定した商品識別情報は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部３１に記憶する。

標本画像情報記憶部３０は，正置画像情報に写っている陳列棚の棚段における各フェイスの商品がどの商品であるかを識別するための標本画像情報を記憶する。標本画像情報は，陳列棚に陳列される可能性のある商品を，上下，左右，斜めなど複数の角度から撮影をした画像情報である。図２５に標本画像情報記憶部３０に記憶される標本画像情報の一例を示す。図２５では，標本画像情報として，缶ビールをさまざまな角度から撮影をした場合を示しているが，缶ビールに限られない。標本画像情報記憶部３０は，標本画像情報と，商品識別情報とを対応付けて記憶する。

なお，標本画像情報記憶部３０には，標本画像情報とともに，または標本画像情報に代えて，標本画像情報から抽出された，類似性の算出に必要となる情報，たとえば画像特徴量とその位置のペアの情報を記憶していてもよい。標本画像情報には，類似性の算出に必要となる情報も含むとする。この場合，商品識別情報特定処理部２９は，フェイスの領域の画像情報と，標本画像情報とのマッチング処理を行う際に，標本画像情報について毎回，画像特徴量を算出せずともよくなり，計算時間を短縮することができる。

商品識別情報記憶部３１は，陳列棚の棚段の各フェイスに表示されている商品の商品識別情報を記憶する。たとえば，商品識別情報に対応付けて，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，フェイスを識別するためのフェイス識別情報に対応づけて商品識別情報記憶部３１に記憶する。

棚段画像マッチング処理部３２は，前回（Ｎ−１回目）の正置画像情報における棚段の領域２２２の画像情報と，今回（Ｎ回目）の正置画像情報における棚段の領域２２２の画像情報とに基づいて，その類似性が高ければその棚段における各フェイスの商品識別情報は同一と判定する。この類似性の判定処理は，上述のように，前回（Ｎ−１回目）の正置画像情報における棚段の領域２２２の画像情報の画像特徴量と，今回（Ｎ回目）の正置画像情報における棚段の領域２２２の画像情報とに基づく類似性の判定でもよいし，色ヒストグラム同士のＥＭＤを用いたものであってもよい。また，それらに限定するものではない。そして，商品識別情報特定処理部２９におけるフェイス単位ごとの特定処理ではなく，商品識別情報特定処理部２９に，Ｎ回目の正置画像情報におけるその棚段における各フェイスの商品識別情報を，Ｎ−１回目の同一の棚段における各フェイスの商品識別情報と同一として，商品識別情報記憶部３１に記憶させる。これによって，あまり商品の動きがない棚段や逆にきわめて短いサイクルで管理される棚段など，変化がほとんど生じない棚段についての処理を省略することができる。なお，棚段画像マッチング処理部３２による処理は設けなくてもよい。

つぎに，本発明の商品特定システム１を用いた処理プロセスの一例を図３および図４のフローチャートを用いて説明する。

まず初回の処理プロセスを図３のフローチャートを用いて説明する。

店舗の陳列棚が撮影された撮影画像情報は，撮影画像情報入力端末３から入力され，管理端末２の撮影画像情報入力受付処理部２０でその入力を受け付ける（Ｓ１００）。図１１に，撮影画像情報の一例を示す。また，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報の入力を受け付ける。そして，撮影画像情報入力受付処理部２０は，入力を受け付けた撮影画像情報，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報を対応づけて撮影画像情報記憶部２１に記憶させる。

管理端末２において所定の操作入力を受け付けると，台形補正処理部２２は撮影画像情報記憶部２１に記憶する撮影画像情報を抽出し，台形補正処理を行うための頂点である棚位置（陳列棚の位置）の４点Ｃ（Ｃ１乃至Ｃ４）の入力を受け付ける（Ｓ１１０）。図１１の撮影画像情報に対して，棚位置Ｃ１乃至Ｃ４の入力を受け付けた状態の一例を図１２に示す。入力を受け付けた棚位置の座標Ｃ１乃至Ｃ４は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報に対応づけて頂点座標記憶部２３に記憶させる。台形補正処理部２２は，入力を受け付けた棚位置（頂点Ｃ１乃至Ｃ４）の座標に基づいて，撮影画像情報に対する台形補正処理を実行し正置化して正置画像情報を生成する（Ｓ１２０）。生成した正置画像情報は，台形補正処理前の撮影画像情報に対応する撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報に対応づけて正置画像情報記憶部２４に記憶させる。図１１の撮影画像情報に台形補正処理を実行して正置化した正置画像情報を図１３に示す。

棚段位置特定処理部２５は，正置画像情報記憶部２４に記憶する正置画像情報を抽出し，棚段位置の指定の入力を受け付ける（Ｓ１３０）。指定を受け付けた棚段位置Ｔ（図９における領域２２２）の座標は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報に対応づけて棚段位置座標記憶部２６に記憶させる。指定を受け付けた棚段位置Ｔの一例を図１４に示す。図１４では，棚段１の棚段位置を座標Ｔ１１乃至Ｔ１４，棚段２の棚段位置を座標Ｔ２１乃至Ｔ２４，棚段３の棚段位置を座標Ｔ３１乃至Ｔ３４で指定を受け付け，その入力を受け付ける。各棚段は，それぞれの４点の座標で構成される矩形領域２２２となる。なお，棚段位置の座標は４点を記憶せずとも，Ｔ１１，Ｔ１４など矩形領域２２２を特定可能な２点であってもよい。

そして，フェイス特定処理部２７は，Ｓ１３０で入力を受け付けた棚段位置に基づいて，棚段ごとに，フェイスを特定する処理を実行する（Ｓ１４０）。具体的には，棚段１について，座標Ｔ１１乃至Ｔ１４で構成される矩形領域２２２の範囲内において，商品と商品との間の影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，フェイスを特定する。また，棚段２について座標Ｔ２１乃至Ｔ２４で構成される矩形領域２２２の範囲内において，および棚段３について座標Ｔ３１乃至Ｔ３４で構成される矩形領域２２２の範囲内において，棚段１と同様に，フェイスを特定する。フェイスを特定した正置画像情報の一例を図１５に示す。特定したフェイスの座標は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイスを識別するためのフェイス識別情報と対応付けてフェイス座標記憶部２８に記憶させる。たとえば図１５における棚段１の左端のフェイスの座標（Ｆ１１乃至Ｆ１４）を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイス識別情報に対応付けて記憶させる。なお，フェイスの座標は４点を記憶せずとも，Ｆ１１，Ｆ１４など矩形領域を特定可能な２点であってもよい。

以上のように正置画像情報における各棚段の各フェイスを特定すると，商品識別情報特定処理部２９は，フェイスごとに，標本画像情報記憶部３０に記憶する標本画像情報とマッチング処理を実行し，そのフェイスに表示されている商品の商品識別情報を特定する（Ｓ１５０）。すなわち，図１５における棚段１の左端のフェイスの場合，正置画像情報の座標Ｆ１１乃至Ｆ１４の矩形領域（この領域のフェイスのフェイス識別情報をＸとする）における画像情報と，標本画像情報記憶部３０に記憶する各標本画像情報とから，それぞれの画像特徴量を算出し，特徴点のペアを求めることで，類似性を判定する。そして，もっとも類似性の高い標本画像情報を特定し，そのときの類似性があらかじめ定められた閾値以上であれば，その標本画像情報に対応する商品識別情報を標本画像情報記憶部３０に基づいて特定する。そして，特定した商品識別情報を，そのフェイス識別情報Ｘのフェイスに表示されている商品の商品識別情報とする。そして商品識別情報特定処理部２９は，特定した商品識別情報を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイス識別情報に対応づけて商品識別情報記憶部３１に記憶する（Ｓ１６０）。

なお，すべてのフェイスの商品識別情報を特定できるとは限らない。そこで，特定できていないフェイスについては，商品識別情報の入力を受け付け，入力を受け付けた商品識別情報を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイス識別情報に対応づけて商品識別情報記憶部３１に記憶する。また，特定した商品識別情報の修正処理についても同様に，入力を受け付けてもよい。

以上のような処理を行うことで，撮影画像情報（図１１）に写っている陳列棚の棚段に陳列されている商品の商品識別情報を特定することができる。

つぎに，所定期間（たとえば一週間）経過後に，同一の陳列棚について，同じような領域を同じような角度で撮影した撮影画像情報について，本発明の処理プロセスを実行する場合を図４のフローチャートを用いて説明する。

店舗の陳列棚が撮影された撮影画像情報は，撮影画像情報入力端末３から入力され，管理端末２の撮影画像情報入力受付処理部２０でその入力を受け付ける（Ｓ２００）。図１６に，撮影画像情報の一例を示す。また，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報の入力を受け付ける。そして，撮影画像情報入力受付処理部２０は，入力を受け付けた撮影画像情報，撮影日時，店舗識別情報，画像情報識別情報を対応づけて撮影画像情報記憶部２１に記憶させる。

管理端末２において所定の操作入力を受け付けると，台形補正処理部２２は撮影画像情報記憶部２１に記憶する撮影画像情報を抽出し，台形補正処理を実行するための，棚位置の頂点Ｄ（Ｄ１乃至Ｄ４）を特定する処理を実行する（Ｓ２１０）。

今回（Ｎ回目）の撮影画像情報（図１６）に対応する同じまたはほぼ同じ領域を撮影した前回（Ｎ−１回目）の撮影画像情報の頂点座標を頂点座標記憶部２３から特定する。つまり，前回の撮影画像情報が図１１の場合，その頂点座標Ｃ１乃至Ｃ４を頂点座標記憶部２３から特定する。前回の撮影画像情報の頂点座標は，撮影日時，店舗識別情報，撮影画像情報の画像識別情報などに基づいて特定をすればよい。

台形補正処理部２２は，撮影画像情報記憶部２１からＮ−１回目の撮影画像情報（図１１）を抽出し，それぞれの頂点Ｃ１乃至Ｃ４について，頂点を一つずつ含む所定の大きさの矩形領域を特徴量採取領域２２０として，Ｎ−１回目の撮影画像情報に設定する。Ｎ−１回目の撮影画像情報に特徴量採取領域２２０を設定した状態を図１７に示す。

また，台形補正処理部２２は，撮影画像情報記憶部２１からＮ回目の撮影画像情報（図１６）を抽出し，Ｎ−１回目の特徴量採取領域２２０よりも広い範囲の特徴量採取領域２２１を，Ｎ回目の撮影画像情報に設定する。Ｎ回目の撮影画像情報に特徴量採取領域２２１を設定した状態を図１８に示す。Ｎ回目の撮影画像情報におけるそれぞれの特徴量採取領域２２１は，Ｎ−１回目の特徴量採取領域２２０を一つずつ含む。

そして台形補正処理部２２は，Ｎ−１回目の撮影画像情報に対して設定した各特徴量採取領域２２０において局所特徴量を採取し，局所特徴量による特徴点と座標のセットとを記憶する。また，Ｎ回目の撮影画像情報に対して設定した各特徴量採取領域２２１において局所特徴量を採取し，局所特徴量による特徴点と座標のセットとを記憶する。

台形補正処理部２２は，Ｎ−１回目の撮影画像情報の特徴量採取領域２２０での各特徴点の各局所特徴量にもっとも近いＮ回目の撮影画像情報の特徴量採取領域２２１での局所特徴量の特徴点を特定し，それらをペアとなる局所特徴量の特徴点として，それぞれの座標を対応付ける。図７に示すのがＮ−１回目のＮ−１回目の特徴量採取領域２２０と，Ｎ回目の特徴量採取領域２２１とのペアの関係である。

そして，Ｎ−１回目の特徴量採取領域２２０における局所特徴量による特徴点の点群をＡ，Ｎ回目の特徴量採取領域２２１における局所特徴量による特徴点の点群をＢ，Ｎ−１回目の台形補正処理に用いた頂点をＣ（Ｃ１乃至Ｃ４）とすると，台形補正処理部２２は，点群Ａと点群Ｂの座標とに基づいて，点群Ａを点群Ｂに射影する関数Ｆ（アフィン変換）を求める。

そして台形補正処理部２２は，Ｎ−１回目の台形補正処理で用いた頂点Ｃ（Ｃ１乃至Ｃ４）の座標を，求めた関数Ｆに基づいて射影し，Ｎ回目の台形補正処理のための頂点Ｄ（Ｄ１乃至Ｄ４）の座標として特定する。

以上の処理を各特徴量採取領域２２０，２２１に対して行うことで，Ｎ回目の台形補正処理のための４頂点Ｄ（Ｄ１乃至Ｄ４）が自動的に特定できる。特定したＮ回目の頂点Ｄ（Ｄ１乃至Ｄ４）の座標は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報に対応づけて頂点座標記憶部２３に記憶させる。特定された頂点Ｄ１乃至Ｄ４を示すのが図１９である。

以上のようにして，Ｎ回目の撮影画像情報に対する台形補正処理のための棚位置の頂点Ｄ（Ｄ１乃至Ｄ４）を特定すると，台形補正処理部２２は，頂点Ｄ（Ｄ１乃至Ｄ４）に基づいて，Ｎ回目の撮影画像情報に対して台形補正処理を実行する（Ｓ２２０）。そしてＮ回目の撮影画像情報を正置化した正置画像情報を，台形補正処理前の撮影画像情報に対応する撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報に対応づけて正置画像情報記憶部２４に記憶させる。図１６の撮影画像情報に対して，特定した頂点Ｄ（Ｄ１乃至Ｄ４）を用いて台形補正処理を実行して正置化した正置画像情報を図２０に示す。

そして棚段位置特定処理部２５は，Ｎ−１回目の正置画像情報に対応する棚段位置の座標を，棚段位置座標記憶部２６から抽出し，それを，Ｎ回目の正置画像情報（図２０）に写っている陳列棚の棚段位置の座標とする。すなわち，Ｎ−１回目の正置画像情報に対応する棚段１の座標Ｔ１１乃至Ｔ１４，棚段２の座標Ｔ２１乃至Ｔ２４，棚段３の座標Ｔ３１乃至Ｔ３４を抽出し，その座標を，Ｎ回目の正置画像情報の陳列棚の棚段１，棚段２，棚段３の座標として，それぞれの棚段位置を特定する（Ｓ２３０）。Ｎ回目の正置画像情報（図２０）に写っている陳列棚の各棚段の位置を特定した状態を図２１に示す。特定した棚段位置の座標は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報に対応付けて棚段位置座標記憶部２６に記憶させる。

以上のようにして特定した棚段位置に基づいて，フェイス特定処理部２７は，Ｎ−１回目の各棚段における各フェイスの座標Ｆおよびフェイス識別情報をフェイス座標記憶部２８から抽出し，Ｎ回目の各棚段におけるフェイスの座標Ｆおよびフェイス識別情報として特定する（Ｓ２４０）。特定したフェイスの座標およびフェイス識別情報は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報に対応付けて記憶させる。これによって，Ｎ回目の正置画像情報における各棚段についても，Ｎ−１回目の正置画像情報と同様に，それぞれのフェイスおよびその座標が特定できる。これを模式的に示すのが図２２である。

そして棚段画像マッチング処理部３２は，Ｎ回目の正置画像情報の棚段の画像情報と，Ｎ−１回目の正置画像情報の棚段の画像情報との類似性を判定する（Ｓ２５０）。すなわち，Ｎ回目の正置画像情報の棚段１の画像情報（座標Ｔ１１乃至Ｔ１４の領域の画像情報）と，Ｎ−１回目の正置画像情報の棚段１の画像情報（座標Ｔ１１乃至Ｔ１４の領域の画像情報）とを，色ヒストグラム同士のＥＭＤを求め，類似性を判定する。

もしＮ回目の正置画像情報の棚段１の画像情報と，Ｎ−１回目の正置画像情報の棚段１の画像情報とが類似と判定できた場合（Ｓ２６０），商品識別情報特定処理部２９は，Ｎ−１回目の正置画像情報の棚段１のそれぞれのフェイスの商品識別情報を商品識別情報特定処理部２９から抽出し，Ｎ回目の正置画像情報の棚段１のそれぞれ対応する位置にあるフェイスの商品識別情報として特定する（Ｓ２７０）。そして商品識別情報特定処理部２９は，特定したフェイスの商品識別情報を，商品識別情報記憶部３１に記憶させる。

一方，棚段画像マッチング処理部３２におけるＮ回目の正置画像情報の棚段の画像情報と，Ｎ−１回目の正置画像情報の棚段の画像情報との類似性の判定の結果，類似と判定できなかった場合（Ｓ２６０），商品識別情報記憶部３１は，その棚段におけるフェイス単位での商品識別情報の特定処理を実行する（Ｓ２８０）。

すなわち，Ｎ回目の正置画像情報におけるフェイスの画像情報と，そのフェイスに対応するＮ−１回目の正置画像情報におけるフェイスおよびそのフェイスから所定範囲のフェイスの画像情報とを比較し，もっとも類似性が高いＮ−１回目の正置画像情報のフェイスを特定する。そしてその類似性が一定の閾値以上であれば，Ｎ回目の正置画像情報におけるフェイスの商品識別情報を，当該特定したＮ−１回目の正置画像情報におけるフェイスに対応する商品識別情報として特定する。この処理を模式的に示すのが図２３および図２４である。図２３は，Ｎ回目の正置画像情報におけるフェイスの画像情報と，そのフェイスに対応するＮ−１回目の正置画像情報におけるフェイスの画像情報との類似性の比較をすることで，商品識別情報を特定する処理を示している。図２４は，Ｎ回目の正置画像情報におけるフェイスの画像情報と，そのフェイスに対応するＮ−１回目の正置画像情報におけるフェイスおよび左右１個ずつのフェイスの画像情報との類似性の比較をすることで，商品識別情報を特定する処理を示している。なお，図２４に示すように，Ｎ−１回目の正置画像情報における同一の棚段で対応するフェイスのみならず，その左右に所定数分のフェイス，その棚段の上下に位置する棚段におけるフェイスを類似性の比較対象としてもよい。

もしもっとも類似性が高いＮ−１回目の正置画像情報のフェイスについて，その類似性が一定の閾値を充足していなければ，そのフェイスの商品識別情報を未確定とする。そして，商品識別情報特定処理部２９は，そのフェイスの領域の画像情報と，標本画像情報記憶部３０に記憶する各標本画像情報と画像マッチング処理を実行することで，商品識別情報を特定する（Ｓ２９０）。

以上のようにして特定したフェイスごとの商品識別情報を，商品識別情報特定処理部２９は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイス識別情報に対応づけて商品識別情報記憶部３１に記憶する（Ｓ３００）。

なお，すべてのフェイスの商品識別情報を特定できるとは限らない。そこで，特定できていないフェイスについては，商品識別情報の入力を受け付け，入力を受け付けた商品識別情報を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，フェイス識別情報に対応づけて商品識別情報記憶部３１に記憶する。また，特定した商品識別情報の修正処理についても同様に，入力を受け付けてもよい。

以上のような処理を行うことで，撮影画像情報（図１６）に写っている陳列棚の棚段に陳列されている商品の商品識別情報を特定することができる。また，二回目以降の撮影画像情報については，台形補正処理のための頂点を自動的に特定できるので，担当者による作業を軽減することができる。また，フェイスの画像情報を，標本画像情報と比較するのではなく，前回の同一またはそこから所定範囲の位置にあるフェイスの画像情報と比較することで，画像マッチング処理を減らすことができるとともに，商品の特定精度を向上させることができる。

なお，Ｎ回目の撮影画像情報に対する処理については，Ｎ−１回目の撮影画像情報または正置画像情報での処理結果を用いることが好ましいが，任意のタイミングで，初回の場合と同様の処理を実行することで，自動処理によるデータのズレを元に修正することができる。

本発明の商品特定システム１を用いることによって，陳列棚に陳列されている商品を，従来よりも高精度に特定できる一方，処理負荷を少なくすることを可能とする。

１：商品特定システム
２：管理端末
３：撮影画像情報入力端末
２０：撮影画像情報入力受付処理部
２１：撮影画像情報記憶部
２２：台形補正処理部
２３：頂点座標記憶部
２４：正置画像情報記憶部
２５：棚段位置特定処理部
２６：棚段位置座標記憶部
２７：フェイス特定処理部
２８：フェイス座標記憶部
２９：商品識別情報特定処理部
３０：標本画像情報記憶部
３１：商品識別情報記憶部
３２：棚段画像マッチング処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
２２０：Ｎ−１回目の撮影画像情報における特徴量採取領域
２２１：Ｎ回目の撮影画像情報における特徴量採取領域
２２２：棚段の領域
Ａ：Ｎ−１回目の撮影画像情報における局所特徴量の点群
Ｂ：Ｎ回目の撮影画像情報における局所特徴量の点群
Ｃ：Ｎ−１回目の撮影画像情報における棚位置
Ｄ：Ｎ回目の撮影画像情報における棚位置
Ｔ：棚段位置

Claims (5)

1. 陳列棚に陳列している商品を特定するための商品特定システムであって，
   前記商品特定システムは，
   前記陳列棚を撮影した第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する前記陳列棚を撮影した第１の画像情報における所定範囲のフェイスの画像情報とを比較し，前記フェイスの画像情報の類似性が所定条件を充足している前記第１の画像情報におけるフェイスにある商品の商品識別情報を，前記第２の画像情報におけるフェイスにある商品の商品識別情報として特定し，前記第２の画像情報におけるフェイスに対応づけて商品識別情報記憶部に記憶させる商品識別情報特定処理部，を有しており，
   前記商品特定システムは，
   前記第２の画像情報における棚段の画像情報と，前記第１の画像情報における棚段の画像情報とを比較し，前記棚段の画像情報の類似性が所定条件を充足している場合には，前記商品識別情報特定処理部において，前記第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する前記第１の画像情報における所定範囲のフェイスの画像情報との比較を行わずに，前記第２の画像情報における前記棚段のフェイスの商品識別情報を，前記第１の画像情報における前記棚段のフェイスの商品識別情報として特定する，
   ことを特徴とする商品特定システム。
2. 前記商品識別情報特定処理部は，
   前記第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する前記第１の画像情報における所定範囲のフェイスの画像情報とを比較し，もっとも類似性が高くかつ一定の閾値以上である第１の画像情報におけるフェイスにある商品の商品識別情報を，前記第２の画像情報におけるフェイスにある商品の商品識別情報として特定する，
   ことを特徴とする請求項１に記載の商品特定システム。
3. 前記商品特定システムは，さらに，
   商品の標本画像情報を記憶する標本画像情報記憶部，を有しており，
   前記商品識別情報特定処理部は，さらに，
   前記第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する前記第１の画像情報における所定範囲のフェイスの画像情報との比較の結果，類似性が所定条件を充足していない場合には，前記第２の画像情報におけるフェイスの画像情報と，前記標本画像情報記憶部に記憶する標本画像情報とを比較することで，前記第２の画像情報におけるフェイスにある商品の商品識別情報を特定する，
   ことを特徴とする請求項１または請求項２に記載の商品特定システム。
4. 前記商品特定システムは，さらに，
   画像情報に対する棚段位置の特定を行う棚段位置特定処理部，を有しており，
   前記棚段位置特定処理部は，
   前記第２の画像情報における棚段の位置を，前記第１の画像情報における棚段の位置に基づいて特定する，
   ことを特徴とする請求項１から請求項３のいずれかに記載の商品特定システム。
5. コンピュータを，
   陳列棚を撮影した第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する前記陳列棚を撮影した第１の画像情報における所定範囲のフェイスの画像情報とを比較し，前記フェイスの画像情報の類似性が所定条件を充足している前記第１の画像情報におけるフェイスにある商品の商品識別情報を，前記第２の画像情報におけるフェイスにある商品の商品識別情報として特定し，前記第２の画像情報におけるフェイスに対応づけて所定の記憶領域に記憶させる商品識別情報特定処理部，として機能させるための商品特定プログラムであって，
   前記商品特定プログラムは，
   前記第２の画像情報における棚段の画像情報と，前記第１の画像情報における棚段の画像情報とを比較し，前記棚段の画像情報の類似性が所定条件を充足している場合には，前記商品識別情報特定処理部において，前記第２の画像情報におけるフェイスの画像情報と，そのフェイスに対応する前記第１の画像情報における所定範囲のフェイスの画像情報との比較を行わずに，前記第２の画像情報における前記棚段のフェイスの商品識別情報を，前記第１の画像情報における前記棚段のフェイスの商品識別情報として特定する，
   ことを特徴とする商品特定プログラム。