JP6875760B1 - 絞込処理システム - Google Patents

Abstract

【課題】本発明は，画像情報に写っている商品を同定するための比較処理の際の比較対象を絞り込むための絞込処理システムを提供することを目的とする。【解決手段】画像情報に写る商品を同定するための絞込処理システムであって，絞込処理システムは，画像情報において，商品の標本情報と比較するフェイス領域を特定する画像情報処理部と，フェイス領域についてあらかじめ定めた絞込要因の判定結果と，商品の絞込要因情報とを用いることで，比較対象とする商品を絞り込む絞込処理部と，絞込をした商品の標本情報と，フェイス領域の画像情報および／またはその特徴量とを比較する比較処理部と，を有する絞込処理システムである。【選択図】 図１

Description

本発明は，画像情報に写っている商品を同定するための比較処理の際の比較対象を絞り込むための絞込処理システムに関する。

商品が店舗のどこにどの商品が陳列されているかを確認することは，商品のマーケティング戦略の観点から非常に重要な情報である。そのため，店舗のどこにどの程度商品が陳列されているかを，商品のメーカは，定期的に調査をしている。

この調査としてはさまざまな方法があるが，たとえば実際にオペレータが店舗に赴き，一つ一つ商品の陳列場所を確認する方法がある。この方法の場合，確実性は高いが，オペレータが目視により確認をおこなうため，オペレータの作業負担が極めて大きい。

そこで，商品の陳列棚を撮影した画像情報に，調査対象とする商品が写っているかを判定することで，その商品が陳列されていたかを判定する方法がある。

このように，画像情報に商品が写っているかを判定する場合には，通常，処理対象となる商品があらかじめ撮影，登録された画像情報と，陳列棚を撮影して得られた商品の画像情報との画像マッチング処理を実行することが一般的である。たとえば，下記特許文献１には，商品ごとの登録画像をもとに，自動販売機を撮影した画像情報に対して画像認識技術を用いることで，自動販売機が取り扱う商品を把握するシステムが開示されている。

特開２０１４−１９１４２３号公報

特許文献１の具体的な処理は，複数の方向から自動販売機を撮影し，撮影した各画像の位置関係を合わせた後，撮影した各画像を重畳することで合成画像を生成する。そして，生成した合成画像に，自動販売機に陳列される可能性のある商品を表す登録画像を比較することで，自動販売機が取り扱う商品を特定している。

合成画像と，商品を表す登録画像との比較処理（マッチング処理）の際には，それぞれの特徴量を用いることで処理を実行することが一般的である。しかし，比較対象とする商品が多くなる場合，登録画像の数が多くなり，比較処理（マッチング処理）に要する計算時間が膨大となる課題がある。

すなわち，従来は，撮影した画像から商品があると推定される領域の画像情報と，各商品の基準の画像情報とを比較処理（マッチング処理）することで当該領域にあると推定される商品の識別情報を特定している。しかし，比較処理（マッチング処理)は当該領域の画像情報の画像特徴量と，比較対象となる極めて多数（たとえば数千から数万程度）の商品の基準の画像情報の画像特徴量との類似性を比較することになるため，コンピュータにかかる処理負荷が極めて大きく，また処理時間も要することとなる。また，この比較処理（マッチング処理）の精度には限界があり，商品の基準の画像情報の母集団が大きければ大きいほど，その精度は低下する。

そこで比較処理（マッチング処理）で一つの商品に特定するのではなく，候補となる，正解の可能性の高い複数の商品を選択して提示し，最終的には人手によって当該領域にあると推定される商品を特定することも考えられる。この場合，人が最終決定をするので，商品を特定する精度は向上するが，候補となる商品を適切に，とくに上位に提示しなければ，その作業効率は大幅に悪化してしまうこととなる。

そこで本発明者は上記課題に鑑み，比較処理（マッチング処理）における比較対象とする商品の基準の画像情報を絞り込んだ上で，比較処理（マッチング処理）を行うことで，コンピュータの処理負荷，処理時間の削減を図ることができる絞込処理システムを発明した。また，候補を提示する場合には，正解となる商品を上位に提示することができるようにする絞込処理システムを発明した。

第１の発明は，画像情報に写る商品を同定するための絞込処理システムであって，前記絞込処理システムは，画像情報において，商品の標本情報と比較するフェイス領域を特定する画像情報処理部と，前記フェイス領域についてあらかじめ定めた絞込要因の判定結果と，前記商品の絞込要因情報とを用いることで，比較対象とする商品を絞り込む絞込処理部と，前記絞込をした商品の標本情報と，前記フェイス領域の画像情報および／またはその特徴量とを比較する比較処理部と，前記比較処理部で出力した前記フェイス領域に写る商品の候補のうち，正解となる商品があるか否かを示す情報を受け付ける商品選択受付処理部，とを有しており，前記絞込処理部は，前記商品選択受付処理部において，正解となる商品がないことを示す情報を受け付けると，最初の絞込処理の判定結果を所定の基準で変更した判定結果と，前記商品の絞込要因情報とを用いることで，つぎに比較対象とする商品を絞り込む，絞込処理システムである。

本発明のように処理を実行することで，フェイス領域の画像情報，特徴量と比較する商品の標本情報を減らすことができるので，コンピュータの処理負荷，処理時間の削減を図ることができる。
比較処理部における比較処理の対象となる商品を絞り込むためには，本発明のような構成を備えることが好ましい。また候補となる商品を提示する際には，最初の絞込処理部で出力した商品に正解が含まれていない場合，比較処理部での比較処理の結果は精度が高いにもかかわらず，一致をしていないので，絞込処理部に誤りがあった可能性の方が高い。そこで，正解が含まれていない場合には，絞込処理部での絞込処理の判定結果を変更した判定結果に基づいて，比較処理部における比較対象とする商品を再度絞り込むことで，正解となる商品を上位に提示しやすくなる。

上述の発明において，前記絞込処理部は，前記商品選択受付処理部において，正解となる商品がないことを示す情報を受け付けると，最初の絞込処理の判定結果を前記絞込要因の優先度に基づいて変更した判定結果と，前記商品の絞込要因情報とを比較して，つぎに比較対象とする商品を絞り込む，絞込処理システムのように構成することができる。

比較処理部における比較処理の対象となる商品を絞り込むためには，本発明のような構成を備えることが好ましい。

上述の発明において，前記絞込処理部は，前記商品選択受付処理部において，正解となる商品がないことを示す情報を受け付けると，最初の絞込処理の判定結果を前記絞込要因の優先度に基づいて変更した判定結果と，前記商品の絞込要因情報と比較し，かつ前記絞込要因に誤判定の履歴がある商品を，つぎに比較対象とする商品として絞り込む，絞込処理システムのように構成することができる。

誤判定の履歴がある商品は，絞込処理の過程において誤りが発生しやすい商品である。そのため，再度の絞込処理を行う場合には，単に最初の絞込処理の判定結果を変更した判定結果と比較するのみならず，誤判定の履歴がある商品でも絞り込むことで，絞込の精度を向上させることができる。

第４の発明は，画像情報に写る商品を同定するための絞込処理システムであって，前記絞込処理システムは，画像情報において，商品の標本情報と比較するフェイス領域を特定する画像情報処理部と，前記フェイス領域についてあらかじめ定めた絞込要因の判定結果と，前記商品の絞込要因情報とを用いることで，比較対象とする商品を絞り込む絞込処理部と，前記絞込をした商品の標本情報と，前記フェイス領域の画像情報および／またはその特徴量とを比較する比較処理部と，を有しており，前記絞込処理部は，前記フェイス領域の縦横比，前記フェイス領域における支配色の明度・彩度，前記フェイス領域における支配色の色相のうちいずれか一以上を含む，絞込処理システムである。

本発明のように処理を実行することで，フェイス領域の画像情報，特徴量と比較する商品の標本情報を減らすことができるので，コンピュータの処理負荷，処理時間の削減を図ることができる。
絞込要因にはさまざまな要因を用いることができるが，たとえば本発明の要因を用いるとよい。

第１の発明の絞込処理システムは，本発明のプログラムをコンピュータに読み込ませて実行することで，実現することができる。すなわち，コンピュータを，画像情報において，商品の標本情報と比較するフェイス領域を特定する画像情報処理部，前記フェイス領域についてあらかじめ定めた絞込要因の判定結果と，前記商品の絞込要因情報とを用いることで，比較対象とする商品を絞り込む絞込処理部，前記絞込をした商品の標本情報と，前記フェイス領域の画像情報および／またはその特徴量とを比較する比較処理部，前記比較処理部で出力した前記フェイス領域に写る商品の候補のうち，正解となる商品があるか否かを示す情報を受け付ける商品選択受付処理部，として機能させ，前記絞込処理部は，前記商品選択受付処理部において，正解となる商品がないことを示す情報を受け付けると，最初の絞込処理の判定結果を所定の基準で変更した判定結果と，前記商品の絞込要因情報とを用いることで，つぎに比較対象とする商品を絞り込む，絞込処理プログラムのように構成することができる。
第４の発明の絞込処理システムは，本発明のプログラムをコンピュータに読み込ませて実行することで，実現することができる。すなわち，コンピュータを，画像情報において，商品の標本情報と比較するフェイス領域を特定する画像情報処理部，前記フェイス領域についてあらかじめ定めた絞込要因の判定結果と，前記商品の絞込要因情報とを用いることで，比較対象とする商品を絞り込む絞込処理部，前記絞込をした商品の標本情報と，前記フェイス領域の画像情報および／またはその特徴量とを比較する比較処理部，として機能させ，前記絞込処理部は，前記フェイス領域の縦横比，前記フェイス領域における支配色の明度・彩度，前記フェイス領域における支配色の色相のうちいずれか一以上を含む，絞込処理プログラムのように構成することができる。

本発明の絞込処理システムを用いることによって，陳列棚などを撮影した画像情報に写っている商品を同定する際に，比較対象を絞り込んで比較処理（マッチング処理）を行うことができ，コンピュータの処理負荷，処理時間の削減を図ることができる。また，候補を提示する場合には，正解となる商品を上位に提示することができるようになる。

本発明の絞込処理システムの全体の処理機能の一例を模式的に示すブロック図である。 本発明の絞込処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。 本発明の絞込処理システムにおける処理プロセスの一例を示すフローチャートである。 商品情報記憶部の一例を模式的に示す図である。 絞込処理部における絞込処理以降の処理の概念図を示す図である。 実施例２における誤判定事例集を含む商品情報記憶部の一例を模式的に示す図である。 実施例２における絞込処理システムにおける処理プロセスの一例を示すフローチャートである。 実施例２における絞込処理部における絞込処理以降の処理の概念図を示す図である。

本発明の絞込処理システム１の全体の処理機能の一例のブロック図を図１に示す。絞込処理システム１は，管理端末２と入力端末３とを用いる。

管理端末２は，絞込処理システム１の中心的な処理機能を実現するコンピュータである。また，入力端末３は，店舗の陳列棚などを撮影した画像情報を取得する端末である。また，後述する比較処理（マッチング処理）で用いる標本とする商品などを撮影し，取得してもよい。

絞込処理システム１における管理端末２，入力端末３は，コンピュータを用いて実現される。図２にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えていてもよい。入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。入力端末３は，撮影装置で可視光などによる画像情報（後述する撮影画像情報または商品画像情報）を撮影する。

本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していてもよい。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。また，管理端末２における機能の一部または全部を入力端末３で実行してもよい。

絞込処理システム１は，画像情報入力受付処理部２０と画像情報記憶部２１と画像情報処理部２２と商品情報記憶部２３と絞込処理部２４と比較処理部２５と商品選択受付処理部２６とを有する。

画像情報入力受付処理部２０は，入力端末３で撮影した画像情報（撮影画像情報）の入力を受け付け，後述する画像情報記憶部２１に記憶させる。たとえば店舗の陳列棚の撮影画像情報の入力を受け付け，画像情報記憶部２１に記憶させる。入力端末３からは，撮影画像情報のほか，撮影日時，撮影対象を示す情報，たとえば店舗名などの店舗識別情報，陳列棚を識別する情報，陳列棚の棚段を識別する情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。

画像情報記憶部２１は，入力端末３から受け付けた撮影画像情報などを対応づけて記憶する。

画像情報処理部２２は，画像情報入力受付処理部２０で受け付けた撮影画像情報について，撮影画像情報を正対した状態とする正置化処理，撮影画像情報から標本情報と比較処理（マッチング処理）を実行する領域（フェイス領域）を特定するフェイス処理を実行する。

正置化処理とは，陳列棚や商品を撮影する場合には，陳列棚や商品を正対した状態で撮影することは困難であることから，それを正対した状態に補正する処理であり，撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って，十分に遠方から撮影した場合と同じになるように画像情報を変形させる処理である。このような補正処理の一例として台形補正処理がある。なお，画像情報に歪みがある場合，歪み補正処理を付加してもよい。

なお，撮影画像情報が正対した状態で撮影された画像情報である場合，あるいは歪みがない場合には，正置化処理，歪み補正処理を実行しなくてもよい。

撮影画像情報とは，本発明の処理対象となる画像情報であればよい。正置化処理や歪み補正処理などの撮影画像情報に対する補正処理が実行された後の画像情報も撮影画像情報に含まれる。

また，画像情報処理部２２は，撮影対象を撮影する際に，複数枚で撮影した場合，それを一つの画像情報に合成する処理を実行し，合成処理を実行した画像情報に対して，正置化処理，フェイス処理を実行してもよい。また各撮影画像情報に対して正置化処理を実行し，それを一つの画像情報に合成し，それに対してフェイス処理を実行してもよい。複数枚の画像情報を一つの画像情報に合成する処理としては，公知の手法を用いることもできる。一つの画像情報に合成する処理が実行された後の画像情報も撮影画像情報に含まれる。

フェイス処理とは、撮影画像情報において，後述する標本情報と比較処理を実行するための領域（フェイス領域）を特定する。商品の陳列棚を撮影した撮影画像情報に写っていする商品を同定する場合，フェイス領域として，陳列棚に陳列されている商品の領域や商品のラベルの領域を特定する。商品がペットボトル飲料の場合には，商品のラベルの領域をフェイス領域とし，商品が箱に入った商品（たとえば菓子）の場合には，商品のパッケージ全体をフェイス領域とするなど，商品に応じて，適宜，フェイス領域を設定できる。なお，商品がペットボトル飲料の場合にも，商品の外形若しくはその外形を含む矩形の領域をフェイス領域としてもよい。

フェイス領域の特定方法はさまざまな方法があり，商品の特性に合わせて任意に設定することができる。陳列棚を撮影した撮影画像情報から商品のラベルの領域をフェイス領域として特定する場合には，たとえば，陳列棚の棚段と棚段の間の領域（棚段領域）における商品と商品との間に生じる縦の細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，商品の領域を特定する。そして，その商品の領域の中から，所定の矩形領域をラベルの領域として特定し，その領域をフェイス領域として特定する。

フェイス領域の特定方法は，商品のカテゴリや商品の形態によって任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したフェイス領域に対して，オペレータによる修正入力を受け付けてもよい。さらに，オペレータからフェイス領域の位置の入力を受け付けるのでもよい。

画像情報処理部２２は，深層学習（ディープラーニング）を用いてフェイス領域を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記撮影画像情報を入力し，その出力値に基づいて，フェイス領域を特定する。また学習モデルとしては，さまざまな撮影画像情報にフェイス領域を正解データとして与えたものを用いることができる。

以下の説明では，フェイス処理として，ディープラーニングを用いてフェイス領域を特定する場合を説明する。

フェイス処理では，フェイス領域における商品の属性情報の特定処理を行うとよい。フェイス領域における商品の属性情報の特定処理は，フェイス領域における画像情報に対して，以下のような処理を実行することで行える。たとえば上述のように，フェイス領域に写っている商品のシェイプ（形状），縦横比などを特定するほか，フェイス領域の画像情報に対してＯＣＲ認識処理を行うことで，フェイス領域にある文字列を特定してもよいし，フェイス領域における画像情報の色情報（色相，明度，彩度を含む色情報）とその面積の構成比率を特定してもよい。

また，フェイス処理では，フェイス領域におけるロゴ（メーカロゴ，ブランドロゴなど）を特定してもよい。ロゴの特定処理としては，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記撮影画像情報を入力し，その出力値に基づいて，フェイス領域におけるロゴ（メーカロゴ，ブランドロゴなど）を特定してもよい。また学習モデルとしては，さまざまな撮影画像情報のフェイス領域におけるメーカロゴ，ブランドロゴを正解データとして与えたものを用いることができる。さらに，ニューラルネットワークを用いたロゴの特定処理のほか，あらかじめ，上述の学習モデルとして与える正解データ（さまざまな撮影画像情報のフェイス領域におけるロゴを与えたもの）における特徴量（この特徴量は，色情報や局所特徴量など複数であってもよい）と，撮影画像情報のフェイス領域におけるロゴ以外の特徴量とを抽出しておき，それぞれを正例，負例として，ＳＶＭ（サポートベクターマシン support vector machine）などの判定モジュール（判定機）を構成する。そしてこのＳＶＭなどの判定モジュールに対して，フェイス領域の画像情報の各点，たとえばフェイス領域の画像情報を所定の大きさのメッシュに分割してそのメッシュ内の点を入力し，各点についてロゴの領域に属しているか否かを判定させる。この判定結果において，ロゴの領域に属していると判定したメッシュの領域を囲む領域をロゴとして特定をする。

加えて，フェイス処理におけるロゴの特定処理としては，フェイス領域の画像情報（またはその特徴量）と，ロゴの画像情報（またはその特徴量）とのパターンマッチングで，フェイス領域におけるロゴの特定処理を行うこともできる。

フェイス領域からロゴを特定する処理としては上記の方法に限定されず，ほかの方法を用いてもよい。また上記の方法あるいはほかの方法のうち複数を組み合わせて特定してもよい。

画像情報処理部２２は，以上のように特定したフェイス領域を切り出す。フェイス領域を切り出すとは，撮影画像情報から特定したフェイス領域を実際に切り出してもよいし，後述の比較処理の処理対象としてその領域を設定することも含まれる。

フェイス領域を切り出す場合には，上述の各処理で特定したフェイス領域をそのまま切り出してもよいし，複数の方法によりフェイス領域の特定を行い，各方法で特定したフェイス領域の結果を用いて切り出す対象とするフェイス領域を特定してもよい。たとえば，陳列棚の棚段と棚段の間の領域（棚段領域）における商品と商品との間に生じる縦の細く狭い陰影を特定することで商品の領域を特定し，その領域から所定の矩形領域を特定する方法と，深層学習によりフェイス領域を特定する方法とを行い，それらの各方法で特定したフェイス領域の結果同士について，あらかじめ定めた演算によって，最終的に切り出す対象とするフェイス領域を特定してもよい。切り出すフェイス領域の特定方法は，上記に限定するものではなく，任意に設定することができる。

商品情報記憶部２３は，比較対象とする商品の情報を網羅的に記憶するデータ集であって，たとえば商品の識別情報（商品名，型番，ＪＡＮコードなどの商品コードなど）のほか，商品の付随情報，属性情報，絞込要因情報，標本情報などを対応づけて記憶する。図４に商品情報記憶部２３の一例を模式的に示す。

データ集としては，比較対象とする複数の商品の情報を記憶していればよい。付随情報には，商品のメーカの識別情報，商品分類，内容量，単品サイズ，価格情報，容器形態，棚割サイズ，商品発売開始日，製造／販売終了フラグなどがある。これらの付随情報は，たとえば後述するＪＩＣＦＳのデータ集にあるものを用いることができるが，不足している情報は，オペレータが逐次，追加をしてもよい。なお，ＪＩＣＦＳのデータ集とは，ＪＡＮコード統合商品情報データベースであり，ＪＡＮコードとこれに付随する商品情報を一元的に関するデータベースである。

商品情報記憶部２３は，たとえば，ＪＩＣＦＳや書籍のＩＳＢＮコードのデータベースなどを用いることができるが，それらに限定されず，比較対象となる商品を網羅的に記憶するデータ集であれば足りる。なお，「網羅的」とは，そのジャンルにおけるすべての商品を記憶している必要はなく，たとえば業界団体や一定の組織などが商品の販売や管理の観点から複数の商品を記憶するデータ集，任意の処理システムにおける比較処理の際の検索対象となるデータ集であれば足りる。また，ＪＩＣＦＳなどの公知のデータベースに記憶されていない商品がある場合には，不足している商品の情報を追加したあとのデータベースをデータ集として用いてもよい。たとえばＪＩＣＦＳに登録されていないプライベートブランド商品の情報をＪＩＣＦＳに追加し，そのデータベースをデータ集として商品情報記憶部２３に記憶させてもよい。

商品情報記憶部２３は，ＪＩＣＦＳなどのデータ集に対応づけて，商品の属性情報，標本情報などを記憶していてもよいが，一つのデータベースとして構成されるのではなく，複数のデータベースが関連付けて構成されていてもよい。

属性情報としては，商品の外観，定格，価格帯などの情報がある。商品の外観としては，パッケージ形状，ロゴ，文字列，レイアウト情報，色情報，テクスチャー・模様がある。パッケージ形状は商品のシェイプ（商品の外形（形状）に関わる属性であり，たとえば瓶型，缶型，箱形，袋型，ボトル型などがある），実寸（商品の高さ，幅），縦横比（商品の高さ，幅の比率）などがある。ロゴとは，商品に付されているメーカロゴ，ブランドロゴである。文字列とは，商品に付されている文字列であり，そのフォントや色などの情報も含まれる。レイアウト情報とは，ロゴ，文字列，図形，イラストなどが商品のどの位置にどの大きさ，色で配されているかを示す情報がある。定格は，商品の容器サイズ（たとえば３５０ｍｌ，５００ｍｌなど），荷姿（六缶パックなど），成分表示（１ｍｇ，５ｍｇなど），機能表示などがある。価格帯は，商品の販売価格帯の情報であり，当該商品に対して一般的に想定される価格の幅を示す情報である。価格帯は下限と上限で示されてもよいし，ある価格（たとえば希望小売価格や定価など）の上／下何割，上／下何円のように示されてもよい。なお，属性情報は，商品の付随情報として記憶されていてもよい。

また属性情報として，商品の販売情報，たとえば市場でのＴＯＰ１０，当該店舗のＰＯＳシステムにおける商品別売上情報，地域限定商品などを含めてもよい。

繰り返し行われる店頭の調査では，前回その売り場，陳列棚，陳列棚段にあった商品情報，フェイス数，陳列位置等の属性情報などを含めてもよい。さらに，同一チェーンの場合などには，商品品揃えが類似していることが多いので，それらを属性情報に加えてもよい。これらの前回情報を使う場合，新製品等の，今回初めて陳列される商品はすでに絞り込まれてしまっているため，それらを加えて属性情報を構成することで，その処理を精度よく実現することができる。

絞込要因情報は，後述する絞込処理部２４における絞込要因について，当該商品が充足するか否か，あるいはどのような状態であるかを示す情報である。たとえば絞込要因が後述する縦横比のとき，縦長であるか否か，あるいは縦長，横長，正方形などを示す情報が記憶されている。絞込要因について条件を充足するか否かの場合には充足する場合を「Ｔ」，充足しない場合を「Ｆ」のように２値で記憶していてもよい。また縦長，横長，正方形などの３択以上の場合には，縦長を「１」，横長を「２」，正方形を「３」のように，対応する英数字，記号などで記憶していてもよい。また新商品であることから商品の形状などが不明である等のさまざまな事情によって絞込要因情報が特定できない場合には，それを示す情報，たとえば「Ｘ」のような情報で記憶していてもよい。この場合，ワイルドカードとして，絞込要因がどの値の場合にも条件を充足すると判定するように処理させることができる。

標本情報とは，後述する比較処理部２５においてフェイス領域の画像情報および／または特徴量と比較対象となる商品の画像情報（商品画像情報）および／またはその特徴量の情報である。標本情報には，商品の識別情報，例えば商品名，型番，ＪＡＮコードなどの商品コード，商品の属性情報，絞込要因情報が対応づけられる。商品画像情報としては，商品全体の画像情報であってもよいし，商品の一部分，たとえば商品がペットボトル飲料の場合にはラベル部分の画像情報であってもよい。なお，標本情報として，商品画像情報の特徴量の情報を用いる場合には，処理の都度，特徴量を抽出する必要がなくなる。

商品情報記憶部２３は，一つの商品について一つの標本情報を記憶していてもよいし，一つの商品について複数の角度，たとえば商品を正対化して撮影する場合に，写らない位置にある表面を写すため，正面，背面，上面，下面，両側面などの複数の角度からの標本情報を記憶していてもよい。また，一つの商品に複数の外装（パッケージなど）がある場合には，一つの商品にそれぞれの外装の場合の標本情報を記憶していてもよい。

標本情報として特徴量の情報の場合，標本とする商品を撮影した商品画像情報の一部または全部に基づいて，後述する比較処理部２５における処理と同様の処理を実行することで，商品画像情報の一部または全部の領域における特徴量の情報が生成され，記憶している。商品画像情報における特徴量を生成する領域は，自動的に抽出してもよいし，入力を受け付けた商品画像情報からオペレータが指定してもよい。

以上のように，商品情報記憶部２３は，比較対象とする商品の識別情報，付随情報，属性情報，絞込要因情報，標本情報などを対応づけて記憶している。

絞込処理部２４は，後述する比較処理部２５において，処理対象のフェイス領域の画像情報および／またはその特徴量と比較する商品の標本情報を絞り込む処理を実行する。具体的には，あらかじめ定めた一または複数の絞込要因について，フェイス領域の画像情報および／またはその特徴量がその絞込要因に定めた条件を充足するか否かを判定することで，比較対象とする商品の絞込を行う。

図５に絞込処理部２４における絞込処理以降の処理の概念図を示す。

絞込要因としては，たとえばフェイス領域の縦横比，フェイス領域における支配色の明度・彩度，フェイス領域における支配色の色相などが一例としてあげられるが，それらに限定するものではない。

たとえばフェイス領域の縦横比が絞込要因の場合，当該フェイス領域が縦長であるか否か，フェイス領域の支配色の明度・彩度が絞込要因の場合，当該フェイス領域が明るい画像であるか否か，フェイス領域の支配色が赤色系であるか否か，などを閾値としてそれぞれ定めておく。そして処理対象となるフェイス領域について，それぞれの絞込要因の条件を充足するか否かを判定する。ここでは条件を充足するか否かの２択としたが，たとえば縦長，横長，縦横同一，あるいは赤色系，青色系，それ以外のように３以上に分けてもよい。

なお，上述ではフェイス領域における画像情報の縦横比，支配色の明度・彩度，支配色の色相をそれぞれ値に換算し，その値に基づいてそれぞれの絞込要因の閾値を充足しているか否かで判定することができる。また支配色については当該画像情報の各画素における色を特定し，そのうちもっとも多い色を支配色として特定できる。

そして絞込処理部２４は，処理対象とするフェイス領域について，絞込要因ごとの判定結果と同じ結果（絞込要因情報）を有する商品の標本情報を商品情報記憶部２３から特定する。

また，絞込処理部２４は，後述する比較処理部２５における比較処理で出力した商品の候補について，正解となる商品がないことを後述する商品選択受付処理部２６で受け付けた場合には，比較処理部２５における次の比較処理を行うために，比較対象とする商品を商品情報記憶部２３から特定することで，再度の絞込の処理を行う。再度の絞込の処理は，以下のように実行できる。

絞込要因が３段階であり，各絞込要因が充足するか否かの２つに分けられる場合とすると，各商品について，絞込要因のパターンは８通り（＝２^３通り）に分けられる。たとえば絞込要因１がフェイス領域における画像情報の縦横比，絞込要因２が支配色の明度・彩度，絞込要因３が支配色の色相であり，絞込要因は経験的にあるいは統計的に確度が高い絞込要因から順に上位に設定されている。ここでは絞込要因１が最上位であり，順に絞込要因２，絞込要因３と優先度が設定されている。そして各絞込要因についてそれぞれ充足する場合を「Ｔ」，充足しない場合を「Ｆ」として絞込要因情報が商品ごとに商品情報記憶部２３に記憶されているとすると，ＴＴＴ，ＴＴＦ，ＴＦＴ，ＴＦＦ，ＦＴＴ，ＦＴＴ，ＦＴＦ，ＦＦＴ，ＦＦＦの８通りのうちいずれかが絞込要因情報として各商品に対応づけて記憶されることとなる。

この場合，最初に，絞込処理部２４で，処理対象とするフェイス領域についての絞込要因の判定結果と同じ絞込要因情報を有する商品を商品情報記憶部２３から特定し，比較処理をしても商品を同定することができなかったので，２回目以降では，処理対象とするフェイス領域についての絞込要因の判定結果のうち，最下位の絞込要因について結果を変更し，変更した判定結果と同じ絞込要因情報を有する商品を，比較処理部２５における比較対象の商品として絞り込み，その商品の標本情報を特定する。

たとえば，最初に，絞込処理部２４で，処理対象とするフェイス領域についての絞込要因の判定結果がＴＴＴであった場合，最下位の絞込要因（絞込要因３）の判定結果をＴからＦに変更した判定結果ＴＴＦと同じ絞込要因情報を有する商品をつぎの比較処理部２５における比較対象の商品として特定し，その標本情報を商品情報記憶部２３から特定する。

そして絞込をした商品（絞込要因情報がＴＴＦの商品）の標本情報を，後述する比較処理部２５が後述する比較処理と同様の処理を実行する。

もしこの場合にも商品選択受付処理部２６において出力した商品のうち正解となる商品がない場合には，つぎの候補となる商品を商品情報記憶部２３から特定する。すなわち，絞込要因情報の判定結果として，下から２番目の絞込要因の判定結果をＴからＦに変更したＴＦＴと同じ絞込要因を有する商品を，次の比較処理部２５における比較処理の対象の商品として特定し，その標本情報を商品情報記憶部２３から特定して比較処理部２５における比較処理を上述と同様の処理で実行させる。

そしてこの場合においても，比較処理部２５において出力した商品のうち正解となる商品がないことを商品選択受付処理部２６で受け付けた場合には，さらに，比較処理部２５における比較対象とする商品を絞り込む絞込処理を上述のように実行し，その商品を商品情報記憶部２３から特定する。すなわち，絞込要因情報の判定結果として，下から２番目の絞込要因（絞込要因２）の判定結果をＴからＦに変更したＴＦＴと同じ絞込要因を有する商品を，次の比較処理部２５における比較処理の対象の商品として特定し，その標本情報を商品情報記憶部２３から特定して比較処理部２５における比較処理を上述と同様の処理で実行させる。

このように２回目以降の絞込処理については，最初の絞込処理で特定した絞込要因情報から，絞込要因の優先度に基づいて絞込要因情報を変更し，該当する商品を商品情報記憶部２３から特定することで実行する。

なお，絞込要因が３択以上の場合には，最下位の優先順位における値を順に変更し，すべての値への変更を行った後に，その一つ上位の優先順位に遡り，同様に当該優先順位における値を順に変更するようにすればよい。

さらに，絞込処理部２４における各絞込要因は，判定した結果の正解である確率が平均的に高い要因を，より優先させて（先に）処理するように配置するとよい。つまり，より間違いやすい絞込要因が下位に（より後に）処理されるように配置するとよい。これにより，下位に配置されたより早期に探索が行われる絞込要因で誤りを起こした集団の中に，正解が含まれる可能性が高くなり，オペレータにより早期に正解が提示されることとなる。そのため，オペレータの作業の効率性が高まる。具体的には，本発明の絞込処理システム１を構築する際に，正解がわかっている一定数以上の画像情報（陳列棚を撮影した画像情報など）を実際に絞込処理部２４で絞込処理をしてその正解率を測定し，その制度に基づいて絞込処理の順番（優先度）を決めるとよい。

たとえば絞込要因が，フェイス領域における画像情報の縦横比，支配色の明度，支配色の色相のとき，フェイス領域の画像情報の縦横比の精度が９８％，支配色の明度の精度が９５％，支配色の色相が９３％であったとき，その精度が高い順に絞込要因１，絞込要因２，絞込要因３として設定する。

比較処理部２５は，絞込処理部２４で特定した商品の標本情報と，処理対象とするフェイス領域の画像情報および／またはその特徴量との比較処理（マッチング処理）を実行する。たとえばフェイス領域の画像情報における特徴量を抽出する。そして抽出した特徴量と，絞込処理部２４で特定した商品の特徴量などの標本情報との比較処理を実行することで，フェイス領域の画像情報の特徴量と，標本情報との類似性を判定する。すなわち，フェイス領域の画像情報の特徴量と，標本情報との類似性を算出し，その類似性に基づいてソートをすることで，上位から所定数または所定範囲の商品の識別情報，標本情報などを候補として出力する。この出力は，管理端末２の表示装置７２で行ってもよいし，オペレータが操作するコンピュータの表示装置７２に出力してもよい。

なお比較処理としては，フェイス領域の画像情報の全体と標本情報とをマッチングするのみならず，フェイス領域の画像情報の一部，たとえば特徴領域（ブロック）の画像情報の特徴量を抽出し，標本情報の特徴量と比較処理を実行してもよい。

また，特徴量以外の方法により比較処理を行ってもよい。

比較処理部２５は，深層学習（ディープラーニング）を用いて標本情報との比較処理を実行してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記フェイス領域の画像情報の全部または一部を入力し，その出力値に基づいて，類似する標本情報を特定してもよい。学習モデルとしては，さまざまな商品の標本情報を正解データとして与えたものを用いることができる。

商品選択受付処理部２６は，処理対象とするフェイス領域にある商品の候補として出力した商品のうち，正解となる商品があるか否か，正解となる商品がある場合には出力した候補のうちどの候補の商品かの選択をオペレータから受け付ける。

商品選択受付処理部２６において，出力した候補の商品のうち正解となる商品の選択を受け付けた場合には，選択を受け付けた商品を，処理対象となるフェイス領域とそのフェイス領域に写っている商品として同定し，同定した商品の商品識別情報，商品名，商品コードなどと対応づけて，所定の記憶部に記憶させる。商品の陳列位置は，フェイス領域の縦，横方向の順番などで特定することができるほか，撮影画像情報における座標として特定することもできる。

また，同定した商品が，どの店舗のどの陳列棚のどの棚段に陳列されていたかを，上述の所定の記憶部に記憶させてもよい。

商品選択受付処理部２６において，候補として出力した商品のうち正解があることの選択を受け付けなかった場合，上述の絞込処理部２４における２回目以降の絞込処理を実行させる。すなわち，最初に判定した絞込要因の判定結果について，優先順位が下位の絞込要因から，その判定結果を変更した判定結果と同じ絞込要因を有する商品を，次の比較処理部２５の比較処理の対象とする商品として特定し，その標本情報を商品情報記憶部２３から特定する。

次に本発明の絞込処理システム１における処理プロセスの一例を図３のフローチャートを用いて説明する。本実施例では，店舗の陳列棚を撮影し，陳列棚にある商品を同定する場合を説明する。そのため，撮影画像情報としては商品が陳列されている店舗の陳列棚であり，標本情報における商品としては陳列される可能性のある商品となる。また商品情報記憶部２３には，ＪＩＣＦＳのデータ集が記憶されており，商品の名称，商品の識別情報，付随情報，属性情報，絞込要因情報などが記憶されている。

まずオペレータは，比較対象とする商品を正対位置から撮影し，撮影した商品画像情報の入力を入力端末３から受け付ける。そして，入力を受け付けた商品画像情報について，商品情報記憶部２３に記憶する当該商品に対応づけて記憶させる。また，入力を受け付けた商品画像情報の一部または全部の領域における特徴量を生成し，標本情報として，商品情報記憶部２３に記憶する当該商品に対応づけて記憶させる。特徴量を生成する領域は，自動的に抽出してもよいし，入力を受け付けた商品画像情報からオペレータが指定してもよい。

さらに，商品情報処理部は，商品の外観，定格，価格帯などの属性情報のうち，ＪＩＣＦＳのデータ集に登録されていない情報について，オペレータから入力を受け付け，属性情報として，当該商品に対応づけて商品情報記憶部２３に記憶させる。この際に，オペレータが入力を行うほか，登録されていない情報を深層学習を用いて特定し，それを商品情報記憶部２３に記憶させてもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記商品画像情報を入力し，その出力値に基づいて，属性情報のうち登録する情報を特定してもよい。また学習モデルとしては，さまざまな商品画像情報に，属性情報のうち登録する情報を正解データとして与えたものを用いることができる。

以上のように，あらかじめ比較対象とする商品に対する処理を，複数の商品，好ましくは陳列棚に陳列される可能性のあるすべての商品について実行しておく。

そして入力端末３から，店舗の陳列棚を撮影した撮影画像情報を管理端末２の画像情報入力受付処理部２０で受け付けると（Ｓ１００），画像情報記憶部２１に，撮影日時，撮影画像情報の識別情報などと対応づけて記憶させる。また，この際に，どの店舗のどの陳列棚のどの棚段を撮影した撮影画像情報であるかなどの情報の入力を受け付け，画像情報記憶部２１に記憶させる。なおここで入力された店舗，陳列棚，棚段の情報は，後述する比較処理部２５における比較結果を記憶する際に，比較結果を記憶する記憶部や商品情報記憶部２３に反映して記憶される。

受け付けた撮影画像情報に対して，画像情報処理部２２は，前処理として，撮影画像情報が正対した状態となるように補正する正置化処理を実行する（Ｓ１１０）。そして，正置化した撮影画像情報からフェイス領域を特定するフェイス処理を実行する（Ｓ１２０）。

そして画像情報処理部２２において特定したフェイス領域ごとに，そのフェイス領域に写っている商品を同定する。

まず絞込処理部２４は，処理対象としたフェイス領域の画像情報および／またはその特徴量と比較するための商品の標本情報を絞り込む処理を実行する（Ｓ１３０）。具体的には，あらかじめ定めた一または複数の絞込要因，たとえばフェイス領域の縦横比，フェイス領域における支配色の明度・彩度，フェイス領域における支配色の色相などについて，それぞれ絞込要因の条件を充足するか否かなどを判定する。

そして絞込処理部２４は，処理対象とするフェイス領域について，それぞれの絞込要因の条件を充足するか否かの判定結果と同じ結果（絞込要因情報）を有する商品を，比較処理部２５における比較処理の対象となる商品として商品情報記憶部２３から特定し，特定した商品の標本情報を商品情報記憶部２３から特定する。たとえば処理対象とするフェイス領域について絞込要因の条件を充足するか否かの判定結果がＴＴＴであれば，絞込要因情報がＴＴＴである商品とその標本情報を商品情報記憶部２３から特定する。

このように比較処理部２５における比較処理の対象となる商品とその標本情報を特定すると，比較処理部２５は，絞込処理部２４で特定した商品の標本情報と，処理対象とするフェイス領域の画像情報および／またはその特徴量との比較処理（マッチング処理）を実行する（Ｓ１４０）。そしてフェイス領域の画像情報の特徴量と，標本情報との類似性を算出し，その類似性に基づいてソートをすることで，上位から所定数または所定範囲の商品の識別情報，標本情報などを，当該フェイス領域に写っている可能性がある商品の候補として，管理端末２の表示装置７２やオペレータが操作するコンピュータの表示装置７２に出力をする（Ｓ１５０）。

比較処理部２５による比較処理の結果，当該フェイス領域に写っている可能性がある商品の候補を，管理端末２の表示装置７２やオペレータが操作するコンピュータの表示装置７２に出力をすると，オペレータなどが当該商品の候補を確認し，目視によりフェイス領域に写っている商品が候補として含まれているかを判定する。フェイス領域に写っている商品が候補の商品として含まれている場合には，当該候補の商品を選択するなどの所定の操作をすることで，正解の入力を行う。また，フェイス領域に写っている商品が，候補の商品に含まれていない場合には，所定の操作をすることで，次の候補を出力する入力を行う。

商品選択受付処理部２６は，フェイス領域に写っている商品の次の候補の出力を促す入力操作（正解がないことを示す操作）を受け付けると（Ｓ１６０），絞込処理部２４が，次に比較処理部２５の比較処理の対象とする商品を絞り込む処理を行う（Ｓ１７０）。すなわち，絞込処理部２４で最初に判定した絞込要因の判定結果について，優先順位が下位の絞込要因からその判定結果を変更した判定結果，たとえば判定結果ＴＴＴから変更した判定結果ＴＴＦと同じ絞込要因情報を有する商品とその標本情報を商品情報記憶部２３から特定する。

そしてＳ１７０で比較処理部２５の比較処理の対象として絞込をした商品の標準情報と，処理対象とするフェイス領域の画像情報および／またはその特徴量との比較処理（マッチング処理）を実行し（Ｓ１４０），Ｓ１４０以降の処理を反復する。

一方，商品選択受付処理部２６は，フェイス領域に写っている商品について，正解の商品の入力を受け付けると（Ｓ１６０），選択を受け付けた商品を，処理対象となるフェイス領域とそのフェイス領域に写っている商品として同定し，同定した商品の商品識別情報，商品名，商品コードなどと対応づけて，所定の記憶部に記憶させる（Ｓ１８０）。商品の陳列位置は，フェイス領域の縦，横方向の順番などで特定することができるほか，撮影画像情報における座標として特定することもできる。

また，同定した商品が，どの店舗のどの陳列棚のどの棚段に陳列されていたかを，上述の所定の記憶部に記憶させる。

以上のような処理を画像情報のすべてのフェイス領域に対して行うことで，フェイス領域に写っている商品を同定し，陳列棚に陳列されている商品の陳列状況を知ることができる。また比較処理部２５における比較処理（マッチング処理）を減らすことができるので，その処理負荷，処理時間を減らすこともできる。

次に誤判定事例集を用いてさらに絞込を行う場合の処理を説明する。本実施例では，図６に示すように，商品識別情報に対応づけて誤判定事例集を商品情報記憶部２３に備える場合を説明するが，商品情報記憶部２３とは別の記憶部に誤判定事例集を備えてもよい。その場合，当該記憶部では商品識別情報に対応づけて絞込要因情報と誤判定事例集を備えていてもよい。

誤判定事例集は，商品の識別情報と誤判定の履歴とを対応づけて記憶する。誤判定の履歴とは，絞込要因について誤判定があった場合に，その商品の識別情報と，どの絞込要因について誤判定が生じたかを示す情報を対応づけて記憶している。

本実施例における処理プロセスの一例を図７のフローチャートを用いて説明する。なお，図７におけるＳ２００からＳ２８０までの処理は，図３におけるＳ１００からＳ１８０までの処理と同様であるので，説明の重複を避けるため一部を省略する。また，図８に，本実施例における絞込処理部２４での絞込処理以降の処理の概念図を模式的に示す。

ある商品ＡＡＡについて，絞込要因情報としてＴＴＴ（絞込要因１から絞込要因３についてすべて条件を充足する）が登録されていたとする。

Ｓ２３０の絞込処理において，処理対象とするフェイス領域の画像情報の絞込要因の条件を充足するか否かの判定結果がＴＴＴであった場合，上記商品ＡＡＡなどの絞込要因情報がＴＴＴである商品が比較処理部２５における比較処理の対象として特定される。そして，特定した商品の標本情報と処理対象とするフェイス領域の画像情報および／またはその特徴量とを用いた比較処理部２５における比較処理の結果（Ｓ２４０），商品ＡＡＡが上位から所定数または所定範囲に含まれていると，当該フェイス領域に写っている可能性がある商品の候補として，管理端末２の表示装置７２やオペレータが操作するコンピュータの表示装置７２に出力されることとなる（Ｓ２５０）。この際に出力した候補の商品については，後述の誤判定の処理のため，一時的に記憶しておく。

商品選択受付処理部２６で，フェイス領域に写っている商品の次の候補の出力を促す入力操作を受け付けた場合（Ｓ２６０），候補として出力した各商品については，絞込要因の条件として正しい判定結果ではない（誤判定である）と解することができる。そして，実施例１と同様に，絞込処理部２４が，次に比較処理部２５の比較処理の対象とする商品を絞り込む処理を行う（Ｓ２７０）。すなわち，絞込処理部２４で最初に判定した絞込要因の判定結果について，優先順位が下位の絞込要因からその判定結果を変更した判定結果，たとえば判定結果ＴＴＴから変更した判定結果ＴＴＦと同じ絞込要因情報を有する商品とその標本情報を商品情報記憶部２３から特定する。そして，その標本情報に基づいて比較処理部２５における比較処理を実行させる。

以上のような処理を反復し，変更した絞込要因の判定結果，たとえば変更した判定結果ＴＴＦの場合に，絞込処理部２４において特定した商品（図６の場合，商品ＢＢＢ，商品ＥＥＥなど）の標本情報に基づく比較処理部２５の比較処理の結果出力した商品の候補について，正解の商品の入力を受け付けたとする（Ｓ２６０）。そうすると，商品選択受付処理部２６は，選択を受け付けた商品を，処理対象となるフェイス領域とそのフェイス領域に写っている商品として同定し，同定した商品の商品識別情報，商品名，商品コードなどと対応づけて，所定の記憶部に記憶させる（Ｓ２８０）。

そして商品選択受付処理部２６は，商品情報記憶部２３の誤判定事例集に誤判定の履歴を記憶させる（Ｓ２９０）。すなわち，処理対象とするフェイス領域に写っている商品について，絞込要因情報がＴＴＦの商品で同定できた場合，すでに絞込処理部２４において絞込をして，一時的に記憶している候補として出力した各商品の絞込要因情報は誤判定しやすいと考えることができる。たとえば商品ＡＡＡの絞込要因情報はＴＴＴであり，絞込処理部２４で絞込をしたものの当該商品は正解として同定はできていないので，正解であった商品の絞込要因情報との差分である３つめの絞込要因情報Ｔは，誤判定となりやすいものであると考えることができる。そこで，商品ＡＡＡの絞込要因３において，Ｆの誤判定があったことを示す情報を記憶させる。

そして，Ｓ２７０の絞込処理部２４での再度の絞込処理において，比較処理部２５における比較処理の対象とする次の商品を特定する際に，絞込要因の優先順位が下位の絞込要因からその判定結果を変更した判定結果と同じ絞込要因情報を有する商品であって，かつ当該変更した絞込要因について誤判定が登録されている商品を次の候補として特定する。

上述の例でいえば，最初のＳ２３０における絞込処理部２４における絞込要因情報がＴＴＴであった場合，その次に絞込要因情報としてＴＴＦであり，かつ当該変更した絞込要因について誤判定が登録されている商品を，次の候補として特定する。そのため，絞込処理部２４は，絞込要因情報としてＴＴＦである商品だけではなく，さらに絞込要因３に誤判定の履歴が記憶されている商品を特定する。

これによって，誤判定の起きやすい商品についてさらに絞込をすることができるので，確度が高い絞込をすることができる。

さらに，実施例２の変形例として，単に誤判定があったか否かを記憶させるだけではなく，誤判定のあった回数や，絞込要因情報として特定された回数のうち，誤判定があった回数などに基づく確率などを記憶していてもよい。

この場合，絞込処理部２４において，比較処理部２５での比較処理の対象とする次の商品を特定する際に，絞込要因の優先順位が下位の絞込要因からその判定結果を変更した判定結果と同じ絞込要因情報を有する商品であって，かつ当該変更した絞込要因について誤判定とされる回数若しくは確率が所定値以上である商品を，次の比較対象として特定する。

以上のような処理を実行することで，計算時間を要する特徴量の比較処理を減らすことができるので，全体の計算時間を減らすことができる。

上述の各実施例における各処理については，本発明の明細書に記載した順序に限定するものではなく，その目的を達成する限度において適宜，変更することが可能である。

また，本発明の絞込処理システム１は，店舗の陳列棚を撮影した撮影画像情報から，陳列棚に陳列した商品を商品として，その商品の陳列状況を特定する場合に有効であるが，それに限定するものではない。すなわち，ある撮影商品を撮影した場合に，その所望の商品が写っている領域を撮影した画像情報から特定する際に，広く用いることができる。

上述の各実施例では，陳列棚を撮影した画像情報に基づいて，そこに写っている（陳列棚に陳列されている）商品を，基本となる商品の標本情報を用いて同定する場合を説明したが，本発明の絞込処理システム１は，異なる目的にも使用することができる。

たとえば店舗に設置した撮影装置（防犯カメラ）などで店舗へ来店者があったときの画像を撮影し，その画像情報から来店者の顔面が写っている領域を特定する。そして当該領域に写っている人物を，あらかじめ登録されている顔面の画像情報および／または特徴量の情報とその人物の属性情報，たとえば前回来店した際に登録した顔面の画像情報および／または特徴量の情報とその人物の属性情報とを用いて，比較処理部２５における比較処理によって同定する際の，比較処理部２５における比較処理の対象とする，あらかじめ登録されている顔面の画像情報および／または特徴量の情報を絞り込む際に用いることもできる。この際の絞込要因としては，眼鏡や帽子などの装着物，カバンやバッグ等の所持物，顔の特徴などが一例としてあげられる。

本発明の絞込処理システム１を用いることによって，陳列棚などを撮影した画像情報に写っている商品を特定する際に，比較対象を絞り込んで画像認識処理（マッチング処理）を行うことができ，コンピュータの処理負荷，処理時間の削減を図ることができる。また，候補を提示する場合には，正解となる商品を上位に提示することができるようになる。

１：絞込処理システム
２：管理端末
３：入力端末
２０：画像情報入力受付処理部
２１：画像情報記憶部
２２：画像情報処理部
２３：商品情報記憶部
２４：絞込処理部
２５：比較処理部
２６：商品選択受付処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

Claims (6)

1. 画像情報に写る商品を同定するための絞込処理システムであって，
   前記絞込処理システムは，
   画像情報において，商品の標本情報と比較するフェイス領域を特定する画像情報処理部と，
   前記フェイス領域についてあらかじめ定めた絞込要因の判定結果と，前記商品の絞込要因情報とを用いることで，比較対象とする商品を絞り込む絞込処理部と，
   前記絞込をした商品の標本情報と，前記フェイス領域の画像情報および／またはその特徴量とを比較する比較処理部と，
   前記比較処理部で出力した前記フェイス領域に写る商品の候補のうち，正解となる商品があるか否かを示す情報を受け付ける商品選択受付処理部，とを有しており，
   前記絞込処理部は，
   前記商品選択受付処理部において，正解となる商品がないことを示す情報を受け付けると，最初の絞込処理の判定結果を所定の基準で変更した判定結果と，前記商品の絞込要因情報とを用いることで，つぎに比較対象とする商品を絞り込む，
   ことを特徴とする絞込処理システム。
2. 前記絞込処理部は，
   前記商品選択受付処理部において，正解となる商品がないことを示す情報を受け付けると，最初の絞込処理の判定結果を前記絞込要因の優先度に基づいて変更した判定結果と，前記商品の絞込要因情報とを比較して，つぎに比較対象とする商品を絞り込む，
   ことを特徴とする請求項１に記載の絞込処理システム。
3. 前記絞込処理部は，
   前記商品選択受付処理部において，正解となる商品がないことを示す情報を受け付けると，最初の絞込処理の判定結果を前記絞込要因の優先度に基づいて変更した判定結果と，前記商品の絞込要因情報と比較し，かつ前記絞込要因に誤判定の履歴がある商品を，つぎに比較対象とする商品として絞り込む，
   ことを特徴とする請求項１または請求項２に記載の絞込処理システム。
4. 画像情報に写る商品を同定するための絞込処理システムであって，
   前記絞込処理システムは，
   画像情報において，商品の標本情報と比較するフェイス領域を特定する画像情報処理部と，
   前記フェイス領域についてあらかじめ定めた絞込要因の判定結果と，前記商品の絞込要因情報とを用いることで，比較対象とする商品を絞り込む絞込処理部と，
   前記絞込をした商品の標本情報と，前記フェイス領域の画像情報および／またはその特徴量とを比較する比較処理部と，を有しており，
   前記絞込処理部は，
   前記フェイス領域の縦横比，前記フェイス領域における支配色の明度・彩度，前記フェイス領域における支配色の色相のうちいずれか一以上を含む，
   ことを特徴とする絞込処理システム。
5. コンピュータを，
   画像情報において，商品の標本情報と比較するフェイス領域を特定する画像情報処理部，
   前記フェイス領域についてあらかじめ定めた絞込要因の判定結果と，前記商品の絞込要因情報とを用いることで，比較対象とする商品を絞り込む絞込処理部，
   前記絞込をした商品の標本情報と，前記フェイス領域の画像情報および／またはその特徴量とを比較する比較処理部，
   前記比較処理部で出力した前記フェイス領域に写る商品の候補のうち，正解となる商品があるか否かを示す情報を受け付ける商品選択受付処理部，として機能させ，
   前記絞込処理部は，
   前記商品選択受付処理部において，正解となる商品がないことを示す情報を受け付けると，最初の絞込処理の判定結果を所定の基準で変更した判定結果と，前記商品の絞込要因情報とを用いることで，つぎに比較対象とする商品を絞り込む，
   ことを特徴とする絞込処理プログラム。
6. コンピュータを，
   画像情報において，商品の標本情報と比較するフェイス領域を特定する画像情報処理部，
   前記フェイス領域についてあらかじめ定めた絞込要因の判定結果と，前記商品の絞込要因情報とを用いることで，比較対象とする商品を絞り込む絞込処理部，
   前記絞込をした商品の標本情報と，前記フェイス領域の画像情報および／またはその特徴量とを比較する比較処理部，として機能させ，
   前記絞込処理部は，
   前記フェイス領域の縦横比，前記フェイス領域における支配色の明度・彩度，前記フェイス領域における支配色の色相のうちいずれか一以上を含む，
   ことを特徴とする絞込処理プログラム。

Images