JP6861421B2 - 画像処理システム - Google Patents

Description

本発明は，画像情報に写っている商品を特定するための画像認識処理（マッチング処理）の際に，比較対象を絞り込んだうえで画像認識処理を行う画像処理システムに関する。

商品が店舗のどこにどの程度陳列されているかを確認することは，商品のマーケティング戦略の観点から非常に重要な情報である。そのため，店舗のどこにどの程度商品が陳列されているかを，商品のメーカは，定期的に調査をしている。

この調査としては様々な方法があるが，たとえば実際に担当者が店舗に赴き，一つ一つ商品の陳列場所を確認する方法がある。この方法の場合，確実性は高いが，担当者が目視により確認をおこなうため，担当者の作業負担が極めて大きい。

そこで，商品の陳列棚を撮影した画像情報に，判定対象とする商品が写っているかを判定することで，その商品が陳列されていたかを判定する方法がある。

このように，画像情報に商品が写っているかを判定する場合には，通常，処理対象となる画像情報と，商品の画像情報との画像マッチング処理を実行することが一般的である。たとえば，下記特許文献１には，商品ごとの登録画像をもとに，自動販売機を撮影した画像情報に対して画像認識技術を用いることで，自動販売機が取り扱う商品を把握するシステムが開示されている。

特開２０１４−１９１４２３号公報

特許文献１の具体的な処理は，複数の方向から自動販売機を撮影し，撮影した各画像の位置関係を合わせた後，撮影した各画像を重畳することで合成画像を生成する。そして，生成した合成画像に，自動販売機に陳列される可能性のある商品を表す登録画像を照合することで，自動販売機が取り扱う商品を特定している。

合成画像と，商品を表す登録画像との照合処理（マッチング処理）の際には，それぞれの特徴量を用いることで処理を実行することが一般的である。しかし，比較対象とする商品が多くなる場合，登録画像の数が多くなり，照合処理（マッチング処理）に要する計算時間が膨大となる課題がある。

そこで本発明者は上記課題に鑑み，陳列棚などを撮影した画像情報に写っている商品を特定する際に，比較対象を絞り込んで画像認識処理（マッチング処理）を行うことで，計算時間を従来よりも大幅に減らすことが可能な画像処理システムに関する。

第１の発明は，画像情報に写る商品を同定する画像処理システムであって，前記画像処理システムは，画像情報において商品の標本情報と比較する領域を特定する画像情報処理部と，比較対象とする商品を特定する候補処理部と，前記特定した商品の標本情報と，前記画像情報において特定した領域の画像情報および／またはその特徴量とを比較することで，前記領域に写る商品を同定する比較処理部と，を有しており，前記候補処理部は，同一の陳列棚および／または陳列棚段を撮影した画像情報から同定した商品を，比較対象とする商品として特定する，画像処理システムである。

従来，画像情報に写っている商品を同定する場合，あらかじめ標本として登録してあるすべての商品と比較処理（マッチング処理）を行っていたが，その場合，計算時間が膨大となる。そこで，本発明のように，比較対象とする商品を特定したうえで，比較処理を実行することで，比較対象とする商品を減らすことができる。そのため，計算時間を従来よりも大幅に減らすことができる。
ある商品が陳列棚や陳列棚段に陳列されていたことを画像情報から同定していた場合，同一の陳列棚や陳列棚段を撮影した今回の画像情報（処理対象とする画像情報）においても，その商品が陳列されている可能性は高い。そのため，処理対象とする画像情報で撮影した陳列棚や陳列棚段の情報に基づいて，比較対象とする商品を特定することで，精度よく，比較対象とする商品を特定することができる。

上述の発明において，前記画像処理システムは，商品に関する付随情報および／または属性情報を記憶する商品情報記憶部，を有しており，前記候補処理部は，前記領域に写る商品の属性情報および／または価格情報を用いて，前記商品情報記憶部を参照することで，前記比較対象とする商品を特定する，画像処理システムのように構成することができる。

比較対象とする商品を特定する場合，本発明のように領域に写る商品の属性情報や価格情報を用いて限定することがよい。

上述の発明において，前記候補処理部は，前記属性情報として，前記領域に写る商品の外観，定格または前記画像情報における価格情報のうちいずれか一以上を用いて，前記商品情報記憶部を参照することで，前記比較対象とする商品を特定する，画像処理システムのように構成することができる。

商品の外観，定格，価格情報などは，画像情報から特定しやすいため，商品の属性としてはこれらの情報を用いることが好ましい。

上述の発明において，前記商品の外観として，前記商品の形状，ロゴ，文字列，色情報のうちいずれか一以上を含む，画像処理システムのように構成することができる。

商品の外観の情報としては，本発明のような情報を用いることができる。これらの情報は，画像情報からの特定が比較的容易であり，かつ商品によって相違する可能性が高い情報だからである。

上述の発明において，前記商品情報記憶部は，商品に関する陳列場所情報を記憶しており，前記候補処理部は，前記画像情報に対応する陳列場所情報を用いて，前記商品情報記憶部を参照することで，前記比較対象とする商品を特定する，画像処理システムのように構成することができる。

商品の陳列場所は，比較的変更が少ない。そのため陳列場所情報が商品に対応づけられている場合，処理対象とする画像情報に対応する陳列場所情報を用いて，比較対象とする商品を特定すれば，画像情報にその商品が写っている可能性は高い。そのため，処理対象とする画像情報に対応する陳列場所情報を用いることで，精度よく，比較対象とする商品を特定することができる。

上述の発明において，前記候補処理部は，前記陳列場所情報として，売り場情報，陳列棚の情報，陳列棚段の情報，売り場種別の情報，系列店の情報のうちいずれか一以上を用いて，前記商品情報記憶部を参照することで，前記比較対象とする商品を特定する，画像処理システムのように構成することができる。

商品の陳列場所情報としては，これらの情報を用いることが好ましい。

上述の発明において，前記候補処理部は，処理対象とする画像情報に対応する陳列棚および／または陳列棚段の情報を用いて，前記商品情報記憶部を参照することで，前記比較対象とする商品を特定する，画像処理システムのように構成することができる。

ある商品が陳列棚や陳列棚段に陳列されていたことを画像情報から同定していた場合，同一の陳列棚や陳列棚段を撮影した今回の画像情報（処理対象とする画像情報）においても，その商品が陳列されている可能性は高い。そのため，処理対象とする画像情報で撮影した陳列棚や陳列棚段の情報に基づいて，比較対象とする商品を特定することで，精度よく，比較対象とする商品を特定することができる。

第１の発明は，本発明のコンピュータプログラムをコンピュータに読み込ませて実行することで実現することができる。すなわち，コンピュータを，画像情報において商品の標本情報と比較する領域を特定する画像情報処理部，比較対象とする商品を特定する候補処理部，前記特定した商品の標本情報と，前記画像情報において特定した領域の画像情報および／またはその特徴量とを比較することで，前記領域に写る商品を同定する比較処理部，として機能させる画像処理プログラムであって，前記候補処理部は，同一の陳列棚および／または陳列棚段を撮影した画像情報から同定した商品を，比較対象とする商品として特定する，画像処理プログラムのように構成することができる。

本発明の画像処理システムを用いることによって，陳列棚などを撮影した画像情報に写っている商品を特定する際に，比較対象を絞り込んで画像認識処理（マッチング処理）を行うことで，計算時間を従来よりも大幅に減らすことが可能となる。

本発明の画像処理システムの全体の処理機能の一例を模式的に示すブロック図である。 本発明の画像処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。 本発明の画像処理システムにおいて標本情報に対する処理の一例を示すフローチャートである。 本発明の画像処理システムにおいて，初回の画像認識処理の一例を示すフローチャートである。 本発明の画像処理システムにおいて，二回目以降の画像認識処理の一例を示すフローチャートである。 商品情報記憶部の一例を模式的に示す図である。 撮影画像情報の一例を示す図である。 正置化した撮影画像情報の一例を示す図である。 正置化した撮影画像情報からフェイス領域を特定した状態の一例を示す図である。

本発明の画像処理システム１の全体の処理機能の一例のブロック図を図１に示す。画像処理システム１は，管理端末２と入力端末３とを用いる。

管理端末２は，画像処理システム１の中心的な処理機能を実現するコンピュータである。また，入力端末３は，店舗の陳列棚などを撮影した画像情報を取得する端末である。また，後述する比較処理（マッチング処理）で用いる標本とする商品などの商品を撮影し，取得してもよい。

画像処理システム１における管理端末２，入力端末３は，コンピュータを用いて実現される。図２にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えていてもよい。入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。入力端末３は，撮影装置で可視光などによる画像情報（後述する撮影画像情報または商品画像情報）を撮影する。

本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していてもよい。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。また，管理端末２における機能の一部または全部を入力端末３で実行してもよい。

画像処理システム１は，商品情報処理部２０と商品情報記憶部２１と画像情報入力受付処理部２２と画像情報記憶部２３と画像情報処理部２４と候補処理部２５と比較処理部２６とを有する。

商品情報処理部２０は，撮影画像情報に写っている商品を同定するための比較処理の際に用いる商品の画像情報（商品画像情報）の入力を受け付け，商品画像情報の標本情報を生成し，後述する商品情報記憶部２１に記憶させる。標本情報とは商品画像情報および／またはその特徴量の情報である。標本情報には，商品の識別情報，例えば商品名，型番，ＪＡＮコードなどの商品コード，商品の属性情報，商品の陳列場所情報が対応づけられる。商品画像情報としては，商品全体の画像情報であってもよいし，商品の一部分，たとえば商品がペットボトル飲料の場合にはラベル部分の画像情報であってもよい。なお，標本情報として，商品画像情報の特徴量の情報を用いる場合には，処理の都度，特徴量を抽出する必要がなくなる。

商品情報処理部２０は，一つの商品について一つの標本情報を生成してもよいし，一つの商品について複数の角度，たとえば商品を正対化して撮影する場合に，写らない位置にある表面を写すため，正面，背面，上面，下面，両側面などの複数の角度からの標本情報を生成してもよい。また，一つの商品に複数の外装（パッケージなど）がある場合には，一つの商品にそれぞれの外装の場合の標本情報を対応づけてもよい。

標本情報は，標本とする商品を撮影した商品画像情報の一部または全部に基づいて，後述する比較処理部２６における処理と同様の処理を実行することで，商品画像情報の一部または全部の領域における特徴量の情報を生成している。商品画像情報における特徴量を生成する領域は，自動的に抽出してもよいし，入力を受け付けた商品画像情報からオペレータが指定してもよい。

商品情報記憶部２１は，比較対象とする商品の情報を網羅的に記憶するデータ集であって，たとえば商品の識別情報（商品名，型番，ＪＡＮコードなどの商品コードなど）のほか，商品の付随情報，属性情報，陳列場所情報，標本情報などを対応づけて記憶する。図６に商品情報記憶部２１の一例を模式的に示す。

データ集としては，比較対象とする複数の商品の情報を記憶していればよい。付随情報には，商品のメーカの識別情報，商品分類，内容量，単品サイズ，価格情報，容器形態，棚割サイズ，商品発売開始日，製造／販売終了フラグなどがある。これらの付随情報は，たとえば後述するＪＩＣＦＳのデータ集にあるものを用いることができるが，不足している情報は，オペレータが逐次，追加をしてもよい。

商品情報記憶部２１は，たとえば，ＪＩＣＦＳや書籍のＩＳＢＮコードのデータベースなどを用いることができるが，それらに限定されず，比較対象となる商品を網羅的に記憶するデータ集であれば足りる。なお，「網羅的」とは，そのジャンルにおけるすべての商品を記憶している必要はなく，たとえば業界団体や一定の組織などが商品の販売や管理の観点から商品を記憶するデータ集，任意の処理システムにおける比較処理の際の検索対象となるデータ集であれば足りる。また，ＪＩＣＦＳなどの公知のデータベースに記憶されていない商品がある場合には，不足している商品の情報を追加したあとのデータベースをデータ集として用いてもよい。たとえばＪＩＣＦＳに登録されていないプライベートブランド商品の情報をＪＩＣＦＳに追加し，そのデータベースをデータ集として商品情報記憶部２１に記憶させてもよい。

商品情報記憶部２１は，ＪＩＣＦＳなどのデータ集に対応づけて，商品の属性情報，陳列場所情報，標本情報などを記憶していてもよいが，一つのデータベースとして構成されるのではなく，複数のデータベースが関連付けられて構成されていてもよい。

属性情報としては，商品の外観，定格，価格帯などの情報がある。商品の外観としては，パッケージ形状，ロゴ，文字列，レイアウト情報，色情報，テクスチャー・模様がある。パッケージ形状は商品のシェイプ（商品の外形（形状）に関わる属性であり，たとえば瓶型，缶型，箱形，袋型，ボトル型などがある），実寸（商品の高さ，幅），縦横比（商品の高さ，幅の比率）などがある。ロゴとは，商品に付されているメーカロゴ，ブランドロゴである。文字列とは，商品に付されている文字列であり，そのフォントや色などの情報も含まれる。レイアウト情報とは，ロゴ，文字列，図形，イラストなどが商品のどの位置にどの大きさ，色で配されているかを示す情報がある。定格は，商品の容器サイズ（たとえば３５０ｍｌ，５００ｍｌなど），荷姿（六缶パックなど），成分表示（１ｍｇ，５ｍｇなど），機能表示などがある。価格帯は，商品の販売価格帯の情報であり，当該商品に対して一般的に想定される価格の幅を示す情報である。価格帯は下限と上限で示されてもよいし，ある価格（たとえば希望小売価格や定価など）の上／下何割，上／下何円のように示されてもよい。なお，属性情報は，商品の付随情報として記憶されていてもよい。

また属性情報として，商品の販売情報，たとえば市場でのＴＯＰ１０，当該店舗のＰＯＳシステムにおける商品別売上情報，地域限定商品などを含めてもよい。

陳列場所情報は，商品の陳列場所に関する情報であって，たとえば売り場，陳列棚，陳列棚段，売り場種別，系列店情報などがある。売り場とは，購入者の購買行動に従って商品群を束ねて陳列する場所の単位である。購入者が商品を探す場合，売り場には売り場名（たとえば食品売り場，玩具売り場など）があり，売り場名に従って探せばそこに求める商品が陳列されているように決められる。たとえばＪＩＣＦＳにおける商品の分類に基づいて，売り場が識別されている。一つの商品は複数の売り場に対応づけられていてもよい。陳列棚とは商品が陳列される棚である。陳列棚段とは商品が陳列される陳列棚のうち，当該商品が陳列される棚段を示す。陳列棚，陳列棚段は，一度陳列された場所が定まるとそこから商品の陳列場所が移動することは多くはないので，前回の調査である陳列棚，陳列棚段にあった商品は，今回の調査であっても同一の陳列棚，陳列棚段にある可能性が高い。売り場種別は，購入者が購入しようとする分類に従い商品を陳列している集まりであり，たとえば「オーガニック専門コーナー」，「乳児用品」など，商品ごとの分類ではなく，商品を利用する購入者ごとの目的（客体）に沿った分類である。系列店情報は，当該店舗の系列店を示す情報であって，たとえばプライベートブランドは，その系列店のみで販売される。商品に対応する売り場の情報，売り場種別の情報，系列店情報は，オペレータが入力をすることが好ましい。

以上のように，商品情報記憶部２１は，比較対象とする商品の識別情報，付随情報，属性情報，陳列場所情報，標本情報などを対応づけて記憶している。

画像情報入力受付処理部２２は，入力端末３で撮影した画像情報（撮影画像情報）の入力を受け付け，後述する画像情報記憶部２３に記憶させる。たとえば店舗の陳列棚の撮影画像情報の入力を受け付け，画像情報記憶部２３に記憶させる。入力端末３からは，撮影画像情報のほか，撮影日時，撮影対象を示す情報，たとえば店舗名などの店舗識別情報，陳列棚を識別する情報，陳列棚の棚段を識別する情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図７に，撮影画像情報の一例を示す。図７では，陳列棚に３段の棚段があり，そこに商品が陳列されている状態を撮影した撮影画像情報を模式的に示すものである。

画像情報記憶部２３は，入力端末３から受け付けた撮影画像情報などを対応づけて記憶する。

画像情報処理部２４は，画像情報入力受付処理部２２で受け付けた撮影画像情報について，撮影画像情報を正対した状態とする正置化処理，撮影画像情報から標本情報と比較処理（マッチング処理）を実行する領域（フェイス領域）を特定するフェイス処理を実行する。

正置化処理とは，撮影商品を撮影した場合には，撮影商品を正対した状態で撮影することは困難であることから，それを正対した状態に補正する処理であり，撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って，十分に遠方から撮影した場合と同じになるように画像情報を変形させる処理である。このような補正処理の一例として台形補正処理がある。なお，画像情報に歪みがある場合，歪み補正処理を付加してもよい。図８に，図７の撮影画像情報に対して正置化処理を実行した状態の画像情報を示す。

なお，撮影画像情報が正対した状態で撮影された画像情報である場合，あるいは歪みがない場合には，正置化処理，歪み補正処理を実行しなくてもよい。

撮影画像情報とは，本発明の処理対象となる画像情報であればよい。正置化処理などの撮影画像情報に対する補正処理が実行された後の画像情報も撮影画像情報に含まれる。

また，画像情報処理部２４は，撮影対象を撮影する際に，複数枚で撮影した場合，それを一つの画像情報に合成する処理を実行し，合成処理を実行した画像情報に対して，正置化処理，フェイス処理を実行してもよい。複数枚の画像情報を一つの画像情報に合成する処理としては，公知の手法を用いることもできる。

フェイス処理とは、撮影画像情報において，後述する標本情報と比較処理を実行するための領域（フェイス領域）を特定する。商品の陳列棚を撮影した撮影画像情報に写っていする商品を同定する場合，フェイス領域として，陳列棚に陳列されている商品の領域や商品のラベルの領域を特定する。商品がペットボトル飲料の場合には，商品のラベルの領域をフェイス領域とし，商品が箱に入った商品（たとえば菓子）の場合には，商品のパッケージ全体をフェイス領域とするなど，商品に応じて，適宜，フェイス領域を設定できる。なお，商品がペットボトル飲料の場合にも，商品の領域をフェイス領域としてもよい。

フェイス領域の特定方法はさまざまな方法があり，商品の特性に合わせて任意に設定することができる。陳列棚を撮影した撮影画像情報から商品のラベルの領域をフェイス領域として特定する場合には，たとえば，陳列棚の棚段と棚段の間の領域（棚段領域）における商品と商品との間に生じる縦の細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，商品の領域を特定する。そして，その商品の領域の中から，所定の矩形領域をラベルの領域として特定し，その領域をフェイス領域として特定する。

フェイス領域の特定方法は，商品のカテゴリや商品の形態によって任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したフェイス領域に対して，オペレータによる修正入力を受け付けてもよい。さらに，オペレータからフェイス領域の位置の入力を受け付けるのでもよい。

画像情報処理部２４は，深層学習（ディープラーニング）を用いてフェイス領域を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記撮影画像情報を入力し，その出力値に基づいて，フェイス領域を特定する。また学習モデルとしては，さまざまな撮影画像情報にフェイス領域を正解データとして与えたものを用いることができる。

以下の説明では，フェイス処理として，ディープラーニングを用いてフェイス領域を特定する場合を説明する。

フェイス処理では，フェイス領域における商品の属性情報の特定処理を行うとよい。フェイス領域における商品の属性情報の特定処理は，フェイス領域における画像情報に対して，以下のような処理を実行することで行える。たとえば上述のように，フェイス領域に写っている商品のシェイプ（形状），縦横比などを特定するほか，フェイス領域の画像情報に対してＯＣＲ認識処理を行うことで，フェイス領域にある文字列を特定してもよいし，フェイス領域における画像情報の色情報（色相，明度，彩度からなる色情報）とその面積を特定してもよい。

また，フェイス処理では，フェイス領域におけるロゴ（メーカロゴ，ブランドロゴなど）を特定してもよい。ロゴの特定処理としては，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記撮影画像情報を入力し，その出力値に基づいて，フェイス領域におけるロゴ（メーカロゴ，ブランドロゴなど）を特定してもよい。また学習モデルとしては，さまざまな撮影画像情報のフェイス領域におけるメーカロゴ，ブランドロゴを正解データとして与えたものを用いることができる。さらに，ニューラルネットワークを用いたロゴの特定処理のほか，あらかじめ，上述の学習モデルとして与える正解データ（さまざまな撮影画像情報のフェイス領域におけるロゴを与えたもの）における特徴量（この特徴量は，色情報や局所特徴量など複数であってもよい）と，撮影画像情報のフェイス領域におけるロゴ以外の特徴量とを抽出しておき，それぞれを正例，負例として，ＳＶＭ（サポートベクターマシン support vector machine）などの判定モジュール（判定機）を構成する。そしてこのＳＶＭなどの判定モジュールに対して，フェイス領域の画像情報の各点，たとえばフェイス領域の画像情報を所定の大きさのメッシュに分割してそのメッシュ内の点を入力し，各点についてロゴの領域に属しているか否かを判定させる。この判定結果において，ロゴの領域に属していると判定したメッシュの領域を囲む領域をロゴとして特定をする。

加えて，フェイス処理におけるロゴの特定処理としては，フェイス領域の画像情報（またはその特徴量）と，ロゴの画像情報（またはその特徴量）とのパターンマッチングで，フェイス領域におけるロゴの特定処理を行うこともできる。

フェイス領域からロゴを特定する処理としては上記の方法に限定されず，ほかの方法を用いてもよい。また上記の方法あるいはほかの方法のうち複数を組み合わせて特定してもよい。

さらに，画像情報処理部２４は，フェイス処理のほか，撮影画像情報における価格タグにおける価格の情報を読み取るようにしてもよい。価格タグにおける価格情報の読み取りとしては，たとえば，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記撮影画像情報を入力し，その出力値に基づいて，価格タグの領域を特定し，特定した価格タグの領域に対して，ＯＣＲ認識処理を行うことで，価格情報を特定してもよい。学習モデルとしては，さまざまな撮影画像情報に価格タグの領域を正解データとして与えたものを用いることができる。また，価格タグから読み取られた価格情報は，一または複数のフェイス領域若しくはその商品に関連付けられる。関連付けは，オペレータによって手動で行われてもよいし，価格タグにもっとも近い距離に位置するフェイス領域に関連付けられてもよい。また，価格タグの領域に対するＯＣＲ認識処理によって読み取った商品名などの商品識別情報と，後述する比較処理部２６で同定した当該フェイス領域における商品若しくはその商品識別情報とのマッチングを行い，合致する（もっとも類似度が高いものも含む）フェイス領域に，当該価格タグを対応づけてもよい。

画像情報処理部２４は，以上のように特定したフェイス領域を切り出す。フェイス領域を切り出すとは，撮影画像情報から特定したフェイス領域を実際に切り出してもよいし，後述の処理の処理対象としてその領域を設定することも含まれる。

フェイス領域を切り出す場合には，上述の各処理で特定したフェイス領域をそのまま切り出してもよいし，複数の方法によりフェイス領域の特定を行い，各方法で特定したフェイス領域の結果を用いて切り出す対象とするフェイス領域を特定してもよい。たとえば，陳列棚の棚段と棚段の間の領域（棚段領域）における商品と商品との間に生じる縦の細く狭い陰影を特定することで商品の領域を特定し，その領域から所定の矩形領域を特定する方法と，深層学習によりフェイス領域を特定する方法とを行い，それらの各方法で特定したフェイス領域の結果同士について，あらかじめ定めた演算によって，最終的に切り出す対象とするフェイス領域を特定してもよい。切り出すフェイス領域の特定方法は，上記に限定するものではなく，任意に設定することができる。

候補処理部２５は，撮影画像情報におけるフェイス領域の特徴量と比較対象とする商品（フェイス領域に写っている商品の候補）を特定する。すなわち，撮影画像情報のフェイス領域に写っている商品の属性情報および／または陳列場所情報に基づいて，後述する比較処理部２６で比較する商品（商品の標本情報）を特定する。

具体的には，画像情報処理部２４におけるフェイス処理の際に特定した，フェイス領域に写っている商品の属性情報，そのフェイス領域に関連付けられる価格タグから読み取られた価格情報，その撮影画像情報が撮影された店舗の系列店情報を用いて，商品情報記憶部２１における付随情報，属性情報，陳列場所情報などと比較し，その一致度が高い順にソートすることで，比較対象となる商品を絞り込む。たとえば比較対象とする商品を一致度が高い順に，上位所定数，たとえば上位１０件の商品を候補として絞り込む。

なお，属性情報として，商品の販売情報，たとえば市場でのＴＯＰ１０，当該店舗のＰＯＳシステムにおける商品別売上情報，地域限定商品などを含む場合であって，画像情報処理部２４において撮影画像情報から属性情報として認識できなかった情報については，オペレータが入力を行うことによって，比較対象となる商品の絞込を行うようにしてもよい。

比較処理部２６は，候補処理部２５で特定した商品の標本情報と，フェイス領域の画像情報との比較処理（マッチング処理）を実行する。たとえばフェイス領域の画像情報の特徴量を抽出する。そして抽出した特徴量と，候補処理部２５で特定した商品の特徴量などの標本情報との比較処理を実行することで，フェイス領域の画像情報の特徴量と，標本情報との類似性を判定し，そのフェイス領域に含まれる商品の識別情報，たとえば商品名などを判定する。すなわち，フェイス領域の画像情報の特徴量と，標本情報との類似性を算出し，その類似性がもっとも高い標本情報に対応する商品を，そのフェイス領域に写っている商品として同定する。

なお比較処理としては，フェイス領域の画像情報の全体と標本情報とをマッチングするのみならず，フェイス領域の画像情報の一部，たとえば特徴領域（ブロック）の画像情報の特徴量を抽出し，標本情報の特徴量と比較処理を実行してもよい。

また，特徴量以外の方法により比較処理を行ってもよい。

比較処理部２６は，深層学習（ディープラーニング）を用いて標本情報との比較処理を実行してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記フェイス領域の画像情報の全部または一部を入力し，その出力値に基づいて，類似する標本情報を特定してもよい。学習モデルとしては，さまざまなフェイス領域の画像情報に標本情報を正解データとして与えたものを用いることができる。

比較処理部２６における比較の結果，当該フェイス領域と，フェイス領域に写っている商品として同定した商品の商品識別情報，商品名，商品コードなどと対応づけて，所定の記憶部に記憶させる。商品の陳列位置は，フェイス領域の縦，横方向の順番などで特定することができるほか，撮影画像情報における座標として特定することもできる。

また，同定した商品が，どの店舗のどの陳列棚のどの棚段に陳列されていたかを，上述の所定の記憶部に記憶させる。

つぎに本発明の画像処理システム１を用いた処理プロセスの一例を図３および図４のフローチャートを用いて説明する。本実施例では，店舗の陳列棚を撮影し，陳列棚にある商品を特定する場合を説明する。そのため，撮影画像情報としては商品が陳列されている店舗の陳列棚であり，標本情報における商品としては陳列される可能性のある商品となる。また商品情報記憶部２１には，ＪＩＣＦＳのデータ集が記憶されており，商品の名称，商品の識別情報，付随情報，属性情報，陳列場所情報などが記憶されている。

まずオペレータは，比較対象とする商品を正対位置から撮影し，撮影した商品画像情報の入力を入力端末３から受け付ける（Ｓ１００）。そして，入力を受け付けた商品画像情報について，商品情報記憶部２１に記憶する当該商品に対応づけて記憶させる。また，商品情報処理部２０は，入力を受け付けた商品画像情報の一部または全部の領域における特徴量を生成し（Ｓ１１０），標本情報として，商品情報記憶部２１に記憶する当該商品に対応づけて記憶させる（Ｓ１２０）。特徴量を生成する領域は，自動的に抽出してもよいし，入力を受け付けた商品画像情報からオペレータが指定してもよい。

さらに，商品情報処理部２０は，商品の外観，定格，価格帯などの属性情報のうち，ＪＩＣＦＳのデータ集に登録されていない情報について，オペレータから入力を受け付け，属性情報として，当該商品に対応づけて商品情報記憶部２１に記憶させる。この際に，オペレータが入力を行うほか，登録されていない情報を深層学習を用いて特定し，それを商品情報記憶部２１に記憶させてもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記商品画像情報を入力し，その出力値に基づいて，属性情報のうち登録する情報を特定してもよい。また学習モデルとしては，さまざまな商品画像情報に，属性情報のうち登録する情報を正解データとして与えたものを用いることができる。

以上のように，あらかじめ比較対象とする商品に対する処理を，複数の商品，好ましくは陳列棚に陳列される可能性のあるすべての商品について実行しておく。

そして入力端末３から，店舗の陳列棚を撮影した撮影画像情報を管理端末２の画像情報入力受付処理部２２で受け付けると（Ｓ２００），画像情報記憶部２３に，撮影日時，撮影画像情報の識別情報などと対応づけて記憶させる。また，この際に，どの店舗のどの陳列棚のどの棚段を撮影した撮影画像情報であるかなどの情報の入力を受け付け，画像情報記憶部２３に記憶させる。なおここで入力された店舗，陳列棚，棚段の情報は，後述する比較処理部２６における比較結果を記憶する際に，比較結果を記憶する記憶部や商品情報記憶部２１に反映して記憶される。

受け付けた撮影画像情報に対して，画像情報処理部２４は，撮影画像情報が正対した状態となるように補正する正置化処理を実行する（Ｓ２１０）。そして，正置化した撮影画像情報からフェイス領域を特定するフェイス処理を実行する（Ｓ２２０）。

候補処理部２５は，フェイス処理で特定した商品の属性情報，たとえばフェイス領域に写っている商品のシェイブ，縦横比，文字列，色情報，ロゴ，あるいは正置化した撮影画像情報における価格タグにおける価格の情報を用いて，商品情報記憶部２１に記憶する商品の属性情報，付随情報と比較し，その一致度が高い順にソートをして，上位所定数の商品を比較対象の候補として特定する（Ｓ２３０）。たとえば上位１０件の商品を比較対象の候補として絞り込む。なお，候補処理部２５は，さらに撮影画像情報を撮影した店舗の系列店情報の入力を受け付けることで，絞込をしてもよい。

たとえば画像情報処理部２４におけるフェイス処理として，商品の属性情報などにおけるシェイプとして「缶型」，定格として「３５０ｍｌ」，価格帯として「１００円」，系列情報として「α系列」の場合，それらに該当する商品を商品情報記憶部２１から抽出し，一致度が高い順にソートする。そして一致度が高い上位１０件の商品を比較対象の候補として絞り込む。

比較処理部２６は，Ｓ２３０で特定した比較対象の候補とした商品の標本情報を商品情報記憶部２１から抽出する。また，フェイス領域の画像情報の特徴量と，候補として特定した商品の標本情報における特徴量とを比較する（Ｓ２４０）。この比較の際には，フェイス領域の画像情報の大きさと，標本情報における画像情報の大きさ，縮尺，回転なども極力近づけた上で比較処理を行うことが好ましい。この比較処理を候補として特定した各商品について行う。上述の場合，候補として特定した上位１０件の商品について行う。

そしてこの比較処理の結果，候補として特定した商品のうち，もっとも類似度が高いと判定した商品を，当該フェイス領域の商品として同定し，当該フェイス領域と，商品識別情報，商品名，商品コードなどと対応づける（Ｓ２５０）。

撮影画像情報に写っている陳列棚には，複数の商品が陳列されていることが一般的であるから，陳列されている商品に応じたフェイス領域が切り出されていることが一般的である。そのため，それぞれのフェイス領域について，上述の各処理を実行することで，陳列棚に陳列されている商品や陳列位置を特定することができる。商品の陳列位置は，フェイス領域の縦，横方向の順番などで特定することができるほか，撮影画像情報における座標として特定することもできる。

また，比較処理部２６における比較結果を，商品情報記憶部２１に記憶させる。すなわち，同定した商品が，どの店舗のどの陳列棚のどの棚段に設置されていたかの比較結果を示す情報を記憶させる。なお，このような比較結果は，商品情報記憶部２１そのものではなく，ほかの記憶部に記憶させ，商品情報記憶部２１における商品から参照可能なように構成されていてもよい。

以上のような処理を実行することで，計算時間を要する特徴量の比較処理を減らすことができるので，全体の計算時間を減らすことができる。

商品がどこに陳列されているかの確認は，同一の店舗に対して，定期的に行われることが多い。同一の店舗の同一の陳列棚を定期的に撮影し，その撮影画像情報に写っている商品を同定することで，当該商品の陳列状況の経時的な変化をマーケティング情報として捉えるものである。そこで，すでに撮影画像情報に写っている商品を同定している場合に，その次の機会（たとえば翌週）に同一の店舗の同一の陳列棚を撮影して，その撮影画像情報に写っている商品を同定する場合を，図５のフローチャートを用いて説明する。

同一の店舗の同一の陳列棚について，二回目以降に撮影した撮影画像情報を入力端末３から管理端末２の画像情報入力受付処理部２２で受け付けると（Ｓ３００），画像情報記憶部２３に，撮影日時，撮影画像情報の識別情報などと対応づけて記憶させる。また実施例１と同様に，この際に，どの店舗のどの陳列棚のどの棚段を撮影した撮影画像情報であるかなどの情報の入力を受け付け，画像情報記憶部２３に記憶させる。

受け付けた撮影画像情報に対して，画像情報処理部２４は，撮影画像情報が正対した状態となるように補正する正置化処理を実行する（Ｓ３１０）。そして，正置化した撮影画像情報からフェイス領域を特定するフェイス処理を実行する（Ｓ３２０）。

そして候補処理部２５は，フェイス処理で特定した商品の属性情報，たとえばフェイス領域に写っている商品のシェイブ，縦横比，文字列，色情報，ロゴ，あるいは正置化した撮影画像情報における価格タグにおける価格の情報を用いて，商品情報記憶部２１に記憶する商品の属性情報，付随情報と比較し，その一致度が高い順にソートをして，上位所定数の商品を比較対象の候補を特定する。たとえば上位１０件の商品を比較対象の候補として絞り込む。なお，候補処理部２５は，さらに撮影画像情報を撮影した店舗の系列店情報の入力を受け付けることで，絞込をしてもよい。

さらに，Ｓ３００で入力を受け付けた，撮影画像情報の店舗，陳列棚，棚段の情報に基づいて，商品情報記憶部２１を参照して，陳列場所情報として対応する当該店舗の当該陳列棚の当該棚段に陳列された商品を特定し，比較対象の候補に追加する。なお，絞り込む際には，陳列場所情報として，店舗，陳列棚，陳列棚段のほか，売り場の情報，売り場種別の情報，などを用いて絞込をしてもよい。

すなわち候補処理部２５は，前回撮影した店舗の陳列棚および／または棚段に陳列されていた商品（同一の陳列棚および／または棚段を撮影した撮影画像情報から同定した商品）と，今回処理対象とする撮影画像情報から特定した商品の属性情報，価格情報などに基づいて一致度が高い順に特定した上位所定数の商品とを，比較処理部２６における比較対象の候補となる商品として特定する（Ｓ３３０）。

比較処理部２６は，Ｓ３３０で特定した比較対象の候補とした商品の標本情報を商品情報記憶部２１から抽出する。そして，フェイス領域の画像情報の特徴量と，候補として特定した商品の標本情報における特徴量とを比較する（Ｓ３４０）。この比較の際には，フェイス領域の画像情報の大きさと，標本情報における画像情報の大きさ，縮尺，回転なども極力近づけた上で比較処理を行うことが好ましい。この比較処理を候補として特定した各商品について行う。上述の場合，候補として特定した上位１０件の商品について行う。

そしてこの比較処理の結果，候補として特定した商品のうち，もっとも類似度が高いと判定した商品を，当該フェイス領域の商品として同定し，当該フェイス領域と，商品識別情報，商品名，商品コードなどと対応づける（Ｓ３５０）。また，比較結果を，商品情報記憶部２１に記憶させる。すなわち，同定した商品が，どの店舗のどの陳列棚のどの棚段に設置されていたかの比較結果を示す情報を記憶させる。

以上のような処理を実行することで，計算時間を要する特徴量の比較処理を減らすことができるので，全体の計算時間を減らすことができる。

なお，初回とは一回目のほか，任意のタイミングで上述の実施例１などの処理を行う場合も含まれる。二回目以降とは初回以外である。

上述の各実施例における各処理については，本発明の明細書に記載した順序に限定するものではなく，その目的を達成する限度において適宜，変更することが可能である。

また，本発明の画像処理システム１は，店舗の陳列棚を撮影した撮影画像情報から，陳列棚に陳列した商品を商品として，その商品の陳列状況を特定する場合に有効であるが，それに限定するものではない。すなわち，ある撮影商品を撮影した場合に，その所望の商品が写っている領域を撮影した画像情報から特定する際に，広く用いることができる。

本発明の画像処理システム１を用いることによって，陳列棚などを撮影した画像情報に写っている商品などの商品を特定する際に，計算時間を従来よりも要することなく，比較処理の精度を向上させることが可能となる。

１：画像処理システム
２：管理端末
３：入力端末
２０：商品情報処理部
２１：商品情報記憶部
２２：画像情報入力受付処理部
２３：画像情報記憶部
２４：画像情報処理部
２５：候補処理部
２６：比較処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

Claims (8)

1. 画像情報に写る商品を同定する画像処理システムであって，
   前記画像処理システムは，
   画像情報において商品の標本情報と比較する領域を特定する画像情報処理部と，
   比較対象とする商品を特定する候補処理部と，
   前記特定した商品の標本情報と，前記画像情報において特定した領域の画像情報および／またはその特徴量とを比較することで，前記領域に写る商品を同定する比較処理部と，を有しており，
   前記候補処理部は，
   同一の陳列棚および／または陳列棚段を撮影した画像情報から同定した商品を，比較対象とする商品として特定する，
   ことを特徴とする画像処理システム。
2. 前記画像処理システムは，
   商品に関する付随情報および／または属性情報を記憶する商品情報記憶部，を有しており，
   前記候補処理部は，
   前記領域に写る商品の属性情報および／または価格情報を用いて，前記商品情報記憶部を参照することで，前記比較対象とする商品を特定する，
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記候補処理部は，
   前記属性情報として，前記領域に写る商品の外観，定格または前記画像情報における価格情報のうちいずれか一以上を用いて，前記商品情報記憶部を参照することで，前記比較対象とする商品を特定する，
   ことを特徴とする請求項２に記載の画像処理システム。
4. 前記商品の外観として，
   前記商品の形状，ロゴ，文字列，色情報のうちいずれか一以上を含む，
   ことを特徴とする請求項３に記載の画像処理システム。
5. 前記商品情報記憶部は，
   商品に関する陳列場所情報を記憶しており，
   前記候補処理部は，
   前記画像情報に対応する陳列場所情報を用いて，前記商品情報記憶部を参照することで，前記比較対象とする商品を特定する，
   ことを特徴とする請求項２から請求項４のいずれかに記載の画像処理システム。
6. 前記候補処理部は，
   前記陳列場所情報として，売り場情報，陳列棚の情報，陳列棚段の情報，売り場種別の情報，系列店の情報のうちいずれか一以上を用いて，前記商品情報記憶部を参照することで，前記比較対象とする商品を特定する，
   ことを特徴とする請求項５に記載の画像処理システム。
7. 前記候補処理部は，
   処理対象とする画像情報に対応する陳列棚および／または陳列棚段の情報を用いて，前記商品情報記憶部を参照することで，前記比較対象とする商品を特定する，
   ことを特徴とする請求項２から請求項６のいずれかに記載の画像処理システム。
8. コンピュータを，
   画像情報において商品の標本情報と比較する領域を特定する画像情報処理部，
   比較対象とする商品を特定する候補処理部，
   前記特定した商品の標本情報と，前記画像情報において特定した領域の画像情報および／またはその特徴量とを比較することで，前記領域に写る商品を同定する比較処理部，として機能させる画像処理プログラムであって，
   前記候補処理部は，
   同一の陳列棚および／または陳列棚段を撮影した画像情報から同定した商品を，比較対象とする商品として特定する，
   ことを特徴とする画像処理プログラム。

Images