JP7343115B1 - 情報処理システム - Google Patents

Abstract

【課題】陳列棚に陳列している商品の情報と，商品タグとの対応関係を自動的に紐付ける情報処理システムを提供することを目的とする。【解決手段】陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部と，商品タグの商品識別情報を認識する商品タグ認識処理部と，前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する対応関係判定処理部と，を有する情報処理システムである。【選択図】 図１

Description

本発明は，陳列棚に陳列している商品の情報と，商品タグとの対応関係を自動的に紐付ける情報処理システムに関する。

コンビニエンスストア，スーパーなどの各種の店舗では，販売している商品を陳列棚に置いて販売をしていることが一般的である。そのため，陳列棚に商品を複数陳列しておくことで，商品の一つが購入されても，同一の商品をほかの人が購入できるようになっている。そして，商品が陳列棚のどこにどの程度陳列されているかを管理することは，商品の販売戦略上，重要である。

そのため，店舗における商品の実際の陳列状況を把握するため，陳列棚を撮影装置で撮影し，その撮影した画像情報から陳列されている商品を自動的に特定する方法がある。たとえば商品ごとの標本画像をもとに，店舗の陳列棚を撮影した画像に対して画像認識技術を用いる方法がある。これらの従来技術として，たとえば，下記特許文献１，特許文献２がある。

特開平５－３４２２３０号公報 特開平５－３３４４０９号公報

特許文献１の発明は，商品をどの陳列棚に陳列すべきかが知識のない者にもできるように支援するシステムである。そのため，商品をどこに陳列するかを把握することはできるが，陳列されている商品を特定するものではない。また特許文献２は，商品の陳列を支援する棚割支援システムにおいて，商品画像の入力を支援するシステムである。しかし特許文献２のシステムでは，棚割支援システムを利用する際の商品画像の入力を支援するのみであって，このシステムを用いたとしても，具体的な商品の陳列状況を把握することはできない。

また，陳列棚に陳列されている商品を商品の画像情報から特定できたとしても，商品の実際の価格までは特定することはできない。商品の実際の価格を特定するためには，ＰＯＳシステムと対比しなければならない。

本発明者は上記課題に鑑み，陳列棚に陳列されている商品と，その商品の商品タグ（値札）との対応関係を自動的に紐付け可能な情報処理システムを発明した。

第１の発明は，陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部と，商品タグの商品識別情報を認識する商品タグ認識処理部と，前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する対応関係判定処理部と，を有しており，前記対応関係判定処理部は，前記商品種別の数が前記商品タグの数より多い場合には，前記商品種別の数と前記商品タグの数とが同数となるように仮の商品タグを作成しまたはその作成を受け付け，前記商品種別と前記商品タグとを紐付けする，情報処理システムである。

本発明を用いることで，陳列棚に陳列されている商品の商品種別と，その商品の商品タグとの対応関係を自動的に紐付けすることが可能となる。
商品種別の数が商品タグの数より多い場合，商品タグが欠落していることが考えられる。そのため，仮の商品タグを作成し，またはその作成を受け付けることで，商品種別の数と商品タグとを同数とすることで，商品種別と商品タグとの対応関係を自動的に紐付けすることができる。

第２の発明は，陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部と，商品タグの商品識別情報を認識する商品タグ認識処理部と，前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する対応関係判定処理部と，を有しており，前記対応関係判定処理部は，前記商品種別の数が前記商品タグの数より少ない場合には，前記商品種別の数と前記商品タグの数とが同数となるように，不要な商品タグを削除しまたはその削除を受け付け，前記商品種別と前記商品タグとを紐付けする，情報処理システムである。

本発明を用いることで，陳列棚に陳列されている商品の商品種別と，その商品の商品タグとの対応関係を自動的に紐付けすることが可能となる。
商品種別の数が商品タグの数より少ない場合には，商品タグの誤認識が発生している可能性がある。そのため，不要な商品タグを削除し，またはその削除を受け付けることで，商品種別の数と商品タグとを同数とすることで，商品種別と商品タグとの対応関係を自動的に紐付けすることができる。

第３の発明は，陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部と，商品タグの商品識別情報を認識する商品タグ認識処理部と，前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する対応関係判定処理部と，を有しており，前記対応関係判定処理部は，前記商品種別と前記商品タグとの組み合わせが，今回の処理より前の組み合わせと同一の組み合わせの場合にはそのまま前記商品種別と前記商品タグとを紐付けし，前記組み合わせが異なる位置から，前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する，情報処理システムである。

本発明を用いることで，陳列棚に陳列されている商品の商品種別と，その商品の商品タグとの対応関係を自動的に紐付けすることが可能となる。
対応関係を判定するのが二回目以降の処理の場合には，本発明のような処理を実行することで，処理の軽減を図ることができる。

上述の発明において，前記対応関係判定処理部は，前記商品種別の数と商品タグの数とが同数である場合には，それぞれ商品種別と商品タグとを紐付けする，情報処理システムのように構成することができる。

商品種別の数と商品タグの数が同数の場合には，それぞれが対応していると考えられる。そのため，本発明のように処理を実行することで，商品種別と商品タグとの対応関係を自動的に紐付けすることができる。

第１の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現することができる。すなわち，コンピュータを，陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部，商品タグの商品識別情報を認識する商品タグ認識処理部，前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する対応関係判定処理部，として機能させる情報処理プログラムであって，前記対応関係判定処理部は，前記商品種別の数が前記商品タグの数より多い場合には，前記商品種別の数と前記商品タグの数とが同数となるように仮の商品タグを作成しまたはその作成を受け付け，前記商品種別と前記商品タグとを紐付けする，情報処理プログラムである。
第２の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現することができる。すなわち，コンピュータを，陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部，商品タグの商品識別情報を認識する商品タグ認識処理部，前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する対応関係判定処理部，として機能させる情報処理プログラムであって，前記対応関係判定処理部は，前記商品種別の数が前記商品タグの数より少ない場合には，前記商品種別の数と前記商品タグの数とが同数となるように，不要な商品タグを削除しまたはその削除を受け付け，前記商品種別と前記商品タグとを紐付けする，情報処理プログラムである。
第３の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現することができる。すなわち，コンピュータを，陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部，商品タグの商品識別情報を認識する商品タグ認識処理部，前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する対応関係判定処理部，として機能させる情報処理プログラムであって，前記対応関係判定処理部は，前記商品種別と前記商品タグとの組み合わせが，今回の処理より前の組み合わせと同一の組み合わせの場合にはそのまま前記商品種別と前記商品タグとを紐付けし，前記組み合わせが異なる位置から，前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する，情報処理プログラムである。

本発明の情報処理システムを用いることで，陳列棚に陳列されている商品と，その商品の商品タグ（値札）との対応関係を自動的に紐付け可能となる。

本発明の情報処理システムの構成の一例を模式的に示すブロック図である。 本発明の情報処理システムにおける陳列商品認識処理部の構成の一例を模式的に示すブロック図である。 本発明の情報処理システムにおける商品タグ認識処理部の構成の一例を模式的に示すブロック図である。 本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。 本発明の情報処理システムにおける全体の処理プロセスの一例を示すフローチャートである。 撮影画像情報の一例を示す図である。 撮影画像情報の他の一例を示す図である。 図６の撮影画像情報を正置化した画像情報の一例を示す図である。 図７の撮影画像情報を正置化した画像情報の一例を示す図である。 商品が陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す図である。 商品が吊り下げられて陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す図である。 標本情報記憶部に記憶される標本情報の一例を示す図である。 陳列棚におけるプレイスとフェイスとの関係を模式的に示す図である。 図１０の商品タグ配置領域の画像情報に対して，正置化した商品タグ配置領域の画像情報の一例を示す図である。 図１０の商品タグ配置領域の画像情報の一例を示す図である 商品タグ特定処理部における商品タグ領域の上辺位置，下辺位置を特定する処理を模式的に示す図である。 商品タグ特定処理部における商品タグ領域の横方向の位置を特定する処理を模式的に示す図である。 図１４の正置化した商品タグ配置領域の画像情報から，商品タグ領域を特定した状態を模式的に示す図である。 商品タグ内情報特定処理部における処理において，商品タグ領域を二値化した画像情報を模式的に示す図である。 商品タグ内情報特定処理部における処理において，ボックスを生成した状態を模式的に示す図である。 商品タグ内情報特定処理部における処理において，ブロックを生成した状態を模式的に示す図である。 商品タグに表記された商品名，ＯＣＲ認識の結果，商品辞書に記憶する商品名のうち編集距離が最小の商品名，編集距離の一例を示す図である。 最終候補の文字数ごとの確定してよい編集距離の対応関係の一例を示す図である。 対応関係判定処理部において商品種別と商品タグが同数である場合の処理を模式的に示す図である。 対応関係判定処理部において商品種別の数が商品タグの数より多い場合の処理を模式的に示す図である。 対応関係判定処理部において商品種別の数が商品タグの数より少ない場合の処理を模式的に示す図である。 対応関係判定処理部における二回目以降の処理を模式的に示す図である。 撮影画像情報の一例を示す図である。 図２８の撮影画像情報に対して正置化処理を実行した正置画像情報の一例を示す図である。

本発明の情報処理システム１の処理機能の一例をブロック図で図１乃至図３に示す。情報処理システム１は，管理端末２と撮影画像情報入力端末３とを用いる。図１は情報処理システム１の全体の機能を示すブロック図であり，図２は後述する陳列商品認識処理部２４の機能を示すブロック図であり，図３は後述する商品タグ認識処理部２５の機能を示すブロック図である。

管理端末２は，情報処理システム１を運営する企業等の組織が利用するコンピュータである。また，撮影画像情報入力端末３は，店舗の陳列棚を撮影した画像情報の入力を行う端末である。

情報処理システム１における管理端末２，撮影画像情報入力端末３は，コンピュータを用いて実現される。図４にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

撮影画像情報入力端末３は，上記の各装置のほか，カメラなどの撮影装置を備えていてもよい。撮影画像情報入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。

本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。たとえば後述する正置化処理を省略することもできる。その場合，正置化処理をしていない画像情報に対する処理を実行することができる。

撮影画像情報に基づいて商品の陳列状況を判定する場合，情報処理システム１は，撮影画像情報入力受付処理部２０と撮影画像情報記憶部２１と撮影画像情報正置化処理部２２と位置特定処理部２３と陳列商品認識処理部２４と商品タグ認識処理部２５と標本情報記憶部２６と商品識別情報記憶部２７と対応関係判定処理部２８とを有する。

撮影画像情報入力受付処理部２０は，撮影画像情報入力端末３で撮影した店舗の陳列棚の画像情報（撮影画像情報）の入力を受け付け，後述する撮影画像情報記憶部２１に記憶させる。撮影画像情報入力端末３からは，撮影画像情報のほか，撮影日時，店舗名などの店舗識別情報，画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図６，図７に撮影画像情報の一例を示す。図６，図７では，陳列棚に３段の棚段があり，そこに商品が陳列されている撮影画像情報である。なお，本発明においては特にその処理を明記はしないが，陳列棚や棚段は横方向に長いことが多い。そのため，その処理においては，一定の幅で区切り，各処理の処理対象としてもよい。

撮影画像情報記憶部２１は，撮影画像情報入力端末３から受け付けた撮影画像情報，撮影日時，店舗識別情報，画像情報識別情報などを対応づけて記憶する。撮影画像情報とは，本発明の処理対象となる画像情報であればよい。一般的には，単に撮影した場合，撮影対象物を正対した状態で撮影することが困難であることから，それを正対した状態に補正する補正処理，たとえば台形補正処理などを実行することがよい。一つの陳列棚を複数枚で撮影した場合に，それが一つの画像情報として合成された画像情報も含まれる。また，歪み補正処理が実行された後の画像情報も撮影画像情報に含まれる。

撮影画像情報正置化処理部２２は，撮影画像情報記憶部２１に記憶した撮影画像情報に対して，撮影対象物が正対した状態になるように補正する処理（正置化処理），たとえば台形補正処理を実行した正置画像情報を生成する。台形補正処理は，撮影画像情報に写っている陳列棚の棚段が水平に，そこに陳列されている商品に対する商品タグ（たとえば値札）が垂直になるように行う補正処理である。正置化とは，撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って，十分に遠方から撮影した場合と同じになるように画像情報を変形させることであり，たとえば台形補正処理がある。

撮影画像情報正置化処理部２２が実行する台形補正処理は，撮影画像情報において４頂点の指定の入力を受け付け，その各頂点を用いて台形補正処理を実行する。指定を受け付ける４頂点としては，陳列棚の棚段の４頂点であってもよいし，陳列棚の棚位置の４頂点であってもよい。また，２段，３段の棚段のまとまりの４頂点であってもよい。４頂点としては任意の４点を指定できる。図８に図６の撮影画像情報を，図９に図７の撮影画像情報をそれぞれ正置化した撮影画像情報（正置画像情報）の一例を示す。

位置特定処理部２３は，撮影画像情報正置化処理部２２において撮影画像情報に対して台形補正処理を実行した正置画像情報のうち，商品が配置される可能性のある棚段の領域（棚段領域），商品タグが取り付けられる可能性のある領域（商品タグ配置領域）を特定する。すなわち，撮影画像情報および正置画像情報には陳列棚が写っているが，陳列棚には，商品が陳列される棚段領域と，そこに陳列される商品に対する商品タグが取り付けられる可能性のある商品タグ配置領域とがある。そのため，正置画像情報から棚段領域と商品タグ配置領域を特定する。棚段領域，商品タグ配置領域の特定としては，管理端末２の操作者が手動で棚段領域，商品タグ配置領域を指定し，それを位置特定処理部２３が受け付けてもよいし，初回に手動で入力を受け付けた棚段領域，商品タグ配置領域の情報に基づいて，二回目以降は自動で棚段領域，商品タグ配置領域を特定してもよい。

図１０に，飲料缶などの商品が陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す。また，図１１に，歯ブラシなどの商品が吊り下げられて陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す。

なお，位置特定処理部２３は，棚段領域，商品タグ配置領域を特定する際に，深層学習（ディープラーニング）を用いて棚段領域，商品タグ配置領域を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，上記正置画像情報を入力し，その出力値に基づいて，棚段領域，商品タグ配置領域を特定してもよい。また学習モデルとしては，さまざまな正置画像情報に棚段領域，商品タグ配置領域を正解データとして与えたものを用いることができる。

陳列商品認識処理部２４は，正置画像情報に写っている陳列棚における棚段に陳列されている商品を認識する処理を実行する。

撮影画像情報に基づいて陳列棚に陳列している商品の商品識別情報を認識する場合，陳列商品認識処理部２４は，棚段領域処理部２４１とプレイス特定処理部２４２と商品識別情報特定処理部２４３と棚段画像マッチング処理部２４４とを有する。

棚段領域処理部２４１は，位置特定処理部２３で特定した棚段領域の画像情報を棚段領域画像情報として特定する。棚段領域処理部２４１は，実際に，画像情報として切り出してもよいし，実際には画像情報としては切り出さずに，領域の画像情報を特定するなどによって，仮想的に切り出すのでもよい。なお，陳列棚に棚段が複数ある場合には，それぞれが棚段領域画像情報として切り出される。また棚段の領域を示す座標としては，その領域を特定するための頂点の座標であり，正置画像情報におけるたとえば４点，右上と左下，左上と右下の２点の座標などでよい。また，正置画像情報における陳列棚など，画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。

プレイス特定処理部２４２は，正置画像情報における棚段領域における棚段ごとに，プレイスの領域を特定する。プレイスとは商品が置かれる領域であって，その商品が置かれているか否かは問わない。プレイスの領域の大きさは，そこに置かれるべき商品と同一または略同一の大きさである。そして，実際に商品が陳列されているプレイスを「フェイス」とする。またプレイスに商品が陳列されていない場合を「空」とする。プレイス特定処理部２４２は，初回のプレイスの特定処理と，二回目以降のプレイスの特定処理とに分かれることが好ましい。

プレイス特定処理部２４２における初回のプレイスの特定処理は，位置特定処理部２３で特定した棚段の座標で構成される領域（好ましくは矩形領域）の範囲内において，プレイスを特定する。具体的には，棚段領域における商品と商品との間に生じる細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，プレイスの領域を特定する。なお，プレイス特定処理部２４２は，プレイスの領域を特定する際に，深層学習（ディープラーニング）を用いてプレイスの領域を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，処理対象とする領域，たとえば棚段領域の画像情報を入力し，その出力値に基づいて，プレイスの領域を特定してもよい。また学習モデルとしては，さまざまな処理対象とする領域，たとえば棚段領域の画像情報にプレイスの領域を正解データとして与えたものを用いることができる。

プレイスの特定処理としては，商品のカテゴリや商品の形態によって，任意の方法を採用可能であり，上記に限定するものではない。また，自動的に特定したプレイスに対して，担当者による修正入力を受け付けてもよい。さらに，担当者からプレイスの位置の入力を受け付けるのでもよい。特定したプレイスを構成する領域の座標は，正置画像情報におけるプレイスの領域の座標に，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，プレイスを識別するためのプレイス識別情報とを対応づけて管理する。またプレイスの領域を示す座標としては，矩形領域を特定するための頂点の座標であり，正置画像情報におけるたとえば４点，右上と左下，左上と右下の２点の座標などでよい。また，正置画像情報における陳列棚など，画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。

一般的には，一つの棚段には，同じような種類の商品が置かれることが多い。その場合，商品の大きさもほぼ同じ大きさである。そこで，一つの商品のプレイスの領域を特定した場合，その領域を棚段において反復して設定することで，当該棚段におけるプレイスを特定してもよい。

プレイス特定処理部２４２における二回目以降のプレイスの特定処理は，同一の陳列棚の同一の棚段について，前回（Ｎ－１回目）の正置画像情報で特定したプレイスの領域の座標を今回（Ｎ回目）の正置画像情報で特定したプレイスの領域の座標とするようにしてもよい。

商品識別情報特定処理部２４３は，陳列棚の棚段ごとに，プレイスに表示されている商品の商品識別情報を，標本情報に記憶する標本情報を用いて特定する。商品識別情報としては，商品名のほか，その商品に対して割り当てられているＪＡＮコードなどがあるが，それに限定されない。商品を識別することができる情報であればいかなるものでもよい。

商品識別情報特定処理部２４３は，以下のような処理を実行する。すなわち，プレイスごとに，プレイスの画像情報と，標本情報記憶部２６に記憶する商品の標本情報とマッチングすることで，そのプレイスに表示されている商品の商品識別情報を特定する。具体的には，まず，処理対象となるプレイスの座標で構成される領域の画像情報と，標本情報記憶部２６に記憶する標本情報との類似性を判定し，その類似性がもっとも高い標本情報に対応する商品識別情報を特定し，特定した類似性があらかじめ定めた閾値以上であれば，上記座標で構成されるプレイスに表示されている商品の商品識別情報として特定をする。

ここでプレイスの画像情報と標本情報との類似性を判定するには，以下のような処理を行う。まず，商品識別情報特定処理部２４３における商品識別情報の特定処理の前までの処理において，正置画像情報の棚段におけるプレイスの領域の画像情報と，標本情報との方向が同じ（横転や倒立していない）となっており，また，それぞれの画像情報の大きさが概略同じとなっている（所定範囲以上で画像情報の大きさが異なる場合には，類似性の判定の前にそれぞれの画像情報の大きさが所定範囲内となるようにサイズ合わせをしておく）。

商品識別情報特定処理部２４３は，プレイスの画像情報と，標本情報との類似性を判定するため，プレイスの画像情報の画像特徴量（たとえば局所特徴量）に基づく特徴点と，標本情報との画像特徴量（たとえば局所特徴量）に基づく特徴点を，それぞれ抽出する。そして，プレイスの画像情報の特徴点と，標本情報の特徴点とでもっとも類似性が高いペアを検出し，それぞれで対応する点の座標の差を求める。そして，差の平均値を求める。差の平均値は，プレイスの画像情報と，標本情報との全体の平均移動量を示している。そして，すべての特徴点のペアの座標差を平均の座標差と比較し，外れ度合いの大きなペアを除外する。そして，残った対応点の数で類似性を順位付ける。

以上のような方法でプレイスの画像情報と，標本情報との類似性を算出できる。また，その精度を向上させるため，さらに，色ヒストグラム同士のＥＭＤ（Ｅａｒｔｈ Ｍｏｖｅｒｓ Ｄｉｓｔａｎｃｅ）を求め，類似性の尺度としてもよい。これによって，撮影された画像情報の明度情報等の環境変化に比較的強い類似性の比較を行うことができ，高精度で特定をすることができる。

類似性の判定としては，ほかにも，各プレイスの領域の画像情報のシグネチャ（画像特徴量と重みの集合）同士のＥＭＤを求め，類似性の尺度としてもよい。シグネチャの画像特徴量としては，たとえばプレイス領域の画像情報のＨＳＶ色空間内の頻度分布を求め，色相と彩度に関してグルーピングを行って，特徴の個数とＨＳＶ色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは，撮影条件に大きく左右されないように，明度への依存度を下げるためである。

また，処理の高速化のため，シグネチャとＥＭＤの代わりに，適宜の色空間内での画像情報の色コリログラムや色ヒストグラムなどの画像特徴量間のＬ２距離等の類似性を用いることもできる。

類似性の判定は，上述に限定をするものではない。特定した商品識別情報は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，プレイスを識別するためのプレイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。

商品識別情報特定処理部２４３は，プレイスの画像情報に表示されている商品の商品識別情報を特定する際に，深層学習（ディープラーニング）を用いて商品識別情報を特定してもよい。この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，プレイスの画像情報を入力し，その出力値に基づいて，商品識別情報を特定してもよい。また学習モデルとしては，さまざまなプレイスの画像情報に商品識別情報を正解データとして与えたものを用いることができる。

なお，商品識別情報が特定できたプレイスはフェイスとなるので，商品識別情報記憶部２７にそのプレイスが「フェイス」であることを示す情報が記憶され，商品識別情報が特定できなかったプレイスは「空」となるので，商品識別情報記憶部２７にそのプレイスが「空」であることを示す情報が記憶される。

以上のようにして特定した商品識別情報は，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，プレイスを識別するためのプレイス識別情報，フェイスであるか空であるかを示す情報に対応づけて商品識別情報記憶部２７に記憶する。

棚段画像マッチング処理部２４４は，前回（Ｎ－１回目）の正置画像情報における棚段の領域の画像情報と，今回（Ｎ回目）の正置画像情報における棚段の領域の画像情報とに基づいて，その類似性が高ければその棚段における各プレイスの商品識別情報または「空」は同一と判定する。この類似性の判定処理は，上述のように，前回（Ｎ－１回目）の正置画像情報における棚段の領域の画像情報の画像特徴量と，今回（Ｎ回目）の正置画像情報における棚段の領域の画像情報とに基づく類似性の判定でもよいし，色ヒストグラム同士のＥＭＤを用いたものであってもよい。また，それらに限定するものではない。そして，商品識別情報特定処理部２４３におけるプレイス単位ごとの特定処理ではなく，商品識別情報特定処理部２４３に，Ｎ回目の正置画像情報におけるその棚段における各プレイスの商品識別情報を，Ｎ－１回目の同一の棚段における各プレイスの商品識別情報と同一として，商品識別情報記憶部２７に記憶させる。これによって，あまり商品の動きがない棚段や逆にきわめて短いサイクルで管理される棚段など，変化がほとんど生じない棚段についての処理を省略することができる。なお，棚段画像マッチング処理部２４４による処理は設けなくてもよい。

陳列商品認識処理部２４は，プレイス特定処理部２４２，商品識別情報特定処理部２４３の処理をまとめて深層学習などによって実行してもよい。

管理端末２における商品タグ認識処理部２５は，正置画像情報に写っている陳列棚の商品タグ領域にある商品タグに記載されている商品タグ情報を認識する処理を実行する。商品タグ情報としては，たとえば価格があるが，それに限定されない。

撮影画像情報に基づいて商品タグの商品識別情報を認識する場合，商品タグ認識処理部２５は，商品タグ配置領域処理部２５１と商品タグ配置領域正置化処理部２５２と商品タグ特定処理部２５３と商品タグ内情報特定処理部２５４とを有する。

商品タグ配置領域処理部２５１は，位置特定処理部２３で特定した商品タグ配置領域の画像情報を商品タグ配置領域画像情報として切り出す。商品タグ配置領域処理部２５１は，実際に，画像情報として切り出してもよいし，実際には画像情報としては切り出さずに，仮想的に切り出すのでもよい。画像情報を仮想的に切り出すとは，特定した領域，たとえば商品タグ配置領域の範囲を処理対象として処理を実行させることをいう。なお，陳列棚に商品タグ配置領域が複数ある場合には，それぞれが商品タグ配置領域画像情報として切り出される。また商品タグ配置領域を示す座標としては，その領域を特定するための頂点の座標であり，正置画像情報におけるたとえば４点，右上と左下，左上と右下の２点の座標などでよい。また，正置画像情報における陳列棚など，画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。

商品タグ配置領域正置化処理部２５２は，商品タグ配置領域処理部２５１において切り出した商品タグ配置領域画像情報を正置化する台形補正処理を実行する。陳列棚の面が垂直であるのに対し，商品タグの面は，顧客から見やすいように，垂直面よりも上向きをしていることが多い。そこで商品タグ配置領域の画像情報を正置化することで，認識精度を向上させる。図１４に，図１０の商品タグ配置領域の画像情報に対して，正置化した商品タグ配置領域の画像情報の一例を示す。図１４（ａ）が図１０における上の棚段の商品タグ配置領域の画像情報を正置化した商品タグ配置領域の画像情報であり，図１４（ｂ）が図１０における下の棚段の商品タグ配置領域の画像情報を正置化した商品タグ配置領域の画像情報である。

商品タグ配置領域正置化処理部２５２は，以下のような処理を実行することで，商品タグ配置領域の画像情報を正置化する。すなわち，商品タグ配置領域の画像情報において，エッジ検出を行い，左右の両端に近い箇所で，一定の長さ以上の垂直に近い輪郭線（たとえば７０度から１１０度のように，垂直（９０度）から所定範囲の角度内の輪郭線）を特定する。なお，左右の両端に近い箇所の輪郭線を抽出することが好ましいが，それに限定しない。図１０の商品タグ配置領域の画像情報の場合，図１５に示すように，Ｌ１乃至Ｌ４をそれぞれ特定する。図１５（ａ）が図１０における上の棚段の商品タグ配置領域であり，図１５（ｂ）が図１０における下の棚段の商品タグ配置領域である。なお，特定する輪郭線Ｌ１乃至Ｌ４は，実際に商品タグ配置領域の画像情報に描画するわけではない。そして図１５（ａ）のＬ１，Ｌ２，図１５（ｂ）のＬ３，Ｌ４が，それぞれ垂直線となるように，商品タグ配置領域の画像情報に対する台形補正処理をそれぞれ実行する。このような処理を実行することで，商品タグ配置領域の画像情報を正置化し，図１４に示す正置化した商品タグ配置領域の画像情報を得られる。なお，商品タグ配置領域正置化処理部２５２の処理を実行することで，商品タグ特定処理部２５３，商品タグ内情報特定処理部２５４の精度を向上させることができることから，その処理を実行することが好ましいが，省略することもできる。その場合，商品タグ特定処理部２５３，商品タグ内情報特定処理部２５４は，商品タグ配置領域処理部２５１で切り出した商品タグ配置領域に対して実行することとなる。

商品タグ特定処理部２５３は，正置化した商品タグ配置領域画像情報から，各商品タグの領域（商品タグ領域）を特定する。商品タグ領域の特定処理には，主に３種類の方法を用いることができる。第１の方法は，輪郭線に基づいて商品タグ領域を特定する方法であり，第２の方法は，全体の明暗の分布などの全体的な特徴を，商品タグのテンプレートの画像情報とマッチングすることで商品タグ領域を特定する方法であり，第３の方法は，深層学習を用いて商品タグ領域を特定する方法である。なお，第１の方法乃至第３の方法以外の方法を用いることもできる。

第１の方法は，商品タグの地の色（背景色）が白色が多い（背景より明るい）ことを利用する方法である。すなわち，まず正置化した商品タグ配置領域の画像情報のうち，画像情報の明度情報を横方向に積算したヒストグラムを生成する。そしてヒストグラムの立ち上がり，立ち下がり位置を特定し，商品タグの上辺位置Ａ，下辺位置Ｂを特定する。この処理を模式的に示すのが図１６である。立ち上がりとは，ヒストグラムにおいて，黒から白の方向に急峻（あらかじめ定められた比率以上）に増加する箇所であり，立ち下がりとは，ヒストグラムにおいて，白から黒の方向に急峻に減少する箇所である。

そして，正置化した商品タグ配置領域の画像情報のうち，上辺位置Ａ，下辺位置Ｂの間を切り出し，正置化した商品タグ配置領域画像情報の明度情報を縦方向に積算したヒストグラムを生成する。そして，ヒストグラムの立ち上がり，立ち下がり位置を特定し，立ち上がりとその右の所定の距離範囲にある立ち下がりとをペアとし，それぞれを左辺位置，右辺位置として，商品タグ領域を特定する。そして，ペアを形成できなかった立ち上がりについてはその右側に，ペアを形成できなかった立ち下がりについてはその左側に，あらかじめ定めた距離内に商品タグ領域がなければ，商品タグ領域として特定をする。この処理を模式的に示すのが図１７である。

また第１の方法により，図１４の正置化した商品タグ配置領域の画像情報から，商品タグ領域を特定した状態を図１８に示す。上辺位置Ａ，下辺位置Ｂ，左辺位置（立ち上がり）Ｕ，右辺位置（立ち下がり）Ｄのそれぞれで構成される矩形領域が，特定された商品タグの領域である。

なお，商品タグの地の色（背景色）が白色以外，たとえば赤色であって，文字が白色などの商品タグもある。そこで，上述の処理によって商品タグにおける価格情報や商品識別情報が認識できなかった場合には，商品タグ配置領域の画像情報において，白色と黒色との関係を反転させて（明暗を反転させる），上述と同様の処理を実行するようにしてもよい。これによって，地の色が暗く，文字が明るい商品タグに対応させることもできる。

なお，商品タグ配置領域の画像情報の明暗を反転させる処理は，商品タグにおける情報が認識できない場合のほか，商品識別情報を特定する過程の処理のいずれかにおいて正常に認識できない場合に実行してもよいし，認識できるか否かにかかわらず実行をしてもよい。

第２の方法は，いわゆるテンプレートマッチングである。すなわち，テンプレートとして，商品タグの画像情報をあらかじめ登録しておき，テンプレートと，正置化した商品タグ配置領域の画像情報とのマッチングをすることで，商品タグ領域を特定する。

商品タグには，税抜価格，税込価格，商品識別情報（商品名など），メーカー名，定格などが含まれる。そのため，テンプレートとなる商品タグの画像情報に，商品名など商品識別情報や価格の具体的な数字，文字を含めるとその部分も含めて画像マッチング処理の判定対象となるため，その部分をモザイク化，削除等することで，判定対象から中立化や除外してあることが好ましい。中立化とは，どのような入力についても高い点，低い点を配点しないことであり，除外とは，画像マッチング処理の際に，その部分をマッチングの対象から除外することである。

第３の方法は，深層学習（ディープラーニング）を用いた方法である。商品タグ特定処理部２５３は，この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，商品タグ配置領域を正置化した画像情報を入力し，その出力値に基づいて，商品タグ領域を特定してもよい。また学習モデルとしては，さまざまな商品タグ配置領域の画像情報に商品タグ領域を正解データとして与えたものを用いることができる。

商品タグ内情報特定処理部２５４は，商品タグ特定処理部２５３で特定した商品タグ領域に記載されている情報をＯＣＲ認識や深層学習などにより特定する処理を実行する。ＯＣＲ認識をする場合には，商品タグ領域として特定した領域のすべてまたは一部について行うことができる。商品タグ領域として特定したすべての領域に行うとノイズなどにより誤認識が発生する可能性が高いので，ＯＣＲ認識をする対象領域を限定することが好ましい。この場合，商品タグ特定処理部２５３で用いた第１の方法乃至第３の方法にそれぞれ対応した処理を実行すればよい。

商品タグ特定処理部２５３で第１の方法を用いた場合，特定した商品タグ領域において，まず二値化処理を行う。二値化処理としては，ＨＳＶ色空間の明度を用いる方法，大津の手法，赤色を抽出する手法（商品タグの数字や文字列には黒色のほか赤色も使用頻度が高い）などのうち一または複数を組み合わせて抽出したものを候補として選定する方法がある。

そして，二値化した画像情報においてラベリング処理を実行する。ラベリング処理とは，二値画像情報において，白または黒が連続した画素に同一の番号（識別情報）を割り振る処理を実行することで，連続する画素同士を一つの島（グループ）化する処理である。そしてラベリング処理によって検出した島を含む矩形領域（ボックス）を生成し，ボックスの高さ，幅，ベースラインを求める。ボックスを生成する際には，同一番号にラベリングされた領域を囲む最小の，垂直，水平の線分で囲まれた長方形を生成することが好ましいが，それに限定しない。なおボックスを生成する際に，あらかじめ定めた閾値となる高さ，幅を充足しない島はノイズとしてボックスを生成せず，そのまま処理対象から除去する。たとえば高さが小さすぎる島は横罫線や画像上のゴミの可能性があり，幅が広すぎる島はロゴなどの可能性があり，これらはノイズとして除去をする。

商品タグで使用される文字は，一般的には，太字のゴシック体など文字全体の輪郭が明確な字体が用いられることが多い。そのため，画像情報に多少のピンぼけがある場合でも，一つの文字列を形成する文字群は，ベースラインと高さがそろった島として検出することができる。

そして商品タグ内情報特定処理部２５４は，所定の類似性を有する隣接したボックス同士を併合し，ブロックを構成する。すなわち，ベースラインと高さが所定範囲内で一致し，高さおよび幅が一定の閾値の範囲内にある連続するボックスを併合し，ブロックを構成する。この際に，併合するブロックの間にある小さいボックスなどもまとめて一つのブロックとして構成する。これによって，濁点，半濁点，ハイフンなども一つのブロックに取り込まれることとなる。ブロックは，ＯＣＲ認識の対象となる領域である。そして，ブロックのうち，高さがもっとも高いブロックを価格領域（税抜価格領域）と推定し，ＯＣＲ認識を行う。また，ほかのブロックについても同様に，ＯＣＲ認識を行う。以上のような処理を実行することで，商品タグ領域において複数行にわたって自由にレイアウトされた原稿部分に対しＯＣＲ認識を行うよりも精度よく，文字認識処理を実行することができる。この処理を模式的に示すのが図１９乃至図２１である。図１９は二値化した画像情報であり，図２０はボックス（破線で示す領域）を生成した状態を示す図である。また図２１はブロック（破線で示す領域）を生成した状態を示す図である。

以上のようにして商品タグ内情報特定処理部２５４は，商品タグに記載した情報を文字認識することができる。

商品タグ特定処理部２５３で第２の方法を用いた場合，テンプレートとした商品タグの画像情報に，あらかじめ税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格が表記されるそれぞれの文字枠の位置，大きさ（高さ，幅）が設定されている。そのため，商品タグ特定処理部２５３で特定した商品タグ領域から，該当箇所の画像情報を切り出し，ＯＣＲ認識処理を実行する。この際に，価格，メーカー名，商品名などの商品識別情報，定格によって使用される文字種別（たとえば数字，ローマ字，記号，かな漢字のどれを含むかなど）を制約条件として定めておくことで，ＯＣＲ認識処理の精度を向上させることができる。

商品タグ特定処理部２５３で第３の方法を用いた場合，深層学習（ディープラーニング）を用いて，商品タグ内情報を特定してもよい。商品タグ内情報特定処理部２５４は，この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，商品タグ領域の画像情報を入力し，その出力値に基づいて，商品タグ領域に含まれる税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格などの情報を特定してもよい。学習モデルとしては，さまざまな商品タグ領域の画像情報に，税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格などの情報を正解データとして与えたものを用いることができる。

商品タグ認識処理部２５は，商品タグ配置領域正置化処理部２５２，商品タグ特定処理部２５３，商品タグ内情報特定処理部２５４の二以上の処理をまとめて深層学習などによって実行してもよい。

さらに商品タグ内情報特定処理部２５４は，読み取った情報の整合性を確認する処理を実行してもよい。整合性確認処理としては，辞書照合による整合性の確認処理，ロジカルチェックの２種類を行うことが好ましい。

辞書照合による整合性の確認処理は，たとえば以下のように実行する。情報処理システム１には，陳列棚に陳列される可能性のある商品の商品名などの商品識別情報と，それに対応するコード情報（たとえばＪＡＮコード）とを対応づけて記憶する商品辞書（図示せず）を備えている。そして，商品タグ内情報特定処理部２５４で認識した価格を示す領域から読み取った文字列以外の文字列と，商品辞書に登録されたすべての商品名などの商品識別情報との文字列類似度評価を行う。たとえば編集距離（レーベンシュタイン距離）やジャロ・ウィンクラー距離などを用いることができる。

上記で求めた文字列類似度の最大値が一つであるならば，その商品名などの商品識別情報を最終候補とする。そして最終候補となった商品名などの商品識別情報の文字列の長さに対して，許容できる類似度をあらかじめ定めておき，許容できる類似度以上であれば商品名などの商品識別情報を同定する。許容できる類似度に達していなければ，読み取った文字列は未確定とする。また，最大値の類似度の商品が複数ある場合には，読み取った文字列は未確定とする。

文字列類似度評価の一つである編集距離とは，二つの文字列がどの程度異なっているかを示す距離の一種であって，具体的には，一文字の挿入，削除，置換によって，一方の文字列をもう一方の文字列に変形するのに必要な手順の最小回数である。図２２に商品タグに表記された商品名，ＯＣＲ認識の結果，商品辞書に記憶する商品名のうち編集距離が最小の商品名，編集距離の一例を示す。また，図２３に，最終候補の文字数ごとの確定してよい編集距離の対応関係の表を示す。なお，本明細書では編集距離を用いて処理をする場合を説明するが，置換が挿入，削除よりも類似度が大きくなるよう定義された文字列類似度評価であってもよい。

そして，上記の最小の編集距離の商品名などの商品識別情報を求めた後，ＯＣＲなどの認識結果から商品名などの商品識別情報の該当部分を除いた文字列に対し，別に備える定格辞書（図示せず）に記憶する各定格との編集距離，メーカー名辞書（図示せず）に記憶する各メーカー名との編集距離をそれぞれ求める。たとえば図２２における「のどごし 生 ３５０ｍｌ」の例では，「３５０ｍｌ」の部分に対し，定格の辞書における「３５０ｍｌ」と編集距離０で一致し，定格部分の文字列であることを同定する。同様に，メーカー名についても編集距離を求め，最小の編集距離にある文字列をメーカー名であることを同定する。そしてＯＣＲ認識結果から定格部分，メーカー名部分の各文字列を取り除いて，取り除いた残りの文字列に対し，商品名辞書における最短の編集距離にある文字列を求め，許容できる編集距離であるか否かを判定する。許容できる編集距離内であれば，商品名などの商品識別情報，メーカー名，定格を確定する。このような処理をすることで，商品名などの商品識別情報に定格，メーカー名が含まれる場合にも適切に確定をすることができる。なお，定格辞書とは，陳列棚に陳列される可能性のある商品の定格（容量など）を記憶する辞書である。メーカー名辞書とは，陳列棚に陳列される可能性のある商品のメーカー名を記憶する辞書である。

商品タグ内情報特定処理部２５４による認識結果を最終的に利用者が判断，承認するため，認識結果の選択等の入力を受け付ける表示を行う際には，確定した文字列，未確定の文字列が特定可能な方法で表示が行われているとよい。たとえば確定した文字列と未確定の文字列との色を分ける，確定の文字列および／または未確定の文字列には確定または未確定を示す情報を付するなどがある。未確定の文字列については，最小の編集距離となった商品名などの商品識別情報が複数ある場合には，各商品識別情報を表示してもよい。

商品タグ内情報特定処理部２５４におけるロジカルチェック（認識した情報の論理的整合性の判定処理）は以下のように行うことができる。たとえば価格領域として２つの価格を読み取った場合，一つは税抜価格，一つは税込価格となるが，税抜価格が税込価格よりも高くなっている場合には，それらを逆転して認識させる。また，税抜価格に消費税率を乗算して得た値が税込価格とは一致しない場合には，いずれかまたは双方に誤認識があるとする。さらに，商品名などの商品識別情報を認識した場合には，その商品または商品カテゴリの通常の価格帯に収まっているか，を判定する。また，商品名などの商品識別情報，メーカー名，定格の対応関係が一致しているかを判定してもよい。

以上のように商品タグ内の情報の整合性を確認することで，撮影画像情報に写っている商品タグに含まれる情報を確定することができる。このように確定した情報は，たとえば表形式で出力をすることができる。

管理端末２における標本情報記憶部２６は，正置画像情報に写っている陳列棚の棚段に陳列されている商品がどの商品であるかを識別するための標本情報を記憶する。標本情報は，陳列棚に陳列される可能性のある商品を，上下，左右，斜めなど複数の角度から撮影をした画像情報である。図１２に標本情報記憶部２６に記憶される標本情報の一例を示す。図１２では，標本情報として，缶ビールをさまざまな角度から撮影をした場合を示しているが，缶ビールに限られない。標本情報記憶部２６は，標本情報と，商品識別情報とを対応付けて記憶する。

なお，標本情報記憶部２６には，標本情報とともに，または標本情報に代えて，標本情報から抽出された，類似性の算出に必要となる情報，たとえば画像特徴量とその位置のペアの情報を記憶していてもよい。標本情報には，類似性の算出に必要となる情報も含むとする。この場合，陳列商品認識処理部２４は，後述するプレイスの領域の画像情報と，標本情報とのマッチング処理を行う際に，標本情報について毎回，画像特徴量を算出せずともよくなり，計算時間を短縮することができる。

また標本情報記憶部２６に記憶する標本情報は，陳列商品認識処理部２４が深層学習によって陳列棚に陳列されている商品を認識する処理を実行する場合には，正解データとして用いることもできる。

商品識別情報記憶部２７は，陳列棚の棚段の各プレイスに表示されている商品の商品識別情報を示す情報を記憶する。たとえば，商品識別情報に対応付けて，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，プレイスを識別するためのプレイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。図１３に陳列棚におけるプレイスとフェイスとの関係を模式的に示す。

対応関係判定処理部２８は，陳列棚の棚段の各プレイスに表示されている商品の商品種別と，商品タグとの対応関係を判定する。同一の商品が並んで各プレイスに陳列されている場合，それらをひとまとめにしたものを商品種別という。そのため，一つのプレイスにしか商品が陳列されていない場合にはその商品の商品種別と商品識別情報とは一つずつである。また，横方向に２つのプレイスに連続して商品が陳列されている場合には，２つのプレイスの商品種別が一つにまとめられる。

対応関係判定処理部２８は，たとえば初回の処理と二回目以降の処理とに分けて処理を実行する。

対応関係判定処理部２８における初回の処理は以下のように実行することができる。まず，処理対象とする領域，たとえば処理対象とする棚段領域において，商品種別の数と，商品タグの数とを比較する。この際に商品種別の数としては，商品種別情報記憶部２７に「空」として記憶しているプレイスについても一つの商品種別としてカウントしてもよい。商品種別の数と商品タグの数とが同数であれば商品種別と商品タグとを所定の方向，たとえば左側から順に一対一で紐付けする。この処理を模式的に示すのが図２４である。図２４（ａ）は，ある棚段領域において，陳列商品認識処理部２４で認識した商品識別情報と，商品タグ認識処理部２５で認識した商品識別情報とを示した図であり，図２４（ｂ）は，図２４（ａ）に基づいて陳列商品の商品種別と，商品タグの商品識別情報とを紐付けてした状態を示す図である。

また商品種別の数が商品タグの数より多い場合には，商品種別の数と商品タグの数とが同数となるように仮の商品タグを作成し，商品タグ配置領域に配置する。これは，オペレータに仮の商品タグを作成するように所定の通知を行ってもよいし，商品種別の情報と商品タグの情報とをＯＣＲ認識して対応する商品種別と商品タグとを紐付けした後，余っている商品種別に対応する商品タグ配置領域の位置（たとえば商品種別の下または上の商品タグ配置領域の位置）に，仮の商品タグを自動的に作成してもよい。この処理を模式的に示すのが図２５である。図２５（ａ）は，ある棚段領域において，陳列商品認識処理部２４で認識した商品識別情報と，商品タグ認識処理部２５で認識した商品識別情報とを示した図であり，図２５（ｂ）は，図２５（ａ）に基づいて，仮の商品タグを作成して商品タグに配置して，陳列商品の商品種別と，商品タグの商品識別情報とを紐付けてした状態を示す図である。仮の商品タグの商品識別情報などは，オペレータが入力を行い，その後，仮の商品タグを正式な商品タグとして登録する。

仮の商品タグを自動的に作成するためには，まず商品タグ配置領域において，あらかじめ定められた大きさの仮の商品タグを配置可能な範囲を特定する。そして，商品種別の情報と商品タグの情報とを比較して同一または類似するペアを紐付けし，紐付けできない商品種別を特定する。そして特定できなかった商品種別について，その商品種別の対応する商品タグ配置領域（たとえば上または下の商品タグ配置領域）のうち，特定した仮の商品タグを配置可能な範囲に，仮の商品タグを作成する。特定した仮の商品タグを配置可能な範囲がない場合，商品種別の数と商品タグの数の相違が２以上の場合など，所定の条件を充足した場合には，エラーを通知してオペレータに入力させるようにしてもよい。

さらに商品種別の数が商品タグの数より少ない場合には，商品種別の数と商品タグの数とが同数となるように，不要な商品タグを削除する。これは，オペレータに商品タグを削除するように所定の通知を行ってもよいし，商品種別の情報と商品タグの情報とをＯＣＲ認識して対応する商品種別と商品タグとを紐付けした後，紐付けられていない商品タグを自動的に削除するようにしてもよい。この処理を模式的に示すのが図２６である。図２６（ａ）は，ある棚段領域において，陳列商品認識処理部２４で認識した商品識別情報と，商品タグ認識処理部２５で認識した商品識別情報とを示した図であり，図２６（ｂ）は，図２６（ａ）に基づいて，不要な商品タグを削除して，陳列商品の商品種別と，商品タグの商品識別情報とを紐付けてした状態を示す図である。

対応関係判定処理部２８における二回目以降の処理は，以下のように実行することができる。まず，処理対象とする領域の初期位置，たとえば棚段領域の左端から順に，商品種別と商品タグとの組み合わせが，今回の処理より前，たとえば前回の組み合わせと同一の範囲で，今回の処理より前の組み合わせと同一の紐付けを行う。そして，商品種別と商品タグの組み合わせが異なる位置に区切りを設定し，その区切り位置から上述の一回目と同様の処理を実行する。この処理を模式的に示すのが図２７である。図２７（ａ）は，ある棚段領域において，初回に，陳列商品認識処理部２４で認識した商品識別情報と，商品タグ認識処理部２５で認識した商品識別情報とを示した図であり，図２７（ｂ）は，図２７（ａ）に基づいて，陳列商品の商品種別と，商品タグの商品識別情報とを紐付けてした状態を示す図である。図２７（ｃ）は，二回目の処理として，陳列商品認識処理部２４で認識した商品識別情報と，商品タグ認識処理部２５で認識した商品識別情報とを示した図である。図２７（ｃ）では，商品種別Ｃまで初回の処理と同様であるので，商品種別Ｃの次に区切りを設定し，商品種別Ｄから初回と同様の処理を実行する。

なお，初回の処理とは，実際の初回の処理に限らず，任意のタイミングで，オペレータなどを介して，陳列商品の商品種別と商品タグとの対応関係を設定する場合であって，たとえば実際の処理を１０回実行した後に，初回の処理を再度実行して，精度を一定に保つように処理をする場合も含まれる。二回目以降の処理とは初回の処理を実行しない場合である。

対応関係判定処理部２８は，以上のように商品種別と商品タグとの対応関係を判定すると，商品種別と商品タグとの対応関係を所定の記憶領域に記憶させる。

つぎに本発明の情報処理システム１の処理プロセスの一例を図５のフローチャートを用いて説明する。なお，以下の説明では，撮影画像情報から陳列している商品の商品識別情報，商品タグの商品識別情報を特定する場合を説明する

店舗の陳列棚が撮影された撮影画像情報は，撮影画像情報入力端末３から入力され，管理端末２の撮影画像情報入力受付処理部２０でその入力を受け付ける（Ｓ１００）。図２８に，撮影画像情報の一例を示す。また，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報の入力を受け付ける。そして，撮影画像情報入力受付処理部２０は，入力を受け付けた撮影画像情報，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報を対応づけて撮影画像情報記憶部２１に記憶させる。

管理端末２において所定の操作入力を受け付けると，正置画像情報正置化処理部は，撮影画像情報記憶部２１に記憶する撮影画像情報を抽出し，台形補正処理などの正値化処理を行うための頂点である棚位置（陳列棚の位置）の４点の入力を受け付け，正値化処理を実行する（Ｓ１１０）。このようにして正置化処理が実行された撮影画像情報（正置画像情報）の一例が，図２９である。

そして，正置画像情報に対して，管理端末２において所定の操作入力を受け付けることで，位置特定処理部２３は，棚段位置領域および商品タグ配置領域を特定する（Ｓ１２０）。すなわち，正置画像情報における棚段領域，商品タグ配置領域の入力を受け付ける。図１０が，棚段領域および商品タグ配置領域が特定された状態を示す図である。

以上のようにして，棚段領域，商品タグ配置領域を特定すると，棚段領域における陳列商品の認識処理を陳列商品認識処理部２４が，商品タグ配置領域における商品タグ認識処理を商品タグ認識処理部２５がそれぞれ実行する（Ｓ１３０，Ｓ１４０）。なお陳列商品認識処理部２４における陳列商品の認識処理，商品タグ認識処理部２５による商品タグ認識処理は，並行して行ってもよいし，異なるタイミングで行ってもよい。

まず陳列商品認識処理部２４における商品の商品識別情報の認識処理を説明する。

陳列商品認識処理部２４における棚段領域処理部２４１は，Ｓ１２０で入力を受け付けた棚段の領域に基づいて，正置画像情報から棚段領域の画像情報を切り出す。そして，棚段領域画像情報における棚段ごとに，プレイスを特定する処理を実行する。具体的には，棚段領域における棚段について，４点の座標で構成される矩形領域の範囲内において，商品と商品との間に生ずる細く狭い陰影を特定する，画像の繰り返しパターンを特定する，パッケージの上辺の段差を特定する，商品幅が同一であるなどの制約に基づいて区切り位置を特定する，などによって，プレイスを特定する。特定したプレイスには，プレイスを識別するためのプレイス識別情報を付す。そして，特定した各プレイスの座標は，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，プレイスを識別するためのプレイス識別情報と対応付けて記憶させる。なお，プレイスの座標は４点を記憶せずとも，矩形領域を特定可能な２点であってもよい。

以上のように正置画像情報の棚段位置領域画像情報における各棚段の各プレイスを特定すると，商品識別情報特定処理部２４３は，プレイスごとに，標本情報記憶部２６に記憶する標本情報とマッチング処理を実行し，そのプレイスに表示されている商品の商品識別情報を特定する。すなわち，ある棚段のプレイスの矩形領域（このプレイスの領域のプレイス識別情報をＸとする）における画像情報と，標本情報記憶部２６に記憶する各標本情報とから，それぞれの画像特徴量を算出し，特徴点のペアを求めることで，類似性を判定する。そして，もっとも類似性の高い標本情報を特定し，そのときの類似性があらかじめ定められた閾値以上であれば，その標本情報に対応する商品識別情報を標本情報記憶部２６に基づいて特定する。そして，特定した商品識別情報を，そのプレイス識別情報Ｘのプレイスに表示されている商品の商品識別情報とする。なお，いずれの標本情報とも類似ではないと判定したプレイスについては，そのプレイス識別情報について「空」であることを示す情報を付する。商品識別情報特定処理部２４３は，特定した商品識別情報または「空」であることを示す情報を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，プレイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。

なお，すべてのプレイスの商品識別情報を特定できるとは限らない。そこで，特定できていないプレイスについては，上述のように最初から「空」の情報を付するのではなく，商品識別情報の入力を受け付け，入力を受け付けた商品識別情報を，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報，正置画像情報の画像情報識別情報，プレイス識別情報に対応づけて商品識別情報記憶部２７に記憶する。また，特定した商品識別情報の修正処理についても同様に，入力を受け付けてもよい。また，修正処理の結果，「空」であることの入力を受け付けた場合には，「空」の情報を付してもよい。

以上のような処理を行うことで，撮影画像情報に写っている陳列棚の棚段に陳列されている商品の商品識別情報を特定することができる。

なお，陳列商品認識処理部２４における商品の商品識別情報の認識処理は上述に限られるものではなく，たとえば深層学習（ディープラーニング）を用いてもよいことはすでに述べたとおりである。

つぎに商品タグ認識処理部２５における商品タグの情報を認識する処理を説明する。

商品タグ認識処理部２５における商品タグ配置領域処理部２５１はＳ１２０で特定した商品タグ配置領域の画像情報を切り出し，商品タグ配置領域正置化処理部２５２が台形補正処理を実行することで，商品タグ配置領域の画像情報に対する正置化処理を実行する。

商品タグ配置領域の画像情報に対する正置化処理としては，まず，商品タグ配置領域の画像情報においてエッジ検出を行う。そして，検出したエッジのうち，一定の長さ以上であって，垂直から所定範囲の角度内にある輪郭線を特定する。そして，特定した輪郭線のうち，もっとも左および右にある輪郭線を特定する。このように特定した輪郭線の一例を図１５に示す。そして，特定した輪郭線（図１５（ａ）のＬ１，Ｌ２，図１５（ｂ）のＬ３，Ｌ４）が，それぞれ垂直線となるように，商品タグ配置領域の画像情報に対する台形補正処理を実行する。このような処理を実行することで，商品タグ配置領域の画像情報を正置化し，図１４に示す正置化した商品タグ配置領域の画像情報を得られる。

商品タグ配置領域の画像情報の正置化処理が終了すると，商品タグ特定処理部２５３が，第１の方法乃至第３の方法により，商品タグ配置領域の画像情報から，個々の商品タグ領域を特定する。

第１の方法を用いた場合には，正置化した商品タグ配置領域の画像情報のうち，画像情報の明度情報を横方向に積算したヒストグラムを生成し，ヒストグラムの立ち上がり，立ち下がり位置を特定する。そして，特定したヒストグラムの立ち上がりを商品タグの上辺位置Ａ，ヒストグラムの立ち下がり位置を商品タグの下辺位置Ｂとして特定する。

つぎに，正置化した商品タグ配置領域の画像情報のうち，上辺位置Ａ，下辺位置Ｂの間を切り出し，正置化した商品タグ配置領域の画像情報の明度情報を縦方向に積算したヒストグラムを生成する。

生成したヒストグラムにおいて立ち上がり位置Ｕ，立ち下がり位置Ｄを特定し，立ち上がり位置Ｕ（左辺位置）とその右の所定の距離範囲にある立ち下がり位置Ｄ（右辺位置）とをペアとして特定し，商品タグ領域として特定する。

ペアを形成できなかった立ち上がり位置Ｕについてはその右側に，ペアを形成できなかった立ち下がり位置Ｄについてはその左側に，あらかじめ定めた距離内に商品タグ領域がなければ，商品タグ領域として特定をする。

以上のような処理によって，それぞれの商品タグ領域を特定した状態が図１８である。

また第２の方法を用いる場合には，商品タグ特定処理部２５３は，あらかじめ登録しているテンプレートの商品タグの画像情報と，正置化した商品タグ配置領域の画像情報との画像マッチング処理を実行することで，商品タグ領域を特定する。

さらに第３の方法を用いる場合には，深層学習（ディープラーニング）を用いて商品タグ領域を特定する。この場合，さまざまな商品タグ配置領域の画像情報に商品タグ領域を正解データとして与えた学習モデルを用いて，深層学習を実行する。たとえば，商品タグ特定処理部２５３は，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，商品タグ配置領域を正置化した画像情報を入力し，その出力値に基づいて，商品タグ領域を特定する。

以上のようにして商品タグ特定処理部２５３が商品タグ領域を特定すると，商品タグ内情報特定処理部２５４が，商品タグ内における情報を特定する。

商品タグ内情報特定処理部２５４における第１の方法は，特定した商品タグ領域について二値化処理することで，二値化した画像情報とする。そして，二値化した画像情報におけるラベリング処理により，ボックスを特定する。なお，あらかじめ定めた閾値となる高さ，幅を充足しない島はノイズとしてボックスを生成せず，そのまま処理対象から除去する。

そして生成したボックスの高さ，幅，ベースラインを求め，ベースラインと高さが所定範囲内で一致し，高さおよび幅が一定の閾値の範囲内にある隣接するボックスを特定することで，特定したボックスを併合し，ブロックを構成する。そしてブロックのうち，高さがもっとも高いブロックを価格領域（税抜価格領域）と推定し，ＯＣＲ認識を行う。ＯＣＲ認識の結果，価格情報を得られなければ（数値の文字列を認識できなければ），高さが次に高いブロックを価格領域（税抜価格領域）と推定し，同様にＯＣＲ認識を行う。

なお上述のＯＣＲ認識においては，価格に用いる「数字」，「コンマ」等の価格表示を構成する文字認識を制約条件として付加することで価格の読み取り精度を向上することができる。

このように価格領域（税抜価格領域）と推定したブロックから価格情報をＯＣＲ認識により取得すると，価格領域（税抜価格領域）と推定して取得した価格情報以外のブロックを特定し，特定した各ブロックに対してＯＣＲ認識を行う。このＯＣＲ認識については，２種類のＯＣＲ認識処理を行うことが好ましい。すなわち，通常の標準的なＯＣＲ認識処理と，価格表示を構成する文字認識を制約条件として付加したＯＣＲ認識処理である。

上述で特定したブロックには，価格領域（税込価格領域）のブロックと，メーカー名，商品名などの商品識別情報，定格などの情報の領域のブロックが含まれる。そして各ブロックについて２種類のＯＣＲ認識処理を実行する。メーカー名，商品名などの商品識別情報，定格などの情報の領域のブロックについては，標準的なＯＣＲ認識処理では文字列を認識し，制約条件を付したＯＣＲ認識処理では多くはエラーを含む文字列となる。この場合，２つの認識処理の認識結果が所定値以上相違するかを判定し，相違する場合には，標準的なＯＣＲ認識処理で実行した文字列を認識結果とし，価格領域（税込価格領域）のブロック以外のブロックであると判定する。一方，価格領域（税込価格領域）のブロックについては，標準的なＯＣＲ認識処理では価格情報の文字列を認識し，制約条件を付したＯＣＲ認識処理でも価格情報の文字列を認識する。この場合，２つの認識処理の認識結果が所定値以上相違するかを判定し，相違しない場合には，価格領域（税込価格領域）のブロックであると判定し，制約条件を付加した認識処理による文字列を認識結果の価格情報とする。

以上のようにして商品タグ内情報特定処理部２５４は，商品タグに記載した情報を文字認識することができる。商品の陳列状況を判定するためには，商品の商品識別情報があれば足りるが，税抜価格，税込価格などほかの情報を認識することで，価格情報などについても，陳列状況に対応づけて管理することが可能となる。

なお，商品タグ特定処理部２５３で第２の方法を用いた場合には，テンプレートとした商品タグには，あらかじめ税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格がそれぞれ表記される文字枠の位置，サイズが設定されている。そのため，商品タグ特定処理部２５３２５３で特定した商品タグ領域から，該当箇所の画像情報を切り出し，ＯＣＲ認識処理を実行すればよい。

また，商品タグ特定処理部２５３で第３の方法を用いた場合には，さまざまな商品タグ領域の画像情報に，税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格などの情報を正解データとして与えて学習した学習モデルを用いて深層学習（ディープラーニング）による処理を実行する。商品タグ内情報特定処理部２５４は，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，商品タグ領域の画像情報を入力し，その出力値に基づいて，商品タグ領域に含まれる税抜価格，税込価格，メーカー名，商品名などの商品識別情報，定格などの情報を特定する。

そして商品タグ内情報特定処理部２５４は，特定した商品名等との辞書照合処理を実行する。すなわち，読み取った文字列と，商品辞書における各商品名などの商品識別情報との編集距離を求め，最小の編集距離の商品名などの商品識別情報を特定し，それがあらかじめ定めた所定距離内であれば商品名などの商品識別情報として同定する。そして，読み取った文字列から最短の編集距離の商品名部分を取り除き，残りの部分文字列に対し，定格辞書における各定格との編集距離を求め，最小の編集距離が所定距離内であるかを判定して，所定距離内にあればその部分を定格の文字列として同定する。同様に，読み取った文字列から最小の編集距離の商品名部分と定格部分を取り除き，残りの部分文字列に対し，メーカー名辞書における各メーカー名との編集距離を求め，最小の編集距離が所定距離内であるかを判定して，所定距離内にあればその部分をメーカー名の文字列として同定する。なお，編集距離ではなく，ジャロ・ウィンクラー距離を用いる場合には，それに応じた処理を適宜実行すればよい。

さらに，商品タグ内情報特定処理部２５４は，文字認識した文字列に対するロジカルチェックの処理を実行する。すなわち文字認識した文字列が論理的に矛盾しないか，などを判定する。

ロジカルチェックの結果，矛盾がないようであれば，それぞれ認識した文字列について，税抜価格，税込価格，商品名などの商品識別情報，メーカー，定格を特定し，それらを，撮影日時，店舗識別情報，撮影画像情報の画像情報識別情報と対応づけて所定の記憶領域に記憶，出力をする。たとえば表形式で出力をする。

以上のようにして，陳列商品認識処理部２４が棚段に陳列している商品の商品識別情報を，商品タグ認識処理部２５が商品タグの商品識別情報を認識した後，対応関係判定処理部２８は，陳列商品認識処理部２４が棚段に陳列している商品の商品種別と，商品タグとの対応関係を判定する（Ｓ１５０）。

対応関係判定処理部２８は，陳列棚に陳列されている商品の商品識別情報について，所定の方向に複数のプレイスに連続して同一の商品識別情報を有する商品が陳列されている場合には，それらのプレイスを一つの商品種別としてまとめる。

そして，対応関係判定処理部２８は，その処理が初回の処理の場合には，処理対象とする棚段領域において，商品種別の数と商品タグの数とを比較し，同数であれば，商品種別と商品タグとを左側から順に一対一で紐付けをする（図２４）。また，商品種別の数が商品タグの数より多い場合には，商品種別の数と商品タグの数とが同数となるように，仮の商品タグを作成し，商品タグ配置領域に配置する（図２５）。さらに，商品種別の数が商品タグの数より少ない場合には，商品種別の数と商品タグの数とが同数となるように，不要な商品タグを削除する（図２６）。

また，対応関係判定処理部２８は，その処理が二回目以降の処理の場合には，棚段領域の左端から順に，商品種別と商品タグとの組み合わせが，今回の処理より前，たとえば前回の組み合わせと同一の範囲で，今回の処理より前の組み合わせと同一の紐付けを行う。そして，商品種別と商品タグの組み合わせが異なる位置に区切りを設定し，その区切り位置から上述の一回目と同様の処理を実行する（図２７）。

以上のような処理を実行することで，陳列棚に陳列されている商品と，商品タグとの対応関係を紐付けることができる。

さらに実施例１のプレイス特定処理部２４２における特定処理の変形例を説明する。本実施例では，実施例１のプレイスの特定処理を初回の処理として，二回目以降のプレイスの特定処理として，自動的にプレイスを特定する処理を行うようにしてもよい。この場合の処理を説明する。

なお，初回とは一回目のほか，自動的に特定する際のずれを修正するため，任意のタイミングで実施例１の処理を行う場合も含まれる。二回目以降とは初回以外である。また，二回目以降には，同一の陳列棚を同一の機会に撮影した撮影画像情報，正置画像情報について，異なる角度で撮影した撮影画像情報，正置画像情報に対する処理を行う場合も含まれる。

プレイス特定処理部２４２は，実施例１の処理と同様の処理を初回のプレイスの特定処理として実行する。そして，プレイス特定処理部２４２における二回目以降のプレイスの特定処理は，同一の陳列棚の同一の棚段について，前回（Ｎ－１回目）の正置画像情報で特定したプレイスの領域の座標を抽出し，その座標を今回（Ｎ回目）の正置画像情報で特定したプレイスの領域の座標とする。

プレイスの領域の座標は，棚段の位置の座標と同様に，正置画像情報における，陳列棚内での所定箇所を基準とした相対座標である。

さらに実施例１の変形例として商品タグ特定処理部２５３における，陳列棚の各棚段に対応する商品タグ配置領域ごとに，そこに表示されている商品タグの商品識別情報を特定する処理として，実施例１の処理を初回の特定処理とし，二回目以降の特定処理として，以下のような処理を実行する。

商品タグ特定処理部２５３は，Ｎ回目の正置化した商品タグ配置領域画像情報から，各商品タグ領域を特定する。そして商品タグ内情報特定処理部２５４は，特定した各商品タグ領域について，順に，Ｎ－１回目の正置化した商品タグ配置領域画像情報における，対応する商品タグ領域と比較をする。たとえば，Ｎ回目の正置化した商品タグ配置領域画像情報から特定した一番左端の商品タグ領域の画像情報と，Ｎ－１回目の正置化した商品タグ配置領域画像情報から特定した一番左端の商品タグ領域の画像情報とを比較し，類似性を判定する。なお，Ｎ回目の商品タグ領域の画像情報に対応するＮ－１回目の商品タグ領域の画像情報の特定は，たとえば商品タグ領域の所定位置からの順番や，Ｎ回目の商品タグ領域の画像情報の座標情報に近似する商品タグ領域の画像情報の座標情報など，各種の方法によって特定することができる。

また，類似性の判定については，上述の各実施例の処理のほか，各商品タグ領域の画像情報のシグネチャ（画像特徴量と重みの集合）同士のＥＭＤを求め，類似性の尺度とすることができる。シグネチャの画像特徴量としては，たとえば商品タグ領域の画像情報のＨＳＶ色空間内の頻度分布を求め，色相と彩度に関してグルーピングを行って，特徴の個数とＨＳＶ色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは，撮影条件に大きく左右されないように，明度への依存度を下げるためである。

また，処理の高速化のため，シグネチャとＥＭＤの代わりに，適宜の色空間内での画像情報の色コリログラムや色ヒストグラムなどの画像特徴量間のＬ２距離等の類似性を用いることもできる。

さらに，深層学習（ディープラーニング）を用いて，類似性を判定してもよい。すなわち，この場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，Ｎ回目の商品タグ領域の画像情報と，対応するＮ－１回目の商品タグ領域の画像情報とを入力し，その出力値に基づいて，類似性を判定してもよい。学習モデルとしては，さまざまな２つの商品タグ領域の画像情報の類似度を正解データとして与えたものを用いることができる。

Ｎ回目の商品タグ領域の画像情報の類似性が一定の閾値以上であれば，Ｎ－１回目の商品タグ領域における商品タグ内情報を商品識別情報記憶部２７から抽出し，Ｎ回目の商品タグ領域における商品タグ内情報とする。これによって，処理対象となるＮ回目の正置化した商品タグ配置領域画像情報における商品タグ領域の商品タグ内情報を特定できる。もし類似性が一定の閾値未満であれば，初回の場合と同様に，商品タグ内情報特定処理部２５４の処理を実行すればよい。

なお，Ｎ－１回目の正置化した商品タグ配置領域画像情報における商品タグ領域の画像情報との比較において，対応する商品タグ領域の画像情報との比較のみならず，所定範囲の商品タグ領域の画像情報を比較対象として含めてもよい。たとえばＮ回目の正置化した商品タグ配置領域画像情報におけるある商品タグ領域の画像情報と比較する場合，比較対象としては，Ｎ－１回目の正置化した商品タグ配置領域画像情報における，対応する商品タグ領域のほか，その領域から所定範囲にある商品タグ領域，たとえばその左右方向に一または複数離隔している位置にある商品タグ領域を含めてもよい。

この場合，Ｎ回目の正置化した商品タグ配置領域画像情報における処理対象とする商品タグ領域の画像情報と，Ｎ－１回目の正置化した商品タグ配置領域画像情報における，比較対象となる範囲のそれぞれの商品タグ領域の画像情報とを比較し，もっとも類似性が高いＮ－１回目の正置化した商品タグ配置領域画像情報の商品タグ領域の商品タグ内情報を特定する。なお，類似性は一定の閾値以上であることを条件としてもよい。そして特定したＮ－１回目の正置化した商品タグ配置領域画像情報の商品タグ領域の商品タグ内情報を抽出し，Ｎ回目の正置化した商品タグ配置領域画像情報における処理対象とする商品タグ領域の商品タグ内情報とする。

Ｎ－１回目の正置化した商品タグ配置領域画像情報の商品タグ領域の画像情報との比較の結果，類似性が閾値を充足しないなどによって商品タグ内情報の候補を特定できなかった場合には，Ｎ回目の正置化した商品タグ配置領域画像情報における処理対象とする商品タグ領域の画像情報について，初回と同様の処理を実行する。

以上のようにして，特定した商品タグ領域の商品タグ内情報を，撮影日時情報，店舗情報，撮影画像情報の画像情報識別情報，正置画像情報の画像識別情報，商品タグ領域を識別するための識別情報に対応づけて商品識別情報記憶部２７に記憶する。

実施例１乃至実施例３では，同一の陳列棚を同一の機会に異なる角度で撮影した画像情報のそれぞれにおいて，プレイスにおける商品識別情報を特定し，対応するプレイス同士を比較することで，当該プレイスにおける商品識別情報を確定した。そこで，異なる角度で撮影した画像情報のそれぞれについてプレイスにおける商品識別情報を特定するのではなく，異なる角度で撮影した画像情報を先に合成して光等の写り込み部分を消し込んだ上で得られた一枚の画像情報に対して，プレイスにおける商品識別情報の特定処理を実行するように構成してもよい。

上述の実施例１乃至実施例４の処理を，適宜，組み合わせることもできる。またその各処理については，本発明の明細書に記載した順序に限定するものではなく，その目的を達成する限度において適宜，変更することが可能である。また，陳列商品認識処理部２４，商品タグ認識処理部２５における各処理は，撮影画像情報に対して正置化処理を実行した正置画像情報に対して実行したが，撮影画像情報に対して実行をしてもよい。その場合，正置画像情報を，撮影画像情報と読み替えればよい。

さらに，上述の実施例１乃至実施例４の処理においては，撮影画像情報または正置画像情報から，陳列商品認識処理部２４が商品の識別情報を特定し，また商品タグ認識処理部２５が商品の識別情報を特定していた。商品タグ認識処理部２５は，商品タグに記載されている文字情報を認識するほか，商品タグまたはその近傍に設けられている商品識別情報をコード化した情報を読み取ってもよいし，商品タグまたはその近傍に設けられているＩＣタグなどから商品識別情報を読み取るように構成してもよい。すなわち，商品タグ認識処理部２５は，商品タグに記載されている文字認識処理に限定されるものではなく，商品タグまたは商品タグの近傍にある商品識別情報を用いて，陳列商品認識処理部２４の商品の識別情報との照合処理を行ってもよい。

さらに，陳列商品認識処理部２４は，撮影画像情報に基づいて陳列棚に陳列している商品を特定するほか，陳列している商品にＩＣタグを付しておき，そのＩＣタグに記憶された商品識別情報を読み取ることで，陳列棚に陳列している商品の商品識別情報を特定してもよい。陳列商品認識処理部２４が，商品に付されたＩＣタグから商品識別情報を読み取り，商品タグ認識処理部２５が，商品タグまたはその近傍に設置されたＩＣタグから商品識別情報を読み取る場合，それぞれがＩＣタグから商品識別情報を読み取るので，ＩＣタグには商品に付されたＩＣタグの商品識別情報，商品タグに付されたＩＣタグの商品識別情報であることが，フラグなどによって識別可能となっていることが好ましい。

上述の実施例１乃至実施例５では，コンビニエンスストアやスーパーなどの陳列棚について例示して説明をしたが，それに限定するものではなく，陳列棚に何らかの商品が陳列され，当該商品に対応する位置にタグが表示されている場合であれば，如何なるジャンルであっても適用することができる。たとえば調剤薬局の医薬品を陳列する陳列棚（医薬品棚）に陳列される医薬品（商品）と，その陳列棚に陳列される医薬品の名称などを示すラベル（商品タグ）に適用することもできる。同様に，倉庫の陳列棚に陳列される商品と，その陳列棚に陳列される商品の名称などを示す商品タグなどに適用することもできる。

本発明の情報処理システム１を用いることで，陳列棚に陳列されている商品と，その商品の商品タグ（値札）との対応関係を自動的に紐付け可能となる。

１：情報処理システム
２：管理端末
３：撮影画像情報入力端末
２０：撮影画像情報入力受付処理部
２１：撮影画像情報記憶部
２２：撮影画像情報正置化処理部
２３：位置特定処理部
２４：陳列商品認識処理部
２５：商品タグ認識処理部
２６：標本情報記憶部
２７：商品識別情報記憶部
２８：対応関係判定処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
２４１：棚段領域処理部
２４２：プレイス特定処理部
２４３：商品識別情報特定処理部
２４４：棚段画像マッチング処理部
２５１：商品タグ配置領域処理部
２５２：商品タグ配置領域正置化処理部
２５３：商品タグ特定処理部
２５４：商品タグ内情報特定処理部

Claims (7)

1. 陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部と，
   商品タグの商品識別情報を認識する商品タグ認識処理部と，
   前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する対応関係判定処理部と，を有しており，
   前記対応関係判定処理部は，
   前記商品種別の数が前記商品タグの数より多い場合には，前記商品種別の数と前記商品タグの数とが同数となるように仮の商品タグを作成しまたはその作成を受け付け，前記商品種別と前記商品タグとを紐付けする，
   ことを特徴とする情報処理システム。
2. 陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部と，
   商品タグの商品識別情報を認識する商品タグ認識処理部と，
   前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する対応関係判定処理部と，を有しており，
   前記対応関係判定処理部は，
   前記商品種別の数が前記商品タグの数より少ない場合には，前記商品種別の数と前記商品タグの数とが同数となるように，不要な商品タグを削除しまたはその削除を受け付け，前記商品種別と前記商品タグとを紐付けする，
   ことを特徴とする情報処理システム。
3. 陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部と，
   商品タグの商品識別情報を認識する商品タグ認識処理部と，
   前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する対応関係判定処理部と，を有しており，
   前記対応関係判定処理部は，
   前記商品種別と前記商品タグとの組み合わせが，今回の処理より前の組み合わせと同一の組み合わせの場合にはそのまま前記商品種別と前記商品タグとを紐付けし，
   前記組み合わせが異なる位置から，前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する，
   ことを特徴とする情報処理システム。
4. 前記対応関係判定処理部は，
   前記商品種別の数と商品タグの数とが同数である場合には，それぞれ商品種別と商品タグとを紐付けする，
   ことを特徴とする請求項１から請求項３のいずれかに記載の情報処理システム。
5. コンピュータを，
   陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部，
   商品タグの商品識別情報を認識する商品タグ認識処理部，
   前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する対応関係判定処理部，として機能させる情報処理プログラムであって，
   前記対応関係判定処理部は，
   前記商品種別の数が前記商品タグの数より多い場合には，前記商品種別の数と前記商品タグの数とが同数となるように仮の商品タグを作成しまたはその作成を受け付け，前記商品種別と前記商品タグとを紐付けする，
   ことを特徴とする情報処理プログラム。
6. コンピュータを，
   陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部，
   商品タグの商品識別情報を認識する商品タグ認識処理部，
   前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する対応関係判定処理部，として機能させる情報処理プログラムであって，
   前記対応関係判定処理部は，
   前記商品種別の数が前記商品タグの数より少ない場合には，前記商品種別の数と前記商品タグの数とが同数となるように，不要な商品タグを削除しまたはその削除を受け付け，前記商品種別と前記商品タグとを紐付けする，
   ことを特徴とする情報処理プログラム。
7. コンピュータを，
   陳列棚に陳列されている商品の商品識別情報を認識する陳列商品認識処理部，
   商品タグの商品識別情報を認識する商品タグ認識処理部，
   前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する対応関係判定処理部，として機能させる情報処理プログラムであって，
   前記対応関係判定処理部は，
   前記商品種別と前記商品タグとの組み合わせが，今回の処理より前の組み合わせと同一の組み合わせの場合にはそのまま前記商品種別と前記商品タグとを紐付けし，
   前記組み合わせが異なる位置から，前記陳列されている商品の商品種別と，前記商品タグとの対応関係を，前記商品種別の数と商品タグの数とを用いて判定する，
   ことを特徴とする情報処理プログラム。