JP7191851B2 - 棚割情報生成装置及び棚割情報生成プログラム - Google Patents

Description

本発明は、棚割情報生成装置及び棚割情報生成プログラムに関する。

商品棚を撮像した画像から商品を認識して、各棚に配列されている商品の情報である、いわゆる棚割情報を取得することが行われている。例えば、商品棚を含む画像から認識された商品と、商品の指定位置に関する情報に基づいて、商品陳列状態を表す棚割情報を生成する技術が知られている（例えば、特許文献１参照）。

特開２０１６－２２４８３１号公報

しかしながら、従来の棚割情報を生成する技術においては、外観が非常に類似している同シリーズの商品やサイズが異なる商品等を画像認識によって区別して識別することが困難であること等に起因して、画像認識による単一商品の認識の精度が十分ではなかった。このため、従来技術では、棚割情報の生成において高精度に商品の配列を取得することが困難であり、商品棚に配置されている商品を正しく把握することが求められていた。

そこで、本発明は、上記問題点に鑑みてなされたものであり、商品棚に配列された商品の配列情報である棚割情報の生成において、商品棚の画像に含まれる商品の画像に対する画像認識による商品の認識の精度の改善、認識の結果の確認及び修正を容易に行える棚割情報生成装置及び棚割情報生成プログラムを提供することを目的とする。

上記課題を解決するために、本発明の一形態に係る棚割情報生成装置は、商品棚に配列された商品の配列情報である棚割情報を生成する棚割情報生成装置であって、複数の商品が配列された商品棚を撮像した画像を取得する画像取得部と、画像取得部により取得された画像から、商品を表す商品領域画像を検出する検出部と、予め記憶された商品の画像に関する情報に基づいて、検出部により検出された商品領域画像により表される商品を認識する商品認識部と、一の商品領域画像により表される商品として認識された第１の商品と、一の商品領域画像以外の１以上の他の商品領域画像により表される商品としてそれぞれ認識された１以上の第２の商品との関連を示す関連性情報に基づいて、一の商品領域画像を第１の商品として認識したことの妥当性を判定する判定部と、判定部により判定された妥当性に関する情報に基づいて、商品認識部により一の商品領域画像が表す商品として認識された第１の商品を修正する修正部と、を備える。

また、本発明の一形態に係る棚割情報生成プログラムは、コンピュータを、商品棚に配列された商品の配列情報である棚割情報を生成する棚割情報生成装置として機能させるための棚割情報生成プログラムであって、前記コンピュータに、複数の商品が配列された商品棚を撮像した画像を取得する画像取得機能と、前記画像取得機能により取得された前記画像から、前記商品を表す商品領域画像を検出する検出機能と、予め記憶された商品の画像に関する情報に基づいて、前記検出機能により検出された前記商品領域画像により表される商品を認識する商品認識機能と、一の商品領域画像により表される商品として認識された第１の商品と、前記一の商品領域画像以外の１以上の他の商品領域画像により表される商品としてそれぞれ認識された１以上の第２の商品との関連を示す関連性情報に基づいて、前記一の商品領域画像を第１の商品として認識したことの妥当性を判定する判定機能と、前記判定機能により判定された妥当性に関する情報に基づいて、前記商品認識機能により前記一の商品領域画像が表す商品として認識された前記第１の商品を修正する修正機能と、を実現させる。

商品棚において、同一の商品並びに同一のカテゴリ、メーカー及びシリーズ／ブランドの商品は、隣接または近接して配置されるという特性がある。即ち、商品棚に配置される一の商品は、当該一の商品に隣接する他の商品及び当該一の商品から一定の距離以内に配置された他の商品との間に関連性を有する。上記の形態によれば、商品棚の画像から商品領域画像が検出され、各商品領域画像により表される商品が認識され、一の商品領域画像により表される商品として認識された第１の商品と他の商品領域画像により表される商品として認識された第２の商品との関連性情報に基づいて、一の商品領域画像を第１の商品として認識したことの妥当性が判定される。そして、判定された妥当性に関する情報に基づいて、一の商品領域画像が表す商品として認識された第１の商品が修正される。これにより、商品領域画像に対する商品の認識結果が容易に修正され、認識の精度の改善が可能となる。

商品棚に配列された商品の配列情報である棚割情報の生成において、商品棚の画像に含まれる商品の画像に対する画像認識による商品の認識の精度の改善、認識の結果の確認及び修正を容易に行える棚割情報生成装置及び棚割情報生成プログラムを提供することが可能となる。

本実施形態の棚割情報生成装置の機能的構成を示すブロック図である。 棚割情報生成装置のハードブロック図である。 画像取得部により取得された商品棚の画像の例を示す図である。 商品棚の画像からの商品領域画像の検出を示す図である。 商品データ記憶部に記憶されている商品画像データの例を模式的に示す図である。 商品マスタの構成を示す図である。 棚割解析部により取得された棚割データの例を示す図である。 一の商品領域画像に関する関連性情報の取得の例を説明するための図である。 一の商品領域画像に関する関連性情報の取得の他の例を説明するための図である。 判定部による特徴量の生成及び妥当性の判定の処理を示す図である。 判定部による特徴量の生成及び妥当性の判定の処理の他の例を示す図である。 判定部による特徴量の生成及び妥当性の判定の処理の他の例を示す図である。 妥当性に関する情報の表示の例を示す図である。 妥当性に関する情報の表示の他の例を示す図である。 妥当性に関する情報の表示の他の例を示す図である。 本実施形態の棚割情報生成方法の処理内容を示すフローチャートである。 棚割情報生成プログラムの構成を示す図である。

本発明に係る棚割情報生成装置の実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、本実施形態に係る棚割情報生成装置１０を含む棚割情報生成システム１の機能的構成を示す図である。棚割情報生成装置１０は、商品棚に配列された商品の配列情報である棚割情報を生成する装置であって、商品棚の商品の画像の認識結果の確認及び修正を容易に行うための構成を含む。

図１に示すように、棚割情報生成システム１は、棚割情報生成装置１０、撮像／表示装置２０、商品データ記憶部３０、学習モデル記憶部４０及び認識結果記憶部５０を含む。

棚割情報生成システム１は、１つの装置として構成されてもよいし、棚割情報生成装置１０、撮像／表示装置２０、商品データ記憶部３０、学習モデル記憶部４０及び認識結果記憶部５０のうちの一つまたは複数がそれぞれ一つの装置を構成してもよい。一例としては、撮像／表示装置２０が一つの端末として構成され、棚割情報生成装置１０、商品データ記憶部３０、学習モデル記憶部４０及び認識結果記憶部５０がサーバにより構成されてもよい。また、他の一例としては、棚割情報生成装置１０及び撮像／表示装置２０が一つの端末として構成されてもよい。商品データ記憶部３０、学習モデル記憶部４０及び認識結果記憶部５０の各記憶部は、棚割情報生成装置１０からアクセス可能に構成されていればいかなる態様の装置で構成されてもよい。撮像／表示装置２０が一つの端末として構成される場合には、撮影者が商品棚を撮影しながら表示画面を参照して、画像認識を通して生成された棚割情報に誤りがないかを確認することが出来る。また、ディスプレイ（表示装置）２２のみで構成される端末の例では、実店舗ではなくオフィス等においてオペレータ等が画像認識により生成された棚割情報の確認及び修正するという運用が想定される。

本実施形態では、撮像／表示装置２０を構成する端末、または、棚割情報生成装置１０及び撮像／表示装置２０を構成する端末は、例えば、高機能携帯電話機（スマートフォン）や携帯電話機などの携帯端末として構成される。

図１に示すように、棚割情報生成装置１０は、機能的には、画像取得部１１、検出部１２、商品認識部１３、棚割解析部１４、判定部１５、表示部１６、修正部１７及び生成部１８を備える。また、撮像／表示装置２０は、撮像装置としてのカメラ２１及び表示装置としてのディスプレイ２２を備える。これらの各機能部については後に詳述する。

なお、図１に示したブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。

例えば、本発明の一実施の形態における棚割情報生成装置１０は、コンピュータとして機能してもよい。図２は、本実施形態に係る棚割情報生成装置１０のハードウェア構成の一例を示す図である。棚割情報生成装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。棚割情報生成装置１０のハードウェア構成は、図２に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

棚割情報生成装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。また、プロセッサ１００１は、ＧＰＵ（Graphics Processing Unit）を含んで構成されてもよい。例えば、図１に示した各機能部１１～１８などは、プロセッサ１００１で実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、棚割情報生成装置１０の各機能部１１～１３は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る棚割情報生成方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、棚割情報生成装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

再び図１を参照して、棚割情報生成装置１０の各機能部について説明する。画像取得部１１は、複数の商品が配列された商品棚を撮像した画像を取得する。図３は、画像取得部１１により取得された商品棚の画像ＰＭ０の例を示す図である。具体的には、カメラ２１により商品棚が撮像されると、画像取得部１１は、カメラ２１により撮像された画像を商品棚の画像として取得する。図３に示すように、商品棚の画像ＰＭ０は、商品棚及び各棚に配列された複数の商品を含む。

商品棚及び商品棚に配列される商品は、図３に例示されるように、以下に説明するような特性を有する。即ち、同一の商品は、隣接または近接して配置されるという特性を有する。特に、大型の商店等では、１商品ごとに複数個の商品が配置されるため、この特性は顕著に表れる。逆に、中小型の商店等では、１商品ごとに１個の商品が配置される場合が多くなり、この特性は表れにくくなる。１商品ごとの配置される商品の数量は、フェースという語句で表される。即ち、十分な陳列スペースがある大型の商店では同一商品のフェース数が多く、小型の商店では、同一商品のフェース数は少ない。

また、商品棚において、同一のシリーズに属する商品及び同一のブランドに属する商品は、近い位置に配置されるという特性を有する。また、同一のメーカーに属する商品及び同一カテゴリに属する商品は、商品棚において近い位置に配置されたり、同一の商品棚に配置されたりするという特性を有する。

本実施形態の棚割情報生成装置１０は、商品棚及び配列される商品が上記のような特性を有することに鑑み、一の商品領域画像に関する商品の認識結果の妥当性を、当該一の商品領域画像の周辺に位置する他の商品領域画像及び他の商品領域画像に関する商品の認識結果を利用して判断する。

検出部１２は、画像取得部１１により取得された商品棚の画像から、商品を表す商品領域画像を検出する。具体的には、検出部１２は、商品棚の画像に対して、例えば、周知のエッジ検出等の手法を用いることにより抽出した各物体を、商品を表す商品領域画像として認識する。また、検出部１２は、例えば周知のディープラーニング等の手法により、商品の形状を商品ごとに予め学習しておき、学習したデータを用いて、商品棚の画像から商品を表す商品領域画像を検出する。なお、予め学習された商品の形状データは、学習モデル記憶部４０に記憶されていてもよい。学習モデル記憶部４０については後に詳述する。商品棚の画像からの商品領域画像の検出に用いられる手法は、上記の例に限定されず、各商品領域画像を検出できればいかなる手法であってもよい。

図４は、商品棚の画像ＰＭ１からの商品領域画像の検出を示す図である。図４に示すように、検出部１２は商品棚の画像ＰＭ１から、それぞれが商品を表す複数の商品領域画像を検出し、検出された商品領域画像には各商品領域画像の外縁に相当する枠線が付されている。

商品認識部１３は、予め記憶された商品の画像に関する情報に基づいて、検出部１２により検出された商品領域画像により表される商品を認識する。本実施形態では、商品の認識に用いられる商品の画像に関する情報は、商品データ記憶部３０に記憶されている。

図５は、商品データ記憶部３０に記憶されている商品画像データ３１の例を模式的に示す図である。図５に示すように、商品画像データ３１は、商品を識別する商品ＩＤに関連付けて、商品の外観を表す複数の商品画像データｍｂ１～ｍｂ８を記憶している。商品画像データｍｂ１～ｍｂ８のそれぞれは、商品ＩＤ：Ｘにより識別される商品の種々の向きの外観を表す。なお、商品データ記憶部３０に記憶されている商品画像データは図５に示す例に限定されず、商品データ記憶部３０は、商品ＩＤごとに１つの商品画像データを有していてもよいし、図５に示す例のように商品を横方向に徐々に回転させた場合の外観を表す画像データに加えて、商品を縦方向に徐々に回転させた場合の外観を表す画像データを含んでもよい。また、商品データ記憶部３０は、商品の正面の外観を表す一の商品画像データ、商品の背面の外観を表す一の商品画像データ、及び、複数のいくつかの向きから商品を撮像した複数の商品画像データのいずれかを商品ＩＤごとに関連付けて含んでもよいし、それらの商品画像データの組み合わせを商品ＩＤごとに関連付けて含んでもよい。

商品認識部１３は、検出部１２により検出された各商品領域画像に対して、商品データ記憶部３０に記憶された商品画像データｍｂを、周知の照合技術により照合することにより、商品領域画像が表す商品を認識することができる。また、商品の認識は、上記の照合技術等には限定されず、いかなる手法が用いられてもよい。例えば、商品認識部１３は、ディープラーニング等の手法により、予め種々の商品の外観を学習しておき、各商品領域画像により表される商品を認識することとしてもよい。

本実施形態では、商品データ記憶部３０は、商品の種々の属性を含む商品マスタ３２を記憶している。図６は、商品マスタ３２の構成を示す図である。図６に示すように、商品マスタ３２は、商品を識別する商品ＩＤに関連付けて、当該商品の商品名、サイズ、シリーズ／ブランド、メーカー及びカテゴリ等を記憶している。なお、商品ごとに関連付けられている商品の属性は、図６に示す例に限定されず、より細分化された属性を含んでもよい。商品認識部１３により商品領域画像により表される商品が認識されるので、認識された商品の商品ＩＤをキーとして、商品マスタ３２を参照することにより、各商品領域画像を商品の属性に関連付けることが可能となる。

商品認識部１３は、商品領域画像ごとの商品の認識の結果を、認識結果記憶部５０に記憶させる。認識結果記憶部５０は、商品領域画像と、当該商品領域画像に関して認識された商品とを関連付けて記憶している記憶手段である。

棚割解析部１４は、商品認識部１３による商品の認識結果、及び、商品棚の画像における商品領域画像の位置関係に基づいて、商品棚の各棚における商品の配置に関する情報である棚割データを取得する。

具体的には、まず、棚割解析部１４は、商品棚の画像から棚板の位置を認識する。商品は棚板の上に配置されているので、例えば、棚割解析部１４は、商品棚の画像の縦方向に延びる座標軸の各座標に対する商品領域画像を表す画素の分布を取得し、画素分布が所定値未満となる座標値及び画素分布の極小点の近傍の領域等を、縦方向に対する棚板の位置として取得する。

また、棚割解析部１４は、商品を表す画像の他に、棚板の画像及び棚板に付される値札の画像等を予め学習しておき、周知の照合技術、ディープラーニング等の手法により、棚板の位置を取得してもよい。

そして、棚割解析部１４は、商品棚の画像から取得した棚板の位置と検出部により検出された商品領域画像の位置との位置関係、及び、商品認識部１３により認識された商品領域画像により表される商品の情報に基づいて、棚割データを取得する。図７は、棚割解析部１４により取得された棚割データの例を示す図である。図７に示すように、棚割データは、台番号、棚段番号、棚位置、商品ＩＤ、フェース数及び積み上げ数等の情報を関連付けて含んでいる。台番号は、商品棚を識別する情報である。棚段番号は、商品棚における棚板を特定する情報であって、例えば、下段から上段に向かって番号が割り当てられている。棚位置は、一の棚板における横方向の位置を特定する情報であって、例えば、商品棚画像における左側から右側に向かって番号が割り当てられている。商品ＩＤは、商品を識別する情報である。フェース数は、配列されている同種の商品の数量である。積み上げ数は、棚板上のある位置において積み重ねられている同種の商品の数量である。

判定部１５は、一の商品領域画像により表される商品として認識された第１の商品と、一の商品領域画像以外の１以上の他の商品領域画像により表される商品としてそれぞれ認識された１以上の第２の商品との関連を示す関連性情報に基づいて、一の商品領域画像を第１の商品として認識したことの妥当性を判定する。

図８を参照して、関連性情報の例について説明する。図８は、一の商品領域画像に関する関連性情報の取得の例を説明するための図である。図８に示されるように、商品棚の画像ＰＭ２は、ある棚における各棚位置１～７に配置された商品の商品領域画像ｍｐ１１～ｍｐ１７を含んでいる。符号ｍｄは、棚位置１～７に配置された商品の商品領域画像ｍｐ１１～ｍｐ１７のそれぞれに関して認識された商品の属性の情報を示す。例えば、棚位置１に配置された商品の商品領域画像に関して認識された商品は、商品名：Ｎ１１、シリーズ／ブランド：Ｂ１、メーカーＣ１といった属性を有する。

ここでは、棚位置３に配置された商品の商品領域画像ｍｐ１３に関する関連性情報を取得する例を示す。この例では、判定部１５は、符号ｍｄに示される各商品の属性情報に基づいて、商品領域画像ｍｐ１３により表される商品として認識された商品（第１の商品）と、商品領域画像ｍｐ１３に隣接する商品領域画像ｍｐ１２、ｍｐ１４により表される商品として認識された商品（第２の商品）との関連を示す関連性情報ｍｅを取得する。

図８に示される関連性情報ｍｅでは、棚位置２，３，４の各商品間の商品名、シリーズ／ブランド及びメーカーの異同を示すデータ（異なる場合：０、同じである場合：１）を要素として含む。具体的には、棚位置２の商品領域画像ｍｐ１２及び棚位置３の商品領域画像ｍｐ１３により表される商品として認識された商品の間では、商品名が異なり、シリーズ／ブランド及びメーカーが同一であるので、判定部１５は、それらの異同を示すデータを「０，１，１」とした関連性情報ｍｅを生成する。同様に、棚位置２の商品領域画像ｍｐ１２及び棚位置４の商品領域画像ｍｐ１４により表される商品として認識された商品の間では、商品名、シリーズ／ブランド及びメーカーが同一であるので、判定部１５は、それらの異同を示すデータを「１，１，１」とした関連性情報ｍｅを生成する。さらに、棚位置３の商品領域画像ｍｐ１３及び棚位置４の商品領域画像ｍｐ１４により表される商品として認識された商品の間では、商品名が異なり、シリーズ／ブランド及びメーカーが同一であるので、判定部１５は、それらの異同を示すデータを「０，１，１」とした関連性情報ｍｅを生成する。

なお、図８に示される関連性情報では、商品名及びメーカー等の属性の異同を、１または２の２値で表現したが、これは一例に過ぎず、例えば、属性の一致の程度を０～１の範囲の数値で表現してもよいし、その他の数値範囲により表現してもよい。

また、図８に示した例では、一の商品領域画像に関する関連性情報を生成するに際して、両隣に隣接する商品に着目したが、両隣に隣接する商品（一の商品領域画像からフェース数１以内の商品）だけではなく、左方向及び右方向のそれぞれの方向に２以上のフェース数以内に配置された商品に着目してもよいし、一の商品領域画像の周囲のさらに多くの商品領域画像を含めて着目してもよい。

一の商品領域画像に関する関連性情報を生成するために着目する他の商品領域画像は、商品棚の画像において一の商品領域画像から所定の距離以内にある商品領域画像を含むこととしてもよい。図９は、一の商品領域画像に関する関連性情報の取得の他の例を説明するための図である。

図９の商品棚の画像ＰＭ３に示されるように、商品領域画像ｍｐ１３に関する関連性情報を生成するに際して、判定部１５は、商品領域画像ｍｐ１３から所定距離以内の範囲ｃｒ１に含まれる商品領域画像に着目して関連性情報を生成してもよい。また、判定部１５は、商品領域画像ｍｐ１３からさらに遠い距離以内の範囲ｃｒ２に含まれる商品領域画像に着目して関連性情報を生成してもよい。一の商品領域画像から他の商品領域画像までの距離は、商品棚の画像における画素数でカウントされることとしてもよいし、棚割データが得られている場合にはフェース数でカウントされることとしてもよい。

続いて、判定部１５は、関連性情報に基づいて、一の商品領域画像に関する特徴量を生成し、生成した特徴量に基づいて、一の商品領域画像に関する商品の認識結果の妥当性を判定する。図１０は、判定部１５による特徴量の生成及び妥当性の判定の処理を示す図である。

本実施形態では、例えば、判定部１５は、図８に示した関連性情報ｍｅに基づいて、一の商品領域画像ｍｐ１３に関する特徴量を生成する。具体的には、判定部１５は、関連性情報ｍｅに示される、商品名、シリーズ／ブランド及びメーカーの異同を示す各値を各項の値（素性）として、以下のような特徴量ｉｅ１を生成する。
特徴量ｉｅ１＝（０，１，０，１，１，１，１，１，１） …（１）

なお、式（１）に示す特徴量は、線形学習器による妥当性判定器を妥当性の判定に用いる場合の一例であって、特徴量及び特徴量の生成に用いる関連性情報は、この例に限定されない。上記の特徴量は一例に過ぎず、一の商品領域画像により表される商品として認識された商品と、一の商品領域画像に隣接、近接、または所定の距離以内の商品領域画像により表される商品として認識された商品との関連性が反映されている情報であって、所定の学習器及び判定器の用いるのに適した形式であれば、どのようなものであってもよい。後述するように、学習器及び判定器は、線形学習器により構成される場合に限定されず、非線形学習、ＳＶＭ、ニューラルネットワークなど周知の技術を採用しうる。

図１０に示すように、判定部１５は、生成した特徴量ｉｅ１を妥当性判定器ＣＭ１に入力して、一の商品領域画像に関する商品の認識の妥当性の判定結果ｒ１（妥当性スコア）を得る。妥当性判定器ＣＭ１は、所定の特徴量に基づく妥当性の判定に関して、機械学習済みの判定器である。

例えば、本実施形態の例では、妥当性判定器ＣＭ１が線形学習器として構成されるとすると、特徴量ｉｅ１を、素性の数を項数とする特徴ベクトルｘとして、妥当性の判定結果の妥当性スコアｙは、以下の式（２）により算出される。

ここで、特徴ベクトルｘの要素は、特徴量ｉｅ１に基づいて、以下のように表される。
ｘ１＝０，ｘ２＝１，ｘ３＝０，ｘ４＝１，ｘ５＝１，ｘ６＝１，・・・
また、ベクトルｗは、特徴量に重み付けをするためのものであって、予め、特徴量に基づく妥当性判定のために機械学習されて得られたベクトルである。

判定結果である妥当性スコアｙの値は学習する内容によって異なるが、例えば、０～１の値を取り、ｙ＝１のときに最も妥当性が高く、ｙ＝０のときに最も妥当性が低いことを示すように学習させることが可能である。

図８に示した関連性情報ｍｅは、一の商品領域画像の左右に隣接する商品領域画像との関連性に着目したものであるので、図１０に示される、関連性情報ｍｅに基づく特徴量ｉｅ１に対する妥当性判定器ＣＭ１は、妥当性の判定に係る商品領域画像と、その左右に隣接する商品領域画像との関連性に着目して生成された特徴量に基づく機械学習により構成される。

上述のとおり、一の商品領域画像に関する関連性情報の生成に際して、着目される商品領域画像は一の商品領域画像の左右に隣接するものに限定されないので、妥当性の判定に供される妥当性判定器は、関連性情報の生成に際して着目される商品領域画像に応じた機械学習により構成される。

図１１は、判定部１５による特徴量の生成及び妥当性の判定の処理の他の例を示す図である。図１１に示す例では、一の商品領域画像ｍｐ１３に関する商品の認識の妥当性の判定に際して、商品領域画像ｍｐ１３の右側に配置された２つの商品領域画像ｍｐ１４，ｍｐ１５を対象として生成された関連性情報を用いる。判定部１５は、商品領域画像ｍｐ１３に対して認識された商品と、商品領域画像ｍｐ１４，ｍｐ１５に対して認識された商品との関連性を示す関連性情報を生成し、生成された関連性情報に基づいて特徴量ｉｅ２を生成する。

ここで用いられる妥当性判定器ＣＭ２は、図１０に示される妥当性判定器ＣＭ１とは異なる。即ち、妥当性判定器ＣＭ２は、妥当性の判定に係る商品領域画像と、その右側に配置された２つの商品領域画像との関連性に着目して生成された特徴量に基づく機械学習により構成される。そして、判定部１５は、特徴量ｉｅ２を妥当性判定器ＣＭ２に入力して、一の商品領域画像ｍｐ１３に関する商品の認識の妥当性の判定結果ｒ２（妥当性スコア）を得る。

図１２は、判定部１５による特徴量の生成及び妥当性の判定の処理の他の例を示す図である。図１０，１１を参照して説明した妥当性の判定（妥当性スコアの算出）に加えて、図１２に示す例では、一の商品領域画像ｍｐ１３に関する商品の認識の妥当性の判定に際して、商品領域画像ｍｐ１３の左右の両側に配置された２つずつの商品領域画像ｍｐ１１，ｍｐ１２，ｍｐ１４，ｍｐ１５を対象として生成された関連性情報を用いる。判定部１５は、商品領域画像ｍｐ１３に対して認識された商品と、商品領域画像ｍｐ１１，ｍｐ１２，ｍｐ１４，ｍｐ１５に対して認識された商品との関連性を示す関連性情報を生成し、生成された関連性情報に基づいて特徴量ｉｅ３を生成する。そして、判定部１５は、特徴量ｉｅ２を妥当性判定器ＣＭ３に入力して、一の商品領域画像ｍｐ１３に関する商品の認識の妥当性の判定結果ｒ３（妥当性スコア）を得る。妥当性判定器ＣＭ３は、妥当性の判定に係る商品領域画像と、その左右の両側に配置された２つずつの商品領域画像との関連性に着目して生成された特徴量に基づく機械学習により構成される。

さらに、判定部１５は、複数の妥当性判定器ＣＭ１～ＣＭ３により出力された判定結果ｒ１～ｒ３を素性とする特徴量ｉｅ４を生成し、生成した特徴量ｉｅ４を妥当性判定器ＣＭ４に入力して、判定結果ｒ４を得て、商品領域画像ｍｐ１３に関する商品の認識の妥当性を判定してもよい。ここで用いられる妥当性判定器ＣＭ４は、妥当性の判定に係る商品領域画像に関する所定の３種類の妥当性判定の結果（妥当性スコア）を特徴量とする機械学習に基づいて構成されたものである。

また、図１０～図１２に示す例では、妥当性判定器が線形学習器により構成される場合を説明しているが、これには限定されず、非線形学習器、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ニューラルネットワーク等の周知の技術により妥当性判定器を構成してもよい。

図１に示される学習モデル記憶部４０は、図１０～図１２に示した妥当性判定器ＣＭにおける機械学習の結果である学習モデルを記憶している記憶手段である、判定部１５は、学習モデル記憶部４０を参照して、特徴量の構成に応じた適切な学習モデル取得して、妥当性スコアを算出する。

表示部１６は、判定部１５により判定された妥当性に関する情報を表示させる。具体的には、表示部１６は、商品領域画像に対する商品の認識に関する妥当性に関する情報をディスプレイ２２に表示させる。なお、表示部１６は、本実施形態の棚割情報生成装置１０において必須の構成ではない。

図１３は、妥当性に関する情報の表示の例を示す図である。表示部１６は、判定部１５により判定された一の商品領域画像の認識の妥当性が所定の程度未満である場合に、妥当性に関する情報を、当該一の商品領域画像に関連付けて、所定の態様で表示させる。

図１３に示すように、表示部１６は、商品棚の画像ＰＭ４をディスプレイ２２に表示させると共に、商品領域画像に対する商品の認識結果及び認識の妥当性に関する情報ＵＩ１をディスプレイ２２に表示させる。

情報ＵＩ１は、例えば、商品棚の４段目（最上段）の商品領域画像の一部に対する、認識結果ｍｒ１～ｍｒ７を含む。認識結果ｍｒ１～ｍｒ７は、認識された商品の属性の一部である商品名及びメーカーを含み、例えば吹き出し型の形状を呈しており、それぞれ商品領域画像に関連付けられている。

図１３に示す例では、商品領域画像ｍｐ２１に対する商品の認識の妥当性（例えば、妥当性スコア）が所定の程度未満であった場合を示している。図１３に示すように、表示部１６は、商品領域画像ｍｐ２１に対する商品の認識結果ｍｒ４を、商品領域画像ｍｐ２１に関連付けて表示させる。図１３に示す例では、商品領域画像ｍｐ２１は、商品名：Ｎ２１、メーカー：Ｃ２の商品を表している。一方、商品認識部１３により、商品領域画像ｍｐ２１により表される商品が、商品名：Ｎ２２、メーカー：Ｃ２の商品であると認識されている。このため、判定部１５による、商品領域画像ｍｐ２１に対する商品の認識の妥当性が低いことが判定されている。従って、表示部１６は、認識結果ｍｒ４を、色を付す等により強調された態様で表示させる。これにより、商品認識の結果の妥当性が低い商品領域画像をユーザに認識させることができる。

図１４は、妥当性に関する情報の表示の他の例を示す図である。図１４に示すように、表示部１６は、商品棚の画像ＰＭ５をディスプレイ２２に表示させると共に、商品領域画像に対する商品の認識結果及び認識の妥当性に関する情報ＵＩ２をディスプレイ２２に表示させる。

図１４に示す例では、具体的には、商品棚の画像ＰＭ５に表された商品領域画像をユーザの指Ｆによりタッチすることにより、表示部１６は、各商品領域画像に対して認識された商品の情報（図１４の例では商品の外観画像）を、各商品領域画像に関連付けて表示させる。これにより、ユーザは、各商品領域画像の認識結果と当該商品領域画像とを対比できるので、商品の画像の認識結果の確認及び修正が容易となる。さらに、商品領域画像ｍｐ３１に対する商品の認識の妥当性が所定の程度未満であった場合には、表示部１６は、情報ＵＩ２に示されるように、商品領域画像ｍｐ３１に対する商品の認識結果を示す外観画像に色を付す等により強調された態様で表示させる。これにより、商品認識の結果の妥当性が低い商品領域画像をユーザに認識させることができる。

図１５は、妥当性に関する情報の表示の他の例を示す図である。図１５に示すように、表示部１６は、商品棚の画像ＰＭ６をディスプレイ２２に表示させると共に、商品領域画像に対する商品の認識結果及び認識の妥当性に関する情報ＵＩ３をディスプレイ２２に表示させる。

この例においては、商品認識部１３は、一の商品領域画像に対して、当該一の商品領域画像により表される商品の候補を複数認識する。例えば、図１５に示すように、商品認識部１３は、商品認識の確からしさを示すスコアが高いものから順に３つの商品（商品名：Ｃ２１，Ｃ２２，Ｃ３３）を、一の商品領域画像ｍｐ４１の認識結果として出力する。ここでは、画像認識の確からしさを示すスコアは、商品名Ｃ２２の商品、商品名Ｃ３３の商品、商品名Ｃ２１の商品の順に高かったものとする。

判定部１５は、商品認識部１３により一の商品領域画像の認識結果として出力された複数のそれぞれの商品に関して、認識の妥当性を判定する。そして、表示部１６は、複数の商品の候補のうちの少なくとも一つの商品の候補及びそれらの妥当性に関する情報を、一の商品領域画像に関連付けて表示させる。

例えば、表示部１６は、商品認識部１３により認識された複数の商品の情報を、商品の認識結果の妥当性が高い順にソートして表示させることとしてもよい。ここでは、商品の認識結果の妥当性は、商品名Ｃ２１の商品、商品名Ｃ２２の商品、商品名Ｃ３３の商品の順に高かったものとする。図１５に示すように、表示部１６は、商品の認識結果の妥当性が高いものから順に、商品名Ｃ２１の商品情報ｍｒ３１、商品名Ｃ２２の商品情報ｍｒ３２、商品名Ｃ３３の商品情報ｍｒ３３を、商品領域画像ｍｐ４１に関する商品認識の妥当性に関する情報として表示させる。

図１５に示す例では、商品情報ｍｒ３１～ｍｒ３２はそれぞれ、チェックボックスを含む。ユーザが、商品領域画像ｍｐ４１の認識結果として正しい商品のチェックボックスにチェックを入れることにより、商品認識部１３は、チェックが入れられた商品を、商品領域画像ｍｐ４１の認識結果として、認識結果記憶部５０に記憶させることができる。これにより、一の商品領域画像に関する商品の認識結果の確認及び修正が容易となる。

また、表示部１６は、図１５に示したような複数の商品の情報を表示させることに代えて、商品認識部１３により認識された複数の商品の候補のうちの、判定部１５により判定された商品の認識結果の妥当性が最も高い商品の候補のみを一の商品領域画像の認識結果として、一の商品領域画像に関連付けて表示させることとしてもよい。これにより、一の商品領域画像に関する商品の認識結果の修正が容易に行われることとなる。

また、表示部１６は、一の商品領域画像に関して認識された商品の、認識の妥当性が所定の程度未満であった場合に、商品棚の画像において一の商品領域画像に隣接する商品領域画像に関して認識された商品を、一の商品領域画像により表される商品の候補として表示させてもよい。

具体的には、商品認識部１３が、一の商品領域画像に関する商品の認識を実施すると共に、一の商品領域画像に隣接する商品領域画像に関する商品の認識を実施する。そして、判定部１５は、隣接する商品領域画像に関して認識された商品を、一の商品領域画像に対して認識された商品であると仮定して、その仮定された認識の妥当性を判定する。そして、表示部１６は、隣接する商品領域画像に関して認識された商品の情報を、一の商品領域画像により表される商品の候補として、その妥当性に関する情報と共に表示させることとしてもよい。

例えば、一の商品領域画像に関して認識された商品の、認識の妥当性が所定の程度未満であった場合、また、一の商品領域画像の認識結果に、一の商品領域画像が表す商品が含まれなかった場合において、一の商品領域画像により表される商品である可能性がある商品の候補をユーザに提示できる。

修正部１７は、判定部１５により判定された妥当性に関する情報に基づいて、商品認識部１３により一の商品領域画像が表す商品として認識された第１の商品を修正する。

例えば、判定部１５により、一の商品領域画像の認識結果として、商品認識部１３により認識された第１の商品以外の商品が最も高い妥当性を有することが判定された場合に、修正部１７は、一の商品領域画像が表す商品の認識結果を、最も妥当性が高いと判定された商品に修正する。具体的には、例えば、商品認識部１３により、一の商品領域画像に対して、当該一の商品領域画像により表される商品の候補が複数認識され、判定部１５により、一の商品領域画像の認識結果として出力された複数のそれぞれの商品に関して認識の妥当性が判定された場合に、修正部１７は、認識の妥当性が最も高い商品に、一の商品領域画像が表す商品の認識結果を修正する。

また、前述のように、表示部１６により、一の商品領域画像を第１の商品として認識したことの妥当性に関する情報が表示されたことに応じて、ユーザにより修正入力が行われた場合には、修正部１７は、一の商品領域画像が表す商品の認識結果を、入力された商品に修正することとしてもよい。

生成部１８は、商品棚に配列された商品の配列情報である棚割情報を生成する。具体的には、生成部１８は、商品棚の画像から取得した棚板の位置と検出部により検出された商品領域画像の位置との位置関係、及び、商品認識部１３により認識された商品領域画像により表される商品の情報に基づいて、棚割情報を生成する。棚割情報の一例は、図７に示される。本実施形態では、生成部１８は、修正部１７による、商品領域画像の認識の結果の修正が反映された棚割情報を生成する。生成部１８は、生成した棚割情報を所定の記憶手段に出力することができる。また、生成部１８は、生成した棚割情報をディスプレイ２２に表示させてもよい。

判定部１５による、一の商品領域画像に関する商品の認識の妥当性の判定にさらに用いられる情報のバリエーションについて、以下に説明する。

判定部１５は、一の商品領域画像の色彩に関する情報と他の商品領域画像の色彩に関する情報との差分を表す色彩情報をさらに参照して、妥当性を判定することとしてもよい。即ち、判定部１５は、色彩情報を関連性情報としてさらに用いて妥当性を判定することができる。

具体的には、判定部１５は、一の商品領域画像の色ヒストグラム及び他の商品領域画像（一の商品領域画像に隣接及び近接等する商品領域画像）の色ヒストグラムを生成し、生成された色ヒストグラムの類似度（差分を表す情報）を算出する。類似度は、例えば、いわゆるコサイン距離の算出等により実現されるが、その算出方法は限定されず、周知のいずれの手法を用いることができる。

判定部１５は、色ヒストグラムの類似度を特徴量としてさらに用いて、妥当性判定器により、一の商品領域画像の商品の認識の妥当性を判定できる。この場合に用いられる妥当性判定器は、色ヒストグラムの類似度を特徴量とした機械学習により得られたものである。また、他の商品領域画像間の色ヒストグラムの類似度を、さらに特徴量として用いてもよい。なお、色ヒストグラムの生成においては、処理負荷等の条件に応じて、適宜の減色処理を実施してもよい。

判定部１５は、商品棚の画像における一の商品領域画像と他の商品領域画像との距離に関する情報をさらに参照して、妥当性を判定することとしてもよい。
即ち、判定部１５は、一の商品領域画像と他の商品領域画像との距離に関する情報を関連性情報としてさらに用いて妥当性を判定することができる。具体的には、判定部１５は、一の商品領域画像と他の商品領域画像（一の商品領域画像に隣接及び近接等する商品領域画像）との距離を算出する。商品領域画像間の距離は、例えば、商品棚の画像における画素数であってもよいし、フェース数により表されてもよい。

判定部１５は、一の商品領域画像と他の商品領域画像との距離を特徴量としてさらに用いて、妥当性判定器により、一の商品領域画像の商品の認識の妥当性を判定できる。この場合に用いられる妥当性判定器は、商品領域画像間の距離を特徴量とした機械学習により得られたものである。また、他の商品領域画像間の距離を、さらに特徴量として用いてもよい。

また、判定部１５は、商品認識部１３により出力される、商品領域画像に対する商品の認識の精度を示す認識スコアを、妥当性の判定に用いることができる。即ち、判定部１５は、一の商品領域画像及び他の商品領域画像に対する商品の認識に関する認識スコアを関連性情報としてさらに参照して、妥当性を判定することとしてもよい。具体的には、判定部１５は、一の商品領域画像及び他の商品領域画像（一の商品領域画像に隣接及び近接等する商品領域画像）のそれぞれに関する認識スコアを取得する。そして、判定部１５は、各商品領域画像に関する認識スコアを特徴量としてさらに用いて、妥当性判定器により、一の商品領域画像の商品の認識の妥当性を判定できる。この場合に用いられる妥当性判定器は、商品領域画像に関する認識スコアを特徴量とした機械学習により得られたものである。

次に、図１６を参照して、棚割情報生成装置１０における棚割情報生成方法について説明する。図１０は、本実施形態の棚割情報生成方法の処理内容を示すフローチャートである。

ステップＳ１において、画像取得部１１は、カメラ２１により撮像された、複数の商品が配列された商品棚の画像を取得する。続くステップＳ２において、検出部１２は、ステップＳ１において画像取得部１１により取得された商品棚の画像から、商品を表す商品領域画像を検出する。

次に、ステップＳ３において、商品認識部１３は、予め記憶された商品の画像に関する情報に基づいて、ステップＳ２において検出部１２により検出された各商品領域画像により表される商品を認識する。

ステップＳ４において、棚割解析部１４は、ステップＳ３における商品認識部１３による商品の認識結果、及び、商品棚の画像における商品領域画像の位置関係に基づいて、商品棚の各棚における商品の配置に関する情報である棚割データを取得する。なお、ステップＳ４の処理は、本実施形態の棚割情報生成方法において必須の処理ではない。

ステップＳ５において、判定部１５は、ステップＳ３において認識された複数の商品領域画像のうちの一の商品領域画像を選択する。ステップＳ６において、一の商品領域画像により表される商品の認識の妥当性を判定する。

ステップＳ７において、表示部１６は、ステップＳ６において判定部１５により判定された、一の商品領域画像に関する商品の認識の妥当性に関する情報を、当該一の商品領域画像に関連付けてディスプレイ２２に表示させる。なお、ステップＳ７の処理は、本実施形態の棚割情報生成方法において必須の処理ではない。

ステップＳ８において、修正部１７は、ステップＳ６において判定部１５により判定された妥当性に関する情報に基づいて、ステップＳ３において商品認識部１３により一の商品領域画像が表す商品として認識された商品を修正する。

ステップＳ９において、判定部１５は、全ての商品領域画像の商品の認識についての妥当性の判定を行ったか否かを判定する。全ての商品領域画像の妥当性の判定を行ったと判定された場合には、処理はステップＳ１０に進められる。一方、全ての商品領域画像の妥当性の判定を行ったと判定されなかった場合には、ステップＳ５～Ｓ８の処理が繰り返される。なお、本実施形態の棚割情報生成方法において、全ての商品領域画像についての妥当性の判定及び認識された商品の修正が行われることは必須ではなく、一部の商品領域画像についてのステップＳ５～Ｓ８の処理が完了したときに、処理手順がステップＳ１０に進められることとしてもよい。

ステップＳ１０において、生成部１８は、棚割情報を生成する。具体的には、生成部１８は、ステップＳ８における認識された商品の修正が反映された棚割情報を生成する。

次に、コンピュータを、本実施形態の棚割情報生成装置１０として機能させるための棚割情報生成プログラムについて説明する。図１７は、棚割情報生成プログラムＰ１の構成を示す図である。

棚割情報生成プログラムＰ１は、棚割情報生成装置１０における棚割情報生成処理を統括的に制御するメインモジュールｍ１０、画像取得モジュールｍ１１、検出モジュールｍ１２、商品認識モジュールｍ１３、棚割解析モジュールｍ１４、判定モジュールｍ１５、表示モジュールｍ１６、修正モジュールｍ１７及び生成モジュールｍ１８を備えて構成される。そして、各モジュールｍ１１～ｍ１８により、棚割情報生成装置１０における画像取得部１１、検出部１２、商品認識部１３、棚割解析部１４、判定部１５、表示部１６、修正部１７及び生成部１８のための各機能が実現される。なお、棚割情報生成プログラムＰ１は、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図１７に示されるように、記録媒体Ｍ１に記憶される態様であってもよい。

以上説明した本実施形態の棚割情報生成装置１０、棚割情報生成方法及び棚割情報生成プログラムＰ１では、商品棚に配置される一の商品は、当該一の商品に隣接する他の商品及び当該一の商品から一定の距離以内に配置された他の商品との間に関連性を有するという特性に鑑みて、商品棚の画像から商品領域画像が検出され、各商品領域画像により表される商品が認識され、一の商品領域画像により表される商品として認識された第１の商品と他の商品領域画像により表される商品として認識された第２の商品との関連性情報に基づいて、一の商品領域画像を第１の商品として認識したことの妥当性が判定される。そして、判定された妥当性に関する情報に基づいて、一の商品領域画像が表す商品として認識された第１の商品が修正される。これにより、商品領域画像に対する商品の認識結果が容易に修正され、認識の精度の改善が可能となる。

また、別の形態に係る棚割情報生成装置では、他の商品領域画像は、商品棚の画像において一の商品領域画像に隣接する商品領域画像を含むこととしてもよい。

商品棚において隣接する商品は、それらの属性等において互いに強い関連を有する傾向がある。上記形態によれば、一の商品領域画像により表される商品と、一の商品領域画像に隣接する商品領域画像により表される商品との関連を示す情報が関連性情報に含まれるので、一の商品領域画像に関する商品の認識の妥当性の判定精度が向上する。

また、別の形態に係る棚割情報生成装置では、他の商品領域画像は、商品棚の画像において一の商品領域画像から所定の距離以内にある商品領域画像を含むこととしてもよい。

商品棚において近接して配置される商品は、それらの属性等において互いに関連を有する傾向がある。上記形態によれば、一の商品領域画像により表される商品と、一の商品領域画像から所定の距離以内にある商品領域画像により表される商品との関連を示す情報が関連性情報に含まれるので、一の商品領域画像に関する商品の認識の妥当性が好適に判定される。

また、別の形態に係る棚割情報生成装置では、商品認識部による商品の認識結果、及び、商品棚の画像における商品領域画像の位置関係に基づいて、商品棚の各棚における商品の配置に関する情報を取得する棚割解析部を更に備え、他の商品領域画像は、商品棚の各棚に配置された商品の商品領域画像のうちの一の商品領域画像と所定の位置関係にある商品領域画像であることとしてもよい。

上記形態によれば、商品棚の各棚の商品の配置に関する情報に基づいて、一の商品領域画像により表される商品と、一の商品領域画像と所定の位置関係にある商品領域画像により表される商品との関連を示す情報が関連性情報に含まれるので、一の商品領域画像に関する商品の認識の妥当性の判定が適切に行われる。

また、別の形態に係る棚割情報生成装置では、関連性情報は、第１の商品の属性と、第２の商品の属性との一致の程度を示す情報であることとしてもよい。

上記形態によれば、第１の商品の属性と第２の商品の属性との一致の程度が関連性情報として採用されることにより、関連性情報により、第１の商品と第２の商品との関連が適切に表される。

また、別の形態に係る棚割情報生成装置は、判定部により判定された妥当性に関する情報を表示させる表示部、をさらに備えることとしてもよい。

上記形態によれば、ユーザが、表示された妥当性に関する情報を参照することにより、一の商品領域画像に関する商品の認識結果の確認及び修正を容易に行うことができる。

また、別の形態に係る棚割情報生成装置では、表示部は、判定部により判定された一の商品領域画像の認識の妥当性が所定の程度未満である場合に、妥当性に関する情報を、当該一の商品領域画像に関連付けて、所定の態様で表示させることとしてもよい。

上記形態によれば、商品認識の結果の妥当性が低い商品領域画像をユーザに認識させることができる。

また、別の形態に係る棚割情報生成装置では、商品認識部は、一の商品領域画像に対して、当該一の商品領域画像が表す商品の候補を複数認識し、判定部は、複数の商品の候補のそれぞれを第１の商品として認識した場合の妥当性を判定し、表示部は、複数の商品の候補のうちの少なくとも一つの商品の候補及び候補の妥当性に関する情報を、一の商品領域画像に関連付けて表示させることとしてもよい。

上記形態によれば、一の商品領域画像により表される商品として、より妥当な商品の候補を提示できるので、一の商品領域画像に関する商品の認識結果の確認及び修正が容易となる。

また、別の形態に係る棚割情報生成装置では、表示部は、判定部により判定された一の商品領域画像の認識の妥当性が所定の程度未満である場合に、一の商品領域画像により表される商品の候補として、第２の商品を表示させることとしてもよい。

上記形態によれば、一の商品領域画像により表される商品と他の商品領域画像により表される商品との関連性が高いことに鑑みて、他の商品領域画像により表される商品として認識された第２の商品が、一の商品領域画像により表される商品の候補として提示される。従って、一の商品領域画像により表される商品である可能性が高い商品が提示されるので、一の商品領域画像に関する商品の認識結果の修正が容易となる。

また、別の形態に係る棚割情報生成装置では、商品認識部は、一の商品領域画像に対して、当該一の商品領域画像が表す商品の候補を複数認識し、判定部は、複数の商品の候補のそれぞれを第１の商品とした場合の妥当性を判定し、表示部は、複数の商品の候補のうち最も妥当性が高い商品の候補を一の商品領域画像の認識結果として、一の商品領域画像に関連付けて表示させることとしてもよい。

上記形態によれば、一の商品領域画像により表される商品として、最も妥当な商品の候補を提示できるので、一の商品領域画像に関する商品の認識結果の修正が容易となる。

また、別の形態に係る棚割情報生成装置では、修正部は、表示部により表示された妥当性に関する情報に応じてユーザにより入力された修正入力に基づいて、商品認識部により一の商品領域画像が表す商品として認識された前記第１の商品を修正することとしてもよい。

上記形態によれば、商品領域画像に対する商品の認識の妥当性に関する情報を認識したユーザにより入力された情報に基づいて、商品の認識の結果が修正されるので、一の商品領域画像に関する商品の認識結果を確実且つ適切に修正できる。

また、別の形態に係る棚割情報生成装置では、判定部は、一の商品領域画像の色彩に関する情報と他の商品領域画像の色彩に関する情報との差分を表す色彩情報をさらに参照して、妥当性を判定することとしてもよい。

上記形態によれば、一の商品領域画像により表される商品と他の商品領域画像により表される商品との関連性が強いことに起因して、一の商品領域画像の色彩と他の商品領域画像の色彩との差分が小さい可能性が高いことに鑑みて、一の商品領域画像の色彩に関する情報と他の商品領域画像の色彩に関する情報との差分をさらに参照して、一の商品領域画像に関する商品の認識の妥当性が判定される。これにより、妥当性の判定精度が向上される。

また、別の形態に係る棚割情報生成装置では、判定部は、商品棚の画像における一の商品領域画像と他の商品領域画像との距離に関する情報をさらに参照して、妥当性を判定することとしてもよい。

上記形態によれば、一の商品領域画像により表される商品と他の商品領域画像により表される商品との関連性の程度が、商品領域画像間の距離に依存することに鑑みて、商品領域画像間の距離に関する情報をさらに参照して、一の商品領域画像に関する商品の認識の妥当性が判定される。これにより、妥当性の判定精度が向上される。

また、別の形態に係る棚割情報生成装置では、商品認識部は、商品領域画像に対する商品の認識の精度を示す認識スコアを出力し、判定部は、一の商品領域画像及び他の商品領域画像に対する商品の認識に関する認識スコアをさらに参照して、妥当性を判定することとしてもよい。

上記形態によれば、商品領域画像に関する商品の認識の精度を示す認識スコアが、一の商品領域画像に関する商品の認識の妥当性が判定される。これにより、妥当性の判定精度が向上される。

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

本開示で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本開示で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

情報等は、上位レイヤ(または下位レイヤ)から下位レイヤ(または上位レイヤ)へ出力され得る。複数のネットワークノードを介して入出力されてもよい。

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本開示で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本開示で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本開示で説明した用語及び／又は本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

本開示で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。

また、本開示で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

本開示で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本開示あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本開示あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本開示において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

１…棚割情報生成システム、１０…棚割情報生成装置、１１…画像取得部、１２…検出部、１３…商品認識部、１４…棚割解析部、１５…判定部、１６…表示部、１７…修正部、１８…生成部、２０…撮像装置／表示装置、２１…カメラ、２２…ディスプレイ、３０…商品データ記憶部、３１…商品画像データ、３２…商品マスタ、４０…学習モデル記憶部、５０…認識結果記憶部、Ｍ１…記録媒体、ｍ１０…メインモジュール、ｍ１１…画像取得モジュール、ｍ１２…検出モジュール、ｍ１３…商品認識モジュール、ｍ１４…棚割解析モジュール、ｍ１５…判定モジュール、ｍ１６…表示モジュール、ｍ１７…修正モジュール、ｍ１８…生成モジュール、Ｐ１…棚割情報生成プログラム。

Claims (3)

1. 商品棚に配列された商品の配列情報である棚割情報を生成する棚割情報生成装置であって、
   複数の商品が配列された商品棚を撮像した画像を取得する画像取得部と、
   前記画像取得部により取得された前記画像から、前記商品を表す商品領域画像を検出する検出部と、
   予め記憶された商品の画像に関する情報に基づいて、前記検出部により検出された前記商品領域画像により表される商品を認識する商品認識部と、
   一の商品領域画像により表される商品として認識された第１の商品と、前記一の商品領域画像以外の１以上の他の商品領域画像により表される商品としてそれぞれ認識された１以上の第２の商品との関連を示す関連性情報に基づいて、前記一の商品領域画像を前記第１の商品として認識したことの妥当性を判定する判定部と、
   前記判定部により判定された妥当性に関する情報に基づいて、前記商品認識部により前記一の商品領域画像が表す商品として認識された前記第１の商品を修正する修正部と、
   を備える棚割情報生成装置。
2. 前記他の商品領域画像は、前記商品棚の画像において前記一の商品領域画像に隣接する商品領域画像を含む、請求項１に記載の棚割情報生成装置。
3. コンピュータを、商品棚に配列された商品の配列情報である棚割情報を生成する棚割情報生成装置として機能させるための棚割情報生成プログラムであって、
   前記コンピュータに、
   複数の商品が配列された商品棚を撮像した画像を取得する画像取得機能と、
   前記画像取得機能により取得された前記画像から、前記商品を表す商品領域画像を検出する検出機能と、
   予め記憶された商品の画像に関する情報に基づいて、前記検出機能により検出された前記商品領域画像により表される商品を認識する商品認識機能と、
   一の商品領域画像により表される商品として認識された第１の商品と、前記一の商品領域画像以外の１以上の他の商品領域画像により表される商品としてそれぞれ認識された１以上の第２の商品との関連を示す関連性情報に基づいて、前記一の商品領域画像を第１の商品として認識したことの妥当性を判定する判定機能と、
   前記判定機能により判定された妥当性に関する情報に基づいて、前記商品認識機能により前記一の商品領域画像が表す商品として認識された前記第１の商品を修正する修正機能と、
   を実現させる棚割情報生成プログラム。
   

Images