JP7404038B2 - 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法 - Google Patents

Description

本発明は、情報処理システムと情報処理装置と情報処理プログラムと情報処理方法とに関する。

スーパーマーケットやコンビニエンスストア（コンビニ）などの売場において、陳列された商品が不足（欠品）していると、商品の販売機会が失われ、売場の売上げが減少する。そのため、売場の店員は、定期的に商品を監視して、商品が不足している場合、不足している商品を補充して商品の不足を解消する作業を速やかに行わなければならない。

また、同売場において棚へ商品を陳列する際、棚への商品の割り当て（棚割）は、商品の売上げに寄与する重要な要素である。そのため、売場における棚割の作成や、棚割通りに商品が陳列されているか否かの監視、売上げや季節に応じた棚割の変更などの棚割の管理は、売場においてしばしば実行されている。

このような商品の欠品や商品の棚割などの商品管理において、商品が陳列された棚を撮像した撮像画像を用いて、商品を管理する技術が提案されている（例えば、特許文献１参照）。

特許文献１に開示された技術は、値札が取り付けられた棚を撮像した撮像画像に基づいて、値札（バーコードを含む）を検出する。次いで、同技術は、検出した値札に基づいて値札の位置を特定して、特定した値札の位置に基づいて商品の陳列範囲を特定する。また、同技術は、検出した値札（バーコード）に基づいて、同値札に対応する商品を特定する。次いで、同技術は、特定した値札の位置と、特定した商品と、に基づいて、棚割情報を生成する。このように、同技術は、撮像画像から値札を検出し、検出した値札に基づいて棚割情報を生成する。そのため、同技術は、撮像画像から簡易に棚割情報を生成できる。

しかしながら、同技術は、撮像画像に全ての商品の値札が含まれていることを前提としている。そのため、撮像画像に一部の商品の値札が撮像されていないとき、あるいは、一部の商品の値札が検出できないとき、同技術は、誤った棚割情報を生成する。すなわち、同技術は、不正確な棚割情報を生成し得る。その結果、同技術を用いた商品管理は、正確性に欠ける場合が有る。

特開２０１９－０９４１９１号公報

本発明は、商品管理の正確性を向上可能な情報処理システムと情報処理装置と情報処理プログラムと情報処理方法とを提供することを目的とする。

本発明にかかる情報処理システムは、商品に関する商品情報に関連付けられる商品コードを表示する表示札が付され、表示札に対応する商品が陳列される棚、が所定の時間間隔で撮像された撮像画像を記憶する記憶部と、撮像画像に基づいて、撮像画像に含まれる商品コードを検出するコード検出部と、コード検出部に検出されていない未検出商品コードの有無を判定するコード判定部と、コード判定部の判定結果に基づいて、未検出商品コードを検出するためのコード再検出動作を制御する再動作制御部と、を有してなる、ことを特徴とする。

本発明によれば、商品管理の正確性を向上させることができる。

本発明にかかる情報処理システムの実施の形態を示すシステム構成図である。 図１の情報処理システムが設置される売場の構成例を示す模式図である。 図１の情報処理システムが備える表示札が取り付けられた棚を正面から見た模式図である。 図３の表示札の表示例を示す模式図である。 図１の情報処理システムが備える撮像装置の機能ブロック図である。 図１の情報処理システムが備えるサーバの機能ブロック図である。 図５の撮像装置が備える記憶部に記憶される情報の例を示す模式図である。 図５の撮像装置が備える記憶部に記憶される情報の別の例を示す模式図である。 図５の撮像装置が備える記憶部に記憶される情報のさらに別の例を示す模式図である。 図５の撮像装置が備える記憶部に記憶される情報のさらに別の例を示す模式図である。 図５の撮像装置が備える記憶部に記憶される情報のさらに別の例を示す模式図である。 図５の撮像装置が備える記憶部に記憶される情報のさらに別の例を示す模式図である。 図１の情報処理システムが実行する情報処理方法のフローチャートである。 図１３の情報処理方法に含まれる棚割生成処理のフローチャートである。 図３に示される棚を撮像した撮像画像の一部を拡大した拡大模式図である。 図１３の情報処理方法に含まれる第１再検出処理のフローチャートである。 図１３の情報処理方法に含まれる棚割比較処理のフローチャートである。 図１３の情報処理方法に含まれる欠品検出処理のフローチャートである。 図１８の欠品検出処理による欠品の有無の検出後の例を示す模式図である。 （ａ）（ｂ）図１の情報処理装置が備える表示制御部による表示部の切り替えの前後の状態を示す模式図である。

以下、図面を参照しながら、本発明にかかる情報処理システム（以下「本システム」という。）と情報処理装置と情報処理プログラムと情報処理方法との実施の形態について説明する。

●情報処理システム●
本システムは、商品が陳列された棚が撮像された撮像画像に含まれる表示札や商品コードに基づいて、棚割情報の生成や商品の欠品の検知などの商品管理を実行する。本システムは、表示札や商品コードを検出できないとき、未検出の表示札（以下「未検出表示札」という。）や未検出の商品コード（以下「未検出商品コード」という。）を検出するための再検出動作（後述する第１再検出処理、第２再検出処理）を実行する。表示札と商品コードとについては、後述する。

「商品」は、閉空間内に陳列され、客に購入される物品である。商品は、閉空間内に設置される棚に、商品の種類ごとに整列された（または、重ねられた）状態で陳列される。

「閉空間」は、任意の範囲で区画される三次元的な空間であり、本システムが商品の管理を実行可能な空間である。閉空間は、物理的に区画される空間と、物理的に区画されない空間と、を含む。すなわち、例えば、閉空間は、スーパーマーケットやコンビニエンスストアなどの売場の内部空間、多数の売場が連なるショッピングモールや空港の免税店の各売場の内部空間、売場の屋外売場などの屋外の空間、を含む。

「棚」は、商品が陳列される陳列スペースを有し、売場に設置される物体である。棚には、後述する表示札が付され、表示札に対応する商品が陳列される。棚は、水平の棚板の上に商品を陳列する陳列棚や、天板の上に商品を陳列する陳列台、天板の上で作業をする作業棚（作業台）、段ボールなどの容器で構成される簡易棚、多段型や平型の冷蔵・冷凍ショーケース、などを含む。棚は、土台や支柱、天板、背板などから構成される外枠と、外枠に囲まれた領域に配置される棚板と、を備える。

「棚割情報」は、棚ごとに定められる棚割りを示す情報である。棚割情報の詳細は、後述する。

「棚割り」は、棚に対する商品の種類、位置、数、の割り当てを示す。

「欠品」は、所定の状態に陳列された商品の一部または全部が不足している状態を示す。すなわち、例えば、欠品は、棚に陳列された商品が客により１つ持ち運ばれて（購入されて）、その商品が１つ不足している状態と、棚に陳列された商品が客により全て持ち運ばれて、その商品が１つも無い状態と、を含む。

●情報処理システムの構成
図１は、本システムの実施の形態を示すシステム構成図である。
図２は、売場の構成例を示す模式図である。
図２は、売場Ｄ内に、６つの棚Ｓ（１－６）と、各棚Ｓ（１－６）それぞれに対応する６つの撮像装置１０（１－６）と、が配置されていることを示す。以下の説明において、各棚Ｓ（１－６）は、特に区別する必要が無いときは、棚Ｓと総称される。同様に、撮像装置１０（１－６）は、撮像装置１０と総称される。

なお、売場における棚の数は、「６」に限定されない。

本システム１は、撮像装置１０と、サーバ２０と、複数の表示札３０（１－ｎ：ｎは複数）と、を有してなる。以下の説明において、各表示札３０（１－ｎ）は、特に区別する必要が無いときは、表示札３０と総称される。

撮像装置１０とサーバ２０と表示札３０それぞれは、有線通信方式または無線通信方式を利用するネットワークＮ（通信回線）を介して、接続される。ネットワークＮは、例えば、インターネット、移動体通信網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、Ｗｉ－Ｆｉ（登録商標）などの通信網である。

撮像装置１０は、売場Ｄ内において、棚Ｓと、棚Ｓに付された（配置された）表示札３０と、棚Ｓに陳列された商品と、を撮像して、撮像画像を生成する。すなわち、撮像画像には、表示札３０が付され、表示札３０に対応する商品が陳列される棚Ｓが撮像される。撮像装置１０は、本発明にかかる情報処理装置として機能する。撮像装置１０は、例えば、売場Ｄ内の棚Ｓの静止画を所定の時間間隔で撮像するカメラ機能と、後述する情報処理を実行する回路と、を備えるカメラ装置である。撮像装置１０は、売場Ｄ内の棚Ｓと、棚Ｓに陳列された商品と、棚Ｓに取り付けられた表示札３０と、の撮像が可能なように、売場Ｄの天井面や壁面に配置される。本実施の形態において、本システム１は、少なくとも１つ（本実施の形態では６つ）の撮像装置１０（１－６）を備える。撮像装置１０の具体的な構成は、後述する。

「所定の時間間隔」は、撮像装置１０が定期的に被写体（棚Ｓ）を撮像する時間間隔であり、例えば、１／１５秒（１５ｆｐｓ）である。

なお、本発明における撮像装置は、後述する撮像部（図６参照）を含むカメラ機能を備える情報処理装置（コンピュータ）でもよい。すわなち、例えば、撮像装置は、カメラ機能を備えるスマートホン、携帯電話、タブレットＰＣ（Personal Computer）、ノートパソコン、通信機能を備えるデジタルカメラでもよい。

また、本発明における撮像装置の数は、棚と、棚に陳列された商品と、棚に取り付けられた表示札と、を撮像可能な数であればよく、「６」に限定されない。

さらに、本発明における撮像装置は、動画を撮像してもよく、動画と静止画とを撮像してもよい。

さらにまた、本発明における撮像装置の配置は、売場の天井面や壁面に限定されない。すなわち、例えば、撮像装置は、通路を挟んで対向して配置される棚に配置されてもよい。

サーバ２０は、撮像装置１０からの情報に基づいて、欠品した商品の特定や、棚割情報の生成などの情報処理を実行する。サーバ２０は、例えば、パーソナルコンピュータである。サーバ２０は、例えば、売場Ｄと同じ建屋の事務所Ｏｆに配置される。サーバ２０の具体的な構成は、後述する。

なお、本発明におけるサーバは、クラウドサーバ、ＮＡＳ（Network Attached Storage）など、ネットワークＮを介して情報を記憶可能な機器でもよい。

図３は、表示札３０が取り付けられた棚Ｓを正面から見た模式図である。
同図は、棚Ｓに１１種の商品が陳列されており、各商品に対応する１１個の表示札３０（１－１１）が取り付けられていることを示す。同図は、表示札３０が対応する商品の陳列範囲の右下（正面視において左下）に配置されていることを示す。同図は、棚Ｓが、直立する２つの支柱Ｓａ，Ｓｂと、支柱Ｓａ，Ｓｂ間に架け渡される３つの棚板Ｓｃ，Ｓｄ，Ｓｅと１つの天板Ｓｆと、を備えることを示す。

図４は、表示札３０の表示例を示す模式図である。
同図は、表示札３０に後述する客用商品情報（「商品名」「金額」）３２１と２つの商品コード３１１，３１２とが表示されていることを示す。同図は、正面視において、右寄りの領域に商品コード３１１，３１２が表示され、残りの領域に客用商品情報３２１が表示されていることを示す。また、同図は、商品コード３１１，３１２としてハミング（Hamming）符号が図案化された二次元コードが表示されていることを示す。

表示札３０は、商品コード３１１，３１２と、商品に関する情報（以下「商品情報」という。）のうち、客が必要とする情報（以下「客用商品情報」という。）３２１と、を表示する。表示札３０は、例えば、電子ペーパーや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイなどの情報表示媒体で構成される電子値札（電子棚札）である。表示札３０は、対応する商品の陳列範囲ごとに、棚Ｓの前面（例えば、棚板の前面、同前面に取り付けられるプライスレール、吊下げられた商品の上方、など値札が一般的に取り付けられる場所を含む）に配置される。表示札３０の表示は、例えば、サーバ２０（後述する表示制御部２３５）により一括で管理される。

「商品コード」は、商品を識別するために、商品ごとに定められる一次元状または二次元状の識別子である。商品コードは、例えば、バーコードなどの一次元コードや、ＱＲコード（登録商標）などの二次元コード、を含む。本実施の形態において、商品コードは、２つの商品コード３１１，３１２で構成される。

「商品情報」は、例えば、商品の名称（商品名）、金額、製造メーカ名、大きさ（容量）、重量、製造年月日、消費期限、などの商品ごとに定められる情報であり、ＪＡＮ（Japanese Article Number）コードなどの商品識別コードを含む。「客用商品情報３２１」は、例えば、商品名、金額、製造メーカ、大きさ（容量）などである。

「陳列範囲」は、棚Ｓにおいて、同一種の商品の群が陳列される範囲（領域）である。一般的に、棚板上の商品は、商品の前面（フェイス面、パッケージ面）を棚Ｓの前方に向けた状態で、棚板の手前から奥に陳列（配列）される。また、台上の商品は、商品の前面や蓋面を台の上方に向け、１段または数段積層された状態で陳列される。そのため、陳列範囲は、通常、直方体状の空間として取り扱われる。すなわち、正面視（上方視）において、陳列範囲は、矩形で表される範囲（領域）である。

なお、商品コードは、本実施の形態に限定されない。すなわち、例えば、商品コードは、リード・ソロモン（Reed-Solomon）符号が図案化された二次元コードや、二次元パリティ（Parity）が図案化された二次元コード、ＱＲコード（登録商標）でもよい。

また、２つの商品コードは同種の二次元コードで構成されてもよく、あるいは、異なる種類の二次元コードや、一次元コードと二次元コードとで構成されてもよい。

さらに、表示札は、１つの商品コードのみを表示してもよい。

●撮像装置の構成
図５は、撮像装置１０の機能ブロック図である。

撮像装置１０は、通信部１１と、記憶部１２と、制御部１３と、撮像部１４と、を備える。

通信部１１は、ネットワークＮを介して、サーバ２０と通信する。通信部１１は、例えば、通信モジュールや通信回路などの通信インターフェイスである。

記憶部１２は、撮像部１４が撮像した撮像画像や、撮像装置１０が後述する情報処理を実行するために必要な情報を記憶する。記憶部１２は、例えば、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記録装置や、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ素子、などにより構成される。

制御部１３は、プログラムに従って後述する情報処理を実行すると共に、撮像装置１０全体の動作を制御する。制御部１３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサ、または、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路と、半導体メモリと、により構成される。制御部１３は、棚枠検出部１３０と、札検出部１３１と、札判定部１３２と、棚格子線生成部１３３と、商品範囲特定部１３４と、コード検出部１３５と、コード判定部１３６と、範囲判定部１３７と、補正部１３８と、欠品検出部１３９と、再動作制御部１４０と、して機能する。

棚枠検出部１３０は、撮像画像に基づいて、撮像画像に含まれる棚枠（棚枠の画像）を検出する。棚枠検出部１３０の具体的な動作は、後述する。

「棚枠」は、棚Ｓを構成する枠体であり、外枠と、棚板と、を含む。

札検出部１３１は、撮像画像に基づいて、撮像画像に含まれる表示札３０（表示札３０の画像）を検出する。札検出部１３１の具体的な動作は、後述する。

札判定部１３２は、札検出部１３１の検出結果に基づいて、札検出部１３１に検出されていない未検出の表示札３０（以下「未検出表示札」という。）の有無を判定する。札判定部１３２の具体的な動作は、後述する。

棚格子線生成部１３３は、棚枠検出部１３０により検出された棚枠と、札検出部１３１により検出された表示札３０と、の少なくとも一方に基づいて、棚格子線を生成する。棚格子線生成部１３３の具体的な動作は、後述する。

「棚格子線」は、棚Ｓにおける商品の陳列可能な領域を区画する線であり、撮像画像に重畳的に付され得る仮想的な線である。棚格子線は、撮像画像に含まれる棚枠に重畳する位置に付される。

商品範囲特定部１３４は、札検出部１３１に検出された表示札３０と、棚格子線生成部１３３に生成された棚格子線と、に基づいて、撮像画像に含まれる商品の陳列範囲を特定する。商品範囲特定部１３４の具体的な動作は、後述する。

コード検出部１３５は、撮像画像に基づいて、撮像画像に含まれる商品コードを検出する。コード検出部１３５の具体的な動作は、後述する。

コード判定部１３６は、コード検出部１３５の検出結果に基づいて、コード検出部１３５に検出されていない未検出の商品コード３１１，３１２（以下「未検出商品コード」という。）の有無を判定する。

範囲判定部１３７は、商品範囲特定部１３４により特定された商品の陳列範囲内に、同陳列範囲に対応する商品が収まっているか否かを判定する。範囲判定部１３７の具体的な動作は、後述する。

補正部１３８は、範囲判定部１３７の判定結果に基づいて、商品範囲特定部１３４により特定された商品の陳列範囲を補正する。

欠品検出部１３９は、商品範囲特定部１３４により特定された商品の陳列範囲ごとに商品の欠品の有無を検出する。欠品検出部１３９の具体的な動作は、後述する。

再動作制御部１４０は、札判定部１３２の判定結果に基づいて、未検出表示札を検出するための札再検出動作を制御すると共に、コード判定部１３６の判定結果に基づいて、未検出商品コードを検出するためのコード再検出動作を制御する。再動作制御部１４０の具体的な動作と、札再検出動作と、コード再検出動作と、については、後述する。

撮像部１４は、売場Ｄ内において、棚Ｓと、棚Ｓに陳列された商品と、棚Ｓに取り付けられた表示札３０と、を撮像して、棚Ｓと商品と表示札３０とが撮像された撮像画像を生成する。撮像部１４は、例えば、レンズ群、シャッター、撮像素子、Ａ／Ｄ変換器などにより構成される。撮像部１４により生成された撮像画像は、記憶部１２に記憶される。

●サーバの構成
図６は、サーバ２０の機能ブロック図である。

サーバ２０は、通信部２１と、記憶部２２と、制御部２３と、表示部２４と、を備える。

通信部２１は、ネットワークＮを介して、撮像装置１０と、表示札３０と、通信する。通信部２１は、例えば、通信モジュールや通信回路などの通信インターフェイスである。

記憶部２２は、サーバ２０が後述する情報処理を実行するために必要な情報を記憶する。記憶部２２は、例えば、ＨＤＤ、ＳＳＤなどの記録装置や、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子、などにより構成される。記憶部２２は、例えば、商品マスタデータベースＭＤＢ１、表示札マスタデータベースＭＤＢ２、表示態様マスタデータベースＭＤＢ３、棚マスタデータベースＭＤＢ４、棚割マスタデータベースＭＤＢ５、商品コードマスタデータベースＭＤＢ６を記憶する。記憶部２２は、本発明における棚割情報記憶部の例である。

図７は、商品マスタデータベースＭＤＢ１に記憶される情報の例を示す模式図である。

「商品マスタデータベースＭＤＢ１」は、例えば、商品ＩＤと、商品情報と、が関連付けられて記憶部２２に記憶されるデータベースである。

「商品ＩＤ」は、本システム１が商品それぞれを識別するために用いる情報であって、商品それぞれに対応する個別の識別情報である。商品ＩＤは、例えば、商品ごとに、予め本システム１の管理者などにより発行されている。

同図は、例えば、商品ＩＤ「００１」の商品に対して、ＪＡＮコード「１２３４５６７８９００００」と、商品名「〇〇チップス」と、金額「１９８」と、が関連付けられて商品マスタデータベースＭＤＢ１に記憶されていることを示す。本システム１は、例えば、商品ＩＤを用いて商品マスタデータベースＭＤＢ１を参照することで、商品ＩＤに対応する商品の商品情報を読み出すことができる。

図８は、表示札マスタデータベースＭＤＢ２に記憶される情報の例を示す模式図である。

「表示札マスタデータベースＭＤＢ２」は、例えば、表示札ＩＤと、棚情報と、商品ＩＤと、表示態様ＩＤと、が関連付けられて記憶部２２に記憶されるデータベースである。

「表示札ＩＤ」は、本システム１が表示札３０それぞれを識別するために用いる情報であって、表示札３０それぞれに対応する個別の識別情報である。表示札ＩＤは、例えば、表示札３０ごとに、予め管理者などにより発行されている。

「棚情報」は、表示札ＩＤに対応する表示札３０が取り付けられている棚Ｓに関する情報である。棚情報は、棚ＩＤと、棚行と、棚列と、を含む。「棚ＩＤ」は、本システム１が棚Ｓそれぞれを識別するために用いる情報であって、棚Ｓそれぞれに対応する個別の識別情報である。棚ＩＤは、例えば、棚Ｓごとに、予め管理者などにより発行されている。「棚行」と「棚列」とは、表示札３０が取り付けられている位置を示す情報である。

「表示態様ＩＤ」は、本システム１が表示札３０における商品コード３１１，３１２の表示態様それぞれを識別するために用いる情報であって、表示態様それぞれに対応する個別の識別情報である。表示態様は、例えば、表示札３０に表示される商品コード３１１，３１２の種別、位置、大きさ、範囲、輝度、組合せ、を含む。表示態様ＩＤは、商品コード３１１，３１２ごとに記憶される。

同図は、例えば、表示札ＩＤ「００１」の表示札３０に対して、棚情報（棚ＩＤ「００１」棚行「０１」棚列「０１」）と、商品ＩＤ「００１」と、表示態様ＩＤ「０１」「０１」と、が関連付けられて、表示札マスタデータベースＭＤＢ２に記憶されていることを示す。本システム１は、例えば、表示札ＩＤを用いて表示札マスタデータベースＭＤＢ２を参照することで、表示札ＩＤに対応する棚情報や商品情報を読み出すことができる。ここで、表示札マスタデータベースＤＢは、商品コード３１１，３１２ごとに表示態様ＩＤを記憶しているため、本システム１は、表示札マスタデータベースＭＤＢ２から表示態様の組合せも読み出すことができる。

図９は、表示態様マスタデータベースＭＤＢ３に記憶される情報の例を示す模式図である。

「表示態様マスタデータベースＭＤＢ３」は、例えば、表示態様ＩＤと、表示態様と、が関連付けられて記憶部２２に記憶されるデータベースである。

「種別」は、商品コードの種類（例えば、バーコードやＱＲコード（登録商標）など）を示す情報である。「位置」は、表示札３０における商品コード３１１，３１２の位置を示す情報である。「大きさ」は、表示札３０における商品コード３１１，３１２の大きさを示す情報である。「範囲」は、表示札３０における商品コード３１１，３１２が占める範囲（領域）を示す情報である。「コードＩＤ」は、本システム１が商品コード３１１，３１２を識別するために用いる情報であって、商品コード３１１，３１２それぞれに対応する識別情報である。

同図は、例えば、表示態様ＩＤ「００１」に対して、表示態様（種別「ＱＲコード（登録商標）」位置「５，５」大きさ「２０」範囲「２５×２５」）と、コードＩＤ「００１」と、が関連付けられて表示態様マスタデータベースＭＤＢ３に記憶されていることを示す。本システム１は、例えば、表示態様ＩＤを用いて、表示態様マスタデータベースＭＤＢ３を参照することで、表示態様ＩＤに対応する表示態様を読み出すことができる。

図１０は、棚マスタデータベースＭＤＢ４に記憶される情報の例を示す模式図である。

「棚マスタデータベースＭＤＢ４」は、例えば、棚ＩＤと、棚位置と、陳列範囲数と、が関連付けられて記憶部２２に記憶されるデータベースである。

「棚位置」は、売場Ｄにおける棚Ｓの設置位置に関する情報である。「陳列範囲数」は、棚Ｓそれぞれに割り当てられる商品の陳列範囲の数を示す情報である。

同図は、例えば、棚ＩＤ「００１」の棚Ｓに対して、棚位置「１０００×１５００」と、陳列範囲数「１１」と、が関連付けられて棚マスタデータベースＭＤＢ４に記憶されていることを示す。本システム１は、例えば、棚ＩＤを用いて棚マスタデータベースＭＤＢ４を参照することで、棚ＩＤに対応する棚Ｓの売場Ｄにおける位置を読み出すことができる。

図１１は、棚割マスタデータベースＭＤＢ５に記憶される情報の例を示す模式図である。

「棚割マスタデータベースＭＤＢ５」は、棚割ＩＤと、棚ＩＤと、陳列範囲と、商品ＩＤと、が関連付けられて記憶部２２に記憶されるデータベースである。

「棚割ＩＤ」は、本システム１が特定の陳列範囲に陳列される商品（棚割り）を識別するために用いる情報であって、棚割り（陳列範囲）それぞれに対応する識別情報である。

「陳列範囲」は、前述のとおり、棚Ｓにおいて、同一種の商品の群が陳列される範囲（領域）である。陳列範囲は、棚行と棚列と範囲情報とを含む。「棚行」と「棚列」とは、陳列範囲の位置を示す情報であって、前述のとおり、表示札３０の位置を示す情報でもある。「範囲情報」は、棚Ｓにおける陳列範囲の範囲（大きさ）に関する情報である。範囲情報は、例えば、正面視における、陳列範囲の面積（水平方向の長さ×鉛直方向の長さ）である。

同図は、例えば、棚割ＩＤ「００１」の棚割りに対して、棚ＩＤ「００１」の棚Ｓと、陳列範囲（棚行「０１」棚列「０１」範囲情報「３０×３０」）と、商品ＩＤ「００１」と、が関連付けられて棚割マスタデータベースＭＤＢ５に記憶されていることを示す。本システム１は、例えば、棚割ＩＤを用いて棚割マスタデータベースＭＤＢ５を参照することで、各棚割りが設定されている棚Ｓや陳列範囲、商品情報を読み出すことができる。

図１２は、商品コードマスタデータベースＭＤＢ６に記憶される情報の例を示す模式図である。

「商品コードマスタデータベースＭＤＢ６」は、コードＩＤと、表示態様ＩＤと、商品ＩＤと、が関連付けられて記憶部２２に記憶されるデータベースである。

同図は、例えば、コードＩＤ「００１」の商品コード３１１，３１２に対して、表示態様ＩＤ「００１」と、商品ＩＤ「００１」と、が関連付けられて商品コードマスタデータベースＭＤＢ６に記憶されていることを示す。本システム１は、例えば、コードＩＤを用いて商品コードマスタデータベースＭＤＢ６を参照することで、商品コード３１１，３１２に対応する表示態様と商品情報とを読み出すことができる。

図６に戻る。
制御部２３は、プログラムに従って各種の情報処理を実行して、サーバ２０全体の動作を制御する。制御部２３は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰなどのプロセッサ、または、ＡＳＩＣ、ＦＰＧＡなどの集積回路と、半導体メモリと、により構成される。制御部２３は、商品情報取得部２３１と、棚割情報生成部２３２と、棚割情報判定部２３３と、欠品情報生成部２３４と、表示制御部２３５と、充足率算出部２３６と、して機能する。

商品情報取得部２３１は、コード検出部１３５により検出された商品コード３１１，３１２に基づいて、同商品コード３１１，３１２に対応する商品の商品情報を取得する。商品情報取得部２３１の具体的な動作は、後述する。

棚割情報生成部２３２は、商品範囲特定部１３４の特定結果と、商品情報取得部２３１が取得した商品情報と、を関連付けて棚割情報を生成する。棚割情報生成部２３２の具体的な動作は、後述する。

棚割情報判定部２３３は、棚割情報生成部２３２により生成された棚割情報と、後述する第２棚割情報と、を比較して、差分の有無を判定する。棚割情報判定部２３３の具体的な動作は、後述する。

「第２棚割情報」は、棚割情報生成部２３２により生成された棚割情報が正しい棚割りを示しているか否かを棚割情報判定部２３３が判定する基準となる棚割情報である。第２棚割情報は、例えば、チェーン展開するスーパーマーケットの本部から各売場Ｄに送信される棚割情報や、棚割情報生成部２３２が過去に生成した棚割情報、を含む。第２棚割情報は、記憶部２２に記憶される。

欠品情報生成部２３４は、撮像装置１０の欠品検出部１３９により欠品が検出された陳列範囲の欠品情報を生成する。

「欠品情報」は、例えば、欠品が有る商品の種類、売場Ｄ（棚Ｓ）内における陳列位置、などの欠品に関する情報である。すなわち、欠品情報は、何処の何が欠品しているかを示す情報である。

表示制御部２３５は、棚Ｓに取り付けられている表示札３０の表示を制御する。表示制御部２３５の具体的な動作は、後述する。

充足率算出部２３６は、棚Ｓに陳列されている商品の陳列範囲ごとの商品の充足率を算出する。充足率算出部２３６の具体的な動作は、後述する。

表示部２４は、例えば、棚割情報や、後述する差分情報、欠品情報、などの商品の管理に関する情報を管理者などに表示する。表示部２４は、例えば、モニタやディスプレイである。

●情報処理方法●
次に、本発明にかかる情報処理方法（以下「本方法」という。）について、説明する。以下の説明において、本システム１は、図３に示される棚Ｓを撮像した撮像画像において、本方法を実行するものとする。

図１３は、本システム１が実行する情報処理方法のフローチャートである。
情報処理方法は、棚割生成処理（Ｓ１００）と第１再検出処理（Ｓ２００）と棚割比較処理（Ｓ３００）と欠品検出処理（Ｓ４００）と第２再検出処理（Ｓ５００）とを含む。

●棚割生成処理
図１４は、棚割生成処理（Ｓ１００）のフローチャートである。

「棚割生成処理（Ｓ１００）」は、本システム１が各棚Ｓの棚割情報を、撮像装置１０が撮像した撮像画像に基づいて生成する処理である。棚割生成処理（Ｓ１００）は、例えば、本システム１を利用する売場Ｄの営業終了後の時間帯や客の出入が少ない深夜の時間帯に実行される。

先ず、撮像部１４は、棚Ｓの撮像画像を撮像する（Ｓ１０１）。撮像画像は、記憶部１２に記憶される。撮像画像は、棚Ｓの画像と、棚Ｓに陳列されている商品の画像と、棚Ｓに取り付けられている表示札３０（１－１１）の画像と、を含む。以下の説明において、撮像画像に含まれる各画像は、被写体の名称（棚Ｓ、商品、表示札３０など）で表記する。

次いで、制御部１３は、記憶部１２から撮像画像を読み出して、前処理を実行する（Ｓ１０２）。「前処理」は、撮像画像における焦点のずれ（いわゆるピンボケ）の有無を検出して、後段の処理に用いられる焦点が適切な撮像画像を選択する（取得する）処理である。

焦点が不適切なとき（Ｓ１０２：Ｎ）、所定の時間間隔（例えば、２０秒）待機した後（Ｓ１０３）、本処理（Ｓ１００）は、処理（Ｓ１０１）に戻る。

焦点が適切なとき（Ｓ１０２：Ｙ）、制御部１３は、公知の画像認識処理を用いて、撮像画像に基づいて、撮像画像に人が含まれていないか否かを判定する（Ｓ１０４）。「公知の画像認識処理」は、例えば、機械学習ベースのディープラーニング画像認識（例えば、ＳＳＤ：Single Shot Multibox Detectorモデル）を利用して人物を検出する処理である。

なお、公知の画像認識処理は、ＳＳＤに代えてＹＯＬＯ（You Only Look Once）モデルを利用してもよく、あるいは、ディープラーニング画像認識と公知の骨格化技術とを組み合わせてもよい。また、同画像認識処理は、背景差分を用いてもよい。

撮像画像に人が含まれているとき（Ｓ１０４：Ｎ）、本処理（Ｓ１００）は、処理（Ｓ１０３）に戻る。

撮像画像に人が含まれていないとき（Ｓ１０４：Ｙ）、棚枠検出部１３０は、例えば、公知の画像認識処理を用いて、撮像画像に基づいて、撮像画像に含まれる棚枠（支柱）を検出する（Ｓ１０５）。このとき、例えば、棚枠検出部１３０は、撮像画像に含まれる標識を検出する。次いで、棚枠検出部１３０は、検出した標識のうち、上下方向（棚Ｓにおける上下方向）に並ぶ標識のグループを抽出する。次いで、棚枠検出部１３０は、抽出したグループごとにグループを構成する標識を結び、例えば、撮像画像の上下端まで延びる直線帯状の領域を支柱（外枠）の領域として検出する。

「標識」は、例えば、支柱の上半部と下半部それぞれに貼り付けられる、支柱の位置を示すシールである。

なお、標識は、シールに限定されない。すなわち、例えば、標識は、支柱に配置されるマグネットや、支柱に塗布される塗料、支柱に形成されている凹凸・孔、でもよい。

次いで、札検出部１３１は、例えば、公知の画像認識処理を用いて、撮像画像に基づいて、撮像画像に含まれる表示札３０を検出する（Ｓ１０６）。

次いで、札判定部１３２は、札検出部１３１の検出結果に基づいて、未検出表示札の有無を判定する（Ｓ１０７）。このとき、例えば、札判定部１３２は、札検出部１３１の過去の検出結果（履歴）や棚Ｓごとに設定されている表示札３０の配列表などを参照して、未検出表示札の有無を判定する。過去の検出結果や配列表は、例えば、予め記憶部１２に記憶されている。

なお、札判定部は、ネットワークを介して、サーバの記憶部に記憶されている表示札マスタデータベースを参照して、未検出表示札の有無を判定してもよい。

札判定部１３２が未検出表示札が無いと判定したとき（Ｓ１０７：Ｙ）、棚枠検出部１３０は、検出された表示札３０のうち、左右方向（棚Ｓにおける水平方向）に並ぶ表示札３０のグループを抽出する。次いで、棚枠検出部１３０は、抽出したグループごとに、グループを構成する表示札３０を結び、支柱（外枠）まで延びる直線帯状の領域を棚板の領域として検出する（Ｓ１０８）。同領域は、表示札３０と略同じ幅（上下方向の長さ）と、支柱間と略同じ長さ（左右方向の長さ）を有する。図３に示される例では、棚枠検出部１３０は、表示札３０（１－５）を含む直線帯状の領域と、表示札３０（６－８）を含む直線帯状の領域と、表示札３０（９－１１）を含む直線帯状の領域と、をそれぞれ棚板として検出する（Ｓ１０８）。

次いで、棚格子線生成部１３３は、棚枠検出部１３０により検出された棚枠（外枠、棚板）に基づいて、棚格子線を生成する（Ｓ１０９）。すなわち、例えば、棚格子線生成部１３３は、検出された棚枠の重心を結んだ直線を生成することにより、棚格子線を生成する。棚格子線は、記憶部１２に記憶される。

ここで、前述のとおり、棚枠検出部１３０により検出された棚枠のうち、棚板は、札検出部１３１の検出結果に基づいて、検出されている。棚格子線生成部１３３は、同棚板に基づいて、棚格子線を生成する。換言すれば、棚格子線生成部１３３は、棚枠検出部１３０の検出結果と、札検出部１３１の検出結果と、に基づいて、棚格子線を生成する。

次いで、商品範囲特定部１３４は、札検出部１３１に検出された表示札３０と、棚格子線生成部１３３に生成された棚格子線と、に基づいて、撮像画像に含まれる商品の陳列範囲を特定する（Ｓ１１０）。本実施の形態において、商品範囲特定部１３４は、表示札３０の左端を基準として、棚格子線で囲まれた領域を、複数の陳列範囲に区画する。具体的には、商品範囲特定部１３４は、棚格子線で囲まれた領域のうち、表示札３０と表示札３０と棚格子線との間、または、表示札３０と棚格子線との間、を商品の陳列範囲として特定する。すなわち、例えば、商品範囲特定部１３４は、表示札３０の左端と、隣接する表示札３０の左端または支柱と、の間を１つの陳列範囲として特定する。

図１５は、図３に示される棚Ｓを撮像した撮像画像の一部を拡大した拡大模式図である。同図は、棚格子線を太い破線で示し、陳列範囲を実線で示す。同図は、表示札３０（７）の左端と、表示札３０（８）の左端と、上下側の棚格子線と、の間の領域（右下がりの一点鎖線でハッチングされた領域）が１つの陳列範囲Ａ１として特定されていることをしめす。同様に、同図は、表示札３０（８）の左端と、上下側の棚格子線と、右側の棚格子線と、の間の領域（右上がりの一点鎖線でハッチングされた領域）が１つの陳列範囲Ａ２として特定されていることを示す。

図１４に戻る。
次いで、コード検出部１３５は、公知の画像認識処理を用いて、撮像画像に基づいて、撮像画像に含まれる商品コード３１１，３１２を検出する（Ｓ１１１）。このとき、コード検出部１３５は、例えば、棚枠検出部１３０により検出された棚板の領域に対して、画像認識処理を実行する。すなわち、コード検出部１３５は、撮像画像に含まれる商品の領域ではなく、棚板（表示札３０に基づいて検出された領域）のみから商品コード３１１，３１２を検出する。そのため、コード検出部１３５は、商品の領域において、商品コード３１１，３１２を誤検出しない。その結果、コード検出部１３５による処理の速度と検出の正確性とは、向上する。

なお、コード検出部は、商品コードの検出前に、撮像画像に対してガンマ補正やバイラテラルフィルタなどの公知の前処理を実行してもよい。

次いで、コード判定部１３６は、コード検出部１３５の検出結果に基づいて、未検出商品コードの有無を判定する（Ｓ１１２）。このとき、例えば、コード判定部１３６は、コード検出部１３５の過去の検出結果（履歴）や棚Ｓごとに設定されている商品コード３１１，３１２の配列表などを参照して、未検出表示札の有無を判定する。すなわち、例えば、コード判定部１３６は、コード検出部１３５の検出結果と、過去の検出結果や配列表と、を比較して、未検出商品コードの有無を判定する。過去の検出結果や配列表は、例えば、予め記憶部１２に記憶されている。ここで、過去の検出結果や配列表は、商品コード３１１，３１２の位置と数に関する情報であり、本発明におけるコード情報の例である。

なお、コード判定部は、ネットワークを介して、サーバの記憶部に記憶されている表示札マスタデータベースや表示態様マスタデータベースを参照して、未検出商品コードの有無を判定してもよい。この場合、表示札マスタデータベースや表示態様マスタデータベースは、本発明におけるコード情報の例である。

また、コード判定部は、陳列範囲に基づいて、未検出商品コードの有無を判定してもよい。すなわち、例えば、コード判定部は、特定された陳列範囲に基づいて表示札の位置を特定し、同表示札の位置に基づいて商品コードの位置を推定し、同推定結果に基づいて未検出商品コードの有無を判定してもよい。

コード判定部１３６が未検出商品コードが無いと判定したとき（Ｓ１１２：Ｙ）、範囲判定部１３７は、商品範囲特定部１３４により特定された商品の陳列範囲内に、同陳列範囲に対応する商品が収まっているか否かを判定する（Ｓ１１３）。

このとき、例えば、範囲判定部１３７は、撮像画像のうち、棚枠として検出された領域以外の領域（以下「商品領域」という。）に対して、公知の一般物体認識処理を実行して、商品と推定される物体を１つ以上検出する。「一般物体認識処理」は、例えば、テンプレートマッチング、ヒストグラム逆投影、セマンティックセグメンテーションなどのアルゴリズムを用いて撮像画像から物体を認識する処理である。次いで、範囲判定部１３７は、検出した物体のうち、大きさや形状、色彩が所定の閾値以上一致し、かつ、隣接する物体同士を１つの物体として統合し、商品の領域を仮想的に示す仮想陳列範囲として特定する。仮想陳列範囲は、本発明における商品領域情報の例である。次いで、範囲判定部１３７は、特定した仮想陳列範囲と、商品範囲特定部１３４により特定された陳列範囲と、を比較して、仮想陳列範囲が陳列範囲に収まっているか否かを判定する。

仮想陳列範囲が陳列範囲に収まっているとき、範囲判定部１３７は、陳列範囲内に、同陳列範囲に対応する商品が収まっていると判定する（Ｓ１１３：Ｙ）。一方、仮想陳列範囲が陳列範囲に収まっていないとき、範囲判定部１３７は、陳列範囲内に、同陳列範囲に対応する商品が収まっていないと判定する（Ｓ１１３：Ｎ）。

なお、範囲判定部の処理は、本実施の形態に限定されない。すなわち、例えば、範囲判定部は、撮像画像に公知の画像認識処理を用いてもよい。また、例えば、範囲判定部は、撮像画像に基づいて、商品間の隙間を検出して、同隙間の位置と陳列範囲とを比較してもよい。さらに、例えば、範囲判定部は、仮想陳列範囲が陳列範囲に収まっていないとき、所定の閾値の範囲内であれば、仮想陳列範囲が陳列範囲に収まっていると判定してもよい。

範囲判定部１３７が陳列範囲内に同陳列範囲に対応する商品が収まっていると判定したとき（Ｓ１１３：Ｙ）、制御部１３は、通信部１１を介して、商品範囲特定部１３４の特定結果（陳列範囲）と、コード検出部１３５の検出結果と、をサーバ２０へ送信する（Ｓ１１４）。

次いで、商品情報取得部２３１は、コード検出部１３５により検出された商品コード３１１，３１２に基づいて、同商品コード３１１，３１２に対応する商品の商品情報を取得する（Ｓ１１５）。このとき、例えば、商品情報取得部２３１は、商品コード３１１，３１２をデコードして商品コード３１１，３１２に対応する商品ＩＤを取得し、商品マスタデータベースＭＤＢ１を参照して同商品ＩＤに対応する商品情報を取得する。

次いで、棚割情報生成部２３２は、商品範囲特定部１３４の特定結果（陳列範囲）と、商品情報取得部２３１が取得した商品情報と、を関連付けて棚割情報を生成する（Ｓ１１６）。棚割情報は、記憶部２２に記憶される。

処理（Ｓ１０７）において、札判定部１３２が未検出表示札が有ると判定したとき（Ｓ１０７：Ｎ）、または、処理（Ｓ１１２）において、コード判定部１３６が未検出商品コードが有ると判定したとき（Ｓ１１２：Ｎ）、再動作制御部１４０は、第１再検出処理（Ｓ２００）を実行する。

処理（Ｓ１１３）において、範囲判定部１３７が陳列範囲内に同陳列範囲に対応する商品が収まっていないと判定したとき（Ｓ１１３：Ｎ）、補正部１３８は、同陳列範囲を補正する（Ｓ１１７）。例えば、補正部１３８は、仮想陳列範囲のうち、対応する陳列範囲に収まっていない範囲（以下「未収範囲」という。）を、同陳列範囲の一部として特定する。すなわち、補正部１３８は、陳列範囲に未収範囲を加算した範囲を新たな陳列範囲として特定する。このとき、補正部１３８は、隣接する他の陳列範囲に対しては、未収範囲を減算した範囲を新たな陳列範囲として特定する。次いで、本処理（Ｓ１００）は、処理（Ｓ１１４）に戻る。このように、補正部１３８は、陳列範囲を仮想陳列範囲に合わせるように補正する。その結果、本システム１は、表示札３０が実際の商品の陳列範囲に対してずれて配置されていても、実際の商品の陳列範囲に合わせて補正した陳列範囲を特定することができる。したがって、本システム１は、同陳列範囲に基づいて棚割情報や欠品情報を生成することで、正確性の高い棚割情報と欠品情報とを生成できる。

このように、本システム１は、撮像画像における人の有無の判定と、棚枠（外枠、棚板）の検出と、に処理負荷が少ないＳＳＤを利用する。また、本システム１は、各商品を画像認識処理により認識することなく、ＳＳＤを利用した画像認識処理の結果に基づいて、陳列範囲を特定する（処理Ｓ１１０）。すなわち、本システム１において、陳列範囲の特定に要する処理の負荷は、少ない。したがって、本システム１は、撮像画像における人の有無の判定と、棚枠の検出と、陳列範囲の特定と、をサーバ２０よりも処理能力が低い撮像装置１０で実行することができる。

●第１再検出処理
図１６は、第１再検出処理（Ｓ２００）のフローチャートである。

「第１再検出処理（Ｓ２００）」は、未検出表示札を検出するための札再検出動作、または、未検出商品コードを検出するためのコード再検出動作、を再動作制御部１４０が制御する処理である。札再検出動作とコード再検出動作それぞれは、表示札３０の商品コード３１１，３１２の表示態様の変更と、撮像部１４の動作と、を含む。撮像部１４と表示札３０それぞれの制御の内容は、例えば、制御情報として予め記憶部１２に記憶されている。

先ず、再動作制御部１４０は、例えば、制御部１３が有するカウンタを用いて、再検出処理の回数をカウントする（Ｓ２０１）。具体的には、再動作制御部１４０は、カウンタのカウント数に「１」を加算する。ここで、カウンタは、札再検出動作に対応する第１カウンタと、コード再検出動作に対応する第２カウンタと、を含む。第１カウンタのカウント値は、例えば、処理（Ｓ１０７：Ｙ）においてリセットされ、第２カウンタのカウント値は、例えば、処理（Ｓ１１２：Ｙ）においてリセットされる。

次いで、再動作制御部１４０は、カウンタのカウント数を確認して、同カウント数と制御情報とに基づいて、撮像部１４と表示札３０それぞれの制御を決定する（Ｓ２０２）。

カウント数が「１」のとき（Ｓ２０２：１）、再動作制御部１４０は再検出処理（Ｓ２００）を終了して、本システム１の情報処理は処理（Ｓ１００）に戻る。すなわち、本システム１は、単なる再撮像を実行する。

カウント数が「２」のとき（Ｓ２０２：２）、再動作制御部１４０は、制御情報に基づいて、撮像部１４の撮像条件を変更する信号（以下「撮像変更信号」という。）を生成する（Ｓ２０３）。撮像変更信号は、撮像部１４に送信される。撮像部１４は、撮像変更信号に基づいて、撮像条件を変更する。次いで、再動作制御部１４０は第１再検出処理（Ｓ２００）を終了して、本システム１の情報処理は処理（Ｓ１００）に戻る。その結果、撮像部１４は、再動作制御部１４０により変更された撮像条件で撮像画像を撮像する。その後、撮像部１４の撮像条件は、変更前の撮像条件（デフォルト）に戻る。

「撮像条件」は、例えば、撮像部１４の撮像倍率、デフォーカス、焦点、解像度と、これらの組み合わせと、を含む。すなわち、撮像部１４の動作は、撮像部１４の撮像条件のうち、少なくとも１つを変更して撮像する動作を含む。

カウント数が「３」のとき（Ｓ２０２：３）、再動作制御部１４０は、制御情報に基づいて、表示札３０の表示態様を変更する信号（以下「表示変更信号」という。）を生成する（Ｓ２０４）。表示変更信号は、通信部１１を介して、サーバ２０の表示制御部２３５へ送信される。表示制御部２３５は、表示変更信号に基づいて、対応する表示札３０の表示態様を変更する。次いで、再動作制御部１４０は第１再検出処理（Ｓ２００）を終了して、本システム１の情報処理は処理（Ｓ１００）に戻る。その結果、撮像部１４は、再動作制御部１４０により変更された表示態様の表示札３０を含む撮像画像を撮像する。その後、表示札３０の表示態様は、変更前の表示態様（デフォルト）に戻る。

なお、表示態様の変更は、全ての表示札に対して実行されてもよく、あるいは、特定の表示札（未検出表示札、未検出商品コードを表示する表示札）に対してのみ実行されてもよい。

カウント数が「４以上」のとき（Ｓ２０２：４）、再動作制御部１４０は、制御情報に基づいて、撮像変更信号と表示変更信号とを生成する（Ｓ２０５）。撮像変更信号は撮像部１４に送信され、撮像部１４は撮像条件を変更する。表示変更信号は表示制御部２３５へ送信され、表示制御部２３５は表示札３０の表示態様を変更する。次いで、再動作制御部１４０は再検出処理（Ｓ２００）を終了して、本システム１の情報処理は処理（Ｓ１００）に戻る。その結果、撮像部１４は、変更された撮像条件で、変更された表示態様の表示札３０を含む撮像画像を撮像する。

このように、第１再検出処理（Ｓ２００）は、撮像条件と表示態様それぞれの変更なし（単なる再撮像）、撮像条件の変更、表示態様の変更、撮像条件と表示態様それぞれの変更、のいずれかを実行して、本システム１の情報処理を処理（Ｓ１００）に戻す。その結果、札検出部１３１は表示札３０を検出し易くなり、未検出表示札の存在する確率が減少する。その結果、棚枠検出部１３０による棚板の領域の検出の精度、棚格子線生成部１３３により生成される棚格子線の精度、商品範囲特定部１３４により特定される陳列範囲の精度、が向上する。また、コード検出部１３５は商品コード３１１，３１２を検出し易くなり、未検出商品コードの存在する確率が減少する。その結果、商品情報取得部２３１の商品情報の取得精度が向上し、棚割情報生成部２３２により生成される棚割情報の精度が向上する。すなわち、本システム１は、正確性の高い棚割情報を生成することができる。

●棚割比較処理
図１７は、棚割比較処理（Ｓ３００）のフローチャートである。

「棚割比較処理（Ｓ３００）」は、棚割生成処理（Ｓ１００）で生成された棚割情報と第２棚割情報とを比較して、棚割情報が正しい棚割りを示しているか否かを判定する処理である。棚割比較処理（Ｓ３００）は、例えば、棚割生成処理（Ｓ１００）で棚割情報が生成されるごとに実行される。

先ず、棚割情報判定部２３３は、記憶部２２から棚割情報生成部２３２により生成された棚割情報と、記憶部２２に予め記憶されている第２棚割情報と、を読み出す（Ｓ３０１）。

次いで、棚割情報判定部２３３は、棚割情報と第２棚割情報とを比較して、両情報の差分の有無を判定する（Ｓ３０２）。例えば、棚割情報判定部２３３は、両情報が完全に一致している場合、両情報に差分が無いと判定する。

なお、棚割情報判定部は、棚における商品の配列が同じで、陳列範囲の大きさに差異が有る場合も両情報に差分が無いと判定してもよい。

両情報に差分が無い場合（Ｓ３０２：Ｙ）、棚割情報判定部２３３は、両情報に差分が無いことを示す情報（以下「差分無情報」という。）を生成する（Ｓ３０３）。差分無情報は、例えば、棚割比較処理（Ｓ３００）のログ情報として、記憶部２２に記憶される。

一方、両情報に差分が有る場合（Ｓ３０２：Ｎ）、棚割情報判定部２３３は、棚割情報
において第２棚割情報と異なる部分の情報を抽出する（Ｓ３０４）。次いで、棚割情報判定部２３３は、抽出された情報に基づいて、両情報の差分に関する情報（以下「差分情報」という。）を生成する（Ｓ３０５）。差分情報には、例えば、棚ＩＤと陳列範囲と商品情報（商品名）とが関連付けられる。差分情報は、記憶部２２に記憶される。

なお、棚割情報生成部は、差分情報を生成後に、管理者などに対して差分が有ることを報知してもよい。すなわち、例えば、棚割情報生成部は、差分情報を表示部に表示してもよく、あるいは、管理者が所有する端末に通信部を介して差分情報を送信してもよい。

このように、本システム１は、棚割りが適切か否か（例えば、棚割りが本部の指示通りか否か）を適宜判定する。そのため、例えば、管理者は、棚割り変更の指示通りに、実際の棚割りが変更されているか否かを容易に確認することができる。その結果、管理者は、売場Ｄにおいて指示なく棚割りが変更されていないか、棚割り変更の指示からどの程度の時間で棚割りが変更されたか、など棚割りの維持・変更に関する情報を取得することができる。また、例えば、商品メーカの担当者は、差分情報などを参照できれば、自社商品の棚Ｓへの陳列状況を容易に把握することができる。

●欠品検出処理
図１８は、欠品検出処理（Ｓ４００）のフローチャートである。

「欠品検出処理（Ｓ４００）」は、本システム１が棚Ｓにおける商品の欠品を自動的に検出する処理である。欠品検出処理（Ｓ４００）は、例えば、所定の時間間隔（例えば、１時間ごと）で実行される。

なお、欠品検出処理は、客の多い時間帯と、客の少ない時間帯と、で時間間隔を変えて実行されてもよい。

本処理（Ｓ４００）のうち、処理（Ｓ４０１－Ｓ４１０）は、棚割生成処理（Ｓ１００）の処理（Ｓ１０１－Ｓ１１０）と共通する。また、処理（Ｓ４１６，Ｓ４１７）は処理（Ｓ１１１，Ｓ１１２）と共通し、処理（Ｓ４１９）は処理（Ｓ１１５）と共通する。したがって、本処理（Ｓ４００）のうち、棚割生成処理（Ｓ１００）と共通する処理の説明の一部は、説明の便宜上、省略する。

先ず、撮像部１４は、棚Ｓの撮像画像を撮像する（Ｓ４０１）。撮像画像は、記憶部１２に記憶される。

次いで、制御部１３は、記憶部１２から撮像画像を読み出して、前処理を実行する（Ｓ４０２）。

焦点が不適切なとき（Ｓ４０２：Ｎ）、所定の時間間隔（例えば、２０秒）待機した後（Ｓ４０３）、本処理（Ｓ４００）は、処理（Ｓ４０１）に戻る。

焦点が適切なとき（Ｓ４０２：Ｙ）、制御部１３は、公知の画像認識処理を用いて、撮像画像に基づいて、撮像画像に人が含まれていないか否かを判定する（Ｓ４０４）。

撮像画像に人が含まれているとき（Ｓ４０４：Ｎ）、本処理（Ｓ４００）は、処理（Ｓ４０１）に戻る。

撮像画像に人が含まれていないとき（Ｓ４０４：Ｙ）、棚枠検出部１３０は、例えば、公知の画像認識処理を用いて、撮像画像に基づいて、撮像画像に含まれる棚枠（支柱）を検出する（Ｓ４０５）。

次いで、札検出部１３１は、例えば、公知の画像認識処理を用いて、撮像画像に基づいて、撮像画像に含まれる表示札３０を検出する（Ｓ４０６）。

次いで、札判定部１３２は、札検出部１３１の検出結果に基づいて、未検出表示札の有無を判定する（Ｓ４０７）。

札判定部１３２が未検出表示札が無いと判定したとき（Ｓ４０７：Ｙ）、棚枠検出部１３０は、検出された表示札３０のうち、横方向（棚Ｓにおける水平方向）に並ぶ表示札３０を通る直線状の領域を棚板として検出する（Ｓ４０８）。

次いで、棚格子線生成部１３３は、棚枠検出部１３０により検出された棚枠（外枠、棚板）に基づいて、棚格子線を生成する（Ｓ４０９）。棚格子線は、記憶部１２に記憶される。

次いで、商品範囲特定部１３４は、札検出部１３１に検出された表示札３０と、棚格子線生成部１３３に生成された棚格子線と、に基づいて、撮像画像に含まれる商品の陳列範囲を特定する（Ｓ４１０）。本実施の形態において、商品範囲特定部１３４は、処理（Ｓ１１０）と同様に、表示札３０の左端を基準として、棚格子線で囲まれた領域を、複数の陳列範囲に区画する。

次いで、欠品検出部１３９は、公知の画像認識処理を用いて、特定された商品の陳列範囲ごとに商品の欠品の有無を検出する（Ｓ４１１）。具体的には、欠品検出部１３９は、棚格子線の範囲内において、ＳＳＤを利用して商品枠（各商品を囲むように設定される矩形の枠）を特定し、商品枠ごとに欠品の有無を判定する。その結果、欠品検出部１３９は、棚格子線の範囲内において、欠品の有る商品枠（以下「欠品枠」という。）を特定する。欠品枠は、記憶部１２に記憶される。

図１９は、欠品検出部１３９による欠品の有無の検出後の例を示す模式図である。
同図は、陳列範囲を破線で示し、欠品枠を太い実線の枠で示す。同図は、表示札３０（７）に対応する商品と、表示札３０（１１）に対応する商品と、が欠品枠として特定されていることを示す。

図１８に戻る。
次いで、制御部１３は、通信部１１を介して、サーバ２０の記憶部２２に棚割情報が記憶されているか否かを判定する（Ｓ４１２）。

棚割情報が記憶されているとき（Ｓ４１２：Ｙ）、制御部１３は、通信部１１を介して、商品範囲特定部１３４の特定結果（陳列範囲）と、欠品検出部１３９の検出結果と、をサーバ２０へ送信する（Ｓ４１３）。棚格子線と欠品検出部１３９の検出結果とは、記憶部２２に記憶される。

次いで、欠品情報生成部２３４は、商品範囲特定部１３４の特定結果（陳列範囲）と、欠品検出部１３９の検出結果と、棚割情報と、に基づいて、欠品枠に対応する商品の商品情報を取得する（Ｓ４１４）。

次いで、欠品情報生成部２３４は、棚割情報と、欠品枠と、欠品枠に対応する商品の商品情報と、に基づいて、欠品情報を生成する（Ｓ４１５）。欠品情報は、記憶部２２に記憶される。

次いで、充足率算出部２３６は、欠品枠と陳列範囲とに基づいて、各陳列範囲の充足率を算出する（Ｓ４１６）。すなわち、例えば、充足率算出部２３６は、陳列範囲ごとに、欠品枠の面積を被除数、陳列範囲の面積を除数として、次式（１）を用いて、充足率を算出する。
充足率＝１－（欠品枠の面積／陳列範囲の面積） （１）
算出された充足率は、陳列範囲に関連付けられて、記憶部２２に記憶される。

一方、棚割情報が記憶されていないとき（棚割情報が存在しないとき）（Ｓ４１２：Ｎ）、コード検出部１３５は、公知の画像認識処理を用いて、撮像画像に基づいて、撮像画像に含まれる商品コード３１１，３１２を検出する（Ｓ４１７）。このとき、コード検出部１３５は、処理（Ｓ１１１）と同様に、棚枠検出部１３０により検出された棚板の領域に対して、画像認識処理を実行する。

次いで、コード判定部１３６は、コード検出部１３５の検出結果に基づいて、未検出商品コードの有無を判定する（Ｓ４１８）。

コード判定部１３６が未検出商品コードが無いと判定したとき（Ｓ４１８：Ｙ）、制御部１３は、通信部１１を介して、商品範囲特定部１３４の特定結果（陳列範囲）と、コード検出部１３５の検出結果と、をサーバ２０へ送信する（Ｓ４１９）。陳列範囲と、コード検出部１３５の検出結果とは、記憶部２２に記憶される。

次いで、商品情報取得部２３１は、コード検出部１３５により検出された商品コード３１１，３１２に基づいて、同商品コード３１１，３１２に対応する商品の商品情報を取得する（Ｓ４２０）。

次いで、欠品情報生成部２３４は、欠品検出部１３９の検出結果と、商品情報取得部２３１により取得された商品情報と、に基づいて、欠品枠に対応する商品の商品情報を取得する（Ｓ４２１）。

次いで、欠品情報生成部２３４は、陳列範囲と、欠品枠と、欠品枠に対応する商品の商品情報と、に基づいて、欠品情報を生成する（Ｓ４２２）。欠品情報は、記憶部２２に記憶される。次いで、充足率算出部２３６は、欠品枠と陳列範囲とに基づいて、各陳列範囲の充足率を算出する（Ｓ４１６）。

処理（Ｓ４０７）において、札判定部１３２が未検出表示札が有ると判定したとき（Ｓ４０７：Ｎ）、または、処理（Ｓ４１８）において、コード判定部１３６が未検出商品コードが有ると判定したとき（Ｓ４１８：Ｎ）、再動作制御部１４０は、第２再検出処理（Ｓ５００）を実行する。

このように、本システム１は、各商品を画像認識処理により認識することなく、ＳＳＤを利用した画像認識処理の結果に基づいて、欠品枠を検出する。すなわち、本システム１において、欠品枠の検出に要する処理の負荷は、少ない。したがって、本システム１は、撮像画像における人の有無の判定と、棚枠の検出と、陳列範囲の特定と、欠品枠の検出と、をサーバ２０よりも処理能力が低い撮像装置１０で実行することができる。

なお、本システムは、欠品検出処理において、棚割生成処理と同様に陳列範囲を補正する処理を実行してもよい。この構成によれば、本システム１は、表示札３０が実際の商品の陳列範囲に対してずれて配置されていても、実際の商品の陳列範囲に合わせて補正した陳列範囲を特定することができる。したがって、本システム１は、同陳列範囲に基づいて欠品情報を生成することで、正確性の高い欠品情報を生成できる。

●第２再検出処理
第２再検出処理（Ｓ５００）は、同処理（Ｓ５００）の終了後に実行される処理が処理（Ｓ４０１）である点と、第１カウンタと第２カウンタそれぞれのカウント値のリセットが欠品検出処理（Ｓ４００）内で実行される（例えば、第１カウンタのカウント値のリセットは処理（Ｓ４０７：Ｙ）で実行され、第２カウンタのカウント値のリセットは処理（Ｓ４１６：Ｙ）で実行される）点と、を除き、第１再検出処理（Ｓ２００）と共通する。そのため、第２再検出処理（Ｓ５００）の詳細な説明は、省略する。

第２再検出処理（Ｓ５００）が実行されることで、札検出部１３１は表示札３０を検出し易くなり、未検出表示札の存在する確率が減少する。その結果、棚枠検出部１３０による棚板の領域の検出の精度、棚格子線生成部１３３により生成される棚格子線の精度、商品範囲特定部１３４により特定される陳列範囲の精度、が向上する。また、コード検出部１３５は商品コード３１１，３１２を検出し易くなり、未検出商品コードの存在する確率が減少する。その結果、商品情報取得部２３１の商品情報の取得精度が向上し、欠品情報生成部２３４により生成される欠品情報の精度が向上する。すなわち、本システム１は、正確性の高い欠品情報を生成することができる。

●まとめ
以上説明した実施の形態によれば、本システム１は、未検出商品コードが有るとき、未検出商品コードを検出するためのコード再検出動作（第１再検出処理（Ｓ２００）、第２再検出処理（Ｓ５００））を制御する再動作制御部１４０を備える。そのため、コード検出部１３５は商品コード３１１，３１２を検出し易くなり、未検出商品コードの存在する確率が減少する。その結果、商品情報取得部２３１の商品情報の取得精度、欠品情報生成部２３４により生成される欠品情報の精度、棚割情報生成部２３２により生成される棚割情報の精度、が向上する。すなわち、本システム１は、正確性の高い棚割情報を生成すると共に、正確性の高い欠品情報を生成することができる。

また、以上説明した実施の形態によれば、コード再検出動作は、表示札３０の商品コード３１１，３１２の表示態様を変更させる動作を含む。すなわち、本システム１は、コード判定部１３６が未検出商品コードが有ると判定したとき、コード検出部１３５が商品コード３１１，３１２を検出し易くなるように、表示札３０の商品コード３１１，３１２の表示態様を変更する。その結果、コード検出部１３５は商品コード３１１，３１２を検出し易くなり、未検出商品コードの存在する確率が減少する。すなわち、本システム１は、正確性の高い棚割情報を生成すると共に、正確性の高い欠品情報を生成することができる。

さらに、以上説明した実施の形態によれば、コード再検出動作は、撮像部１４の動作を含む。撮像部１４の動作は、撮像部１４の撮像条件を変更する動作を含む。すなわち、本システム１は、コード判定部１３６が未検出商品コードが有ると判定したとき、コード検出部１３５が商品コード３１１，３１２を検出し易くなるように、撮像部１４の撮像条件を変更する。その結果、コード検出部１３５は商品コード３１１，３１２を検出し易くなり、未検出商品コードの存在する確率が減少する。すなわち、本システム１は、正確性の高い棚割情報を生成すると共に、正確性の高い欠品情報を生成することができる。

さらにまた、以上説明した実施の形態によれば、コード判定部１３６は、コード検出部１３５の検出結果と、コード情報（例えば、コード検出部１３５の過去の検出結果や商品コード３１１，３１２の配列表）と、を比較して、未検出商品コードの有無を判定する。すなわち、コード判定部１３６は、商品コード３１１，３１２の位置または数に関して正しい情報であるコード情報を参照することで、容易に未検出商品コードの有無を判定できる。

さらにまた、以上説明した実施の形態によれば、コード検出部１３５は、棚板の領域（札検出部１３１により検出された表示札３０を含む略直線帯状の領域）において、商品コード３１１，３１２を検出する。すなわち、コード検出部１３５は、札検出部１３１により検出された表示札３０に基づいて、商品コード３１１，３１２を検出する。つまり、コード検出部１３５は、撮像画像に含まれる商品の領域ではなく、棚板（表示札３０に基づいて検出された領域）のみから商品コード３１１，３１２を検出する。そのため、コード検出部１３５は、商品の領域において、商品コード３１１，３１２を誤検出しない。その結果、コード検出部１３５による処理の速度と検出の正確性とは、向上する。

さらにまた、以上説明した実施の形態によれば、本システム１は、未検出表示札の有無を判定する札判定部１３２を備える。再動作制御部１４０は、未検出表示札が有るとき、未検出表紙札を検出するための札再検出動作（第１再検出処理（Ｓ２００）、第２再検出処理（Ｓ５００））を制御する。そのため、札検出部１３１は表示札３０を検出し易くなり、未検出表示札の存在する確率が減少する。その結果、棚枠検出部１３０による棚板の領域の検出の精度、棚格子線生成部１３３により生成される棚格子線の精度、商品範囲特定部１３４により特定される陳列範囲の精度、が向上する。また、コード検出部１３５は商品コード３１１，３１２を検出し易くなり、未検出商品コードの存在する確率が減少する。すなわち、本システム１は、正確性の高い棚割情報を生成することができると共に、高精度で欠品を検出することができる。

さらにまた、以上説明した実施の形態によれば、本システム１は、検出された棚枠（外枠）と検出された表示札３０とに基づいて、棚格子線を生成する棚格子線生成部１３３と、検出された表示札３０と生成された棚格子線とに基づいて、商品の陳列範囲を特定する商品範囲特定部１３４と、を備える。すなわち、本システム１は、表示札３０を検出することで、個々の商品を認識・検出することなく、陳列範囲を特定可能である。つまり、本システム１は、陳列範囲を特定するために必要とする処理の負荷を軽減することができる。

さらにまた、以上説明した実施の形態によれば、本システム１は、検出された商品コードに基づいて、商品コードに対応する商品情報を取得する商品情報取得部と、商品範囲特定部の特定結果と、商品情報取得部が取得した商品情報と、を関連付けて棚割情報を生成する棚割情報生成部と、棚割情報を記憶する棚割情報記憶部と、を備える。前述のとおり、本システム１では、コード検出部１３５は商品コード３１１，３１２を検出し易くなり、未検出商品コードの存在する確率が減少する。そのため、本システム１は、正確性の高い棚割情報を生成することができる。

さらにまた、以上説明した実施の形態によれば、本システム１は、棚割情報と第２棚割情報とを比較して、差分の有無を判定する棚割情報判定部２３３を備える。すなわち、本システム１は、棚割りが適切か否か（例えば、棚割りが本部の指示通りか否か）を適宜判定する。そのため、例えば、管理者は、棚割り変更の指示通りに、実際の棚割りが変更されているか否かを容易に確認することができる。その結果、管理者は、売場Ｄにおいて指示なく棚割りが変更されていないか、棚割り変更の指示からどの程度の時間で棚割りが変更されたか、など棚割りの維持・変更に関する情報を取得することができる。また、例えば、商品メーカの担当者は、差分情報などを参照できれば、自社商品の棚Ｓへの陳列状況を容易に把握することができる。

さらにまた、以上説明した実施の形態によれば、本システム１は、商品範囲特定部１３４により特定された商品の陳列範囲ごとに商品の欠品の有無を検出する欠品検出部１３９を備える。前述のとおり、本システム１では、コード検出部１３５は商品コード３１１，３１２を検出し易くなり、未検出商品コードの存在する確率が減少する。そのため、本システム１は、正確性の高い欠品情報を生成することができる。

さらにまた、以上説明した実施の形態によれば、商品範囲特定部１３４により特定された陳列範囲内に、陳列範囲に対応する商品が収まっているか否かを判定する範囲判定部１３７と、陳列範囲に対応する商品が収まっていないとき、陳列範囲を補正する補正部１３８と、を備える。範囲判定部１３７は、撮像画像に基づいて、商品の領域を示す商品領域情報（仮想商品領域）を特定し、特定した商品領域情報に基づいて、陳列範囲に対応する商品が収まっているか否かを判定する。補正部１３８は、陳列範囲を仮想陳列範囲に合わせるように補正する。その結果、本システム１は、表示札３０が実際の商品の陳列範囲に対してずれて配置されていても、実際の商品の陳列範囲に合わせて補正した陳列範囲を特定することができる。したがって、本システム１は、同陳列範囲に基づいて棚割情報や欠品情報を生成することで、正確性の高い棚割情報と欠品情報とを生成できる。

さらにまた、以上説明した実施の形態によれば、棚枠検出部１３０は、撮像画像に含まれる棚Ｓの外枠と棚板とを検出する。棚格子線生成部１３３は、検出された外枠と棚板とに基づいて、棚格子線を生成する。すなわち、本システム１は、簡易な画像認識処理を用いて、棚Ｓにおける商品の陳列可能な領域を区画する線である棚格子線を生成する。その結果、本システム１は、表示札３０の左端を基準として、棚格子線で囲まれた領域を、複数の陳列範囲に区画可能である。

さらにまた、以上説明した実施の形態によれば、棚Ｓの棚枠には、外枠の位置を示す複数の標識が付される。棚枠検出部１３０は、撮像画像に含まれる複数の標識に基づいて、外枠を検出する。そのため、棚枠検出部１３０は、処理負荷の少ないＳＳＤを利用して、容易に外枠を検出可能である。

なお、以上説明した実施の形態では、サーバ２０が、商品情報取得部２３１と、棚割情報生成部２３２と、棚割情報判定部２３３と、欠品情報生成部２３４と、表示制御部２３５と、充足率算出部２３６と、を備えていた。これに代えて、本発明における撮像装置が、これらの一部または全部を備えてもよい。すなわち、例えば、撮像装置は、ネットワークを介してサーバから商品情報を取得してもよく、棚割情報や欠品情報を生成してもよい。また、例えば、撮像装置は、対応する棚に取り付けられている表示札に対して表示変更信号を送信してもよい。

また、以上説明した実施の形態では、撮像装置１０が、棚枠検出部１３０と、札検出部１３１と、札判定部１３２と、棚格子線生成部１３３と、商品範囲特定部１３４と、コード検出部１３５と、コード判定部１３６と、範囲判定部１３７と、補正部１３８と、欠品検出部１３９と、再動作制御部１４０と、を備えていた。これに代えて、サーバ２０が、これらの一部または全部を備えてもよい。すなわち、例えば、撮像装置は撮像画像の撮像、記憶、送信のみを実行し、サーバが前述した情報処理方法を実行してもよい。この場合、サーバは、本発明にかかる情報処理装置として機能する。

さらに、以上説明した実施の形態では、サーバ２０が、表示制御部２３５を備えていた。これに代えて、あるいは、これと共に、本システムは、表示札の制御用の装置を個別に備えてもよい。

さらにまた、本発明における撮像装置の記憶部は、各マスタデータベースを記憶してもよく、あるいは、撮像装置に対応する棚に関する個別の棚割情報や商品情報を記憶してもよい。

さらにまた、以上説明した実施の形態では、表示札３０は、電子値札であった。これに代えて、表示札は、商品情報と商品コードとを印刷した紙製の値札でもよい。この場合、本システムは、第１再検出処理と第２再検出処理それぞれにおいて、撮像変更信号を生成するが、表示変更信号を生成しない。この構成によれば、本システムは、紙製の値札であっても、撮像条件を変更して未検出表示札や未検出商品コードの再検出を可能とする。

さらにまた、本システムは、札判定部を備えなくてもよい。すなわち、例えば、本システムは、未検出商品コードの再検出においてのみ、再検出動作（第１再検出処理、第２再検出処理）を実行してもよい。この構成においても、コード検出部は商品コードを検出し易くなり、未検出商品コードの存在する確率が減少する。その結果、商品情報取得部の商品情報の取得精度、欠品情報生成部により生成される欠品情報の精度、棚割情報生成部により生成される棚割情報の精度、が向上する。すなわち、本システムは、正確性の高い棚割情報を生成すると共に、正確性の高い欠品情報を生成することができる。

さらにまた、本システムは、棚割生成処理を実行しなくてもよい。すなわち、例えば、本システムは、棚割情報を生成せず、欠品情報のみを生成してもよい。つまり、本システムは、欠品検出に特化してもよい。この場合、本システムは、第２棚割情報に基づいて、欠品情報を生成してもよく、あるいは、前述の棚割情報が存在しないときの欠品検出処理を実行してもよい。

さらにまた、本システムは、欠品検出処理を実行しなくてもよい。すなわち、例えば、本システムは、欠品情報を生成せず、棚割情報のみを生成してもよい。つまり、本システムは、棚割生成とその管理とに特化してもよい。

さらにまた、本システムは、棚割比較処理を実行しなくてもよい。

さらにまた、第１再検出処理と第２再検出処理それぞれにおいて、カウント数が「２」以上のとき、例えば、本システムは、管理者に対して、表示札や商品コードの未検出が是正されない旨のアラートを報知してもよい。

さらにまた、第１再検出処理と第２再検出処理それぞれにおいて、カウンタのカウント数に対する再動作制御部の制御は、本実施の形態に限定されない。すなわち、例えば、再動作制御部は、カウント数が「２」のときに表示変更信号を生成し、カウント数が「３」のとき撮像変更信号を生成してもよい。また、例えば、再動作制御部は、カウント数が「２」以上のとき、撮像変更信号と表示変更信号とを生成してもよい。

さらにまた、第１再検出処理と第２再検出処理それぞれにおいて、再動作制御部の制御を決定するカウンタのカウント数は、本実施の形態に限定されない。すなわち、例えば、再動作制御部は、カウント数が「２－４」のとき、撮像変更信号を生成し、カウント数が「５－７」のとき表示変更信号を生成し、カウント数が「８－１０」のとき撮像変更信号と表示変更信号とを生成してもよい。

さらにまた、本発明における棚枠検出部は、標識や表示札を抽出することなく、撮像画像に含まれる棚枠そのものを検出してもよい。すなわち、例えば、処理（Ｓ１０５）において、棚枠検出部は、標識ではなく、棚の外枠そのものを検出してもよい。また、例えば、処理（Ｓ１０８）において、棚枠検出部は、表示札のグループではなく、棚板そのものを検出してもよい。この構成によれば、本発明における棚格子線生成部は、検出された棚枠のみに基づいて、棚格子線を生成する。

さらにまた、本発明における札判定部は、範囲判定部と同様に、仮想陳列範囲を特定して、仮想陳列範囲と検出された表示札とに基づいて、未検出表示札の有無を判定してもよい。すなわち、例えば、札判定部は、検出された表示札の位置と数とが、仮想陳列範囲それぞれの範囲と１：１で対応するか否かを判定することで、未検出表示札の有無を判定してもよい。

さらにまた、本発明における商品範囲特定部は、陳列範囲の特定において、表示札の左端を基準としなくてもよい。すなわち、例えば、表示札が対応する商品（陳列範囲）に対して正面視で右下に配置されるとき、商品範囲特定部は、表示札の右端を基準としてもよい。つまり、商品範囲特定部が基準とする表示札の部位は、商品に対する表示札の位置により定まる。

さらにまた、本システム（本発明におけるサーバの制御部）は、商品コードをデコードしたとき、棚割情報（直近に生成された棚割情報や、第２棚割情報）に基づいて、陳列範囲ごとに対応する商品の変更の有無を判定してもよい。この構成によれば、本システムは、売場の管理者や店員により棚割りの一部が変更されていても、棚割生成処理や欠品検出処理において、同変更を検出可能である。そのため、例えば、本システムは、管理者に対して棚割りが変更されている旨のアラートを報知可能である。

さらにまた、本発明における商品情報取得部は、商品コードのデコードに失敗したとき、デコードに失敗した旨の情報を管理者に通知してもよい。この場合、本発明における再動作制御部は、第１再検出処理や第２再検出処理を実行してもよい。

さらにまた、本発明における表示制御部は、所定のタイミングで表示札の表示を商品情報と商品コードのいずれかに切り替えるように表示部を制御してもよい。すなわち、例えば、表示制御部は、撮像部が撮像するタイミングに合わせて、商品コードを表示部に表示させてもよい。また、例えば、表示制御部は、棚割生成処理や欠品検出処理が実行されるタイミングに合わせて、商品コードを表示部に表示させてもよい。この場合、表示制御部は、本発明における表示切替部として機能する。この構成によれば、表示部は、商品情報と商品コードとを表示する場合と比較して、商品コードを大きく表示可能である。さらに、例えば、表示制御部は、１５フレームに数回の間隔で表示部に商品コードを表示させることで、客に対して商品情報を表示させつつ、棚割生成処理や欠品検出処理が実行されるタイミングでは撮像部に対して商品コードのみを表示させることができる。

図２０は、表示制御部による表示部の表示の切り替えの前後の状態を示す模式図であり、（ａ）は表示部が商品情報のみを表示している状態を示し、（ｂ）は表示部が商品コードのみを表示している状態を示す。

さらにまた、本発明における撮像装置は、前述のとおり、プロセッサ（集積回路）、半導体メモリ、記録装置などにより構成される。そのため、本発明における撮像装置では、情報処理プログラムが撮像装置のハードウェア資源と協働して、前述した本方法を実現してもよい。すなわち、同プログラムは、本発明における撮像装置（またはサーバ）を、本発明にかかる情報処理装置として機能させてもよい。

さらにまた、以上説明した実施の形態は、特許請求の範囲に記載される発明の内容を不当に限定するものではない。また、以上説明した実施の形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

１ 情報処理システム
１０ 撮像装置
１２ 記憶部
１３ 制御部
１４ 撮像部
１３０ 棚枠検出部
１３１ 札検出部
１３２ 札判定部
１３３ 棚格子線生成部
１３４ 商品範囲特定部
１３５ コード検出部
１３６ コード判定部
１３７ 範囲測定部
１３８ 補正部
１３９ 欠品検出部
１４０ 再動作制御部
１４ 撮像部
２０ サーバ
２２ 記憶部（棚割情報記憶部）
２３ 制御部
２３１ 商品情報取得部
２３２ 棚割情報生成部
２３３ 棚割情報判定部
２３４ 欠品情報生成部
２３５ 表示制御部（表示切替部）
３０ 表示札

Claims (23)

1. 商品に関する商品情報に関連付けられる商品コードを表示する表示札が付され、前記表示札に対応する前記商品が陳列される棚、が所定の時間間隔で撮像された撮像画像を記憶する記憶部と、
   前記撮像画像に基づいて、前記撮像画像に含まれる前記商品コードを検出するコード検出部と、
   前記コード検出部の検出結果に基づいて、前記コード検出部に検出されていない未検出商品コードの有無を判定するコード判定部と、
   前記コード判定部の判定結果に基づいて、前記未検出商品コードを検出するためのコード再検出動作を制御する再動作制御部と、
   を有してなり、
   前記コード再検出動作は、
   前記表示札の前記商品コードの表示態様を変更させる動作、
   を含む、
   ことを特徴とする情報処理システム。
2. 前記表示態様は、
   前記表示札に表示される前記商品コードの位置、大きさ、範囲、または、これらの組合せのうち、少なくとも１つ、
   を含む、
   請求項１記載の情報処理システム。
3. 前記撮像画像を撮像する撮像部、
   を有してなり、
   前記コード再検出動作は、
   前記撮像部の動作、
   を含む、
   請求項１記載の情報処理システム。
4. 前記撮像部の前記動作は、
   前記撮像部の撮像倍率、デフォーカス、焦点、解像度、のうち、少なくとも１つを変更して撮像する動作、
   を含む、
   請求項３記載の情報処理システム。
5. 前記記憶部は、前記棚ごとの前記商品コードの位置または数に関するコード情報を記憶し、
   前記コード判定部は、前記コード検出部の前記検出結果と、前記コード情報と、を比較して、前記未検出商品コードの有無を判定する、
   請求項１記載の情報処理システム。
6. 前記撮像画像に基づいて、前記撮像画像に含まれる前記表示札を検出する札検出部、
   を有してなり、
   前記コード検出部は、検出された前記表示札に基づいて、前記商品コードを検出する、
   請求項１乃至４のいずれかに記載の情報処理システム。
7. 前記札検出部に検出されていない未検出表示札の有無を判定する札判定部、
   を有してなり、
   前記再動作制御部は、前記札判定部の判定結果に基づいて、前記未検出表示札を検出するための札再検出動作を制御する、
   請求項６記載の情報処理システム。
8. 商品に関する商品情報に関連付けられる商品コードを表示する表示札が付され、前記表示札に対応する前記商品が陳列される棚、が所定の時間間隔で撮像された撮像画像を記憶する記憶部と、
   前記撮像画像に基づいて、前記撮像画像に含まれる前記商品コードを検出するコード検出部と、
   前記コード検出部の検出結果に基づいて、前記コード検出部に検出されていない未検出商品コードの有無を判定するコード判定部と、
   前記コード判定部の判定結果に基づいて、前記未検出商品コードを検出するためのコード再検出動作を制御する再動作制御部と、
   前記撮像画像に基づいて、前記撮像画像に含まれる前記表示札を検出する札検出部と、
   前記撮像画像に基づいて、前記撮像画像に含まれる前記棚の棚枠を検出する棚枠検出部と、
   検出された前記表示札と検出された前記棚枠との少なくとも一方に基づいて、前記棚における前記商品の陳列可能な領域を区画する棚格子線を生成する棚格子線生成部と、
   検出された前記表示札と生成された前記棚格子線とに基づいて、前記撮像画像に含まれる前記商品の陳列範囲を特定する商品範囲特定部と、
   を有してなる、
   ことを特徴とする情報処理システム。
9. 前記コード判定部は、前記陳列範囲に基づいて、前記未検出商品コードの有無を判定する、
   請求項８記載の情報処理システム。
10. 検出された前記商品コードに基づいて、前記商品コードに対応する前記商品情報を取得する商品情報取得部と、
    前記商品範囲特定部の特定結果と、前記商品情報取得部が取得した前記商品情報と、を関連付けて棚割情報を生成する棚割情報生成部と、
    前記棚割情報を記憶する棚割情報記憶部と、
    を有してなる、
    請求項８記載の情報処理システム。
11. 前記棚割情報記憶部は、第２棚割情報を記憶し、
    前記棚割情報と、前記第２棚割情報と、を比較して、前記棚割情報と前記第２棚割情報との差分の有無を判定する棚割情報判定部、
    を有してなる、
    請求項１０記載の情報処理システム。
12. 前記商品範囲特定部により特定された前記商品の前記陳列範囲ごとに前記商品の欠品の有無を検出する欠品検出部、
    を有してなる、
    請求項８記載の情報処理システム。
13. 前記商品範囲特定部により特定された前記商品の前記陳列範囲内に、前記陳列範囲に対応する前記商品が収まっているか否かを判定する範囲判定部と、
    前記範囲判定部の判定結果に基づいて、前記陳列範囲を補正する補正部と、
    を有してなる、
    請求項８記載の情報処理システム。
14. 前記補正部は、前記陳列範囲に対応する前記商品が収まっていないとき、前記陳列範囲を補正する、
    請求項１３記載の情報処理システム。
15. 前記範囲判定部は、前記撮像画像に基づいて、前記商品の領域を示す商品領域情報を特定し、特定した前記商品領域情報に基づいて、前記陳列範囲に対応する前記商品が収まっているか否かを判定し、
    前記補正部は、前記商品領域情報に基づいて、前記陳列範囲を補正する、
    請求項１３または１４記載の情報処理システム。
16. 前記棚枠検出部は、前記撮像画像に含まれる前記棚の外枠と、前記撮像画像に含まれる前記棚の棚板と、を検出し、
    前記棚格子線生成部は、検出された前記外枠と前記棚板とに基づいて、前記棚格子線を生成する、
    請求項８記載の情報処理システム。
17. 前記棚の前記棚枠には、前記外枠の位置を示す複数の標識が付され、
    前記棚枠検出部は、前記撮像画像に含まれる複数の前記標識に基づいて、前記外枠を検出する、
    請求項１６記載の情報処理システム。
18. 商品に関する商品情報に関連付けられる商品コードを表示する表示札が付され、前記表示札に対応する前記商品が陳列される棚、が所定の時間間隔で撮像された撮像画像を記憶する記憶部と、
    前記撮像画像に基づいて、前記撮像画像に含まれる前記商品コードを検出するコード検出部と、
    前記コード検出部の検出結果に基づいて、前記コード検出部に検出されていない未検出商品コードの有無を判定するコード判定部と、
    前記コード判定部の判定結果に基づいて、前記未検出商品コードを検出するためのコード再検出動作を制御する再動作制御部と、
    を有してなり、
    前記コード再検出動作は、
    前記表示札の前記商品コードの表示態様を変更させる動作、
    を含む、
    ことを特徴とする情報処理装置。
19. プロセッサと、情報を記憶する記憶装置と、を有する装置を、請求項１８記載の情報処理装置として機能させる、
    ことを特徴とする情報処理プログラム。
20. 商品に関する商品情報に関連付けられる商品コードを表示する表示札が付され、前記表示札に対応する前記商品が陳列される棚、が所定の時間間隔で撮像された撮像画像を記憶する記憶部と、
    前記撮像画像に基づいて、情報処理を実行する制御部と、
    を有してなる情報処理システムに実行される情報処理方法であって、
    前記情報処理方法は、
    前記制御部が、前記撮像画像に基づいて、前記撮像画像に含まれる前記商品コードを検出するコード検出ステップと、
    前記制御部が、前記コード検出ステップの検出結果に基づいて、前記コード検出ステップで検出されていない未検出商品コードの有無を判定する判定ステップと、
    前記制御部が、前記判定ステップの判定結果に基づいて、前記未検出商品コードを検出するためのコード再検出動作を制御する再検出ステップと、
    を有してなり、
    前記コード再検出動作は、
    前記表示札の前記商品コードの表示態様を変更させる動作、
    を含む、
    ことを特徴とする情報処理方法。
21. 商品に関する商品情報に関連付けられる商品コードを表示する表示札が付され、前記表示札に対応する前記商品が陳列される棚、が所定の時間間隔で撮像された撮像画像を記憶する記憶部と、
    前記撮像画像に基づいて、前記撮像画像に含まれる前記商品コードを検出するコード検出部と、
    前記コード検出部の検出結果に基づいて、前記コード検出部に検出されていない未検出商品コードの有無を判定するコード判定部と、
    前記コード判定部の判定結果に基づいて、前記未検出商品コードを検出するためのコード再検出動作を制御する再動作制御部と、
    前記撮像画像に基づいて、前記撮像画像に含まれる前記表示札を検出する札検出部と、
    前記撮像画像に基づいて、前記撮像画像に含まれる前記棚の棚枠を検出する棚枠検出部と、
    検出された前記表示札と検出された前記棚枠との少なくとも一方に基づいて、前記棚における前記商品の陳列可能な領域を区画する棚格子線を生成する棚格子線生成部と、
    検出された前記表示札と生成された前記棚格子線とに基づいて、前記撮像画像に含まれる前記商品の陳列範囲を特定する商品範囲特定部と、
    を有してなる、
    ことを特徴とする情報処理装置。
22. プロセッサと、情報を記憶する記憶装置と、を有する装置を、請求項１８記載の情報処理装置として機能させる、
    ことを特徴とする情報処理プログラム。
23. 商品に関する商品情報に関連付けられる商品コードを表示する表示札が付され、前記表示札に対応する前記商品が陳列される棚、が所定の時間間隔で撮像された撮像画像を記憶する記憶部と、
    前記撮像画像に基づいて、情報処理を実行する制御部と、
    を有してなる情報処理システムに実行される情報処理方法であって、
    前記情報処理方法は、
    前記制御部が、前記撮像画像に基づいて、前記撮像画像に含まれる前記棚の棚枠を検出する棚枠検出ステップと、
    前記制御部が、前記撮像画像に基づいて、前記撮像画像に含まれる前記表示札を検出する札検出ステップと、
    前記制御部が、検出された前記表示札と検出された前記棚枠との少なくとも一方に基づいて、前記棚における前記商品の陳列可能な領域を区画する棚格子線を生成する棚格子線生成ステップと、
    前記制御部が、検出された前記表示札と生成された前記棚格子線とに基づいて、前記撮像画像に含まれる前記商品の陳列範囲を特定する商品範囲特定ステップと、
    前記制御部が、前記撮像画像に基づいて、前記撮像画像に含まれる前記商品コードを検出するコード検出ステップと、
    前記制御部が、前記コード検出ステップの検出結果に基づいて、前記コード検出ステップで検出されていない未検出商品コードの有無を判定する判定ステップと、
    前記制御部が、前記判定ステップの判定結果に基づいて、前記未検出商品コードを検出するためのコード再検出動作を制御する再検出ステップと、
    を有してなる、
    ことを特徴とする情報処理方法。
    

Images