JP7142026B2 - 商品配置適合結果の判定 - Google Patents

Description

本開示は、小売商品在庫管理および商品配置適合結果の判定に関する。

背景
小売業者は、これまで長い間、消費者を引き付けて在庫を売りさばくために、様々な在庫管理手法および小売戦略を用いてきた。その手法のうちの１つはプラノグラムである。プラノグラムは、商品配置を最適化するとともに在庫管理を把握し続けることを目指すものであり、今日の商品取り引きの不可欠な部分である。プラノグラムは、小規模の小売業者から大規模の店に至るまで、小売業界の全体にわたって広く使用されている。一般に、プラノグラムは、小売スペース内の商品の配置をマッピングするダイアグラムである。小売業者は、商品の売上げを把握するとともに消費者の視覚的な焦点を利用するためのツールとして、プラノグラムを使用する。プラノグラムを用いることにより、小売業者は、焦点を作り出し、焦点を理解し、それによって焦点を利用して売上げを伸ばすことができる。また、プラノグラムは、どの商品を扱うかを商品卸売業者が評価するための分析ツール、および、市場に出ている新商品または成熟商品の魅力を製造業者が理解するための分析ツールを提供することもできる。公知の小売商品在庫管理のシステムおよび方法が、意図した目的のために一応は満足できるものであることは分かっているが、依然として、当該技術を継続的に改善する必要がある。

概要
本開示の一態様は、商品適合に関する方法を提供する。この方法は、陳列棚上の商品の典型的な配置を規定するプラノグラムをデータ処理ハードウェアで受信するステップと、陳列棚の上面を撮影するように配置された視野を有する撮像装置から、少なくとも１つの画像をデータ処理ハードウェアで受信するステップとを含む。方法はさらに、データ処理ハードウェアが、少なくとも１つの画像に基づいて、商品が陳列棚に置かれているか否かを判定するステップを含む。商品が陳列棚に置かれている場合、方法は、データ処理ハードウェアが陳列棚上の商品の実際の配置を判定するステップと、データ処理ハードウェアが、商品の実際の配置を、プラノグラムで規定される商品の典型的な配置と比較するステップとを含む。方法はさらに、データ処理ハードウェアが、商品の実際の配置と商品の典型的な配置との比較に基づいて、プラノグラム適合結果を判定するステップと、プラノグラム適合結果をデータ処理ハードウェアからネットワークに通知するステップとを含む。

本開示の実現例は、以下のオプションの特徴のうちの１つまたは複数を含んでもよい。ある実現例では、商品が陳列棚にない場合、方法は、データ処理ハードウェアが商品の在庫状況を在庫切れと判定するステップを含む。商品が陳列棚に置かれている場合、方法は、データ処理ハードウェアが商品の在庫状況を在庫有りと判定するステップを含んでもよい。方法はさらに、商品の在庫状況をデータ処理ハードウェアからネットワークに通知するステップを含んでもよい。

商品が陳列棚に置かれている場合、方法は、データ処理ハードウェアが陳列棚上の商品の数量を判定するステップと、商品の数量をデータ処理ハードウェアからネットワークに通知するステップと含んでもよい。方法はさらに、商品の実際の配置をデータ処理ハードウェアからネットワークに通知するステップを含んでもよい。陳列棚の上面は特徴部パターンを形成し、少なくとも１つの画像は陳列棚の上面のうちの少なくとも一部を表わしてもよい。商品が陳列棚に置かれているか否かを判定するステップは、少なくとも１つの画像内に撮影された陳列棚の上面の露出特徴部の数量を判定するステップを含んでもよい。陳列棚上の商品の実際の配置を判定するステップは、少なくとも１つの画像内に撮影された陳列棚の上面の露出特徴部の対応位置を特定するステップを含んでもよい。

ある例では、方法は、データ処理ハードウェアが少なくとも１つの画像から露出特徴部のエッジを検出するステップと、データ処理ハードウェアが、露出特徴部の検出されたエッジに基づいて、露出特徴部を近似するステップとを含む。方法はさらに、データ処理ハードウェアが、近似された露出特徴部を特徴部パターンと比較するステップと、近似された露出特徴部が特徴部パターンの実際の特徴部に対応しているか否かを、データ処理ハードウェアが判定するステップとを含んでもよい。近似された露出特徴部の各々について、近似された露出特徴部が特徴部パターンのそれぞれの実際の特徴部に対応している場合、方法は、データ処理ハードウェアが露出特徴部の数量のカウントをインクリメントするステップと、データ処理ハードウェアが特徴部パターンにおける実際の特徴部の対応位置を特定するステップとを含んでもよい。少なくとも１つの特徴部は多角形であってもよい。方法はさらに、データ処理ハードウェアが少なくとも１つの画像に画像補正ルーチンを実行するステップを含んでもよく、画像補正ルーチンは、少なくとも１つの画像の少なくとも樽型収差を補正してもよい。

本開示の別の態様は、データ処理ハードウェアと、当該データ処理ハードウェアと通信可能なメモリハードウェアとを備えるシステムを提供する。メモリハードウェアは、データ処理ハードウェア上で実行されると当該データ処理ハードウェアに動作を行なわせる命令を格納する。動作は、陳列棚上の商品の典型的な配置を規定するプラノグラムを受信するステップと、陳列棚の上面を撮影するように配置された視野を有する撮像装置から、少なくとも１つの画像を受信するステップと、少なくとも１つの画像に基づいて、商品が陳列棚に置かれているか否かを判定するステップとを含む。商品が陳列棚に置かれている場合、動作は、陳列棚上の商品の実際の配置を判定するステップと、商品の実際の配置を、プラノグラムで規定される商品の典型的な配置と比較するステップとを含む。動作はさらに、商品の実際の配置と商品の典型的な配置との比較に基づいて、プラノグラム適合結果を判定するステップと、プラノグラム適合結果をデータ処理ハードウェアからネットワークに通知するステップとを含む。

この態様は、以下のオプションの特徴のうちの１つまたは複数を含んでもよい。ある実現例では、動作は、商品が陳列棚にない場合、商品の在庫状況を在庫切れと判定するステップと、商品が陳列棚に置かれている場合、商品の在庫状況を在庫有りと判定するステップと、商品の在庫状況をデータ処理ハードウェアからネットワークに通知するステップとを含む。商品が陳列棚に置かれている場合、動作は、陳列棚上の商品の数量を判定するステップと、商品の数量をネットワークに通知するステップとを含む。

ある例では、動作は、商品の実際の配置をデータ処理ハードウェアからネットワークに通知するステップを含む。陳列棚の上面は特徴部パターンを形成し、少なくとも１つの画像は陳列棚の上面のうちの少なくとも一部を表わしてもよい。商品が陳列棚に置かれているか否かを判定するステップは、少なくとも１つの画像内に撮影された陳列棚の上面の露出特徴部の数量を判定するステップを含んでもよい。陳列棚上の商品の実際の配置を判定するステップは、少なくとも１つの画像内に撮影された陳列棚の上面の露出特徴部の対応位置を特定するステップを含んでもよい。

ある実現例では、動作は、少なくとも１つの画像から露出特徴部のエッジを検出するステップと、露出特徴部の検出されたエッジに基づいて露出特徴部を近似するステップとを含む。動作はさらに、近似された露出特徴部を特徴部パターンと比較するステップと、近似された露出特徴部が特徴部パターンの実際の特徴部に対応しているか否かを判定するステップとを含んでもよい。近似された露出特徴部の各々について、近似された露出特徴部が特徴部パターンのそれぞれの実際の特徴部に対応している場合、動作は、露出特徴部の数量のカウントをインクリメントするステップと、特徴部パターンにおける実際の特徴部の対応位置を特定するステップとを含む。少なくとも１つの特徴部は多角形であってもよい。ある例では、動作は、少なくとも１つの画像に画像補正ルーチンを実行するステップを含み、画像補正ルーチンは、少なくとも１つの画像の少なくとも樽型収差を補正する。

本開示の１つまたは複数の実現例の詳細を、添付の図面および以下の説明で述べる。他の態様、特徴、および利点は、以下の説明、図面、および特許請求の範囲から明らかになるであろう。

図面の説明

例示的な陳列棚環境の概略図である。 例示的な陳列棚の斜視図である。 撮像装置によって得られた図２の陳列棚の例示的な画像が樽型収差を有する斜視図である。 画像補正ルーチン後の図３Ａの画像の斜視図である。 商品が置かれた状態の例示的な陳列棚の上面図である。 商品が置かれた状態の例示的な陳列棚の上面図である。 商品が置かれた状態の例示的な陳列棚の上面図である。 商品が置かれた状態の例示的な陳列棚の上面図である。 例示的な小売プラノグラムの予想図である。 商品検出および／またはプラノグラム適合の方法のための例示的なフローチャート動作手順である。 商品検出および／またはプラノグラム適合の方法のための例示的なフローチャート動作手順である。 本明細書に記載のシステムおよび方法を実現するために使用可能な例示的なコンピューティングデバイスを示す概略図である。

様々な図面において、同様の参照記号は同様の要素を示す。
詳細な説明
商品のストックおよび在庫管理のために、小売業者は一般的に陳列棚環境を用いる。陳列棚環境は、多くの場合プラノグラムに従って商品を配置した任意の数の棚を含み得る。しかしながら、時間が経つと、小売スペース内の顧客等は移動する場合もあるし、あるいはプラノグラムに従った典型的な商品の配置に対して商品の位置を変更する場合もある。プラノグラムは、有利に活用して消費者の店内での意思決定を形作るために作成された重要なツールであるため、プラノグラムで表わされた商品配置は小売業者の実際の商品配置に反映されるべきである。本開示は、陳列棚上の商品配置を検知し、商品配置に基づいて適合結果フィードバックを提供するためのシステムおよび方法を提供する。

図１は、例示的な陳列棚環境１００内で陳列棚２００と対話するユーザ１０を示す。陳列棚環境１００は、陳列棚２００を撮影可能な視野Ｆ_ｖ，３００を有する撮像装置３００を備える。ユーザ１０は、陳列棚２００の商品１２を選択することができる。ユーザ１０は、商品１２を購入し、手に取り、チェックし、または他の目的で商品１２を扱うために陳列棚２００から商品１２を移動させる消費者（例えば、食料品店の買い物客）の場合もある。追加的または代替的には、ユーザ１０は、商品１２を陳列棚２００に置くことによって商品１２をストックする小売店従業員または販売員の場合もある。陳列棚２００の商品１２は、プラノグラム５００に従って配置され得る（例えば、図５）。一般に、プラノグラム５００とは、陳列棚２００に陳列される商品１２の典型的な配置_Ｒを規定するダイアグラムのことである。

ある実現例では、陳列棚環境１００は、陳列棚２００上に配置された表示画面１１０を備える。表示画面１１０は、商品１２に関する広告、商品１２のメーカーに関する広告、または商品１２を販売する小売店に関する広告などのメディアコンテンツ１１２を表示することができる。メディアコンテンツ１１２は、商品１２の在庫状況Ｓに関する場合もある。例えば、陳列棚２００上で、ある種類の商品１２の在庫量が別の商品よりも多い場合、メディアコンテンツ１１２は、より在庫の多い種類の商品１２を広告する。追加的または代替的には、メディアコンテンツ１１２は、ユーザ１０の関心を維持するために、より在庫の少ない種類の商品１２を広告する。ある例では、表示画面１１０がユーザ１０の視野Ｆ_ｖ内でメディアコンテンツ１１２を表示できるように、表示画面１１０を陳列棚２００上に配置する。一例として、表示画面１１０はユーザ１０の目の高さＬ_Ｅにある。追加的または代替的には、陳列棚環境１００は２つ以上の表示画面１１０を備え、それらの２つ以上の表示画面１１０のうちの１つをユーザ１０が商品モニタ画面として使用してもよい。例えば、撮像装置３００は、撮像装置３００からのリアルタイム映像、または少なくとも１つの画像３１０（例えば、最新の画像３１０）を、商品モニタ画面に提供する。

ある例では、陳列棚環境１００は２つ以上の陳列棚２００、２００ａ～ｅを備え、それらの２つ以上の陳列棚２００、２００ａ～ｅのそれぞれが撮像装置３００、３００ａ～ｅを有する。より多くの商品１２を収容し、および／または、商品１２の実際の配置Ｐ_Ａを最適化するために、２つ以上の陳列棚２００、２００ａ～ｅが陳列ラックを形成してもよい。例えば、陳列ラックの商品１２は２種類以上の商品１２を含む。２種類以上の商品１２を置く場合、小売業者は、最もよく売れる種類の商品１２をユーザ１０が最も取りやすいようにしようとするかもしれない。２つ以上の陳列棚２００、２００ａ～ｅを置く場合、小売業者は、最もよく売れる種類の商品の実際の配置Ｐ_Ａがユーザ１０の視野Ｆ_ｖ内（例えば、２００、２００ｂ）またはユーザ１０の目の高さＬ_Ｅ（例えば、２００、２００ａ）となるように、最もよく売れる種類の商品１２を陳列棚２００、２００ａまたは陳列棚２００、２００ｂに配置することができる。

図１をさらに参照すると、陳列棚環境１００は、電源１２０と、ネットワーク１５０に接続されたコンピューティングデバイス１３０とを備える。電源１２０は、陳列棚環境１００内の電子機器（例えば、表示画面１１０、撮像装置３００、コンピューティングデバイス１３０など）に電力を供給する。電源１２０は、小売業者または陳列棚環境１００の構成（例えば、陳列棚２００であるか、または２つ以上の陳列棚２００、２００ａ～ｅであるか）に応じて、単一のユニットであってもよいし、複数のユニットであってもよい。コンピューティングデバイス１３０は、データ処理ハードウェア１３２およびメモリハードウェア１３４を備える。コンピューティングデバイス１３０は、スイッチまたはルーター１４０を介してネットワーク１５０に接続されてもよい。コンピューティングデバイス１３０は画像データをネットワーク１５０に送信し、その画像データをリモートコンピュータ１７０がアクセス可能なサーバ１６０上に格納してもよい。リモートコンピュータ１７０は、パーソナルコンピュータ１７０、１７０ａ、ラップトップコンピュータ１７０、１７０ｂ、または携帯機器１７０、１７０ｃであってもよい。例えば、小売流通業者であるユーザ１０がリモートコンピュータ１７０を使用することにより、小売業者の陳列棚環境１００が常に確実にプラノグラム５００に適合するようにしてもよい。追加的または代替的には、ネットワーク１５０を用いることにより、あるユーザ１０（例えば、小売流通業者）が別のユーザ１０（例えば、小売業者）にプラノグラム適合結果、または陳列棚環境１００内の商品１２に関する他の問題について注意喚起することが可能になる。ある実現例では、コンピューティングデバイス１３０がプラノグラム適合結果レポートを作成し、そのプラノグラム適合結果レポートをネットワーク１５０および／またはサーバ１６０に通知してもよい。

図２を参照すると、陳列棚２００は、商品１２を支持するための陳列棚ベース部２１０を少なくとも備える。陳列棚ベース部２１０の上面２１２は、特徴部パターン２１４を有する。特徴部パターン２１４は、少なくとも１つの特徴部２１５によって形成される。ある例では、少なくとも１つの特徴部２１５は、多角形である。例えば図２では、少なくとも１つの特徴部２１５は三角形である。追加的または代替的には、少なくとも１つの特徴部２１５と上面２１２とが互いに対比色を有する（例えば、前者が黒で後者が白）。ある例では、陳列棚２００は、当該陳列棚２００内の商品１２を包囲する少なくとも１つの側面２００ｓをさらに備える。一例として、図２に示す陳列棚２００は、後側面２００ｓ_１と前側面２００ｓ_２とを有する。陳列棚２００は、商品１２を実際の配置Ｐ_Ａに導くための棚仕切り２２０を備えてもよい。ある実現例では、図２のように、棚仕切り２２０は商品１２を拘束するための側面２２０、２００ｓ_３～４としても機能する。

ある実現例では、小売業者は、陳列棚環境１００として機能する棚システムを後付けする。例えば、小売業者は、ペグボード陳列棚およびペグボード側面を有する棚ユニット（例えば、ゴンドラ棚）をしばしば用いる。ペグボード陳列棚のペグボード陳列棚ベース部は、付属品を固定するための円形部または多角形部などのペグボード形状部を含む。このような棚システムを後付けするために、ペグボード形状部を特徴部パターン２１４として受信および解釈するようにコンピューティングデバイス１３０をプログラムしてもよい。

図２をさらに参照すると、撮像装置３００は、陳列棚２００の上面２１２のうちの少なくとも一部を撮影するように配置されている。そうすることによって、撮像装置３００は、特徴部パターン２１４のうちの少なくとも一部を撮影することができる。ある例では、図２のように、撮像装置３００は陳列棚２００の上方に配置されている。例えば、撮像装置３００は、陳列棚２００の上方の別の陳列棚２００、２００ａの下面、陳列棚２００の後側面２００ｓ_１、または陳列棚２００の任意の支持構造物に取り付けられてもよい。

図３Ａおよび図３Ｂは、撮像装置３００によって撮影された少なくとも１つの画像３１０の例である。撮像装置３００は、カメラ（例えば、ビデオカメラまたはスチルカメラ）もしくはセンサ、またはカメラおよびセンサを組み合わせたものであってもよい。撮像装置３００は、当該撮像装置３００の視野Ｆ_ｖから少なくとも１つの画像３１０を撮影するように構成されている。ある例では、撮像装置３００は、視野Ｆ_ｖ内で陳列棚２００を撮影するために広角レンズを用いる。その結果として、撮像装置３００が広角レンズで撮影した少なくとも１つの画像３１０には、樽型収差Ｖ_ｂが発生する場合がある。図３Ａは、樽型収差Ｖ_ｂを有する少なくとも１つの画像３１０の一例を示すものである。ある例では、コンピューティングデバイス１３０またはリモートコンピュータ１７０が、画像補正ルーチンによって樽型収差Ｖ_ｂを補正する。画像補正ルーチンは、少なくとも１つの画像３１０に樽型収差補正フィルタをかけることによって樽型収差Ｖ_ｂを補正してもよい。画像補正ルーチンを使用すれば、樽型収差Ｖ_ｂがある場合と比較して、陳列棚環境１００の要素（例えば、陳列棚２００、商品１２、商品１２の実際の配置、少なくとも１つの特徴部２１５、および／または特徴部パターン２１４など）のデータ処理ルーチンによる認識性が向上し得る。図３Ｂは、画像Ｖ_ｃが画像補正ルーチンによって補正された少なくとも１つの画像３１０の一例を示すものである。この図から、データ処理ルーチンによる陳列棚環境１００の要素の認識性が向上し得ることが分かる。例えば、図３Ｂの補正画像Ｖ_ｃの商品１２は、図３Ａのような樽型収差Ｖ_ｂのある少なくとも１つの画像３１０内の商品１２と比較して、実際の配置Ｐ_Ａが誤って解釈される可能性が低い。追加的または代替的には、撮像装置３００は、商品１２のリアルタイム映像またはライブ映像をユーザ１０に提供してもよい。例えば、表示画面１１０またはリモートコンピュータ１７０は、撮像装置３００から、または撮像装置３００と通信可能なコンピューティングデバイス１３０を介して、ライブ映像を受信する。安全のために、ライブ映像にはパスワードまたは暗号化キーなどのセキュアなアクセスが要求されてもよい。

図４Ａ～図４Ｄは、期間ｔにわたって撮像装置３００によって撮影された陳列棚２００の例示的な画像３１０、３１０ａ～ｄを示す。ある例では、撮像装置３００が周期的に画像を撮影するように、不連続の時間間隔で少なくとも１つの画像３１０を撮影するように撮像装置３００に命令する。撮像装置３００が少なくとも１つの画像３１０を撮影すると、撮像装置３００は当該少なくとも１つの画像３１０をコンピューティングデバイス１３０、サーバ１６０、またはリモートコンピュータ１７０に送り、格納してもよい。格納する際に、上記少なくとも１つの画像３１０を、棚ユニット情報（例えば、棚のシリアル番号、棚番号、棚の位置）などの画像情報、日付情報（例えば、年、月、日）、および／またはタイムスタンプでタグ付けしてもよい。図４Ａ～図４Ｄには、陳列棚２００のうち、商品１２が商品列１２、１２ａ～ｇ（棚仕切り２２０によって仕切られた各種類の商品に対応）を形成する部分が少なくとも含まれている。ある例では、陳列棚２００のうちの少なくとも一部は、その上面２１２に、特徴部パターン２１４の少なくとも１つの特徴部２１５を有する。

図４Ａは、陳列棚２００が在庫満杯Ｓ_ｆｕｌｌである画像３１０、３１０ａを示す。図４Ａは、期間ｔのうち、ユーザ１０が陳列棚２００への商品１２を満杯に補充した直後の第１の期間ｔ_０を示す。陳列棚環境１００の方法６００は、少なくとも１つの画像３１０（例えば、画像３１０、３１０ａ）に基づいて陳列棚２００の在庫状況Ｓを判定することを含む。ある実現例では、陳列棚２００の在庫状況Ｓを詳細に示す（例えば、在庫状況Ｓを陳列棚２００における在庫または在庫切れの割合で示す）。他の例では、在庫状況Ｓは、単に陳列棚２００の商品１２が在庫有りＳ_ｉｎか在庫切れＳ_ｏｕｔかを示すのみである。図４Ａは、陳列棚２００の在庫状況が在庫有りＳ_ｉｎまたは在庫満杯Ｓ_ｆｕｌｌの例である。というのは、画像３１０、３１０ａには少なくとも１つの特徴部２１５がないからである。

図４Ｂは、期間ｔのうちの第２の期間ｔ_１における陳列棚２００の画像３１０、３１０ｂを示す。画像３１０、３１０ｂに関連して、方法６００は、商品列１２、１２ｄ，ｆ，ｇに関する種類の商品１２が在庫切れＳ_ｏｕｔである旨を受信側（例えば、クライアント装置）に通知することを含む。方法６００は、定量的な在庫情報（例えば、商品列１２、１２ａ～ｇの各々の在庫商品１２または不足商品１２の数量Ｑなど）を通知してもよい。例えば、第１の商品列１２、１２ａでは、商品１２は１つ在庫があり、３つ不足している。一方、第４の商品列１２、１２ｄでは、在庫がなく（例えば、在庫切れＳ_ｏｕｔ）、４つ不足している。

図４Ｃは、期間ｔのうちの第３の期間ｔ_２における陳列棚２００の画像３１０、３１０ｃを示す。画像３１０、３１０ｃは画像３１０、３１０ｂとほぼ同じであるが、第４の商品列１２、１２ｄに商品１２、１２_ｏが誤って置かれているという点で異なる。方法６００は、誤って置かれた商品１２、１２_ｏを特定することを含み、ある例では、商品１２の実際の配置Ｐ_Ａに関するプラノグラム適合結果６２０の注意喚起またはフィードバックを与えることを含む。

図４Ｄは、第４の期間ｔ_３における陳列棚２００の画像３１０、３１０ｄを示す。画像３１０、３１０ｄは、第５の商品列１２、１２ｅ以外のすべての商品列１２、１２ａ～ｇで在庫切れＳ_ｏｕｔであり、第５の商品列１２、１２ｅでは商品１２の在庫が１つあり、３つ不足していることを示す。陳列棚２００の商品１２が在庫切れＳ_ｏｕｔである場合、方法６００は、在庫状況Ｓをネットワーク１５０に通知するように構成されている。

図５は、少なくとも１つの陳列棚２００に対応する少なくとも１つの典型的な陳列棚２００_Ｒの例示的なプラノグラム５００である。ある例では、例えば陳列棚２００が２つ以上の陳列棚２００、２００ａ～ｅを含む場合、プラノグラム５００は２つ以上の典型的な陳列棚２００_Ｒ、２００ａ_Ｒ～ｅ_Ｒを含む。プラノグラム５００は、各典型的な陳列棚２００_Ｒ上に、典型的な配置Ｐ_Ｒの少なくとも１つの典型的な商品１２_Ｒを示す。この典型的な配置Ｐ_Ｒは、陳列棚２００上の商品１２の実際の配置Ｐ_Ａに対応するものである。例えば、典型的な陳列棚の前部の典型的な商品１２_Ｒは、数量Ｑを有する陳列棚２００の商品列に対応する。ある例では、プラノグラム５００は、典型的な陳列棚２００_Ｒを２次元的に示した正面図であり、典型的な商品１２_Ｒの数量Ｑをプラノグラム５００内のメモとして示してもよい。追加的または代替的には、プラノグラム５００は、図５に示す例のように、典型的な陳列棚２００_Ｒの斜視図である。斜視図の場合、典型的な商品１２_Ｒの数量Ｑは、典型的な商品１２_Ｒの奥行きによって視覚化され得る。

図６Ａおよび図６Ｂは、商品検出および／またはプラノグラム適合の方法６００のための例示的な動作手順を示す。図４Ａから図４Ｄに関連して説明したように、方法６００は、商品１２の実際の配置Ｐ_Ａに関して商品または適合結果に関係する少なくとも定量的な在庫情報を提供することを含んでもよい。動作６０２で、方法６００は、陳列棚２００上の商品１２の典型的な配置Ｐ_Ｒを規定するプラノグラム５００と、撮像装置３００からの少なくとも１つの画像３１０とを受信することを含む。方法６００はさらに、動作６０４で、上記少なくとも１つの画像３１０に基づいて、商品１２が陳列棚２００に置かれているか否かを判定することを含む。商品１２が陳列棚２００に置かれている場合、方法６００は動作６１０に進む。一方、商品１２が陳列棚２００に置かれていない場合、方法６００は動作６０６に進む。

動作６０６で、方法６００は、商品１２が陳列棚２００にないと判定することを含む。方法６００は、上記少なくとも１つの画像３１０において商品１２が陳列棚２００にないことを理由に商品１２の在庫状況Ｓが在庫切れＳ_ｏｕｔであると判定することを含む。方法６００は、動作６０８で、商品１２の在庫状況Ｓが在庫切れＳ_ｏｕｔである旨をネットワーク１５０に通知することを含んでもよい。

方法６００は、動作６１０～６１８の実行を含んでもよい。動作６１０～６１８は、商品１２が陳列棚２００に置かれている場合に行なわれてもよい。商品１２が陳列棚２００に置かれている場合、方法６００は、動作６１０で、陳列棚２００上の商品１２の実際の配置Ｐ_Ａを判定することを含む。商品１２が陳列棚２００に置かれている場合、方法６００は、商品１２の在庫状況Ｓが在庫有りＳ_ｉｎであると判定し、必要に応じて、その商品１２の在庫状況Ｓをネットワーク１５０に通知することを含んでもよい。追加的または代替的には、方法６００が商品１２の実際の配置Ｐ_Ａを判定した場合、方法６００は、商品１２の実際の配置Ｐ_Ａをネットワーク１５０に通知することを含んでもよい。

動作６１２で、方法６００は、商品１２の実際の配置Ｐ_Ａを、プラノグラム５００で規定される商品１２の典型的な配置Ｐ_Ｒと比較することを含む。実際の配置Ｐ_Ａが典型的な配置Ｐ_Ｒと同じであると方法６００が判定すると、方法６００は動作６１６に進んでもよい。一方、実際の配置Ｐ_Ａが典型的な配置Ｐ_Ｒとは異なると方法６００が判定すると、方法６００は動作６１４に進んでもよい。

動作６１４および６１６の双方において、方法６００はプラノグラム適合結果６２０をネットワーク１５０に通知してもよい。動作６１４では、実際の配置Ｐ_Ａが典型的な配置Ｐ_Ｒとは異なるので、方法６００はプラノグラム適合結果６２０が不適合である旨をネットワーク１５０に通知する。動作６１６では、実際の配置Ｐ_Ａが典型的な配置Ｐ_Ｒと同じであるので、方法６００はプラノグラム適合結果６２０が適合である旨をネットワーク１５０に通知する。

動作６１８で、方法６００は、陳列棚２００上の商品１２の数量Ｑを判定することを含んでもよい。方法６００が数量Ｑを判定した場合、方法６００はその数量Ｑをネットワーク１５０に通知してもよい。動作６１８は、商品１２が陳列棚２００に置かれていると方法６００が判定した後、任意の時点で行なわれてもよい。

図６Ｂは、陳列棚２００に置かれている商品１２の実際の配置Ｐ_Ａを判定するための方法６００の例示的な動作手順を示す。動作６１０ａで、方法６００は、上記少なくとも１つの画像３１０内に撮影された陳列棚２００の上面２１２の露出特徴部２１５_Ｅの数量Ｑを判定することを含む。動作６１０ｂで、方法６００は、上記少なくとも１つの画像３１０内に撮影された陳列棚２００の上面２１２の露出特徴部２１５_Ｅの対応位置を特定することを含む。動作６１０ｃで、方法６００は、上記少なくとも１つの画像３１０から露出特徴部２１５_ＥのエッジＥを検出することを含む。動作６１０ｄで、方法６００は、露出特徴部２１５_Ｅの検出されたエッジＥに基づいて、露出特徴部２１５_Ｅの近似物を判定することを含んでもよい。動作６１０ｅで、方法６００は、露出特徴部２１５_Ｅの近似物を特徴部パターン２１４と比較することを含んでもよい。露出特徴部２１５_Ｅの近似物が特徴部パターン２１４の実際の特徴部２１５_Ａに対応している場合、方法６００は動作６１０ｇに進んでもよい。

方法６００は、特徴部パターン２１４の実際の特徴部２１５_Ａに対応する露出特徴部２１５_Ｅの近似物の各々について、露出特徴部２１５_Ｅの数量Ｑのカウントをインクリメントすることを含んでもよい。追加的または代替的には、方法６００は、特徴部パターン２１４の実際の特徴部２１５_Ａに対応する露出特徴部２１５_Ｅの近似物の各々について、特徴部パターン２１４の実際の特徴部２１５_Ａの対応位置を特定することを含んでもよい。

ある例では、方法６００は、商品１２が陳列棚２００に置かれているか否か、および／または陳列棚２００上の商品１２の実際の配置Ｐ_Ａを判定するための、棚スペース検出アルゴリズムを実行することを含む。棚スペース検出アルゴリズムを実行する場合、方法６００は、特徴部パターン２１４の特徴部２１５、特徴部２１５の対応エッジ長さＥ_Ｌ、特徴部近似係数Ａ_Ｆなどの入力、およびそれらの各入力についての対応許容差などを受信することを含んでもよい。方法６００が各入力について許容差なしで実行する場合、方法６００は、各入力についてのデフォルト許容差を受信することを含んでもよい。ある例では、方法６００は、少なくとも１つの画像３１０を受信し、当該少なくとも１つの画像３１０をグレースケール画像に変換する。これにより、方法６００のエッジ検出が単純化される。ある実現例では、方法６００は、単純チェーン近似を用いて露出特徴部２１５_ＥのエッジＥを検出することを含む。特徴部近似係数Ａ_Ｆの入力がある場合、方法６００は、検出判定によって得られたエッジＥを閉特徴部に変換し、特徴部２１５と比較することを含んでもよい。

追加的または代替的には、方法６００は、入力された特徴部２１５よりもエッジＥの数が多い、または少ない閉特徴部を排除することを含む。例えば、図２～図４では特徴部２１５が３つのエッジを有する三角形であるので、方法６００は、エッジＥ検出判定によって得られた閉特徴部のうちエッジ数が３つよりも多い、または少ない閉特徴部を排除することを含んでもよい。さらに、方法６００が特徴部２１５の対応エッジ長さＥ_Ｌなどの入力を受信することを含む場合、方法６００は、各閉特徴部２１５に対応する面積を算出することを含んでもよい。各閉特徴部２１５の面積を用いて、方法６００は、特徴部２１５の面積と相関関係のない面積で定義される閉特徴部２１５を排除することを含んでもよい。方法６００の検出によって判定した外れ値の閉特徴部２１５を制限した後、方法６００は、残りの閉特徴部を、特徴部パターン２１４の特徴部２１５または露出特徴部２１５_Ｅの有効な検出とみなす１つまたは複数の動作を含んでもよい。

ある実現例では、方法６００は、当該方法６００に関係する詳細事項を出力し、陳列棚環境１００（例えば、コンピューティングデバイス１３０、サーバ１６０、またはリモートコンピュータ１７０）がその詳細事項にアクセスできるようにすることを含む。この詳細事項は、方法６００の出力（例えば、商品１２の実際の配置Ｐ_Ａ、プラノグラム適合結果６２０、露出特徴部２１５_Ｅの数量、商品１２の在庫状況Ｓ、もしくは実際の特徴部２１５の位置など）、または方法６００の入力（例えば、特徴部パターン２１４の特徴部２１５、特徴部２１５の対応エッジ長さＥ_Ｌ、特徴部近似係数Ａ_Ｆ、もしくはそれらの各入力についての対応許容差など）を含み得る。方法６００は、任意のデータシリアライゼーションフォーマット（例えば、JavaScript Object Notation（ＪＳＯＮ）、Extensible Markup Language（ＸＭＬ）など）で詳細事項を出力することを含んでもよい。

追加的または代替的には、方法６００は、陳列棚環境１００内の商品１２について最適なプラノグラム５００_ｏを生成することを含む。例えば、ユーザ１０は、陳列棚環境１００に関する棚ユニット情報を含む入力を与える。棚番号および棚の位置などの棚情報が与えられると、方法６００は、プラノグラム優先順位に従って各陳列棚２００をランク付けすることを含んでもよい。その場合、方法６００は、期間ｔにわたって撮像装置３００によって撮影された画像３１０（例えば、３１０、３１０ａ～ｄ）内の商品１２の実際の配置Ｐ_Ａに基づいて、品切れ率を判定することを含んでもよい。対応する品切れ率に応じて、方法６００は、陳列棚環境１００内の各種類の商品１２に対して重要度の順位を付与することを含んでもよい。例えば、方法６００は、期間ｔ中の品切れ率が高い第１の商品１２に対して、期間ｔ中の品切れ率が低い第２の商品よりも高い重要度の順位を付与することを含んでもよい（例えば、閾値品切れ率を基準とする）。各陳列棚２００の重要度の順位およびプラノグラム優先順位を用いて、方法６００は、各種類の商品１２について最適なプラノグラム５００_ｏを判定することを含み得る。

ソフトウェアアプリケーション（すなわち、ソフトウェアリソース）は、コンピューティングデバイスにタスクを行なわせるコンピュータソフトウェアのことを指す場合がある。ある例では、ソフトウェアアプリケーションは「アプリケーション」、「アプリ」、または「プログラム」と呼ばれる場合もある。アプリケーションの例として、システム診断アプリケーション、システム管理アプリケーション、システム保守アプリケーション、文書処理アプリケーション、表計算アプリケーション、メッセージングアプリケーション、メディアストリーミングアプリケーション、ソーシャルネットワーキングアプリケーション、およびゲームアプリケーションが含まれるが、それらに限定されない。

図７は、本明細書に記載のシステムおよび方法を実現するために使用可能な例示的なコンピューティングデバイス７００を示す概略図である。コンピューティングデバイス７００は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、ＰＤＡ（Personal Digital Assistant）、サーバ、ブレードサーバ、メインフレームおよび他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表わすように意図されている。図示された要素、それらの接続および関係並びにそれらの機能は、例示的なものに過ぎず、本明細書に記載および／または請求される発明の実施を限定するものではない。

コンピューティングデバイス７００は、プロセッサ７１０と、メモリ７２０と、記憶装置７３０と、メモリ７２０および高速拡張ポート７５０に接続する高速インターフェイス／コントローラ７４０と、低速バス７７０および記憶装置７３０に接続する低速インターフェイス／コントローラ７６０とを含む。要素７１０、７２０、７３０、７４０、７５０および７６０は、様々なバスを使用して相互に接続され、共通のマザーボード上に実装されてもよいし、または適切な他の方法で実装されてもよい。プロセッサ７１０は、命令（メモリ７２０または記憶装置７３０に格納された命令を含む）を処理してコンピューティングデバイス７００内で実行し、外部の入出力装置（例えば、高速インターフェイス７４０に接続されたディスプレイ５８０）のグラフィカルユーザインターフェイス（ＧＵＩ）にグラフィック情報を表示することができる。他の実現例では、複数のメモリおよび複数種類のメモリと共に複数のプロセッサおよび／または複数のバスを適宜使用することもできる。また、複数のコンピューティングデバイス７００を互いに接続し、各デバイスが必要な動作の一部（例えば、サーババンク、一群のブレードサーバ、またはマルチプロセッサシステム）を提供するようにしてもよい。

メモリ７２０は、情報をコンピューティングデバイス７００に非一時的に格納する。メモリ７２０は、コンピュータ可読媒体、揮発性メモリユニット、または不揮発性メモリユニットであってもよい。非一時的なメモリ７２０は、コンピューティングデバイス７００によって使用されるように、プログラム（例えば、一連の命令）またはデータ（例えば、プログラム状態情報）を一時的または永続的に格納するための物理デバイスであってもよい。不揮発性メモリの例として、フラッシュメモリおよび読取専用メモリ（ＲＯＭ）／プログラマブル読取専用メモリ（ＰＲＯＭ）／消去可能なプログラマブル読取専用メモリ（ＥＰＲＯＭ）／電子的に消去可能なプログラマブル読取専用メモリ（ＥＥＰＲＯＭ）（例えば、起動プログラムなど、典型的にはファームウェアに使用される）が含まれるが、これらに限定されない。揮発性メモリの例として、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）およびディスクまたはテープが含まれるが、これらに限定されない。

記憶装置７３０は、コンピューティングデバイス７００に大容量の記憶を提供することができる。ある実現例では、記憶装置７３０は、コンピュータ可読媒体である。様々な実現例では、記憶装置７３０は、例えば、フロッピー（登録商標）ディスク装置、ハードディスク装置、光ディスク装置、もしくはテープ装置、またはフラッシュメモリもしくは他の同様の固体メモリデバイス、または多数の装置（記憶エリアネットワークまたは他の構成における装置を含む）であってもよい。さらなる実現例では、コンピュータプログラム製品は、情報キャリアに有形的に具現化される。コンピュータプログラム製品は、実行されると上述したような１つまたは複数の方法を実行する命令を含む。情報キャリアは、例えば、メモリ７２０、記憶装置７３０、またはプロセッサ７１０上のメモリなどのコンピュータ可読媒体または機械可読媒体である。

高速コントローラ７４０は、コンピューティングデバイス７００の高帯域幅を要する動作を管理し、低速コントローラ７６０は、低帯域幅を要する動作を管理する。このような機能の割り当ては、例示に過ぎない。ある実現例では、高速コントローラ７４０は、メモリ７２０、ディスプレイ７８０（例えば、グラフィックプロセッサまたはアクセラレータを介する）、および高速拡張ポート７５０（様々な拡張カード（図示せず）を挿入可能である）に連結される。ある実現例では、低速コントローラ７６０は、記憶装置７３０および低速拡張ポート７９０に連結される。低速拡張ポート７９０は、様々な通信ポート（例えば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、無線イーサネット）を含み得るものであるが、例えば、キーボード、ポインティングデバイス、スキャナなどの１つまたは複数の入出力装置に連結されてもよく、または、例えばネットワークアダプタを介してスイッチまたはルータなどのネットワーキング装置に連結されてもよい。

図示のように、コンピューティングデバイス７００は、複数の異なる形態で実現されてもよい。例えば、コンピューティングデバイス７００は、標準サーバ７００ａとして、もしくは一群のサーバ７００ａで複数回実現されてもよく、ラップトップコンピュータ７００ｂとして実現されてもよく、またはラックサーバシステム７００ｃの一部として実現されてもよい。

本明細書に記載のシステムおよび技術の様々な実装は、デジタル電子回路および／または光回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェアおよび／またはそれらの組み合わせで実現することができる。これらの様々な実装は、プログラマブルシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムによる実装を含み得る。このプログラマブルシステムは、記憶システムとの間でデータおよび命令を送受信するように連結された少なくとも１つの専用または汎用のプログラマブルプロセッサ、少なくとも１つの入力装置、および少なくとも１つの出力装置を含む。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られる）は、プログラマブルプロセッサのための機械命令を含み、高度な手続き型プログラミング言語および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ言語／機械言語で実装されてもよい。本明細書で使用される「機械可読媒体」および「コンピュータ可読媒体」という用語は、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意のコンピュータプログラム製品、非一時的なコンピュータ可読媒体、装置および／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））を指すものであり、機械命令を機械可読信号として受信する機械可読媒体を含む。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指すものである。

本明細書に記載のプロセスおよび論理フローは、１つまたは複数のプログラマブルプロセッサが１つまたは複数のコンピュータプログラムを実行し、入力データを処理して出力を生成することによって機能を実行することによって、行なわれてもよい。プロセスおよび論理フローは、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって行なわれてもよい。コンピュータプログラムの実行に好適なプロセッサは、例えば、汎用マイクロプロセッサ、専用マイクロプロセッサ、およびあらゆる種類のデジタルコンピュータの１つまたは複数のプロセッサなどである。一般的に、プロセッサは、読取専用メモリもしくはランダムアクセスメモリ、またはその両方から、命令およびデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令およびデータを格納するための１つまたは複数のメモリデバイスである。一般的に、コンピュータは、データを格納するための１つまたは複数の大容量記憶装置（例えば、磁気ディスク、光磁気ディスク、または光ディスク）を含むか、またはデータを送受信するように動作可能にそのような大容量記憶装置に結合される。しかしながら、コンピュータは、このような装置を備えなくてもよい。コンピュータプログラム命令およびデータの格納に好適なコンピュータ可読媒体は、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。例えば、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなど）、磁気ディスク（例えば、内蔵ハードディスク、またはリムーバブルディスクなど）、光磁気ディスク、ならびにＣＤ－ＲＯＭディスクおよびＤＶＤ－ＲＯＭディスクなどが含まれる。プロセッサおよびメモリは、専用論理回路で補足されてもよく、または専用論理回路に組み込んでもよい。

ユーザとの対話を可能にするために、本開示の１つまたは複数の態様を実現するコンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）モニタ、ＬＣＤ（液晶ディスプレイ）モニタ、またはタッチ画面など）、および、必要に応じて、ユーザがコンピュータに入力を与えるために用いるキーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）を含んでもよい。ユーザとの対話を可能にするために他の種類の装置を用いてもよい。例えば、ユーザに与えるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、ユーザから受け付ける入力は、任意の形態（例えば、音響入力、音声入力、または触覚入力）であってもよい。さらに、コンピュータは、ユーザが使用しているデバイスとの間で文書を送受信することによって、ユーザと対話することができる。例えば、コンピュータは、ユーザのクライアント装置上のウェブブラウザから受信した要求に応答して、そのウェブブラウザにウェブページを送信することによって、ユーザと対話することができる。

いくつかの実現例を説明したが、本開示の精神および範囲から逸脱することなく、様々な変更が可能であることが理解されるであろう。よって、以下の特許請求の範囲には他の実現例も含まれる。

Claims (22)

1. 方法（６００）であって、
   陳列棚環境内の陳列棚（２００）上の商品（１２）の典型的な配置（Ｐ_Ｒ）を規定するプラノグラム（５００）をデータ処理ハードウェア（１３２）で受信するステップを含み、前記陳列棚環境は、前記陳列棚（２００）と、前記陳列棚（２００）の上に配置された表示画面（１１０）とを備え、ユーザの視野において、前記表示画面（１１０）は、メディアコンテンツ（１１２）を表示し、さらに、
   前記陳列棚（２００）の上に位置し、かつ前記陳列棚（２００）の上面（２１２）を撮影するように配置された視野（Ｆ_ｖ）を有する撮像装置（３００）から、少なくとも１つの画像（３１０）を前記データ処理ハードウェア（１３２）で受信するステップを含み、
   前記陳列棚（２００）の前記上面（２１２）は、少なくとも１つの多角形特徴部を含む特徴部パターン（２１４）を形成し、前記少なくとも１つの画像（３１０）は、複数の露出特徴部によって、前記陳列棚（２００）の上面（２１２）のうちの少なくとも一部を表わし、さらに、
   前記データ処理ハードウェア（１３２）が、前記少なくとも１つの画像（３１０）に基づいて、
   前記少なくとも１つの画像（３１０）内に撮影された前記陳列棚（２００）の前記上面（２１２）の前記複数の露出特徴部の数量および対応位置を特定し、
   前記複数の露出特徴部の１つ以上のエッジを検出し、
   検出された前記１つ以上のエッジを閉特徴部に変換し、
   前記商品（１２）が前記陳列棚（２００）に置かれているか否かを判定するために、前記閉特徴部を前記少なくとも１つの多角形特徴部と比較する、
   ことによって、前記商品（１２）が前記陳列棚（２００）に置かれているか否かを判定するステップを含み、
   前記商品（１２）が前記陳列棚（２００）に置かれている場合、
   前記データ処理ハードウェア（１３２）が前記陳列棚（２００）上の前記商品（１２）の実際の配置（Ｐ_Ａ）を判定するステップと、
   前記データ処理ハードウェア（１３２）が、前記商品（１２）の実際の配置（Ｐ_Ａ）を、前記プラノグラム（５００）で規定される前記商品（１２）の典型的な配置（Ｐ_Ｒ）と比較するステップと、
   前記データ処理ハードウェア（１３２）が、前記商品（１２）の実際の配置（Ｐ_Ａ）と前記商品（１２）の典型的な配置（Ｐ_Ｒ）との前記比較に基づいて、プラノグラム適合結果（６２０）を判定するステップと、
   前記プラノグラム適合結果（６２０）を前記データ処理ハードウェア（１３２）からネットワーク（１５０）に通知するステップとを含み、
   前記商品（１２）が前記陳列棚（２００）にない場合、
   前記データ処理ハードウェア（１３２）が前記商品（１２）の在庫状況（Ｓ）を在庫切れと判定するステップと、
   前記商品（１２）の在庫状況を、前記データ処理ハードウェア（１３２）から前記ネットワーク（１５０）に通知するステップとを含み、方法（６００）は、さらに、
   前記商品（１２）とは異なる商品（１２_Ｏ）が前記陳列棚（２００）に置かれている場合、前記商品（１２）の前記実際の配置（Ｐ_Ａ）に関するプラノグラム適合結果（６２０）を前記データ処理ハードウェア（１３２）から前記ネットワーク（１５０）に通知するステップを含む、方法（６００）。
2. 前記商品（１２）が前記陳列棚（２００）に置かれている場合、前記データ処理ハードウェア（１３２）が前記商品（１２）の在庫状況（Ｓ）を在庫有りと判定するステップと、
   前記商品（１２）の在庫状況（Ｓ）を前記データ処理ハードウェア（１３２）から前記ネットワーク（１５０）に通知するステップとをさらに含む、請求項１に記載の方法（６００）。
3. 前記メディアコンテンツ（１１２）は、前記陳列棚（２００）に置かれた前記商品（１２）のうち、より在庫量の多い商品、および／または、より在庫量の少ない商品に関する広告コンテンツを含む、請求項１または２に記載の方法（６００）。
4. 前記商品（１２）が前記陳列棚（２００）に置かれている場合、
   前記データ処理ハードウェア（１３２）が前記陳列棚（２００）上の前記商品（１２）の数量（Ｑ）を判定するステップと、
   前記商品（１２）の数量（Ｑ）を前記データ処理ハードウェア（１３２）から前記ネットワーク（１５０）に通知するステップとをさらに含む、請求項１～３のいずれか１項に記載の方法（６００）。
5. 前記商品（１２）の実際の配置（Ｐ_Ａ）を前記データ処理ハードウェア（１３２）から前記ネットワーク（１５０）に通知するステップをさらに含む、請求項１～３のいずれか１項に記載の方法（６００）。
6. 前記閉特徴部を前記少なくとも１つの多角形特徴部と比較することは、各閉特徴部に対して、それぞれの閉特徴部のエッジの数を前記少なくとも１つの多角形特徴部のエッジの数と比較することを含み、
   前記商品（１２）が前記陳列棚（２００）に置かれているかどうかを判定することは、さらに、前記それぞれの閉特徴部のエッジの数が前記少なくとも１つの多角形特徴部のエッジの数とは異なる場合に、前記商品（１２）が前記陳列棚（２００）に置かれていると判定することを含む、請求項１～５のいずれか１項に記載の方法（６００）。
7. 前記陳列棚（２００）上の前記商品（１２）の実際の配置（Ｐ_Ａ）を判定するステップは、前記少なくとも１つの画像（３１０）内に撮影された前記陳列棚（２００）の上面（２１２）の前記複数の露出特徴部（２１５）の対応位置を特定するステップを含む、請求項１～６のいずれか１項に記載の方法（６００）。
8. 前記データ処理ハードウェア（１３２）が前記少なくとも１つの画像（３１０）に画像補正ルーチンを実行するステップをさらに含み、
   前記画像補正ルーチンは、前記少なくとも１つの画像（３１０）の少なくとも樽型収差（Ｖ_ｂ）を補正する、請求項１～７のいずれか１項に記載の方法（６００）。
9. 前記メディアコンテンツ（１１２）は、前記陳列棚（２００）に置かれた前記商品（１２）、前記陳列棚（２００）に置かれた前記商品（１２）の製造者、または、前記陳列棚（２００）に置かれた前記商品（１２）を販売する小売店に関する広告コンテンツを含む、請求項１～８のいずれか１項に記載の方法（６００）。
10. 前記メディアコンテンツ（１１２）は、前記撮像装置（３００）からの少なくとも１つの画像を含む、請求項１～９のいずれか１項に記載の方法（６００）。
11. 前記閉特徴部を前記少なくとも１つの多角形特徴部と比較して前記商品（１２）が前記陳列棚（２００）に置かれているかどうかを判定することは、各閉特徴部に対して、それぞれの閉特徴部の面積を前記少なくとも１つの多角形特徴部の面積と比較することを含み、
    前記それぞれの閉特徴部の面積が前記少なくとも１つの多角形特徴部の面積とは異なる場合に、前記商品（１２）が前記陳列棚（２００）に置かれていると判定される、請求項１～１０のいずれか１項に記載の方法（６００）。
12. システムであって、
    データ処理ハードウェア（１３２）と、
    前記データ処理ハードウェア（１３２）と通信可能なメモリハードウェア（１３４）とを備え、
    前記メモリハードウェア（１３４）は、前記データ処理ハードウェア（１３２）上で実行されると前記データ処理ハードウェア（１３２）に動作を行なわせる命令を格納し、
    前記動作は、
    陳列棚環境内の陳列棚（２００）上の商品（１２）の典型的な配置（Ｐ_Ｒ）を規定するプラノグラム（５００）を受信するステップを含み、前記陳列棚環境は、前記陳列棚と、前記陳列棚（２００）の上に配置された表示画面（１１０）とを備え、ユーザの視野において、前記表示画面（１１０）は、メディアコンテンツ（１１２）を表示し、さらに、
    前記陳列棚（２００）の上に位置し、かつ前記陳列棚（２００）の上面（２１２）を撮影するように配置された視野（Ｆ_ｖ）を有する撮像装置（３００）から、少なくとも１つの画像（３１０）を受信するステップと、
    前記少なくとも１つの画像（３１０）に基づいて、
    前記少なくとも１つの画像（３１０）内に撮影された前記陳列棚（２００）の前記上面（２１２）の前記複数の露出特徴部の数量および対応位置を特定し、
    前記複数の露出特徴部の１つ以上のエッジを検出し、
    検出された前記１つ以上のエッジを閉特徴部に変換し、
    前記商品（１２）が前記陳列棚（２００）に置かれているか否かを判定するために、前記閉特徴部を前記少なくとも１つの多角形特徴部と比較する、ことによって、前記商品（１２）が前記陳列棚（２００）に置かれているか否かを判定するステップと、
    前記商品（１２）が前記陳列棚（２００）に置かれている場合、
    前記陳列棚（２００）上の前記商品（１２）の実際の配置（Ｐ_Ａ）を判定するステップと、
    前記商品（１２）の実際の配置（Ｐ_Ａ）を、前記プラノグラム（５００）で規定される前記商品（１２）の典型的な配置（Ｐ_Ｒ）と比較するステップと、
    前記商品（１２）の実際の配置（Ｐ_Ａ）と前記商品（１２）の典型的な配置（Ｐ_Ｒ）との前記比較に基づいて、プラノグラム適合結果（６２０）を判定するステップと、
    前記プラノグラム適合結果（６２０）を前記データ処理ハードウェア（１３２）からネットワーク（１５０）に通知するステップとを含み、
    システムは、前記商品（１２）とは異なる商品（１２_Ｏ）が前記陳列棚（２００）に置かれている場合、前記商品（１２）の前記実際の配置（Ｐ_Ａ）に関するプラノグラム適合結果（６２０）を前記データ処理ハードウェア（１３２）から前記ネットワーク（１５０）に通知するステップをさらに含む、システム。
13. 前記動作はさらに、
    前記商品（１２）が前記陳列棚（２００）にない場合、前記商品（１２）の在庫状況（Ｓ）を在庫切れと判定するステップと、
    前記商品（１２）が前記陳列棚（２００）に置かれている場合、前記商品（１２）の在庫状況（Ｓ）を在庫有りと判定するステップと、
    前記商品（１２）の在庫状況（Ｓ）を前記データ処理ハードウェア（１３２）から前記ネットワーク（１５０）に通知するステップとを含む、請求項１２に記載のシステム。
14. 前記メディアコンテンツ（１１２）は、前記陳列棚（２００）に置かれた前記商品（１２）のうち、より在庫量の多い商品、および／または、より在庫量の少ない商品に関する広告コンテンツを含む、請求項１２または１３に記載のシステム。
15. 前記商品（１２）が前記陳列棚（２００）に置かれている場合、
    前記陳列棚（２００）上の前記商品（１２）の数量（Ｑ）を判定するステップと、
    前記商品（１２）の数量（Ｑ）を前記ネットワーク（１５０）に通知するステップとをさらに含む、請求項１２から１４のいずれか１項に記載のシステム。
16. 前記動作は、前記商品（１２）の実際の配置（Ｐ_Ａ）を前記データ処理ハードウェア（１３２）から前記ネットワーク（１５０）に通知するステップをさらに含む、請求項１２～１５のいずれか１項に記載のシステム。
17. 前記閉特徴部を前記少なくとも１つの多角形特徴部と比較することは、各閉特徴部に対して、それぞれの閉特徴部のエッジの数を前記少なくとも１つの多角形特徴部のエッジの数と比較することを含み、
    前記商品（１２）が前記陳列棚（２００）に置かれているかどうかを判定することは、さらに、前記それぞれの閉特徴部のエッジの数が前記少なくとも１つの多角形特徴部のエッジの数とは異なる場合に、前記商品（１２）が前記陳列棚（２００）に置かれていると判定することを含む、請求項１２～１６のいずれか１項に記載のシステム。
18. 前記陳列棚（２００）上の前記商品（１２）の実際の配置（Ｐ_Ａ）を判定するステップは、前記少なくとも１つの画像（３１０）内に撮影された前記陳列棚（２００）の上面（２１２）の前記複数の露出特徴部（２１５）の対応位置を特定するステップを含む、請求項１２～１７のいずれか１項に記載のシステム。
19. 前記動作はさらに、前記少なくとも１つの画像（３１０）に画像補正ルーチンを実行するステップをさらに含み、
    前記画像補正ルーチンは、前記少なくとも１つの画像（３１０）の少なくとも樽型収差を補正する、請求項１２～１８のいずれか１項に記載のシステム。
20. 前記メディアコンテンツ（１１２）は、前記陳列棚（２００）に置かれた前記商品（１２）、前記陳列棚（２００）に置かれた前記商品（１２）の製造者、または、前記陳列棚（２００）に置かれた前記商品（１２）を販売する小売店に関する広告コンテンツを含む、請求項１２～１９のいずれか１項に記載のシステム。
21. 前記メディアコンテンツ（１１２）は、前記撮像装置（３００）からの少なくとも１つの画像を含む、請求項１２～２０のいずれか１項に記載のシステム。
22. 前記閉特徴部を前記少なくとも１つの多角形特徴部と比較して前記商品（１２）が前記陳列棚（２００）に置かれているかどうかを判定することは、各閉特徴部に対して、それぞれの閉特徴部の面積を前記少なくとも１つの多角形特徴部の面積と比較することを含み、
    前記それぞれの閉特徴部の面積が前記少なくとも１つの多角形特徴部の面積とは異なる場合に、前記商品（１２）が前記陳列棚（２００）に置かれていると判定される、請求項１２～２１のいずれか１項に記載のシステム。

Images