JP6176563B2 - 商品販売装置 - Google Patents
商品販売装置 Download PDFInfo
- Publication number
- JP6176563B2 JP6176563B2 JP2013048641A JP2013048641A JP6176563B2 JP 6176563 B2 JP6176563 B2 JP 6176563B2 JP 2013048641 A JP2013048641 A JP 2013048641A JP 2013048641 A JP2013048641 A JP 2013048641A JP 6176563 B2 JP6176563 B2 JP 6176563B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- face
- image
- transition
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、商品を収納する商品販売装置に関するものである。
従来、ディスプレイ装置（液晶ディスプレイ）を備えた商品販売装置（物品販売装置）が知られている（例えば、特許文献１参照）。この種の商品販売装置では、適宜、ディスプレイ装置に、販売する商品の見本や、商品の原材料に関する情報、商品の紹介文等、商品に関する情報を表示する。
ここで、上述した商品販売装置の前方には、当該装置が販売する商品を購入する意志がある者だけではなく、購入する意志がない者（例えば、当該装置の前を単に通過する者）が位置する可能性があるが、当該装置の前方における人物が、当該装置を利用しようとしている人物であるのか否かを的確に推定できれば、例えば、推定結果に基づいて、ディスプレイ装置の表示内容を変更する等の処理が可能となり、当該装置による商品の販売を促進させることが可能となる。
本発明は、上述した事情に鑑みてなされたものであり、装置本体の前方の人物が、商品販売装置を利用しようとしている人物であるかをより的確に推定できる商品販売装置を提供することを目的とする。
本発明は、上述した事情に鑑みてなされたものであり、装置本体の前方の人物が、商品販売装置を利用しようとしている人物であるかをより的確に推定できる商品販売装置を提供することを目的とする。
上記目的を達成するために、本発明の商品販売装置は、商品を収納する装置本体と、商品に関する情報を表示するディスプレイ装置と、前記装置本体の前方を撮影して画像を生成する撮影手段と、前記撮影手段により生成された前記画像に基づいて、前記装置本体の前方における人物の位置の推移を検出する人物位置推移検出手段と、前記装置本体の前方を複数の領域に区画し、区画した各領域に対して重要度情報を付加し、この重要度情報と、人物の位置の推移とに基づいて前記人物が前記装置本体を利用する人物か否かを推定する利用者推定手段と、を備えたのである。
これにより、人物の位置の推移のみならず、位置の推移に伴う重要度情報の推移に基づいて、その人物が商品販売装置を利用しようとしている者であるか否かを的確に推定可能である。
これにより、人物の位置の推移のみならず、位置の推移に伴う重要度情報の推移に基づいて、その人物が商品販売装置を利用しようとしている者であるか否かを的確に推定可能である。
また、上記目的を達成するために、本発明の商品販売装置は、商品を収納する装置本体と、商品に関する情報を表示するディスプレイ装置と、前記装置本体の前方を撮影して画像を生成する撮影手段と、前記撮影手段により生成された前記画像に基づいて、前記装置本体の前方における人物の位置の推移を検出する人物位置推移検出手段と、前記人物位置推移検出手段により検出された人物の位置の推移と、当該人物の前記装置本体に対する動作とを対応付けて記憶する分析用情報生成記録手段と、を備えたのである。
これにより、商品販売装置の装置本体の前方における人物の位置の推移と、当該人物の装置本体に対する動作とが対応付けて記憶されるため、記憶した情報に基づいて、例えば、あるパターンに準じてその位置が推移した者は、特定の行動（例えば、特定のグループに属する商品の購入）を行なう傾向がある等の分析が可能となり、商品販売装置を介した販売に関する有益な情報を取得可能となる。
これにより、商品販売装置の装置本体の前方における人物の位置の推移と、当該人物の装置本体に対する動作とが対応付けて記憶されるため、記憶した情報に基づいて、例えば、あるパターンに準じてその位置が推移した者は、特定の行動（例えば、特定のグループに属する商品の購入）を行なう傾向がある等の分析が可能となり、商品販売装置を介した販売に関する有益な情報を取得可能となる。
本発明によれば、装置本体の前方の人物が、商品販売装置を利用しようとしている人物であるかをより的確に推定することが可能となる。
第１の発明は、商品を収納する装置本体と、商品に関する情報を表示するディスプレイ装置と、前記装置本体の前方を撮影して画像を生成する撮影手段と、前記撮影手段により生成された前記画像に基づいて、前記装置本体の前方における人物の位置の推移を検出する人物位置推移検出手段と、前記装置本体の前方を複数の領域に区画し、区画した各領域に対して重要度情報を付加し、この重要度情報と、人物の位置の推移とに基づいて前記人物が前記装置本体を利用する人物か否かを推定する利用者推定手段と、を備えた商品装置である。
この構成によれば、人物の位置の推移のみならず、位置の推移に伴う重要度情報の推移に基づいて、その人物が商品販売装置を利用しようとしている者であるか否かを的確に推定可能である。
この構成によれば、人物の位置の推移のみならず、位置の推移に伴う重要度情報の推移に基づいて、その人物が商品販売装置を利用しようとしている者であるか否かを的確に推定可能である。
第２の発明は、重要度情報は、前記装置本体に対して操作をすることが可能な位置と各前記領域との位置関係、又は、前記ディスプレイ装置と各前記領域との位置関係を踏まえて、各領域に付与される商品販売装置である。
この構成によれば、商品販売装置を利用する蓋然性の高さを踏まえて、区画した領域のそれぞれに、適切な重要度情報を付与することが可能である。
この構成によれば、商品販売装置を利用する蓋然性の高さを踏まえて、区画した領域のそれぞれに、適切な重要度情報を付与することが可能である。
第３の発明は、前記人物位置推移検出手段は、前記画像内に人物の顔と判別できる被写体が写っているか否かを判別することにより、前記撮影手段の撮影範囲内に人物の顔があることを検知する顔検知手段と、前記顔検知手段が人物の顔と判別した被写体は人物の顔であると認定して、人物の顔であると認定した被写体を前記画像上で追尾する顔追尾手段と、人物の顔であると認定した被写体の顔全体の画像の大きさを推定する顔画像大きさ推定手段と、前記顔画像大きさ推定手段により推定した被写体の顔全体の画像の大きさに基づいて、前記撮影手段と人物の顔との距離を推定する顔距離推定手段と、人物の顔であると認定した被写体の顔の画像の、前記画像上の位置を判定する画像上顔位置判定手段と、前記画像上顔位置判定手段により判定した、前記被写体の顔の画像の前記画像上の位置と、前記撮影手段の画角とに基づいて、前記撮影手段に対して人物の顔が位置する方向を算出する顔方向算出手段と、前記顔距離推定手段により推定した前記撮影手段と人物の顔との距離、及び、前記顔方向算出手段により算出した前記撮影手段に対して人物の顔が位置する方向、に基づいて、前記撮影手段に対する人物の顔の相対的な位置を算出する顔位置算出手段と、区画した複数の前記領域の位置情報を記億した領域情報記録手段と、前記顔位置算出手段により算出した前記撮影手段に対する人物の顔の相対的な位置と、前記領域情報記録手段に記憶された複数の前記領域の位置情報とを基に、前記顔追尾手段が追尾中の人物が存在する領域を判定する人物存在領域判定手段と、前記顔追尾手段が追尾を行った人物毎に、前記人物存在領域判定手段が判定した領域の推移を記録する人物位置推移記録手段と、を備えた商品販売装置である。
この構成によれば、装置本体の前方を撮影する一つの撮影手段により得られた画像から、装置本体の前方に位置する人物を検出し、その検出した人物の位置の推移（位置した領域の推移）を的確に検出可能である。特に、上記構成によれば、撮影手段が装置本体に対して傾けて設けられている場合であっても、画像に基づいて撮影手段に対する人物の相対的な位置を検出可能であり、このため、撮影手段の取付位置の自由度が高く、例えば、装置本体の前面の中央部にディスプレイ装置を設け、そのディスプレイ装置を避けた位置であって、利用者に目立たない位置に、撮影手段を傾けて設けることが可能となり、商品販売装置の前面のデザインや、ディスプレイ装置の大きさ及び配置の制限を少なくできる。
この構成によれば、装置本体の前方を撮影する一つの撮影手段により得られた画像から、装置本体の前方に位置する人物を検出し、その検出した人物の位置の推移（位置した領域の推移）を的確に検出可能である。特に、上記構成によれば、撮影手段が装置本体に対して傾けて設けられている場合であっても、画像に基づいて撮影手段に対する人物の相対的な位置を検出可能であり、このため、撮影手段の取付位置の自由度が高く、例えば、装置本体の前面の中央部にディスプレイ装置を設け、そのディスプレイ装置を避けた位置であって、利用者に目立たない位置に、撮影手段を傾けて設けることが可能となり、商品販売装置の前面のデザインや、ディスプレイ装置の大きさ及び配置の制限を少なくできる。
第４の発明は、前記利用者推定手段は、前記人物存在領域判定手段が判定した前記領域の重要度情報と、前記人物位置推移記録手段に記録された位置推移とを基に、前記顔追尾手段が追尾を行っている人物が前記装置本体を利用しようとしている人物であるか否かを推定する商品販売装置である。
この構成によれば、各領域に対して、重要度情報を利用して、装置本体の前方に位置する人物が、装置本体を利用しようとしている者であるか否かを的確に推定可能である。
この構成によれば、各領域に対して、重要度情報を利用して、装置本体の前方に位置する人物が、装置本体を利用しようとしている者であるか否かを的確に推定可能である。
第５の発明は、利用者の位置推移パターンを記憶する利用者位置推移パターン記憶手段と、通過者の位置推移パターンを記憶する通過者位置推移パターン記憶手段と、をさらに備え、前記利用者推定手段は、前記顔追尾手段が追尾を行っている人物が前記装置本体を利用しようとしている人物であるか否かを推定する際に、前記人物位置推移記録手段に記録された位置推移を、前記利用者位置推移パターン記憶手段と前記通過者位置推移パターン記憶手段に記憶された位置推移パターンと比較する商品販売装置である。
この構成によれば、利用者推定手段は、顔追尾手段が追尾を行っている人物が装置本体を利用しようとしている人物であるか否かを推定する際に、人物位置推移記録手段に記録された位置推移を、利用者位置推移パターン記憶手段と通過者位置推移パターン記憶手段に記憶された位置推移パターンと比較するので、利用者位置推移パターン記憶手段と通過者位置推移パターン記憶手段に記憶される位置推移パターンによって、装置本体を利用しようとしている人物であるか否かの推定の精度を向上させることが可能である。
この構成によれば、利用者推定手段は、顔追尾手段が追尾を行っている人物が装置本体を利用しようとしている人物であるか否かを推定する際に、人物位置推移記録手段に記録された位置推移を、利用者位置推移パターン記憶手段と通過者位置推移パターン記憶手段に記憶された位置推移パターンと比較するので、利用者位置推移パターン記憶手段と通過者位置推移パターン記憶手段に記憶される位置推移パターンによって、装置本体を利用しようとしている人物であるか否かの推定の精度を向上させることが可能である。
第６の発明は、前記装置本体に対して操作が行われた場合に操作内容と操作時刻を記録する操作記録手段と、前記操作記録手段の記録内容と前記人物位置推移記録手段の記録内容とを比較して、前記人物位置推移記録手段に記録された位置推移の中から前記装置本体に対して操作を行った人物の位置推移を、操作内容と共に前記利用者位置推移パターン記憶手段に記憶させる利用者情報登録手段と、を備えた商品販売装置である。
この構成によれば、装置本体に対して商品を購入するための操作が行なわれた場合に、操作内容と操作時刻が操作記録手段に記憶され、利用者情報登録手段が、操作記録手段の記録内容と人物位置推移記録手段の記録内容とを比較して、人物位置推移記録手段に記録された位置推移の中から装置本体に対して商品を購入するための操作を行った人物の位置推移を選択して、操作内容と共に利用者位置推移パターン記憶手段に記憶するので、装置本体を利用しようとしている人物であるか否かの推定の精度を向上させることができ、また、利用者位置推移パターン記憶手段に蓄積された自動販売機の利用者の行動パターンから装置本体に対する関心度の情報を得ることができる。
この構成によれば、装置本体に対して商品を購入するための操作が行なわれた場合に、操作内容と操作時刻が操作記録手段に記憶され、利用者情報登録手段が、操作記録手段の記録内容と人物位置推移記録手段の記録内容とを比較して、人物位置推移記録手段に記録された位置推移の中から装置本体に対して商品を購入するための操作を行った人物の位置推移を選択して、操作内容と共に利用者位置推移パターン記憶手段に記憶するので、装置本体を利用しようとしている人物であるか否かの推定の精度を向上させることができ、また、利用者位置推移パターン記憶手段に蓄積された自動販売機の利用者の行動パターンから装置本体に対する関心度の情報を得ることができる。
第７の発明は、前記顔検知手段は、前記画像内に人物の顔の少なくとも一部と判別できる被写体が写っているか否かを判別して、人物の顔の少なくとも一部と判別できる被写体が写っている場合に、前記撮影手段の撮影範囲内に人物の顔があることを検知する商品販売装置である。
この構成によれば、帽子やマスクを着用している等の利用により、撮影手段によって、装置本体の前方にいる人物の顔の全域が撮影されていない場合であっても、顔検知手段により、撮影手段の撮影範囲内に人物の顔があることを検知可能である。
この構成によれば、帽子やマスクを着用している等の利用により、撮影手段によって、装置本体の前方にいる人物の顔の全域が撮影されていない場合であっても、顔検知手段により、撮影手段の撮影範囲内に人物の顔があることを検知可能である。
第８の発明は、前記顔距離推定手段は、前記顔画像大きさ推定手段により推定した被写体の顔全体の画像の大きさと、前記撮影手段から基準距離だけ離れた標準的な人物の顔を前記撮影手段で撮影した場合の前記画像の顔全体の画像の大きさに相当する基準値との比較結果を基に、前記撮影手段と人物の顔との距離を推定する商品販売装置である。
この構成によれば、画像に基づいて、撮影手段と人物の顔との距離を的確に推定可能となる。
この構成によれば、画像に基づいて、撮影手段と人物の顔との距離を的確に推定可能となる。
第９の発明は、前記画像上顔位置判定手段は、前記画像における人物の顔であると認定した被写体の被写体画像から、人物の顔であると認定した被写体の顔の中心位置を推定し、前記推定した被写体の顔の中心位置が前記画像の中心を座標の原点とする前記画像の左右方向の座標軸と前記画像の上下方向の座標軸で区画された４つの領域のうちのどの領域にあるかの判定と、前記画像の中心から前記画像の左右方向の両端までの長さを前記画像の左右方向の基準長さとした場合に、前記推定した被写体の顔の中心位置が前記画像の上下方向の座標軸から前記左右方向の基準長さの何倍だけ離れているかの判定と、前記画像の中心から前記画像の上下方向の両端までの長さを前記画像の上下方向の基準長さとした場合に、前記推定した被写体の顔の中心位置が前記画像の左右方向の座標軸から前記上下方向の基準長さの何倍だけ離れているかの判定とを行い、前記顔方向算出手段は、前記装置本体を正面から見た場合の左右方向と鉛直方向の両方向に垂直な前方向を基準とした前記撮影手段の撮影範囲の中心の方向の方位角と、前記装置本体を正面から見た場合の左右方向と鉛直方向の両方向に垂直な前方向を基準とした前記撮影手段の撮影範囲の中心の方向の仰俯角と、前記撮影手段が生成する前記画像の上端から下端までに対応する前記撮影手段の上下方向の撮影範囲の上下画角と、前記撮影手段が生成する前記画像の左端から右端までに対応する前記撮影手段の左右方向の撮影範囲の左右画角と、前記画像上顔位置判定手段により判定した前記画像上の顔中心位置の情報とを基に、前記撮影手段の取付位置における前記装置本体を正面から見た場合の左右方向と鉛直方向の両方向に垂直な前方向を基準とした人物の顔がある方向の方位角と仰俯角を算出し、顔位置算出手段は、前記顔距離推定手段により推定した距離と前記顔方向算出手段により算出した人物の顔がある方向の方位角と仰俯角とにより得られた球面座標系での顔の位置情報から、前記装置本体を正面から見た場合の左右方向と前後方向と鉛直方向の三次元空間の前記撮影手段の取付位置を座標の原点とする直交座標系での顔の位置の座標を算出し、前記人物存在領域判定手段は、前記顔位置算出手段により算出した直交座標系での顔の位置の座標と前記領域情報記録手段に記憶された複数の領域の位置情報とを基に前記顔追尾手段が追尾中の人物が存在する領域を判定する商品販売装置である。
この構成によれば、撮影手段に対する人間の顔の相対的な位置を、三次元の座標系における座標として的確に把握できると共に、人物が存在する領域を的確に判定できる。
この構成によれば、撮影手段に対する人間の顔の相対的な位置を、三次元の座標系における座標として的確に把握できると共に、人物が存在する領域を的確に判定できる。
第１０の発明は、商品を収納する装置本体と、商品に関する情報を表示するディスプレイ装置と、前記装置本体の前方を撮影して画像を生成する撮影手段と、前記撮影手段により生成された前記画像に基づいて、前記装置本体の前方における人物の位置の推移を検出する人物位置推移検出手段と、前記人物位置推移検出手段により検出された人物の位置の推移と、当該人物の前記装置本体に対する動作とを対応付けて記憶する分析用情報生成記録手段と、を備えた商品販売装置である。
この構成によれば、商品販売装置の装置本体の前方における人物の位置の推移と、当該人物の装置本体に対する動作とが対応付けて記憶されるため、記憶した情報に基づいて、例えば、あるパターンに準じてその位置が推移した者は、特定の行動（例えば、特定のグループに属する商品の購入）を行なう傾向がある等の分析が可能となり、商品販売装置を介した販売に関する有益な情報を取得可能となる。
この構成によれば、商品販売装置の装置本体の前方における人物の位置の推移と、当該人物の装置本体に対する動作とが対応付けて記憶されるため、記憶した情報に基づいて、例えば、あるパターンに準じてその位置が推移した者は、特定の行動（例えば、特定のグループに属する商品の購入）を行なう傾向がある等の分析が可能となり、商品販売装置を介した販売に関する有益な情報を取得可能となる。
第１１の発明は、前記人物位置推移検出手段は、前記装置本体の前方を複数の領域に区画し、前記撮影手段により生成された前記画像に基づいて、人物が位置する前記領域の推移を検出し、前記分析用情報生成記録手段は、前記人物位置推移検出手段により検出された人物が位置する前記領域の推移と、当該人物の前記装置本体に対する動作とを対応付けて記憶する商品販売装置である。
この構成によれば、商品販売装置の装置本体の前方における人物が位置した領域の推移と、当該人物の装置本体に対する動作とが対応付けて記憶されるため、記憶した情報に基づいて、例えば、あるパターンに準じて位置する領域が推移した者は、特定の行動（例えば、特定のグループに属する商品の購入）を行なう傾向がある等の分析が可能となり、商品販売装置を介した販売に関する有益な情報を取得可能となる。
この構成によれば、商品販売装置の装置本体の前方における人物が位置した領域の推移と、当該人物の装置本体に対する動作とが対応付けて記憶されるため、記憶した情報に基づいて、例えば、あるパターンに準じて位置する領域が推移した者は、特定の行動（例えば、特定のグループに属する商品の購入）を行なう傾向がある等の分析が可能となり、商品販売装置を介した販売に関する有益な情報を取得可能となる。
第１２の発明は、前記人物位置推移検出手段は、区画した各前記領域に対して重要度情報を付与し、人物が位置する前記領域の推移と共に、当該人物が推移した前記領域の重要度情報を検出し、前記分析用情報生成記録手段は、前記人物位置推移検出手段により検出された人物が位置する前記領域の推移と、当該人物の前記装置本体に対する動作と、当該人物が推移した前記領域の重要度情報と、を対応付けて記憶する商品販売装置である。
この構成によれば、分析に際し、重要度情報を用いて、より詳細な分析が可能となる。
この構成によれば、分析に際し、重要度情報を用いて、より詳細な分析が可能となる。
以下、図面を参照して本発明の実施形態について説明する。なお、この実施の形態によって本発明が限定されるものではない。
（実施の形態）
図１は、本実施形態に係る自動販売機１（商品販売装置）の正面図である。
自動販売機１は、缶ジュース等の商品を収納し販売する装置である。図１に示すように、自動販売機１は、筐体たる装置本体７を備え、この装置本体７の前面の略中央部には、ディスプレイ装置２、及び、このディスプレイ装置２に重ねて配置されたタッチパネル３を備えるタッチパネル式ディスプレイ６が設けられている。このディスプレイ装置２には、商品の見本や、商品の値段、商品の原材料、商品の紹介文等、商品に関する情報が表示され、商品を購入する者は、適宜、ディスプレイ装置２に表示された情報を参照しつつ、タッチ操作を行ない、商品を購入する。
図１は、本実施形態に係る自動販売機１（商品販売装置）の正面図である。
自動販売機１は、缶ジュース等の商品を収納し販売する装置である。図１に示すように、自動販売機１は、筐体たる装置本体７を備え、この装置本体７の前面の略中央部には、ディスプレイ装置２、及び、このディスプレイ装置２に重ねて配置されたタッチパネル３を備えるタッチパネル式ディスプレイ６が設けられている。このディスプレイ装置２には、商品の見本や、商品の値段、商品の原材料、商品の紹介文等、商品に関する情報が表示され、商品を購入する者は、適宜、ディスプレイ装置２に表示された情報を参照しつつ、タッチ操作を行ない、商品を購入する。
自動販売機１の前面のタッチパネル式ディスプレイ６を避けた位置であって、地面から距離Ｔ１（例えば、１００ｃｍ〜１６０ｃｍ）、かつ、装置本体７の中心から水平方向に距離Ｔ２（例えば、４８ｃｍ）離間した位置には、装置本体７の前方を撮影して画像を生成する撮影手段８が設けられている。撮影手段８は、動画像を撮影可能なカメラ装置であり、所定のサンプリング周期で、撮影結果に基づいて撮影画像データ（画像）を生成し、出力する。
本実施形態では、撮影手段８が生成した撮影画像データに基づいて、装置本体７の前方に位置する人間の位置、及び、人間の位置の推移を検出するが、後に詳述するように、一つの撮影手段８が生成した撮影画像データに基づいて当該検出が可能であると共に、撮影手段８を装置本体７に対して上下左右方向に傾けて設置しても的確に当該検出を行えるようになっており、図１に示すように、撮影手段８を、中央部に設けたタッチパネル式ディスプレイ６を避けた位置であって、自動販売機１の利用者にとって目立たない位置に設けることが可能である。すなわち、撮影手段８の取付位置の自由度が高く、自動販売機１の前面のデザインや、ディスプレイ装置２の大きさ及び配置の制限を少なくできる。
本実施形態では、撮影手段８が生成した撮影画像データに基づいて、装置本体７の前方に位置する人間の位置、及び、人間の位置の推移を検出するが、後に詳述するように、一つの撮影手段８が生成した撮影画像データに基づいて当該検出が可能であると共に、撮影手段８を装置本体７に対して上下左右方向に傾けて設置しても的確に当該検出を行えるようになっており、図１に示すように、撮影手段８を、中央部に設けたタッチパネル式ディスプレイ６を避けた位置であって、自動販売機１の利用者にとって目立たない位置に設けることが可能である。すなわち、撮影手段８の取付位置の自由度が高く、自動販売機１の前面のデザインや、ディスプレイ装置２の大きさ及び配置の制限を少なくできる。
図１に示すように、装置本体７の前面において、撮影手段８の下方には、硬貨、紙幣の投入口、及び、ＩＣカードや、携帯電話等と近距離無線通信して電子マネーにかかる情報を読み書きする通信モジュールを備える入出金部４が設けられている。この入出金部４の下方には、釣り銭が排出される釣り銭取出し口５が設けられ、また、タッチパネル式ディスプレイ６の下方には、購入された商品が排出される商品取出し口１０が設けられている。装置本体７の天面には、ネットワークを介した外部機器との通信に供するアンテナ９が設けられている。
図２は、本実施形態に係る自動販売機１の機能的構成を模式的に示すブロック図である。
図２に示すように、自動販売機１は、制御部１５と、出力部１６と、入力部１７と、記憶部１８と、通信ユニット１９と、を備えている。
制御部１５は、自動販売機１の各部を中枢的に制御するものであり、演算実行部としてのＣＰＵや、このＣＰＵに実行されるプログラムをロード可能な態様で不揮発的に記憶するＲＯＭ、各種データを一時的に記憶してＣＰＵのワークエリアとして機能するＲＡＭ、その他の周辺回路等を備えている。制御部１５は、機能ブロックとして、画像解析手段２１、及び、分析用情報生成記録手段２２を備えているが、これらについては後述する。
図２に示すように、自動販売機１は、制御部１５と、出力部１６と、入力部１７と、記憶部１８と、通信ユニット１９と、を備えている。
制御部１５は、自動販売機１の各部を中枢的に制御するものであり、演算実行部としてのＣＰＵや、このＣＰＵに実行されるプログラムをロード可能な態様で不揮発的に記憶するＲＯＭ、各種データを一時的に記憶してＣＰＵのワークエリアとして機能するＲＡＭ、その他の周辺回路等を備えている。制御部１５は、機能ブロックとして、画像解析手段２１、及び、分析用情報生成記録手段２２を備えているが、これらについては後述する。
出力部１６は、ディスプレイ装置２を備え、制御部１５の制御の下、ディスプレイ装置２に各種情報を表示する。
入力部１７は、タッチパネル３を備え、タッチパネル３に対するタッチ操作を検出し、タッチ操作された位置を示す情報を含むデータを制御部１５に出力する。例えば、制御部１５は、ディスプレイ装置２に商品の見本を選択可能に表示している場合に、入力部１７からタッチ操作に係るデータが入力された場合、表示内容と、タッチ操作の位置とに基づいて、選択された商品を特定する。また、入力部１７は、撮影手段８を備え、撮影手段８の撮影結果に基づいて、所定のサンプリング周期で撮影画像データを生成し、制御部１５に出力する。
記憶部１８は、ＥＥＰＲＯＭや、ハードディスク等の不揮発性メモリーを備え、各種データを不揮発的に書き換え可能に記憶する。
通信ユニット１９は、制御部１５の制御の下、インターネット等のネットワークを介して外部機器と所定の通信規格に準拠して通信する。制御部１５は、例えば、電子マネーに関する情報を、外部機器との間で通信する。
入力部１７は、タッチパネル３を備え、タッチパネル３に対するタッチ操作を検出し、タッチ操作された位置を示す情報を含むデータを制御部１５に出力する。例えば、制御部１５は、ディスプレイ装置２に商品の見本を選択可能に表示している場合に、入力部１７からタッチ操作に係るデータが入力された場合、表示内容と、タッチ操作の位置とに基づいて、選択された商品を特定する。また、入力部１７は、撮影手段８を備え、撮影手段８の撮影結果に基づいて、所定のサンプリング周期で撮影画像データを生成し、制御部１５に出力する。
記憶部１８は、ＥＥＰＲＯＭや、ハードディスク等の不揮発性メモリーを備え、各種データを不揮発的に書き換え可能に記憶する。
通信ユニット１９は、制御部１５の制御の下、インターネット等のネットワークを介して外部機器と所定の通信規格に準拠して通信する。制御部１５は、例えば、電子マネーに関する情報を、外部機器との間で通信する。
次に、画像解析手段２１について説明する。
以下で説明する画像解析手段２１の機能は、制御部１５のＣＰＵがプログラムを読み出して実行する等、ハードウェアとソフトウェアとの協働により実現される。このことは、後に説明する分析用情報生成記録手段２２や、この画像解析手段２１が有する機能ブロック等、他の機能ブロックについても同様である。
画像解析手段２１は、人物位置推移検出手段２３（図３）を備えており、この人物位置推移検出手段２３によって、撮影手段８が生成した撮影画像データに基づいて、装置本体７の前方における人物の位置の推移を検出する機能を少なくとも有する。
ところで、従来、人物の位置の推移の検出する装置としては、以下のようなものがあり、また、以下のような課題があった。
以下で説明する画像解析手段２１の機能は、制御部１５のＣＰＵがプログラムを読み出して実行する等、ハードウェアとソフトウェアとの協働により実現される。このことは、後に説明する分析用情報生成記録手段２２や、この画像解析手段２１が有する機能ブロック等、他の機能ブロックについても同様である。
画像解析手段２１は、人物位置推移検出手段２３（図３）を備えており、この人物位置推移検出手段２３によって、撮影手段８が生成した撮影画像データに基づいて、装置本体７の前方における人物の位置の推移を検出する機能を少なくとも有する。
ところで、従来、人物の位置の推移の検出する装置としては、以下のようなものがあり、また、以下のような課題があった。
すなわち、従来の自動販売機としては、前面にディスプレイ装置と人感センサ（赤外線センサ）を組み込んで、人感センサで人物が自動販売機の前方の所定の検出対象エリア内に居ることを感知した時には販売している商品を選択するための見本画面をディスプレイ装置に表示し、人感センサで自動販売機の前方の所定の検出対象工リア内に人物を感知していない時には広告画面をディスプレイ装置に表示し、人感センサで人物を検知してディスプレイ装置に見本画面を表示してから所定時間内に自動販売機に対して操作や入金を検出しない楊合には、ディスプレイ装置の表示を見本画面から広告画面に切り替えるものがあった(特開平１１−２３２５３７号公報)。
ところが、上記の自動販売機では、購入目的で自動販売機に接近する利用者だけでなく、自動販売機の前を通り過ぎる通過者も、人感センサにより接近を検出して、ディスプレイ装置の表示が広告画面から見本画面に切り替わってしまい、その結果、表示する画像の切り替えが頻発するという課題があった。
ところが、上記の自動販売機では、購入目的で自動販売機に接近する利用者だけでなく、自動販売機の前を通り過ぎる通過者も、人感センサにより接近を検出して、ディスプレイ装置の表示が広告画面から見本画面に切り替わってしまい、その結果、表示する画像の切り替えが頻発するという課題があった。
この課題を解決した従来の自動販売機としては、前面左右方向両端部の前方に設定された第１領域における人物の有無を検出する第１赤外センサと、前面左右方向中央部の前方に設定された第２領域における人物の有無を検出する第２赤外センサと、自動販売機の前方をディスプレイ装置の上側の左右方向の中央から第１領域の外側の第３領域まで撮像するカメラと、カメラが撮像した画像を処理して第３領域において撮像されている人物の移動方向を検出する方向検出部と、方向検出部が検出した人物の移動方向を確認して人物の移動方向が自動販売機に向かう方向と異なる場合には通過者と判定し、第１赤外センサが人物を検出していた第１検出時問に基づいて設定された基準時間を第２赤外センサが人物を検出している第２検出時間が超えた場合には購買者であると判定する判定部とを備えたものがあった(特開２０１２−１２３６５７号公報)。
しかしながら、上記の自動販売機では、購買者と通過者を判定するために、左右２つの第１赤外センサと第２赤外センサとカメラを前面に配置する必要があり、購買者と通過者を判定するための手段のコストが高くなり、自動販売機の前面のデザインやディスプレイ装置の大きさ及び配置が制限されるという課題があった。
しかしながら、上記の自動販売機では、購買者と通過者を判定するために、左右２つの第１赤外センサと第２赤外センサとカメラを前面に配置する必要があり、購買者と通過者を判定するための手段のコストが高くなり、自動販売機の前面のデザインやディスプレイ装置の大きさ及び配置が制限されるという課題があった。
そこで、本実施形態に係る画像解析手段２１は、以下で詳述するように、自動販売機１の前方を撮影する一つの撮影手段８が生成した撮影画像データから、自動販売機１の前方に居る人物の位置の推移を検出できる構成となっており、これにより、自動販売機１の前面のデザインやディスプレイ装置２の大きさ及び配置の制限を少なくしている。さらに、画像解析手段２１は、自動販売機１の前方の人物が、自動販売機１を利用しようとしている者（以下、単に、「利用者」という。）であるか否かを推定する。
図３は、本実施形態における画像解析手段２１の機能的構成を詳細に示すブロック図である。
まず、タッチパネル式ディスプレイ６を前画に備えた装置本体７に配置された撮影手段８が、装置本体７の前方を撮影して撮影画像データを生成する。
ここで、撮影手段８は、装置本体７の前面で、利用者の顔を撮影しやすいように自動販売機１の利用者の平均的な顔の高さ位置に、その存在が目立たないように設けられることが好ましい。一般に、画像表示と商品の選択が行えるタッチパネル式ディスプレイ６は、利用者にとって、表示内容が見易く、手でタッチ操作し易いように、装置本体７の前面の略中央に配置され、商品見本以外の入金金額等の表示部や商品選択以外の操作部は、右手で操作し易い装置本体７の前面の右側に配置される傾向がある。
そこで、撮影手段８は、タッチパネル式ディスプレイ６の右側に配置することが好ましく、タッチパネル式ディスプレイ６の右側に配置する場合は、装置本体７の前方に死角ができないように、広角の撮影範囲で、適度に左向きに傾斜させることが好ましい。
まず、タッチパネル式ディスプレイ６を前画に備えた装置本体７に配置された撮影手段８が、装置本体７の前方を撮影して撮影画像データを生成する。
ここで、撮影手段８は、装置本体７の前面で、利用者の顔を撮影しやすいように自動販売機１の利用者の平均的な顔の高さ位置に、その存在が目立たないように設けられることが好ましい。一般に、画像表示と商品の選択が行えるタッチパネル式ディスプレイ６は、利用者にとって、表示内容が見易く、手でタッチ操作し易いように、装置本体７の前面の略中央に配置され、商品見本以外の入金金額等の表示部や商品選択以外の操作部は、右手で操作し易い装置本体７の前面の右側に配置される傾向がある。
そこで、撮影手段８は、タッチパネル式ディスプレイ６の右側に配置することが好ましく、タッチパネル式ディスプレイ６の右側に配置する場合は、装置本体７の前方に死角ができないように、広角の撮影範囲で、適度に左向きに傾斜させることが好ましい。
次に、顔検知手段３０が、撮影画像データ内に人物の顔と判別できる被写体が写っているか否かを判別することにより、撮影手段８の撮影範囲内に人物の顔があることを検知する。より詳細には、顔検知手段３０が、撮影手段８により生成された撮影画像データに、人物の顔の少なくとも一部と判別できる被写体が写っているか否かを判別して、人物の顔の少なくとも一部と判別できる被写体が写っている場合に、撮影手段８の撮影範囲内に人物の顔があることを検知する。
ここで、人物の顔の少なくとも一部という表現を用いたのは、装置本体７の前方に居る人物の顔が、撮影手段８の方向を向いていても、帽子や髪型や眼鏡やマスク等の顔の一部を覆う物により、二つの目、鼻、口などの顔の構成要素を全て撮影できない場合があり、また、装置本体７の前方に居る人物の顔の向きが、撮影手段８のある方向とずれている場合や、人物の顔の一部が撮影範囲から外れている場合も考えられるが、顔の構成要素を全て撮影できない場合であっても、人物の顔の少なくとも一部と判別できる場合があるからである。
ここで、人物の顔の少なくとも一部という表現を用いたのは、装置本体７の前方に居る人物の顔が、撮影手段８の方向を向いていても、帽子や髪型や眼鏡やマスク等の顔の一部を覆う物により、二つの目、鼻、口などの顔の構成要素を全て撮影できない場合があり、また、装置本体７の前方に居る人物の顔の向きが、撮影手段８のある方向とずれている場合や、人物の顔の一部が撮影範囲から外れている場合も考えられるが、顔の構成要素を全て撮影できない場合であっても、人物の顔の少なくとも一部と判別できる場合があるからである。
そして、顔検知手段３０が人物の顔の少なくとも一部と判別した被写体については、顔追尾手段３１が、人物の顔であると認定して、人物の顔であると認定した被写体を撮影画像データ上で追尾する。
そのため、人物が移動することにより、人物の顔の向きと撮影手段８のある方向とのずれが大きくなってきた場合や、人物の顔の一部が撮影範囲から外れた場合や、一時的に顔を撮影手段８のある方向から大きく背けた場合に、人物を見失ったり、後で同一人物を別人と判断してしまったりする可能性を少なくできる。
人物の顔であると認定した被写体を撮影画像データ上で追尾する技術については、防犯カメラやデジタルカメラに採用されているものを適用できるので、説明は省略する。
そのため、人物が移動することにより、人物の顔の向きと撮影手段８のある方向とのずれが大きくなってきた場合や、人物の顔の一部が撮影範囲から外れた場合や、一時的に顔を撮影手段８のある方向から大きく背けた場合に、人物を見失ったり、後で同一人物を別人と判断してしまったりする可能性を少なくできる。
人物の顔であると認定した被写体を撮影画像データ上で追尾する技術については、防犯カメラやデジタルカメラに採用されているものを適用できるので、説明は省略する。
次に、顔画像大きさ推定手段３２が、人物の顔であると認定して顔追尾手段３１が追尾している被写体の被写体画像から、人物の顔であると認定した被写体の顔全体の画像の大きさを推定する。
ここで、被写体画像から、人物の顔であると認定した被写体の顔全体の画像の大きさを推定するのは、顔の構成要素を全て撮影できない場合があり、その場合でも、被写体画像から得られた情報から、顔全体の画像の大きさを推定することが可能であるからである。
ここで、被写体画像から、人物の顔であると認定した被写体の顔全体の画像の大きさを推定するのは、顔の構成要素を全て撮影できない場合があり、その場合でも、被写体画像から得られた情報から、顔全体の画像の大きさを推定することが可能であるからである。
次に、撮影手段〜顔間距離推定手段３３（顔距離推定手段）が、顔画像大きさ推定手段３２により推定した被写体の顔全体の画像の大きさに基づいて、撮影手段８と人物の顔との距離を推定する。より具体的には、撮影手段〜顔間距離推定手段３３が、顔画像大きさ推定手段３２により推定した被写体の顔全体の画像の大きさと、撮影手段８から基準距離だけ離れた標準的な人物の顔を撮影手段８で撮影した場合の顔全体の画像の大きさに相当する基準値との比較結果を基に、撮影手段８と人物の顔との距離を推定する。
ところで、背が高い人も背が低い人も頭の長さは、あまり変わらず、男性は、２３．９ｃｍ前後であり、女性は、２３．１ｃｍ前後であるという調査データがある。また、例えば、撮影手段８から顔までの距離が基準距離の半分である場含の顔の画像の大きさ（長さ）は、撮影手段８から基準距離だけ離れた顔を撮影手段８で撮影した場合の顔の大きさ（長さ）の２倍になる。
したがって、顔全体の画像の大きさと、撮影手段８から基準距離だけ離れた標準的な人物の顔を撮影手段８で撮影した場合の画像の顔全体の画像の大きさに相当する基準値との比較結果を基に、撮影手段８と人物の顔との距離を推定することができる。
もし、顔検知手段３０が男性と女性の性別まで区別して人物の顔を検知できるのであれば、男性用の基準値と女性用の基準値を使い分けることにより、撮影手段８と人物の顔との距離の推定値の精度を向上させることができる。
ところで、背が高い人も背が低い人も頭の長さは、あまり変わらず、男性は、２３．９ｃｍ前後であり、女性は、２３．１ｃｍ前後であるという調査データがある。また、例えば、撮影手段８から顔までの距離が基準距離の半分である場含の顔の画像の大きさ（長さ）は、撮影手段８から基準距離だけ離れた顔を撮影手段８で撮影した場合の顔の大きさ（長さ）の２倍になる。
したがって、顔全体の画像の大きさと、撮影手段８から基準距離だけ離れた標準的な人物の顔を撮影手段８で撮影した場合の画像の顔全体の画像の大きさに相当する基準値との比較結果を基に、撮影手段８と人物の顔との距離を推定することができる。
もし、顔検知手段３０が男性と女性の性別まで区別して人物の顔を検知できるのであれば、男性用の基準値と女性用の基準値を使い分けることにより、撮影手段８と人物の顔との距離の推定値の精度を向上させることができる。
図４は、撮影画像データの一例を説明するための概念図である。
一方、画像上顔中心位置判定手段３４（画像上顔位置判定手段）が、人物の顔であると認定した被写体の顔の画像の、撮影画像データ上の位置を判定する。
より詳細には、図４を参照し、画像上顔中心位置判定手段３４が、撮影画像データにおける人物の顔であると認定した被写体の被写体画像から、人物の顔であると認定した被写体の顔の中心位置５０を推定し、推定した被写体の顔の中心位置５０が撮影画像データの中心Ｑ１を座標の原点とする撮影画像データの左右方向の座標軸Ｘ１と、撮影画像データの上下方向の座標軸Ｙ１で区画された４つの領域Ａ１ａ、Ａ１ｂ、Ａ１ｃ、及び、Ａ１ｄのうちのどの領域にあるかの判定と、撮影画像データの中心Ｑ１から撮影画像データの左右方向の両端までの長さＬ１を撮影画像データの左右方向の基準長さとした場合に、推定した被写体の顔の中心位置５０が撮影画像データの上下方向の座標軸Ｙ１から左右方向の基準長さの何倍だけ離れているかの判定と、撮影画像データの中心Ｑ１から撮影画像データの上下方向の両端までの長さＴ１を撮影画像データの上下方向の基準長さとした場合に、推定した被写体の顔の中心位置５０が撮影画像データの左右方向の座標軸Ｘ１から上下方向の基準長さの何倍だけ離れているかの判定とを行う。
図４の例で言えば、画像上顔中心位置判定手段３４は、顔の中心位置５０が、４つの領域Ａ１ａ、Ａ１ｂ、Ａ１ｃ、及び、Ａ１ｄのうち、領域Ａ１ｄにあると判定する。
また、画像上顔中心位置判定手段３４は、左右方向の基準長さである長さＬ１、及び、座標軸Ｙ１と顔の中心位置５０との離間距離Ｌ１ａとに基づいて、式（Ｌ１ａ／Ｌ１）により、被写体の顔の中心位置５０が、左右方向の基準長さの何倍だけ離れているかの判定を行なう。
また、画像上顔中心位置判定手段３４は、上下方向の基準長さである長さＴ１、及び、座標軸Ｘ１と顔の中心位置５０との離間距離Ｔ１ａとに基づいて、式（Ｔ１ａ／Ｔ１）により、被写体の顔の中心位置５０が、上下方向の基準長さの何倍だけ離れているかの判定を行なう。
一方、画像上顔中心位置判定手段３４（画像上顔位置判定手段）が、人物の顔であると認定した被写体の顔の画像の、撮影画像データ上の位置を判定する。
より詳細には、図４を参照し、画像上顔中心位置判定手段３４が、撮影画像データにおける人物の顔であると認定した被写体の被写体画像から、人物の顔であると認定した被写体の顔の中心位置５０を推定し、推定した被写体の顔の中心位置５０が撮影画像データの中心Ｑ１を座標の原点とする撮影画像データの左右方向の座標軸Ｘ１と、撮影画像データの上下方向の座標軸Ｙ１で区画された４つの領域Ａ１ａ、Ａ１ｂ、Ａ１ｃ、及び、Ａ１ｄのうちのどの領域にあるかの判定と、撮影画像データの中心Ｑ１から撮影画像データの左右方向の両端までの長さＬ１を撮影画像データの左右方向の基準長さとした場合に、推定した被写体の顔の中心位置５０が撮影画像データの上下方向の座標軸Ｙ１から左右方向の基準長さの何倍だけ離れているかの判定と、撮影画像データの中心Ｑ１から撮影画像データの上下方向の両端までの長さＴ１を撮影画像データの上下方向の基準長さとした場合に、推定した被写体の顔の中心位置５０が撮影画像データの左右方向の座標軸Ｘ１から上下方向の基準長さの何倍だけ離れているかの判定とを行う。
図４の例で言えば、画像上顔中心位置判定手段３４は、顔の中心位置５０が、４つの領域Ａ１ａ、Ａ１ｂ、Ａ１ｃ、及び、Ａ１ｄのうち、領域Ａ１ｄにあると判定する。
また、画像上顔中心位置判定手段３４は、左右方向の基準長さである長さＬ１、及び、座標軸Ｙ１と顔の中心位置５０との離間距離Ｌ１ａとに基づいて、式（Ｌ１ａ／Ｌ１）により、被写体の顔の中心位置５０が、左右方向の基準長さの何倍だけ離れているかの判定を行なう。
また、画像上顔中心位置判定手段３４は、上下方向の基準長さである長さＴ１、及び、座標軸Ｘ１と顔の中心位置５０との離間距離Ｔ１ａとに基づいて、式（Ｔ１ａ／Ｔ１）により、被写体の顔の中心位置５０が、上下方向の基準長さの何倍だけ離れているかの判定を行なう。
図５は、本実施形態の撮影手段８の左右方向の撮影範囲と顔との位置関係の一例を説明するために、自動販売機１の装置本体７を上方から見た平面図である。図６は、本実施形態の撮影手段８の上下方向の撮影範囲と顔との位置関係の一例を説明するために、自動販売機１の装置本体７を右側方から見た側面図である。
次に、顔方向算出手段３５が、画像上顔中心位置判定手段３４により判定した、被写体の顔の画像の撮影画像データ上の位置と、撮影手段８の画角とに基づいて、撮影手段８に対して人物の顔が位置する方向を算出する。
より詳細には、図５、及び、図６を参照し、顔方向算出手段３５が、装置本体７を正面から見た場合の左右方向と鉛直方向の両方向に垂直な前方向を基準とした撮影手段８の撮影範囲の中心の方向の方位角θａ１（図５）と、装置本体７を正面から見た場合の左右方向と鉛直方向の両方向に垂直な前方向を基準とした撮影手段８の撮影範囲の中心の方向の仰俯角θｂ１（図６）と、撮影手段８が生成する撮影画像データの左端から右端までに対応する撮影手段８の左右方向の撮影範囲の左右画角θａ２（図５）と、撮影手段８が生成する撮影画像データの上端から下端までに対応する撮影手段８の上下方向の撮影範囲の上下画角θｂ２（図６）と、画像上顔中心位置判定手段３４により判定した撮影画像データ上の顔の中心位置５０の情報（被写体の顔の中心位置５０が、左右方向の基準長さの何倍だけ離れているかを示す情報、及び、上下方向の基準長さの何倍だけ離れているかを示す情報を少なくとも含む情報）とを基に、撮影手段８の取付位置における装置本体７を正面から見た場合の左右方向と鉛直方向の両方向に垂直な前方向を基準とした人物の顔がある方向の方位角θａ３（図５）と仰俯角θｂ３（図６）を算出する。
次に、顔方向算出手段３５が、画像上顔中心位置判定手段３４により判定した、被写体の顔の画像の撮影画像データ上の位置と、撮影手段８の画角とに基づいて、撮影手段８に対して人物の顔が位置する方向を算出する。
より詳細には、図５、及び、図６を参照し、顔方向算出手段３５が、装置本体７を正面から見た場合の左右方向と鉛直方向の両方向に垂直な前方向を基準とした撮影手段８の撮影範囲の中心の方向の方位角θａ１（図５）と、装置本体７を正面から見た場合の左右方向と鉛直方向の両方向に垂直な前方向を基準とした撮影手段８の撮影範囲の中心の方向の仰俯角θｂ１（図６）と、撮影手段８が生成する撮影画像データの左端から右端までに対応する撮影手段８の左右方向の撮影範囲の左右画角θａ２（図５）と、撮影手段８が生成する撮影画像データの上端から下端までに対応する撮影手段８の上下方向の撮影範囲の上下画角θｂ２（図６）と、画像上顔中心位置判定手段３４により判定した撮影画像データ上の顔の中心位置５０の情報（被写体の顔の中心位置５０が、左右方向の基準長さの何倍だけ離れているかを示す情報、及び、上下方向の基準長さの何倍だけ離れているかを示す情報を少なくとも含む情報）とを基に、撮影手段８の取付位置における装置本体７を正面から見た場合の左右方向と鉛直方向の両方向に垂直な前方向を基準とした人物の顔がある方向の方位角θａ３（図５）と仰俯角θｂ３（図６）を算出する。
例えば、画像上顔中心位置判定手段３４が推定した被写体の顔の中心位置５０が撮影画像データの中心Ｑ１を座標の原点とする撮影画像データの左右方向の座標軸Ｘ１と、撮影画像データの上下方向の座標軸Ｙ１で区画された４つの領域Ａ１ａ、Ａ１ｂ、Ａ１ｃ、及び、Ａ１ｄのうちの左上の領域である領域Ａ１ｄにあれば、人物の顔が、撮影手段８の撮影範囲の中心の方向よりも、装置本体７側から見て左上の方向にあることが分かる。
さらに、撮影手段８が生成する画像の左端から右端までに対応する撮影手段８の左右方向の撮影範囲の左右画角θａ２と、撮影手段８が生成する画像の上端から下端までに対応する撮影手段８の上下方向の撮影範囲の上下画角θｂ２とが、どちらも１２０度で、推定した被写体の顔の中心位置５０が撮影画像データの上下方向の座標軸Ｙ１から左右方向の基準長さの１／３倍だけ離れていると判定され、推定した被写体の顔の中心位置５０が撮影画像データの左右方向の座標軸Ｘ１から上下方向の基準長さの１／３倍だけ離れていると判定された場合は、
式（ｔａｎ（１２０°／２）＝√３）
であるから、
式（ｔａｎ（θａ１＋θａ３）＝√３／３）
式（ｔａｎ（θｂ１＋θｂ３）＝√３／３）
が導き出され、（θａ１＋θａ３）＝３０°、（θｂ１＋θｂ３）＝３０°が得られるので、人物の顔が、撮影手段８の撮影範囲の中心の方向よりも、左側に３０度、上側に３０度ずれた方向にあることが分かる。
そして、図５、図６を参照し、撮影手段８の撮影範囲の中心の方向（撮影の向き）が、装置本体７の前方よりも右方向に２５°、下方向に１５°ずれている場合、すなわち（θａ１＝２５°、θｂ１＝１５°）の場合は、人物の顔が、撮影手段８の取付位置における装置本体７の前方よりも左方向に５°、上方向に１５°ずれた方向にあること（θａ３＝５°、θｂ３＝１５°であること）が分かる。
さらに、撮影手段８が生成する画像の左端から右端までに対応する撮影手段８の左右方向の撮影範囲の左右画角θａ２と、撮影手段８が生成する画像の上端から下端までに対応する撮影手段８の上下方向の撮影範囲の上下画角θｂ２とが、どちらも１２０度で、推定した被写体の顔の中心位置５０が撮影画像データの上下方向の座標軸Ｙ１から左右方向の基準長さの１／３倍だけ離れていると判定され、推定した被写体の顔の中心位置５０が撮影画像データの左右方向の座標軸Ｘ１から上下方向の基準長さの１／３倍だけ離れていると判定された場合は、
式（ｔａｎ（１２０°／２）＝√３）
であるから、
式（ｔａｎ（θａ１＋θａ３）＝√３／３）
式（ｔａｎ（θｂ１＋θｂ３）＝√３／３）
が導き出され、（θａ１＋θａ３）＝３０°、（θｂ１＋θｂ３）＝３０°が得られるので、人物の顔が、撮影手段８の撮影範囲の中心の方向よりも、左側に３０度、上側に３０度ずれた方向にあることが分かる。
そして、図５、図６を参照し、撮影手段８の撮影範囲の中心の方向（撮影の向き）が、装置本体７の前方よりも右方向に２５°、下方向に１５°ずれている場合、すなわち（θａ１＝２５°、θｂ１＝１５°）の場合は、人物の顔が、撮影手段８の取付位置における装置本体７の前方よりも左方向に５°、上方向に１５°ずれた方向にあること（θａ３＝５°、θｂ３＝１５°であること）が分かる。
次に、三次元顔位置算出手段３６（顔位置算出手段）が、撮影手段〜顔間距離推定手段３３により推定した撮影手段８と人物の顔との距離、及び、顔方向算出手段３５により算出した撮影手段８に対して人物の顔が位置する方向、に基づいて、撮影手段８に対する人物の顔の相対的な位置を算出する。
より詳細には、三次元顔位置算出手段３６が、撮影手段〜顔間距離推定手段３３により推定した距離と、顔方向算出手段３５により算出した人物の顔がある方向の方位角θａ３と仰俯角θｂ３と、により得られた球面座標系での顔の位置情報から、装置本体７を正面から見た場合の左右方向と前後方向と鉛直方向の三次元空間の撮影手段８の取付位置を座標の原点とする直交座標系での顔の位置の座標を算出する。
より詳細には、三次元顔位置算出手段３６が、撮影手段〜顔間距離推定手段３３により推定した距離と、顔方向算出手段３５により算出した人物の顔がある方向の方位角θａ３と仰俯角θｂ３と、により得られた球面座標系での顔の位置情報から、装置本体７を正面から見た場合の左右方向と前後方向と鉛直方向の三次元空間の撮影手段８の取付位置を座標の原点とする直交座標系での顔の位置の座標を算出する。
図７は、装置本体７の前方を区画して形成した領域Ｒ１〜Ｒ９を説明するため、装置本体７を上方から見た図である。
ここで、上述したように、領域情報記録手段３７は、標準的な人物が自動販売機１に対して商品を購入するための操作をすることが可能な立ち位置を利用者判定のために最も重要な最重要領域と設定し、最重要領域に近い位置ほど重要であり、且つタッチパネル式ディスプレイ６に正対する方向に近い位置ほど重要であると重み付けをして、装置本体７の前方を装置本体７を正面から見た場合の左右方向と前後方向で区分けした複数の領域の位置情報と、複数の領域のそれぞれに対して付与した重要度情報を記憶する。
図７を用いてより具体的に説明すると、図７の例では、装置本体７の前方であって、撮影手段８によって撮影可能な範囲に、９つの領域Ｒ１〜Ｒ９がマトリックス状に区分けされている。そして、領域情報記録手段３７は、領域Ｒ１〜Ｒ９のそれぞれについて、撮影手段８の取付位置を座標の原点とする三次元空間の直交座標系の水平面における四隅の座標を記憶している。
ここで、上述したように、領域情報記録手段３７は、標準的な人物が自動販売機１に対して商品を購入するための操作をすることが可能な立ち位置を利用者判定のために最も重要な最重要領域と設定し、最重要領域に近い位置ほど重要であり、且つタッチパネル式ディスプレイ６に正対する方向に近い位置ほど重要であると重み付けをして、装置本体７の前方を装置本体７を正面から見た場合の左右方向と前後方向で区分けした複数の領域の位置情報と、複数の領域のそれぞれに対して付与した重要度情報を記憶する。
図７を用いてより具体的に説明すると、図７の例では、装置本体７の前方であって、撮影手段８によって撮影可能な範囲に、９つの領域Ｒ１〜Ｒ９がマトリックス状に区分けされている。そして、領域情報記録手段３７は、領域Ｒ１〜Ｒ９のそれぞれについて、撮影手段８の取付位置を座標の原点とする三次元空間の直交座標系の水平面における四隅の座標を記憶している。
また、領域Ｒ１〜Ｒ９のそれぞれには、重要度「１」〜重要度「５」（重要度「１」が最も重要度が高く、重要度「５」が最も重要度が低い。）の重要度情報が割り振られており、領域情報記録手段３７は、領域Ｒ１〜Ｒ９のそれぞれの重要度情報を記憶する。
重要度情報について、説明すると、領域Ｒ４は、標準的な人物が自動販売機１に対して商品を購入するための操作をすることが可能な位置に対応する領域であり、後に説明する利用者を判定のために最も重要な最重要領域と設定され、重要度情報として重要度「１」が付与されている。さらに、最重要領域に近い位置ほど重要であり、かつ、タッチパネル式ディスプレイ６に正対する方向に近い位置ほど重要であると重み付けがなされ、当該重み付けに準じて、他の領域についても重要度情報が割り振られている。すなわち、領域Ｒ１、及び、領域Ｒ７は、最重要領域たる領域Ｒ４に接するため、重要度情報として重要度「２」が割り振られている。また、領域Ｒ５は、最重要領域たる領域Ｒ４に接すると共に、タッチパネル式ディスプレイ６に正対する方向に近い位置に存在するため、重要度情報として重要度「３」が割り振られている。また、領域Ｒ２、及び、領域Ｒ８は、領域Ｒ５と比較して、タッチパネル式ディスプレイ６に正対する方向から遠い位置に存在するため、重要度情報として重要度「４」が割り振られている。また、領域Ｒ３、及び、領域Ｒ９は、最重要領域たる領域Ｒ４から離れているため、重要度情報として重要度「５」が割り振られている。
重要度情報について、説明すると、領域Ｒ４は、標準的な人物が自動販売機１に対して商品を購入するための操作をすることが可能な位置に対応する領域であり、後に説明する利用者を判定のために最も重要な最重要領域と設定され、重要度情報として重要度「１」が付与されている。さらに、最重要領域に近い位置ほど重要であり、かつ、タッチパネル式ディスプレイ６に正対する方向に近い位置ほど重要であると重み付けがなされ、当該重み付けに準じて、他の領域についても重要度情報が割り振られている。すなわち、領域Ｒ１、及び、領域Ｒ７は、最重要領域たる領域Ｒ４に接するため、重要度情報として重要度「２」が割り振られている。また、領域Ｒ５は、最重要領域たる領域Ｒ４に接すると共に、タッチパネル式ディスプレイ６に正対する方向に近い位置に存在するため、重要度情報として重要度「３」が割り振られている。また、領域Ｒ２、及び、領域Ｒ８は、領域Ｒ５と比較して、タッチパネル式ディスプレイ６に正対する方向から遠い位置に存在するため、重要度情報として重要度「４」が割り振られている。また、領域Ｒ３、及び、領域Ｒ９は、最重要領域たる領域Ｒ４から離れているため、重要度情報として重要度「５」が割り振られている。
次に、人物存在領域判定手段３８が、三次元顔位置算出手段３６により算出した直交座標系での顔の位置の座標（三次元顔位置算出手段３６により算出した撮影手段８に対する人物の顔の相対的な位置）と、領域情報記録手段３７に記憶された複数の領域Ｒ１〜Ｒ９の位置情報とを基に、顔追尾手段３１が追尾中の人物が存在する領域を判定する。
そして、人物位置推移記録手段３９は、顔追尾手段３１が追尾を行った人物毎に、人物存在領域判定手段３８が判定した領域の推移を記録する。
より詳細には、人物位置推移記録手段３９が、所定時間毎の人物存在領域判定手段３８が判定した領域、及び、各領域に付与された重要度情報を、顔追尾手段３１が追尾を行った人物毎に、人物を識別するために付与した人物識別情報Ｄ１と、人物存在領域判定手段３８が領域を判定した時刻とともに記録する。
より詳細には、人物位置推移記録手段３９が、所定時間毎の人物存在領域判定手段３８が判定した領域、及び、各領域に付与された重要度情報を、顔追尾手段３１が追尾を行った人物毎に、人物を識別するために付与した人物識別情報Ｄ１と、人物存在領域判定手段３８が領域を判定した時刻とともに記録する。
次に、利用者推定手段４０が、人物存在領域判定手段３８が判定した最新の人物が居る領域の重要度情報と、人物位置推移記録手段３９に記録された位置推移とを基に、顔追尾手段３１が追尾を行っている人物が自動販売機１を利用しようとしている人物であるか否かを推定する。
ここで、装置本体７の前方に検知した人物が位置している領域の重要度情報と、これまでの人物の位置の推移が分かれば、装置本体７の前方に検知した人物が、自動販売機１を利用しようとしている人物であるか否かを推定することが可能である。
図８（Ａ）は、利用者推定手段４０の機能を説明するために、人物位置推移記録手段３９が記録する情報の内容の一例を示す概念図である。また、図８（Ｂ）は、図８（Ａ）の情報が示す人物の位置の推移を、区画された領域との関係で示す図である。
自動販売機１を利用しようとしている人物であるか否かの推定に際し、例えば、図８（Ａ）、及び、図８（Ｂ）に示すように、装置本体７の前方に位置する人物が、徐々に領域の重要度が高くなるようにその位置を推移させると共に、最新の人物が居る領域の重要度情報が、重要度「１」であるとする。このような場合、その人物は、自動販売機１を利用しようとしている者であると推定できる。逆に、人物が、重要度が低い領域を直線的に移動したり、また、徐々に領域の重要度が低くなるようにその位置を推移させたりしているような場合は、自動販売機１を利用しようとしていない者であると推定できる。
このように、本実施形態では、区画した領域のそれぞれについて、商品を購入するための操作をすることが可能な立ち位置を利用者判定のために最も重要な最重要領域と設定し、最重要領域に近い位置ほど重要であり、且つタッチパネル式ディスプレイ６に正対する方向に近い位置ほど重要であると重み付けをして、重要度情報を付与する。すなわち、自動販売機１がタッチパネル式ディスプレイ６を有していることを踏まえて、自動販売機１を利用する蓋然性の高さ、という観点から、領域のそれぞれに、適切な重要度情報を付与する。その上で、自動販売機１の前方を移動する人物について、人物の位置の推移（位置する領域の推移）のみならず、位置の推移に伴う重要度情報の推移に基づいて、当該人物が自動販売機１を利用しようとしている者であるか否かを判別する。このため、より的確に当該推定を実行することができる。
ここで、装置本体７の前方に検知した人物が位置している領域の重要度情報と、これまでの人物の位置の推移が分かれば、装置本体７の前方に検知した人物が、自動販売機１を利用しようとしている人物であるか否かを推定することが可能である。
図８（Ａ）は、利用者推定手段４０の機能を説明するために、人物位置推移記録手段３９が記録する情報の内容の一例を示す概念図である。また、図８（Ｂ）は、図８（Ａ）の情報が示す人物の位置の推移を、区画された領域との関係で示す図である。
自動販売機１を利用しようとしている人物であるか否かの推定に際し、例えば、図８（Ａ）、及び、図８（Ｂ）に示すように、装置本体７の前方に位置する人物が、徐々に領域の重要度が高くなるようにその位置を推移させると共に、最新の人物が居る領域の重要度情報が、重要度「１」であるとする。このような場合、その人物は、自動販売機１を利用しようとしている者であると推定できる。逆に、人物が、重要度が低い領域を直線的に移動したり、また、徐々に領域の重要度が低くなるようにその位置を推移させたりしているような場合は、自動販売機１を利用しようとしていない者であると推定できる。
このように、本実施形態では、区画した領域のそれぞれについて、商品を購入するための操作をすることが可能な立ち位置を利用者判定のために最も重要な最重要領域と設定し、最重要領域に近い位置ほど重要であり、且つタッチパネル式ディスプレイ６に正対する方向に近い位置ほど重要であると重み付けをして、重要度情報を付与する。すなわち、自動販売機１がタッチパネル式ディスプレイ６を有していることを踏まえて、自動販売機１を利用する蓋然性の高さ、という観点から、領域のそれぞれに、適切な重要度情報を付与する。その上で、自動販売機１の前方を移動する人物について、人物の位置の推移（位置する領域の推移）のみならず、位置の推移に伴う重要度情報の推移に基づいて、当該人物が自動販売機１を利用しようとしている者であるか否かを判別する。このため、より的確に当該推定を実行することができる。
なお、人物の顔の大きな看板が、撮影手段８の撮影範囲内に存在した場合であれば、顔の位置が変化しないことから、自動販売機１を利用しようとしている人物でないと判断できる。
また、本発明の自動販売機１では、装置本体７(撮影手段８)とは全く違う方向を向いて装置本体７の前方を通過しようとする人物を検出できない可能性があるが、装置本体７（撮影手段８）とは全く違う方向を向いて装置本体７の前方を通過しようとする人物は、通過者となる可能性がかなり高いので、そのような人物を検出できなくても問題とはならない。したがって、装置本体７の前方を撮影する一つの撮影手段８により得られた画像から、自動販売機１の前方に居る人物を検出して、その検出した人物の最新の位置情報と、これまでの位置情報の推移を基に、自動販売機１の前方に検出した人物が利用者であるか否かを推定できる。
また、本発明の自動販売機１では、装置本体７(撮影手段８)とは全く違う方向を向いて装置本体７の前方を通過しようとする人物を検出できない可能性があるが、装置本体７（撮影手段８）とは全く違う方向を向いて装置本体７の前方を通過しようとする人物は、通過者となる可能性がかなり高いので、そのような人物を検出できなくても問題とはならない。したがって、装置本体７の前方を撮影する一つの撮影手段８により得られた画像から、自動販売機１の前方に居る人物を検出して、その検出した人物の最新の位置情報と、これまでの位置情報の推移を基に、自動販売機１の前方に検出した人物が利用者であるか否かを推定できる。
以上説明したように、本実施形態に係る自動販売機１では、１つの撮影画像データが生成した撮影画像データに基づいて、人物が、どの領域に存在しているのかを的確に検出でき、かつ、位置の推移（領域の推移）を的確に検出できる。特に、本実施形態によれば、撮影手段８を、装置本体７に対して上下、左右方向に傾けて設置した場合であっても、その傾きを反映して、的確に位置の検出（位置する領域の検出）を可能である。このため、本発明の自動販売機１では、撮影手段８の取付位置と取付角度の自由度が高く、一つの撮影手段８の他に人物を検出するための手段を自動販売機の前面に設ける必要がないので、自動販売機１の前面のデザインやディスプレイ装置の大きさ及び配置の制限を少なくできる。
また、自動販売機１に係る発明は、上述した発明に加えて、利用者の位置推移パターンを記憶する利用者位置推移パターン記憶手段４１と、通過者（自動販売機１を利用することなく、その前方を通過した者）の位置推移パターンを記億する通過者位置推移パターン記憶手段４２とを備え、利用者推定手段４０は、顔追尾手段３１が追尾を行っている人物が自動販売機１を利用しようとしている人物であるか否かを推定する際に、人物位置推移記録手段３９に記録された位置推移を、利用者位置推移パターン記憶手段４１と通過者位置推移パターン記憶手段４２に記憶された位置推移パターンと比較する。
より詳細には、自動販売機１の利用者の装置本体７の前方における位置の推移、及び、通過者の位置の推移は、それぞれ、類型化してパターンとして捉えることが可能である。これを踏まえ、利用者位置推移パターン記憶手段４１は、利用者の位置の推移のパターンを示す情報を、１又は複数、記憶する。同様に、通過者位置推移パターン記憶手段４２は、通過者の位置の推移のパターンを示す情報を、１又は複数、記憶する。そして、利用者推定手段４０は、顔追尾手段３１が追尾を行なっている人物について検出した位置の推移と、各記憶手段に記憶されたパターンとの比較結果に基づいて、当該人物が、自動販売機１の利用者であるか、又は、通過者であるかを推定する。
この構成によれば、パターンとの比較に基づいて、装置本体７の前方に位置する人物が、自動販売機１の利用者であるか、又は、通過者であるかを推定するため、当該推定の精度を向上させることが可能である。
より詳細には、自動販売機１の利用者の装置本体７の前方における位置の推移、及び、通過者の位置の推移は、それぞれ、類型化してパターンとして捉えることが可能である。これを踏まえ、利用者位置推移パターン記憶手段４１は、利用者の位置の推移のパターンを示す情報を、１又は複数、記憶する。同様に、通過者位置推移パターン記憶手段４２は、通過者の位置の推移のパターンを示す情報を、１又は複数、記憶する。そして、利用者推定手段４０は、顔追尾手段３１が追尾を行なっている人物について検出した位置の推移と、各記憶手段に記憶されたパターンとの比較結果に基づいて、当該人物が、自動販売機１の利用者であるか、又は、通過者であるかを推定する。
この構成によれば、パターンとの比較に基づいて、装置本体７の前方に位置する人物が、自動販売機１の利用者であるか、又は、通過者であるかを推定するため、当該推定の精度を向上させることが可能である。
また、自動販売機１に係る発明は、上述した発明に加えて、自動販売機１に対して操作が行われた場合に、その操作の操作内容と、操作が行なわれた時刻を記録する操作記録手段４３と、操作記録手段４３の記録内容と、人物位置推移記録手段３９の記録内容とを比較して、人物位置推移記録手段３９に記録された位置推移の中から自動販売機１に対して商品を購入するための操作を行った人物の位置推移を、操作内容と共に利用者位置推移パターン記憶手段に記憶させる利用者情報登録手段４４とを備えたものである。なお、自動販売機１に対する操作には、少なくとも、自動販売機１が販売する商品を購入するための操作が含まれている。
なお、操作記録手段４３は、入力部１７からの入力に基づいて、自動販売機１に対する操作、及び、その操作内容を検出する。
この構成によれば、自動販売機１に対して操作が行われた場合に、操作内容と操作時刻が操作記録手段４３に記憶され、利用者情報登録手段４４が、操作記録手段４３の記録内容と人物位置推移記録手段３９の記録内容とを比較して、人物位置推移記録手段３９に記録された位置推移の中から、自動販売機１に対して操作を行った人物の位置推移を選択して、操作内容と共に利用者位置推移パターン記憶手段４１に記憶するので、利用者位置推移パターン記憶手段４１に記憶される利用者の位置の推移のパターンについて、利用者の実際の位置の推移を反映させることができ、利用者推定手段４０による自動販売機１を利用しようとしている人物であるか否かの推定の精度を向上させることができる。また、利用者位置推移パターン記憶手段４１に蓄積された自動販売機の利用者の行動パターンからタッチパネル式ディスプレイ６付き自動販売機１またはディスプレイ装置２の表示内容に対する関心度の情報を得ることができる。
なお、操作記録手段４３は、入力部１７からの入力に基づいて、自動販売機１に対する操作、及び、その操作内容を検出する。
この構成によれば、自動販売機１に対して操作が行われた場合に、操作内容と操作時刻が操作記録手段４３に記憶され、利用者情報登録手段４４が、操作記録手段４３の記録内容と人物位置推移記録手段３９の記録内容とを比較して、人物位置推移記録手段３９に記録された位置推移の中から、自動販売機１に対して操作を行った人物の位置推移を選択して、操作内容と共に利用者位置推移パターン記憶手段４１に記憶するので、利用者位置推移パターン記憶手段４１に記憶される利用者の位置の推移のパターンについて、利用者の実際の位置の推移を反映させることができ、利用者推定手段４０による自動販売機１を利用しようとしている人物であるか否かの推定の精度を向上させることができる。また、利用者位置推移パターン記憶手段４１に蓄積された自動販売機の利用者の行動パターンからタッチパネル式ディスプレイ６付き自動販売機１またはディスプレイ装置２の表示内容に対する関心度の情報を得ることができる。
次に、分析用情報生成記録手段２２について説明する。
ここで、自動販売機１の前方に位置する人物について、自動販売機１の前方におけるその人物の位置の推移（その人物の移動の経路）と、その人物の自動販売機１に対する動作との間には、一定の関係性があることが想定される。なお、「自動販売機１に対する動作」とは、例えば、自動販売機１に対するタッチ操作（商品の選択及び商品の購入のためのタッチ操作のみならず、画面遷移のためのタッチ操作や、自動販売機１がタッチパネル式ディスプレイ６を介して提供するエンターテイメントを利用する際のタッチ操作等を含む）や、入金、商品の購入等のことであり、特に、本実施形態では、自動販売機１に対して何ら操作を行なわないことも、「自動販売機１に対する動作」として捉えるものとする。
ここで、自動販売機１の前方に位置する人物について、自動販売機１の前方におけるその人物の位置の推移（その人物の移動の経路）と、その人物の自動販売機１に対する動作との間には、一定の関係性があることが想定される。なお、「自動販売機１に対する動作」とは、例えば、自動販売機１に対するタッチ操作（商品の選択及び商品の購入のためのタッチ操作のみならず、画面遷移のためのタッチ操作や、自動販売機１がタッチパネル式ディスプレイ６を介して提供するエンターテイメントを利用する際のタッチ操作等を含む）や、入金、商品の購入等のことであり、特に、本実施形態では、自動販売機１に対して何ら操作を行なわないことも、「自動販売機１に対する動作」として捉えるものとする。
自動販売機１の前方における人物の位置の推移と、その人物の自動販売機１に対する動作との関係性について例を挙げて説明すると、例えば、ある特定の位置推移パターンに準じて位置を推移させた人物は商品を購入する可能性が高く、また別の特定の位置推移パターンに準じて位置を推移させた人物は商品を購入する可能性が低い、といった関連性があるものと想定される。
そして、分析用情報生成記録手段２２は、自動販売機１の前方に位置する人物について、その人物の位置の推移と、その人物の自動販売機１に対する動作との関係を後に分析できるデータを生成し記憶する機能ブロックであり、具体的には、分析用データＤを生成し、記憶部１８の所定の記憶領域に記憶する。
そして、分析用情報生成記録手段２２は、自動販売機１の前方に位置する人物について、その人物の位置の推移と、その人物の自動販売機１に対する動作との関係を後に分析できるデータを生成し記憶する機能ブロックであり、具体的には、分析用データＤを生成し、記憶部１８の所定の記憶領域に記憶する。
図９は、分析用データＤのデータ構造を模式的に示す図である。
図９に示すように、分析用データＤは、人物識別情報Ｄ１と、人物行動情報Ｄ２と、人物属性情報Ｄ３と、環境情報Ｄ４と、を含んで構成されている。
人物識別情報Ｄ１は、上述したとおり、顔追尾手段３１が追尾した人物ごとに、一意に付与される識別情報である。つまり、本実施形態では、顔追尾手段３１が追尾した人物ごと（装置本体７の前方に位置した人物ごと）に、人物識別情報Ｄ１が付与され、かつ、人物ごとに人物識別情報Ｄ１を識別子とする分析用データＤが生成される。
図９に示すように、分析用データＤは、人物識別情報Ｄ１と、人物行動情報Ｄ２と、人物属性情報Ｄ３と、環境情報Ｄ４と、を含んで構成されている。
人物識別情報Ｄ１は、上述したとおり、顔追尾手段３１が追尾した人物ごとに、一意に付与される識別情報である。つまり、本実施形態では、顔追尾手段３１が追尾した人物ごと（装置本体７の前方に位置した人物ごと）に、人物識別情報Ｄ１が付与され、かつ、人物ごとに人物識別情報Ｄ１を識別子とする分析用データＤが生成される。
人物行動情報Ｄ２は、少なくとも、装置本体７の前方における人物の位置の推移を示す情報、及び、人物の自動販売機１に対する動作を示す情報を含む情報である。
図１０（Ａ）は、本実施形態における人物行動情報Ｄ２の内容の利用者の一例を示す概念図であり、図１０（Ｂ）本実施形態における人物行動情報Ｄ２の内容の通過者の一例を示す概念図である。
図１０（Ａ）、（Ｂ）に示すように、人物行動情報Ｄ２は、時刻と、その時刻に人物が位置している領域を示す情報と、その領域の重要度情報と、その時刻に人物が自動販売機１に対して行なった動作と、を対応付けた情報である。つまり、人物行動情報Ｄ２は、装置本体７の前方における人間の位置の推移と、当該人間が自動販売機１に対して行なった動作とを対応付けた情報である。
図１０（Ａ）、（Ｂ）に示すように、人物が自動販売機１に対して何らかの操作を行なった場合は、人物行動情報Ｄ２において、その操作のそれぞれが、時刻と対応付けられ、人物が自動販売機１に対して何ら操作を行なわなかった場合、その旨を示す情報が時刻と対応付けられる。
分析用情報生成記録手段２２は、人物位置推移記録手段３９の記録内容、操作記録手段４３の記録内容、及び、領域情報記録手段３７の記録内容に基づいて、顔追尾手段３１が追尾した人物ごとに、人物行動情報Ｄ２を生成する。
なお、上述したように、人物の自動販売機１に対する操作は、入力部１７が検出し、その操作内容を示す情報と共に、制御部１５に出力する。各機能ブロックは、この入力部１７からの入力に基づいて、自動販売機１に対する操作を検出可能である。
図１０（Ａ）は、本実施形態における人物行動情報Ｄ２の内容の利用者の一例を示す概念図であり、図１０（Ｂ）本実施形態における人物行動情報Ｄ２の内容の通過者の一例を示す概念図である。
図１０（Ａ）、（Ｂ）に示すように、人物行動情報Ｄ２は、時刻と、その時刻に人物が位置している領域を示す情報と、その領域の重要度情報と、その時刻に人物が自動販売機１に対して行なった動作と、を対応付けた情報である。つまり、人物行動情報Ｄ２は、装置本体７の前方における人間の位置の推移と、当該人間が自動販売機１に対して行なった動作とを対応付けた情報である。
図１０（Ａ）、（Ｂ）に示すように、人物が自動販売機１に対して何らかの操作を行なった場合は、人物行動情報Ｄ２において、その操作のそれぞれが、時刻と対応付けられ、人物が自動販売機１に対して何ら操作を行なわなかった場合、その旨を示す情報が時刻と対応付けられる。
分析用情報生成記録手段２２は、人物位置推移記録手段３９の記録内容、操作記録手段４３の記録内容、及び、領域情報記録手段３７の記録内容に基づいて、顔追尾手段３１が追尾した人物ごとに、人物行動情報Ｄ２を生成する。
なお、上述したように、人物の自動販売機１に対する操作は、入力部１７が検出し、その操作内容を示す情報と共に、制御部１５に出力する。各機能ブロックは、この入力部１７からの入力に基づいて、自動販売機１に対する操作を検出可能である。
人物属性情報Ｄ３とは、人物の属性を示す情報である。人物の属性とは、例えば、性別や、年齢層等、人物の特徴、性質を示す情報のことである。分析用情報生成記録手段２２は、１の人物の分析用データＤの生成に際し、当該１の人物の顔の画像を含む撮影画像データを取得し、所定の画像処理により、当該１の人物の性別や、年齢層を推定し、当該１の人物の人物属性情報Ｄ３を生成する。撮影画像データに基づいて、人物の性別や、年齢層を推定する画像処理はどのような技術を利用してもよく、また、人物の属性は、性別や、年齢層に限らない。
環境情報Ｄ４とは、人物が装置本体７の前方に位置していたときの環境を示す情報である。環境とは、例えば、天気や、温度、湿度、平日／休日の区分等を示す情報のことである。分析用情報生成記録手段２２は、所定のセンサ（例えば、装置本体７の周囲の温度を検出する温度センサ）の検出値に基づいて環境情報Ｄ４を取得してもよく、また、通信によって環境情報Ｄ４を取得するようにしてもよい。また、環境を示す情報は、例を挙げたものに限らない。
環境情報Ｄ４とは、人物が装置本体７の前方に位置していたときの環境を示す情報である。環境とは、例えば、天気や、温度、湿度、平日／休日の区分等を示す情報のことである。分析用情報生成記録手段２２は、所定のセンサ（例えば、装置本体７の周囲の温度を検出する温度センサ）の検出値に基づいて環境情報Ｄ４を取得してもよく、また、通信によって環境情報Ｄ４を取得するようにしてもよい。また、環境を示す情報は、例を挙げたものに限らない。
このように本実施形態では、分析用情報生成記録手段２２は、顔追尾手段３１が追尾した人物のそれぞれについて、分析用データＤを生成し、累積的に記憶する。
そして、分析用データＤに含まれる人物行動情報Ｄ２では、装置本体７の前方における人物の位置の推移と、その人物の自動販売機１に対する動作が対応付けられている。
このため、例えば、所定の統計学的手法等を用いて、累積的に記憶した分析用データＤを分析することにより、人物の位置の推移と、動作との関係性を検出することができ、例えば、あるパターンに準じてその位置が推移した者は、特定の行動を行なう傾向がある等の分析が可能となる。
例えば、位置推移に係るパターンＡに準じて位置を推移させた人物は、ホットコーヒーを買う傾向にある傾向があり、また、パターンＢに準じて位置（位置する領域）を推移させた人物は、商品を購入しない傾向があり、また、パターンＣに準じて位置（位置する領域）を推移させた人物は、自動販売機１に対してタッチ操作はするものの商品を購入しない傾向がある、等のことを検出可能となる。
特に、本実施形態では、分析用データＤには、推移した領域の重要度情報が含まれているため、この重要度情報を用いて、人物の位置の推移と、動作との関係性をより詳細に分析できる。例えば、あるパターンに準じて重要度情報が推移した場合、特定の操作を人物が行なう傾向がある等、重要度情報の推移と、動作との関係を分析することが可能となる。
また、本実施形態では、分析用データＤにおいて、人物の属性が対応付けられるため、人物の行為の分析に際し、人物の属性を踏まえて、その行動を分析可能となり、より有益な情報を取得可能となる。例えば、位置推移に係るパターンＤに準じて位置を推移させた人物が男性である場合はアイスコーヒーを購入する傾向がある一方、女性である場合はホットコーヒーを購入する傾向がある等の分析が可能となる。
また、本実施形態では、分析用データＤにおいて、環境を示す情報が対応付けられるため、人物の行為の分析に際し、環境を踏まえて、その行動を分析可能となり、より有益な情報を取得可能である。
そして、分析用データＤに含まれる人物行動情報Ｄ２では、装置本体７の前方における人物の位置の推移と、その人物の自動販売機１に対する動作が対応付けられている。
このため、例えば、所定の統計学的手法等を用いて、累積的に記憶した分析用データＤを分析することにより、人物の位置の推移と、動作との関係性を検出することができ、例えば、あるパターンに準じてその位置が推移した者は、特定の行動を行なう傾向がある等の分析が可能となる。
例えば、位置推移に係るパターンＡに準じて位置を推移させた人物は、ホットコーヒーを買う傾向にある傾向があり、また、パターンＢに準じて位置（位置する領域）を推移させた人物は、商品を購入しない傾向があり、また、パターンＣに準じて位置（位置する領域）を推移させた人物は、自動販売機１に対してタッチ操作はするものの商品を購入しない傾向がある、等のことを検出可能となる。
特に、本実施形態では、分析用データＤには、推移した領域の重要度情報が含まれているため、この重要度情報を用いて、人物の位置の推移と、動作との関係性をより詳細に分析できる。例えば、あるパターンに準じて重要度情報が推移した場合、特定の操作を人物が行なう傾向がある等、重要度情報の推移と、動作との関係を分析することが可能となる。
また、本実施形態では、分析用データＤにおいて、人物の属性が対応付けられるため、人物の行為の分析に際し、人物の属性を踏まえて、その行動を分析可能となり、より有益な情報を取得可能となる。例えば、位置推移に係るパターンＤに準じて位置を推移させた人物が男性である場合はアイスコーヒーを購入する傾向がある一方、女性である場合はホットコーヒーを購入する傾向がある等の分析が可能となる。
また、本実施形態では、分析用データＤにおいて、環境を示す情報が対応付けられるため、人物の行為の分析に際し、環境を踏まえて、その行動を分析可能となり、より有益な情報を取得可能である。
なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、上述した実施形態では、自動販売機１が画像解析手段２１、及び、分析用情報生成記録手段２２を備える構成であったが、これら機能ブロックの機能を、自動販売機１の撮影手段８が生成した撮影画像データを取得可能な外部機器、例えば、インターネット等のネットワークを介して通信可能なサーバー装置が備える構成であってもよい。
すなわち、外部機器に、画像解析手段２１、及び、分析用情報生成記録手段２２の各機能を実装する。次に、外部機器は、自動販売機１から通信、その他の手段を介して、撮影手段８が生成した撮影画像データを取得する。次に、外部機器は、実装された画像解析手段２１及び分析用情報生成記録手段２２の機能を利用して、撮影画像データに基づいて、上述した実施形態で説明した各種処理を実行する。この場合、自動販売機１と外部機器とが協働して「商品販売装置」として機能する。
このような構成とすることにより、自動販売機１の処理負荷を低減できると共に、自動販売機１の制御に係るプログラムの複雑化を抑制できる。また、例えば、外部機器にネットワークを介して複数の自動販売機１を接続することにより、複数の自動販売機１のそれぞれを、集中管理することが可能となり、例えば、自動販売機１のそれぞれに係る分析用データＤを比較しつつ分析することが可能となる。
例えば、上述した実施形態では、自動販売機１が画像解析手段２１、及び、分析用情報生成記録手段２２を備える構成であったが、これら機能ブロックの機能を、自動販売機１の撮影手段８が生成した撮影画像データを取得可能な外部機器、例えば、インターネット等のネットワークを介して通信可能なサーバー装置が備える構成であってもよい。
すなわち、外部機器に、画像解析手段２１、及び、分析用情報生成記録手段２２の各機能を実装する。次に、外部機器は、自動販売機１から通信、その他の手段を介して、撮影手段８が生成した撮影画像データを取得する。次に、外部機器は、実装された画像解析手段２１及び分析用情報生成記録手段２２の機能を利用して、撮影画像データに基づいて、上述した実施形態で説明した各種処理を実行する。この場合、自動販売機１と外部機器とが協働して「商品販売装置」として機能する。
このような構成とすることにより、自動販売機１の処理負荷を低減できると共に、自動販売機１の制御に係るプログラムの複雑化を抑制できる。また、例えば、外部機器にネットワークを介して複数の自動販売機１を接続することにより、複数の自動販売機１のそれぞれを、集中管理することが可能となり、例えば、自動販売機１のそれぞれに係る分析用データＤを比較しつつ分析することが可能となる。
また例えば、各種処理の内容や、各種データのデータ構造や、情報の内容等について具体例を挙げて説明したが、具体例に限られないことは言うまでもない。例えば、装置本体７の前方の領域の態様は、図７を用いて説明した領域の態様に限られるものではなく、また例えば、分析用データＤの内容は、図９、及び、図１０を用いて説明した内容に限られるものではない。
また例えば、図２、図３に示す各機能ブロックはハードウェアとソフトウェアの協働により任意に実現可能であり、特定のハードウェア構成、ソフトウェア構成を示唆するものではない。
また例えば、上述した実施形態では、自動販売機１は、人間の位置の推移を、人間が位置した領域の推移として検出していたが、検出する人間の位置の推移の態様は、これに限らない。例えば、自動販売機１は、直交座標系における、人間の顔の位置の座標の推移を、人間の位置の推移として検出するようにしてもよい。すなわち、自動販売機１の前方における人間の移動に関する情報であればよい。
また例えば、図２、図３に示す各機能ブロックはハードウェアとソフトウェアの協働により任意に実現可能であり、特定のハードウェア構成、ソフトウェア構成を示唆するものではない。
また例えば、上述した実施形態では、自動販売機１は、人間の位置の推移を、人間が位置した領域の推移として検出していたが、検出する人間の位置の推移の態様は、これに限らない。例えば、自動販売機１は、直交座標系における、人間の顔の位置の座標の推移を、人間の位置の推移として検出するようにしてもよい。すなわち、自動販売機１の前方における人間の移動に関する情報であればよい。
本発明は、装置本体の前に位置する人物が、商品販売装置を利用しようとしている人物であるかをより的確に推定できるようになるため、自動販売機に限らず、ショーケース、保温庫、冷蔵庫、冷凍庫、商品を陳列する陳列棚に係る装置等、商品を収納し、販売する装置に広く適用することができる。
１ 自動販売機（商品販売装置）
２ ディスプレイ装置
６ タッチパネル式ディスプレイ
７ 装置本体
８ 撮影手段
９ アンテナ
１５ 制御部
１６ 出力部
１７ 入力部
１８ 記憶部
１９ 通信ユニット
２１ 画像解析手段
２２ 分析用情報生成記録手段
３０ 顔検知手段
３１ 顔追尾手段
３２ 画像大きさ推定手段
３３ 撮影手段〜顔間距離推定手段（顔距離推定手段）
３４ 画像上顔中心位置判定手段（画像上顔位置判定手段）
３５ 顔方向算出手段
３６ 三次元顔位置算出手段（顔位置算出手段）
３７ 領域情報記録手段
３８ 人物存在領域判定手段
３９ 人物位置推移記録手段
４０ 利用者推定手段
４１ 利用者位置推移パターン記憶手段
４２ 通過者位置推移パターン記憶手段
４３ 操作記録手段
４４ 利用者情報登録手段
２ ディスプレイ装置
６ タッチパネル式ディスプレイ
７ 装置本体
８ 撮影手段
９ アンテナ
１５ 制御部
１６ 出力部
１７ 入力部
１８ 記憶部
１９ 通信ユニット
２１ 画像解析手段
２２ 分析用情報生成記録手段
３０ 顔検知手段
３１ 顔追尾手段
３２ 画像大きさ推定手段
３３ 撮影手段〜顔間距離推定手段（顔距離推定手段）
３４ 画像上顔中心位置判定手段（画像上顔位置判定手段）
３５ 顔方向算出手段
３６ 三次元顔位置算出手段（顔位置算出手段）
３７ 領域情報記録手段
３８ 人物存在領域判定手段
３９ 人物位置推移記録手段
４０ 利用者推定手段
４１ 利用者位置推移パターン記憶手段
４２ 通過者位置推移パターン記憶手段
４３ 操作記録手段
４４ 利用者情報登録手段
Claims (12)
- 商品を収納する装置本体と、
商品に関する情報を表示するディスプレイ装置と、
前記装置本体の前方を撮影して画像を生成する撮影手段と、
前記撮影手段により生成された前記画像に基づいて、前記装置本体の前方における人物の位置の推移を検出する人物位置推移検出手段と、
前記装置本体の前方を複数の領域に区画し、区画した各領域に対して重要度情報を付与し、この重要度情報と、人物の位置の推移とに基づいて、人物が前記装置本体を利用する人物か否かを推定する利用者推定手段と、
を備えた商品販売装置。 - 重要度情報は、
前記装置本体に対して操作をすることが可能な位置と各前記領域との位置関係、又は、前記ディスプレイ装置と各前記領域との位置関係を踏まえて、各領域に付与される請求項１に記載の商品販売装置。 - 前記人物位置推移検出手段は、
前記画像内に人物の顔と判別できる被写体が写っているか否かを判別することにより、前記撮影手段の撮影範囲内に人物の顔があることを検知する顔検知手段と、
前記顔検知手段が人物の顔と判別した被写体は人物の顔であると認定して、人物の顔であると認定した被写体を前記画像上で追尾する顔追尾手段と、
人物の顔であると認定した被写体の顔全体の画像の大きさを推定する顔画像大きさ推定手段と、
前記顔画像大きさ推定手段により推定した被写体の顔全体の画像の大きさに基づいて、前記撮影手段と人物の顔との距離を推定する顔距離推定手段と、
人物の顔であると認定した被写体の顔の画像の、前記画像上の位置を判定する画像上顔位置判定手段と、
前記画像上顔位置判定手段により判定した、前記被写体の顔の画像の前記画像上の位置と、前記撮影手段の画角とに基づいて、前記撮影手段に対して人物の顔が位置する方向を算出する顔方向算出手段と、
前記顔距離推定手段により推定した前記撮影手段と人物の顔との距離、及び、前記顔方向算出手段により算出した前記撮影手段に対して人物の顔が位置する方向、に基づいて、前記撮影手段に対する人物の顔の相対的な位置を算出する顔位置算出手段と、
区画した複数の前記領域の位置情報を記億した領域情報記録手段と、
前記顔位置算出手段により算出した前記撮影手段に対する人物の顔の相対的な位置と、前記領域情報記録手段に記憶された複数の前記領域の位置情報とを基に、前記顔追尾手段が追尾中の人物が存在する領域を判定する人物存在領域判定手段と、
前記顔追尾手段が追尾を行った人物毎に、前記人物存在領域判定手段が判定した領域の推移を記録する人物位置推移記録手段と、
を備える請求項１または２に記載の商品販売装置。 - 前記利用者推定手段は、
前記人物存在領域判定手段が判定した前記領域の重要度情報と、前記人物位置推移記録手段に記録された位置推移とを基に、前記顔追尾手段が追尾を行っている人物が前記装置本体を利用しようとしている人物であるか否かを推定する請求項３に記載の商品販売装置。 - 利用者の位置推移パターンを記憶する利用者位置推移パターン記憶手段と、通過者の位置推移パターンを記憶する通過者位置推移パターン記憶手段と、をさらに備え、
前記利用者推定手段は、
前記顔追尾手段が追尾を行っている人物が前記装置本体を利用しようとしている人物であるか否かを推定する際に、前記人物位置推移記録手段に記録された位置推移を、前記利用者位置推移パターン記憶手段と前記通過者位置推移パターン記憶手段に記憶された位置推移パターンと比較する請求項３または請求項４に記載の商品販売装置。 - 前記装置本体に対して操作が行われた場合に操作内容と操作時刻を記録する操作記録手段と、
前記操作記録手段の記録内容と前記人物位置推移記録手段の記録内容とを比較して、前記人物位置推移記録手段に記録された位置推移の中から前記装置本体に対して操作を行った人物の位置推移を、操作内容と共に前記利用者位置推移パターン記憶手段に記憶させる利用者情報登録手段と、を備えた請求項５に記載の商品販売装置。 - 前記顔検知手段は、
前記画像内に人物の顔の少なくとも一部と判別できる被写体が写っているか否かを判別して、人物の顔の少なくとも一部と判別できる被写体が写っている場合に、前記撮影手段の撮影範囲内に人物の顔があることを検知する請求項３〜６のいずれか１項に記載の商品販売装置。 - 前記顔距離推定手段は、
前記顔画像大きさ推定手段により推定した被写体の顔全体の画像の大きさと、前記撮影手段から基準距離だけ離れた標準的な人物の顔を前記撮影手段で撮影した場合の前記画像の顔全体の画像の大きさに相当する基準値との比較結果を基に、前記撮影手段と人物の顔との距離を推定する請求項３〜７のいずれか１項に記載の商品販売装置。 - 前記画像上顔位置判定手段は、
前記画像における人物の顔であると認定した被写体の被写体画像から、人物の顔であると認定した被写体の顔の中心位置を推定し、前記推定した被写体の顔の中心位置が前記画像の中心を座標の原点とする前記画像の左右方向の座標軸と前記画像の上下方向の座標軸で区画された４つの領域のうちのどの領域にあるかの判定と、前記画像の中心から前記画像の左右方向の両端までの長さを前記画像の左右方向の基準長さとした場合に、前記推定した被写体の顔の中心位置が前記画像の上下方向の座標軸から前記左右方向の基準長さの何倍だけ離れているかの判定と、前記画像の中心から前記画像の上下方向の両端までの長さを前記画像の上下方向の基準長さとした場合に、前記推定した被写体の顔の中心位置が前記画像の左右方向の座標軸から前記上下方向の基準長さの何倍だけ離れているかの判定とを行い、
前記顔方向算出手段は、
前記装置本体を正面から見た場合の左右方向と鉛直方向の両方向に垂直な前方向を基準とした前記撮影手段の撮影範囲の中心の方向の方位角と、前記装置本体を正面から見た場合の左右方向と鉛直方向の両方向に垂直な前方向を基準とした前記撮影手段の撮影範囲の中心の方向の仰俯角と、前記撮影手段が生成する前記画像の上端から下端までに対応する前記撮影手段の上下方向の撮影範囲の上下画角と、前記撮影手段が生成する前記画像の左端から右端までに対応する前記撮影手段の左右方向の撮影範囲の左右画角と、前記画像上顔位置判定手段により判定した前記画像上の顔中心位置の情報とを基に、前記撮影手段の取付位置における前記装置本体を正面から見た場合の左右方向と鉛直方向の両方向に垂直な前方向を基準とした人物の顔がある方向の方位角と仰俯角を算出し、
顔位置算出手段は、
前記顔距離推定手段により推定した距離と前記顔方向算出手段により算出した人物の顔がある方向の方位角と仰俯角とにより得られた球面座標系での顔の位置情報から、前記装置本体を正面から見た場合の左右方向と前後方向と鉛直方向の三次元空間の前記撮影手段の取付位置を座標の原点とする直交座標系での顔の位置の座標を算出し、
前記人物存在領域判定手段は、
前記顔位置算出手段により算出した直交座標系での顔の位置の座標と前記領域情報記録手段に記憶された複数の領域の位置情報とを基に前記顔追尾手段が追尾中の人物が存在する領域を判定する請求項３〜８のいずれか１項に記載の商品販売装置。 - 商品を収納する装置本体と、
商品に関する情報を表示するディスプレイ装置と、
前記装置本体の前方を撮影して画像を生成する撮影手段と、
前記撮影手段により生成された前記画像に基づいて、前記装置本体の前方における人物の位置の推移を検出する人物位置推移検出手段と、
前記人物位置推移検出手段により検出された人物の位置の推移と、当該人物の前記装置本体に対する動作とを対応付けて記憶する分析用情報生成記録手段と、
を備えた商品販売装置。 - 前記人物位置推移検出手段は、
前記装置本体の前方を複数の領域に区画し、前記撮影手段により生成された前記画像に基づいて、人物が位置する前記領域の推移を検出し、
前記分析用情報生成記録手段は、
前記人物位置推移検出手段により検出された人物が位置する前記領域の推移と、当該人物の前記装置本体に対する動作とを対応付けて記憶する請求項１０に記載の商品販売装置。 - 前記人物位置推移検出手段は、
区画した各前記領域に対して重要度情報を付与し、人物が位置する前記領域の推移と共に、当該人物が推移した前記領域の重要度情報を検出し、
前記分析用情報生成記録手段は、
前記人物位置推移検出手段により検出された人物が位置する前記領域の推移と、当該人物の前記装置本体に対する動作と、当該人物が推移した前記領域の重要度情報と、を対応付けて記憶する請求項１１に記載の商品販売装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013048641A JP6176563B2 (ja) | 2013-03-12 | 2013-03-12 | 商品販売装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013048641A JP6176563B2 (ja) | 2013-03-12 | 2013-03-12 | 商品販売装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014174859A JP2014174859A (ja) | 2014-09-22 |
| JP6176563B2 true JP6176563B2 (ja) | 2017-08-09 |
Family
ID=51695987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013048641A Active JP6176563B2 (ja) | 2013-03-12 | 2013-03-12 | 商品販売装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6176563B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018107597A (ja) * | 2016-12-26 | 2018-07-05 | 日本電気株式会社 | インターホンシステム |
| CN110942557B (zh) * | 2018-09-21 | 2022-04-26 | 威海新北洋数码科技有限公司 | 一种自动售货机 |
| JP7388258B2 (ja) | 2020-03-13 | 2023-11-29 | オムロン株式会社 | アクセシビリティ判定装置、アクセシビリティ判定方法、及びプログラム |
| CN115100981A (zh) * | 2022-05-19 | 2022-09-23 | 上海扩博智能技术有限公司 | 显示屏幕、控制系统、带有显示屏幕的电器和带有显示屏幕的冰柜 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008129900A (ja) * | 2006-11-22 | 2008-06-05 | Yamaha Motor Co Ltd | 自動販売機 |
| JP5353868B2 (ja) * | 2010-12-09 | 2013-11-27 | オムロン株式会社 | 物品販売装置 |
-
2013
- 2013-03-12 JP JP2013048641A patent/JP6176563B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014174859A (ja) | 2014-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230328207A1 (en) | Method and System for Providing At Least One Image Captured By a Scene Camera of a Vehicle | |
| US20230017398A1 (en) | Contextually aware customer item entry for autonomous shopping applications | |
| US20220198550A1 (en) | System and methods for customer action verification in a shopping cart and point of sales | |
| JP7260022B2 (ja) | 店舗装置、店舗システム、店舗管理方法、プログラム | |
| CN112666714B (zh) | 注视方向映射 | |
| US10268892B1 (en) | System and methods for volume dimensioning for supply chains and shelf sets | |
| US9913578B2 (en) | Eye gaze detecting device and eye gaze detection method | |
| US11042887B2 (en) | Product exposure analysis in a shopping environment | |
| TWI778030B (zh) | 店鋪裝置、店鋪管理方法及程式 | |
| KR20200037833A (ko) | 영상 모니터링에 기반하는 물품 감지 시스템 및 물품 감지 방법 | |
| US20140007016A1 (en) | Product fitting device and method | |
| JP4717934B2 (ja) | 関係分析方法、関係分析プログラム、および、関係分析装置 | |
| CN108051777B (zh) | 目标的追踪方法、装置及电子设备 | |
| CN107403332B (zh) | 货架取物侦测系统及方法 | |
| JP6176563B2 (ja) | 商品販売装置 | |
| CN108764998B (zh) | 智能展示装置以及智能展示方法 | |
| JP2016076109A (ja) | 顧客購買意思予測装置及び顧客購買意思予測方法 | |
| JP2022528023A (ja) | 会計方法、装置及びシステム | |
| US11921920B2 (en) | Method for controlling display device including transparent screen, and display device therefor | |
| JP7482410B2 (ja) | 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法 | |
| CN111429194B (zh) | 用户轨迹确定系统、方法、装置及服务器 | |
| CN116917678A (zh) | 出入库管理装置、出入库管理系统、以及出入库管理方法 | |
| US20220122125A1 (en) | Information processing device, information processing system, display control method, and recording medium | |
| Lee et al. | Understanding human-place interaction from tracking and identification of many users | |
| JP5108635B2 (ja) | 商品販売装置、商品販売管理システム、顧客視線データ取得方法および顧客注視商品データ取得方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160217 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170630 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6176563 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |