JP5720841B1 - 確認行動検出装置及び確認行動検出プログラム - Google Patents

Abstract

【課題】顧客が商品を把持した場合にあって、商品とその商品に対して取った顧客の確認行動とを対応付けるようにした確認行動検出装置を提供する。【解決手段】確認行動検出装置の商品情報受付け手段は、商品を特定する情報を受付け、確認行動検出手段は、顧客が商品を把持し、商品に対して取った確認行動を検出し、記憶手段は、前記商品情報及び前記確認行動とを関連付けて記憶する。【選択図】図１

Description

本発明は、確認行動検出装置及び確認行動検出プログラムに関する。

特許文献１には、画像処理によって個々の商品に対する買い物客の関心度の高さ、分布及び経時変化等を定量的に把握できる装置を提供することを課題とし、画像処理技術によって撮像画像上で個人の移動を追跡し、商品の至近距離の範囲内として設定された領域内での滞在時間を計測する画像処理装置を有し、商品に対する買い物客個々の関心度を数段階に判別する装置を有し、当該関心度合い別データ記憶装置に登録された関心度合い別データを加工するデータ加工処理装置を有し、上記画像処理装置は、人物画像の概略的な輪郭を法線ベクトルで認識し、経時的に追跡する人認識手段を含み、上記関心度合い判別装置における判別基準は、瞬間移動速度と比較する速度基準を有し、上記速度基準が停止状態に近い遅い移動速度以下に設定されていて、上記瞬間移動速度がこの速度基準にあたるときに限り、上記滞在時間の長短によって関心度が判別されるように構成されていることが開示されている。

特許文献２には、顧客の視線からマーケティングに有用な情報を取得することを課題とし、商品販売装置は、販売中商品を識別可能に表示した商品サンプル表示部と、顧客の少なくとも顔を含んだ部分を撮影するカメラと、カメラにより撮影された映像を取得して処理する情報処理装置と、を備え、情報処理装置は、カメラから取得した映像に含まれる顧客の顔の方向及び瞳の位置を解析して顧客の視線を検出し、その検出した顧客の視線が注視する商品サンプル表示部を検出するとともに、顧客が注視する商品サンプル表示部が示す商品の履歴情報に基づき、その顧客の顧客属性を判定し、さらに、その顧客が購入しなかった商品についての注視回数を集計した注視商品データを生成し、この注視商品データは、顧客が心の内に抱いている商品の関心度を表すものであり、今後の商品販売計画などに有用な情報であることが開示されている。

特許文献３には、棚やショースペース等に陳列されている商品に手を伸ばした客に対してその商品に関する当該客に特化した情報を提供できるようにすることを課題とし、情報端末装置は、対応する商品に手を伸ばしたユーザから当該ユーザを識別するユーザ識別情報を非接触により取得し、取得したユーザ識別情報を当該情報端末装置に対応する商品識別情報とともにサーバ装置に伝送し、サーバ装置は、各ユーザのユーザ識別情報と関連付けてそのユーザに関する属性情報を記憶し、各情報端末装置からユーザ識別情報及び商品識別情報を受信する毎に、そのユーザ識別情報と関連付けられて記憶されているユーザ属性情報を読出し、このユーザ属性情報と商品群識別情報とを関連付けて処理することが開示されている。

特開２００９−１９９６１０号公報 特開２００９−０４２９５６号公報 特開２００７−１１４９５７号公報

本発明は、顧客が商品を把持した場合にあって、商品とその商品に対して取った顧客の確認行動とを対応付けるようにした確認行動検出装置及び確認行動検出プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、商品を特定する情報を受付ける、商品情報受付け手段と、顧客が商品を把持し、商品に対して取った確認行動を検出する、確認行動検出手段と、前記商品情報及び前記確認行動とを関連付けて記憶する、記憶手段と、を具備し、撮影手段と顧客の間に商品があり、前記確認行動検出手段は、前記商品の成分表示面と反対側の面が前記撮影手段によって撮影されていた時間によって、確認行動を検出する、確認行動検出装置である。

請求項２の発明は、前記確認行動検出手段は、さらに、前記顧客が、前記商品を聴覚、臭覚、味覚のいずれかによって確認している確認行動を検出する、請求項１に記載の確認行動検出装置である。

請求項３の発明は、前記確認行動検出手段は、前記顧客の部位が、前記商品の表面を移動することを検出した場合は、該顧客が、該商品の触感を確認している確認行動を検出する、請求項１又は２に記載の確認行動検出装置である。

請求項４の発明は、顧客を特定する情報を受付ける、顧客情報受付け手段をさらに具備し、前記記憶手段は、前記顧客情報、前記商品情報、及び前記確認行動とを関連付けて記憶する、請求項１から３のいずれか一項に記載の確認行動検出装置である。

請求項５の発明は、コンピュータを、商品を特定する情報を受付ける、商品情報受付け手段と、顧客が商品を把持し、商品に対して取った確認行動を検出する、確認行動検出手段と、前記商品情報及び前記確認行動とを関連付けて記憶する、記憶手段、として機能させ、撮影手段と顧客の間に商品があり、前記確認行動検出手段は、前記商品の成分表示面と反対側の面が前記撮影手段によって撮影されていた時間によって、確認行動を検出する、確認行動検出プログラムである。

請求項１の確認行動検出装置によれば、顧客が商品を把持した場合にあって、商品とその商品に対して取った顧客の確認行動とを対応付けることができる。

請求項２の確認行動検出装置によれば、顧客が、商品を聴覚、臭覚、味覚のいずれかによって確認している確認行動を検出することができる。

請求項３の確認行動検出装置によれば、顧客の部位が、商品の表面を移動することを検出した場合は、その顧客が、その商品の触感を確認している確認行動を検出することができる。

請求項４の確認行動検出装置によれば、顧客が商品を把持した場合にあって、顧客と商品とその商品に対して取った顧客の確認行動とを対応付けることができる。

請求項５の確認行動検出プログラムによれば、顧客が商品を把持した場合にあって、商品とその商品に対して取った顧客の確認行動とを対応付けることができる。

第１の実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を実現する場合のシステム構成例を示す説明図である。 第１の実施の形態による処理例を示すフローチャートである。 第１の実施の形態による処理例を示す説明図である。 商品識別子−商品画像特徴−成分表示フラグテーブルのデータ構造例を示す説明図である。 第１の実施の形態による処理例を示す説明図である。 商品識別子−確認行動テーブルのデータ構造例を示す説明図である。 商品識別子−確認行動テーブルのデータ構造例を示す説明図である。 商品識別子−確認行動テーブルのデータ構造例を示す説明図である。 商品識別子−確認行動テーブルのデータ構造例を示す説明図である。 第１の実施の形態による処理例を示す説明図である。 商品識別子−確認行動テーブルのデータ構造例を示す説明図である。 商品識別子−確認行動テーブルのデータ構造例を示す説明図である。 第２の実施の形態の構成例についての概念的なモジュール構成図である。 第２の実施の形態による処理例を示すフローチャートである。 顧客識別子−顔画像特徴テーブルのデータ構造例を示す説明図である。 商品識別子−確認行動テーブルのデータ構造例を示す説明図である。 商品識別子−確認行動テーブルのデータ構造例を示す説明図である。 商品識別子−確認行動テーブルのデータ構造例を示す説明図である。 商品識別子−確認行動テーブルのデータ構造例を示す説明図である。 商品識別子−確認行動テーブルのデータ構造例を示す説明図である。 商品識別子−確認行動テーブルのデータ構造例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
図１は、第１の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態である確認行動検出装置としての画像処理装置１００は、顧客の商品に対する行動を抽出するものであって、図１の例に示すように、人検知モジュール１１０、商品把持検出モジュール１２０、確認行動検出モジュール１３０を有している。また、記憶装置１５０は、商品識別子−商品画像特徴−成分表示フラグデータ１２５、商品識別子−確認行動データ１３５を記憶している。
画像処理装置１００は、店舗内に陳列されている商品１８０に対する顧客１９０の確認行動を検出するものである。
例えば、商品棚１７０前の顧客１９０の行動を撮影した画像から、顧客１９０が手に取った商品１８０を検出、画像処理することで、顧客１９０の手に取った商品１８０に対する確認行動を検出し、商品１８０と確認行動を関連付けて記憶する。ここで確認行動とは、商品１８０の購入前に行われる行動であって、その商品１８０に対して行われた行動をいい、例えば、商品１８０の成分表示（成分には、栄養成分、原材料、原産地、価格、容量、賞味期限、カロリー等のうち、いずれか１つ以上を含む、以下、同様）の面を見ること、聴覚、臭覚、味覚のいずれかによって商品１８０を確認すること、商品１８０の触感を確認することが含まれる。なお、確認行動後に、商品１８０が実際に購入されるか否かは問わない。
五感に基づく確認行動として以下の５つの例が挙げられる。
視覚：手に取った商品の食品成分を確かめる。
聴覚：手に取った商品が発する音を確かめる。
嗅覚：手に取った商品のにおいをかいで確かめる。
味覚：手に取った商品を口に運んで味を確かめる。
触覚：手に取った商品の触感を確かめる。

撮像装置１６０は、画像処理装置１００と接続されている。撮像装置１６０は、商品棚１７０等に設置されており、商品１８０を把持した顧客１９０を撮影する。したがって、その撮影した画像内には、商品１８０、顧客１９０の画像がある。なお、撮像装置１６０が設置される場所は、商品１８０、顧客１９０を撮影することができる場所であればよく、図１の例に示すように、商品棚１７０内の奥であり、顧客１９０によって把持される商品１８０を裏面（顧客１９０側ではない面）から撮影する場所であってもよいし、商品１８０を表面（顧客１９０側の面）から撮影する場所であってもよい。
また、撮像装置１６０が撮影する顧客１９０として、顧客１９０の体全体を撮影する必要はなく（もちろんのことながら、体全体を撮影してもよい）、顧客１９０の部位、例えば、商品１８０を把持している手を撮影できればよい。また、後述するように、聴覚、臭覚、味覚のいずれかによって確認している確認行動を検出する場合は、顧客１９０の顔（頭部前面）を撮影できればよい。
また、撮像装置１６０は、１つの商品１８０に対して、１台を設置する形態であってもよいし、複数台を設置する形態であってもよい。なお、複数台の場合は、時間によって同期をとって、同じ時刻における画像であることを保証する。また、撮像装置１６０が撮影する画像は、静止画像であってもよいし、動画像であってもよい。なお、静止画像の場合は、予め定められた期間毎に撮影してもよいし、商品１８０の動きを検知するセンサーを用いて、商品１８０の動きがあった場合に、撮影を開始するようにしてもよい。
また、商品１８０が置かれる場所は、商品棚１７０の他にテーブル、床等であってもよい。

画像処理装置１００は、撮像装置１６０、記憶装置１５０と接続されている。
人検知モジュール１１０は、撮像装置１６０が撮影した画像内から顧客１９０を検知する。既存の技術を用いて、顧客１９０を検知すればよい。なお、第１の実施の形態では、必ずしも顧客１９０を特定する必要はない。
商品把持検出モジュール１２０は、商品識別子−商品画像特徴−成分表示フラグデータ１２５と接続されている。商品把持検出モジュール１２０は、顧客１９０が商品１８０を把持したことを検出する。例えば、商品把持検出モジュール１２０は画像内から指を認識し、商品１８０内に指の画像が重複している場合は、その商品１８０が把持されたことを検出してもよいし、指の位置と向きを認識し、商品１８０の外側から内側に指の画像が重複している場合は、その商品１８０が把持されたことを検出してもよい。なお、指の認識は、色、形状、大きさ等の画像特徴を抽出し、予め用意した指の特徴と、特徴空間内で比較して、指か否かを認識すればよい。
そして、商品把持検出モジュール１２０は、顧客１９０によって把持された商品１８０を認識する。つまり、商品１８０を特定する情報を抽出する。商品１８０を特定する情報（以下、商品情報ともいう）として、商品名であってもよいし、商品識別子であってもよい。以下、商品識別子を例示して説明する。商品１８０の認識に、記憶装置１５０内の商品識別子−商品画像特徴−成分表示フラグデータ１２５を用いる。

確認行動検出モジュール１３０は、商品識別子−確認行動データ１３５と接続されている。確認行動検出モジュール１３０は、商品１８０に対して取った顧客１９０の確認行動を検出する。ここでの対象となる商品１８０は、商品把持検出モジュール１２０によって検出された「把持された商品１８０」である。対象となる顧客１９０は、その商品１８０を把持している人物である。
そして、確認行動検出モジュール１３０は、商品情報及び確認行動とを関連付けて、記憶装置１５０内に商品識別子−確認行動データ１３５として記憶する。
また、確認行動検出モジュール１３０は、顧客１９０が、商品１８０の外観に記載されている予め定められた面を確認している確認行動を検出するようにしてもよい。商品１８０の外観として、商品の外装であってもよいし、商品そのものであってもよい。「予め定められた面」として、例えば、成分表示の面、生産地、賞味期限、消費期限等が記載されている面等がある。確認行動検出モジュール１３０は、商品１８０の「成分表示の面」の「裏の面」の画像特徴を予め抽出しておき、その「裏の面」の画像特徴と撮影した画像内の商品の画像特徴とが合致する場合は、「成分表示の面」を顧客が確認していると判断する。
また確認行動検出モジュール１３０は、顧客１９０が、商品１８０を聴覚、臭覚、味覚のいずれかによって確認している確認行動を検出するようにしてもよい。
また確認行動検出モジュール１３０は、顧客１９０の部位が、商品１８０の表面を移動することを検出した場合は、その顧客１９０が、その商品１８０の触感を確認している確認行動を検出するようにしてもよい。

図２は、本実施の形態を実現する場合のシステム構成例を示す説明図である。
画像処理装置１００、記憶装置１５０、撮像装置１６０ａ、撮像装置１６０ｂ、撮像装置１６０ｃは、通信回線２９０を介してそれぞれ接続されている。通信回線２９０は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのイントラネット、インターネット等であってもよい。撮像装置１６０は、１つの店舗内に設置されていてもよいし、複数の店舗に設置されていてもよい。また、画像処理装置１００と記憶装置１５０は、１つの筐体に格納されていてもよい。

図３は、第１の実施の形態による処理例を示すフローチャートである。
ステップＳ３０２では、撮像装置１６０が、商品１８０、顧客１９０を撮影する。
ステップＳ３０４では、人検知モジュール１１０が、撮影した画像内から顧客１９０である人物を検出する。
ステップＳ３０６では、商品把持検出モジュール１２０が、顧客１９０によって商品１８０が把持されたことを検出する。
ステップＳ３０８では、確認行動検出モジュール１３０が、顧客１９０による商品１８０に対する確認行動を検出する。
ステップＳ３１０では、確認行動検出モジュール１３０が、記憶装置１５０内に商品識別子−確認行動データ１３５（ステップＳ３０６で検出された把持された商品とステップＳ３０８で検出された確認行動との対応）を記憶する。

＜＜具体例１＞＞
図４は、第１の実施の形態による処理例を示す説明図である。
ここでは、顧客１９０が手に取ったお菓子（商品１８０）の成分表示を確かめたかどうかを検出する具体例について詳述する。なお、撮像装置１６０は、図４の例に示すように商品棚１７０前の顧客１９０の行動を商品棚１７０側から撮影可能な位置に設置されている。
人検知モジュール１１０は、画像内から顧客１９０を検出する。
商品把持検出モジュール１２０は、顧客１９０が手に取った商品１８０を検出する。
事前に、図６の例に示すような形状の商品１８０の各面情報を商品識別子−商品画像特徴−成分表示フラグデータ１２５として記憶装置１５０中に格納しているとする。図６の例に示すように、商品１８０は、表面１８０ａ、裏面１８０ｂ等の６つの面によって構成されている。なお、表面１８０ａ、裏面１８０ｂは、表裏の関係にあり、図４の例に示すような撮像装置１６０、商品１８０、顧客１９０の位置関係にある場合、顧客１９０に裏面１８０ｂが見えているときは、撮像装置１６０は商品１８０の表面１８０ａを撮影していることになる。例えば、表面１８０ａは、商品１８０の表面であり、一般的には商品の絵が記載されている。裏面１８０ｂは、商品１８０の裏面であり、一般的には成分情報が記載されている。このような場合、画像内に表面１８０ａがあるときは、顧客１９０は、商品１８０の成分表示を見ているという確認行動の一例を行っていることになる。なお、さらに予め定められた時間以上に、画像内に表面１８０ａがあることを条件としてもよい。
商品識別子−商品画像特徴−成分表示フラグデータ１２５として、例えば、商品識別子−商品画像特徴−成分表示フラグテーブル５００がある。図５は、商品識別子−商品画像特徴−成分表示フラグテーブル５００のデータ構造例を示す説明図である。商品識別子−商品画像特徴−成分表示フラグテーブル５００は、商品識別子欄５１０、商品画像特徴欄５２０、成分表示フラグ欄５３０を有している。商品識別子欄５１０は、本実施の形態によって商品を一意に識別するための情報である商品識別子を記憶している。商品画像特徴欄５２０は、その商品識別子が示す商品の画像特徴を記憶している。なお、６つの面毎に、画像特徴を記憶している。成分表示フラグ欄５３０は、成分表示フラグを記憶している。成分表示が行われている面に、フラグを立てる（例えば、成分表示が行われている面（本例では裏面）に「１」を記憶させ、他の面には「０」を記憶させる）。なお、面間の位置関係（少なくとも、方面と裏面のように反対側の面の組み合わせ）は、予め定められているとする。

具体例を示す。
顧客１９０が商品棚１７０に陳列している商品１８０を手に取る。このとき、画像中には商品１８０の裏面である裏面１８０ｂと顧客１９０の手が動物体として存在している。これに対して、既存手法を用いて、この動物体を検出する。
次に、検出された動物体から裏面１８０ｂの画像特徴を抽出し、抽出した画像特徴を記憶装置１５０中の商品識別子−商品画像特徴−成分表示フラグデータ１２５から照合する。なお、照合手法は既存手法を用いる。具体的には、抽出した画像特徴と商品画像特徴欄５２０内の各面の画像特徴を比較して、最も合致する面が含まれている商品の商品識別子（商品識別子欄５１０内の値）を、撮影されている商品の商品識別子とし、その面を、撮影されている商品の面とすればよい。これにより、撮影されている商品１８０の商品識別子と成分表示フラグ（成分表示が記載されている面）を取得する。

確認行動検出モジュール１３０は、把持された商品１８０に対する確認行動を検出し、商品識別子−確認行動データ１３５を生成して記憶装置１５０に追加する。
具体例を示す。
まず、顧客１９０が商品１８０の表面１８０ａを見ている。このとき、画像中には商品１８０の表面１８０ａの反対側の面である裏面１８０ｂが写っており、商品把持検出モジュール１２０により裏面１８０ｂが検出される。裏面１８０ｂの反対側の面である表面１８０ａに関連付いている成分表示フラグは「０」なので、現時点では顧客１９０は成分表示を見ていないと判断される。
次に、顧客１９０が商品１８０を裏返して成分表示が記されている裏面１８０ｂを見る。このとき、商品把持検出モジュール１２０により、撮影した画像から表面１８０ａが検出され、その表面１８０ａの反対側の面である裏面１８０ｂの「１」の値が代入されている成分表示フラグを取得する。一定時間以上「１」の値の成分表示フラグを取得すると、顧客１９０は商品１８０の成分情報を確かめていたと判断し、図７に示す例のようにその情報を商品識別子に関連付けて商品識別子−確認行動データ１３５を生成し、記憶装置１５０に格納する。商品識別子−確認行動データ１３５として、例えば、商品識別子−確認行動テーブル７００がある、図７は、商品識別子−確認行動テーブル７００のデータ構造例を示す説明図である。商品識別子−確認行動テーブル７００は、商品識別子欄７１０、確認行動欄７２０を有している。商品識別子欄７１０は、商品識別子を記憶している。確認行動欄７２０は、その商品識別子の商品に対する確認行動を記憶している。また、商品識別子−確認行動データ１３５として、商品識別子−確認行動テーブル８００を用いてもよい。図８は、商品識別子−確認行動テーブル８００のデータ構造例を示す説明図である。商品識別子−確認行動テーブル８００は、商品識別子欄８１０、確認行動欄８２０、行動時間欄８３０を有している。商品識別子欄８１０、確認行動欄８２０は、それぞれ商品識別子欄７１０、確認行動欄７２０と同等であり、商品識別子−確認行動テーブル８００は、商品識別子−確認行動テーブル７００に行動時間欄８３０を加えたものである。商品識別子欄８１０は、商品識別子を記憶している。確認行動欄８２０は、確認行動を記憶している。行動時間欄８３０は、その確認行動を行っていた時間を記憶している。
この場合、確認行動欄７２０（確認行動欄８２０）には、「成分表示を見たという確認行動」を示す「ｃｈｅｃｋ＿ｃｏｍｐｏｎｅｎｔ」が記憶される。

＜＜具体例２＞＞
次に、顧客１９０が手に取ったアロマオイルのサンプル（商品１８０）のにおいを確かめたかどうかを検出する具体例について詳述する。なお、撮像装置１６０は図４の例に示すように、商品棚１７０前の顧客１９０の行動を商品棚１７０側から撮影可能な位置に設置されている。
人検知モジュール１１０、商品把持検出モジュール１２０の処理内容は、前述の具体例１と同等である。すなわち、顧客１９０が手に持った商品１８０を特定する。

確認行動検出モジュール１３０は、把持された商品１８０に対する確認行動を検出し、商品識別子−確認行動データ１３５を生成して記憶装置１５０に追加する。
具体例を示す。
まず、顧客１９０が商品１８０を手に持っている。このとき、確認行動検出モジュール１３０で撮像装置１６０から顧客１９０の顔までの距離と、撮像装置１６０から商品１８０までの距離を監視する。撮像装置１６０から顧客１９０までの距離は、事前に人の顔の平均的な大きさを設定し、その顔を撮像装置１６０から予め定められた距離だけ離れた位置で撮影した場合の画像中の顔検出領域を測定しておく。そして、画像中の顔検出領域と予め測定しておいた顔検出領域の大きさを用いて、撮像装置１６０から顧客１９０の顔までの距離を算出する。撮像装置１６０から商品１８０までの距離も同様に、商品の面毎の実際の大きさを事前に設定し、その商品の面を撮像装置１６０から予め定められた距離だけ離れた位置で撮影した場合の画像中の商品面検出枠を抽出しておく。そして、画像中の商品面検出枠と予め測定しておいた商品面検出枠の大きさを用いて、撮像装置１６０から商品１８０までの距離を算出する。

次に、顧客１９０が商品１８０のにおいを確かめるために、商品１８０を鼻の近くに寄せる。この場合、撮像装置１６０から顧客１９０の顔までの距離と、撮像装置１６０から商品１８０までの距離の差が閾値Ｔを下回る。このとき、確認行動検出モジュール１３０はにおいを確かめたと判断し、図９に示す例のようにその情報を商品識別子に関連付けて商品識別子−確認行動データ１３５を生成し、記憶装置１５０に格納する。なお、上述の閾値Ｔは事前に設定するものである。商品識別子−確認行動データ１３５として、例えば、商品識別子−確認行動テーブル９００がある。図９は、商品識別子−確認行動テーブル９００のデータ構造例を示す説明図である。商品識別子−確認行動テーブル９００は、商品識別子欄９１０、確認行動欄９２０を有している。商品識別子欄９１０は、商品識別子を記憶している。確認行動欄９２０は、その商品識別子の商品に対する確認行動を記憶している。また、商品識別子−確認行動データ１３５として、商品識別子−確認行動テーブル１０００を用いてもよい。図１０は、商品識別子−確認行動テーブル１０００のデータ構造例を示す説明図である。商品識別子−確認行動テーブル１０００は、商品識別子欄１０１０、確認行動欄１０２０、行動時間欄１０３０を有している。商品識別子欄１０１０、確認行動欄１０２０は、それぞれ商品識別子欄９１０、確認行動欄９２０と同等であり、商品識別子−確認行動テーブル１０００は、商品識別子−確認行動テーブル９００に行動時間欄１０３０を加えたものである。商品識別子欄１０１０は、商品識別子を記憶している。確認行動欄１０２０は、確認行動を記憶している。行動時間欄１０３０は、その確認行動を行っていた時間を記憶している。
この場合、確認行動欄９２０（確認行動欄１０２０）には、「商品のにおいを確かめたという確認行動」を示す「ｃｈｅｃｋ＿ｓｍｅｌｌ」が記憶される。
また、＜＜具体例２＞＞における「鼻」を「耳」とした場合は、「聴覚によって確認している確認行動」を判断することになり、「鼻」を「口」とした場合は、「味覚によって確認している確認行動」を判断することになる。

＜＜具体例３＞＞
ここでは、顧客１９０が手に取ったシステム手帳（商品１８０）のカバーの触感を確かめたかどうかを検出する具体例について詳述する。この例では、撮像装置１６０は図１１（ａ）に示す例のように、商品棚１７０前の顧客１９０の行動を商品棚１７０側から撮影可能な位置に設置されている場合について述べるが、図１１（ｂ）に示す例、商品棚１７０前以外の場所に設置されていても触感の確認行動の検出は可能である。具体的には、撮像装置１１６０は、顧客１９０の手元を撮影できる位置であればよい。
人検知モジュール１１０、商品把持検出モジュール１２０の処理内容は、前述の具体例１（又は具体例２）と同等である。すなわち、顧客１９０が手に持った商品１８０を特定する。

確認行動検出モジュール１３０は、把持された商品１８０に対する確認行動を検出し、商品識別子−確認行動データ１３５を生成して記憶装置１５０に追加する。
具体例を示す。
顧客１９０が手に持った商品１８０の触感を確かめるために、商品１８０の表面に沿うように指を反復運動する。このとき、商品検出枠中の肌色領域を指として検出し、肌色領域の速度を監視する。指が反復運動を行う際の速度変化パターンを事前に学習しておき、監視している速度が学習パターンと合致した場合、確認行動検出モジュール１３０は触感を確かめたと判断する。確認行動検出時は、図１２に示す例のように確認行動を商品識別子に関連付けて商品識別子−確認行動データ１３５を生成し、記憶装置１５０に格納する。商品識別子−確認行動データ１３５として、例えば、商品識別子−確認行動テーブル１２００がある。図１２は、商品識別子−確認行動テーブル１２００のデータ構造例を示す説明図である。商品識別子−確認行動テーブル１２００は、商品識別子欄１２１０、確認行動欄１２２０を有している。商品識別子欄１２１０は、商品識別子を記憶している。確認行動欄１２２０は、その商品識別子の商品に対する確認行動を記憶している。また、商品識別子−確認行動データ１３５として、商品識別子−確認行動テーブル１３００を用いてもよい。図１３は、商品識別子−確認行動テーブル１３００のデータ構造例を示す説明図である。商品識別子−確認行動テーブル１３００は、商品識別子欄１３１０、確認行動欄１３２０、行動時間欄１３３０を有している。商品識別子欄１３１０、確認行動欄１３２０は、それぞれ商品識別子欄１２１０、確認行動欄１２２０と同等であり、商品識別子−確認行動テーブル１３００は、商品識別子−確認行動テーブル１２００に行動時間欄１３３０を加えたものである。商品識別子欄１３１０は、商品識別子を記憶している。確認行動欄１３２０は、確認行動を記憶している。行動時間欄１３３０は、その確認行動を行っていた時間を記憶している。
この場合、確認行動欄１２２０（確認行動欄１３２０）には、「商品の触感を確認したという確認行動」を示す「ｃｈｅｃｋ＿ｔａｃｔｉｌｅ」が記憶される。

図１４は、第２の実施の形態の構成例についての概念的なモジュール構成図を示している。第２の実施の形態では、第１の実施の形態による処理に加えて顧客を特定するようにしたものである。なお、第１の実施の形態と同種の部位には同一符号を付し重複した説明を省略する。
画像処理装置１００は、顔認識モジュール１４１０、商品把持検出モジュール１２０、確認行動検出モジュール１３０を有している。
記憶装置１５０は、顧客識別子−顔画像特徴データ１４１５、商品識別子−商品画像特徴−成分表示フラグデータ１２５、顧客識別子−商品識別子−確認行動データ１４３５を有している。
確認行動検出モジュール１３０は、顧客識別子−商品識別子−確認行動データ１４３５と接続されている。

顔認識モジュール１４１０は、顧客識別子−顔画像特徴データ１４１５と接続されている。顔認識モジュール１４１０は、顧客を特定する。具体的には、撮像装置１６０によって撮影された画像中から人の顔を検出し、検出した顔に対して記憶装置１５０内の顧客識別子−顔画像特徴データ１４１５と照合して個人を特定する。
具体例を示す。
顧客１９０が商品棚１７０の前に来る。このとき、顔認識モジュール１４１０によって撮像装置１６０が撮影した画像中から顧客１９０の顔を既存手法で検出し、検出した顔領域から顔の画像特徴を抽出し、抽出した顔画像特徴を用いて記憶装置１５０中の顧客識別子−顔画像特徴データ１４１５と照合し、照合したデータの顧客識別子を得る。なお、ここでの照合手法は既存手法を用いる。具体的には、顧客識別子−顔画像特徴データ１４１５として、例えば、顧客識別子−顔画像特徴テーブル１６００を用いる。図１６は、顧客識別子−顔画像特徴テーブル１６００のデータ構造例を示す説明図である。顧客識別子−顔画像特徴テーブル１６００は、顧客識別子欄１６１０、顔画像特徴欄１６２０を有している。顧客識別子欄１６１０は、顧客識別子を記憶している。顔画像特徴欄１６２０は、その顧客識別子の顧客の顔画像特徴を記憶している。撮像装置１６０が撮影した画像から抽出した顔画像特徴と顔画像特徴欄１６２０内の顔画像特徴を比較して、最も合致する顧客の顧客識別子（顧客識別子欄１６１０内の値）を、撮影されている顧客１９０の顧客識別子とすればよい。
また、抽出した顔画像特徴が記憶装置１５０中の顧客識別子−顔画像特徴データ１４１５に存在しない場合は、新規の顧客識別子を生成し、新たな顧客識別子−顔画像特徴データ１４１５として記憶装置１５０に追加するようにしてもよい。
そして、確認行動検出モジュール１３０は、顔認識モジュール１４１０から顧客を特定する情報を受付ける。そして、顔認識モジュール１４１０からの顧客情報、商品把持検出モジュール１２０からの商品情報及び確認行動検出モジュール１３０が検出した確認行動とを関連付けて、記憶装置１５０内に顧客識別子−商品識別子−確認行動データ１４３５として記憶させる。

図１５は、第２の実施の形態による処理例を示すフローチャートである。
ステップＳ１５０２では、撮像装置１６０が、商品１８０、顧客１９０を撮影する。
ステップＳ１５０４では、顔認識モジュール１４１０が、撮影した画像内から顧客１９０である人物の顔を認識し、人物を特定する。
ステップＳ１５０６では、商品把持検出モジュール１２０が、顧客１９０によって商品１８０が把持されたことを検出する。
ステップＳ１５０８では、確認行動検出モジュール１３０が、顧客１９０による商品１８０に対する確認行動を検出する。
ステップＳ１５１０では、確認行動検出モジュール１３０が、記憶装置１５０内に顧客識別子−商品識別子−確認行動データ１４３５（ステップＳ１５０４で特定された顧客情報、ステップＳ１５０６で検出された把持された商品とステップＳ１５０８で検出された確認行動との対応）を記憶する。

第２の実施の形態に対して、前述の＜＜具体例１＞＞を適用した場合、確認行動検出モジュール１３０は、顧客識別子−商品識別子−確認行動データ１４３５として、例えば商品識別子−確認行動テーブル１７００を生成する。図１７は、商品識別子−確認行動テーブル１７００のデータ構造例を示す説明図である。商品識別子−確認行動テーブル１７００は、顧客識別子欄１７１０、商品識別子欄１７２０、確認行動欄１７３０を有している。商品識別子欄１７２０、確認行動欄１７３０は、それぞれ図７の例に示した商品識別子−確認行動テーブル７００の商品識別子欄７１０、確認行動欄７２０と同等であり、商品識別子−確認行動テーブル１７００は、商品識別子−確認行動テーブル７００に顧客識別子欄１７１０を加えたものである。顧客識別子欄１７１０は、顧客識別子を記憶している。商品識別子欄１７２０は、その顧客識別子の顧客が把持した商品の商品識別子を記憶している。確認行動欄１７３０は、その商品に対する確認行動を記憶している。また、顧客識別子−商品識別子−確認行動データ１４３５として、商品識別子−確認行動テーブル１８００を用いてもよい。図１８は、商品識別子−確認行動テーブル１８００のデータ構造例を示す説明図である。商品識別子−確認行動テーブル１８００は、顧客識別子欄１８１０、商品識別子欄１８２０、確認行動欄１８３０、行動時間欄１８４０を有している。顧客識別子欄１８１０、商品識別子欄１８２０、確認行動欄１８３０は、それぞれ顧客識別子欄１７１０、商品識別子欄１７２０、確認行動欄１７３０と同等であり、商品識別子−確認行動テーブル１８００は、商品識別子−確認行動テーブル１７００に行動時間欄１８４０を加えたものである。顧客識別子欄１８１０は、顧客識別子を記憶している。商品識別子欄１８２０は、商品識別子を記憶している。確認行動欄１８３０は、確認行動を記憶している。行動時間欄１８４０は、その確認行動を行っていた時間を記憶している。
この場合、確認行動欄１７３０（確認行動欄１８３０）には、「成分表示を見たという確認行動」を示す「ｃｈｅｃｋ＿ｃｏｍｐｏｎｅｎｔ」が記憶される。

第２の実施の形態に対して、前述の＜＜具体例２＞＞を適用した場合、確認行動検出モジュール１３０は、顧客識別子−商品識別子−確認行動データ１４３５として、例えば商品識別子−確認行動テーブル１９００を生成する。図１９は、商品識別子−確認行動テーブル１９００のデータ構造例を示す説明図である。商品識別子−確認行動テーブル１９００は、顧客識別子欄１９１０、商品識別子欄１９２０、確認行動欄１９３０を有している。商品識別子欄１９２０、確認行動欄１９３０は、それぞれ図９の例に示した商品識別子−確認行動テーブル９００の商品識別子欄９１０、確認行動欄９２０と同等であり、商品識別子−確認行動テーブル１９００は、商品識別子−確認行動テーブル９００に顧客識別子欄１９１０を加えたものである。顧客識別子欄１９１０は、顧客識別子を記憶している。商品識別子欄１９２０は、その顧客識別子の顧客が把持した商品の商品識別子を記憶している。確認行動欄１９３０は、その商品に対する確認行動を記憶している。また、顧客識別子−商品識別子−確認行動データ１４３５として、商品識別子−確認行動テーブル２０００を用いてもよい。図２０は、商品識別子−確認行動テーブル２０００のデータ構造例を示す説明図である。商品識別子−確認行動テーブル２０００は、顧客識別子欄２０１０、商品識別子欄２０２０、確認行動欄２０３０、行動時間欄２０４０を有している。顧客識別子欄２０１０、商品識別子欄２０２０、確認行動欄２０３０は、それぞれ顧客識別子欄１９１０、商品識別子欄１９２０、確認行動欄１９３０と同等であり、商品識別子−確認行動テーブル２０００は、商品識別子−確認行動テーブル１９００に行動時間欄２０４０を加えたものである。顧客識別子欄２０１０は、顧客識別子を記憶している。商品識別子欄２０２０は、商品識別子を記憶している。確認行動欄２０３０は、確認行動を記憶している。行動時間欄２０４０は、その確認行動を行っていた時間を記憶している。
この場合、確認行動欄１９３０（確認行動欄２０３０）には、「商品のにおいを確かめたという確認行動」を示す「ｃｈｅｃｋ＿ｓｍｅｌｌ」が記憶される。
また、＜＜具体例２＞＞における「鼻」を「耳」とした場合は、「聴覚によって確認している確認行動」を判断することになり、「鼻」を「口」とした場合は、「味覚によって確認している確認行動」を判断することになる。

第２の実施の形態に対して、前述の＜＜具体例３＞＞を適用した場合、確認行動検出モジュール１３０は、顧客識別子−商品識別子−確認行動データ１４３５として、例えば商品識別子−確認行動テーブル２１００を生成する。図２１は、商品識別子−確認行動テーブル２１００のデータ構造例を示す説明図である。商品識別子−確認行動テーブル２１００は、顧客識別子欄２１１０、商品識別子欄２１２０、確認行動欄２１３０を有している。商品識別子欄２１２０、確認行動欄２１３０は、それぞれ図１２の例に示した商品識別子−確認行動テーブル１２００の商品識別子欄１２１０、確認行動欄１２２０と同等であり、商品識別子−確認行動テーブル２１００は、商品識別子−確認行動テーブル１２００に顧客識別子欄２１１０を加えたものである。顧客識別子欄２１１０は、顧客識別子を記憶している。商品識別子欄２１２０は、その顧客識別子の顧客が把持した商品の商品識別子を記憶している。確認行動欄２１３０は、その商品に対する確認行動を記憶している。また、顧客識別子−商品識別子−確認行動データ１４３５として、商品識別子−確認行動テーブル２２００を用いてもよい。図２２は、商品識別子−確認行動テーブル２２００のデータ構造例を示す説明図である。商品識別子−確認行動テーブル２２００は、顧客識別子欄２２１０、商品識別子欄２２２０、確認行動欄２２３０、行動時間欄２２４０を有している。顧客識別子欄２２１０、商品識別子欄２２２０、確認行動欄２２３０は、それぞれ顧客識別子欄２１１０、商品識別子欄２１２０、確認行動欄２１３０と同等であり、商品識別子−確認行動テーブル２２００は、商品識別子−確認行動テーブル２１００に行動時間欄２２４０を加えたものである。顧客識別子欄２２１０は、顧客識別子を記憶している。商品識別子欄２２２０は、商品識別子を記憶している。確認行動欄２２３０は、確認行動を記憶している。行動時間欄２２４０は、その確認行動を行っていた時間を記憶している。
この場合、確認行動欄２１３０（確認行動欄２２３０）には、「商品の触感を確認したという確認行動」を示す「ｃｈｅｃｋ＿ｔａｃｔｉｌｅ」が記憶される。

なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図２３に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバとなり得るコンピュータ等である。つまり、具体例として、処理部（演算部）としてＣＰＵ２３０１を用い、記憶装置としてＲＡＭ２３０２、ＲＯＭ２３０３、ＨＤ２３０４を用いている。ＨＤ２３０４として、例えばハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を用いてもよい。人検知モジュール１１０、商品把持検出モジュール１２０、確認行動検出モジュール１３０、顔認識モジュール１４１０等のプログラムを実行するＣＰＵ２３０１と、そのプログラムやデータを記憶するＲＡＭ２３０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ２３０３と、補助記憶装置（フラッシュメモリ等であってもよい）であるＨＤ２３０４と、キーボード、マウス、タッチパネル等に対する利用者の操作に基づいてデータを受け付ける受付装置２３０６と、ＣＲＴ、液晶ディスプレイ等の出力装置２３０５と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース２３０７、そして、それらをつないでデータのやりとりをするためのバス２３０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。

前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図２３に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図２３に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図２３に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、情報家電、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

また、前述の実施の形態において、対象としている商品が棚に戻ったか否かを検出するようにしてもよい。そして、対象となった商品が購入されたか否かを判断するようにしてもよい。つまり、商品が棚に戻った場合は、購入されなかったと判断し、商品が棚に戻らなかった場合は、購入されたと判断する。なお、ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅ ｓｙｓｔｅｍ）との連携によって、対象となった商品が購入されたか否かを判断するようにしてもよい。
そして、購入されなかった商品に対して、どのような確認行動があったかを抽出するようにしてもよい。例えば、ユーザ−（商品納入責任者等）が用いてる情報処理装置に対して、抽出された確認行動を提示する。また、確認行動に応じて、その商品が購入されなかった理由を提示するようにしてもよい。例えば、商品に対する最後の確認行動が「成分表示の確認」である場合は、成分に問題がある可能性がある旨を提示する。
また、購入されたか否かにかかわらず、対象としている商品の何に興味が持たれているかを提示するようにしてもよい。例えば、その商品について、最も多い確認行動が「成分表示の確認」である場合は、成分に関心がある可能性がある旨を提示する。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。

１００…画像処理装置
１１０…人検知モジュール
１２０…商品把持検出モジュール
１２５…商品識別子−商品画像特徴−成分表示フラグデータ
１３０…確認行動検出モジュール
１３５…商品識別子−確認行動データ
１５０…記憶装置
１６０…撮像装置
１７０…商品棚
１８０…商品
１９０…顧客
２９０…通信回線
１４１０…顔認識モジュール
１４１５…顧客識別子−顔画像特徴データ
１４３５…顧客識別子−商品識別子−確認行動データ

Claims (5)

1. 商品を特定する情報を受付ける、商品情報受付け手段と、
   顧客が商品を把持し、商品に対して取った確認行動を検出する、確認行動検出手段と、
   前記商品情報及び前記確認行動とを関連付けて記憶する、記憶手段と、
   を具備し、
   撮影手段と顧客の間に商品があり、
   前記確認行動検出手段は、前記商品の成分表示面と反対側の面が前記撮影手段によって撮影されていた時間によって、確認行動を検出する、
   確認行動検出装置。
2. 前記確認行動検出手段は、さらに、前記顧客が、前記商品を聴覚、臭覚、味覚のいずれかによって確認している確認行動を検出する、
   請求項１に記載の確認行動検出装置。
3. 前記確認行動検出手段は、前記顧客の部位が、前記商品の表面を移動することを検出した場合は、該顧客が、該商品の触感を確認している確認行動を検出する、
   請求項１又は２に記載の確認行動検出装置。
4. 顧客を特定する情報を受付ける、顧客情報受付け手段
   をさらに具備し、
   前記記憶手段は、前記顧客情報、前記商品情報、及び前記確認行動とを関連付けて記憶する、
   請求項１から３のいずれか一項に記載の確認行動検出装置。
5. コンピュータを、
   商品を特定する情報を受付ける、商品情報受付け手段と、
   顧客が商品を把持し、商品に対して取った確認行動を検出する、確認行動検出手段と、
   前記商品情報及び前記確認行動とを関連付けて記憶する、記憶手段、
   として機能させ、
   撮影手段と顧客の間に商品があり、
   前記確認行動検出手段は、前記商品の成分表示面と反対側の面が前記撮影手段によって撮影されていた時間によって、確認行動を検出する、
   確認行動検出プログラム。

Images