JP6160736B2

JP6160736B2 - 情報処理装置

Info

Publication number: JP6160736B2
Application number: JP2016084653A
Authority: JP
Inventors: 宏美冨井
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2016-04-20
Filing date: 2016-04-20
Publication date: 2017-07-12
Anticipated expiration: 2031-12-13
Also published as: JP2016131047A

Description

本発明は、情報処理装置に関するものである。

従来、購入者の視線情報に基づいて購入者が興味を持った商品を認識し、マーケッティングリサーチを行う分析装置が知られている（例えば、特許文献１参照）。この分析装置によれば、マーケッティングリサーチの結果を商品の販売促進に活用することができる。

特開２０１０−２０４８８２号公報

しかし、この分析装置においては、マーケッティングリサーチにおいて収集された情報が販売者側には有益な情報となっても購入者側には有益な情報にならないという問題があった。

本発明の目的は、購入者側に有益な情報を提供する情報処理装置を提供することである。

本発明の情報処理装置は、商品を見ている人物が含まれる第１画像の第１画像データが入力される第１入力部と、商品を購入している人物が含まれる第２画像の第２画像データが入力される第２入力部と、前記第１画像データと前記第２画像データとに基づいて、前記第２画像に含まれる人物が見ていた商品のうち購入されなかった商品を特定する特定部とを備える。

本発明の情報解析システムによれば、購入者側に有益な情報を提供することができる。

実施の形態に係る情報解析システムの構成を示すブロック図である。実施の形態に係る情報解析システムにおける商品カメラの設置区画を示す図である。実施の形態に係る情報解析システムの情報記憶部に記憶される履歴ファイルの内容を示す図である。実施の形態に係る情報解析システムの撮影処理を示すフローチャートである。実施の形態に係る情報解析システムにおいて商品カメラにより撮影された購入者の顔の画像を示す図である。実施の形態に係る情報解析システムにおいて購入者が見ていた商品を示す図である。実施の形態に係る情報解析システムにおける視線検出範囲を示すである。実施の形態に係る情報解析システムにおける購入処理を示すフローチャートである。実施の形態に係る情報解析システムにおけるレシートの印字処理を示すフローチャートである。

以下、図面を参照して本発明の実施の形態に係る情報解析システムについて説明する。図１は、実施の形態に係る情報解析システム２の構成を示すブロック図である。情報解析システム２は、例えば、スーパーマーケットやコンビニエンスストア等の商品販売店舗に備えられているものであり、情報解析システム２の各部を統括的に制御する制御部４を備えている。制御部４には、商品を購入しようとする購入者を撮影する商品カメラ６、商品カメラ６による画像の撮影タイミングを入力する入力部８、商品カメラ６により撮影された画像の画像データを記憶する画像記憶部１０、購入者が商品を見ていた時間等に関する履歴情報を記憶する情報記憶部１２、商品棚に配置されている商品の商品ＩＤに関する情報を記憶する商品記憶部１４、購入された商品の売上会計を行うレジスタであるキャッシュレジスタ１６、キャッシュレジスタ１６の近傍に配置され、会計処理を行う際に購入者の顔を撮影するレジカメラ１８、及びレジカメラ１８により撮影された画像の画像データを記憶するレジ画像記憶部２０が接続されている。

ここで、商品カメラ６には、商品カメラ６ａ、商品カメラ６ｂ、…、商品カメラ６ｎのｎ個のカメラが含まれ、商品カメラ６ａ、商品カメラ６ｂ、…、商品カメラ６ｎはそれぞれ店舗内の商品陳列棚に一定の区画ごとに設置されている。例えば、図２に示すように、横に５個の商品、縦に３個の商品（商品Ａ〜Ｅ、商品Ｆ〜Ｊ、商品Ｋ〜Ｏ）から成る区画に商品カメラ６ａが設置され、同様の個数の商品から成る区画ごとに商品カメラ６ｂ、…、商品カメラ６ｎが設置されている。

また、キャッシュレジスタ１６には、キャッシュレジスタ１６ａ、キャッシュレジスタ１６ｂ、…、キャッシュレジスタ１６ｍのｍ個のキャッシュレジスタが含まれ、キャッシュレジスタ１６ａ、キャッシュレジスタ１６ｂ、…、キャッシュレジスタ１６ｍは、それぞれ店舗内のレジカウンタに設置されている。なお、各々のキャッシュレジスタは、購入された商品の商品コードを読み取るバーコードスキャナ（不図示）、及びレシートに購入金額等を印字するレジプリンタ（不図示）を備えている。

また、レジカメラ１８には、レジカメラ１８ａ、レジカメラ１８ｂ、…、レジカメラ１８ｍのｍ個のカメラが含まれている。ここで、レジカメラ１８ａは、キャッシュレジスタ１６ａの近傍に設置されている。同様に、レジカメラ１８ｂは、キャッシュレジスタ１６ｂの近傍に設置され、レジカメラ１８ｍは、キャッシュレジスタ１６ｍの近傍に設置されている。なお、レジカメラ１８ａ、レジカメラ１８ｂ、…、レジカメラ１８ｍは、会計処理を行う際に購入者の顔を撮影できる位置に設置されている。

また、情報記憶部１２には、図３に示す履歴ファイル３０が記憶されている。この履歴ファイル３０には、一つの履歴を他の履歴と区別するための履歴番号、商品カメラ６により撮影された購入者の顔の画像の顔画像データ、顔画像データに基づく購入者の購入者ＩＤ、購入者ＩＤを有する人物が見ていた商品の商品ＩＤ、購入者ＩＤを有する人物が商品ＩＤの商品を見ていた時間、商品カメラ６による撮影日付、及び商品ＩＤを有する商品の購入結果が履歴番号順に記憶される。

図４は、実施の形態に係る情報解析システム２の撮影処理を示すフローチャートである。まず、商品カメラ６により静止画像の撮影を行う撮影タイミングが入力部８を介して入力される（ステップＳ１）。例えば、５秒ごとに商品カメラ６による静止画像の撮影を行う場合、５秒という撮影タイミングが入力部８を介して入力される。なお、以下のフローチャートでは、商品カメラ６ａにより撮影が行われる場合の撮影処理を例として説明する。

撮影タイミングが入力されると、制御部４は、商品カメラ６ａによる撮影を行い（ステップＳ２）、撮影した画像の画像データを画像記憶部１０に記憶する。次に、制御部４は、画像記憶部１０から画像データを読み出し、画像データに基づく画像に人物の顔が含まれているか否かを判定する（ステップＳ３）。ここで、人物の顔の検出は、一般的に知られている顔認識技術により行われる。

画像データに基づく画像に人物の顔が含まれていない場合（ステップＳ３：Ｎｏ）、ステップＳ１１の処理に進む。一方、画像データに基づく画像に人物の顔が含まれている場合（ステップＳ３：Ｙｅｓ）、制御部４は、画像データに基づく画像に購入者ＩＤを有さない人物の顔が含まれているか否かを判定する（ステップＳ４）。即ち、制御部４は、情報記憶部１２から履歴ファイル３０（図３参照）を読み出し、画像データに基づく画像に含まれている人物の顔と履歴ファイル３０に記憶されている顔画像データに基づく購入者の顔とを比較することにより、画像データに基づく画像に購入者ＩＤを有さない人物の顔が含まれているか否かを判定する。

画像データに基づく画像に購入者ＩＤを有さない人物の顔が含まれている場合（ステップＳ４：Ｙｅｓ）、制御部４は、画像データから購入者ＩＤを有さない人物の顔の画像の顔画像データを抽出し、抽出した顔画像データを新たな購入者ＩＤと共に履歴ファイル３０に記憶する（ステップＳ５）。例えば、画像データに基づく画像に購入者ＩＤ「０００１」の人物、購入者ＩＤ「０００２」の人物、及び購入者ＩＤを有さない人物が含まれている場合、制御部４は、画像データから購入者ＩＤを有さない人物の顔の画像の顔画像データを抽出する。そして、図３に示すように、抽出した画像データ及び新たな購入者ＩＤ「０００３」を有する履歴番号３の履歴を履歴ファイル３０に追加する。

画像データに基づく画像に購入者ＩＤを有さない人物の顔が含まれていない場合（ステップＳ４：Ｎｏ）、または、ステップＳ５の処理が完了した場合、制御部４は、画像データに基づく画像から人物の顔の視線を検出し（ステップＳ６）、視線の方向を示す視線ベクトルを作成する。例えば、図５に示すように、画像データに基づく画像に購入者ＩＤ「０００１」の人物の顔、購入者ＩＤ「０００２」の人物の顔、及び購入者ＩＤ「０００３」の人物の顔が含まれていたとする。この場合、制御部４は、まず、画像データに基づく画像から購入者ＩＤ「０００１」の人物の視線、購入者ＩＤ「０００２」の人物の視線、及び購入者ＩＤ「０００３」の人物の視線を検出する。そして、検出した視線に基づいて、購入者ＩＤ「０００１」の人物の視線ベクトル３２、購入者ＩＤ「０００２」の人物の視線ベクトル３４、及び購入者ＩＤ「０００３」の人物の視線ベクトル３６を作成する。ここで、視線の検出は、一般的に知られている視線検出技術により行われる。

次に、制御部４は、作成した視線ベクトルに基づいて購入者が見ている商品を特定する（ステップＳ７）。例えば、図６に示すように、視線ベクトル３２の先端が商品Ｋの区画の範囲に位置する場合、購入者ＩＤ「０００１」の人物が見ている商品が商品Ｋであると特定する。同様に、視線ベクトル３４の先端が商品Ｈの区画の範囲に位置する場合、購入者ＩＤ「０００２」の人物が見ている商品が商品Ｈであると特定し、視線ベクトル３６の先端が商品Ｅの区画の範囲に位置する場合、購入者ＩＤ「０００３」の人物が見ている商品が商品Ｅであると特定する。

なお、視線ベクトルには誤差が生じることがあるため、商品を特定する際には若干の誤差が許容される。例えば、図７に示すように、商品Ｋの区画４０の周囲には補助区画４２が設定されており、前回の撮影タイミング（例えば５秒前）で購入者ＩＤ「０００１」の人物が見ている商品が商品Ｋであると特定されている場合、今回の撮影タイミングでは視線ベクトル３２の先端が区画４０からはみ出していても補助区画４２の範囲内に位置していれば購入者ＩＤ「０００１」の人物が見ている商品が商品Ｋであると特定される。

次に、制御部４は、商品記憶部１４から商品棚に配置されている商品の商品ＩＤに関する情報を読み出し、読み出した情報に基づいてステップＳ７で検出した商品の商品ＩＤを特定する。例えば、購入者ＩＤ「０００１」の人物が見ている商品Ｋの商品ＩＤを商品ＩＤ「Ａ００１」と特定する。同様に、購入者ＩＤ「０００２」の人物が見ている商品Ｈの商品ＩＤを商品ＩＤ「Ａ００２」と特定し、購入者ＩＤ「０００３」の人物が見ている商品Ｅの商品ＩＤを商品ＩＤ「Ａ００３」と特定する。

次に、制御部４は、履歴ファイル３０を参照して、商品ＩＤを特定した商品が同じ購入者が今日見たことのある商品であるか否かを判定する（ステップＳ８）。商品ＩＤを特定した商品が同じ購入者が今日見たことのある商品である場合（ステップＳ８Ｙｅｓ）、制御部４は、履歴ファイル３０において購入者が商品を見ていた時間に撮影タイミングとして入力した時間を加算する（ステップＳ９）。

例えば、今日の日付が２０１１年１２月１０日であり、また、撮影タイミングが５秒であり、履歴ファイル３０には履歴番号１〜３の情報が記憶されていたとする（図３参照）。そして、今回の撮影タイミングにおいて、購入者ＩＤ「０００１」の人物が見ている商品Ｋの商品ＩＤが商品ＩＤ「Ａ００１」と特定され、購入者ＩＤ「０００２」の人物が見ている商品Ｈの商品ＩＤが商品ＩＤ「Ａ００２」と特定され、購入者ＩＤ「０００３」の人物が見ている商品Ｅの商品ＩＤが商品ＩＤ「Ａ００３」と特定されたとする。この場合、制御部４は、履歴番号１の履歴において購入者ＩＤ「０００１」の人物が商品ＩＤ「Ａ００１」の商品Ｋを見ていた時間である１５秒に撮影タイミングの５秒を加算して２０秒を記憶する。同様に、履歴番号２の履歴において購入者ＩＤ「０００２」の人物が商品ＩＤ「Ａ００２」の商品Ｈを見ていた時間である１０秒に５秒を加算して１５秒を記憶し、履歴番号３の履歴において購入者ＩＤ「０００３」の人物が商品ＩＤ「Ａ００３」の商品Ｅを見ていた時間である２０秒に５秒を加算して２５秒を記憶する。

一方、商品ＩＤを特定した商品が同じ購入者が今日見たことのある商品でない場合（ステップＳ８：Ｎｏ）、制御部４は、新たな履歴番号の履歴を履歴ファイル３０に追加する（ステップＳ１０）。例えば、購入者ＩＤ「０００１」の人物が今日初めて商品ＩＤ「Ａ００４」の商品を見た場合、制御部４は、図３に示すように、購入者ＩＤ「０００１」の人物が商品ＩＤ「Ａ００４」の商品を見ていた時間を５秒とする新たな履歴番号４の履歴を履歴ファイル３０に追加する。

次に、制御部４は、情報解析システム２の撮影処理を終了する操作が行われたか否かを判定する（ステップＳ１１）。情報解析システム２の撮影処理を終了する操作が行われた場合、制御部４は、一連の処理を終了する。一方、情報解析システム２の撮影処理を終了する操作が行われていない場合、制御部４は、前回の撮影が行われた時から撮影タイミングである５秒が経過した後に商品カメラ６ａによる撮影を行う（ステップＳ２）。

なお、商品カメラ６ｂ〜６ｎにより撮影が行われた場合においてもステップＳ２〜ステップＳ１１で説明した処理と同様の処理が行われる。

図８は、実施の形態に係る情報解析システム２における購入処理を示すフローチャートである。なお、以下のフローチャートでは、キャッシュレジスタ１６ａにより会計処理が行われ、レジカメラ１８ａにより購入者が撮影された場合を例として説明する。まず、購入者が購入したい商品をレジカウンタに持ち込み、キャッシュレジスタ１６ａによる会計処理が開始されると、制御部４は、レジカメラ１８ａにより購入者を撮影し（ステップＳ２１）、撮影した画像の画像データをレジ画像記憶部２０に記憶する。

次に、制御部４は、レジ画像記憶部２０から画像データを読み出して人物の顔を検出する（ステップＳ２２）。次に、制御部４は、情報記憶部１２から履歴ファイル３０を読み出し、検出した人物の顔を有する購入者の購入者ＩＤを特定する（ステップＳ２３）。

次に、キャッシュレジスタ１６ａに備えられたバーコードスキャナにより購入者が購入する商品の商品コードが読み取られると、制御部４は、読み取られた商品コードに対応する商品の商品ＩＤを特定し（ステップＳ２４）、特定した商品ＩＤの商品について履歴ファイル３０に商品が購入された旨の購入結果を記憶する（ステップＳ２５）。例えば、レジカウンタに商品を持ち込んだ購入者が購入者ＩＤ「０００１」の人物であり、バーコードスキャナにより読み取られた商品が商品ＩＤ「Ａ００１」の商品である場合、制御部４は、購入者ＩＤ「０００１」の人物と商品ＩＤ「Ａ００１」が記憶されている履歴番号１に商品が購入された旨の購入結果を記憶する（図３参照）。

次に、キャッシュレジスタ１６ａによる会計処理が終了し（ステップＳ２６）、会計処理の終了操作が行われると、制御部４は、購入者が今日見ていた商品のうち購入されなかった商品について、履歴ファイル３０に商品が購入されなかった旨の購入結果を記憶する（ステップＳ２７）。例えば、今日の日付が２０１１年１２月１０日であり、購入者が購入者ＩＤ「０００１」の人物である場合において、商品ＩＤ「Ａ００４」の商品の商品コードがバーコードスキャナにより読み取られないまま会計処理の終了操作が行われた場合、制御部４は、２０１１年１２月１０日の日付で購入者ＩＤ「０００１」の人物及び商品ＩＤ「Ａ００４」の商品が記憶されている履歴番号４に商品が購入されなかった旨の購入結果を記憶する（図３参照）。

次に、制御部４は、キャッシュレジスタ１６ａのレジプリンタにより、レシートに購入者が購入した商品の商品名及び購入金額を印字し、また、レシートの下端の部分に購入者が見ていたが購入しなかった商品の商品名を印字して出力する（ステップＳ２８）。例えば、今日購入者ＩＤ「０００１」の人物が商品ＩＤ「Ａ００１」の商品Ｋと商品ＩＤ「Ａ００４」の商品Ｏを見ており、商品ＩＤ「Ａ００１」の商品Ｋを購入し、商品ＩＤ「Ａ００４」の商品Ｏを購入しなかった場合、制御部４は、レシートに商品Ｋの商品名及び金額を印字し、また、レシートの下端の部分に商品Ｏの商品名を印字して出力する。

なお、キャッシュレジスタ１６ｂ〜１６ｍにより会計処理が行われた場合においても図８のフローチャートを用いて説明した処理と同様の処理が行われる。

本実施の形態に係る情報解析システム２によれば、購入者が見ていたが購入しなかった商品の商品名をレシートに印字するため、購入者が次回の購入の際に参考にすることができる有益な情報を提供することができる。

なお、上述の実施の形態において、消耗商品に関する情報、セットとなる商品に関する情報、及び類似する商品に関する情報が商品記憶部１４に記憶されていてもよい。そして、購入者が商品を購入した場合、図９に示すフローチャートに従ってレシートの印字処理を行うようにしてもよい。

例えば、商品Ｋを購入した購入者ＩＤ「０００１」の人物がレジカメラ１８ａにより撮影され、キャッシュレジスタ１６ａで会計処理が行われたとする。この場合、制御部４は、まず、履歴ファイル３０を参照し、購入者ＩＤ「０００１」の人物が今日よりも前に購入した商品の商品ＩＤを検出する。次に、商品記憶部１４に記憶されている消耗商品に関する情報に基づいて、検出した商品ＩＤの商品のうち、例えば、商品ＩＤ「Ｚ００１」の商品Ｓ、商品ＩＤ「Ｚ００２」の商品Ｔ、商品ＩＤ「Ｚ００３」の商品Ｕが定期的に消費される生活雑貨等の消耗商品であると特定する。

次に、制御部４は、消耗商品Ｓ、消耗商品Ｔ、消耗商品Ｕの中で所定の日数、例えば、５日以内に購入者ＩＤ「０００１」の人物が購入していない消耗商品があるか否かを判定する（ステップＳ３１）。５日以内に購入者ＩＤ「０００１」の人物が購入していない消耗商品がある場合（ステップＳ３１：Ｙｅｓ）、例えば、消耗商品Ｓが５日以内に購入されていない場合、制御部４は、キャッシュレジスタ１６ａのレシートプリンタによりレシートに購入者が購入した商品Ｋの商品名及び購入金額を印字し、また、レシートの下端の部分に消耗商品Ｓの商品名を印字して出力する（ステップＳ３２）。

一方、５日以内に購入者ＩＤ「０００１」の人物が購入していない消耗商品がない場合（ステップＳ３１：Ｎｏ）、制御部４は、商品記憶部１４に記憶されているセットとなる商品に関する情報に基づいて、商品Ｋとセットになる商品があるか否かを判定する（ステップＳ３３）。商品Ｋとセットになる商品がある場合（ステップＳ３３：Ｙｅｓ）、例えば、商品Ｋがコーヒーであり、コーヒーとクリームがセットになる場合、制御部４は、キャッシュレジスタ１６ａのレシートプリンタによりレシートにコーヒーの商品名及びコーヒーの金額を印字し、また、レシートの下端の部分にクリープの商品名をレシートに印字して出力する（ステップＳ３４）。

一方、商品Ｋとセットになる商品がない場合（ステップＳ３３：Ｎｏ）、制御部４は、商品記憶部１４に記憶されている類似する商品に関する情報に基づいて、商品Ｋと類似する商品があるか否かを判定する（ステップＳ３５）。商品Ｋと類似する商品がある場合（ステップＳ３５：Ｙｅｓ）、例えば、商品Ｋがコーヒーであり、コーヒーと紅茶が類似する場合、制御部４は、キャッシュレジスタ１６ａのレシートプリンタによりレシートにコーヒーの商品名及びコーヒーの金額を印字し、また、レシートの下端の部分にコーヒーと類似する紅茶の商品名を印字して出力する（ステップＳ３６）。一方、商品Ｋと類似する商品がない場合（ステップＳ３５：Ｎｏ）、レシートプリンタにより商品Ｋの商品名及び商品Ｋの金額をレシートに印字して出力する（ステップＳ３７）。これにより、消費期限が経過している商品、消費期限が経過しそうな商品、購入した商品とセットとなる商品、また購入した商品と類似する商品の買い忘れを防止することができる。

なお、図９のフローチャートによらず、所定の日数以内に購入者が購入していない消耗商品があるか否かの判定（ステップＳ３１）、購入者が購入した商品とセットになる商品があるか否かの判定（ステップＳ３３）、及び購入者が購入した商品とセットになる商品があるか否かの判定（ステップＳ３５）を全て会計処理の際に行うようにしてもよい。これにより、例えば、購入者ＩＤ「０００１」の人物がコーヒーを購入した場合において、消耗商品Ｓが５日以内に購入されておらず（ステップＳ３１：Ｙｅｓ）、コーヒーとセットなる商品としてクリームがあり（ステップＳ３３：Ｙｅｓ）、コーヒーと類似する商品として紅茶がある場合（ステップＳ３５：Ｙｅｓ）、一枚のレシートにコーヒーの商品名と金額、消耗商品Ｓの商品名、クリームの商品名、紅茶の商品名を全て印字することができ、更に的確に商品の買い忘れを防止することができる。

また、上述の実施の形態において、購入者が購入しなかった商品のうち、購入者が所定の時間を超えて見ていた商品の商品名をレシートに印字するようにしてもよい。例えば、購入者ＩＤ「０００１」の人物が商品Ｋを購入したとする。ここで、購入者ＩＤ「０００１」の人物は、商品Ｖを１０秒、商品Ｗを１５秒、商品Ｘを１５秒、商品Ｙを２０秒、商品Ｚを３０秒見ていたが購入しなかったとする。この場合、レシートの下端の部分に１５秒を超えて見ていたが買わなかった商品Ｙの商品名及び商品Ｚの商品名を印字するようにしてもよい。これにより、購入者が見ていたが購入しなかった商品の数が多い場合、レシートに印字する商品名を購入者が次回の購入の際に真に参考にすることができる商品の商品名のみに限定することができる。

また、購入者が見ていたが購入しなかった商品の商品名を、見ていた時間が長い順に所定の個数レシートに印字するようにしてもよい。例えば、購入者ＩＤ「０００１」の人物は、商品Ｖを１０秒、商品Ｗを１５秒、商品Ｘを１５秒、商品Ｙを２０秒、商品Ｚを３０秒見ていたが購入しなかったとする。この場合、見ていた時間が長い順に二つの商品の商品名、即ち、商品Ｚの商品名、商品Ｙの商品名をレシートの下端の部分に印字するようにしてもよい。

また、上述の実施の形態において、情報解析システム２が購入者の顔の画像データ、購入者の住所及びメールアドレス等の個人情報を予め記憶する個人情報記憶部、メールサーバとの間で電子メールの送受信を行う無線通信部を備えていてもよい。そして、購入処理において特定された購入者（図４、ステップＳ２３）が個人情報記憶部に記憶されている購入者と一致する場合、制御部４は、無線通信部及びメールサーバを介して、購入者が見ていたが購入しなかった商品の商品名を記載した電子メールを購入者のメールアドレスに送信するようにしてもよい。これにより、購入者に対して的確に有益な情報を提供することができる。なお、購入処理において特定された購入者が個人情報記憶部に記憶されている購入者と一致した場合、購入者が見ていたが購入しなかった商品の商品名をダイレクトメールに印字するようにしてもよい。

また、上述の実施の形態において、商品に関連するおすすめの情報が商品記憶部１４に記憶されていてもよい。例えば、カニという商品に関連して北海道旅行に関する情報が記憶されていてもよい。そして、購入者がカニを購入した場合、北海道旅行に関する情報をレシートの下端の部分に印字するようにしてもよい。

また、上述の実施の形態において、キャッシュレジスタ１６に購入金額等を購入者が確認することができるように表示する表示部を備えてもよい。そして、会計処理の終了操作が行われたときに、制御部４は、購入者が見ていたが購入しなかった商品の商品名を表示部に表示するようにしてもよい。これにより、効果的に商品の買い忘れを防止することができる。

２…情報解析システム、４…制御部、６…商品カメラ、８…入力部、１０…画像記憶部、１２…情報記憶部、１４…商品記憶部、１６…キャッシュレジスタ、１８…レジカメラ、２０…レジ画像記憶部

Claims

商品を見ている人物が含まれる第１画像の第１画像データが入力される第１入力部と、
商品を購入している人物が含まれる第２画像の第２画像データが入力される第２入力部と、
前記第１画像データと前記第２画像データとに基づいて、前記第２画像に含まれる人物が見ていた商品のうち購入されなかった商品を特定する特定部と、を備える情報処理装置。
請求項１に記載の情報処理装置において、
前記特定部は、前記第１画像データに基づいて前記第２画像に含まれる人物が見ていた商品を検出し、検出した商品のうち購入されなかった商品を特定する情報処理装置。
請求項１または２に記載の情報処理装置において、
前記特定部は、前記第２画像に含まれる人物が見ていた商品と前記第２画像に含まれる人物が購入した商品とに基づいて、購入されなかった商品を特定する情報処理装置。
請求項１から請求項３のいずれか一項に記載の情報処理装置において、
前記第２画像に含まれる人物が購入した商品のデータが入力される第３入力部を備え、
前記特定部は、前記第１画像データと、前記第３入力部により入力された商品のデータとに基づいて、購入されなかった商品を特定する情報処理装置。
請求項１から請求項４のいずれか一項に記載の情報処理装置において、
前記特定部により特定された商品のデータを記録する記録部を備える情報処理装置。
請求項５に記載の情報処理装置において、
前記記録部は、前記第２画像に含まれる人物が購入した商品のデータを記録する情報処理装置。
請求項１から請求項６のいずれか一項に記載の情報処理装置において、
前記特定部は、前記１画像データに基づいて、視線を検出することで前記第２画像に含まれる人物が見ていた商品を検出し、検出した商品のうち購入されなかった商品を特定する情報処理装置。
請求項７に記載の情報処理装置において、
前記第１画像データに基づいて、視線を検出する第１検出部を備え、
前記特定部は、前記第１検出部により検出された視線から前記第２画像に含まれる人物が見ていた商品を認識する情報処理装置。
請求項１から請求項８のいずれか一項に記載の情報処理装置において、
前記特定部は、前記第１画像データに基づいて、商品を見ている人物を検出し、検出した人物が見ていた商品のうち購入されなかった商品を特定する情報処理装置。
請求項９に記載の情報処理装置において、
前記第１画像データに基づいて、人物を検出する第２検出部を備え、
前記特定部は、前記第２検出部により検出された人物が見ていた商品のうち購入されなかった商品を特定する情報処理装置。
請求項１から請求項１０のいずれか一項に記載の情報処理装置において、
前記第１画像データに基づいて、前記第２画像に含まれる人物が商品を見ていた時間を計測する計測部を備える情報処理装置。
請求項１から請求項１１のいずれか一項に記載の情報処理装置において、
前記特定部により特定された商品の情報を出力する出力部を備える情報処理装置。
請求項１から請求項１２のいずれか一項に記載の情報処理装置において、
前記特定部により特定された商品の情報を報知する報知部を備える情報処理装置。
請求項１から請求項１３のいずれか一項に記載の情報処理装置において、
前記特定部により特定された商品の情報をメールで送信する送信部を備える情報処理装置。