JP5666772B2 - 情報提供装置、情報提供方法及びプログラム - Google Patents

Description

本発明は、顧客の画像に基づいて、顧客にとって有益な情報を提供する情報提供装置、情報提供方法及びプログラムに関する。

本発明に関連する技術例として、店舗内にいる顧客毎に複数の連続する画像を取得し、取得した複数の画像から抽出された属性（人物特徴）をデータベース登録しておく「顧客情報収集管理方法及びそのシステム」がある（例えば、特許文献１参照）。
特開２００４−３４８６１８号公報

上記特許文献１記載の発明には以下のような問題がある。特許文献１記載の発明では、ＰＯＳ（Point Of Sales）装置での商品情報・会計情報と顧客の属性情報をそれぞれ記録し、後にこれら情報を紐付けすることで、マーケティング等に利用することはできるが、属性情報に合わせたＰＯＳ装置の顧客ディスプレイへの広告表示やレシート広告出力などはできなかった。これは、ＰＯＳ装置と属性情報抽出器が別々であることから、リアルタイムでのデータ連携ができなかったためである。

本発明は、上記事情に鑑みてなされたものであり、商品情報・会計情報を取得できるＰＯＳ装置と、顧客属性情報を取得できる属性情報取得器とを一体化して、リアルタイムでのデータ連携を可能とし、顧客ごとの商品情報・会計情報・属性情報に基づいた情報提供をリアルタイムで行うことによって、各顧客に適した情報を、タイミングを逃すことなく確実に提供することができる情報提供装置、情報提供方法及びプログラムを提供することを目的とする。

かかる目的を達成するために、本発明の情報提供装置は、所定の場所で一定時間を要する顧客を撮像する撮像手段と、撮像手段により撮像された画像に基づいて顧客の属性を推定し、推定した属性を示す属性情報を取得する属性情報取得手段と、属性情報取得手段により取得された属性情報に応じて、顧客用情報を出力する顧客用情報出力手段と、を有することを特徴とする。

本発明の情報提供方法は、所定の場所で一定時間を要する顧客を撮像する撮像ステップと、撮像ステップにより撮像された画像に基づいて顧客の属性を推定し、推定した属性を示す属性情報を取得する属性情報取得ステップと、属性情報取得ステップにより取得された属性情報に応じて、顧客用情報を出力する顧客用情報出力ステップと、を有することを特徴とする。

本発明のプログラムは、所定の場所で一定時間を要する顧客を撮像する撮像処理と、撮像処理により撮像された画像に基づいて顧客の属性を推定し、推定した属性を示す属性情報を取得する属性情報取得処理と、属性情報取得処理により取得された属性情報に応じて、顧客用情報を出力する顧客用情報出力処理と、をコンピュータに実行させることを特徴とする。

本発明によれば、各顧客に適した情報を、タイミングを逃すことなく確実に提供することが可能となる。

以下、本発明を実施するための最良の形態について添付図面を参照して詳細に説明する。

本発明の情報提供装置の一実施形態として、ＰＯＳ（Point Of Sales）装置を例に説明する。本実施形態のＰＯＳ装置は、店舗のレジコーナー（会計場所）に設置される。図１は、本実施形態のＰＯＳ装置の外観を示す図である。図１に示すように、本実施形態のＰＯＳ装置は、カメラ１１、顧客用ディスプレイ１２、店員用ディスプレイ１３、キーボード１４、レシート出力器１５、バーコード読取器１６とが本体装置１０に備えられている。

カメラ１１は、レジコーナーにいる顧客を撮像する。レジコーナーにいる顧客としては、会計（支払）を行う者が挙げられるが、顧客の行動は会計に限定されず、店員への質問などでもよい。図１では、レジコーナーで会計を行う顧客として、親である顧客Ａとその子である顧客Ｂを例としている。図１中の破線は、カメラ１１の撮像範囲を示している。カメラ１１は、例えば、１秒間に数フレームずつ連続して撮影を行い、レジコーナーにいる顧客を捉えた画像（画像情報）を取得する。図１では、顧客Ａ及び顧客Ｂがともに撮像範囲内にいるので、カメラ１１は、顧客Ａ及び顧客Ｂが映った画像を取得する。なお、図１では、カメラ１１は顧客用ディスプレイ１２上に配置されているが、顧客用ディスプレイ１２近傍に配置されることが望ましい。カメラ１１は、撮像手段と呼ぶことができる。

顧客用ディスプレイ１２は、レジコーナーにいる顧客に対して、会計情報及び顧客用情報を表示する。会計情報とは、会計の内容を示す情報であり、例えば、顧客が購入する商品の商品名と単価（商品情報ともいう）や、支払の合計金額などが挙げられる。一方、顧客用情報とは、顧客に告知されることで、顧客にとって有益となる情報である。例としては、顧客に付与される特典（例えば、割引や景品）に関する情報、店舗やメーカ等によって実施されるキャンペーンやイベントに関する情報、店舗やメーカ等によって販売促進される商品等に関する情報などが挙げられる。その他にも、店舗内の施設等を案内するための情報や、店舗に直接関係しない一般的な情報（ニュース、天気予報、交通情報、豆知識、クイズ）なども挙げられる。図１の例では、顧客用ディスプレイ１２を上下２つの表示領域に分けている。例えば、上側の領域１２ａには会計情報が表示され、下側の領域１２ｂには顧客用情報が表示される。顧客用ディスプレイ１２は、顧客用表示手段と呼ぶことができる。

店員用ディスプレイ１３は、レジコーナーにいる店員（図１では、店員Ｃ）に対して、会計情報などを表示する。店員用ディスプレイ１３は店員の方を向いており、顧客にはその表示内容は見えない。

キーボード１４は、複数のボタンで構成されており、レジコーナーにいる店員により所定の情報が入力されるときに操作される。

レシート出力器１５は、支払終了後に、顧客に渡すためのレシートを印刷して出力する。このレシートには、会計情報に加えて顧客用情報が印刷されるようにしてもよい。レシート出力器１５は、レシート出力手段と呼ぶことができる。

バーコード読取器１６は、顧客が購入する商品などに付加されているバーコードを光学的に読み取り、商品情報を取得する。商品情報とは、商品に係る情報であり、例えば、商品名や単価などが含まれる。なお、バーコード読取器１６の読取対象は、バーコード以外の情報であってもよい。バーコード読取器１６は、商品情報取得手段と呼ぶことができる。

次に、本体装置１０の機能について説明する。図２は、本体装置１０の機能構成を示すブロック図である。本体装置１０は、ハードウェア構成として、コントローラ（制御回路）、記憶媒体、計算回路、画像処理回路、通信インターフェース回路などを有する。これらにより、図２の符号２０〜２６に示す各機能が実現される。コントローラは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）により構成される。記憶媒体は、例えばＨＤＤ（Hard Disk Drive）等が挙げられる。なお、図２の符号１１〜１６については、図１で説明済みであるので、以下では説明を省略する。

会計処理部２１は、ＰＯＳ装置の基本的な機能である会計処理を行う。すなわち、会計処理部２１は、キーボード１４やバーコード読取器１６から入力された商品情報（会計情報の一例）を取得し、商品情報に含まれている単価に基づいて、支払の合計金額（会計情報の一例）を算出する。会計処理部２１は、計算回路により実現される。

画像処理部２２は、カメラ１１から入力された画像を取得し、画像に映っている顧客の属性を推定し、推定した属性を示す属性情報を取得する。属性とは、顧客の特徴のことであり、例として、年齢や性別が挙げられる。その他の属性の例として、人種（東洋人、欧米人など）、服装（スーツ、学生服、帽子、眼鏡、服の色など）、共連れ情報（家族連れ、母子、学生グループなど）、背の高さ等も挙げられる。属性推定の方法は、既存技術を採用できる。既存技術としては、年齢、性別、人種を推定する技術として、例えばICMI 2005で発表された論文「Principal Component Analysis of Gender, Ethnicity, Age and Identity of Face Images」（Samarasena Buchala, Neil Davery, Tim M.Gale, RayJ.Frank Procs of IEEE ICMI 2005:7th International Conference on Multimodal Interfaces）に開示されているものを採用できる。また、服装、髪型を認識する技術として、例えば「A Method of Gender Classification by Integrating Facial, Hairstyle, and Clothing Images」（Kazuya Ueki, Hiromitsu Komatsu, Satoshi Imaizumi, Kenichi Kaneko, Satoshi Imaizumi, Nobuhiro Sekine Jiro Katto, Tetsunori Kobayashi）に開示されているものを採用できる。画像処理部２２は、カメラ１１から入力された画像に複数の顧客が映っている場合、顧客毎に属性推定を行い、顧客毎の属性情報を複数取得する。画像処部２２は、画像処理回路により実現される。画像処理部２２は、属性情報取得手段と呼ぶことができる。

また、画像処理部２２は、カメラ１１により撮像された画像中の顧客の、顔の角度、顔の位置（座標）、顔の大きさ（面積・画素数）のうち少なくとも１つを測定する測定機能を備えるようにしてもよい。また、画像処理部２２は、測定機能により取得した測定値が予め設定された設定値と一致したかどうかを判定する判定機能を備えるようにしてもよい。また、画像処理部２２は、測定機能により測定した測定値が所定値（例えば上記設定値）を維持した時間を測定したり、あるいは、画像中の顧客が撮像されている時間を測定したりする時間測定機能を備えるようにしてもよい。また、画像処理部２２は、時間測定機能により測定した時間が予め設定された設定時間に達したかどうかを判定する時間判定機能を備えるようにしてもよい。
以上の各機能により、画像処理部２２は、カメラ１１で撮影された画像中の顧客が所定の状態にあるかを判断できる。ここで、例として、画像中の顧客が、顧客用ディスプレイ１２を注視している状態であるかを判断する場合について説明する。予め、顧客が顧客用ディスプレイ１２を注視するために必要な顔の角度、顔の位置及び顔の面積をそれぞれ示す設定値と、その設定値が維持されるべき設定時間とを画像処理部２２に設定しておく。画像処理部２２は、画像中の顧客の顔の角度、顔の位置及び顔の面積をそれぞれ測定し、各測定値が各設定値と一致したかを判定する。各測定値が各設定値と一致した場合、画像処理部２２は、各測定値が各設定値を維持した時間を測定し、その測定時間が設定時間に達したかを判定する。測定時間が設定時間に達した場合、画像処理部２２は、画像中の顧客が顧客用ディスプレイ１２を注視しているものと判断する。そして、画像処理部２２は、その顧客の属性を推定し、推定した属性を示す属性情報を取得する。このようにして、画像処理部２２は、カメラ１１で撮影された画像中に複数の顧客がいる場合、それら顧客群の中から、顧客用ディスプレイ１２を注視している顧客を特定することができる。なお、上記例では、顔の角度、顔の位置及び顔の面積の全てを測定及び判定の対象としたが、いずれか１つでもよい。

ディスプレイ制御部２３は、顧客用ディスプレイ１２及び店員用ディスプレイ１３の画面表示を制御する。ディスプレイ制御部２３は、顧客用ディスプレイ１２に対しては、例えば顧客用情報や会計情報を出力し、顧客用ディスプレイ１２に表示させる。顧客用情報としては、例えば、画像処理部２２の属性推定で取得された属性情報に対応付けられたものが挙げられる。なお、この顧客用情報は静止画又は動画のいずれであってもよい。また、属性情報が複数ある場合は、各属性情報に対応付けられた各顧客用情報を順次顧客用ディスプレイ１２に表示させる。会計情報としては、例えば、バーコード読取器１６から入力された商品情報や、会計処理部２１で算出された支払の合計金額が挙げられる。

一方、ディスプレイ制御部２３は、店員用ディスプレイ１３に対しては、例えば属性情報や会計情報を出力し、顧客用ディスプレイ１２に表示させる。属性情報としては、例えば、画像処理部２２の属性推定で取得されたものが挙げられる。会計情報としては、例えば、バーコード読取器１６から入力された商品情報や、会計処理部２１で算出された支払の合計金額が挙げられる。ディスプレイ制御部２３は、コントローラにより実現される。ディスプレイ制御部２３及び顧客用ディスプレイ１２は、顧客用情報出力手段と呼ぶことができる。

レシート出力制御部２４は、レシート出力器１５のレシート出力を制御する。レシート出力制御部２４は、レシート出力器１５に対して、例えば会計情報や顧客用情報を出力し、紙などの媒体上に印刷させ、レシートして出力させる。会計情報としては、例えば、バーコード読取器１６から入力された商品情報や会計処理部２１で算出された支払の合計金額に加え、会計日時や店舗の会計担当者等が挙げられる。顧客用情報としては、例えば、画像処理部２２の属性推定で取得された属性情報に対応付けられたものが挙げられる。レシート出力制御部２４は、コントローラにより実現される。レシート出力制御部２４及びレシート出力器１５は、顧客用情報出力手段と呼ぶことができる。

情報記憶部２５は、各種情報を記憶する。各種情報の例としては、会計処理部２１から出力される会計情報（商品情報を含む）、画像処理部２２から出力される属性情報や画像、ＰＯＳ装置外部から取得された顧客用情報などが挙げられる。ここで、情報記憶部２５に記憶される顧客用情報は、例えば、１０才以下用の顧客用情報、２０代女性用の顧客用情報、５０代以上男性用の顧客用情報などのように、各種属性に対応付けられている。また、これら顧客用情報は、例えば同じ１０才以下用の顧客用情報であっても、顧客用ディスプレイ１２に表示される表示用と、レシート出力器１５で印刷されるレシート用とに分けられている。なお、同じ顧客用情報の表示用とレシート用とは、識別子（ＩＤ）等で対応付けられることが好ましい。

また、情報記憶部２５は、上記各種情報をそれぞれ紐付けて記憶するようにしてもよく、例えば、会計情報（又は商品情報）と、属性情報とを紐付けて記憶することができる。これらの紐付けた情報を後に使用することにより、例えば商品別や時間帯別の購入者の属性が分析でき、マーケティングに役立てることができる。

なお、図２では情報記憶部２５を１つとしているが、各種情報毎に情報記憶部を設けるようにしてもよい。情報記憶部２５は、記憶媒体により実現される。

外部通信部２６は、ＰＯＳ装置外部の機器やネットワークと通信し、上記各種情報の送受信を行う。情報記憶部２５に記憶される顧客用情報は、外部通信部２６を介して随時受信されるようにしてもよい。また、会計情報（又は商品情報）と紐付けられた属性情報は、外部通信部２６を介して送信されるようにしてもよい。外部通信部２６は、通信インターフェース回路により実現される。

統括制御部２０は、上記各部２１〜２６の連携を行い、上記各部２１〜２６の各機能の実現を制御する。統括制御部２０は、コントローラにより実現される。

次に、以上のように構成された本実施形態のＰＯＳ装置における処理の流れについて、図１〜図３を参照しながら説明する。図３は、本実施形態のＰＯＳ装置における処理の流れを示すフローチャートである。

例として、図１に示すように、親子である顧客Ａと顧客Ｂが、買い物の支払をするためにレジコーナーにやって来たとする。レジコーナーには、本実施形態のＰＯＳ装置を使用して支払の対応を行う店員Ｃがいるとする。顧客Ａと顧客Ｂは、購入しようとする複数の商品を店員Ｃへ差し出す。店員Ｃは、バーコード読取器１６を用いて、差し出された各商品に付いているバーコードを１つずつ読み取っていく（ステップＳ１）。バーコードから読み取られた商品情報は、会計処理部２１へ入力されるとともに、ディスプレイ制御部２３の制御により、顧客用ディスプレイ１２の領域１２ａや店員用ディスプレイ１３に画面表示される。なお、このとき、顧客用ディスプレイ１２の領域１２ｂには、例えば「いらっしゃいませ」等の文字が表示されている。

店員Ｃにより１つ目の商品のバーコード読取が行われると、カメラ１１は撮像範囲の撮像を行い、画像を取得する（ステップＳ２）。撮像範囲は、会計（支払）を行うときに顧客が位置する場所とする。ここでの例では、図１に示すように、カメラ１１は、撮像範囲内の顧客Ａ及び顧客Ｂの画像を撮影する。

カメラ１１により撮影された画像は、画像処理部２２へ入力される。画像処理部２２は、入力された画像に映っている、顧客Ａ及び顧客Ｂの属性推定をそれぞれ行う（ステップＳ３）。ここでの例では、顧客Ａの属性推定の結果を「４１才女性」、顧客Ｂの属性推定結果を「９才男性」とする。画像処理部２２は、各属性推定の結果を示す属性情報をディスプレイ制御部２３へ出力する。

ディスプレイ制御部２３は、入力された属性情報に対応付けられた、表示用の顧客用情報をそれぞれ情報記憶部２５から取得し、顧客用ディスプレイ１２の領域１２ｂに順次表示させる（ステップＳ４）。ここでの例では、情報記憶部２５は、例として、予め外部通信部２６を介して取得された、４０代女性用の顧客用情報（例：化粧品の宣伝映像）と１０才以下用の顧客用情報（例：キッズイベントの告知映像）とを記憶しているものとする。よって、ディスプレイ制御部２３は、属性情報「４１才女性」及び「９才男性」に該当する顧客用情報を両方取得することができる。

店員Ｃにより全ての商品のバーコード読取が行われ、キーボード１４の合計キーが押下されると、会計処理部２１は、算出した支払の合計金額をディスプレイ制御部２３へ出力する。ディスプレイ制御部２３は、例えば図１に示すように、顧客用ディスプレイ１２の領域１２ａに、支払の合計金額を表示させる（ステップＳ５）。

支払の合計金額が表示されたとき、あるいは、支払の合計金額が表示された後の所定時間内に、カメラ１１は、撮像範囲内の顧客Ａ及び顧客Ｂの撮影を行う（ステップＳ６）。

カメラ１１により撮影された画像は、画像処理部２２へ入力される。ここで、画像処理部２２は、上述した測定機能や判定機能により、入力された画像に映っている顧客Ａ及び顧客Ｂのうち、顧客用ディスプレイ１２を見た顧客を特定する。ここでの例では、顧客Ａが合計金額の表示をのぞき込むようにして２秒間見たことで、撮像された顔のサイズ、位置及び角度の測定値が予め設定された設定値と一致し、かつ、その一致した時間が予め設定された設定時間に達したとする。よって、顧客Ａが顧客用ディスプレイ１２を見た顧客として特定される。画像処理部２２は、特定した顧客Ａの属性を推定し、推定した属性を示す属性情報「４１才女性」を取得する（ステップＳ７）。画像処理部２２は、取得した属性情報をレシート出力制御部２４へ出力する。

レシート出力制御部２４は、店員Ｃにより支払が終了したときに押下されるキーの入力を、会計処理部２１を介して検知すると、入力された属性情報に対応付けられた、レシート用の顧客用情報を情報記憶部２５から取得し、レシート出力器１５で印刷させる（ステップＳ８）。ここでの例では、情報記憶部２５は、例として、予め外部通信部２６を介して取得された、４０代女性用の顧客用情報（例：化粧品の宣伝記事）を記憶しているものとする。よって、レシート出力制御部２４は、属性情報「４１才女性」に該当する顧客用情報を取得することができる。レシート出力器１５のレシート出力が終了すると、ディスプレイ制御部２３は、顧客用ディスプレイ１２の領域１２ｂにおける顧客用情報の表示を終了させ、「ありがとうございました」等の文字を表示させる。

以上説明したように、本実施形態によれば、レジコーナーで会計を行う顧客を属性推定の対象とし、顧客毎に情報提供を行う。これによって、各顧客に適した情報を、タイミングを逃すことなく確実に提供することができる。その理由は、会計のときには一定の時間が確保されるので、その時間を利用して情報の提供を行えるからである。また、会計は、複数の顧客に対して同時に行えるものではなく、基本的に店員と顧客の１対１で行われるので、会計中の顧客に絞って、適切な情報を提供できるからである。また、本実施形態によれば、顧客の属性推定の結果をすぐに用いて情報提供を行うので、上記特許文献１のように、顧客が来店する毎にその顧客のデータを予め取得して登録しておく必要がない。

以下、上記実施形態の補足例について説明する。

〔補足例１〕
上記図３の処理の流れにおいて、ステップＳ６〜Ｓ８は任意の処理としてもよい。すなわち、ステップＳ５における支払の合計金額表示の後で再度の顧客撮像及び属性推定を行わずに、レシート出力を行うようにする。

なおそのとき、レシートには、顧客用ディスプレイ１２に順次表示された各顧客用情報（表示用）のうち少なくとも１つに対応付けられた顧客用情報（レシート用）が印刷されるようにしてもよい。上述した図３の処理を例に説明する。ステップＳ３において、画像処理部２２は、属性情報「４１才女性」及び「９才男性」をディスプレイ制御部２３だけではなく、レシート出力制御部２４に出力する。レシート出力制御部２４は、４０代女性用の顧客用情報（表示用）と１０才以下用の顧客用情報（表示用）にそれぞれ対応付けられている顧客用情報（レシート用）を、識別子を基に情報記憶部２５から取得する。そして、レシート出力制御部２４は、４０代女性用の顧客用情報（レシート用）と１０才以下用の顧客用情報（レシート用）を両方ともレシートに印刷するようにレシート出力器１５を制御する。なお、印刷される顧客用情報は、４０代女性用の顧客用情報（レシート用）と１０才以下用の顧客用情報（レシート用）のいずれかでもよい。

〔補足例２〕
上記図３のステップＳ１の前、すなわち、バーコード読取器１６によるバーコード読取の前にも、顧客用情報（表示用）を顧客用ディスプレイ１２に表示するようにしてもよい。例えば、ディスプレイ制御部２３は、情報記憶部２５から顧客用情報（表示用）をランダムに取得し、顧客用ディスプレイ１２の領域１２ｂに順次表示させる。あるいは、例えば、ディスプレイ制御部２３は、情報記憶部２５から取得して表示した回数を顧客用情報（表示用）毎にカウントしておき、表示回数（取得回数）に応じて情報記憶部２５から顧客用情報（表示用）を取得し、顧客用ディスプレイ１２の領域１２ｂに表示させる。

〔補足例３〕
レジコーナーにおいて会計待ちの顧客の列ができている場合、現在会計中の顧客の後に並んでいる顧客をカメラ１１で撮像し、その顧客の会計に先立って属性推定を予め行うようにしてもよい。この補足例３の動作を図４に示す。なお、図４の各ステップのうち、図３と同じステップには同符号を付すものとし、ここでの説明は省略する。よって、以下では、図４に示すＳ１２〜Ｓ１４について主に説明する。また、例として、図１に示す顧客Ａ及びＢを現在会計中の顧客とし、その後ろに会計待ちの顧客として顧客Ｄが並んでいるとする。商品のバーコード読取により顧客Ａ及びＢの会計が開始されると（ステップＳ１）、カメラ１１は、現在会計中の顧客Ａ及びＢだけでなく、会計待ちの顧客Ｄの撮像を行い、画像を取得する（ステップＳ１２）。カメラ１１により撮影された画像は、画像処理部２２へ入力される。画像処理部２２は、入力された画像に映っている、顧客Ａ、Ｂ及びＤの属性推定をそれぞれ行う（ステップＳ１３）。画像処理部２２は、各属性推定の結果を示す属性情報をディスプレイ制御部２３へ出力する。ディスプレイ制御部２３は、入力された属性情報に対応付けられた、表示用の顧客用情報をそれぞれ情報記憶部２５から取得し、顧客用ディスプレイ１２の領域１２ｂに順次表示させる（ステップＳ１４）。ステップＳ１４以降は、図３のステップＳ５以降と同じであるので、説明は省略する。このようにすることで、会計中の顧客だけでなく、会計待ちの顧客に対しても広告表示が可能となる。なお、顧客用ディスプレイ１２とは別に、会計待ちの顧客用ディスプレイを設けるようにしてもよい。この会計待ちの顧客用ディスプレイでは、顧客用ディスプレイ１２の表示とは別に、会計待ちの顧客の属性に応じた顧客用情報（表示用）を表示するようにする。

〔補足例４〕
カメラ１１を、顧客が支払動作をするときに正対する場所に設置するようにしてもよい。

〔補足例５〕
所定の顧客用情報（表示用）が表示されている顧客用ディスプレイ１２を顧客が所定時間注視（凝視）している場合、顧客用情報（表示用）に対応付けられた顧客用情報（レシート用）をレシート出力するようにしてもよい。画像処理部２２は、上述した測定機能や判定機能により、顧客用ディスプレイ１２を注視している顧客を特定することができる。すなわち、画像処理部２２は、カメラ１１により撮像された画像中の顧客の顔の角度及び顔の大きさのうち少なくとも一方を測定し、測定値が予め設定された設定値と一致するかを判定する。そして、画像処理部２２は、測定値と設定値が一致した時間を測定し、測定時間が予め設定された設定時間に達したかを判定する。測定時間が設定時間に達した場合、画像処理部２２は、表示中の顧客用情報（表示用）が一定時間注視されたものとし、例えば、表示中の顧客用情報（表示用）の識別子をレシート出力制御部２４に出力する。レシート出力制御部２４は、顧客用情報（表示用）の識別子を基に、その顧客用情報（表示用）に対応付けられた顧客用情報（レシート用）を情報記憶部２５から取得する。そして、レシート出力制御部２４は、取得した顧客用情報（レシート用）をレシートに印刷するようにレシート出力器１５を制御する。

補足例５において、顧客が顧客用ディスプレイ１２を注視している時間に応じて、レシートに印刷する顧客用情報の内容を変化させるようにしてもよい。例えば、レシートに印刷する顧客用情報として割引券を印刷する場合、注視時間が長いほど、割引券の割引率を上げるようにする。この場合、情報記憶部２５は、注視時間毎に割引率の異なる複数の顧客用情報（レシート用）を予め記憶しておく。画像処理部２２は、所定の顧客用情報（表示用）が表示中の顧客用ディスプレイ１２を注視している顔の角度の顧客がいる場合、その角度が保たれる時間（注視時間）を計測する。そして、画像処理部２２は、例えば、表示中の顧客用情報（表示用）の識別子と、計測した注視時間とをレシート出力制御部２４に出力する。レシート出力制御部２４は、顧客用情報（表示用）の識別子及び計測された注視時間を基に、その顧客用情報（表示用）に対応付けられた顧客用情報（レシート用）のうち、計測された注視時間に該当する顧客用情報（レシート用）を情報記憶部２５から取得する。そして、レシート出力制御部２４は、取得した顧客用情報（レシート用）をレシートに印刷するようにレシート出力器１５を制御する。なお、注視時間は、所定の顔の角度が保たれている時間としたが、単にカメラ１１に撮像されている時間であってもよい。

〔補足例６〕
顧客用情報は、属性に応じた出力形態とするのが好ましい。例えば、お年寄り向けの顧客用情報は、画面表示やレシート印刷において、見やすいように大きい文字で出力されるようにする。また、子供向けの顧客用情報は、画面表示やレシート印刷において、ひらがなの文字や絵で出力されるようにする。

〔補足例７〕
出力される顧客用情報は、属性情報だけでなく、その他の要素も加味されるようにしてもよい。その他の要素としては、例えば、時間帯や天気などが挙げられる。情報記憶部２５に記憶される顧客用情報は、各種属性だけではなく、例えば時間帯や天気にも対応付けられる。なお、時間帯を示す情報（時間帯情報）は、例えば会計処理部２１内蔵のタイマによって計測される。また、天気を示す情報（天気情報）は、例えば外部通信部２６を介して外部サーバなどから取得される。ディスプレイ制御部２３及びレシート出力制御部２４は、画像処理部２２から属性情報を受け取るとともに、会計処理部２１から時間帯情報、外部通信部２６から天気情報を受け取る。そして、ディスプレイ制御部２３及びレシート出力制御部２４は、情報記憶部２５から、受け取った属性情報、時間帯情報及び天気情報に対応付けられた顧客用情報を取得し、出力するように制御する。なお、その他の要素は、時間帯又は天気のいずれかだけであってもよいし、時間帯及び天気以外のものを採用するようにしてもよい。

〔補足例８〕
ディスプレイ制御部２３及びレシート出力制御部２４は、バーコード読取器１６により取得された商品情報の数に応じて、商品情報に係る顧客用情報の出力確率を制御するようにしてもよい。会計処理部２１は、取得された商品情報を種別毎にカウントしておく。会計処理部２１は、ある商品情報が所定数に達した場合、その商品情報に係る顧客用情報を示す識別子をディスプレイ制御部２３やレシート出力制御部２４に出力する。ディスプレイ制御部２３やレシート出力制御部２４は、属性情報に対応付けられた顧客用情報を取得するとき、優先的に、受け取った識別子に対応付けられた顧客用情報を取得する。例えば、レシート出力制御部２４は、レシートに印刷したバーコード付きの割引クーポンが利用された件数に応じて、その割引クーポンの出力確率を高めるようにする。また、例えば、ディスプレイ制御部２３は、顧客用ディスプレイ１２に広告表示した商品の購入件数に応じて、その商品に係る顧客用情報の表示確率を高めるようにする。

〔補足例９〕
店員用ディスプレイ１３に属性推定の結果を表示し、店員がその表示を見て、訂正・追加できるようにしてもよい。キーボード１４は、顧客の属性を手動で入力可能とする。よって、キーボード１４は、属性入力手段と呼ぶことができる。ディスプレイ制御部２３は、画像処理部２２から属性情報を受け取ると、その属性情報が示す属性を店員用ディスプレイ１３に表示させる。店員は、表示された属性を確認する。そして、店員は、表示された属性を訂正したい場合や、表示された属性に別の属性を追加したい場合に、キーボード１４を操作して、店員が推定した新たな属性を入力する。店員により入力された属性を示す追加属性情報は、会計処理部２１に入力された後、属性情報と紐付けられたり、又は、属性情報に上書きされたりする。その後、追加属性情報は、情報記憶部２５に記憶されたり、外部通信部２６を介して外部へ送信されたりする。

〔補足例１０〕
顧客用情報の内容は、必ずしも自店舗に関する内容でなくてもよい。例えばデパートなどの複合施設において、本実施形態のＰＯＳ装置を設置する店舗が、同じ施設にある他店舗から他店舗に関する広告（属性毎の広告）を予め募集し、その広告を顧客用情報として情報記憶部２５に記憶するようにする。よって、ディスプレイ制御部２３やレシート出力制御部２４は、他店舗に関する広告の画面表示やレシート印刷を行う。なお、この場合、ディスプレイ制御部２３やレシート出力制御部２４は、属性毎の広告の出力数を集計しておくことが好ましい。

〔補足例１１〕
ディスプレイ制御部２３は、顧客用ディスプレイ１２にアンケートを表示させ、アンケートの回答の入力を受け付けるようにしてもよい。情報記憶部２５は、各種属性に対応付けられたアンケート情報を記憶する。ディスプレイ制御部２３は、画像処理部２２から属性情報を受け取ると、その属性情報に対応付けられた顧客用情報及びアンケート情報を取得する。そして、ディスプレイ制御部２３は、顧客用ディスプレイ１２に顧客用情報表示させた後、アンケートを表示させ、顧客の回答を受け付ける。顧客用ディスプレイ１２をタッチパネルで構成する。これにより、顧客は指などで画面をタッチして回答を選択できる。アンケートは、２択や３択などの簡単な内容が好ましい。これにより、店舗やメーカ（スポンサー）側は、属性に応じたアンケートの回答結果を得ることができる。なお、アンケートの回答結果は、属性情報及び会計情報（商品情報）と紐付けられるようにしてもよい。

〔補足例１２〕
図３のステップＳ１とステップＳ２、及び、図４のステップＳ１とステップＳ１２は、順番を逆にして、顧客を撮像した後に顧客の会計が行われるようにしてもよい。図５（ａ）は、図３のステップＳ１とステップＳ２の順番を逆にしたフローを示す図である。また、図５（ｂ）は、図４のステップＳ１とステップＳ１２の順番を逆にしたフローを示す図である。また、図５（ａ）及び（ｂ）に示すように、ステップＳ８の後に最初の顧客撮像ステップ（Ｓ２、Ｓ１２）に戻り、一連の処理を繰り返すようにしてもよい。すなわち、ＰＯＳ装置が本来の会計処理を行っていない間に、常に顧客の撮像を行うようにする。これにより、会計をするためにレジコーナーに来た顧客に対して、顧客用情報を素早く表示することができる。また、会計待ちの顧客に対して顧客用情報を表示することができる。この意味で、本例は補足例３に適用することができる。なお、図５（ａ）及び（ｂ）の各ステップについては、図３及び図４で説明済みであるので、ここでの説明は省略する。

以上、本発明の情報提供装置の一実施形態としてＰＯＳ装置を例に説明したが、これに限定されるものではない。本発明の情報提供装置の適用例として、自動販売機（無料で物を提供する機械も含む）、ＡＴＭ（Automatic Tellers Machine）、精算機などが挙げられる。つまり、本発明の情報提供装置は、複数の顧客と同時にやり取りすることが不可能であり、かつ、顧客とのやり取りのときに一定時間を確保できる装置・機器に適用できる。

以上、本発明の実施形態について説明したが、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。

例えば、上述した実施形態における機能・動作は、ハードウェアまたはソフトウェア、あるいは、ハードウェア及びソフトウェアの複合構成によって実行することも可能である。

ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させてもよい。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させてもよい。

例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送してもよい。または、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送してもよい。コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。

また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。

本発明の実施形態に係るＰＯＳ装置装置の外観を示す図である。 本発明の実施形態に係るＰＯＳ装置装置の構成を示すブロック図である。 本発明の実施形態に係るＰＯＳ装置の動作を示すフローチャートである。 本発明の実施形態に係るＰＯＳ装置の動作（補足例３）を示すフローチャートである。 本発明の実施形態に係るＰＯＳ装置の動作（補足例１２）を示すフローチャートである。

符号の説明

１０ 本体装置
１１ カメラ
１２ 顧客用ディスプレイ
１３ 店員用ディスプレイ
１４ キーボード
１５ レシート出力器
１６ バーコード読取器
２０ 統括制御部
２１ 会計処理部
２２ 画像処理部
２３ ディスプレイ制御部
２４ レシート出力制御部
２５ 情報記憶部
２６ 外部通信部

Claims (11)

1. 会計情報を表示する顧客用表示手段と、
   前記会計情報が表示された以後、所定時間内に撮像範囲内の顧客を撮像する、前記顧客用表示手段近傍に配置された撮像手段と、
   撮像手段からの顧客の撮像画像に基づき、前記顧客用表示手段を視認した顧客を特定し、特定された前記顧客の属性を推定して出力する画像処理手段と
   を含む情報提供装置。
2. 前記属性と、顧客用情報とを対応づけて記憶する情報記憶手段と、
   出力された前記属性を基に、当該属性に対応付けられた前記顧客用情報を前記情報記憶手段から取得して顧客に提供する情報として出力する顧客用情報出力手段と
   をさらに備える請求項１に記載の情報提供装置。
3. 前記顧客用情報出力手段は、出力形態を前記属性に基づいて決定して出力する請求項２に記載の情報提供装置。
4. 顧客により購入される商品に係る商品情報を取得する商品情報取得手段をさらに有し、
   前記商品情報取得手段により取得された商品情報は、前記属性と紐付けられることを特徴とする請求項２乃至３のいずれか１項に記載の情報提供装置。
5. 前記情報記憶手段は、注視時間毎に割引率の異なる複数の顧客用情報を予め記憶しており、
   前記画像処理手段は、前記顧客の前記顧客用表示手段の注視時間を計測し、
   前記顧客用情報出力手段は前記注視時間に対応する顧客用情報を前記情報記憶手段から取得して出力する請求項２乃至４のいずれか１項に記載の情報提供装置。
6. 前記顧客の属性を手動で入力可能とし、入力された属性を示す追加属性を取得する属性入力手段をさらに有し、
   前記属性は、前記追加属性と紐付けられる、又は、前記追加属性により上書きされることを特徴とする請求項２乃至５のいずれか１項に記載の情報提供装置。
7. 前記顧客用情報出力手段は、
   前記商品情報取得手段により取得された前記商品情報の数に応じて、前記商品情報に係る前記顧客用情報の出力確率を高めることを特徴とする請求項４に記載の情報提供装置。
8. 前記顧客用情報出力手段は、
   前記顧客用情報としてアンケートを表示し、前記アンケートの回答の入力を受け付ける顧客用表示手段を有する、
   請求項２から７のいずれか１項に記載の情報提供装置。
9. 前記顧客用情報出力手段は、前記画像処理手段により、前記顧客用表示手段を注視した状態にある顧客の属性が出力された場合、前記属性に対応付けられた顧客用情報をレシートに印刷することを特徴とする請求項２乃至８のいずれか１項に記載の情報提供装置。
10. 会計情報を表示する顧客用表示ステップと、
    前記会計情報が表示された以後、前記顧客用表示手段近傍に配置された撮像手段により所定時間内に撮像範囲内の顧客を撮像する撮像ステップと、
    撮像された顧客のうち、前記顧客用表示手段を視認した顧客を特定し、特定された前記顧客の属性を推定して出力する画像処理ステップと
    を含む情報提供方法。
11. 会計情報を表示する顧客用表示処理と、
    前記会計情報が表示された以後、前記顧客用表示手段近傍に配置された撮像手段により所定時間内に撮像範囲内の顧客を撮像する撮像処理と、
    撮像された顧客のうち、前記顧客用表示手段を視認した顧客を特定し、特定された前記顧客の属性を推定して出力する画像処理と
    をコンピュータに実行させることを特徴とするプログラム。

Images