JP6196252B2 - 販売データ処理装置、サーバおよびプログラム - Google Patents

Description

本発明の実施形態は、販売データ処理装置、サーバおよびプログラムに関する。

コンビニエンスストア等の店舗では、客層分析や商品の売上分析等のため、商品を購入する顧客の性別や年齢層等の属性情報を取得するような場合がある。この属性情報の取得は、ＰＯＳ端末（Point of Sales）や天井等に設置されたカメラによって撮像された顧客の画像を解析して、顧客の属性情報を取得している。

ところで、顧客の画像から属性情報を取得するには、顧客の顔を正面から撮像する必要がある。しかしながら、顧客がカメラに対して正対しない場合や、正対しても顧客がマスクや帽子等を身に付けている場合には、顔の検出ができず、顧客の属性情報を取得できない可能性がある。

本発明が解決しようとする課題は、顔の検出ができない場合でも、顧客の属性情報を取得することが可能な販売データ処理装置、サーバおよびプログラムを提供することである。

実施形態の販売データ処理装置は、取引処理した商品の商品情報を記憶部に記憶する商品情報記憶手段と、カメラで撮像した撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できた場合、検出した顔の顔画像情報に基づいて判断された属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第１属性記憶手段と、前記撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できなかった場合、前記商品情報記憶手段によって記憶された前記商品情報を、サーバに送信する送信手段と、送信した前記商品情報に基づいて一人の顧客を抽出した前記サーバから送信された前記一人の顧客の前記顔画像情報に基づいて判断された属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第２属性記憶手段と、を備える。

実施形態のサーバは、商品が陳列された複数のエリア毎にそれぞれ備えられたカメラによって撮像された当該エリアを通過する顧客の画像情報を記憶する画像記憶手段と、前記各エリアと当該エリア内に陳列されたすべての商品の商品情報とを対応付けて記憶する記憶部と、販売データ処理装置から受信した商品情報に対応した前記記憶部に記憶されているエリアをすべて選定するエリア選定手段と、選定されたエリアの前記画像記憶手段によって記憶された前記画像情報から当該エリアを通過した顧客の顔を識別して、最も多くの前記エリアで撮像された一人の顧客の顔画像情報を抽出する顔画像抽出手段と、抽出した顔画像情報を前記販売データ処理装置に送信する送信手段と、を備える。

実施形態のプログラムは、販売データ処理装置をコンピュータによって制御するためのプログラムであって、前記コンピュータを、取引処理した商品の商品情報を記憶部に記憶する商品情報記憶手段と、カメラで撮像した撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できた場合、検出した顔の顔画像情報に基づいて判断された属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第１属性記憶手段と、前記撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できなかった場合、前記商品情報記憶手段によって記憶された前記商品情報を、サーバに送信する送信手段と、受信した前記商品情報に基づいて一人の顧客を抽出した前記サーバから送信された前記一人の顧客の前記顔画像情報に基づいて判断された顧客の属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第２属性記憶手段と、して機能させる。

図１は、店舗内での各装置の配置を模擬的に示す平面図である。 図２は、実施形態のＰＯＳ端末を顧客側から見た外観を示す斜視図である。 図３は、ＰＯＳ端末のハードウェア構成を示すブロック図である。 図４は、ＰＯＳ端末の顔マスタの一例を示すメモリマップである。 図５は、カメラサーバのハードウェア構成を示すブロック図である。 図６は、カメラサーバのエリア記憶部の一例を示すメモリマップである。 図７は、ＰＯＳ端末の機能構成を示す機能ブロック図である。 図８は、ＰＯＳ端末の制御処理の流れを示すフローチャートである。 図９は、ＰＯＳ端末の制御処理の流れを示すフローチャートである。 図１０は、ＰＯＳ端末の制御処理の流れを示すフローチャートである。 図１１は、カメラサーバの機能構成を示す機能ブロック図である。 図１２は、カメラサーバの制御処理の流れを示すフローチャートである。 図１３は、カメラサーバの顔クラスタリングの一例を模式的に示す図である。

以下、図１〜図１３を参照して、実施形態に係る販売データ処理装置、サーバおよびプログラムを詳細に説明する。実施形態では、販売データ処理装置としてＰＯＳ（Point of Sales）端末を用いて説明する。また、実施形態では、サーバとしてカメラサーバを用いて説明する。なお、以下に説明する実施形態によりこの発明が限定されるものではない。

図１は、実施形態のＰＯＳ端末１およびカメラサーバ４が店舗内に設置された状態を示す平面模式図である。図１において、店舗Ｐ内は、商品を販売する販売領域Ｐ１とバックヤードである事務領域Ｐ２とを有する。販売領域Ｐ１には、複数列の棚Ｓ（Ｓ１〜Ｓ５）、カメラＣ（Ｃ１〜Ｃ５）、ＰＯＳ端末１が備えられている。なお、棚を総じて指す場合は参照符号「Ｓ」を使用し、各棚を個別に指す場合は個別の参照符号「Ｓ１〜Ｓ５」を使用する。また、カメラを総じて指す場合は参照符号「Ｃ」を使用し、各カメラを個別に指す場合は個別の参照符号「Ｃ１〜Ｃ５」を使用する。また、事務領域Ｐ２には、カメラサーバ４が備えられている。

ＰＯＳ端末１とカメラＣ１〜Ｃ４とカメラサーバ４は、通信回線５を介して互いに電気的に接続されている。カメラＣ５は、ＰＯＳ端末１に内蔵されている。

各棚Ｓは、複数段に仕切られており、多数の商品が各段に陳列される。各棚Ｓ間には、それぞれエリアＥ（Ｅ１〜Ｅ４）が設けられている。なお、エリアを総じて指す場合は参照符号「Ｅ」を使用し、各エリアを個別に指す場合は個別の参照符号「Ｅ１〜Ｅ４」を使用する。エリアＥは、棚Ｓ間に設けられ、顧客が相互に通過できる充分なスペースである。顧客は、エリアＥを通過しながら棚Ｓに陳列された商品を見たり、棚Ｓから商品をカゴに移して商品を購入したりする。

カメラＣ１〜Ｃ４は、店舗Ｐの販売領域Ｐ１の天井に取り付けられている。カメラＣ１〜Ｃ４は、天井から各エリアＥに向けて設置されている。カメラＣ１〜Ｃ４は、ＣＣＤ等で構成され、顧客Ｈ等の被写体の連続静止画または動画（総称して「画像」という）を撮像する。実施形態では、カメラＣ１〜Ｃ４は、各エリアＥを通過する顧客Ｈを、例えば１秒間に１０枚の連続静止画を撮像する。カメラＣ１は、エリアＥ１を通過する顧客の画像を撮像する。カメラＣ２は、エリアＥ２を通過する顧客の画像を撮像する。カメラＣ３は、エリアＥ３を通過する顧客の画像を撮像する。カメラＣ４は、エリアＥ４を通過する顧客の画像を撮像する。カメラＣ１〜Ｃ４が撮像した画像は、通信回線５を介してカメラサーバ４に送信される。

ＰＯＳ端末１は、店内で販売されている商品の販売に係る売上登録を行う。オペレータであるオペレータＣＨがＰＯＳ端末１を操作することで、ＰＯＳ端末１は、販売される商品の売上登録処理および決済処理を実行する。売上登録処理とは、販売される商品に付されたバーコード等のコードを光学的に読み取って商品コードを入力し、入力した商品コードに基づいて読み出した、当該商品の商品名や価格（商品情報）を表示するとともに、商品情報をバッファに記憶する処理をいう。決済処理とは、売上登録処理に伴いバッファに記憶された商品情報に基づいて、当該取引に係る合計金額の表示、顧客から預かった預り金に基づいて釣銭を計算して表示する処理、釣銭の発行を釣銭機に指示する処理、商品情報や決済情報（合計金額、預り金額、釣銭額等）を印字したレシートを発行する処理等をいう。なお、売上登録処理と決済処理を合わせた処理を取引処理という。

カメラＣ５は、ＰＯＳ端末１の顧客用表示部（図２を参照）に、商品を購入する顧客に向けて設置されている。カメラＣ５は、商品を購入する顧客Ｈの画像を撮像する。実施形態では、カメラＣ５は、顧客Ｈを、例えば１秒間に１０枚の連続静止画を撮像する。

図２は、実施形態のＰＯＳ端末１を顧客Ｈ側から見た外観を示す斜視図である。図２において、ＰＯＳ端末１は、本体２と金銭収納箱３とを有する。金銭収納箱３は、ドロワを有し、顧客Ｈから預かった紙幣や貨幣の金銭や商品券等の有価証券類、および顧客Ｈに手渡す釣銭等を収納している。

本体２は、情報を入力するキーボード等の操作部１７、液晶表示器等で構成され操作者に情報を表示する店員用表示部１８、液晶表示器等で構成され、顧客Ｈに情報を表示する顧客用表示部１９を設置している。また、本体２は、商品に付されたバーコードや二次元コード等のコードを読取る読取部２０を備えている。読取部２０は、ＣＣＤラインセンサ等で商品に付されたバーコードや２次元コードを読取って入力する。また、本体２は、内部に、ＰＯＳ端末１の制御部（図３を参照）や、商品情報を印字してレシートを発行する印字部２１を備えている。

また、ＰＯＳ端末１の顧客用表示部１９の表示面側の上部には、ＣＣＤイメージセンサ等で構成されるカメラＣ５が設けられている。このカメラＣ５は、ＰＯＳ端末１の顧客Ｈ側に略正対する顧客Ｈを顔を中心に画像を撮像する。

次に、図３および図４を用いて、ＰＯＳ端末１のハードウェアについて説明する。図３は、ＰＯＳ端末１のハードウェア構成を示すブロック図である。図３において、ＰＯＳ端末１は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、メモリ部１４等を備えている。ＣＰＵ１１は制御主体となる。ＲＯＭ１２は各種プログラムを記憶する。ＲＡＭ１３はプログラムや各種データを展開する。メモリ部１４は各種プログラムを記憶する。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにデータバス１５を介して接続されている。ＣＰＵ１１とＲＯＭ１２とＲＡＭ１３が、制御部１００を構成する。すなわち、制御部１００は、ＣＰＵ１１がＲＯＭ１２やメモリ部１４に記憶されＲＡＭ１３に展開された制御プログラム１４１に従って動作することによって、後述する制御処理を実行する。

ＲＡＭ１３は、商品情報部１３１と画像記憶部１３２を備えている。商品情報部１３１は、読取部２０で読み取った商品コードに対応して売上登録処理された商品の商品情報（商品名、商品の価格、等）を記憶する。画像記憶部１３２は、カメラＣ５が撮像した画像から顔を検出した顧客Ｈの画像を記憶する。顔を検出する顔検出技術は、カメラＣ５が撮像した画像から後述する顔の各パーツ（目、鼻、口、耳、顎等）を検出することで、人物の顔であることを検出する公知の技術である。

メモリ部１４は、電源を切っても記憶情報が保持されるＨＤＤ（Hard Disc Drive）やフラッシュメモリ等の不揮発性メモリで構成され、制御プログラム１４１を含むプログラム等を記憶する。また、メモリ部１４は、顔マスタ１４２（図４を参照）、属性集計部１４３を備えている。

属性集計部１４３は、ＰＯＳ端末１で売上登録処理した商品（すなわち顧客が購入した商品）の商品情報を、商品を購入した顧客の属性情報と対応させて、属性別（性別や年齢層別）に集計して記憶する。属性集計部１４３に記憶された商品情報に基づいて、属性別の購買商品の傾向やトレンドを分析することができる。

また、データバス１５には、操作部１７、店員用表示部１８、顧客用表示部１９、読取部２０、印字部２１、カメラＣ５が、コントローラ１６を介して接続されている。コントローラ１６は、制御部１００からの指示を受けて、操作部１７、店員用表示部１８、顧客用表示部１９、読取部２０、印字部２１、カメラＣ５を制御する。ただし、説明の都合上、コントローラ１６が行う制御を制御部１００が行うとして説明する。

操作部１７は、置数キー、ファンクションキー等を含む種々のキーを備えている。小計は、購入する商品の売上登録処理を終了して決済処理の開始を宣言するために操作するキーである。小計キーが操作されると、当該取引の決済処理を開始する。預／現計キー１７１は、取引の終了を宣言するとともに、取引を現金で決済処理するためのキーである。預／現計キー１７１が操作されると、現金での決済処理を実行する。

店員用表示部１８は、表示面を店員等の操作者に向けて設置され、操作者に対して情報を表示する。顧客用表示部１９は、表示面を顧客Ｈに向けて設置され、顧客Ｈに対して情報を表示する。なお、店員用表示部１８および顧客用表示部１９上に設けられ、タッチすることでキーの役割を果たすタッチキー（図示せず）は操作部１７の一部である。

読取部２０は、ＣＣＤイメージセンサ等で構成され、商品に付されたバーコードや２次元コード等のコードをＣＣＤで読取って、商品コードを入力する。実施形態では、ハンディタイプの読取部２０を用いており、店員は、手に取った読取部２０を商品に付されたコードに近づけるか接触させることでコードを読取る。なお、読取部２０は、発光された光をポリゴンミラー等で走査し、コードで反射した光を受光する構成のスキャナであってもよい。

印字部２１は、本体２内に収納されたロール状のレシート用紙を引き出して、例えば熱転写型の印字ヘッドを備えたサーマルプリンタ等で商品情報や決済情報等を印字し、レシートとして発行する。カメラＣ５は、ＣＣＤ等で構成され、顧客Ｈ等の被写体の画像を撮像する。実施形態では、例えば１秒間に１０枚の顧客Ｈの写真を連続的に撮像する。

また、データバス１５は、店舗内の事務領域Ｐ２に設置されたカメラサーバ４や店舗サーバ（図示せず）と電気的に接続する通信Ｉ／Ｆ（Interface）２４を接続している。通信Ｉ／Ｆ２４は、通信回線５と接続している。店舗サーバは、店舗に設置されているすべてのＰＯＳ端末１と電気的に接続しており、各ＰＯＳ端末１から商品情報や決済情報を収集する。店舗サーバは、ＰＯＳ端末１から収集した商品情報や決済情報を、本部に設置された本部サーバ（図示せず）に送信する。

図４は、メモリ部１４の顔マスタ１４２を示すメモリマップである。図４において、顔マスタ１４２は、１０歳代から７０歳以上までの性別毎・年齢層毎に顔パーツ情報を記憶する顔パーツ情報部１４２１を備えている。各顔パーツ情報部１４２１は、それぞれの属性（年齢層や性別）を特定できる顔パーツ情報を記憶している。

顔パーツ情報とは、人の顔をパーツや特徴に合わせて分類した、属性毎の各パーツや特徴のデータであり、例えば、人の目、鼻、口、耳、顎といったパーツの特徴や、笑顔、真面目顔、目を閉じている、目を開いている、といった顔の変形特徴を表すデータをいう。属性毎に記憶した顔パーツ情報は、他の属性とは異なるその属性の特徴を表す情報である。例えば、１０歳代（男）の顔パーツ情報部１４２１には、１０歳代男性の特徴を示す目、鼻、口、耳の情報、１０歳代男性の特徴を示す笑顔、真面目顔の情報が記憶されている。この属性別の顔パーツ情報は、多数の統計データに基づいて作成された、その属性を顕著に表す情報である。

次に、図５を用いて、カメラサーバ４のハードウェアについて説明する。図５において、カメラサーバ４は、制御主体となるＣＰＵ４１、各種プログラムを記憶するＲＯＭ４２、各種データを展開するＲＡＭ４３、各種プログラムを記憶するメモリ部４４等を備えている。ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、メモリ部４４は、互いにデータバス４５を介して接続されている。ＣＰＵ４１とＲＯＭ４２とＲＡＭ４３が、制御部４００を構成する。すなわち、制御部４００は、ＣＰＵ４１がＲＯＭ４２やメモリ部４４に記憶されＲＡＭ４３に展開された制御プログラム４４１に従って動作することによって、後述する制御処理（図１１および図１２を参照）を実行する。

メモリ部１４は、電源を切っても記憶情報が保持されるＨＤＤ（Hard Disc Drive）やフラッシュメモリ等の不揮発性メモリで構成され、制御プログラム４４１を含むプログラム等を記憶する。また、メモリ部４４は、エリア画像部４４２（図６を参照）を備えている。

また、データバス４５には、コントローラ４６を介して、操作部４７と表示部４８が接続されている。操作部４７は、種々の操作をするキーを備えたキーボードである。表示部４８は、例えば液晶表示器であり、情報を表示する。また、データバス４５には、通信Ｉ／Ｆ４９が接続されている。通信Ｉ／Ｆ４９は、通信回線５を介してＰＯＳ端末１とカメラＣ１〜Ｃ４に電気的に接続している。

次に、図６を用いて、メモリ部４４に記憶されたエリア画像部４４２について説明する。エリア画像部４４２は、カメラＣ１〜Ｃ４がそれぞれ撮像したエリアＥの画像を記憶する。エリア画像部４４２は、撮像したカメラＣを特定するカメラコードを記憶するカメラ部４４２ａと、各カメラＣで撮像された画像の画像情報を記憶するエリア画像部４４２ｂを備える。カメラＣ１のカメラコードはカメラ部４４２ａ１に記憶され、カメラＣ１で撮像された画像はエリアＥ１画像部４４２ｂ１に記憶される。カメラＣ２のカメラコードはカメラ部４４２ａ２に記憶され、カメラＣ２で撮像された画像はエリアＥ２画像部４４２ｂ２に記憶される。カメラＣ３のカメラコードはカメラ部４４２ａ３に記憶され、カメラＣ３で撮像された画像はエリアＥ３画像部４４２ｂ３に記憶される。カメラＣ４のカメラコードはカメラ部４４２ａ４に記憶され、カメラＣ４で撮像された画像はエリアＥ４画像部４４２ｂ４に記憶される。

なお、実施形態では、エリア画像部４４２ｂには、カメラＣが撮像した直近の２時間分の画像が記憶され、それ以前の画像は順次消去される。統計的に、ほとんどの顧客が２時間以内に買物を済ませており、エリア画像部４４２ｂは、２時間分の画像を記憶しておけば充分対応できる。

続いて、図７〜図１０を用いて、ＰＯＳ端末１の制御処理について説明する。図７は、ＰＯＳ端末１の機能構成を示す機能ブロック図である。制御部１００が、ＲＯＭ１２やメモリ部１４に記憶された制御プログラム１４１を含む各種プログラムに従うことで、商品情報記憶手段１０１、第１属性記憶手段１０２、送信手段１０３、第２属性記憶手段１０４を機能させる。

商品情報記憶手段１０１は、取引処理した商品の商品情報を記憶部に記憶する機能を有する。

第１属性記憶手段１０２は、カメラで撮像した撮像画像に基づいて、商品を購入した顧客の属性を判断可能な顔を検出できた場合、検出した顔の顔画像情報に基づいて判断された属性を示す属性情報を商品情報と関連付けて記憶部に記憶する機能を有する。

送信手段１０３は、撮像画像に基づいて、商品を購入した顧客の属性を判断可能な顔を検出できなかった場合、商品情報記憶手段１０１によって記憶された商品情報を、サーバに送信する機能を有する。

第２属性記憶手段１０４は、送信した商品情報に基づいて一人の顧客を抽出したサーバから送信された、一人の顧客の顔画像情報に基づいて判断された属性を示す属性情報を商品情報と関連付けて前記記憶部に記憶する機能を有する。

図８〜図１０は、ＰＯＳ端末１の制御処理の流れを示すフローチャートである。まず図８において、制御部１００は、読取部２０で商品に付されたコードが読み取られて商品コードが入力されたか否かを判断する（ステップＳ１１）。商品コードが読み取られたと判断した場合は（ステップＳ１１のＹｅｓ）、制御部１００は、Ｓ１１で入力された商品コードが当該取引における最初の商品の商品コードであるか否かを判断する（Ｓ１２）。制御部１００は、商品情報部１３１に、商品の商品情報が記憶されていない場合は当該取引における最初の入力であると判断する。

当該取引における最初の入力であると判断した場合は（Ｓ１２のＹｅｓ）、制御部１００は、図９に示す顔検出スレッド（プログラム）を起動させる（Ｓ１３）。そして制御部１００（商品情報記憶手段１０１）は、Ｓ１１で入力された商品コードの商品の売上登録処理を実行する（Ｓ１４）。また、当該取引における最初の入力ではないと判断した場合は（Ｓ１２のＮｏ）、顔検出スレッドはすでに起動しているため、制御部１００は、Ｓ１３を実行することなくＳ１４を実行する。そして制御部１００は、Ｓ１１に戻る。

ここで、図９を用いて、制御部１００がＳ１３で起動させた顔検出スレッドの制御処理の流れについて説明する。顔検出スレッドは、ＰＯＳ端末１に設けられたカメラＣ５を用いて顧客用表示部１９の前に位置して取引を行う顧客Ｈの画像を撮像し、撮像した画像から顔検出するプログラムである。

図９において、制御部１００は、カメラＣ５を起動させて撮像を開始する（Ｓ４１）。次に制御部１００は、上述の顔検出技術を用いて、カメラＣ５が撮像した取引を行った顧客の画像から顔検出したか否かを判断する（Ｓ４２）。顔検出したと判断した場合は（Ｓ４２のＹｅｓ）、制御部１００は、顔検出した顔画像を画像記憶部１３２に記憶する（Ｓ４３）。

次に制御部１００は、後述する制御部１００が顔検出スレッドの終了信号を出力したか否かを判断する（Ｓ４４）。顔検出スレッドの終了信号を出力したと判断した場合は（Ｓ４４のＹｅｓ）、制御部１００は、カメラＣ５を停止させて、カメラＣ５による撮像を終了する（Ｓ４５）。

なお、Ｓ４２において、カメラＣ５が撮像した画像から顔検出していないと判断した場合は（Ｓ４２のＮｏ）、制御部１００は、Ｓ４３の処理を実行せずにＳ４４の処理を実行する。また、Ｓ４４において、顔検出スレッドの終了信号を出力していないと判断した場合は（Ｓ４４のＮｏ）、制御部１００は、Ｓ４２に戻る。

図８の説明に戻る。一方、Ｓ１１において、商品コードは入力されていないと判断した場合は（Ｓ１１のＮｏ）、制御部１００は、取引の終了を宣言するとともに、取引を現金で決済処理するための預／現計キー１７１が操作されたか否かを判断する（Ｓ２１）。操作されたと判断した場合は（Ｓ２１のＹｅｓ）、制御部１００は、Ｓ１３で起動した顔検出スレッドを終了させるための終了信号を出力する（Ｓ２２）。次に制御部１００は、顧客から受け取った預り金の処理や釣銭の払出し等の決済処理を実行する（Ｓ２３）。

次に制御部１００は、画像記憶部１３２に顔画像が記憶されているか否かを判断する（Ｓ２４）。記憶されていると判断した場合は（Ｓ２４のＹｅｓ）、制御部１００は、画像記憶部１３２に記憶されている顔画像に基づいて、顧客の属性（性別、年齢層等）を判断する（Ｓ２５）。すなわち制御部１００は、記憶されている顧客の顔画像の各パーツ（目、鼻、口、耳、顎等）毎に、顔マスタ１４２の顔パーツ情報部１４２１に記憶されている顔パーツ情報と対比する。そして制御部１００は、対比した結果に基づいて当該顧客の属性を判断する。具体的には、画像記憶部１３２に記憶されている顔画像の各顔パーツ情報のうち、最も近い顔パーツ情報を多く含んでいる属性を判断する。例えば、画像記憶部１３２に記憶されている顔画像の各顔パーツ情報のうち、目と鼻と口と耳のパーツ情報が４０歳代男性の顔パーツ情報と近い場合、顎の情報が他の年代と近くても、制御部１００は、この顧客の属性は４０歳代男性と判断する。

次に制御部１００（第１属性記憶手段１０２）は、Ｓ２５で判断した属性に対応した属性情報を、当該顧客が購入した商品の商品情報と対応付けて属性集計部１４３に記憶する（Ｓ２６）。そして制御部１００は、商品情報部１３１と画像記憶部１３２の情報をクリアする（Ｓ２７）。

一方、画像記憶部１３２に顔画像が記憶されていないと判断した場合は（Ｓ２４のＮｏ）、制御部１００は、商品情報部１３１に記憶されている売上登録した商品の数が３品以上であるか否かを判断する（Ｓ３１）。３品以上であると判断した場合は（Ｓ３１のＹｅｓ）、制御部１００は、図１０に示す顔問合せスレッドを起動させ（Ｓ３２）、商品情報部１３１に記憶された商品情報（商品コードを含む）と問合せ番号を含む問合せ信号を、カメラサーバ４に対して出力する。

次に制御部１００は、属性が不明である不明情報を、当該顧客が購入した商品の商品情報と対応付けて属性集計部１４３に集計する（Ｓ３３）。そして制御部１００は、Ｓ２７を実行する。

ここで図１０を用いて、制御部１００がＳ３２で起動させた顔問合せスレッドの制御処理の流れについて説明する。顔問合せスレッドは、顧客が購入した商品の商品情報に基づいて、カメラサーバ４に対して顔画像を問合せし、カメラサーバ４から受信した顔画像に基づいて属性を判断するプログラムである。

制御部１００（送信手段１０３）は、Ｓ３２で取得した商品情報と問合せ番号に基づいて、カメラサーバ４に対して問合せ信号を送信する（Ｓ５１）。そして制御部１００は、当該問合せに対する顔画像の受信の有無を判断する（Ｓ５２）。受信するまで待機し（Ｓ５２のＮｏ）、顔画像を受信したと判断した場合は（Ｓ５２のＹｅｓ）、制御部１００は、受信した顔画像に基づいて、顧客の属性（性別、年齢層等）を判断する（Ｓ５３）。そして制御部１００（第２属性記憶手段１０４）は、判断した属性の属性情報を、当該顧客が購入した商品の商品情報と対応付けて属性集計部１４３に記憶する（Ｓ５４）。そして制御部１００は、処理を終了する。

図８の説明に戻る。Ｓ２１において、預／現計キー１７１が操作されていないと判断した場合は（Ｓ２１のＮｏ）、制御部１００は、問合せスレッドが、カメラサーバ４から受信した顔画像に基づいて判断した属性の属性情報を取得したか否かを判断する（Ｓ３６）。取得したと判断した場合は（Ｓ３６のＹｅｓ）、制御部１００は、Ｓ３３で属性集計部１４３に記憶した不明情報を取得した属性情報に書き換える（Ｓ３７）。すなわち、属性が不明であった商品の属性を記憶する。そして制御部１００は、Ｓ１１に戻る。なお、カメラサーバ４から受信した顔画像に基づいて判断した属性の属性情報を取得していないと判断した場合は（Ｓ３６のＮｏ）、制御部１００はＳ１１に戻る。

続いて、図１１〜図１３を用いて、カメラサーバ４の制御処理について説明する。図１１は、カメラサーバ４の機能構成を示す機能ブロック図である。制御部４００が、ＲＯＭ４２やメモリ部４４に記憶された制御プログラム４４１を含む各種プログラムに従うことで、画像記憶手段４０１、エリア選定手段４０２、顔画像抽出手段４０３、送信手段４０４を機能させる。

画像記憶手段４０１は、商品が陳列された複数のエリア毎にそれぞれ備えられたカメラＣによって撮像された当該エリアを通過する人物の画像情報を記憶する機能を有する。

エリア選定手段４０２は、ＰＯＳ端末１から受信した商品情報を含む記憶部に記憶されているエリアをすべて選定する機能を有する。

顔画像抽出手段４０３は、選定されたエリアの画像情報から当該エリアを通過した人物の顔画像を識別して、最も多くの前記エリアで撮像された一人の人物の顔画像情報を抽出する機能を有する。

送信手段４０４は、抽出した顔画像情報をＰＯＳ端末１に送信する機能を有する。

図１２は、カメラサーバ４の制御処理の流れを示すフローチャートである。図１２において、制御部４００は、ＰＯＳ端末１からＳ５１の処理に伴う問合せがあったか否かを判断する（Ｓ６１）。問合せはないと判断した場合は（Ｓ６１のＮｏ）、制御部４００は、カメラＣ１〜Ｃ４を作動させて、各エリアＥを通行する顧客の画像を撮像する（Ｓ６２）。そして制御部４００（画像記憶手段４０１）は、撮像した画像をエリア画像部４４２に記憶する（Ｓ６３）。次に制御部４００は、エリア画像部４４２に記憶されている画像のうち、２時間以上前の画像を消去する（Ｓ６４）。そして制御部４００は、Ｓ６１に戻る。

一方、ＰＯＳ端末１から問合せが来ていると判断した場合は（Ｓ６１のＹｅｓ）、制御部４００は、問合せとともに受信した商品情報と問合せ番号をＲＡＭ４３に記憶する（Ｓ７１）。

そして制御部４００は、記憶した商品情報に基づいて顧客Ｈが通過したと思われるエリアＥを選定する。すなわち、制御部４００は、ＲＡＭ４３に記憶した商品情報から、商品を特定する。そして制御部４００（エリア選定手段４０２）は、特定した商品が陳列された棚Ｓが含まれるエリアＥを選定する（Ｓ７２）。例えば、商品情報に商品Ａと商品Ｂと商品Ｃとが含まれているとする。この場合、顧客は商品Ａと商品Ｂと商品Ｃとを購入している。そのため、当該顧客は少なくとも、商品Ａが陳列された棚Ｓ１が含まれるエリアＥ１と、商品Ｂが陳列された棚Ｓ３が含まれるエリアＥ３と、商品Ｃが陳列された棚Ｓ５が含まれるエリアＥ４を通行している。そのため、制御部４００は、エリアＥ１とエリアＥ３とエリアＥ４とを選定する。

次に制御部４００は、選定したエリアＥを撮像しているカメラＣの画像をエリア画像部４４２ｂから抽出する（Ｓ７３）。すなわち、制御部４００は、選定したエリアＥ１を撮像しているカメラＣ１の画像をエリアＥ１画像部４４２ｂ１から抽出する。また、選定したエリアＥ３を撮像しているカメラＣ３の画像をエリアＥ３画像部４４２ｂ３から抽出する。また、選定したエリアＥ４を撮像しているカメラＣ４の画像をエリアＥ４画像部４４２ｂ４から抽出する。

次に制御部４００は、抽出した画像に含まれる顔画像を顔認識処理して各人の顔を識別して、エリアＥ１とエリアＥ３とエリアＥ４に写っている同一人物の顔画像の紐付（クラスタリングという）を行う（Ｓ７４）。顔認識処理とは、公知の顔認識技術を使用して、撮像された画像から人物の顔を認識する処理である。制御部４００は、抽出したエリアＥ１の画像とエリアＥ３の画像とエリアＥ４の画像に写っているすべての顔について顔認識処理を行う。そして制御部４００は、顔認識した顔画像に基づいて、エリアＥ１の画像とエリアＥ３の画像とエリアＥ４の画像に写っている顔画像をクラスタリングする。

図１３を用いて、顔画像のクラスタリングの例を説明する。図１３において、エリアＥ１には４人の顧客の顔画像（Ｅ１１、Ｅ１２、Ｅ１３、Ｅ１４）が写っている。また、エリアＥ３には４人の顧客の顔画像（Ｅ３１、Ｅ３２、Ｅ３３、Ｅ３４）が写っている。また、エリアＥ４には４人の顧客の顔画像（Ｅ４１、Ｅ４２、Ｅ４３、Ｅ４４）が写っている。それぞれの顔画像に対して顔認識処理を実行した結果、エリアＥ１の顔画像Ｅ１２とエリアＥ３の顔画像Ｅ３３とエリアＥ４の顔画像Ｅ４１が同一の（共通する）顔画像であると認識され、顔画像Ｅ１２と顔画像Ｅ３３と顔画像Ｅ４１とをクラスタリングする。また、エリアＥ１の顔画像Ｅ１４とエリアＥ３の顔画像Ｅ３４が同一の（共通する）顔画像であると認識され、顔画像Ｅ１４と顔画像Ｅ３４とをクラスタリングする。

次に制御部４００（顔画像抽出手段４０３）は、クラスタリングした結果、エリアＥ１とエリアＥ３とエリアＥ４において、最も多くのエリアで同一人物の顔画像として撮像された顔画像を抽出する（Ｓ７５）。実施形態では、顔画像Ｅ１２と顔画像Ｅ３３と顔画像Ｅ４１に共通な顔画像を抽出する。そして制御部４００（送信手段４０４）は、抽出した顔画像の顔画像情報を、受信した問合せ番号で特定されるＰＯＳ端末１に送信する（Ｓ７６）。そして制御部４００は、Ｓ６１に戻る。ＰＯＳ端末１は、受信した顔画像情報に基づいて属性を判断する。なお、Ｓ７５において、最も多くのエリアで同一人物の顔画像として撮像された顔画像が複数存在した場合、制御部４００は、その中から一つの顔画像を抽出する。

このような実施形態では、ＰＯＳ端末１の制御部１００は、顧客の顔検出ができなかった場合は、属性が不明であること示す不明情報を記憶する。そして制御部１００は、顧客が購入した商品の商品情報と問合せ番号をカメラサーバ４に送信して、顔画像を問合せる。そして制御部１００は、カメラサーバ４が抽出した一人の顔画像情報を受信する。そして制御部１００は、受信した当該顔画像情報に基づいて属性を判断する。そして制御部１００は、判断した属性を示す属性情報を前記不明情報に代えて記憶するようにした。そのため、ＰＯＳ端末１は、顔検出ができずに顧客の属性情報を取得できない場合でも、カメラサーバ４から受信した顔画像情報に基づいて、顧客の属性情報を取得することができる。このようなことから、ＰＯＳ端末１は、顔検出ができないことへの影響を軽減することができる。

また、ＰＯＳ端末１の制御部１００は、商品の購入数が３品以上の場合に上記問合せを行う。これは、３品以上購入した場合は、当該３品以上を同時に購入する顧客の属性は絞られるため、精度が高い属性情報を取得することができるからである。逆に言うと、商品の購入数が２個以下の場合は問合せを行わない。これは、２品以下の場合、精度が高い属性情報の取得が難しいこと、また、属性情報を使用した統計への影響が少ないからである。

一方、カメラサーバ４の制御部４００は、ＰＯＳ端末１から受信した商品情報に基づいてエリアＥを選定し、選定した各エリアＥのエリア画像に写っている人物の顔が画像をクラスタリングして、最も多くの前記エリアで撮像された顔画像を抽出する。この顔画像は、受信した商品情報の商品を購入した顧客の可能性が高い。そして制御部４００は、抽出した顔画像の顔画像情報をＰＯＳ端末１に送信する。ＰＯＳ端末１は、受信した顔画像情報に基づいて属性を判断して、当該属性情報を記憶する。このように、カメラサーバ４の制御部４００は、ＰＯＳ端末１から受信した商品情報に基づいて一人の顔画像を抽出してＰＯＳ端末１にする。そのため、カメラサーバ４は、ＰＯＳ端末１において顔検出ができず、属性情報を取得できなかったことへの影響を軽減することができる。

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、実施形態では、ＰＯＳ端末１は、売上登録した商品の数が３個以上の場合に、顔画像の問合せを行ったが、商品の数に限らず顔画像の問合せを行なうようにしてもよい。

また、実施形態では、カメラＣ１〜カメラＣ４を店舗Ｐの天井に設置した。またカメラＣ５をＰＯＳ端末１の顧客用表示部１９に設置した。しかしながら、カメラＣ１〜カメラＣ４は、エリアＥを通行する顧客の顔画像が正面から撮像できる場所であれば、何処設置してもよい。また、カメラＣ５は、顧客用表示部１９の表示を見る顧客の顔画像が正面から撮像できる場所であれば、何処設置してもよい。

なお、実施形態の販売データ処理装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（FD）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施形態の販売データ処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態の販売データ処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施形態の販売データ処理装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１ ＰＯＳ端末
４ カメラサーバ
１００ 制御部
１０１ 商品情報記憶手段
１０２ 第１属性記憶手段
１０３ 送信手段
１０４ 第２属性記憶手段
１４２ 顔マスタ
１４３ 属性集計部
４０１ 画像記憶手段
４０２ エリア選定手段
４０３ 顔画像抽出手段
４０４ 送信手段
４４２ エリア画像部

特開２０１３−００３８７２号公報

Claims (6)

1. 取引処理した商品の商品情報を記憶部に記憶する商品情報記憶手段と、
   カメラで撮像した撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できた場合、検出した顔の顔画像情報に基づいて判断された属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第１属性記憶手段と、
   前記撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できなかった場合、前記商品情報記憶手段によって記憶された前記商品情報を、サーバに送信する送信手段と、
   送信した前記商品情報に基づいて一人の顧客を抽出した前記サーバから送信された前記一人の顧客の前記顔画像情報に基づいて判断された属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第２属性記憶手段と、
   を備えた販売データ処理装置。
2. 前記送信手段は、前記撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できなかった場合、当該顧客の属性が不明である不明情報を前記記憶部に記憶し、
   前記第２属性記憶手段は、前記サーバから受信した前記一人の顔画像情報に基づいて判断された顧客の属性を示す属性情報を、前記不明情報に代えて前記記憶部に記憶する、
   請求項１に記載の販売データ処理装置。
3. 前記送信手段は、前記商品情報記憶手段が記憶した前記商品情報が示す商品の数が所定数以上である場合に前記商品情報記憶手段に記憶された商品情報をサーバに送信する、
   請求項１または２に記載の販売データ処理装置。
4. 商品が陳列された複数のエリア毎にそれぞれ備えられたカメラによって撮像された当該エリアを通過する顧客の画像情報を記憶する画像記憶手段と、
   前記各エリアと当該エリア内に陳列されたすべての商品の商品情報とを対応付けて記憶する記憶部と、
   販売データ処理装置から受信した商品情報に対応した前記記憶部に記憶されているエリアをすべて選定するエリア選定手段と、
   選定されたエリアの前記画像記憶手段によって記憶された前記画像情報から当該エリアを通過した顧客の顔を識別して、最も多くの前記エリアで撮像された一人の顧客の顔画像情報を抽出する顔画像抽出手段と、
   抽出した顔画像情報を前記販売データ処理装置に送信する送信手段と、
   を備えたサーバ。
5. 前記顔画像抽出手段は、識別した前記顔画像に基づいて各エリアを通過する同一顧客をクラスタリングすることで、最も多くの前記エリアで撮像された顧客の前記顔画像情報を抽出する、
   請求項４に記載のサーバ。
6. 販売データ処理装置をコンピュータによって制御するためのプログラムであって、
   前記コンピュータを、
   取引処理した商品の商品情報を記憶部に記憶する商品情報記憶手段と、
   カメラで撮像した撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できた場合、検出した顔の顔画像情報に基づいて判断された属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第１属性記憶手段と、
   前記撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できなかった場合、前記商品情報記憶手段によって記憶された前記商品情報を、サーバに送信する送信手段と、
   受信した前記商品情報に基づいて一人の顧客を抽出した前記サーバから送信された前記一人の顧客の前記顔画像情報に基づいて判断された顧客の属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第２属性記憶手段と、
   して機能させるためのプログラム。

Images