JP6295228B2 - 販売データ処理装置、サーバおよびプログラム - Google Patents

Description

本発明の実施形態は、販売データ処理装置、サーバおよびプログラムに関する。

コンビニエンスストア等の店舗では、客層分析や商品の売上分析等のため、商品を購入する顧客の性別や年齢層等の属性情報を取得するような場合がある。この属性情報の取得は、ＰＯＳ端末（Point of Sales）や天井等に設置されたカメラによって撮像された顧客の画像を解析して、顧客の属性情報を取得している。

ところで、顧客の画像から属性情報を取得するには、顧客の顔を正面から撮像する必要がある。しかしながら、顧客がカメラに対して正対しない場合や、正対しても顧客がマスクや帽子等を身に付けている場合には、顧客の属性情報を取得できない可能性がある。

本発明が解決しようとする課題は、人物の属性情報をより高い確率で取得することが可能な販売データ処理装置、サーバおよびプログラムを提供することである。

実施形態の販売データ処理装置は、取引処理した商品の商品情報を記憶部に記憶する商品情報記憶手段と、カメラで撮像した撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できた場合、検出した顔の顔画像情報に基づいて判断された属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第１属性記憶手段と、前記撮像画像を記憶する撮像画像記憶手段と、前記撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できなかった場合、前記商品情報記憶手段によって記憶された前記商品情報および前記撮像画像記憶手段によって記憶された前記撮像画像を、サーバに送信する送信手段と、商品が陳列された複数のエリアのうち前記送信された商品情報に関連付けられたエリアを選定し、前記選定されたエリアで撮像された人物の顔画像と前記送信された撮像画像とに基づいて前記選定されたエリアのうち最も多くのエリアで撮像された一人の顧客を抽出する前記サーバから送信された前記一人の顧客の顔画像情報に基づいて判断された属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第２属性記憶手段と、を備える。

実施形態のサーバは、商品が陳列された複数のエリア毎にそれぞれ備えられたカメラによって撮像された当該エリアを通過する人物の画像情報を記憶する画像記憶手段と、前記各エリアと当該エリア内に陳列されたすべての商品の商品情報とを対応付けて記憶する記憶部と、販売データ処理装置が取引処理した商品の前記商品情報および前記商品を購入した顧客を撮像した撮像情報を受信する受信手段と、受信した前記商品情報を含む前記記憶部に記憶されているエリアをすべて選定するエリア選定手段と、選定されたエリアの前記画像情報から識別した当該エリアで撮像された人物の顔画像と前記撮像情報とに基づいて、最も多くの前記エリアで撮像された一人の人物の顔画像情報を抽出する顔画像抽出手段と、抽出した顔画像情報を前記販売データ処理装置に送信する送信手段と、を備える。

実施形態のプログラムは、販売データ処理装置をコンピュータによって制御するためのプログラムであって、前記コンピュータを、取引処理した商品の商品情報を記憶部に記憶する商品情報記憶手段と、カメラで撮像した撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できた場合、検出した顔の顔画像情報に基づいて判断された属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第１属性記憶手段と、前記撮像画像を記憶する撮像画像記憶手段と、前記撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できなかった場合、前記商品情報記憶手段によって記憶された前記商品情報および前記撮像画像記憶手段によって記憶された前記撮像画像を、サーバに送信する送信手段と、商品が陳列された複数のエリアのうち前記送信された商品情報に関連付けられたエリアを選定し、前記選定されたエリアで撮像された人物の顔画像と前記送信された撮像画像とに基づいて前記選定されたエリアのうち最も多くのエリアで撮像された一人の顧客を抽出する前記サーバから送信された前記一人の顧客の顔画像情報に基づいて判断された属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第２属性記憶手段と、して機能させる。

図１は、店舗内での各装置の配置を模擬的に示す平面図である。 図２は、実施形態のＰＯＳ端末を顧客側から見た外観を示す斜視図である。 図３は、ＰＯＳ端末のハードウェア構成を示すブロック図である。 図４は、ＰＯＳ端末の顔マスタの一例を示すメモリマップである。 図５は、カメラサーバのハードウェア構成を示すブロック図である。 図６は、カメラサーバのエリア記憶部の一例を示すメモリマップである。 図７は、ＰＯＳ端末の機能構成を示す機能ブロック図である。 図８は、ＰＯＳ端末の制御処理の流れを示すフローチャートである。 図９は、ＰＯＳ端末の制御処理の流れを示すフローチャートである。 図１０は、ＰＯＳ端末の制御処理の流れを示すフローチャートである。 図１１は、カメラサーバの機能構成を示す機能ブロック図である。 図１２は、カメラサーバの制御処理の流れを示すフローチャートである。 図１３は、カメラサーバの顔クラスタリングの一例を模式的に示す図である。

以下、図１〜図１３を参照して、実施形態に係る販売データ処理装置、サーバおよびプログラムを詳細に説明する。実施形態では、販売データ処理装置としてＰＯＳ（Point of Sales）端末を用いて説明する。また、実施形態では、サーバとしてカメラサーバを用いて説明する。なお、以下に説明する実施形態によりこの発明が限定されるものではない。

図１は、実施形態のＰＯＳ端末１およびカメラサーバ４が店舗内に設置された状態を示す平面模式図である。図１において、店舗Ｐ内は、商品を販売する販売領域Ｐ１とバックヤードである事務領域Ｐ２とを有する。販売領域Ｐ１には、複数列の棚Ｓ（Ｓ１〜Ｓ５）、カメラＣ（Ｃ１〜Ｃ５）、ＰＯＳ端末１が備えられている。なお、棚を総じて指す場合は参照符号「Ｓ」を使用し、各棚を個別に指す場合は個別の参照符号「Ｓ１〜Ｓ５」を使用する。また、カメラを総じて指す場合は参照符号「Ｃ」を使用し、各カメラを個別に指す場合は個別の参照符号「Ｃ１〜Ｃ５」を使用する。また、事務領域Ｐ２には、カメラサーバ４が備えられている。

ＰＯＳ端末１とカメラＣ１〜Ｃ４とカメラサーバ４は、通信回線５を介して互いに電気的に接続されている。カメラＣ５は、ＰＯＳ端末１に内蔵されている。

各棚Ｓは、複数段に仕切られており、多数の商品が各段に陳列される。各棚Ｓ間には、それぞれエリアＥ（Ｅ１〜Ｅ４）が設けられている。なお、エリアを総じて指す場合は参照符号「Ｅ」を使用し、各エリアを個別に指す場合は個別の参照符号「Ｅ１〜Ｅ４」を使用する。エリアＥは、棚Ｓ間に設けられ、顧客が相互に通過できる充分なスペースである。顧客は、エリアＥを通過しながら棚Ｓに陳列された商品を見たり、棚Ｓから商品をカゴやカートに移して商品を購入したりする。

カメラＣ１〜Ｃ４は、店舗Ｐの販売領域Ｐ１の天井に取り付けられている。カメラＣ１〜Ｃ４は、天井から各エリアＥに向けて設置されている。カメラＣ１〜Ｃ４は、ＣＣＤ等で構成され、顧客Ｈ等の被写体の連続静止画または動画（総称して「画像」という）を撮像する。実施形態では、カメラＣ１〜Ｃ４は、各エリアＥを通過する顧客Ｈを、例えば１秒間に１０枚の連続静止画を撮像する。カメラＣ１は、エリアＥ１を通過する顧客の画像を撮像する。カメラＣ２は、エリアＥ２を通過する顧客の画像を撮像する。カメラＣ３は、エリアＥ３を通過する顧客の画像を撮像する。カメラＣ４は、エリアＥ４を通過する顧客の画像を撮像する。カメラＣ１〜Ｃ４が撮像した画像は、通信回線５を介してカメラサーバ４に送信される。

ＰＯＳ端末１は、店内で販売されている商品の販売に係る売上登録を行う。オペレータであるオペレータＣＨがＰＯＳ端末１を操作することで、ＰＯＳ端末１は、販売される商品の売上登録処理および決済処理を実行する。売上登録処理とは、販売される商品に付されたバーコード等のコードを光学的に読み取って商品コードを入力し、入力した商品コードに基づいて読み出した、当該商品の商品名や価格（商品情報）を表示するとともに、商品情報をバッファに記憶する処理をいう。決済処理とは、売上登録処理に伴いバッファに記憶された商品情報に基づいて、当該取引に係る合計金額の表示、顧客から預かった預り金に基づいて釣銭を計算して表示する処理、釣銭の発行を釣銭機に指示する処理、商品情報や決済情報（合計金額、預り金額、釣銭額等）を印字したレシートを発行する処理等をいう。なお、売上登録処理と決済処理を合わせた処理を取引処理という。

カメラＣ５は、ＰＯＳ端末１の顧客用表示部（図２を参照）に、商品を購入する顧客に向けて設置されている。カメラＣ５は、商品を購入する（すなわち取引する）顧客Ｈの画像を撮像する。実施形態では、カメラＣ５は、例えば１秒間に１０枚の顧客Ｈの連続静止画を撮像する。

図２は、実施形態のＰＯＳ端末１を顧客Ｈ側から見た外観を示す斜視図である。図２において、ＰＯＳ端末１は、本体２と金銭収納箱３とを有する。金銭収納箱３は、ドロワを有し、顧客Ｈから預かった紙幣や貨幣の金銭や商品券等の有価証券類、および顧客Ｈに手渡す釣銭等を収納している。

本体２は、情報を入力するキーボード等の操作部１７、液晶表示器等で構成され操作者に情報を表示する店員用表示部１８、液晶表示器等で構成され、顧客Ｈに情報を表示する顧客用表示部１９を設置している。また、本体２は、商品に付されたバーコードや二次元コード等のコードを読取る読取部２０を備えている。読取部２０は、ＣＣＤラインセンサ等で商品に付されたバーコードや２次元コードを読取って入力する。また、本体２は、内部に、ＰＯＳ端末１の制御部１００（図３を参照）や、商品情報を印字してレシートを発行する印字部２１を備えている。

また、ＰＯＳ端末１の顧客用表示部１９の表示面側の上部には、ＣＣＤイメージセンサ等で構成されるカメラＣ５が設けられている。このカメラＣ５は、ＰＯＳ端末１の顧客Ｈ側に略正対する顧客Ｈを顔を中心に画像を撮像する。

次に、図３および図４を用いて、ＰＯＳ端末１のハードウェアについて説明する。図３は、ＰＯＳ端末１のハードウェア構成を示すブロック図である。図３において、ＰＯＳ端末１は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、メモリ部１４等を備えている。ＣＰＵ１１は制御主体となる。ＲＯＭ１２は各種プログラムを記憶する。ＲＡＭ１３はプログラムや各種データを展開する。メモリ部１４は各種プログラムを記憶する。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにデータバス１５を介して接続されている。ＣＰＵ１１とＲＯＭ１２とＲＡＭ１３が、制御部１００を構成する。すなわち、制御部１００は、ＣＰＵ１１がＲＯＭ１２やメモリ部１４に記憶されＲＡＭ１３に展開された制御プログラム１４１に従って動作することによって、後述する制御処理を実行する。

ＲＡＭ１３は、商品情報部１３１と画像記憶部１３２と画像情報部１３３を備えている。商品情報部１３１は、読取部２０で読み取った商品コードに対応して売上登録処理された商品の商品情報（商品名、商品の価格、等）を記憶する。画像記憶部１３２は、カメラＣ５が撮像した撮像画像から顔を検出した顧客Ｈの画像を記憶する。顔を検出する顔検出技術は、カメラＣが撮像した画像から後述する顔の各パーツ（目、鼻、口、耳、顎等）のすべてを検出することで、人物の顔であることを検出する公知の技術である。画像情報部１３３は、カメラＣ５が撮像した顧客Ｈの撮像画像を記憶する。画像情報部１３３に記憶される撮像画像は、顧客Ｈの顔を顔検出していない画像（例えば、顔が正面を向いていない画像やサングラスやマスクをしている画像のような）である。そのため、画像情報部１３３に記憶した撮像画像には、顔を構成するすべてのパーツは写っていないが、顧客Ｈの顔の一部のパーツが写っている場合がある。

メモリ部１４は、電源を切っても記憶情報が保持されるＨＤＤ（Hard Disc Drive）やフラッシュメモリ等の不揮発性メモリで構成され、制御プログラム１４１を含むプログラム等を記憶する。また、メモリ部１４は、顔マスタ１４２（図４を参照）、属性集計部１４３を備えている。

属性集計部１４３は、ＰＯＳ端末１で売上登録処理した商品（すなわち顧客が購入した商品）の商品情報を、商品を購入した顧客の属性情報と対応させて、属性別（性別や年齢層別）に集計して記憶する。属性集計部１４３に記憶された商品情報に基づいて、属性別の購買商品の傾向やトレンドを分析することができる。

また、データバス１５には、操作部１７、店員用表示部１８、顧客用表示部１９、読取部２０、印字部２１、カメラＣ５が、コントローラ１６を介して接続されている。コントローラ１６は、制御部１００からの指示を受けて、操作部１７、店員用表示部１８、顧客用表示部１９、読取部２０、印字部２１、カメラＣ５を制御する。ただ、説明の都合上、コントローラ１６が行う制御を制御部１００が行うとして説明する。

操作部１７は、置数キー、ファンクションキー等を含む種々のキーを備えている。小計は、購入する商品の売上登録処理を終了して決済処理の開始を宣言するために操作するキーである。小計キーが操作されると、当該取引の決済処理を開始する。預／現計キー１７１は、取引の終了を宣言するとともに、取引を現金で決済処理するためのキーである。預／現計キー１７１が操作されると、現金での決済処理を実行する。

店員用表示部１８は、表示面を店員等の操作者に向けて設置され、操作者に対して情報を表示する。顧客用表示部１９は、表示面を顧客Ｈに向けて設置され、顧客Ｈに対して情報を表示する。なお、店員用表示部１８および顧客用表示部１９上に設けられ、タッチすることでキーの役割を果たすタッチキー（図示せず）は操作部１７の一部である。

読取部２０は、ＣＣＤイメージセンサ等で構成され、商品に付されたバーコードや２次元コード等のコードをＣＣＤで読取って、商品コードを入力する。実施形態では、ハンディタイプの読取部２０を用いており、店員は、手に取った読取部２０を商品に付されたコードに近づけるか接触させることでコードを読取る。なお、読取部２０は、発光された光をポリゴンミラー等で走査し、コードで反射した光を受光する構成のスキャナであってもよい。

印字部２１は、本体２内に収納されたロール状のレシート用紙を引き出して、例えば熱転写型の印字ヘッドを備えたサーマルプリンタ等で商品情報や決済情報等を印字し、レシートとして発行する。カメラＣ５は、ＣＣＤ等で構成され、取引する顧客Ｈ等の画像を撮像する。実施形態では、例えば１秒間に１０枚の顧客Ｈの画像を連続的に撮像する。カメラＣ５が撮像した顧客Ｈの画像は、顔以外に顧客Ｈが来ている衣服等も撮像する。

また、データバス１５は、店舗内の事務領域Ｐ２に設置されたカメラサーバ４や店舗サーバ（図示せず）と電気的に接続する通信Ｉ／Ｆ（Interface）２４を接続している。通信Ｉ／Ｆ２４は、通信回線５と接続している。店舗サーバは、店舗に設置されているすべてのＰＯＳ端末１と電気的に接続しており、各ＰＯＳ端末１から商品情報や決済情報を収集する。店舗サーバは、ＰＯＳ端末１から収集した商品情報や決済情報を、本部に設置された本部サーバ（図示せず）に送信する。

図４は、メモリ部１４の顔マスタ１４２を示すメモリマップである。図４において、顔マスタ１４２は、１０歳代から７０歳以上までの性別毎・年齢層毎に顔パーツ情報を記憶する顔パーツ情報部１４２１を備えている。各顔パーツ情報部１４２１は、それぞれの属性（年齢層や性別）を特定できる顔パーツ情報を記憶している。

顔パーツ情報とは、人の顔をパーツや特徴に合わせて分類した、属性毎の各パーツや特徴を示すデータであり、例えば、人の目、鼻、口、耳、顎といったパーツの特徴や、笑顔、真面目顔、目を閉じている、目を開いている、といった顔の変形特徴を表すデータをいう。属性毎に記憶した顔パーツ情報は、他の属性とは異なるその属性の特徴を表す情報である。例えば、１０歳代（男）の顔パーツ情報部１４２１には、１０歳代男性の特徴を示す目、鼻、口、耳の情報、１０歳代男性の特徴を示す笑顔、真面目顔の情報が記憶されている。この属性別の顔パーツ情報は、多数の統計データに基づいて作成された、その属性を顕著に表す情報である。

次に、図５を用いて、カメラサーバ４のハードウェアについて説明する。図５において、カメラサーバ４は、制御主体となるＣＰＵ４１、各種プログラムを記憶するＲＯＭ４２、各種データを展開するＲＡＭ４３、各種プログラムを記憶するメモリ部４４等を備えている。ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、メモリ部４４は、互いにデータバス４５を介して接続されている。ＣＰＵ４１とＲＯＭ４２とＲＡＭ４３が、制御部４００を構成する。すなわち、制御部４００は、ＣＰＵ４１がＲＯＭ４２やメモリ部４４に記憶されＲＡＭ４３に展開された制御プログラム４４１に従って動作することによって、後述する制御処理（図１１および図１２を参照）を実行する。

メモリ部１４は、電源を切っても記憶情報が保持されるＨＤＤ（Hard Disc Drive）やフラッシュメモリ等の不揮発性メモリで構成され、制御プログラム４４１を含むプログラム等を記憶する。また、メモリ部４４は、エリア画像部４４２（図６を参照）を備えている。

また、データバス４５には、コントローラ４６を介して、操作部４７と表示部４８が接続されている。操作部４７は、種々の操作をするキーを備えたキーボードである。表示部４８は、例えば液晶表示器であり、情報を表示する。また、データバス４５には、通信Ｉ／Ｆ４９が接続されている。通信Ｉ／Ｆ４９は、通信回線５を介してＰＯＳ端末１とカメラＣ１〜Ｃ４に電気的に接続している。

次に、図６を用いて、メモリ部４４に記憶されたエリア画像部４４２について説明する。エリア画像部４４２は、カメラＣ１〜Ｃ４がそれぞれ撮像したエリアＥの画像を記憶する。エリア画像部４４２は、撮像したカメラＣを特定するカメラコードを記憶するカメラ部４４２ａと、各カメラＣで撮像された画像の画像情報を記憶するエリア画像部４４２ｂを備える。カメラＣ１のカメラコードはカメラ部４４２ａ１に記憶され、カメラＣ１で撮像された画像はエリアＥ１画像部４４２ｂ１に記憶される。カメラＣ２のカメラコードはカメラ部４４２ａ２に記憶され、カメラＣ２で撮像された画像はエリアＥ２画像部４４２ｂ２に記憶される。カメラＣ３のカメラコードはカメラ部４４２ａ３に記憶され、カメラＣ３で撮像された画像はエリアＥ３画像部４４２ｂ３に記憶される。カメラＣ４のカメラコードはカメラ部４４２ａ４に記憶され、カメラＣ４で撮像された画像はエリアＥ４画像部４４２ｂ４に記憶される。

なお、実施形態では、エリア画像部４４２ｂには、カメラＣが撮像した直近の２時間分の画像が記憶され、それ以前の画像は順次消去される。統計的に、ほとんどの顧客が２時間以内に買物を済ませており、エリア画像部４４２ｂは、２時間分の画像を記憶しておけば充分に対応できる。

続いて、図７〜図１０を用いて、ＰＯＳ端末１の制御処理について説明する。図７は、ＰＯＳ端末１の機能構成を示す機能ブロック図である。制御部１００が、ＲＯＭ１２やメモリ部１４に記憶された制御プログラム１４１を含む各種プログラムに従うことで、商品情報記憶手段１０１、第１属性記憶手段１０２、撮像画像記憶手段１０３、送信手段１０４、第２属性記憶手段１０５を機能させる。

商品情報記憶手段１０１は、取引処理した商品の商品情報を記憶部に記憶する機能を有する。

第１属性記憶手段１０２は、カメラで撮像した撮像画像に基づいて、商品を購入した顧客の属性を判断可能な顔を検出できた場合、検出した顔の顔画像情報に基づいて判断された属性を示す属性情報を商品情報と関連付けて前記記憶部に記憶する機能を有する。

撮像画像記憶手段１０３は、撮像画像を記憶する機能を有する。

送信手段１０４は、撮像画像に基づいて、商品を購入した顧客の属性を判断可能な顔を検出できなかった場合、商品情報記憶手段１０１によって記憶された商品情報および撮像画像記憶手段１０３によって記憶された撮像画像を、サーバに送信する機能を有する。

第２属性記憶手段１０５は、送信した商品情報および撮像画像に基づいて一人の顧客を抽出したサーバから送信された一人の顧客の顔画像情報に基づいて判断された属性を示す属性情報を商品情報と関連付けて記憶部に記憶する機能を有する。

図８〜図１０は、ＰＯＳ端末１の制御処理の流れを示すフローチャートである。まず図８において、制御部１００は、読取部２０で商品に付されたコードが読み取られて商品コードが入力されたか否かを判断する（ステップＳ１１）。商品コードが読み取られたと判断した場合は（ステップＳ１１のＹｅｓ）、制御部１００は、Ｓ１１で入力された商品コードが当該取引における最初の商品の商品コードであるか否かを判断する（Ｓ１２）。制御部１００は、商品情報部１３１に、商品の商品情報が記憶されていない場合は当該取引における最初の入力であると判断する。

当該取引における最初の入力であると判断した場合は（Ｓ１２のＹｅｓ）、制御部１００は、図９に示す顔検出スレッド（プログラム）を起動させる（Ｓ１３）。そして制御部１００（商品情報記憶手段１０１）は、Ｓ１１で入力された商品コードの商品の売上登録処理を実行して商品情報部に商品情報を記憶する（Ｓ１４）。また、当該取引における最初の入力ではないと判断した場合は（Ｓ１２のＮｏ）、顔検出スレッドはすでに起動しているため、制御部１００は、Ｓ１３を実行することなくＳ１４を実行する。そして制御部１００は、Ｓ１１に戻る。

ここで、図９を用いて、制御部１００がＳ１３で起動させた顔検出スレッドの制御処理の流れについて説明する。顔検出スレッドは、ＰＯＳ端末１に設けられたカメラＣ５を用いて顧客用表示部１９の前に位置している顧客Ｈの画像を撮像し、撮像した画像から顔検出するプログラムである。

図９において、制御部１００は、カメラＣ５を起動させて撮像を開始する（Ｓ４１）。次に制御部１００は、上述の顔検出技術を用いて、カメラＣ５が撮像した取引を行った顧客の画像から顔検出したか否かを判断する（Ｓ４２）。顔検出したと判断した場合は（Ｓ４２のＹｅｓ）、制御部１００は、顔検出した、取引を行った顧客の顔画像を画像記憶部１３２に記憶する（Ｓ４３）。一方顔検出していないと判断した場合は（Ｓ４２のＮｏ）、制御部１００（撮像画像記憶手段１０２）は、カメラＣ５が撮像した取引を行った顧客の画像を画像情報部１３３に記憶する（Ｓ４６）。

Ｓ４３の処理またはＳ４６の処理を実行後、制御部１００は、後述する制御部１００が顔検出スレッドの終了信号を出力したか否かを判断する（Ｓ４４）。顔検出スレッドの終了信号を出力したと判断した場合は（Ｓ４４のＹｅｓ）、制御部１００は、カメラＣ５を停止させて、カメラＣ５による撮像を終了する（Ｓ４５）。

なお、Ｓ４４において、顔検出スレッドの終了信号を出力していないと判断した場合は（Ｓ４４のＮｏ）、制御部１００は、Ｓ４２に戻る。

図８の説明に戻る。一方、Ｓ１１において、商品コードは入力されていないと判断した場合は（Ｓ１１のＮｏ）、制御部１００は、取引の終了を宣言するとともに、取引を現金で決済処理するための預／現計キー１７１が操作されたか否かを判断する（Ｓ２１）。操作されたと判断した場合は（Ｓ２１のＹｅｓ）、制御部１００は、Ｓ１３で起動した顔検出スレッドを終了させるための終了信号を出力する（Ｓ２２）。次に制御部１００は、顧客から受け取った預り金の処理や釣銭の払出し等の決済処理を実行する（Ｓ２３）。

次に制御部１００は、画像記憶部１３２に顔画像が記憶されているか否かを判断する（Ｓ２４）。記憶されていると判断した場合は（Ｓ２４のＹｅｓ）、制御部１００は、画像記憶部１３２に記憶されている顔画像に基づいて、顧客の属性（性別、年齢層等）を判断する（Ｓ２５）。すなわち制御部１００は、記憶されている顧客の顔画像の各パーツ（目、鼻、口、耳、顎等）毎に、顔マスタ１４２の顔パーツ情報部１４２１に記憶されている顔パーツ情報と対比する。そして制御部１００は、対比した結果に基づいて当該顧客の属性を判断する。具体的には、画像記憶部１３２に記憶されている顔画像の各顔パーツ情報のうち、最も近い顔パーツ情報を多く含んでいる属性を判断する。例えば、画像記憶部１３２に記憶されている顔画像の各顔パーツ情報のうち、目と鼻と口と耳のパーツ情報が４０歳代男性の顔パーツ情報と近い場合、顎の情報が他の年代と近くても、制御部１００は、この顧客の属性は４０歳代男性と判断する。

次に制御部１００（第１属性記憶手段１０３）は、Ｓ２５で判断した属性に対応した属性情報を、当該顧客が購入した商品の商品情報と対応付けて属性集計部１４３に記憶する（Ｓ２６）。そして制御部１００は、商品情報部１３１と画像記憶部１３２の情報をクリアする（Ｓ２７）。

一方、画像記憶部１３２に顔画像が記憶されていないと判断した場合は（Ｓ２４のＮｏ）、制御部１００は、図１０に示す顔問合せスレッドを起動させる（Ｓ３２）。顔問合せスレッドの詳細は図１０で説明する。

次に制御部１００は、属性が不明である不明情報を、当該顧客が購入した商品の商品情報と対応付けて属性集計部１４３に集計する（Ｓ３３）。そして制御部１００は、Ｓ２７を実行する。

ここで図１０を用いて、制御部１００がＳ３２で起動させた顔問合せスレッドの制御処理の流れについて説明する。顔問合せスレッドは、顧客Ｈが購入した商品の商品情報や画像情報部１３３が記憶した撮像画像に基づいて、カメラサーバ４に対して顔画像を問合せし、カメラサーバ４から受信した顔画像に基づいて属性を判断するプログラムである。

制御部１００（送信手段１０４）は、Ｓ３２で取得した商品情報と問合せ番号に基づいて、Ｓ１４で売上登録した商品が３品以上であるか３品未満であるかを判断する（Ｓ５１）。３品未満（すなわち２品以下）であると判断した場合は（Ｓ５１のＮｏ）、制御部１００（送信手段１０４）は、商品情報部１３１に記憶されている商品情報と画像情報部１３３に記憶されている撮像情報と問合せ番号を付した問合せ信号をカメラサーバ４に送信する（Ｓ５２）。一方３品以上であると判断した場合は（Ｓ５１のＹｅｓ）、制御部１００は、商品情報部１３１に記憶されている商品情報と問合せ番号を付した問合せ信号をカメラサーバ４に送信する（Ｓ５３）。

売上登録した商品が３品未満の場合は、顧客Ｈが購入した商品の数が少ないため、カメラサーバ４において当該商品を購入した顧客を一人に特定することが難しい場合がある。そのため、売上登録した商品が３品未満の場合、商品情報に加えて撮像情報をも付加してカメラサーバ４に送信することで、当該商品を購入した顧客を一人に特定し易くする。

Ｓ５２またはＳ５３を処理した後、制御部１００は、カメラサーバ４から、当該問合せに対する顔画像の受信の有無を判断する（Ｓ５４）。受信するまで待機し（Ｓ５４のＮｏ）、顔画像を受信したと判断した場合は（Ｓ５４のＹｅｓ）、制御部１００は、受信した顔画像に基づいて、顧客の属性（性別、年齢層等）を判断する（Ｓ５５）。そして制御部１００（第２属性記憶手段１０５）は、Ｓ２６で記憶した不明情報に代えて、判断した属性の属性情報を当該顧客が購入した商品の商品情報と対応付けて属性集計部１４３に記憶する（Ｓ５６）。そして制御部１００は、処理を終了する。

図８の説明に戻る。Ｓ２１において、預／現計キー１７１が操作されていないと判断した場合は（Ｓ２１のＮｏ）、制御部１００は、問合せスレッドが、カメラサーバ４から受信した顔画像に基づいて判断した属性の属性情報を取得したか否かを判断する（Ｓ３６）。取得したと判断した場合は（Ｓ３６のＹｅｓ）、制御部１００は、Ｓ３３で属性集計部１４３に記憶した不明情報を取得した属性情報に書き換える（Ｓ３７）。すなわち、属性が不明であった商品の属性を記憶する。そして制御部１００は、Ｓ１１に戻る。なお、カメラサーバ４から受信した顔画像に基づいて判断した属性の属性情報を取得していないと判断した場合は（Ｓ３６のＮｏ）、制御部１００はＳ１１に戻る。

このような実施形態では、制御部１００は、顧客の顔検出ができなかった場合は、属性が不明であること示す不明情報を記憶する。そして制御部１００は、顧客Ｈが購入した商品の商品情報と撮像画像と問合せ番号をカメラサーバ４に送信して、顔画像を問合せる。そして制御部１００は、問合せに応じた一人の顧客の顔画像情報を受信する。そして制御部１００は、受信した当該顔画像情報に基づいて属性を判断し、判断した属性を示す属性情報を不明情報に代えて記憶するようにした。そのため、ＰＯＳ端末１は、顔検出ができずに顧客の属性情報を取得できない場合でも、カメラサーバ４から受信した顔画像情報に基づいて、顧客の属性情報をより確実に取得することができる。その結果、販売された商品の商品情報に基づく客層分析や商品の売上分析が正確に行える。

また、商品の購入数が３個未満（すなわち購入した商品が少ない）の場合は、当該すべての商品を購入した顧客は多数いる。そのため、カメラサーバ４において一人の顧客の顔画像の抽出が困難である場合があるため、制御部１００は、撮像画像を付してカメラサーバ４への問合せを行う。一方、商品の購入数が３個以上（すなわち購入した商品が多い）の場合は、当該すべての商品を購入した顧客は限られ、カメラサーバ４において一人の顧客の顔画像の抽出が困難でないため、制御部１００は、問合せに際し撮像画像は付さない。したがって、ＰＯＳ端末１に過剰な負担がかからない。

続いて、図１１〜図１３を用いて、カメラサーバ４の制御処理について説明する。図１１は、カメラサーバ４の機能構成を示す機能ブロック図である。制御部４００が、ＲＯＭ４２やメモリ部４４に記憶された制御プログラム４４１を含む各種プログラムに従うことで、画像記憶手段４０１、受信手段４０２、エリア選定手段４０３、顔画像抽出手段４０４、送信手段４０５を機能させる。

画像記憶手段４０１は、商品が陳列された複数のエリア毎にそれぞれ備えられたカメラによって撮像された当該エリアを通過する人物の画像情報を記憶する機能を有する。

受信手段４０２は、ＰＯＳ端末１が取引処理した商品の商品情報および商品を購入した顧客を撮像した撮像情報を受信する機能を有する。

エリア選定手段４０３は、受信した商品情報を含む記憶部に記憶されているエリアをすべて選定する機能を有する。

顔画像抽出手段４０４は、選定されたエリアの画像情報から識別した当該エリアで撮像された人物の顔画像と撮像画像とに基づいて、最も多くのエリアで撮像された一人の人物の顔画像情報を抽出する機能を有する。

送信手段４０５は、抽出した顔画像情報をＰＯＳ端末１に送信する機能を有する。

図１２は、カメラサーバ４の制御処理の流れを示すフローチャートである。図１２において、制御部４００は、ＰＯＳ端末１からＳ５１の処理に伴う問合せがあったか否かを判断する（Ｓ６１）。問合せはないと判断した場合は（Ｓ６１のＮｏ）、制御部４００は、カメラＣ１〜Ｃ４を作動させて、各エリアＥを通行する顧客の画像を撮像する（Ｓ６２）。そして制御部４００（画像記憶手段４０１）は、撮像した画像をエリア画像部４４２に記憶する（Ｓ６３）。次に制御部４００は、エリア画像部４４２に記憶されている画像のうち、２時間以上前の画像を消去する（Ｓ６４）。そして制御部４００は、Ｓ６１に戻る。

一方、ＰＯＳ端末１から問合せが来ていると判断した場合は（Ｓ６１のＹｅｓ）、当該問合せがＳ５２による問合せの場合は、制御部４００（受信手段４０２）は、問合せとともに受信した商品情報と撮像画像と問合せ番号をＲＡＭ４３に記憶する（Ｓ７１）。また、当該問合せがＳ５３による問合せの場合は、制御部４００は、受信した商品情報と問合せ番号をＲＡＭ４３に記憶する（Ｓ７１）。

そして制御部４００は、記憶した商品情報に基づいて顧客Ｈが通過したと思われるエリアＥを選定する。すなわち、制御部４００は、ＲＡＭ４３に記憶した商品情報から、商品を特定する。そして制御部４００（エリア選定手段４０３）は、特定した商品が陳列された棚Ｓが含まれるエリアＥを選定する（Ｓ７２）。例えば、顧客Ｈが商品Ａと商品Ｂの２種類の商品を購入し、Ｓ７１で記憶した商品情報に商品Ａと商品Ｂの商品情報が含まれているとする。この場合、当該顧客Ｈは少なくとも、商品Ａが陳列された棚Ｓ１が含まれるエリアＥ１と、商品Ｂが陳列された棚Ｓ３が含まれるエリアＥ３を通行している。そのため、制御部４００は、エリアＥ１とエリアＥ３を選定する。

次に制御部４００は、選定したエリアＥを撮像しているカメラＣの画像をエリア画像部４４２ｂから抽出する（Ｓ７３）。すなわち、制御部４００は、選定したエリアＥ１を撮像しているカメラＣ１の画像をエリアＥ１画像部４４２ｂ１から抽出する。また、選定したエリアＥ３を撮像しているカメラＣ３の画像をエリアＥ３画像部４４２ｂ３から抽出する。

次に制御部４００は、抽出した画像に含まれる顔画像を顔認識処理して各人の顔を識別して、エリアＥ１とエリアＥ３に共通に写っている同一人物の顔画像の紐付（クラスタリングという）を行う（Ｓ７４）。顔認識処理とは、公知の顔認識技術を使用して、撮像された画像から人物の顔を識別する処理である。制御部４００は、抽出したエリアＥ１の画像とエリアＥ３の画像とエリアＥ４の画像に写っているすべての顔について顔認識処理を行う。そして制御部４００は、顔認識した顔画像に基づいて、エリアＥ１の画像とエリアＥ３の画像とエリアＥ４のすべてまたは複数のエリアで撮像された同一顧客の顔画像をクラスタリングする。

図１３を用いて、顔画像のクラスタリングの例を説明する。図１３において、エリアＥ１には４人の顧客の顔画像（Ｅ１１、Ｅ１２、Ｅ１３、Ｅ１４）が写っている。また、エリアＥ３には４人の顧客の顔画像（Ｅ３１、Ｅ３２、Ｅ３３、Ｅ３４）が写っている。それぞれの顔画像に対して顔認識処理を実行した結果、エリアＥ１の顔画像Ｅ１２とエリアＥ３の顔画像Ｅ３３が同一の顧客の顔画像であると認識され、顔画像Ｅ１２と顔画像Ｅ３３（総称して「顔画像グループＡ」という）とをクラスタリングする。また、エリアＥ１の顔画像Ｅ１４とエリアＥ３の顔画像Ｅ３４が同一の顧客の顔画像であると認識され、顔画像Ｅ１４と顔画像Ｅ３４（総称して「顔画像グループＢ」という）をクラスタリングする。

次に制御部４００（顔画像抽出手段４０４）は、顔画像グループＡの顔画像の数と顔画像グループＢの顔画像の数とに基づいて（その他にクラスタリングした顔画像グループがある場合はそのグループの顔画像の数も含めて）、撮像画像をＲＡＭ４３に記憶していて、かつ最も多くのエリアＥで撮像された顧客Ｈが複数いるか否かを判断する（Ｓ７５）。撮像画像を記憶していて、かつ最も多くのエリアＥで撮像された顧客Ｈが複数いると判断した場合は（Ｓ７５のＹｅｓ）、制御部４００は、グループＡおよびグループＢの顔画像のそれぞれとＲＡＭ４３に記憶されている撮像画像とを照合する（Ｓ７６）。すなわち、制御部４００は、グループＡおよびグループＢの顔画像のそれぞれについて、顔画像のパーツと撮像画像に含まれている顧客Ｈの顔のパーツと照合する。そして制御部４００は、一致した顔のパーツを多く含むグループの顔画像を、最も多くのエリアＥで撮像された一人の顧客の顔画像を抽出する（Ｓ７７）。Ｓ７６の処理およびＳ７７の処理について、図１３の例を用いて説明する。

図１３の例では、顔画像グループＡがクラスタリングされた共通な顔画像である。また、顔画像グループＢもクラスタリングされた共通な顔画像である。そして、顔画像グループＡと顔画像グループＢはともに共通の顔画像の数が「２」で最多である。そのため、制御部４００は、顔画像グループＡの顔画像および顔画像グループＢの顔画像に含まれる顔のパーツと、撮像画像に含まれる顔のパーツとを照合する（ここまでがＳ７６の処理）。そして制御部４００は、一致した顔のパーツを多く含むグループの顔画像（実施形態では顔画像グループＡ）を、最も多くのエリアＥで撮像された一人の顧客の顔画像として抽出する（ここまでがＳ７７の処理）。

そして制御部４００（送信手段４０５）は、抽出した顔画像の顔画像情報を、受信した問合せ番号で特定されるＰＯＳ端末１に送信する（Ｓ７８）。そして制御部４００は、Ｓ６１に戻る。ＰＯＳ端末１は、受信した顔画像情報に基づいて属性を判断する。なお、Ｓ７５において、顔画像の数が最多の顧客Ｈが一人であると判断した場合は（Ｓ７５のＮｏ）、制御部４００は、Ｓ７６の処理を実行せずにＳ７７の処理を実行する。

なお、ＲＡＭ４３に撮像画像が記憶されていない場合は、最も多くのエリアＥで撮像された顧客Ｈが複数いる場合であっても、制御部４００はＳ７５においてＮｏと判断する。この場合、制御部４００は、所定の方法に基づいて一人の顧客Ｈを選定する。なお、エリア画像部４４２には、直近２時間分の画像しか記憶されていないため、商品を３品以上購入すれば、クラスタリングした結果顔画像の数が最多の顧客Ｈが複数となることは稀ではある。

このような実施形態によれば、カメラサーバ４の制御部４００は、ＰＯＳ端末１から受信した商品情報に基づいてエリアＥを選定し、選定した各エリアＥで撮像された顧客Ｈの顔が画像を識別し、識別した顔画像の数と撮像画像に基づいて、最も多くのエリアＥで撮像された一人の顧客Ｈの顔画像を抽出する。この顔画像は、受信した商品情報の商品を購入した顧客の可能性が高い。そして制御部４００は、抽出した顔画像の顔画像情報をＰＯＳ端末１に送信する。ＰＯＳ端末１は、受信した顔画像情報に基づいて属性を判断して、当該属性情報を記憶することができる。そのため、ＰＯＳ端末１が顔検出した顔画像が取得できず、顧客の属性情報を取得できない場合でも、カメラサーバ４が送信した顔画像情報に基づいて、顧客の属性情報をより高い確率で取得することができる。換言すると、カメラサーバ４は、ＰＯＳ端末１による顔の不検出による属性情報不明の結果を除去することができる。その結果、販売された商品の商品情報に基づく客層分析や商品の売上分析が正確に行える。

また、実施形態によれば、クラスタリングした結果顔画像の数が最多の顧客Ｈが複数の場合、制御部４００は、クラスタリングした顧客Ｈの画像の顔画像に含まれる顔のパーツと、撮像画像に含まれる顔のパーツとを照合する。そして制御部４００は、一致した顔のパーツを多く含むグループの顔画像を、最も多くのエリアＥで撮像された一人の顧客の顔画像として抽出する。そのため、クラスタリングした結果顔画像の数が最多の顧客Ｈが複数の場合のみ顔画像と撮像画像とを照合するため、カメラサーバ４に過剰な負担がかからない。

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば実施形態では、ＰＯＳ端末１は、売上登録した商品の数が３個未満の場合に、商品情報と撮像画像を付して顔画像の問合せを行ったが、商品の数に限らず商品情報と撮像画像を付して顔画像の問合せを行なうようにしてもよい。

また、実施形態では、カメラサーバ４は、最も多い顔画像の数が同数のときに撮像画像を参照して、最も多くのエリアＥで撮像された一人の顧客の顔画像を抽出したが、最も多い顔画像の数が一人の場合でも、撮像画像を参照して、最も多くのエリアＥで撮像された一人の顧客の顔画像を抽出するようにしてもよい。このようにすることで、最も多くのエリアＥで撮像された一人の顧客が取引した顧客である可能性を確認して顔画像を抽出することができる。

また、実施形態では、カメラＣ１〜カメラＣ４を店舗Ｐの天井に設置した。またカメラＣ５をＰＯＳ端末１の顧客用表示部１９に設置した。しかしながら、カメラＣ１〜カメラＣ４は、エリアＥを通行する顧客の顔画像が正面から撮像できる場所であれば、何処設置してもよい。また、カメラＣ５は、顧客用表示部１９の表示を見る顧客の顔画像が正面から撮像できる場所であれば、何処設置してもよい。

なお、実施形態の販売データ処理装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（FD）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施形態の販売データ処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態の販売データ処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施形態の販売データ処理装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１ ＰＯＳ端末
４ カメラサーバ
１００ 制御部
１０１ 商品情報記憶手段
１０２ 撮像画像記憶手段
１０３ 第１属性記憶手段
１０４ 送信手段
１０５ 第２属性記憶手段
１４２ 顔マスタ
１４３ 属性集計部
４０１ 画像記憶手段
４０２ 受信手段
４０３ エリア選定手段
４０４ 顔画像抽出手段
４０５ 送信手段
４４２ エリア画像部

特開２０１３−００３８７２号公報

Claims (6)

1. 取引処理した商品の商品情報を記憶部に記憶する商品情報記憶手段と、
   カメラで撮像した撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できた場合、検出した顔の顔画像情報に基づいて判断された属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第１属性記憶手段と、
   前記撮像画像を記憶する撮像画像記憶手段と、
   前記撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できなかった場合、前記商品情報記憶手段によって記憶された前記商品情報および前記撮像画像記憶手段によって記憶された前記撮像画像を、サーバに送信する送信手段と、
   商品が陳列された複数のエリアのうち前記送信された商品情報に関連付けられたエリアを選定し、前記選定されたエリアで撮像された人物の顔画像と前記送信された撮像画像とに基づいて前記選定されたエリアのうち最も多くのエリアで撮像された一人の顧客を抽出する前記サーバから送信された前記一人の顧客の顔画像情報に基づいて判断された属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第２属性記憶手段と、
   を備えた販売データ処理装置。
2. 前記送信手段は、前記撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できなかった場合、当該顧客の属性が不明である不明情報を前記記憶部に記憶し、
   前記第２属性記憶手段は、前記サーバから受信した前記一人の顔画像情報に基づいて判断された顧客の属性を示す属性情報を、前記不明情報に代えて前記記憶部に記憶する、
   請求項１に記載の販売データ処理装置。
3. 商品が陳列された複数のエリア毎にそれぞれ備えられたカメラによって撮像された当該エリアを通過する人物の画像情報を記憶する画像記憶手段と、
   前記各エリアと当該エリア内に陳列されたすべての商品の商品情報とを対応付けて記憶する記憶部と、
   販売データ処理装置が取引処理した商品の前記商品情報および前記商品を購入した顧客を撮像した撮像情報を受信する受信手段と、
   受信した前記商品情報を含む前記記憶部に記憶されているエリアをすべて選定するエリア選定手段と、
   選定されたエリアの前記画像情報から識別した当該エリアで撮像された人物の顔画像と前記撮像情報とに基づいて、最も多くの前記エリアで撮像された一人の人物の顔画像情報を抽出する顔画像抽出手段と、
   抽出した顔画像情報を前記販売データ処理装置に送信する送信手段と、
   を備えたサーバ。
4. 前記顔画像抽出手段は、最も多くの前記エリアで撮像された人物が複数の場合、前記撮像情報を用いて最も多くの前記エリアで撮像された一人の人物の顔画像情報を抽出する、
   請求項３に記載のサーバ。
5. 前記顔画像抽出手段は、前記撮像情報に含まれる前記顧客の顔のパーツや服装を参照して、最も多くの前記エリアで撮像された一人の人物の顔画像情報を抽出する、
   請求項３または４に記載のサーバ。
6. 販売データ処理装置をコンピュータによって制御するためのプログラムであって、
   前記コンピュータを、
   取引処理した商品の商品情報を記憶部に記憶する商品情報記憶手段と、
   カメラで撮像した撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できた場合、検出した顔の顔画像情報に基づいて判断された属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第１属性記憶手段と、
   前記撮像画像を記憶する撮像画像記憶手段と、
   前記撮像画像に基づいて、前記商品を購入した顧客の属性を判断可能な顔を検出できなかった場合、前記商品情報記憶手段によって記憶された前記商品情報および前記撮像画像記憶手段によって記憶された前記撮像画像を、サーバに送信する送信手段と、
   商品が陳列された複数のエリアのうち前記送信された商品情報に関連付けられたエリアを選定し、前記選定されたエリアで撮像された人物の顔画像と前記送信された撮像画像とに基づいて前記選定されたエリアのうち最も多くのエリアで撮像された一人の顧客を抽出する前記サーバから送信された前記一人の顧客の顔画像情報に基づいて判断された属性を示す属性情報を前記商品情報と関連付けて前記記憶部に記憶する第２属性記憶手段と、
   して機能させるためのプログラム。

Images