JP6498065B2 - 情報処理装置、処理方法およびプログラム - Google Patents

Description

本発明はネットワークカメラを利用したマーケティング分析を提供する情報処理装置、処理方法およびプログラムに関する。

近年、ネットワークカメラ（以下、ＮＷカメラと称す）は、店舗内の防犯はもちろんのこと、ＮＷカメラから得られる画像の解析を活用した監視以外の目的にも利用されつつある。

例えば、小売店のレジ前にＮＷカメラを設置しておき、ＮＷカメラから得られる画像から、顧客の特徴（顔、年齢、性別など）を抽出し、その顧客の特徴とレジでの購買情報を関連付けてマーケティング分析に活用するシステムが検討されている。

たとえば、特許文献１では、店舗内における顧客の行動から、マーケティングに役立つデータを収集する顧客行動記録装置と方法が開示されている。

また、特許文献２では、商品の会計処理を行うためのＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅ）レジ端末から得られる情報とカメラから得られる画像情報とを効果的に利用できるようにした顧客データ作成システムが開示されている。

一方で、近年では固定のＰＯＳレジ端末ではなく、可搬型のタブレット端末をＰＯＳレジ端末として利用するシステムが現れてきている。タブレット端末をＰＯＳレジ端末として利用する場合、店員がタブレット端末を携帯して接客を行い、そのまま商品の会計処理を行うことができる。タブレット端末をＰＯＳレジ端末として導入することで、安価にＰＯＳを利用でき、接客からスムーズに会計処理につなげられるため、今後、小規模店舗を中心にさらに導入が進むと考えられる。このようなタブレット端末をＰＯＳレジ端末として利用するケースにおいても、ＮＷカメラを利用したマーケティング分析のニーズが生まれてくると予想される。

特開２０１０−１１３６９２号公報 特開２００６−１２６９２６号公報

タブレット端末をＰＯＳレジ端末として利用する場合、店員がタブレット端末を保持しながら店内を歩き、任意の場所で購入客に対して会計を行うことになる。そのため、ＮＷカメラは店内を広く撮影できる位置に設置されることが想定される。

店員が購入客に対して会計を行う際に、顧客分析を行うためにＮＷカメラはその様子を撮影することになるが、ＮＷカメラの画像には、店員自身および実際の購入客以外の来店客も含まれる可能性がある。そのため、精度のよいマーケティング分析を行うためには、ＮＷカメラの画像から適切に購入客を見分け、タブレット端末で入力された購買情報を紐づける必要がある。

複数の店員から会計を行う店員を選択する選択手段を有する持ち運び可能な端末装置であって、当該会計端末装置から行う会計開始指示を行った時刻とに基づいて、所定の時間範囲に撮影された画像に対する購入客の識別を指示する購入客識別指示を送信する通信手段と、前記購入客識別指示に基づいて撮像手段が取得する画像から検出された人物のうち、前記選択手段によって選択された前記店員に対応する特徴に基づいて、前記店員ではない他の人物を購入客の候補として判別する判別手段と、を有し、前記通信手段は、前記判別手段によって判別された前記購入客の候補の画像と購買情報を、前記会計端末装置に送信し、前記会計端末装置から前記購入客に関する情報と関連づけるための購買情報を受信することを特徴とする。

本発明によれば、ＮＷカメラの画像から適切に購入客を見分け、レジ端末で入力された購買情報を紐づけることができ、精度のよいマーケティング分析を行うことができる。

システム構成の例 サーバ１０３および端末１０１、１０８のハードウェア構成図 ＮＷカメラの設置例 第１の実施形態における処理の流れ タブレット型レジ端末の画面例（会計開始指示） 店員および購入客候補の識別処理の流れ 店員識別処理におけるデータ構造の一例 購入客候補識別処理におけるデータ構造の一例 タブレット型レジ端末の画面例（会計実行） 第２の実施形態における処理の流れ タブレット型レジ端末の画面例（アラート通知） 第３の実施形態における処理の流れ タブレット型レジ端末識別処理におけるデータ構造の一例

（第１の実施の形態）
＜システム構成＞
図１は、第１の実施の形態におけるシステム構成の一例である。以下で説明する各機器はネットワークで接続されている。

図１において、本システムは、タブレット型レジ端末１０１、ＮＷカメラ（ネットワークカメラ）１０２、サーバ１０３、および閲覧端末１０８からなる。そして、サーバ１０３には、店員顔特徴データベース（店員顔特徴ＤＢ）１０５、顧客顔特徴データベース（顧客顔特徴ＤＢ）１０６、ＰＯＳデータベース（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ ＤＢ）１０７が接続されている。

タブレット型レジ端末１０１は、店員の操作に応じて顧客の購買情報が入力されるための端末装置である。ＮＷカメラ１０２は、店員、来店客の顔を撮影するための撮像装置として、店舗内に設置される。また、撮影された画像に対して後述する画像解析を行う。本実施形態では、ＮＷカメラ１０２には、ストレージが備えられており、撮影された画像が逐次ストレージに書き込まれていくものとする。サーバ１０３は、ネットワークを介して上でタブレット型レジ端末１０１およびＮＷカメラ１０２と接続されており、識別された顧客の情報と購買情報とを関連付けた情報をＰＯＳデータベースに蓄積する情報処理装置としてのサーバである。

店員顔特徴ＤＢ１０５は、店員の顔特徴が格納されたデータベースとしての記憶装置である。顔特徴としては、例えば、顔の各パーツの形状、顔のパーツの位置関係、顔の輪郭などが含まれており、これらの情報を使い店員の顔を識別する。

顧客顔特徴ＤＢ１０６は、顧客の顔特徴が格納されたデータベースとしての記憶装置である。顔特徴としては、店員顔特徴ＤＢ１０５と同様に、顔の各パーツの形状、顔のパーツの位置関係、顔の輪郭などの情報が格納されている。また、顔特徴から推定される年齢、性別の情報も格納される。

ＰＯＳデータＤＢ１０７は、店舗にて購入された商品の購買情報が格納されたデータベースである。購買情報は、どの顧客に対する購買情報なのかを後から付き合わせられるように、購入客のＩＤ（識別情報）と紐づけて格納される。

サーバ１０３は、顧客顔特徴ＤＢ１０６と、ＰＯＳデータＤＢ１０７に格納された情報に基づいて、マーケティングレポートを生成する。例えば「３０歳台の男性には〇〇が売れている」「購入金額が高いのは４０歳台の女性である」などのレポートが生成される。なお、レポート生成の処理内容に関しては、詳細な説明は省略する。

閲覧用端末１０８は、店舗の経営者や、エリアマネージャなどがマーケティングレポートを閲覧するために使用する端末装置である。閲覧用端末１０８は、サーバ１０３が生成したマーケティングレポートを受信し、マーケティングレポートをディスプレイ上に表示させる。

なお、本実施形態では、制御サーバ１０３、店員顔特徴ＤＢ１０５、顧客顔特徴ＤＢ１０６、ＰＯＳデータＤＢ１０７は、ネットワークとしてのクラウド基盤上で構築するものとしているが、オンプレミスのサーバ上に構築するようにしてもよい。

また、本実施の形態では、店員顔特徴ＤＢ１０５、顧客顔特徴ＤＢ１０６に格納する情報として、顔特徴に加えて、全身の特徴、服装の特徴などその他の特徴を格納するようにしてもよい。その場合、例えば、「服装に○○の特徴がある顧客には△△がよく売れている」などのマーケティングレポートの生成に利用することができる。

＜ハードウェア構成＞
図２は、サーバ１０３のハードウェア構成を示す図である。ＨＤＤ（ハードディスクドライブ）２０２またはＲＯＭ２０３は、ＯＳ（オペレーティングシステム）上で動作するアプリケーションプログラムが格納されている。ＣＰＵ２０５は、ＯＳとアプリケーションプログラムをＨＤＤ２０２あるいはＲＯＭ２０３から読み出してＲＡＭ２０４にロードし、実行することで以下に説明するサーバ上の動作処理が実現する。そして、処理結果はファイルとしてＨＤＤ２０２に格納され、あるいはデータとしてＲＡＭ２０４に記憶される。入力装置２０７は、サーバの使用者による入力情報および各種センサの読み取り値を取得する。出力装置２０６は、表示処理結果を表示画面上に表示する表示装置である。さらに、通信装置２０８を介してネットワークに接続されたレジ端末１０１、ＮＷカメラ１０２、ＤＢ１０５−１０７などと通信を行う。これらはバス２０１で互いに接続されている。なお、タブレット型レジ端末１０１、マーケティングレポート閲覧端末１０８も図２と同様の構成である。

＜ＮＷカメラ１０２の店舗の設置例＞
図３は、本実施形態で想定する店舗において、図１のＮＷカメラ１０２の設置例を示している。なお、以下では、店舗に来店した顧客を「来店客」、商品を購入する顧客を「購入客」と呼ぶこととする。

レイアウト３０１は、店内見取り図である。ＮＷカメラ３０２は、店舗入り口に向けて設置したものである。ＮＷカメラ３０２は、基本的に防犯用途として用いられる想定である。ＮＷカメラ３０３は、ＮＷカメラ１０２を店舗の奥に設置したものである。このＮＷカメラ３０３は、撮影された画像から、購入客の識別や、年齢・性別を推定するために用いられる。

領域３０４は、ＮＷカメラ３０３が撮影した人物を識別できる範囲を示している。図３では、店員Ａが購入客に応対し、タブレット型レジ端末１０１を操作して会計を行っている様子を示している。このとき、ＮＷカメラ３０３には、購入客以外の来店客も映っている場合があるため、誤って実際に購入していない来店客とＰＯＳデータを紐づけてしまい、正しいマーケティングレポートが得られない可能性がある。本実施形態では、購入客を正しく判別することでＰＯＳデータと購入客の情報を正しく結び付けられるところがポイントとなる。

＜処理の流れ＞
図４を用いて店員が会計を開始してから、購買情報と購入客の顔特徴を関連付けて保存するまでの処理の流れを説明する。

本実施の形態では、ＮＷカメラ３０３から取得される画像から、会計時の店員の顔を識別し、店員と来店客との関連性をもとに購入客を識別する。例えば、店員と来店客との空間的な近さに基づいて、最も近い来店客を購入客の候補とする。

なお、本処理の事前準備として、店員顔特徴ＤＢ１０５に、本実施の形態で対象とする店舗の全店員の顔特徴があらかじめ格納されているものとする。具体的には、ＮＷカメラ３０３で店員の顔を撮影し、店員の顔特徴を抽出しておく。そして、サーバ１０３が、店員の顔特徴を店員顔特徴ＤＢ１０５に格納する。図４に示す例では店員Ａ、店員Ｂの２人の顔特徴が店員顔特徴ＤＢ１０５に格納されているものとする。

図４のＳ４０１において、店員の操作に応じてレジ端末１０１が会計開始指示を受け付ける。このとき、レジ端末１０１は、同時に「会計開始指示を行った店員」すなわち「会計を担当した店員」の情報も受け付ける。図５は、このときのレジ端末１０１の画面例を示している。「会計開始指示を行った店員」の情報は、店員がボタン５０１あるいはボタン５０２を選択することによって受け付けられる。図５では、店員Ａ，Ｂのボタンがレジ端末１０１に表示される例を示しているが、店員顔特徴ＤＢ１０５に格納されている店員の数に対応したボタンが表示されることになる。なお、以下では、店員Ａがボタン５０１を押下したものとして説明する。レジ端末１０１は、会計開始指示を受け付けると、サーバ１０３に会計開始指示を送信する。

Ｓ４０２において、サーバ１０３はレジ端末１０１から会計開始指示を受け付ける。サーバ１０３は、「会計開始指示を行った店員」及び「会計開始指示を行った時刻」の情報をレジ端末１０１から受信する。サーバ１０３は、会計開始指示を受け付けると、個々の会計を識別するための「会計ＩＤ」を発行する。

Ｓ４０３において、サーバ１０３は、ＮＷカメラ３０３（１０２）に購入客の識別をＮＷカメラ３０３に指示する。ＮＷカメラ３０３では、店員の顔をもとに購入客を識別するため、サーバ１０３は、店員の顔特徴もＮＷカメラ３０３に送信する必要がある。今回は店員Ａが会計を行っているため、サーバ１０３は、店員顔特徴ＤＢ１０５から店員Ａの顔特徴を取得し、ＮＷカメラ３０３に送信する。また、サーバ１０３は、「会計開始指示を行った時刻」もＮＷカメラ３０３に送信する。

Ｓ４０４において、ＮＷカメラ３０３は店員を識別する処理を実行する。ＮＷカメラ３０３は「会計開始指示を行った時刻」の前後所定時間（例えば前後１分）などの予め定められた時間範囲に撮影された画像に対して、受信した店員Ａの顔特徴をもとに店員の識別処理を行う。この処理を行うことで、ＮＷカメラ３０３は各フレームの画像における店員Ａの座標を算出する。処理の詳細は図６、図７を用いて後述する。

Ｓ４０５において、ＮＷカメラ３０３は、Ｓ４０４で得られた店員の座標に基づいて、購入客候補を識別する。処理の詳細は図６、図８を用いて後述する。ここで、一人の購入客を確定するのではなく、複数の候補を識別することとした理由としては、Ｓ４０５の結果、購入客となり得る来店客が複数存在する場合を考慮するためである。ここでは例えば、３人の購入客候補を識別し、順位付けを行った上でそれぞれの顔特徴をＮＷカメラ３０３の画像から抽出する。購入客候補は、後述するＳ４０８にて店員に提示し、店員が購入客を一意に決定することを想定している。購入客候補が一人だった場合は、購入客として確定するように構成してもよい。

Ｓ４０６において、サーバ１０３は、Ｓ４０５で得られた購入客候補それぞれの顔画像、顔特徴をＮＷカメラ３０３から受信する。購入客候補の順位に関する情報もＮＷカメラ３０３から受信してもよいが、サーバ１０３側で判断してもよい。サーバ１０３は、購入客候補の顔特徴を、購入客候補を識別するＩＤ（購入客候補ＩＤ）とともに一時的に自身のＨＤＤ２０２またはＲＡＭ２０４に保存する。そして、購入客候補の顔画像を購入客候補ＩＤと共にレジ端末１０１に送信する。なお、購入客候補の順位付けの情報も同時にレジ端末１０１送信してもよい。

Ｓ４０７において、レジ端末１０１は、購入客候補の顔画像および購入客候補の順位に関する情報も受信する。Ｓ４０８において、レジ端末１０１は、購入客候補の顔画像をディスプレイに表示する表示処理である。レジ端末１０１における表示内容に関しては、図９を用いて後述する。

Ｓ４０９において、レジ端末１０１は、店員の操作に応じて選択された購買情報、顧客候補ＩＤを受け付ける。購買情報は、例えば、予めレジ端末１０１のＨＤＤ２０２に格納された商品情報から店員によって選択された購入商品のＩＤ、名称、価格、および購入商品の合計金額などから構成される。購入客ＩＤは、複数存在する購入客候補から購入客として店員が少なくとも一つ選んだ購入客候補ＩＤを購入客ＩＤとして受け付ける。レジ端末１０１は、受け付けた情報をサーバ１０３に送信する。

Ｓ４１０において、サーバ１０３は、レジ端末１０１から購買情報、購入客に相当する購入客ＩＤを受信する。サーバ１０３は、ここで受け付けた購入客ＩＤをもとに、Ｓ４０６で保存された顔特徴を取得する。

Ｓ４１１において、サーバ１０３は、購買情報と購入客の顔特徴を関連付けて自身のＨＤＤ２０２に保存する。さらに、サーバ１０３は、購買情報と、購入客ＩＤをＰＯＳデータＤＢ１０７に格納する。また、サーバ１０３は、顔特徴と、顔特徴に関連付けられている購入客のＩＤを顧客顔特徴ＤＢ１０６に格納する。

以上の処理により、購買情報と購入客の顔特徴を関連付けて保存することができる。
なお、サーバ１０３は、所定期間で蓄積された顧客顔特徴ＤＢ１０６と、ＰＯＳデータＤＢ１０７をもとに、マーケティングレポートを生成するが、詳細な説明は省略する。

なお、本実施形態では、Ｓ４０１において、図５に示したように、レジ端末１０１の画面上で「会計開始指示を行った店員（会計を担当した店員）」を受け付けていた。これはレジ端末１０１を店員Ａ、店員Ｂで共有することを想定していたためである。もし、店員Ａ、店員Ｂそれぞれ専用のタブレット型レジ端末を持つ場合には、あらかじめそれぞれのタブレット型レジ端末に店員を紐づけておき、図５では会計開始のボタンのみを設けるようにしてもよい。

＜店員および購入客候補識別処理＞
図６〜図８を用いて、店員および購入客候補の識別処理を説明する。

図６（Ａ）は、店員の識別処理を示したフローチャートである。図４においてＳ４０４のＮＷカメラ３０３による処理に相当する。

図６（Ｂ）は購入客候補の分析処理を示したフローチャートである。図４においてＳ４０５のＮＷカメラ３０３による処理に相当する。

図６（Ｃ）は、各フレームに映る店員、購入客候補２人を示した概念図である。図６（Ｃ）に示す通り、会計開始指示を受け付けた時刻の前後所定時間（例えば前後１分）の画像（以降、「対象画像」と呼ぶ）に対して、まずは画像中の店員の座標を算出する。次に、店員の座標をもとに購入客候補を識別する。会計開始指示を受け付けた時刻の前後を処理する理由は、会計開始指示を行った瞬間に、購入客が下を向くなどして、購入客を識別できない可能性があるためである。

図７は、店舗のどの位置で顔が検出されたかを示す座標の位置に関するデータの構造を示している。図８は、購入客候補に関するデータの構造を示している。

図６（Ａ）のＳ６０１において、ＮＷカメラ３０３は、撮影された画像を解析することにより顔検出を行う。顔検出には、例えば特開平７−３１１８３３にて開示されている技術が用いられる。さらに、ＮＷカメラ３０３は、検出された顔の座標位置を推定する。顔の座標位置の推定は、ＮＷカメラ３０３の撮影方向、撮影された画像のフレーム内の顔の位置、およびフレーム内の顔の大きさなどによって推定される。

図７（Ａ）において、顔座標ＩＤ７０１は、検出された顔を識別するための番号である。また、フレーム番号７０２は、顔が検出された時間を示す情報である。顔座標７０３は、検出された顔の位置情報すなわち検出された顔に対応する人物の位置情報である。図７（Ａ）に示す顔座標データは、店員、来店客を区別せず、すべての顔の座標が含まれ、これらのデータが検出された顔の特徴データと関連付けられている。

Ｓ６０２において、ＮＷカメラ３０３は、店員の顔の識別処理を実行する。図７（Ａ）の各顔座標ＩＤに相当する顔画像のそれぞれに対して、サーバ１０３から受信した店員の顔特徴と比較することにより顔の識別を行う。顔識別には、例えば、特開２００３−１５０９６３にて開示されている技術を用いてもよい。この処理により、図７（Ｂ）に示すように、図７（Ａ）に対して新たに店員か否かを示す識別情報７０４が追加される。

Ｓ６０３において、ＮＷカメラ３０３は、店員を追尾（トラック）する。店員の顔は全てのフレームに映っているとは限らないため、店員を識別できたフレーム間で位置座標を補間する処理が必要となる。具体的には、図７（Ｂ）の識別情報７０４がＴｒｕｅとなっているフレーム、すなわち店員が映っているフレームの顔座標７０３に基づいて店員が識別できなかったフレームの店員の顔の位置の推定処理が行われる。この処理は、公知技術を用いる（例えば特開２００３−３４６１５８）。この処理により、図７（Ｃ）に示すように店員の存在が推定されるフレームの店員の顔座標データが得られる。項目７０５はフレーム番号、項目７０６は各フレームに存在する店員の顔座標である。

Ｓ６０４において、ＮＷカメラ３０３は、購入客候補を識別する処理を実行する。図７（Ｂ）の識別情報７０４がＦａｌｓｅの値を有する顔座標ＩＤに対応する顔（人物）が店員でない顔（人物）、すなわち購入客候補の顔座標である。

Ｆａｌｓｅの値を有する顔座標ＩＤに対して、Ｓ６０３における処理と同様に、購入客候補の追尾（トラック）を行う。この処理により、図８（Ａ）に示ように、購入客候補の顔座標が保管されたデータが得られる。項目８０１は、購入客候補の顔座標ＩＤである。項目８０２は、時間情報を示すフレーム番号、項目８０３は、購入客候補の顔座標である。項目８０４は購入客候補ＩＤであり、追尾の結果、フレーム間で座標位置が近いものには同一の購入客候補であるとみなし、同一のＩＤが割り当てられる。項目８０５は、画像中における店員との距離である。店員の座標および購入客候補の座標から、店員との距離が算出される。

Ｓ６０５において、ＮＷカメラ３０３は、購入客候補の順位付けを行う。ＮＷカメラ３０３は、図８（Ａ）に示すデータに対して、例えば、「店員との距離がなるべく近い」という指標で購入客候補の順位付けを行う。図８（Ａ）の例では、購入客候補ＩＤ：００２の購入客候補の店員との距離が、購入客候補ＩＤ：００１の購入客候補の店員との距離よりも近い。そのため、購入客候補ＩＤ：００２の購入客候補の方が高い順位として識別される。その他の購入客候補の順位付けの指標として、「会計開始指示のフレームの前後に存在している」、「店員との距離が離れない」などの指標を組み入れるようにしてもよい。複数の指標を組み入れる場合は、それぞれの指標に対して、重みづけを行い、最終的な順位付けが実行されることになる。

Ｓ６０６において、ＮＷカメラ３０３は、購入客候補の顔特徴の分析処理を実行する。顔特徴の分析処理は、公知技術を用いる（例えば特開２００９−８６９０１）。
この処理により、図８（Ｂ）に示すデータが得られる。項目８０６は、購入客候補ＩＤであり、項目８０７、８０８、８０９はそれぞれ異なる顔特徴の種別を示している。顔特徴は、例えば、顔の各パーツの形状、顔のパーツの位置関係、顔の輪郭、それらから推定された年齢、性別の情報から構成される。

以上の処理により、購入客候補と、それぞれの顔特徴が得られる。

＜タブレット型レジ端末の画面上のＵＩ＞
図４のＳ４０８にて、レジ端末１０１が購入客候補の顔画像を表示する表示処理を説明したが、ここでは、その際に表示されるレジ端末１０１の表示画面の一例を図９を用いて説明する。

図９において、バーコードリーダ９０１は、タブレット型レジ端末１０１と近距離無線通信でデータのやりとりを行う。店員は、バーコードリーダ９０１を使い、商品に取り付けられているバーコードを読み取ることで、その商品のＩＤがレジ端末１０１に送信される。リスト９０２は、会計対象商品の一覧である。リスト９０２のように、バーコードリーダ９０１で読み取った内容がレジ端末の表示画面上に商品一覧として表示される。金額９０３は、会計対象商品の合計金額である。顔画像９０４は、購入客候補の顔画像である。レジ端末１０１は、購入客候補の顔画像と、購入客候補の順位をもとに、順位が高い顔画像を表示する。ボタン９０５は、顔画像９０４を次の購入客候補に切り替えるためのボタンである。店員は、顔画像９０４に表示されている顔画像が、自身が応対している購入客の顔か否かを確認する。

もし、顔画像９０４に表示されている顔画像が、自身が応対している購入客の顔でない場合は、購入客の顔が表示されるまでボタン９０５を操作する。最終的に購入客の顔が表示されない場合、レジ端末１０１からサーバ１０３を介してＮＷカメラ３０３に問い合わせ、例えば、図６（Ａ）の処理にて、対象画像の範囲を広げて購入客候補を再度識別するようにしてもよい。ボタン９０６は、会計を指示するためのボタンである。レジ端末１０１は、ユーザによるボタン９０６の選択により、会計指示を受け付けると、顔画像９０４に対応する購入客ＩＤと、一覧９０２の内容から得られる購買情報をサーバ１０３に送信する。サーバ１０３では、受信した購入客ＩＤと同じＩＤを有する購入客候補ＩＤおよび購入客候補ＩＤに関連付けられている顔特徴８０７〜８０９と、受信した購買情報との紐付けを行う。

以上のように、店員の顔をもとに、購入客を判別することで、正しい購入客を購買情報と紐づけることができる。結果として、高い精度のマーケティングレポートを得ることが可能となる。

なお、本実施形態では、購入客を撮影するＮＷカメラ３０３が１台設置されている場合を説明したが、複数台設置されていてもよい。その場合、サーバ１０３は、Ｓ４０３において、接続されているＮＷカメラすべてに対して購入客の識別指示を行う。その際、サーバ１０３は、店員の顔特徴、および「会計開始指示を行った時刻」を各ＮＷカメラに送信する。各ＮＷカメラでは、Ｓ４０４、Ｓ４０５の処理を行い、サーバ１０３は、Ｓ４０５にて、いずれかのＮＷカメラから購入客候補の顔画像、顔特徴を受信することになる。

また、本実施形態では、ＮＷカメラ３０３で、店員識別処理（Ｓ４０４）、購入客候補の識別処理 （Ｓ４０５）を処理したが、この処理は、サーバ１０３側で行うようにしてもよい。その場合、ＮＷカメラ３０３は、撮影した画像を常時、サーバ１０３に送信し、サーバ１０３でその画像を保存する。サーバ１０３では、保存された画像に対して、店員識別処理（Ｓ４０４）、購入客候補の識別処理（Ｓ４０５）を行えばよい。

（第２の実施の形態）
第１の実施の形態では、購入客に応対する店員が必ずＮＷカメラ３０３に撮影される想定であるが、店員がＮＷカメラ３０３で撮影されていることを忘れ、ＮＷカメラ３０３の撮影画角外に出てしまう可能性がある。また、撮影画角内であっても、ＮＷカメラ３０３から離れすぎていて、店員の顔識別に失敗してしまう可能性がある。この場合、購入客が特定できずに購買情報との紐づけができなくなってしまう可能性がある。

本実施の形態では、上記の状況の場合に、レジ端末１０１上でアラートを表示し、店員に気付かせるようにする。これにより、より正しく購入客を購買情報と紐づけることが可能となる。

＜処理の流れ＞
本実施形態においても、全体の流れは基本的に図４と同じであるが、Ｓ４０４の内部処理が第１の実施形態と異なる。

図１０を用いて、本実施形態における処理の流れを説明する。

図１０（Ａ）は、本実施形態におけるＮＷカメラ３０３が実行するＳ４０４の内部処理を示したフローチャートである。ここで、Ｓ６０１、Ｓ６０２、Ｓ６０３は、図６で説明済みのためここでは説明を省略する。

Ｓ１００１は、ＮＷカメラ３０３が、店員の顔が識別されたかどうかを判別する処理である。Ｓ６０２にて、一つも店員の顔が識別されなかった場合、もしくは一定フレーム数よりも少ない数でしか店員の顔が識別されなかった場合、Ｓ１００２に進む。店員が識別された場合には、Ｓ６０３に進む。

Ｓ１００２は、ＮＷカメラ３０３が、サーバ１０３に対して、警告情報を送信する処理である。

図１０（Ｂ）は、ＮＷカメラ３０３が、警告情報（アラート）を送信する場合の流れを説明した図である。Ｓ１００３において、サーバ１０３は警告情報を受信する。そしてサーバ１０３は、会計指示を受け付けたレジ端末１０１に警告情報を送信する。

Ｓ１００４において、レジ端末１０１は、アラート通知を受信すると、Ｓ１００５において、レジ端末１０１は警告メッセージを表示する処理を実行する。

図１１は、レジ端末１０１における警告メッセージの表示例である。メッセージ１１０１は、警告メッセージであり、会計開始を受け付けた店員に対し、カメラに近づく主旨のメッセージが表示される。なお、メッセージの代わりにアイコンなどを表示して警告するようにしてもよい。

マップ１１０２は、店舗の見取り図である。マップ１１０２上には、店員にどちらの方向に近づけばよいのかを示す指標が表示される。

なお、マップ１１０２を表示する場合には、あらかじめタブレット型レジ端末１０１または、サーバ１０３にて、見取り図そのものと、見取り図におけるカメラ位置１１０２を登録しておく必要がある。ボタン１１０３は、会計開始を指示するためのボタンである。店員は、カメラに近づいた上で、再度、ボタン１１０３を押し、会計を開始する。

本実施形態では、マップ１１０２を表示することで店員にどちらの方向に近づけばよいのかを通知していた。マップ１１０２を表示する代わりに、図１０（Ａ）のＳ１１０２においてＮＷカメラ３０３がアラートを通知する際に、ＮＷカメラ３０３が備えるランプなどを点灯させ、店員にどちらの方向に近づけばよいのかを通知するようにしてもよい。また、ＮＷカメラ３０３が音を鳴らすなどして、店員にどちらの方向に近づけばよいのかを通知するようにしてもよい。

また、本実施形態では、レジ端末１０１が会計開始指示を受け付けてからＮＷカメラ３０３が店員を識別する処理を行っていた。会計開始指示を受け付ける前から、ＮＷカメラで店員を撮影し、店員が映っていない場合には、店員にアラートを通知するようにしてもよい。その場合、例えば、レジ端末１０１を充電器（クレードル）から取り出したことを、レジ端末１０１が検知し、サーバ１０３を介してＮＷカメラ３０３に通知する。そのタイミングから店員をトラックし、店員が映らない場合には、図１０と同様の流れでアラートを表示する。

（第３の実施の形態）
第１、第２の実施形態では、店員の顔に基づいて購入客を識別していた。第３の実施形態では、レジ端末１０１が赤外線を発光する装置を備え、ＮＷカメラ３０３で赤外線を検知することで購入客を識別する形態である。

第１、第２の実施形態では、事前準備として、店員顔特徴ＤＢ１０５に店員の顔を登録する必要があるが、本実施形態では、店員顔特徴ＤＢ１０５を持つ必要はない。一方で、本実施形態では、赤外線を発光する装置を備えたレジ端末１０１、赤外線を受光できるＮＷカメラを用意する必要がある。店員がある程度固定されている店舗であれば、実施例１、２を使い、店員が入れ替わる頻度が高い店舗であれば実施例３を使うなどが考えられる。

＜処理の流れ＞
図１２は、実施形態３における処理の流れを説明した図である。

本実施形態においても、全体の流れは基本的に図４と同じであるが、Ｓ４０４の代わりにＳ１２０１が実行されることになる。Ｓ４０１〜Ｓ４１１は図４と同様の処理が行われるため説明を省略する。

Ｓ１２０１において、ＮＷカメラ３０３は、レジ端末１０１を識別する処理が実行される。ＮＷカメラ３０３は、対象画像中から、赤外線を識別し、画像中における赤外線の座標を、レジ端末１０１の座標とみなして記録する。また、Ｓ１２０１では、図６のＳ６０１と同様に、店員の顔検出も行う。

図１３は、レジ端末１０１の座標を示すデータ構造である。項目１３０１は、フレーム番号である。また項目１３０２は、撮影された画像における、レジ端末１０１の座標である。続くＳ１２０２において、ＮＷカメラ３０３は、レジ端末１０１の画像座標に基づいて、購入客候補の識別を行う。処理内容としては、図６（Ｂ）と同様であり、店員の顔座標を使う代わりに、レジ端末１０１の座標を用いて、購入客候補の識別が実行される。

本実施の形態では、ＮＷカメラ３０３が店員の顔を識別する機能を有さない前提となっている。そのため、購入客候補として、図９で示したレジ端末１０１に店員の顔も表示される可能性がある。実際には、店員は自身で判断して、実際に購入している購入客を選別するので問題はない。

ＮＷカメラ３０３が店員の顔を識別する機能を有する場合、店員の顔を表示させない方法として、ＮＷカメラ３０３が、レジ端末１０１のもっとも近くに存在する人物を店員として識別し、購入客候補から取り除く処理を行うことが可能となる。

その他の実施形態として、タブレット型レジ端末１０１が位置情報発信装置を備え、レジ端末１０１の店舗内の位置情報を、サーバ１０３を介して、ＮＷカメラ３０３に通知するようにしてもよい。位置情報の発信装置としては、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報の発信装置などが考えられる。

ＮＷカメラ３０３は、受信した店舗内の位置情報から、画像中のどの位置にタブレット型レジ端末１０１が存在するのかを計算する。そして、図１２のＳ１２０２で説明した処理と同様の処理で購入客候補を識別する。なお、この場合、店舗に対する、ＮＷカメラ３０３の三次元位置、姿勢があらかじめ計測されていることが必要である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ タブレット型レジ端末
１０２ ネットワークカメラ
１０３ サーバ
１０５ 店員顔特徴データベース
１０６ 顧客顔特徴データベース

Claims (15)

1. 複数の店員から会計を行う店員を選択する選択手段を有する持ち運び可能な会計端末装置であって、当該会計端末装置から行う会計開始指示を行った時刻に基づいて、所定の時間範囲に撮影された画像に対する購入客の識別を指示する購入客識別指示を送信する通信手段と、
   前記購入客識別指示に基づいて撮像手段が取得する画像から検出された人物のうち、 前記選択手段によって選択された前記店員に対応する特徴に基づいて、前記店員ではない他の人物を購入客の候補として判別する判別手段と、
   を有し、
   前記通信手段は、前記判別手段によって判別された前記購入客の候補の画像を、前記会計端末装置に送信し、
   前記会計端末装置から前記購入客に関する情報と関連づけるための購買情報を受信する、
   ことを特徴とする情報処理装置。
2. 前記店員ではない他の人物が複数いる場合に、前記判別手段は、前記店員と前記店員ではない他の人物の関連性に基づいて、前記購入客の候補を判別することを特徴とする請求項１に記載の情報処理装置。
3. 前記判別手段は、前記店員と前記店員ではない他の人物との空間的な近さに基づいて、購入客の候補の順位付けを行って購入客を判別することを特徴とする請求項２に記載の情報処理装置。
4. 前記判別手段は、前記会計端末装置において会計の開始が行われた時刻の前後所定時間に対応する範囲において、前記撮像手段によって撮像された画像から検出される人物を購入客の候補として判別することを特徴とする請求項１に記載の情報処理装置。
5. 前記判別手段が前記店員を識別し前記店員でない他の人物を購入客の候補として判別することに失敗した場合に、前記送信手段は、前記会計端末装置に店員が撮像手段に近づくように指示する警告情報を送信することを特徴とする請求項１に記載の情報処理装置。
6. 複数の店員から会計を行う店員を選択する選択手段を有する持ち運び可能な会計端末装置であって、当該会計端末装置から行う会計開始指示を行った時刻とに基づいて、所定の時間範囲に撮影された画像に対する購入客の識別を指示する購入客識別指示を送信する通信手段と、
   前記購入客識別指示に基づいて撮像手段が取得する画像から人物を検出する検出手段と、
   前記撮像手段から得られる画像から前記会計端末装置を当該会計端末装置が発光する赤外線を識別することによって識別する識別手段と、
   前記会計端末装置の識別手段で識別された当該会計端末装置との関連性に基づいて、前記検出手段によって検出された人物から購入客の候補を判別する判別手段と、
   を有し、
   前記通信手段は、前記判別手段によって判別された購入客の候補の画像を、前記会計端末装置に送信し、
   前記会計端末装置から前記購入客に関する情報と関連づけるための購買情報を受信することを特徴とする情報処理装置。
7. 請求項１乃至６のいずれかに記載の前記送信手段によって送信された購入客の複数の候補の画像を、前記会計端末装置に表示させる表示手段と、
   前記表示手段によって表示された購入客の複数の候補の画像のうち少なくとも１つの画像を選択する選択手段と、
   前記選択手段によって選択された画像と購買情報とを受信し、前記画像と前記購買情報を関連付けする関連付け手段とを有することを特徴とする会計端末装置。
8. 複数の店員から会計を行う店員を選択する選択手段を有する持ち運び可能な会計端末装置であって、当該会計端末装置から行う会計開始指示を行った時刻とに基づいて、所定の時間範囲に撮影された画像に対する購入客の識別を指示する購入客識別指示を送信する第一の送信工程と、
   前記購入客識別指示に基づいて撮像手段が取得する画像から検出された人物のうち
   前記選択手段によって選択された前記店員に対応する特徴に基づいて、前記店員ではない他の人物を購入客の候補として判別する判別工程と、
   前記判別工程において判別された購入客の候補の画像を、前記会計端末装置に送信する第二の送信工程と、
   前記会計端末装置から前記購入客に関する情報と関連づけるための購買情報を受信する受信工程と、
   を有することを特徴とする情報処理装置の処理方法。
9. 前記店員ではない他の人物が複数いる場合に、前記判別工程において、前記店員と前記店員ではない他の人物の関連性に基づいて、前記購入客の候補を判別することを特徴とする請求項８に記載の情報処理装置の処理方法。
10. 前記判別工程において、前記店員と前記店員ではない他の人物との空間的な近さに基づいて、購入客の候補の順位付けを行って購入客を判別することを特徴とする請求項９に記載の情報処理装置の処理方法。
11. 前記判別工程において、前記会計端末装置において会計の開始が行われた時刻の前後所定時間に対応する範囲において、前記撮像手段によって撮像された画像から検出される人物を購入客の候補として判別することを特徴とする請求項８に記載の情報処理装置の処理方法。
12. 前記判別工程において前記店員を識別し前記店員でない他の人物を購入客の候補として判別することに失敗した場合に、前記会計端末装置に店員が撮像手段に近づくように指示する警告情報を送信する第三の送信工程を有することを特徴とする請求項８に記載の情報処理装置の処理方法。
13. 複数の店員から会計を行う店員を選択する選択手段を有し持ち運び可能な会計端末装置であって、当該会計端末装置から行う会計開始指示を行った時刻とに基づいて、所定の時間範囲に撮影された画像に対する購入客の識別を指示する購入客識別指示を送信する第一の送信工程と、
    前記購入客識別指示に基づいて撮像手段が取得する画像から人物を検出する検出工程と、
    前記撮像手段から得られる画像から前記会計端末装置を当該会計端末装置が発光する赤外線を識別することによって識別する識別工程と、
    前記会計端末装置の識別工程において識別された前記会計端末装置との関連性に基づいて、前記検出工程において検出された人物から購入客の候補を判別する判別工程と、
    前記判別工程において判別された購入客の候補の画像を、前記会計端末装置に送信する第二の送信工程と、
    前記会計端末装置から前記購入客に関する情報と関連づけるための購買情報を受信する受信工程と、
    を有することを特徴とする情報処理装置の処理方法。
14. 請求項８乃至１３のいずれかに記載の第二の送信工程において送信された購入客の複数の候補の画像を、会計端末装置の表示手段に表示させる表示処理工程と、
    前記表示処理工程において表示された購入客の複数の候補の画像のうち少なくとも１つの画像を選択する選択工程と、
    前記選択工程によって選択された画像と購買情報とを受信し、前記画像と前記購買情報を関連付けする関連付け工程とを有することを特徴とする会計端末装置の処理方法。
15. 請求項８乃至１４のいずれかに記載の処理方法をコンピュータに実行させるためのプログラム。

Images