JP7192942B2 - 情報処理装置、及び制御方法 - Google Patents

Description

本発明は、情報処理装置、及び制御方法に関する。

POS（Point of Sales）システムなどにおいて顧客の情報を管理する技術が開発されている。例えば特許文献１は、会員カードから読み取ることができる顧客の識別番号に対応づけて、顧客の名前、住所、及び顧客がレジ袋を利用するかどうかなどを管理する技術を開示している。

特開２００７－１０２５２７号公報

特許文献１のシステムは、顧客の会員カードから読み取られる顧客の識別子を利用する。そのため、顧客が会員登録をしていなければ、顧客の情報を把握することできない。

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、会員登録の有無にかかわらず、顧客が利用しうるサービスに関する顧客の情報を取得することのできる技術を提供することである。

本発明の情報処理装置は、
顧客を含む撮像画像から前記顧客の特徴量を取得する取得手段と、
顧客の特徴量と属性情報とを対応付けて記憶された記憶手段から、取得された前記顧客の特徴量と対応付けられている属性情報を取得し、当該属性情報を出力する出力手段と、
前記顧客の特徴量と類似度合いが高い特徴量の顧客と対応付けられている履歴情報に基づいて、前記顧客の属性情報を生成する生成手段と、を有する。

本発明の制御方法は、情報処理装置を実現するコンピュータによって実行される。
当該制御方法は、コンピュータが、
顧客を含む撮像画像から前記顧客の特徴量を取得し、
顧客の特徴量と属性情報とを対応付けて記憶された記憶手段から、取得された前記顧客の特徴量と対応付けられている属性情報を取得し、当該属性情報を出力し、
前記顧客の特徴量と類似度合いが高い特徴量の顧客と対応付けられている履歴情報に基づいて、前記顧客の属性情報を生成する、ことを含む。

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

本発明によれば、会員登録の有無にかかわらず、顧客が利用しうるサービスに関する顧客の情報を取得することのできる技術が提供される。

実施形態１の情報処理装置をその利用環境と共に例示するブロック図である。 実施形態１の情報処理装置の動作を概念的に例示する図である。 情報処理装置を実現するための計算機を例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 顧客の特徴量と属性情報との対応付けをテーブル形式で例示する図である。 属性情報の別の例を例示する図である。 出力情報を例示する図である。 出力情報の内容を変更するためのウインドウを例示する図である。 実施形態２の情報処理装置を例示するブロック図である。 実施形態２の情報処理装置によって実行される処理の流れを例示するフローチャートである。 履歴情報をテーブル形式で例示する図である。 実施形態３の情報処理装置を例示するブロック図である。 実施形態３の情報処理装置によって実行される処理の流れを例示するフローチャートである。 入力画面を例示する図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。

［実施形態１］
図１は、実施形態１の情報処理装置２０００をその利用環境と共に例示するブロック図である。情報処理装置２０００は算出部２０２０及び出力制御部２０４０を有する。記憶装置１０は、顧客の特徴量と、その顧客の属性情報とを対応づけて記憶する。或る顧客の属性情報は、店舗においてその顧客が利用するサービスに関する顧客の属性を示す。より具体的には、サービスに関する顧客の属性は、顧客がそのサービスを利用するか否か（サービスの利用有無）、又はそのサービスを利用する際に使う物を顧客が所有しているか否か（サービスの利用に係る物の所有有無）を示す。サービスを利用する際に使う物とは、例えばポイントサービスを利用する際に使うポイントカードなどである。

算出部２０２０は、顧客が撮像された撮像画像を取得する。さらに算出部２０２０は、取得した撮像画像に含まれる顧客の特徴量を算出する。顧客の特徴量は、顧客の外見の特徴（例えば顔の特徴）を表す任意の値である。出力制御部２０４０は、算出された特徴量を用いて、取得された撮像画像に含まれる顧客の特徴量に対応づけられている属性情報を、記憶装置１０から取得する。そして出力制御部２０４０は、取得した属性情報に示される顧客の属性に基づく情報を出力する。属性情報に示される顧客の属性に基づく情報とは、属性情報に示される情報そのもの、又は属性情報に示される情報を所定の方法で加工したものである。

図２は、実施形態１の情報処理装置２０００の動作を概念的に例示する図である。顧客４０は、レジ端末５０で商品の精算をすることで、商品を購入する。レジ端末５０は、店員３０によって操作される。カメラ２０は、レジ端末５０の付近に設置されており、顧客４０を撮像する。記憶装置１０は、顧客の特徴量に対応づけて、ポイントサービスに関する顧客の属性を示す属性情報を記憶している。より具体的には、属性情報は、顧客がポイントカードを所有しているか否かを示している。

情報処理装置２０００は、カメラ２０によって撮像された顧客４０の特徴量を取得する。ここで、顧客４０の特徴量が v1 であったとする。情報処理装置２０００は、記憶装置１０の中から、特徴量 v1 に対応づけられている属性情報を取得する。この属性情報には、「ポイントカードの所有：有り」が示されている。そこで情報処理装置２０００は、「顧客４０はポイントカードを所有している」という旨を示す情報を出力する。

これにより、店員３０は、顧客４０がポイントカードを利用することを把握する。そこで店員３０は、例えば顧客に対して「ポイントカードをお持ちですか」と話しかけ、ポイントカードの提示を促す。

なお、v2 に対応付けられている属性情報は、「ポイントカードの所有：無し」を示している。そのため顧客４０の顔の特徴量が v2 であった場合、情報処理装置２０００は、「顧客４０はポイントカードを所有していない」という旨を示す情報を出力する。この場合、例えば店員３０は、顧客４０に対してポイントカードの提示を求めない。その他にも例えば、店員３０は、「ポイントカードをお持ちではないですよね」などのように、顧客４０がポイントカードを持っていないことを前提とする確認のための発言を行う。

＜作用・効果＞
本実施形態では、顧客が含まれる撮像画像から算出できる顧客の特徴量に対応づけて、顧客の属性情報が記憶されている。このように顧客の特徴量を用いて顧客を特定する方法を用いれば、属性情報を取得するための顧客の特定に、顧客に付与される識別子（例えば会員ＩＤ（Identifier））を利用する必要がない。そのため、顧客の会員登録の有無にかかわらずその顧客が店舗において利用しうるサービスのその顧客の利用有無又はサービスに係る物のその顧客の所有有無を示す属性情報を取得することができる。

例えば属性情報が、「会員カードを持っているか否か」を示す情報であるとする。この場合に、顧客の会員ＩＤに対応づけて属性情報を記憶させておくとする。この方法では、顧客が会員カードを持っているか否かを示す属性情報を得るために、顧客に対して会員カードの提示を求めなければならない。すなわち、顧客が会員登録をしていなければ、顧客に対して会員カードの提示を求めるか否かを判断することができない。

一方このケースにおいて、本実施形態の情報処理装置２０００は、顧客が含まれる撮像画像から顧客の特徴量を算出し、その特徴量を用いて顧客の属性情報を取得できる。よって、顧客の属性情報が、顧客に対して会員カードの提示を求めるか否かの判断に利用できる。

以下、本実施形態についてさらに詳細を述べる。

＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

図３は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は種々の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。プロセッサ１０４０は、CPU（Central Processing Unit）や GPU（Graphics Processing Unit）などの演算処理装置である。メモリ１０６０は、RAM（Random Access Memory）などで実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、ROM、又はメモリカードなどで実現される補助記憶装置である。ただしストレージデバイス１０８０は、RAM など、主記憶装置の実現に用いられるハードウエアと同様のハードウエアで実現されてもよい。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードやマウスなどの入力デバイスや、ディスプレイ装置などの出力デバイスが接続される。

ネットワークインタフェース１１２０は、WAN（Wide Area Network）や LAN（Local Area Network）などの通信網に接続するためのインタフェースである。

ストレージデバイス１０８０は情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、そのプログラムモジュールに対応する各機能を実現する。

＜処理の流れ＞
図４は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。算出部２０２０は、顧客が撮像された撮像画像を取得する（Ｓ１０２）。算出部２０２０は、撮像画像に含まれる顧客の特徴量を算出する（Ｓ１０４）。出力制御部２０４０は、算出された特徴量を用いて、撮像画像に含まれる顧客の特徴量に対応づけられている属性情報を記憶装置１０から取得する（Ｓ１０６）。出力制御部２０４０は、取得した属性情報に基づく情報を出力する（Ｓ１０８）。

＜情報処理装置２０００の利用シーン＞
情報処理装置２０００は、顧客の応対を行う様々なシーンで利用することができる。例えば情報処理装置２０００は、商品登録装置を操作する店員が顧客の応対を行うシーン（商品を精算対象として登録するシーン）で利用できる。商品登録装置は、商品を精算対象として登録するために用いられるレジ端末である。

このシーンで利用される属性情報は、例えば、買い物袋を利用するか否か、ポイントカードを所有しているか否か、割り箸の要否、冷たい商品と暖かい商品を分けて袋にいれるか否か、購入品を宅配するか否か、レシートの要否、決済の方法（現金、電子マネー、又はクレジットカード）、電子マネーで決済する際のカードの種類、又は未成年であるか否かなどを示す。店員は、これらの属性情報に基づく出力情報を、顧客にポイントカードの提示を求めるか否かの決定などに利用することができる。

その他にも例えば、情報処理装置２０００は、飲食店に来店した顧客の応対を行うシーンで利用することができる。このシーンで利用される属性情報は、例えば、喫煙席と禁煙席のどちらを利用するか、カウンター席とテーブル席のどちらを利用するか、又は窓際の席を希望するかどうかなどを示す。店員は、これらの属性情報に基づく出力情報を、顧客に提供する席の決定などに利用することができる。

その他にも例えば、情報処理装置２０００は、顧客から注文を受けるシーンで利用することができる。このシーンで利用される属性情報は、例えば、飲食物の注文における味付けやトッピングに関する条件（味の濃さ、トッピングの量、又はトッピングの種類など）、箸とフォークのどちらを利用するか、又はナプキンを使うかどうかなどを示す。店員は、これらの属性情報に基づく出力情報を、顧客が飲食物に求める条件の把握などに利用することができる。

＜情報処理装置２０００を実現する計算機１０００の例＞
情報処理装置２０００を実現するための具体的な計算機１０００としては、様々なものを採用しうる。例えば計算機１０００は、情報処理装置２０００が利用される店舗に設置されているサーバ（以下、店舗サーバ）である。その他にも例えば、計算機１０００は、情報処理装置２０００が利用される店舗の外部に設置されているサーバ（以下、外部サーバ）であってもよい

また例えば、計算機１０００は商品登録装置であってもよい。この場合、情報処理装置２０００は、例えば商品登録装置を用いて顧客の応対を行う店員によって操作される。なお商品登録装置は、精算装置と一体として設けられているものでもよいし、精算装置とは別体として設けられているものでもよい。精算装置とは、精算対象として登録された商品の精算処理（代金支払いなど）に用いられるレジ端末である。

商品登録装置と精算装置とが一体となっている場合、商品を精算対象として登録する登録処理と、精算対象として登録された商品の精算処理（代金の支払いなど）が、同じレジ端末を用いて行われる。登録処理及び精算処理を顧客が行う形式をセルフ形式などと呼ぶ。一方、商品登録装置と精算装置とが別体となっている場合、商品を精算対象として登録する処理と、精算対象として登録された商品の精算処理とが、異なるレジ端末で行われる。この形式はセミセルフ形式などと呼ばれ、例えば商品登録装置の操作は店員によって行われ、精算装置の操作は顧客によって行われる。

その他にも例えば、計算機１０００は、店員が利用する携帯端末であってもよい。店員が利用する携帯端末は、例えば、顧客をどの席に案内したかを記録するために店員が操作する携帯端末や、顧客から受けた注文を記録するために店員が操作する携帯端末である。

＜撮像画像の取得：Ｓ１０２＞
算出部２０２０は、顧客が撮像された撮像画像を取得する。そのために、店舗には顧客を撮像して撮像画像を生成するカメラ２０が設置される。カメラ２０は、動画を生成するカメラであってもよいし、静止画を撮像するカメラであってもよい。前者の場合、撮像画像は、動画を構成する画像フレームである。

カメラ２０は、顧客を撮像することができる位置に設けられる。商品の精算を行う顧客を撮像する場合、カメラ２０は、例えば商品登録装置又はその付近に設置される。来店した顧客を撮像する場合、カメラ２０は、例えば店舗の入り口又はその付近に設置される。注文を行う顧客を撮像する場合、カメラ２０は、例えば顧客の席又はその付近に設置される。

算出部２０２０が撮像画像を取得する方法は任意である。例えば算出部２０２０は、撮像画像が記憶されている記憶装置にアクセスすることで、撮像画像を取得する。撮像画像が記憶されている記憶装置は、撮像画像を生成したカメラ２０の内部に設けられていてもよいし、カメラ２０の外部に設けられていてもよい。また例えば、算出部２０２０は、カメラ２０などから送信される撮像画像を受信することで、撮像画像を取得してもよい。

＜顧客の特徴量の算出：Ｓ１０４＞
算出部２０２０は、取得した撮像画像に含まれる顧客の特徴量を算出する（Ｓ１０４）。ここで、画像に含まれる人物の特徴量を算出する技術には、既存の技術を利用することができる。

＜属性情報について＞
属性情報は、顧客が利用するサービスに関する顧客の属性を示す。属性情報の例は、前述した通りである。

図５は、顧客の特徴量と属性情報との対応付けをテーブル形式で例示する図である。図５のテーブルをテーブル５００と呼ぶ。テーブル５００は、特徴量５０２及び属性情報５０４という２つの列を有する。特徴量５０２は、顧客の特徴量を示す。属性情報５０４は、前述した属性情報を示す。

ここでテーブル５００は、属性情報が適用される条件をさらに示してもよい。例えば属性情報が、買い物袋の利用に関する属性（買い物袋を利用するか否かなど）を示しているとする。この場合、属性情報が適用される条件は、例えば顧客が購入する商品の量（数、重さ、又は容積など）である。属性情報は、顧客が購入する商品の数などの範囲に対応づけて、買い物袋の利用の有無や、利用する買い物袋の枚数などを示す。

図６は、属性情報の別の例を例示する図である。図６において、テーブル５００は適用条件５０６を有する。適用条件５０６は、属性情報が適用される条件を示している。例えば図６のテーブル５００の２行目のレコードは、「顔の特徴量が v1 である顧客が３個未満の商品を購入する場合、この顧客は買い物袋を利用しない」ということを表している。一方、図６のテーブル５００の３行目のレコードは、「顔の特徴量が v1 である顧客が３個以上の商品を購入する場合、この顧客は買い物袋を利用する」ということを示している。また、図６のテーブル５００の５行目のレコードは、「顔の特徴量が v2 である顧客が、無条件で買い袋を利用しない」ということを表している。

＜属性情報の取得：Ｓ１０４＞
出力制御部２０４０は、算出部２０２０によって算出された顧客の特徴量を用いて、撮像画像に含まれる顧客の特徴量に対応づけられている属性情報を取得する。具体的には、出力制御部２０４０は、記憶装置１０に記憶されている属性情報のうち、算出部２０２０によって算出された顧客の特徴量との類似度が高い顧客の特徴量と対応づけられている属性情報を取得する。例えば出力制御部２０４０は、算出部２０２０によって算出された特徴量と同一の特徴量と対応づけて記憶装置１０に記憶されている属性情報を取得する。その他にも例えば、出力制御部２０４０は、記憶装置１０に記憶されている特徴量のうち、算出部２０２０によって算出された特徴量との類似度合いが所定値以上である特徴量と対応づけて記憶装置１０に記憶されている属性情報を取得する。その他にも例えば、出力制御部２０４０は、記憶装置１０に記憶されている特徴量のうち、算出部２０２０によって算出された特徴量との類似度合いが最も高い特徴量と対応づけて記憶装置１０に記憶されている属性情報を取得する。なお、上記所定値は、出力制御部２０４０に予め設定されていてもよいし、出力制御部２０４０からアクセス可能な記憶装置に記憶されていてもよい。

記憶装置１０には、出力制御部２０４０からアクセス可能な任意の記憶装置を採用することができる。記憶装置１０は、情報処理装置２０００の内部に設けられてもよいし、情報処理装置２０００の外部に設けられてもよい。前者の場合、例えば記憶装置１０は、図４のストレージデバイス１０８０として実現される。後者の場合、例えば記憶装置１０は、情報処理装置２０００の外部に設けられる NAS（Network Attached Storage）として実現される。

＜出力制御部２０４０による出力：Ｓ１０６＞
出力制御部２０４０は、取得した属性情報に示される顧客の属性に基づく情報（以下、出力情報）を出力する。図７は出力情報を例示する図である。図７の例において、情報処理装置２０００は、店員によって操作される商品登録装置である。表示画面６０は、商品登録装置に接続されているディスプレイ装置に表示される画面である。表示画面６０には、店員がバーコードリーダなどで読み取った商品の情報や商品の合計金額などが表示される。

さらに表示画面６０には、ウインドウ６２が含まれている。ウインドウ６２は出力情報が含まれるウインドウである。出力制御部２０４０は、ディスプレイ装置を制御することで、ディスプレイ装置にウインドウ６２を表示させる。

図７の例では、２種類の属性情報が存在する。第１の種類の属性情報は、顧客が買い物袋を利用するか否かを示す。第２の種類の属性情報は、顧客がポイントカードを所有しているか否かを示す。

この例において、顧客Ａの特徴量には、「買い物袋の利用：無し」という第１の種類の属性情報、及び「ポイントカードの所有：有り」という第２の種類の属性情報が対応づけられている。そのため、出力制御部２０４０によって出力されるウインドウ６２には、「買い物袋の利用：無し」及び「ポイントカードの所有：有り」という情報が示されている。

例えば図７の例において、店員が商品登録装置を操作するとする。この場合、ウインドウ６２を見た店員は、顧客Ａが買い物袋を利用しないこと、及び顧客Ａがポイントカードを所有していることを把握する。そこで、店員は、顧客Ａに対し、「ポイントカードはお持ちですか」と話しかけることで、ポイントカードの提示を求める。一方、顧客Ａは買い物袋を利用しないため、例えば店員は、顧客Ａに対して買い物袋についての質問をしない。その他にも例えば、店員は、「買い物袋は不要ですよね」のように、買い物袋が不要であることを確認する質問をしてもよい。

その他にも例えば、図７の例において、顧客Ａが商品登録装置を操作するとする。この場合、情報処理装置２０００は、セルフ形式の装置である。ウインドウ６２を見た顧客Ａは、自身が買い物袋を利用しないこと、及び自身がポイントカードを所有していることを確認して、ボタン６４を押す。その結果、商品登録装置における商品登録処理が次の段階へ進む。

ここで、情報処理装置２０００は、出力情報の内容の変更を要求する入力を受け付けてもよい。図８は、出力情報の内容を変更するためのウインドウを例示する図である。なお、図８において表示画面６０は省略されている。

図８のウインドウ６２は、出力情報の内容の変更を要求するためのボタンであるボタン６６を有する。ここで、ウインドウ６２には「買い物袋の利用：無し」と表示されているものの、顧客が「今回は買い物袋を利用したい」と考えたとする。例えば、普段はマイバッグを利用している顧客であっても、マイバッグを忘れた等の理由により、買い物袋を利用したい場合がある。

このような場合、顧客は、ボタン６６を押下する。出力制御部２０４０は、ボタン６６が押下されたことに応じて、例えば図８（ｂ）に示すウインドウ６８を表示する。

ウインドウ６８は、買い物袋の利用の有無、及びポイントカードの所有の有無をそれぞれ選択するためのラジオボタンを有する。ラジオボタンのデフォルト値は、出力情報の内容に合わせて設定される。顧客は、買い物袋の利用を「有り」から「無し」に変更した後、ＯＫボタンを押下する。こうすることで、顧客は、「買い物袋を利用したい」という意志を店員に伝えることができる。

なお、店員が商品登録装置を操作する場合、ウインドウ６８は、店員によって操作されてもよい。この場合、例えば店員は、出力情報に加えたい変更の内容を顧客に尋ね、顧客から聞いた内容に従ってウインドウ６８を操作する。

ここで、情報処理装置２０００は、ウインドウ６８を用いて変更された出力情報の内容に基づいて属性情報を更新してもよいし、更新しなくてもよい。属性情報の更新を行うか否かは、予め定められていてもよいし、顧客によって選択されてもよい。

後者の場合、例えば出力制御部２０４０は、図８（ｂ）のウインドウ６８の代わりに、図８（ｃ）のウインドウ６８を表示する。図８（ｃ）のウインドウ６８は、「今回だけ」と「今後も」のいずれかを選択させるラジオボタンを有している。前者が選択された場合、情報処理装置２０００は、顧客によって行われた変更に基づく属性情報の更新を行わない。一方、後者が選択された場合、情報処理装置２０００は、顧客によって行われた変更に基づいて属性情報を更新する。

なお、出力情報の出力方法は、ディスプレイ装置に表示する方法に限定されない。例えば出力情報は音声で出力されてもよい。この場合、例えば店員が予めイヤフォンを装着しておき、そのイヤフォンに出力情報が出力されるようにする。

ディスプレイ装置やイヤフォンなどの出力装置が情報処理装置２０００に接続されている場合、出力制御部２０４０は、これらの出力装置に対して出力情報を出力する。一方、出力装置が情報処理装置２０００に接続されていない場合、情報処理装置２０００は、出力装置が接続されている他の装置に対して出力情報を送信する。出力情報を受信した装置は、出力装置を制御して出力情報を出力させる。例えば情報処理装置２０００が店舗サーバとして実現されている場合、出力制御部２０４０は、店員が操作している商品登録装置へ出力情報を送信する。出力情報を受信した商品登録装置は、商品登録装置に接続されているディスプレイ装置やイヤフォンを制御して、出力情報を出力させる。

なお情報処理装置２０００は、属性情報を利用して顧客に対するメッセージを生成し、そのメッセージを出力するようにしてもよい。例えば属性情報がサービスの利用の有無に関する情報であるとする。この場合、属性情報が「サービスＡを利用する」ということを示している場合には「サービスＡは必要ですね」というメッセージを出力し、属性情報が「サービスＡを利用しない」ということを示している場合には「サービスＡは不要ですね」というメッセージを出力する。

サービスの利用に使う物（例えばポイントカード）を所有しているか否かを属性情報が示すケースのメッセージも、同様に生成することができる。例えば属性情報が「ポイントカードを所有している」ということを示している場合には「ポイントカードをお持ちですね」というメッセージを表示し、属性情報が「ポイントカードを所有していない」ということを示している場合には「ポイントカードをお持ちではありませんね」というメッセージを表示する。

このように顧客の属性に合わせたメッセージを出力することで、店員から質問を受ける顧客のストレスや不快感を和らげることができる。例えばいつもサービスＡを利用しないにもかかわらず毎回店員から「サービスＡをご利用しますか」と尋ねられると、不快に思う顧客もいる。一方で、「サービスＡはご利用しませんよね」と尋ねられれば、「店員は自分のことを分かってくれている」と顧客が感じるため、顧客は不快に思わないか、又は顧客が感じる不快の度合いが小さくなる。

［実施形態２］
図９は、実施形態２の情報処理装置２０００を例示するブロック図である。以下で説明する事項を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様である。

実施形態２の情報処理装置２０００は第１生成部２０６０を有する。第１生成部２０６０は、履歴情報を用いて属性情報を生成する。履歴情報は、サービスの利用に関する顧客の行動や状態の履歴を示す情報である。例えば履歴情報は、顧客が買い物袋を利用したかどうかや、顧客がポイントカードを提示したかどうかなどを示す。さらに第１生成部２０６０は、生成した属性情報を、算出部２０２０によって算出された顧客の特徴量と対応づけて、記憶装置１０に記憶させる。

＜処理の流れ＞
図１０は、実施形態２の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。算出部２０２０は、撮像画像を取得して顧客の特徴量を算出する（Ｓ２０２、Ｓ２０４）。以下、この顧客を、「属性情報の生成対象である顧客」とも表記する。第１生成部２０６０は、履歴情報を取得する（Ｓ２０６）。第１生成部２０６０は、取得した履歴情報を用いて属性情報を生成する（Ｓ２０８）。第１生成部２０６０は、Ｓ２０４で算出された特徴量とＳ２０８で生成された属性情報とを対応付けて、記憶装置１０に記憶させる（Ｓ２１０）。

＜履歴情報について：Ｓ２０６＞
前述したように、履歴情報は、サービスの利用に関する顧客の行動や状態の履歴を示す情報である。図１１は、履歴情報をテーブル形式で例示する図である。図１１のテーブルをテーブル６００と表記する。テーブル６００は、特徴量６０２、履歴情報６０４、及び日時６０６という列を有する。特徴量６０２は、顧客の特徴量を示す。履歴情報６０４は、顧客の過去の行動や状態を示す。日時６０６は、履歴情報６０４に示される行動や状態に対応する日時を示す。

履歴情報は、第１生成部２０６０からアクセス可能な記憶装置に予め記憶されているものとする。第１生成部２０６０は、この記憶装置から履歴情報を取得する。

属性情報の生成には、取得された撮像画像に含まれる顧客の特徴量に対応する履歴情報（属性情報の生成対象である顧客の行動履歴）のみが利用されてもよいし、この履歴情報に加えて他の履歴情報が利用されてもよい。前者の場合、第１生成部２０６０は、算出部２０２０によって算出された特徴量との類似度合いが高い特徴量（例えば算出された特徴量と一致する特徴量）と対応づけられている履歴情報を取得する。

一方後者の場合、第１生成部２０６０は、例えば全ての履歴情報を取得する。その他にも例えば、第１生成部２０６０は、属性情報の生成対象である顧客と共通点を持つ他の顧客の履歴情報を取得する。共通点は、例えば年齢、性別、又は性格などである。

例えば共通点として顧客の年齢を利用する場合、第１生成部２０６０は、算出部２０２０によって算出された顧客の特徴量から推定される年齢に近い年齢の顧客の履歴情報を取得する。同様に、共通点として顧客の性別を利用する場合、第１生成部２０６０は、算出部２０２０によって推定される顧客の性別と同じ性別の顧客の履歴情報を取得する。同様に、共通点として顧客の性格を利用する場合、第１生成部２０６０は、算出部２０２０によって推定される顧客の性格と同じ性格に分類される顧客の履歴情報を取得する。ここで、例えば顧客の性格は、温和な性格、神経質な性格、又は大ざっぱな性格などの種類に分類される。なお、人の顔の特徴量を用いてその人の年齢、性別、又は性格を推定する技術には，既知の技術を利用できる。

このような顧客の共通点を利用する場合、各顧客の履歴情報は、顧客の共通点を特定するための情報（顧客の年齢など）と対応づけて記憶しておくことが好適である。顧客の共通点を特定するための情報は、顧客の特徴量から推定された年齢などであってもよいし、顧客の実際の年齢などであってもよい。後者の場合、顧客の共通点を特定するための情報は、何らかの方法（例えば会員情報やアンケート）によって予め把握されているものとする。

＜属性情報の生成：Ｓ２０８＞
第１生成部２０６０は、取得した履歴情報を用いて属性情報を生成する（Ｓ２０８）。取得した履歴情報が１つである場合、第１生成部２０６０は、その履歴情報から属性情報を生成する。例えば、履歴情報において「ポイントカードの所有：無し」が示されている場合、第１生成部２０６０は、「ポイントカードの所有：無し」という属性情報を生成する。

取得した履歴情報が複数ある場合、第１生成部２０６０は、取得した履歴情報を統計処理することで属性情報を生成する。例えばポイントカードの所有の有無に関する属性情報を生成する場合、第１生成部２０６０は、「ポイントカードの所有：有り」を示す履歴情報の数と、「ポイントカードの所有：無し」を示す履歴情報の数を比較し、数が多い履歴情報の内容で属性情報を生成する。例えば「ポイントカードの所有：有り」を示す履歴情報の数の方が多い場合、第１生成部２０６０は、「ポイントカードの所有：有り」を示す属性情報を生成する。

ここで、第１生成部２０６０は、履歴情報に重みを付けた統計処理を行って属性情報を生成してもよい。例えば第１生成部２０６０は、全ての顧客の履歴情報を取得し、算出部２０２０が取得した撮像画像に含まれる顧客と共通点を持つ顧客の履歴情報に大きな重みを与え、それ以外の履歴情報に小さな重みを与えた上で、これらの履歴情報から属性情報を生成する。

例えばポイントカードの所有の有無に関する属性情報を生成するとする。また履歴情報が、１０歳単位で区切った顧客の年齢（１０代、２０代、又は３０代など）に対応づけられているとする。

この条件下において、属性情報の生成対象である顧客の年齢が「２０代」であったとする。この場合、第１生成部２０６０は、２０代という年齢の各顧客の履歴情報には大きな重みを与え、それ以外の年齢の顧客の履歴情報には小さな重みを与える。

このように、属性情報の生成対象である顧客との共通点に応じた重みを履歴情報に付与することで、生成される属性情報に、属性情報の生成対象である顧客と共通点を持つ顧客の行動が反映されやすくなる。よって、属性情報の生成対象である顧客の属性を高い精度で予測することができる。

＜実施形態２の情報処理装置２０００が処理を行う契機＞
属性情報の生成に係る一連の処理（図１０の処理）は、例えば対応する属性情報が存在しない顧客の応対が行われるタイミングで実行される。情報処理装置２０００は、実施形態１で説明した機能に基づき、応対する顧客について出力情報の出力を試みる。そして、取得した撮像画像に含まれる顧客の特徴量との類似度が高い特徴量が記憶装置１０に記憶されていない場合に、第１生成部２０６０は、前述した方法で属性情報を生成する。この方法によれば、新規の顧客の応対を行うタイミングで、その顧客に関する属性情報が生成されるようになる。そのため、新たな顧客の属性情報が自動的に生成されるようになる。ただし、第１生成部２０６０が属性情報を生成するタイミングは任意のタイミングでよく、顧客の応対を行うタイミングに限定されない。

＜ハードウエア構成＞
実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

＜作用・効果＞
本実施形態の情報処理装置２０００によれば、履歴情報を用いて顧客の属性情報が生成される。よって、顧客の属性情報が、その顧客や他の顧客の過去の行動や状態に基づいて生成される。こうすることで、顧客の属性を高い精度で推測できるようになる。

なお、属性情報の生成対象である顧客の履歴情報のみを用いて属性情報を生成すると、その顧客の過去の行動や状態の傾向に基づいて、その顧客の未来の行動や状態を予測することができる。

また、属性情報の生成対象である顧客以外の顧客の履歴情報を用いると、様々な顧客の過去の行動や状態の傾向に基づいて、属性情報の生成対象である顧客の未来の行動や状態を予測することができる。この方法は、例えば属性情報の生成対象の顧客が新規の顧客であるために、その顧客の履歴情報が存在しないケースなどで特に好適である。

さらに、属性情報の生成対象である顧客と共通点を持つ顧客の履歴情報を用いると、属性情報の生成対象である顧客と共通点を持つ顧客の過去の行動や状態の傾向に基づいて、属性情報の生成対象である顧客の未来の行動や状態を予測することができる。

［実施形態３］
図１２は、実施形態３の情報処理装置２０００を例示するブロック図である。以下で説明する事項を除き、実施形態３の情報処理装置２０００は、実施形態１の情報処理装置２０００又は実施形態２の情報処理装置２０００と同様である。

実施形態３の情報処理装置２０００は、入力受付部２０８０及び第２生成部２１００を有する。入力受付部２０８０は、算出部２０２０によって取得された撮像画像に含まれる顧客について、サービスに関する顧客の属性を表す入力を受け付ける。第２生成部２１００は、入力受付部２０８０が受け付けた入力に基づいて属性情報を生成する。さらに第２生成部２１００は、生成した属性情報を、算出部２０２０によって取得された撮像画像に含まれる顧客の特徴量と対応づけて、記憶装置１０に記憶させる。

＜処理の流れ＞
図１３は、実施形態３の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。算出部２０２０は、撮像画像を用いて顧客の特徴量を算出する（Ｓ３０２、Ｓ３０４）。入力受付部２０８０は、サービスに関する顧客の属性を表す入力を受け付ける（Ｓ３０６）。第２生成部２１００は、受け付けた入力に基づいて属性情報を生成する（Ｓ３０８）。第２生成部２１００は、算出された特報量と生成された属性情報とを対応づけて記憶装置１０に記憶させる（Ｓ３１０）。

＜入力の受け付け：Ｓ３０６＞
入力受付部２０８０が入力を受け付ける方法には、様々な方法を採用できる。例えば入力受付部２０８０に対する入力は、ディスプレイ装置に表示される入力画面を用いて行われる。例えばこのディスプレイ装置は、入力操作を受け付けるタッチパネルを用いて構成される。

図１４は入力画面を例示する図である。入力画面８０は、ディスプレイ装置に表示される入力画面である。入力画面８０は、入力エリア８２及び入力エリア８４を有している。入力エリア８２は、買い物袋の利用の有無に関する入力を受け付ける入力エリアである。入力エリア８４は、ポイントカードの所有の有無に関する入力を受け付ける入力エリアである。

例えば入力画面８０が商品登録装置のディスプレイ装置に表示されるとする。このディスプレイ装置は、店員によって閲覧及び操作が可能である。店員は、買い物袋が必要かどうかを顧客に尋ね、その結果を入力エリア８２に入力する。同様に店員は、ポイントカードを持っているかどうかを顧客に尋ね、その結果を入力エリア８４に入力する。これらの結果を用いて生成される属性情報を記憶装置１０に記憶させておくことで、同じ顧客が再度来店した際、店員は、この顧客が買い物袋を利用するかどうかや、この顧客がポイントカードを持っているかどうかを、顧客に尋ねる前に把握することができるようになる。

なお、入力画面８０に対する入力は、顧客によって行われてもよい。この場合、入力画面８０は、顧客による閲覧及び操作が可能なディスプレイ装置に表示される。例えば商品登録装置に、店員が閲覧するディスプレイ装置に加え、顧客が閲覧するディスプレイ装置を別途設けておく。

ここで、入力画面８０にはデフォルト値が設定されるようにしてもよい。デフォルト値は、例えば予め設定されている固定値である。例えばポイントカードを持っているかどうかについてのデフォルト値を「有り」に設定しておく。この場合、入力エリア８４にはデフォルト値として「有り」が表示される。

また例えば、デフォルト値は、前述した履歴情報を用いて算出されてもよい。具体的には、実施形態２の第１生成部２０６０によって生成される属性情報をデフォルト値として用いる。例えば実施形態２の第１生成部２０６０によって「ポイントカードの所有：有り」という属性情報が生成される場合、入力エリア８４のデフォルト値を「有り」に設定する。

このように顧客の行動や状態の履歴を用いてデフォルト値を算出することで、固定値をデフォルト値として用いる場合と比較し、顧客の実際の行動や状態がデフォルト値と一致する確率が高くなる。顧客の実際の行動や状態がデフォルト値と一致すれば、店員や顧客は入力エリア８２や入力エリア８４に対して入力を行う必要がない。そのため、店員の労力が削減される。

＜属性情報の生成：Ｓ３０８＞
第２生成部２１００は、入力受付部２０８０が受け付けた入力を用いて属性情報を生成する（Ｓ３０８）。例えば「ポイントカードの所有：有り」という入力を受け付けた場合、第２生成部２１００は、「ポイントカードの所有：有り」という属性情報を生成する。

＜実施形態３の情報処理装置２０００が処理を行う契機＞
属性情報の生成に係る一連の処理（図１３の処理）は、例えば対応する属性情報が存在しない顧客の応対が行われるタイミングで行われる。情報処理装置２０００は、実施形態１で説明した機能に基づき、応対する顧客について出力情報の出力を試みる。取得した撮像画像に含まれる顧客の特徴量との類似度が高い特徴量と対応づけられている属性情報が記憶装置１０に記憶されていない場合、情報処理装置２０００は、前述した入力画面８０などの出力を行う。そして情報処理装置２０００は、受け付けた入力を用いて属性情報を生成する。この方法によれば、新規の顧客の応対を行うタイミングで、その顧客に関する属性情報が生成されるようになる。

その他にも例えば、属性情報の生成に係る一連の処理は、店員の操作に応じて開始されてもよい。例えば店員が操作する端末のディスプレイ装置（例えば商品登録装置のディスプレイ装置）に、前述した入力画面８０に遷移するためのボタンを表示させておく。店員は、そのボタンを押下することで入力画面８０を表示させ、自分で顧客の属性に関する入力を行ったり、顧客に属性に関する入力を行わせたりする。

店員の操作を契機とする入力は、例えば属性情報を更新するために行われる。例えば或る顧客を応対する際、出力制御部２０４０によって出力される出力情報には「ポイントカードの所有：無し」が示されているものの、顧客がポイントカードを提示したとする。この場合、店員は入力画面８０を表示させて、「ポイントカードの所有：有り」を示す入力を行う。この入力に応じ、第２生成部２１００は、「ポイントカードの所有：有り」という属性情報を生成し、上記顧客の特徴量に対応づけられている既存の属性情報に代わって、生成した属性情報を記憶装置１０に記憶させる。つまり第２生成部２１００は、入力受付部２０８０が受け付けた入力を用いて属性情報の更新を行う。

＜ハードウエア構成＞
実施形態３の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

＜作用・効果＞
本実施形態の情報処理装置２０００によれば、顧客の属性に関する入力が受け付けられ、その入力を用いて属性情報が生成される。こうすることで、顧客が実際の行動や状態に基づいて、その顧客の未来の行動や状態を予測する属性情報を生成することができる。よって、顧客の属性情報を高い精度で生成することができる。
＜変形例＞
第２生成部２１００は、顧客の携帯端末を用いて入力された情報を用いて属性情報を生成することもできる。顧客は、携帯端末を用いて、顧客の属性に関する情報を入力する。入力受付部２０８０は、顧客の携帯端末を用いて入力された情報を受け付ける。第２生成部２１００は、入力受付部２０８０が受け付けた入力を用いて属性情報を生成する。これにより、来店しなくても属性情報を生成することができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 顧客が撮像された撮像画像を用いて、前記顧客の特徴量を算出する算出手段と、
店舗において前記顧客が利用しうるサービスの前記顧客の利用有無又は前記利用に係る物の前記顧客の所有有無を示す属性情報をその顧客の特徴量と対応づけて記憶している記憶装置から、前記顧客の特徴量と対応づけられている前記属性情報を取得し、前記取得した属性情報に基づく情報を出力する出力制御手段と、
を有する情報処理装置。
２． サービスの利用に関する顧客の行動又は状態の履歴を示す履歴情報を用いて前記属性情報を生成し、前記取得した撮像画像に含まれる顧客の特徴量と対応づけて前記生成した属性情報を前記記憶装置に記憶させる生成手段を有する１．に記載の情報処理装置。
３． 前記生成手段は、複数の顧客それぞれの履歴情報を用いて前記属性情報を生成する、２．に記載の情報処理装置。
４． 前記取得した撮像画像に含まれる顧客について、サービスの利用に関する入力を受け付ける入力受付手段と、
前記入力受付手段が受け付けた入力に基づいて前記属性情報を生成し、前記生成した属性情報を、前記取得した撮像画像に含まれる顧客の特徴量と対応づけて前記記憶装置に記憶させる生成手段と、
を有する１．に記載の情報処理装置。
５． 前記記憶装置は、前記属性情報を、その属性情報が適用される条件とさらに対応づけて記憶する、１．乃至４．いずれか一つに記載の情報処理装置。
６． 前記属性情報は、買い物袋の利用の有無を示し、
前記属性情報が適用される条件は、購入する商品の量に関する条件である、５．に記載の情報処理装置。
７． 前記出力制御手段は、顧客に対してサービスの利用の有無を尋ねるメッセージをさらに出力し、
前記取得した属性情報がサービスを利用することを示す場合に出力されるメッセージと、前記取得した属性情報がサービスを利用しないことを示す場合に出力されるメッセージは互いに異なる、１．乃至６．いずれか一つに記載の情報処理装置。
８． 前記顧客に向けて前記属性情報を表示する表示部及び店員に向けて前記属性情報を表示する表示部の少なくとも一方と接続されている、１．乃至７．のいずれか一つに記載の情報処理装置。

９． コンピュータによって実行される制御方法であって、
顧客が撮像された撮像画像を用いて、前記顧客の特徴量を算出する算出ステップと、
店舗において前記顧客が利用しうるサービスの前記顧客の利用有無又は前記利用に係る物の前記顧客の所有有無を示す属性情報をその顧客の特徴量と対応づけて記憶している記憶装置から、前記顧客の特徴量と対応づけられている前記属性情報を取得し、前記取得した属性情報に基づく情報を出力する出力制御ステップと、を有する制御方法。
１０． サービスの利用に関する顧客の行動又は状態の履歴を示す履歴情報を用いて前記属性情報を生成し、前記取得した撮像画像に含まれる顧客の特徴量と対応づけて前記生成した属性情報を前記記憶装置に記憶させる生成ステップを有する９．に記載の制御方法。
１１． 前記生成ステップにおいて、複数の顧客それぞれの履歴情報を用いて前記属性情報を生成する、１０．に記載の制御方法。
１２． 前記取得した撮像画像に含まれる顧客について、サービスの利用に関する入力を受け付ける入力受付ステップと、
前記入力受付ステップにおいて受け付けた入力に基づいて前記属性情報を生成し、前記生成した属性情報を、前記取得した撮像画像に含まれる顧客の特徴量と対応づけて前記記憶装置に記憶させる生成ステップと、
を有する９．に記載の制御方法。
１３． 前記記憶装置は、前記属性情報を、その属性情報が適用される条件とさらに対応づけて記憶する、９．乃至１２．いずれか一つに記載の制御方法。
１４． 前記属性情報は、買い物袋の利用の有無を示し、
前記属性情報が適用される条件は、購入する商品の量に関する条件である、１３．に記載の制御方法。
１５． 前記出力制御ステップにおいて、顧客に対してサービスの利用の有無を尋ねるメッセージをさらに出力し、
前記取得した属性情報がサービスを利用することを示す場合に出力されるメッセージと、前記取得した属性情報がサービスを利用しないことを示す場合に出力されるメッセージは互いに異なる、９．乃至１４．いずれか一つに記載の制御方法。
１６． 前記コンピュータは、前記顧客に向けて前記属性情報を表示する表示部及び店員に向けて前記属性情報を表示する表示部の少なくとも一方と接続されている、９．乃至１５．のいずれか一つに記載の制御方法。

１７． ９．乃至１６．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

１０ 記憶装置
２０ カメラ
３０ 店員
４０ 顧客
５０ レジ端末
６０ 表示画面
６２ ウインドウ
６４ ボタン
６６ ボタン
６８ ウインドウ
８０ 入力画面
８２ 入力エリア
８４ 入力エリア
５００ テーブル
５０２ 特徴量
５０４ 属性情報
５０６ 適用条件
６００ テーブル
６０２ 特徴量
６０４ 履歴情報
６０６ 日時
１０００ 計算機
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 情報処理装置
２０２０ 算出部
２０４０ 出力制御部
２０６０ 第１生成部
２０８０ 入力受付部
２１００ 第２生成部

Claims (10)

1. 顧客を含む撮像画像から前記顧客の特徴量を取得する取得手段と、
   顧客の特徴量と属性情報とを対応付けて記憶された記憶手段から、取得された前記顧客の特徴量と対応付けられている属性情報を取得し、当該属性情報を出力する出力手段と、
   前記顧客の特徴量と類似度合いが高い特徴量の顧客と対応付けられている履歴情報に基づいて、前記顧客の属性情報を生成する生成手段と、
   を備えた情報処理装置。
2. 前記履歴情報は、前記顧客の行動又は状態の履歴を示す情報である、請求項１に記載の情報処理装置。
3. 前記生成手段は、前記記憶手段に前記属性情報が存在しない顧客に対して、前記属性情報を生成し、
   前記出力手段は、前記記憶手段に前記属性情報が存在しない顧客の属性情報として、生成された前記属性情報を出力する、請求項１又は２に記載の情報処理装置。
4. 前記生成手段は、生成した前記顧客の前記属性情報を、当該顧客の特徴量と対応付けて前記記憶手段に記憶させる、請求項３に記載の情報処理装置。
5. 前記生成手段は、店員が前記顧客の応対を行うタイミングで、前記属性情報を生成する、請求項１ないし４のいずれか一項に記載の情報処理装置。
6. 前記生成手段は、精算処理を行うタイミングで、前記属性情報を生成する、請求項１ないし４のいずれか一項に記載の情報処理装置。
7. 前記属性情報は、前記顧客の飲食物の注文における味付け又はトッピングに関する情報を含む、請求項１ないし６のいずれか一項に記載の情報処理装置。
8. 前記出力手段は、前記顧客の飲食物の注文を受け付けるタイミングで前記属性情報を出力する、請求項７に記載の情報処理装置。
9. 前記生成手段は、前記顧客および当該顧客と共通点を持つ当該顧客以外の他の顧客の少なくとも一方の前記履歴情報を用いて、当該顧客の前記属性情報を生成する、請求項１ないし８のいずれか一項に記載の情報処理装置。
10. 情報処理装置を実現するコンピュータが、
    顧客を含む撮像画像から前記顧客の特徴量を取得し、
    顧客の特徴量と属性情報とを対応付けて記憶された記憶手段から、取得された前記顧客の特徴量と対応付けられている属性情報を取得し、当該属性情報を出力し、
    前記顧客の特徴量と類似度合いが高い特徴量の顧客と対応付けられている履歴情報に基づいて、前記顧客の属性情報を生成する、制御方法。

Images