JP7809397B1 - 情報処理方法、情報処理装置およびプログラム - Google Patents

Abstract

【課題】取得した画像から精度の高い顧客の識別を行い、顧客の利便性やサービスの質を向上できる情報処理装置、情報処理方法およびプログラムを提供すること。
【解決手段】本発明の第１の態様に係る情報処理方法は、店舗のサービスに関する情報をコード化したクーポンを用いて情報を処理する情報処理方法であって、店舗で顧客がクーポンを使用する際に、当該クーポンからクーポンコードを読み取る第１の工程と、店舗で顧客がクーポンを使用する際に、当該顧客の容姿又は当該顧客が乗車している車のナンバーである対象物を撮像した画像を取得する第２の工程と、第２の工程で取得した画像を基に対象物の特徴情報を生成する第３の工程と、第１の工程で読み取ったクーポンコードと、第３の工程で生成した特徴情報と、顧客の顧客ＩＤとを関連付けてメモリに記憶する第４の工程とをコンピュータが実行する情報処理方法である。
【選択図】図１０

Description

本発明は、店舗のサービスに関する情報をコード化したクーポンコードを用いて情報処理を行う情報処理方法、情報処理装置およびプログラムに関するものである。

カメラで撮影された画像に含まれる人物の顔の特徴を抽出し、予めデータベースに登録された人物の顔画像と抽出した顔の特徴とを照合することにより、カメラで撮影された人物を判別する技術が知られている（例えば、特許文献１参照）。近年、ＡＩ（Artificial Intelligence）を用いた画像認識技術の進展によって、カメラが撮影した画像に基づく人や物の判別を高精度に行うことが可能になってきている。また、駐車場やドライブスルーにおいて車のナンバープレートを読み取り、その読み取った情報に基づいて顧客に対するサービスを提供することも行われている。

特開２００３－１８７２２９号公報

カメラが撮影した顔の画像などから人物を自動的に判別する技術は、例えば、施設の入口における入場者のチェック、窓口業務における登録済のユーザの受け付け処理などに応用可能である。また、同じ店舗を利用する顧客（リピータ）を判別してサービスを提供することは顧客の利便性やサービスの質向上にもつながる。

本発明はかかる事情に鑑みてなされたものであり、その目的は、取得した画像から精度の高い顧客の識別を行い、顧客の利便性やサービスの質を向上できる情報処理装置、情報処理方法およびプログラムを提供することである。

本発明の第１の態様に係る情報処理方法は、店舗のサービスに関する情報をコード化したクーポンを用いて情報を処理する情報処理方法であって、店舗で顧客がクーポンを使用する際に、当該クーポンからクーポンコードを読み取る第１の工程と、店舗で顧客がクーポンを使用する際に、当該顧客の容姿又は当該顧客が乗車している車のナンバーである対象物を撮像した画像を取得する第２の工程と、第２の工程で取得した画像を基に対象物の特徴情報を生成する第３の工程と、第１の工程で読み取ったクーポンコードと、第３の工程で生成した特徴情報と、顧客の顧客ＩＤとを関連付けてメモリに記憶する第４の工程とをコンピュータが実行する情報処理方法である。

本発明の第２の態様に係る情報処理装置は、店舗のサービスに関する情報をコード化したクーポンを用いて情報を処理する情報処理装置であって、店舗で顧客が前記クーポンを使用する際に、当該クーポンからクーポンコードを読み取る読み取り部と、店舗で顧客がクーポンを使用する際に、当該顧客の容姿又は当該顧客が乗車している車のナンバーである対象物を撮像した画像を取得する取得部と、取得部で取得した画像を基に対象物の特徴情報を生成する特徴生成部と、取得部で読み取ったクーポンコードと、特徴生成部で生成した特徴情報と、顧客の顧客ＩＤとを関連付けて記憶するメモリと、を備えた情報処理装置である。

本発明の第３の態様に係るプログラムは、店舗のサービスに関する情報をコード化したクーポンを用いて情報を処理するプログラムであって、コンピュータに、店舗で顧客がクーポンを使用する際に、当該クーポンからクーポンコードを読み取る第１のステップと、店舗で顧客がクーポンを使用する際に、当該顧客の容姿又は当該顧客が乗車している車のナンバーである対象物を撮像した画像を取得する第２のステップと、第２のステップで取得した画像を基に対象物の特徴情報を生成する第３のステップと、第１のステップで読み取ったクーポンコードと、第３のステップで生成した特徴情報と、顧客の顧客ＩＤとを関連付けてメモリに記憶する第４のステップと、を実行させるプログラムである。

本発明によれば、取得した画像から精度の高い顧客の識別を行い、顧客の利便性やサービスの質を向上できる情報処理装置、情報処理方法およびプログラムを提供することができる。

図１は、本実施形態に係る情報処理装置１を適用したカメラシステムの構成を例示する図である。 図２は、記憶部１５０に記憶される登録情報５１の一例を示す図である。 図３は、記憶部１５０に記憶されるカメラ情報５２の一例を示す図である。 図４は、記憶部１５０に記憶される履歴情報５３の一例を示す図である。 図５は、記憶部１５０に記憶されるクーポン発行ＤＢ（データベース）５４の一例を示す図である。 図６は、記憶部１５０に記憶される端末情報５５の一例を示す図である。 図７は、端末装置２の構成の一例を示す図である。 図８は、会員登録の処理の一例を説明するためのフローチャートである。 図９は、クーポンを発行する処理の一例を説明するためのフローチャートである。 図１０は、クーポンを用いた処理の一例を説明するためのフローチャートである。 図１１は、クーポンが無い場合の処理の一例を説明するためのフローチャートである。 図１２は、新規登録を行う場合の処理の一例を説明するためのフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。

（情報処理装置）
図１は、本実施形態に係る情報処理装置１を適用したカメラシステムの構成を例示する図である。
図１に示すカメラシステムは、例えば各店舗に配置される端末装置２と、端末装置２のカメラ２２０で撮影した画像に基づいて人や物などの対象物を判別する処理を行う情報処理装置１とを有する。カメラ２２０は、特定の対象物（例えば特定の場所を訪れた人物）を撮影可能な位置に設置されており、撮影した画像に含まれる特定の対象物についての特徴（例えば人物の顔や車のナンバーの特徴）を抽出する処理を行う。情報処理装置１は、カメラ２２０で生成された対象物の特徴に関する情報（特徴情報）と、予め登録された対象物の特徴情報とを照合することにより、カメラ２２０で撮影された対象物に該当する登録済の対象物を判別する。図１の例において、複数のカメラ２２０はインターネットやＬＡＮ（Local Area Network）などのネットワーク９に接続されており、情報処理装置１はネットワーク９を介して各カメラ２２０からの情報を取得する。なお、カメラ２２０はネットワーク９を介さず情報処理装置１と接続されていてもよい。

本実施形態に係る情報処理装置１は、店舗のサービスに関する情報をコード化したクーポンを用いて情報処理を行う。クーポンには例えば２次元コード（ＱＲコード（登録商標））、バーコード、クーポン番号などが用いられる。クーポンは携帯端末の画面に表示されるものや、紙に印刷されるもの、数字や文字などテキストデータで表されるものがある。また、クーポンには顧客の識別情報である顧客ＩＤが含まれる場合もあるし、含まれない場合もある。顧客ＩＤはクーポンの発行時に付与されるユニークな値である。

本実施形態では、同じ店舗を複数回利用する顧客をリピータと称し、リピータの識別情報をリピータＩＤと称することにする。情報処理装置１は、クーポン、顧客ＩＤ、リピータＩＤなどを用いて顧客に対するサービスを提供するための情報処理を行う。

情報処理装置１は、図１の例において、通信部１１０と、入力部１２０と、表示部１３０と、インターフェース部１４０と、記憶部１５０と、処理部１６０とを含む。

通信部１１０は、ネットワーク９を介して他の装置（カメラ２２０など）と通信を行うための装置であり、例えばイーサネット（登録商標）や無線ＬＡＮなどの所定の通信規格に準拠して通信を行う装置（ネットワークインターフェースカードなど）を含む。

入力部１２０は、ユーザの操作に応じた指示や情報を入力するための装置であり、例えばキーボード、マウス、タッチパッド、タッチパネルなどの任意の入力装置を含む。

表示部１３０は、処理部１６０から入力される画像データに応じた画像を表示する装置であり、例えば液晶ディスプレイや有機ＥＬディスプレイなどを含む。

インターフェース部１４０は、処理部１６０において種々のデータを入出力するための装置であり、例えばＵＳＢなどの汎用的なインターフェース装置や、記録媒体（例えばメモリカード）のリーダーライター装置などを含む。

記憶部１５０は、処理部１６０のプロセッサによって実行されるプログラム５０を記憶するとともに、処理部１６０の処理の過程で一時的に保存されるデータ、処理部１６０の処理に利用されるデータ、処理部１６０の処理結果として得られたデータなどを記憶する。例えば記憶部１５０は、後述する登録情報５１（図２）、カメラ情報５２（図３）、履歴情報５３（図４）を記憶する。

記憶部１５０は、処理部１６０において実行可能な命令を含む１以上のプログラム５０や、処理部１６０による処理の過程で一時的に保存されるデータ、処理部１６０の処理に利用されるデータ、処理部１６０の処理の結果として得られたデータ等を記憶する。記憶部１５０は、例えば、主記憶装置（ＲＡＭ、ＲＯＭ等）と補助記憶装置（フラッシュメモリ、ＳＳＤ、ハードディスク、メモリカード、光ディスク等）を含んでよい。記憶部１５０は、１つの記憶装置から構成されてもよいし、複数の記憶装置から構成されてもよい。記憶部１５０が複数の記憶装置から構成される場合、各記憶装置は、コンピュータのバスや他の任意の通信手段を介して処理部１５に接続されてよい。

処理部１６０は、情報処理装置１の全体的な動作を統括的に司り、所定の情報処理を実行する。処理部１６０は、例えば、記憶部１５０に格納された１以上のプログラムの命令コードに従って処理を実行する１以上のプロセッサ（ＣＰＵ，ＭＰＵなど）を含む。処理部１６０は、記憶部１５０の１以上のプログラムを１以上のプロセッサが実行することにより、１以上のコンピュータとして動作する。

なお、処理部１６０は、特定の機能を実現するように構成された１以上の専用のハードウェア（ＡＳＩＣ、ＦＰＧＡなど）を含んでもよい。この場合、処理部１６０は、対象物の判別に関わる処理を、上述した１以上のコンピュータにおいて実行してもよいし、当該処理の少なくとも一部を専用のハードウェアにおいて実行してもよい。

処理部１６０は、対象物の判別に関連する処理を行う構成要素として、例えば図１に示すように、コード読み取り部１６１と、特徴取得部１６２と、判別部１６３と、登録部１６４と、履歴更新部１６５と、カメラ管理部１６６とを含む。

コード読み取り部１６１は、顧客ＩＤを含んだクーポンからクーポンコードを読み取る処理を行う。クーポンコードはクーポンに対応付けされた電子的な情報である。コード読み取り部１６１は、カメラ２２０で撮影したクーポンの画像情報からクーポンコードを読み取り、クーポンコードに対応付けされた店舗のサービスに関する情報や、クーポンに含まれる顧客ＩＤを抽出する。

特徴取得部１６２は、特定の対象物（人物や車のナンバーなど）を撮影可能なカメラ２２０が撮影した画像に基づいて生成される対象物の特徴情報を取得する。特徴情報は、対象物を含む画像（カメラ２２０が撮影した画像）から抽出された対象物の特徴（人物の顔の特徴など）に関する情報である。本実施形態では、一例として、対象物を撮影するカメラ２２０において特徴情報が生成されるものとする。カメラ２２０において特徴情報が生成される場合、特徴取得部１６２は、カメラ２２０から特徴情報を直接取得してもよいし、ネットワーク９に接続された１以上のサーバ装置（クラウドサーバなど）を介して間接的に特徴情報を取得してもよい。特徴取得部１６２において取得する特徴情報は、カメラ２２０で生成された特徴情報と同一でもよいし、カメラ２２０と情報処理装置１との間に介在するサーバ装置などによって所定の変換が施されたものでもよい。

判別部１６３は、特徴取得部１６２において取得された特徴情報（以下、「取得特徴情報」と記す場合がある。）と、記憶部１５０に記憶された登録情報５１に含まれる特徴情報（以下、「登録特徴情報」と記す場合がある。）とを照合する。登録情報５１に含まれる登録特徴情報は、登録情報５１に登録された個々の対象物について予め生成された特徴情報であり、例えば、予め撮影された対象物の画像から対象物の特徴を抽出することにより得られた情報である。判別部１６３は、この登録特徴情報と取得特徴情報との照合結果に基づいて、取得特徴情報が抽出された画像（カメラ２２０が撮影した画像）に含まれる対象物（以下、「画像中の対象物」と記す場合がある。）に該当する、登録情報５１に登録された対象物（以下、「登録された対象物」と記す場合がある。）を判別する。

図２は、記憶部１５０に記憶される登録情報５１の一例を示す図である。登録情報５１は、登録された個々の対象物に関する所定の情報を含む。図２の例において、登録情報５１に登録される対象物は人物である。図２における符号５１０は、一人の人物について登録される一群の情報を表す。図２の例に示す一群の情報５１０は、会員登録した際に付与される会員ＩＤ、個々の人物を識別するための顧客ＩＤ、Ｅメールアドレス、対象の人物に付与されるクーポンのクーポンコード、同じ店舗を複数回利用した際に用いられるリピータＩＤを含む。また、登録情報５１は、登録を行った日付（登録日）、人物に関する個人情報（氏名，性別，生年月日，住所，当該住所の郵便番号）、人物に割り当てられた種別（例えば会員の種別など）、現在のステータス（登録が有効か否かなど）、人物の顔画像のデータ、当該顔画像から抽出された人物の顔の特徴を示す特徴情報を含んでいてもよい。登録情報５１は、登録された一人以上の人物の各々について、図２に示すような一群の情報５１０を含む。

登録部１６４は、登録すべき対象物の情報（例えば図２に示す一群の情報５１０）を記憶部１５０の登録情報５１に登録する処理を行う。例えば登録部１６４は、コード読み取り部１６１でクーポンコードを読み取った際に特徴取得部１６２で取得した特徴情報を、顧客ＩＤと紐付けして記憶部１５０に記憶する処理を行う。例えば、登録部１６４は、顧客が会員登録した際に会員ＩＤを付与し、登録する。また、登録部１６４は、会員登録した顧客が初めて店舗に訪れてクーポンを利用したに顧客ＩＤを付与し、登録する。さらに、登録部１６４は、顧客が店舗を訪れた際、顧客に対して事前に発行されたクーポンをカメラ２２０で読み取ることでコード読み取り部１６１がクーポンに含まれる顧客ＩＤを抽出する。特徴取得部１６２は、顧客のクーポンを読み取った際にカメラ２２０で撮影した顧客の顔の画像から顧客の特徴情報を取得する。登録部１６４は、特徴取得部１６２で取得した顧客の特徴情報を顧客ＩＤと紐付けして記憶部１５０に記憶する。

また、登録部１６４は、登録すべき対象物の情報を記憶部１５０の登録情報５１に追加する処理を行う。例えば登録部１６４は、対象物に関する情報の入力を促す登録用画面を表示部１３０において表示する。登録部１６４は、この登録用画面の案内に従って入力部１２０により入力された情報を登録情報５１に追加する。また登録部１６４は、通信部１１０において通信可能な他の装置から提供される対象物の情報や、インターフェース部１４０において記録媒体などから入力される対象物の情報を、登録情報５１に追加してもよい。

履歴更新部１６５は、画像中の対象物に該当する登録された対象物が判別部１６３において判別された場合、登録された対象物の撮影履歴に関する情報を記憶部１５０に格納する。本実施形態では、一例として、カメラ２２０に関する情報を含んだカメラ情報５２と、登録情報５１に登録された履歴情報５３とを記憶部１５０に記憶する。

図３は、記憶部１５０に記憶されるカメラ情報５２の一例を示す図である。図３における符号５２０は、１台のカメラ２２０に関する一群の情報を表す。図３の例に示す一群の情報５２０は、個々のカメラ２２０を識別するためのカメラＩＤ、個々のカメラ２２０に付与された名称、カメラ２２０の型式、カメラ２２０が備える機能（例えば性別判定機能、年齢判定機能、表情判定機能など）、ネットワーク９上におけるカメラ２２０のアドレス（例えばＩＰアドレス）、現在のステータス（ネットワーク９に接続中か否かなど）、撮影を行う場所の住所、当該住所の郵便番号（撮影場所郵便番号）を含む。カメラ情報５２は、カメラシステムが有する１台以上のカメラ２２０の各々について、図３に示すような一群の情報５２０を含む。また、一群の情報５２０は、リピータの登録や検知を行う際に用いられる店舗ＩＤ、リピータＩＤ、対象物の特徴情報を含む。

図４は、記憶部１５０に記憶される履歴情報５３の一例を示す図である。図４に示す履歴情報５３において撮影の履歴を記録される対象物は人物である（図２に示す登録情報５１と同じ）。図４における符号５３０は、判別処理によって一人の人物が判別された場合に記録される一群の情報を示す。図４の例に示す一群の情報５３０は、顧客が購入した商品を示す商品ＩＤ、撮影した店舗ＩＤ、撮影された人物（顧客）が提示したクーポンのクーポンコード、撮影された日時を示すタイムコード、撮影を行ったカメラ２２０のカメラＩＤ、撮影された顧客の顧客ＩＤ、顧客のリピータＩＤ、撮影した画像に基づき取得した対象物の特徴情報、特徴ＩＤ、を含む。特徴ＩＤには、カメラ２２０で撮影した顧客の顔の画像に基づく特徴情報に紐付いた顔ＩＤや、カメラ２２０で撮影した車のナンバープレートの画像に基づく特徴情報に紐付いたナンバープレートＩＤなど、それぞれの対象物の画像に基づく特徴情報に紐付いたＩＤが含まれる。

図５は、記憶部１５０に記憶されるクーポン発行ＤＢ（データベース）５４の一例を示す図である。図５に示す符号５４０は、クーポンを発行する場合に用いられる一群の情報を表す。図５に示す一群の情報５４０は、クーポンを発行する店舗を示す店舗ＩＤ、クーポンを発行する端末装置２を示す端末ＩＤ、クーポンを発行する対象者の条件を示す発行対象、クーポンを発行する地域を示す郵便番号／ＧＰＳデータを含む。

図６は、記憶部１５０に記憶される端末情報５５の一例を示す図である。図６に示す符号５５０は、端末装置２に関する一群の情報を表す、。図６に示す一群の情報５５０は、端末装置２が設置される店舗の店舗ＩＤ、個々の端末装置２を識別するための端末ＩＤを含む。また、一群の情報５５０は、顧客が端末装置２を利用する際、端末装置２の入出力部２５０（図７参照）に表示する商品やサービスの案内の優先度を決めるために用いられる商品ＩＤ、クーポンコードを含む。

履歴更新部１６５は、判別処理によって対象物が判別される度に、判別された対象物について登録情報５１に含まれる情報（顧客ＩＤなど）と、判別された対象物を撮影したカメラ２２０についてカメラ情報５２に含まれる情報（カメラＩＤ、撮影場所郵便番号など）とに基づいて、図４に示すような一群の情報５３０を生成し、これを履歴情報５３に追加する。

カメラ管理部１６６は、カメラシステムが備えるカメラ２２０の管理に関わる処理を行う。例えばカメラ管理部１６６は、カメラシステムに新規のカメラ２２０を追加する場合、新規に追加するカメラ２２０の情報の入力を促すカメラ追加用画面を表示部１３０に表示する。カメラ管理部１６６は、このカメラ追加用画面の案内に従って入力部１２０により入力された情報を、図３に示すカメラ情報５２に追加する。

図７は、端末装置２の構成の一例を示す図である。端末装置２は、店舗に配置される商品購入端末（例えば、キオスク端末）やタブレット型コンピュータなどである。端末装置２は、カメラ２２０と、通信部２１０と、インターフェース部（Ｉ／Ｆ部）２３０と、記憶部２４０と、入出力部２５０と、処理部２６０を有する。

通信部２１０は、ネットワーク９を介して他の装置（情報処理装置１など）と通信を行うための装置であり、例えばイーサネット（登録商標）や無線ＬＡＮなどの所定の通信規格に準拠して通信を行う装置（ネットワークインターフェースカードなど）を含む。

カメラ２２０は、画像を撮像する装置であり、ＣＭＯＳイメージセンサなどの撮像素子、被写体の光を撮像素子へ導く光学系、撮像素子において撮像した画像を処理する画像処理装置などを含む。

インターフェース部２３０は、処理部２６０において種々のデータを入出力するための装置であり、例えばＵＳＢなどの汎用的なインターフェース装置や、記録媒体（メモリカードなど）のリーダーライター装置などを含む。

記憶部２４０は、処理部２６０のプロセッサによって実行されるプログラムを記憶するとともに、処理部２６０の処理の過程で一時的に保存されるデータ、処理部２６０の処理に利用されるデータ、処理部２６０の処理結果として得られたデータなどを記憶する。記憶部２４０は、例えば、主記憶装置（ＲＯＭ、ＲＡＭなど）と補助記憶装置（フラッシュメモリ、ハードディスク、光ディスクなど）を含む。記憶部２４０は、１つの記憶装置から構成されてもよいし、１種類以上の複数の記憶装置から構成されてもよい。

入出力部２５０は、情報の表示とユーザからの入力を受け付ける部分である。入出力部２５０は、例えばタッチパネルディスプレイである。なお、入出力部２５０は表示部と入力とが別体であってもよい。

処理部２６０は、カメラ２２０の全体的な動作を統括的に制御する装置であり、例えば、記憶部２４０に格納された１以上のプログラム５０の命令コードに従って処理を実行する１以上のプロセッサ（ＣＰＵ，ＭＰＵなど）を含む。処理部２６０は、記憶部２４０の１以上のプログラムを１以上のプロセッサが実行することにより、１以上のコンピュータとして動作する。処理部２６０は、特定の機能を実現するように構成された１以上の専用のハードウェア（ＡＳＩＣ、ＦＰＧＡなど）を含んでもよい。処理部２６０は、全ての処理を１以上のコンピュータにおいて実行してもよいし、少なくとも一部の処理を専用のハードウェアにおいて実行してもよい。

処理部２６０は、カメラ２２０において画像（静止画や動画）を撮影するとともに、その撮影データ３１を記憶部２４０に格納する。また、処理部２６０は、カメラ２２０において撮影した画像から、画像に含まれる特定の対象物の特徴に関する特徴情報３２を生成し、記憶部２４０に格納する。対象物が人物であり、人物の顔の特徴を特徴情報３２として生成する場合、例えば処理部２６０は、カメラ２２０が撮影した画像における人物の眼、鼻、口、顔、輪郭などの特徴点に基づいて特徴情報３２を生成する。特徴情報３２は、例えば多次元のベクトルでもよい。この場合、判別部１６３は、取得特徴情報が示すベクトルと登録特徴情報が示すベクトルとの相関係数などに基づいて、これらの特徴情報が示す顔の特徴が一致している度合いを算出し、算出した一致の度合いを所定のしきい値と比較することにより、画像中の人物と登録された人物とが一致しているか否か判定してもよい。

処理部２６０は、通信部２１０によって情報処理装置１と通信を行い、記憶部２４０に記憶した特徴情報３２を情報処理装置１へ適宜送信する。処理部２６０は、特徴情報３２が生成された画像の撮影日時に関する情報を、特徴情報３２とともに情報処理装置１へ送信してもよい。

（情報処理装置の動作：情報処理方法）
ここで、上述した構成を有する第１の実施形態に係る情報処理装置１の動作について説明する。
図８は、会員登録の処理の一例を説明するためのフローチャートである。情報処理装置１は、顧客が会員登録を行う際に、図８のフローチャートに示した処理を実行する。先ず、処理部１６０は、顧客のメールアドレスの受付（ステップＳ１０１）、パスワードの受付（ステップＳ１０２）を行う。例えば、顧客が自らの端末（スマートフォンなど）のアプリケーションソフトウェア（アプリ）や店舗の端末を利用してメールアドレスやパスワードを入力し、情報処理装置１の処理部１６０は、この入力されたメールアドレスのおよびパスワードを受け付ける。

次に、処理部１６９は、受け付けメールアドレスおよびパスワードと紐付けた会員ＩＤを生成し、記憶部１５０の登録情報５１に会員ＩＤを登録する。

会員ＩＤを生成した後、処理部１６０はクーポンを発行するか否かを判断する（ステップＳ１０４）。顧客の希望を求め、クーポンの発行を希望しない場合には（ステップＳ１０４でＮｏ）、会員登録だけして処理を終了する。

顧客がクーポンの発行を希望する場合には（ステップＳ１０４でＹｅｓ）、処理部１６０は会員ＩＤと紐付けた顧客ＩＤを生成するとともに、顧客ＩＤを登録情報５１として記憶部１５０に登録する（ステップＳ１０５）。顧客の情報の登録において、郵便番号（顧客の居住地や職場、良く利用する駅の住所に対応した郵便番号）や顧客の現在の位置情報（ＧＰＳデータなど）を受け付けるようにしてもよい。

処理部１６０は、クーポン発行ＤＢ５４を参照してクーポンを生成するとともに、生成したクーポンに関連する情報を登録情報５１として記憶部１５０に登録する（ステップＳ１０６）。生成したクーポンには顧客ＩＤが含まれる。そして、処理部１６０は、生成したクーポンを顧客の端末に送る（ステップＳ１０７）。

図９は、クーポンを発行する処理の一例を説明するためのフローチャートである。情報処理装置１は、会員登録を行った顧客が自らの端末（スマートフォンなど）によってクーポンの発行を依頼する度に、図９のフローチャートに示した処理を実行する。処理部１６０は、顧客の端末にメールアドレスとパスワードの入力を求める情報を送り、顧客の端末からのメールアドレスの受付（ステップＳ２０１）およびパスワードの受付（ステップＳ２０２）を行う。

メールアドレスおよびパスワードを受け付けた処理部１６０は、そのメールアドレスとパスワードとから会員ＩＤを抽出し、会員ＩＤと紐付けた顧客ＩＤを生成するとともに、顧客ＩＤを登録情報５１として記憶部１５０に登録する（ステップＳ２０３）。顧客の情報の登録において、郵便番号（顧客の居住地や職場、良く利用する駅の住所に対応した郵便番号）や顧客の現在の位置情報（ＧＰＳデータなど）を受け付けるようにしてもよい。

処理部１６０は、クーポン発行ＤＢ５４を参照してクーポンを生成するとともに、生成したクーポンに関連する情報を登録情報５１として記憶部１５０に登録する（ステップＳ２０４）。生成したクーポンには顧客ＩＤが含まれる。クーポンの発行では、クーポンの発行を依頼した顧客の情報がクーポン発行ＤＢ５４の発行対象に当てはまるクーポンを生成するとよい。例えば、顧客の郵便番号やＧＰＳデータからクーポン発行ＤＢ５４の郵便番号／ＧＰＳデータに合致する店舗のクーポンを生成する。これにより、顧客がよく行く場所や現在の位置に近い店舗で利用可能なクーポンを生成することができる。そして、処理部１６０は、生成したクーポンを顧客の端末に送る（ステップＳ２０５）。

図１０は、クーポンを用いた処理の一例を説明するためのフローチャートである。情報処理装置１は、顧客が事前に発行されたクーポンを利用するときに図１０のフローチャートに示した処理を実行する。先ず、顧客が店舗に訪れて端末装置２を操作する、または端末装置２に近づくと、その端末装置２のカメラ２２０によって顧客の顔を撮影し、端末装置２から送られる特徴情報を特徴取得部１６２により取得する（ステップＳ３０１）。

次に、顧客が予め発行されていたクーポンをカメラ２２０に向けて提示するとカメラ２２０、コード読み取り部１６１はクーポンコードの読み取りを行う（ステップＳ３０２）。コード読み取り部１６１はクーポンコードに基づきクーポンに含まれる顧客ＩＤを抽出する（ステップＳ３０３）。

次に、処理部１６０は、コード読み取り部１６１によってクーポンから抽出した顧客ＩＤに紐付けられたリピータＩＤを登録情報５１から取得する（ステップＳ３０４）。なお、顧客ＩＤに紐付けられたリピータＩＤが登録されていない場合（初めて来店してクーポンを提示した場合）、新たに顧客ＩＤに紐付けたリピータＩＤを付与して登録情報５１に登録する。

次に、登録部１６４は、端末装置２から送られたクーポンコードと、顧客の特徴情報と、顧客ＩＤとを関連付けて登録情報５１に登録する（ステップＳ３０５）。ここで、顧客の特徴情報の登録では、例えば、顧客の顔の画像から特徴情報を得た場合にはその特徴情報に紐付けられた顔ＩＤを登録し、顧客が車で店舗を訪れた際に車のナンバープレートの画像を読み取った場合にはそのナンバープレートの画像から得られる特徴情報に紐付けられたナンバープレートＩＤを特徴ＩＤとして登録する。また、顧客が同じ店舗に複数回訪れたリピータである場合、来店の度に取得した顧客の特徴情報がリピータＩＤに紐付けて登録される。これにより、リピータＩＤに紐付けられた特徴情報が増えていき、ＡＩの教師データとなって顧客を判別する際の精度が高まる。例えば、カメラ２２０で撮影した際の顧客の顔の向きや表情の違い、メガネやマスクの有無、持ち物など、同じ顧客であっても様々な画像に基づく特徴情報が蓄積されていく。

また、顧客の同行者（家族、友人、ペットを含む）の画像をカメラ２２０で撮影した場合には、同行者に関する特徴情報を顧客ＩＤと関連付けて登録してもよい。クーポンには顧客ＩＤが含まれているため、クーポンコードを読み取った際に撮影した対象物の特徴情報と顧客ＩＤとを正確に対応付けすることができ、認識精度が飛躍的に高まる。

また、顧客に同行者がいる場合、同行者の特徴情報に基づきその同行者の顧客ＩＤが登録されているか否かを判別し、登録されていない場合には同行者の同行者ＩＤを生成するようにしてもよい。同行者の登録を行う際、同行者の特徴情報に基づき同行者が顧客の家族なのか友人なのかの判別を属性判定機能（年齢予測、性別予測など）や過去の登録情報などを用いたＡＩの機械学習により判別してもよい。

次に、処理部１６０は、顧客ＩＤに紐付けされた履歴情報５３を取得する（ステップＳ３０６）。これにより、クーポンコードを提示した顧客へのサービス提供の履歴（例えば、過去に購入した商品や過去に撮影した際のタイムコードに基づく来店日時、過去に利用したクーポンコードなど）が取得される。

次に、処理部１６０は、取得した履歴情報５３の情報に基づくサービスを提供する（ステップＳ３０７）。すなわち、処理部１６０は、リピータＩＤと紐付けて記憶部１５０に記憶された履歴情報５３のサービスの履歴に基づき、端末装置２の入出力部２５０にサービスの案内を表示する。例えば、処理部１６０は、過去にその顧客が店舗で購入した商品の履歴から、購入頻度の高い商品に関する情報（値段や割引き情報、その商品の陳列位置、その商品に関連した他の商品の情報など）を入出力部２５０に表示する。リピータは同じ時間帯に同様な商品を購入する傾向にあるため、その商品の情報を端末装置２の入出力部２５０に表示することで、迅速に注文処理や会計処理を行うことが可能となる。

サービスの提供後、履歴更新部１６５は、履歴情報５３の更新を行う（ステップＳ３０８）。履歴更新部１６５は、リピータＩＤに紐付けて顧客の受けたサービス（購入した商品の商品ＩＤや利用したクーポンコードなど）の履歴情報５３を更新する。

図１１は、クーポンが無い場合の処理の一例を説明するためのフローチャートである。情報処理装置１は、顧客がクーポンコードを利用しないで端末装置２を操作または端末装置２に近づいたときに図１１のフローチャートに示した処理を実行する。

先ず、顧客が店舗に訪れて端末装置２を操作する、または端末装置２に近づくと、その端末装置２のカメラ２２０によって顧客の顔を撮影し、端末装置２から送られる特徴情報を特徴取得部１６２により取得する（ステップＳ４０１）。顧客が車で店舗を訪れた場合には車のナンバープレートの画像をカメラ２２０で取り込み、ナンバープレートの画像に基づき得られる特徴情報を特徴取得部１６２による取得する。

カメラ２２０によって撮影された顧客の顔または車のナンバープレートの画像に基づく特徴情報を特徴取得部１６２が取得すると（ステップＳ４０１）、判別部１６３は、登録情報５１に含まれる顧客の特徴情報（登録特徴情報）と、被撮影者の取得特徴情報とを照合する（ステップＳ４０２）。取得特徴情報と登録特徴情報とを照合した結果、撮影された顧客に該当する登録特徴情報が見つからなかった場合（ステップＳ４０３でＮｏ）、図１１に示す新規登録処理へ移行する。新規登録処理については後述する。

撮影された顧客に該当する登録特徴情報が見つかった場合（ステップＳ４０３でＹｅｓ）、処理部１６０は、その顧客ＩＤに紐付けされたリピータＩＤを登録情報５１から取得する（ステップＳ４０４）。ここで、登録情報５１からリピータＩＤを抽出する際、リピータＩＤと紐付けされた特徴情報が複数ある場合、画像を撮影した際の撮影条件に基づき優先順位をつけて照合を行う。例えば、画像の撮影時刻が新しいものほど高い優先順位で照合を行う。これにより、顧客がクーポンを利用しなくてもリピータであることが把握される。
その他、撮影条件には、顔の角度、写真の精度、特徴情報の抽出箇所等、照合に用いられる特徴情報を高精度に抽出可能な撮影環境に関する情報が含まれる。

次に、登録部１６４は、端末装置２から送られた顧客の特徴情報を顧客ＩＤに紐付けて登録情報５１に登録する（ステップＳ４０５）。例えば、顧客が同じ店舗に複数回訪れたリピータである場合、来店の度に取得した顧客の特徴情報がリピータＩＤに紐付けて登録される。リピータＩＤに紐付けられた特徴情報が増えていき、ＡＩの教師データとなって顧客を判別する際の精度が高まる。

次に、処理部１６０は、顧客ＩＤに紐付けされた履歴情報５３を取得する（ステップＳ４０６）。これにより、クーポンを提示した顧客へのサービス提供の履歴（例えば、過去に購入した商品や過去に撮影した際のタイムコードに基づく来店日時、過去に利用したクーポンなど）が取得される。

次に、処理部１６０は、取得した履歴情報５３の情報に基づくサービスを提供する（ステップＳ４０７）。すなわち、処理部１６０は、リピータＩＤと紐付けて記憶部１５０に記憶された履歴情報５３のサービスの履歴に基づき、端末装置２の入出力部２５０にサービスの案内を表示する。例えば、処理部１６０は、過去にその顧客が店舗で購入した商品の履歴から、購入頻度の高い商品に関する情報（値段や割引き情報、その商品の陳列位置、その商品に関連した他の商品の情報など）を入出力部２５０に表示する。リピータは同じ時間帯に同様な商品を購入する傾向にあるため、その商品の情報を端末装置２の入出力部２５０に表示することで、迅速に注文処理や会計処理を行うことが可能となる。

サービスの提供後、履歴更新部１６５は、履歴情報５３の更新を行う（ステップＳ４０８）。履歴更新部１６５は、リピータＩＤに紐付けて顧客の受けたサービス（購入した商品の商品ＩＤや利用したクーポンなど）の履歴情報５３を更新する。

図１２は、新規登録を行う場合の処理の一例を説明するためのフローチャートである。図１１のステップＳ４０３でＮｏ（該当する示す登録特徴情報が見つからなかった場合）、処理部１６０は、図１２のフローチャートに示した処理を実行する。先ず、新規登録をする否かを判断する（ステップＳ５０１）。顧客が操作する端末装置２の入出力部２５０に新規登録を行うか否かの選択を行う画面を表示し、新規登録を行わない場合（ステップＳ５０１でＮｏ）、処理を終了する。一方、新規登録を行う場合（ステップＳ５０１でＹｅｓ）、処理部１６０は、端末装置２にメールアドレスとパスワードの入力を求める情報を送り、顧客が入力したメールアドレスの受付（ステップＳ５０２）およびパスワードの受付（ステップＳ５０３）を行う。

メールアドレスおよびパスワードを受け付けた処理部１６０は、そのメールアドレスとパスワードとを紐付けた会員ＩＤを生成するとともに、会員ＩＤを登録情報５１として記憶部１５０に登録する（ステップＳ５０４）。顧客の情報の登録において、郵便番号（顧客の居住地や職場、良く利用する駅の住所に対応した郵便番号）や顧客の現在の位置情報（ＧＰＳデータなど）を受け付けるようにしてもよい。

次に、処理部１６０は、クーポンを生成するとともに会員ＩＤに紐付けられた顧客ＩＤを生成し、生成したクーポンおよび顧客ＩＤを登録情報５１として会員ＩＤに紐付けて記憶部１５０に登録する（ステップＳ４０５）。クーポンの生成では、新規登録した顧客の情報に基づき、クーポン発行ＤＢ５４の発行対象に当てはまる場合にクーポンを生成する。例えば、顧客の郵便番号やＧＰＳデータからクーポン発行ＤＢ５４の郵便番号／ＧＰＳデータに合致する店舗のクーポンを生成する。これにより、顧客がよく行く場所や現在の位置に近い店舗で利用可能なクーポンを生成することができる。処理部１６０は、生成したクーポンを顧客の端末に送る（ステップＳ５０６）。

次に、処理部１６０は、生成した顧客ＩＤに紐付けされたリピータＩＤを生成し（ステップＳ５０７）、登録部１６４は、端末装置２から送られた顧客の特徴情報を生成した顧客ＩＤに紐付けて登録情報５１に登録する（ステップＳ５０８）。

次に、処理部１６０は、顧客に対するサービスを提供する（ステップＳ５０９）。すなわち、処理部１６０は、登録された顧客の情報に基づき、端末装置２の入出力部２５０にサービスの案内を表示する。例えば、処理部１６０は、その顧客が好みそうな高い商品に関する情報（値段や割引き情報、その商品の陳列位置、その商品に関連した他の商品の情報など）を入出力部２５０に表示する。新規登録の場合には履歴情報５３が登録されていないため、新規登録時に得た顧客の情報に基づいてお勧め商品やその店舗での割引き情報などを端末装置２の入出力部２５０に表示することで、顧客のニーズに合ったサービスを提供しやすくなる。

サービスの提供後、履歴更新部１６５は、履歴情報５３の更新・登録を行う（ステップＳ５１０）。履歴更新部１６５は、リピータＩＤに紐付けて顧客の受けたサービス（購入した商品の商品ＩＤや利用したクーポンコードなど）の履歴情報５３を更新する。

本実施形態に係る情報処理方法により、クーポンを使用した際に顧客の特徴情報を紐付けた特徴ＩＤ（顔ＩＤやナンバープレートＩＤなど）が会員ＩＤ、顧客ＩＤ、リピータＩＤに包括的に紐付けられ、この特徴ＩＤが実質的なマスターＩＤとして機能することになる。そして、この特徴ＩＤ（顔ＩＤやナンバープレートＩＤなど）がマスターＩＤとして機能する精度を高めるため、クーポンを利用する度に過去の履歴が紐付いているリピータＩＤと照合し、さらにデータベース内のイメージデータを所定の条件（例えば、撮影日時が新しく、撮影条件が良い順）によってランキングして、照合優先順位を与える。これにより、コンピュータの計算負荷エネルギーを削減するとともに、精度と照合スピードを高めることができる。また、これによって、最初の会員登録が変わったり、同じ顧客が複数の会員ＩＤを持っていたりしたとしても、特徴ＩＤ（顔ＩＤやナンバープレートＩＤなど）をマスターＩＤとして同じ顧客として登録された過去のリピータ履歴を読み出すことができ、顧客の嗜好や満足度を高めるサービスを継続することが可能となる。また、他人の会員ＩＤを不正に取得したり、なりすましで取得したりした場合でも、店舗に訪れた際に取得した特徴情報から抽出した特徴ＩＤをマスターＩＤとして蓄積された特徴情報を参照することで、不正利用やなりすましを抑制することができる。
すなわち、リピータＩＤをマスターＩＤとして一つのアプリに複数のユーザーアカウントを使っていても本人の行動追跡が可能になり、ユーザーアカウントを紛失しても本人の行動履歴の復旧、クーポン不正利用防止が可能になる。

（プログラム）
本実施形態に係るプログラム５０は、上述した情報処理方法の各ステップをコンピュータに実行させる。プログラム５０は、例えばコンピュータ読み取り可能な記録媒体（光ディスク、メモリカード、ＵＳＢメモリ、その他の非一時的な有形の媒体）に記録されていてもよい。コンピュータによって情報処理装置１を構成する場合、処理部１６０は、そのような記録媒体に記録された１以上のプログラム５０の少なくとも一部を不図示の記録媒体読み取り装置（光ディスク装置等）やインターフェース装置（ＵＳＢインターフェース等）により読み込んで、記憶部１５０に書き込んでもよい。あるいは処理部１６０は、通信ネットワークに接続される他の装置から通信部１１０により１以上のプログラム５０の少なくとも一部をダウンロードして、記憶部１５０に書き込んでもよい。１以上のプログラム５０は、後述する本実施形態に係る処理の少なくとも一部を処理部１６０において実行させる命令を含んでよい。

以上説明したように、本実施形態によれば、取得した画像から精度の高い顧客の識別を行い、顧客の利便性やサービスの質を向上できる情報処理装置、情報処理方法およびプログラムを提供することが可能となる。

なお、本発明は上述した実施形態にのみ限定されるものではなく、種々のバリエーションを含んでいる。例えば、上述した実施形態では、カメラ２２０が撮影した画像に含まれる人物の顔の特徴を特徴情報として抽出する例を挙げているが、顔に限定されない任意の身体部位の特徴を特徴情報として抽出してもよいし、身体全体の特徴を特徴情報として抽出してよい。

また、上述した実施形態では、判別処理により人物を判別する例を挙げているが、判別処理の対象物は人間以外の生き物でもよいし、物体（非生物）でもよい。例えば、車両の外観や車両のナンバープレートなどの任意の移動体を判別処理の対象物としてもよい。

また、上述した実施形態では、カメラ２２０において対象物の特徴情報を生成する例を挙げているが、本発明はこの例に限定されない。本発明の他の実施形態では、カメラ２２０以外の装置（例えば情報処理装置１や、ネットワーク９に接続される任意のサーバ装置）において、カメラ２２０が撮影した画像に基づいて対象物の特徴情報を生成してもよい。

１…情報処理装置、２…端末装置、９…ネットワーク、１５…処理部、３１…撮影データ、３２…特徴情報、５０…プログラム、５１…登録情報、５２…カメラ情報、５３…履歴情報、５４…クーポン発行ＤＢ、５５…端末情報、１１０…通信部、１２０…入力部、１３０…表示部、１４０…インターフェース部、１５０…記憶部、１６０…処理部、１６１…コード読み取り部、１６２…特徴取得部、１６３…判別部、１６４…登録部、１６５…履歴更新部、１６６…カメラ管理部、２１０…通信部、２２０…カメラ、２３０…インターフェース部、２４０…記憶部、２５０…入出力部、２６０…処理部、５１０，５２０，５３０，５４０，５５０…情報

Claims (16)

1. 店舗のサービスに関する情報をコード化したクーポンを用いて情報を処理する情報処理方法であって、
   前記店舗で顧客が前記クーポンを使用する際に、当該クーポンからクーポンコードを読み取る第１の工程と、
   前記店舗で前記顧客が前記クーポンを使用する際に、当該顧客の容姿又は当該顧客が乗車している車のナンバーである対象物を撮像した画像を取得する第２の工程と、
   前記第２の工程で取得した画像を基に前記対象物の特徴情報を生成する第３の工程と、
   前記第１の工程で読み取った前記クーポンコードと、前記第３の工程で生成した前記特徴情報と、顧客の顧客ＩＤとを関連付けてメモリに記憶する第４の工程と
   をコンピュータが実行する情報処理方法。
2. 前記クーポンに前記顧客ＩＤが付されている場合に、
   前記第１の工程で前記クーポンから前記顧客ＩＤを読み取って特定し、
   前記クーポンを読み出す度に、前記第３の工程で生成した前記特徴情報を前記特定した顧客ＩＤに関連付けて前記メモリに記憶する第５の工程をさらに備えた、請求項１に記載の情報処理方法。
3. 前記クーポンを読み取らない状況において、前記第３の工程で生成した前記特徴情報と、前記メモリに記憶されている前記特徴情報とを照合して前記顧客ＩＤを特定する第６の工程をさらに備えた、請求項１に記載の情報処理方法。
4. 前記顧客の顧客登録手続を経て前記顧客ＩＤを前記顧客に発行する第７の工程と、
   前記第７の工程の後に、前記顧客ＩＤと付与された前記クーポンを発行し、当該クーポンを前記顧客の端末装置にダウンロードされる第８の工程と、
   を有し、
   前記第１の工程は、前記クーポンを読み取って前記クーポンコードと、前記第７の工程で発行された前記顧客ＩＤとを取得する、請求項１に記載の情報処理方法。
5. 前記第１の工程で取得した前記顧客ＩＤに対応したリピータＩＤを発行し、当該リピータＩＤを前記顧客ＩＤにさらに関連付けて前記メモリに記憶する第９の工程をさらに備え、
   前記第５の工程で、前記特徴情報を前記リピータＩＤに関連付けて前記メモリに記憶する、請求項２に記載の情報処理方法。
6. 前記第５の工程で、前記顧客の受けたサービスの履歴を前記リピータＩＤと紐付けて前記メモリに記憶する、請求項５に記載の情報処理方法。
7. 前記第１の工程で前記クーポンを読み取った際に、前記クーポンコードから抽出した前記顧客ＩＤと紐付けされた前記リピータＩＤを得て、前記リピータＩＤと紐付けて前記メモリに記憶された前記サービスの履歴に基づき、前記顧客が参照可能な画面上にサービスの案内を表示する第１０の工程をさらに備えた、請求項６に記載の情報処理方法。
8. 前記クーポンを読み取らない状況において、前記第３の工程で生成した前記特徴情報と、前記メモリに記憶された前記特徴情報とを照合し、前記特徴情報についての照合結果に基づいて前記メモリに記憶された前記リピータＩＤを抽出する処理を行う第１１の工程をさらに備えた、請求項６に記載の情報処理方法。
9. 前記リピータＩＤと紐付けされた前記特徴情報が複数ある場合、前記第１１の工程で、前記画像を撮影した際の撮影条件に基づき優先順位をつけて前記照合を行う、請求項８に記載の情報処理方法。
10. 前記リピータＩＤと紐付けされた前記特徴情報が複数ある場合、前記第１１の工程で、前記画像を撮影した際の撮影条件に基づき優先順位をつけて、前記優先順位のなかで前記画像の撮影時刻が新しいものほど高い優先順位で前記照合を行う、請求項８に記載の情報処理方法。
11. 前記第９の工程で、前記リピータＩＤに、前記顧客の容姿又は前記顧客が乗車している車のナンバーの画像を基に生成した前記特徴情報を関連付ける、請求項５に記載の情報処理方法。
12. 前記第４の工程で、前記顧客の同行者に関する特徴情報を前記顧客ＩＤと関連付けて前記メモリに記憶する、請求項１に記載の情報処理方法。
13. 前記第４の工程で、前記同行者の同行者ＩＤを生成し、前記同行者に関する前記特徴情報を前記同行者ＩＤと関連付けて前記メモリに記憶する、請求項１２に記載の情報処理方法。
14. 前記店舗で前記顧客が前記クーポンを使用する際に、当該顧客の前記顧客ＩＤを生成する第１１の工程をさらに備えた、請求項１に記載の情報処理方法。
15. 店舗のサービスに関する情報をコード化したクーポンを用いて情報を処理する情報処理装置であって、
    前記店舗で顧客が前記クーポンを使用する際に、当該クーポンからクーポンコードを読み取る読み取り部と、
    前記店舗で前記顧客が前記クーポンを使用する際に、当該顧客の容姿又は当該顧客が乗車している車のナンバーである対象物を撮像した画像を取得する取得部と、
    前記取得部で取得した画像を基に前記対象物の特徴情報を生成する特徴生成部と、
    前記取得部で読み取った前記クーポンコードと、前記特徴生成部で生成した前記特徴情報と、顧客の顧客ＩＤとを関連付けて記憶するメモリと、
    を備えた情報処理装置。
16. 店舗のサービスに関する情報をコード化したクーポンを用いて情報を処理するプログラムであって、
    コンピュータに、
    前記店舗で顧客が前記クーポンを使用する際に、当該クーポンからクーポンコードを読み取る第１のステップと、
    前記店舗で前記顧客が前記クーポンを使用する際に、当該顧客の容姿又は当該顧客が乗車している車のナンバーである対象物を撮像した画像を取得する第２のステップと、
    前記第２のステップで取得した画像を基に前記対象物の特徴情報を生成する第３のステップと、
    前記第１のステップで読み取った前記クーポンコードと、前記第３のステップで生成した前記特徴情報と、顧客の顧客ＩＤとを関連付けてメモリに記憶する第４のステップと、
    を実行させるプログラム。