JP6305483B2 - コンピュータ装置、サービス提供システム、サービス提供方法およびプログラム - Google Patents

Description

本発明の実施形態は、画像処理技術に関する。

商業施設や公共施設（役所）、あるいは病院などの施設に足を運ぶ人々（利用者あるいはユーザ）はサービスを受けることを目的としている。しかし求めるサービスの内容はそれぞれ異なるので、サービスを受けるための確認作業や情報を得るための操作を、個人が自発的に実施する必要があった。このため利用者にとっては有益な情報を得る機会を逃したり、サービス提供者にとっては販売機会の喪失につながるといった不便があった。

このような事情に対し、画像処理技術を応用したソリューションが幾つか提案されている。例えば画像に含まれる複数の人物をグループ化し、グループ属性を推定する技術がある。しかし、推定した属性をサービスの提供に活かすことはできない。また、画像に車や所有物などの物体が含まれていても、人物とそれらとの関連は考慮されない。

また、性別や身長に基づく属性判別により、顧客グループの構成に応じた選定メニューを提供する方法も提案されている。しかしこの技術によっても、メニューを選ぶために利用される情報は依然として限定的であり、総合的な観点からのサービスを提供することはできない。

特許第４１９８９５１号公報 特開２００８−２６２４３５号公報 特開２０１１−１４１６１０号公報

以上述べたように、利用者ごとに適切なサービスを提供するということについては多分に改善の余地がある。人物だけでなく、付随する物体なども考慮して、より適切なサービスを提供できるようにする技術が要望されている。
目的は、利用者に応じて適切なサービスを提供することの可能なコンピュータ装置、サービス提供システム、サービス提供方法およびプログラムを提供することにある。

実施形態によれば、コンピュータ装置は、撮像された画像に係る対象に応じたサービスを提供するサービス提供システムで利用される。このコンピュータ装置は、入力部と、検出部と、対象認識部と、人物認識部と、制御部とを具備する。入力部は、画像データを取得する。検出部は、取得された画像データから人物に係る所有物、着衣物、着用物および車両の少なくとも一つを前記対象として検出する。対象認識部は、検出された対象の特徴情報に基づいて当該対象を認識する。人物認識部は、人物を認識する。制御部は、認識された対象と前記認識された人物との組合せに基づくサービス情報を、複数のサービス情報を記憶するサービス情報データベースから読み出す。

図１は、第１の実施形態に係るサービス提供システムの一例を示す図である。 図２は、画像データに含まれる対象の一例を示す図である。 図３は、特徴情報管理部５００により管理される情報の構造の一例を示す図である。 図４は、上記構成におけるサービスの情報の流れの一例を示す図である。 図５は、第２の実施形態に係るサービス提供システムの一例を示す図である。 図６は、第３の実施形態に係るサービス提供システムの一例を示す図である。 図７は、判定結果に応じてサービス提供メニューを変更するためのテーブルの一例を示す図である。

［第１の実施形態］
図１は、第１の実施形態に係るサービス提供システムの一例を示す図である。図１に示されるサービス提供システムは、コンピュータ１００と、コンピュータ１００にＬＡＮ（Local Area Network）などの通信回線８００を介して接続される対面装置２００とを備える。
対面装置２００は例えば現金自動支払機、カード決済端末、病院の会計端末、あるいは役所の手続き用の端末など、利用者と対面する装置である。この実施形態ではガスステーションまたは充電スタンドに設置される装置を考える。この種の設備の周辺には他の施設や店舗が形成されることが多い。コンピュータ１００は通信回線８００を介して、周辺施設・店舗７００と通信することが可能である。

対面装置２００はカメラ３００と、ディスプレイ４００とを備える。カメラ３００は、例えばディスプレイ４００に正対する対象を視野に捉えるように設置され、視野を撮像して得た画像データを出力する。カメラ３００は対面装置２００の周囲に少なくとも１つ、あるいは複数の地点に設置される。画像データには、対面装置２００の前に立つ人物９００、人物９００と一緒にいる他の人物、人物９００の所有する所有物、車両、車両の運転席に乗っている人物、助手席に乗っている人物などを含めることができる。

カメラ３００は例えばＩＴＶカメラやＩＰカメラであり、レンズをとおして得られた光学的な情報をアナログ／ディジタル変換して画像データを得る。カメラ３００は時間的に連続する画像を取り込むことも可能である。図２は、画像データに含まれる対象の一例を示す図である。

ディスプレイ４００はデジタルサイネージ（digital signage）技術を応用した表示メディアであり、操作情報や広告情報などを表示する。
コンピュータ１００は、実施形態に係る処理機能として入力部１、検出部２、認識部３、操作部４、制御部５および出力部６を備える。
入力部１は、カメラ３００から出力される画像データを取得する。検出部２は、取得された画像データを画像処理し、カメラ３００の視野内の対象を個別に検出し、特定する。例えば人物９００、車両、あるいは人物９００の所有物などが検出される。このほか、検出された人物９００の年齢、性別、身長、人種、着用物、視線、顔の向き、乗車する車両のナンバープレート、車種、および車の色の組合せの少なくともいずれか１つが対象として検出される。

認識部３は、検出された対象を、特徴情報管理部５００に記憶される特徴情報との比較により個別に認識する。認識の結果、対象の属性、種別、個体の識別情報（ＩＤ）などの特徴情報が得られる。特徴情報管理部５００は、撮像され得る対象に係わる特徴情報を記憶するデータベースである。

操作部４は、対面装置２００の例えば利用者の手の届くところに配置される、タッチパネルやテンキーなどのユーザインタフェースである。操作部４を介して利用者は、システムに操作情報を入力することができる。

サービス情報管理部６００は、利用者に提供するためのサービス情報や、認識部３で識別された対象に関連する情報などを記憶するデータベースである。制御部５は、サービス情報管理部６００に記憶される複数のサービス情報から、認識部３で得られた認識結果に応じたサービス情報を読み出し、出力部６に渡す。操作部４から入力された操作情報に基づいてサービス情報を選択することも可能である。

出力部６は、読み出されたサービス情報をディスプレイ４００に表示したり、音声情報としてスピーカ（図示せず）から出力する。また出力部６は、周辺施設・店舗７００にサービス情報を通知したり、サービスの提供を依頼するためのメッセージ信号を出力する機能も備える。さらに出力部６は、予め登録された人物の携帯端末にサービス情報を通知する機能も備える。次に、上記構成についてさらに詳しく説明する。

入力部１は、対面装置２００を利用しようとしている、あるいは付近に接近した、人物、物または車両などの画像データを取得する。画像データはカメラ３００から直接取得するほか、デジタルスチルカメラで撮像された画像ファイル、あるいは動画ファイルを媒体経由で取り込むこともできる。

この種のデータはカメラ３００からのほか、人物が所有する携帯機器から取得されることもできる。例えば携帯電話機に備わる無線ＬＡＮ、赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（無線ＩＤ）などの通信手段により、入力部１は画像データを取得することができる。また、接触式の情報交換手段、フラッシュメモリカードなどの記録媒体を抜き差しして画像データを授受することももちろん可能である。

さらに、その他の所有物や、車両に搭載される機器との情報交換により画像データを授受することもできる。例えば車両からはＥＴＣカードの情報を用いることで車両識別のための情報を取得可能であるし、燃料やバッテリーの残容量情報、ナビゲーションシステムにより管理される走行履歴情報などを無線通信で伝送することも実現可能である。これらも同様に、無線式の情報手段、専用メディア、あるいは接触式の情報交換手段などにより実現可能である。要するに入力部１は、処理対象とするデジタルの画像データを、何らかの手法で取得できれば良い。

検出部２は、画像データに含まれる人物、物、車両などを検出する。例えば人物を検出するには、人物の顔領域を検出することが好ましい。顔領域を検出するために、検出部２は画像上の輝度情報を利用して顔の領域を示す座標を求める。例えば参考文献１（三田雄志ほか：「顔検出に適した共起に基づくJoint Haar-like特徴」電子情報通信学会論文誌(D),vol.J89-D, 8,pp1791-1801(2006)）に記載される方法を利用することが可能である。

検出された結果を示す情報は、顔の向きや大きさにより任意の形状で構わない。この実施形態では簡単のために顔領域を矩形情報で示し、矩形の角の座標を検出結果として利用することとする。このほか、予め用意されたテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域とする方法、固有空間法や部分空間法を利用した顔抽出法なども利用可能である。

さらに、顔だけでなく人物領域全体を検出する技術を利用してもよい。この種の技術としては参考文献２（Watanabeら,”Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection, In Proceedings of the 3rd Pacific-Rim Symposium on Image and Video Technology” (PSIVT2009), pp. 37-47. 、以降”Co-HOG特徴”と表記する）に記載の技術が挙げられる。

顔や人物の領域が検出されれば、頭部や顔からの相対的な位置関係に基づき、人物の着用している着衣の種類や所有物を検出することが可能である。前述のJoint Haar-like特徴や、Co-HOG特徴を利用し、事前に検出対象物の画像を多数集めて統計的な学習をすることによりこれらのアイテムを検出することが可能となる。同様にして画像内の車両の全体、または一部を検出することも可能である。

なお、同じ対象が時間的に複数フレームにわたり連続して映っていることが想定される。そこで、所定の時間が経過して存在している対象物体の種類や数が同じであることを対応付けて管理すべく、追跡処理を行うことが望ましい。これは、例えばオプティカルフローを使って検出した顔が次のフレームでどの位置にいるか対応付けする手法や、既知の技術（例えば特開２０１１−１７０７１１号公報に記載）により実現可能である。

また、画像データ以外の情報が入力部１に入力された場合には、事前に策定したプロトコルにより通信対象の存在を取得することが可能である。これにより画像データを用いるのと同等に、対象を検出することが可能である。

特徴情報管理部５００は、入力部１から得られる人物、物、車両の情報を対応付けて管理するためのデータベースである。つまり特徴情報管理部５００は、認識部３が対象物体の人物の個人を識別したり、車両の種類を判別する際に必要となる特徴情報を管理するデータベースである。

図３は、特徴情報管理部５００により管理される情報の構造の一例を示す図である。図３に示されるように特徴情報管理部５００には、検出部２から出力された顔特徴情報が個人ごとに対応付けて管理される。それぞれの顔特徴情報に対応付けて、顔画像や名前、性別や年齢、身長など該当する人物に関する情報、および人物の所有物、着用する着衣、搭乗する車両情報などの関連情報を対応付けて管理することも可能である。

顔特徴情報として実際に管理する内容は顔特徴抽出手段で出力されたデータそのものでよく、ｍ×ｎの特徴ベクトルや、部分空間やＫＬ展開を行う直前の相関行列でも構わない。
上記特徴情報以外に、性別や年齢などの属性情報などの統計情報も、特徴情報管理部５００で管理することが可能である。性別判別については男性用の特徴情報と女性用の特徴情報とを記憶し、属性判別処理の識別に利用する。他の属性についてもカテゴリを分類するために利用する特徴情報を管理する。

特徴情報管理部５００に、顔や関連する情報を新規に登録するには、システム管理者が利用者の同意を得たうえで登録する方法をとっても良い。あるいは、認識部３による認識の結果、いずれの人物の特徴情報の類似度も所定のしきい値を越えない場合、つまり該当する人物が存在しない場合に、新たな人物として追加登録するようにしてもよい。

認識部３は、検出部２により検出された人、物、車両などの情報から、詳細な種別や個体の識別、状態を含む情報を生成する。
人物を認識する方法として、顔を利用した人物の認識方法を以下に説明する。検出した顔の領域をもとに個人の特徴を示す顔特徴情報を抽出する方法としては、例えば（特開２００７−４７６７号公報）に示されるように、１枚の人物画像情報に対してモデルを利用して顔の向きや状態を意図的に変動させた画像を作成することで顔特徴情報を取得することが可能である。同じ人物に対しては連続する複数の画像を利用し、動画像による計算を実行することでより精度の高い認識処理が行うこともできる。

例えば、参考文献３（福井和広、山口修、前田賢一：「動画像を用いた顔認識システム」電子情報通信学会研究報告PRMU,vol97,No.113,pp17-24(1997)）に開示される、相互部分空間法を用いる方法が知られている。この方法では、連続して得られる画像データからｍ×ｎピクセルの画像を切り出す。そして、これらのデータから特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像から得られる顔の特徴を示す部分空間を計算する。このほか、参考文献４（福井和広、山口修：「形状抽出とパタン照合の組合せによる顔特徴点抽出」電子情報通信学会論文誌(D),vol.J80-D-II,No.8,pp2170-2177(1997)）に記載される技術も知られている。

部分空間は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることで計算することができる。部分空間は、固有値に対応する固有ベクトルを、固有値の大きい順にｋ個選び、その固有ベクトル集合を用いて表現する。

この実施形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列Ｃd＝ΦdΛdΦdTと対角化して、固有ベクトルの行列Φを求める。この情報が、認識の対象とする人物の顔の特徴を示す部分空間となる。上記手法で出力された部分空間のような特徴情報を、入力された画像データから検出された顔に対する個人の顔特徴情報とする。

このようにして計算された顔特徴情報と、特徴情報管理部５００に管理される顔特徴情報とを比較することで、人物を特定することができる。この検索処理の結果として、特徴情報管理部５００で個人を識別するために管理されている人物ＩＤや、計算結果である類似性を示す指標を、類似性の高いものから順番に返す。また、特徴情報管理部５００で個人ごとに管理される情報を併せて返すようにしても構わない。なお、基本的に識別ＩＤにより対応付けが可能であるので、検索処理自体では付属情報を授受する必要は必ずしも無い。

類似性指標としては、顔特徴情報として管理されている部分空間同士の類似度とする。類似度を求めるには部分空間法や複合類似度法などの計算方法を用いることができる。これらの方法では、予め蓄えられた登録情報の中の認識データも、入力されるデータも、複数の画像から計算される部分空間として表現される。そして、２つの部分空間のなす「角度」が類似度として定義される。

入力データ列に対して同様に相関行列Ｃinを求め、Ｃin＝ΦinΛinΦinTと対角化し、固有ベクトルΦinを求める。二つのΦin，Φdで表される部分空間の部分空間間類似度（０．０〜１．０）を求め、これを認識するための類似度とする。ここでも、参考文献３に開示される手法を用いることが可能である。

予め同一人物と分かる複数の人物画像をまとめて部分空間に射影し、本人であるか否かを識別することで精度を向上させることも可能である。類似度以外の類似性指標としては、特徴空間上での距離やマハラノビス距離といったものも利用可能であることは明らかである。距離を利用した場合には数値が大きいほど類似性が低くなるので、既定の閾値より小さければ小さいほど、登録された人物との類似性が高いことを示す。つまり認識部３は、検出部２で検出された人物の個人を特定し、当該特定された個人に基づいて特徴情報管理部５００に記憶される特徴情報を参照することで、認識の精度を向上させる。

人物の個人を特定するには事前に特定対象の顔の情報を登録しておく必要がある。しかし、年齢や性別などの属性情報を判別するだけであれば、事前の登録をすることなく人物の情報を得ることが可能となる。例えば、（特開２０１２−３６２３号公報）に開示される技術を利用することで人物の年齢、性別を推定することが可能となる。この技術を活用し、事前の判別するカテゴリにあわせて画像を準備することで、人種、帽子や眼鏡やマスクのような顔の着用物の判別をすることが可能となる。

上記した、人物検出と、顔の検出結果と、カメラ３００の画角情報を利用することで画像全体に対する相対比率から身長を求めることも可能である。このほか、（特開２００３−１４１５５１）に記載の技術を用いることで視線、顔の向きのような顔の動き情報を得ることも可能となる。

また、人物検出座標の頭頂位置からの相対位置、顔検出位置からの相対位置から着衣や帽子などの着用物、手に持っている所有物、鞄や腕時計といった身につけている所有物を、事前に学習した辞書との判別により特定することも可能である。

さらに、認識部３は、人物の乗車していた車両のナンバープレート、車種、車の色の組合せの少なくとも一つを判別する。また、所有物や車種についてはメーカーやブランドごとに画像を集めて判別用の辞書を作成することで、メーカーやブランドの判別を行うことも可能である。

また、車両についても、検出対象となる車種の画像を想定される向きのバリエーションに対応して画像を集めて学習することにより、CoHOG特徴を使った手法で車種の判別も可能である。カラー情報を利用することで車の色情報を判別することも可能であるほか、特許第４９０１６７６号公報に記載の技術を用いることで、車両の個体識別をすることも可能である。

さらに、判別された情報を複数組み合わせることで、判別精度を高めることも可能である。例えば、車両を検出した場合には車両のナンバープレート情報により車両を個体識別し、その車両に対応付けられる人物に限定して乗車している人物の個人特定が可能である。組合せを使わなければ、特徴情報管理部５００に登録されている人物の顔すべてとのマッチングを行って候補者を特定する必要があるが、特徴情報管理部５００に個人の顔の特徴に対応付けして所有する車の車種やナンバープレートを対応付けて管理しておくことで、検出されたナンバープレートの車に対応付けされた人物に絞って人物の照合処理を行うため、個人を誤って特定してしまうことを防ぐことができる。

車のナンバープレートが分からない場合でも、車の色や車種の情報、または着衣の種類や所持品と来場した人物と対応付けて履歴情報に管理しておき、それらの組合せを統計的に管理することが好ましい。このようにすれば、顔の特徴だけでは複数人の候補者が類似する指標を示した場合にも、顔以外の所有物や着衣や車両による情報を加味することで人物の特定精度を上げることが可能である。この場合、人物の顔の特徴による類似度に加え、その他の所有物や車両情報が存在した場合に所定の係数をかけて類似度に加算をするという方法によって実現が可能である。

また、所有物については人物が着用、所持していることから、人物との対応付けは容易である。これに対し、人物と人物とがグループであることを判断したり、所有者と車両とを対応付けるには、例えば同じ画面内に所定時間以上同時に検出されたものを対応付けする方法がある。または、過去の履歴において同時に検出された回数が所定回数以上あるか否かを判別したり、人物と人物、または人物と車両の距離が所定以内となる時間が所定時間以上であるか否かで判別するようにしても良い。このほか、特開２００７−２４９９５３号公報に開示されるように複数地点で通過した位置関係や時刻をつかってグル―ピングする方法でも実現可能である。

同様に、利用者が対面装置２００から離れている間に、利用者の所有物や、利用者と別の人物が車両に接近してきたことや、所有物や車両を持ち去られたことを検知することが可能である。例えば所有物や車両が画面内に存在している状態で人物を検出した場合、その人物が対象となる物体の所有者であるかどうか否かを、顔照合により判別することができる。この処理を、制御部５で対象物体の監視が必要であると判断された場合に実施するようにしても良い。

検知された人物が車両の所有者であるか否かは、特徴情報管理部５００に管理される情報を利用してもよいし、制御部５が監視を開始する直前に一緒に存在している人物を、所有者として登録するようにしてもよい。所有者ではないと判断された場合には、不審者が接近してきている可能性があると判断できる。また、対象物体が画面の外に移動したことを検知すると、対象物の持ち去りであると判断することが可能となる。

以上の処理により、入力部１から得られる画像データから、対面装置２００の利用者、付帯物、付近の物体、あるいは車両に関する組合せを判定する方法、およびそれぞれに関する詳細情報を得ることが可能となる。

操作部４は、利用者の操作（オペレーション）を行った結果をシステムに入力するための手段である。例えばディスプレイ６００にタッチパネルのセンサを付けることにより、画面にあわせた操作情報の入力が可能である。このほか、キーボードやマウスを設置したり、ディスプレイ６００の近くに専用のボタンを設置してもよい。操作部４は、メニューを選択したり、情報検索のための文字を入力したり、場所を示すためのポインタ操作などに利用することができる。

なお、利用者の所有する携帯電話やスマートフォンといった携帯端末と操作部４とを無線接続し、携帯端末を使った情報入力ができるようにしてもよい。Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ等の非接触式通信を使って入力させてもよいし、ケーブル接続を使って操作情報を伝送するようにしてもよい。以上のようにして、操作部４から利用者の意図を示す情報を入力することが可能である。

サービス情報管理部６００は、利用者に提供するための情報や、認識部３で識別された対象に関連する情報などを記憶するデータベースである。つまりサービス情報管理部６００は、利用者に提供するためのサービス情報を収集し、提供可能とするためのデータベースである。さらに、利用者がサービスを利用している途中に得られた情報を履歴情報として記録し管理することも可能である。

例えばサービス情報管理部６００は、サービスに関する購買履歴情報、利用日時や利用場所、利用時間などを記憶する。これらの情報は、出力部６で参考情報として表示することも可能である。これらはディスプレイ４００から利用者に表示される情報、および操作部４から入力された情報を組み合わせて記録しておくことで実現可能である。

また、対面装置２００以外に、各地に設置される端末のどの端末を利用しているかを確認すれば、利用者の生活圏を認識できる。そこで、近隣施設でサービスが受けられない（在庫がないなど）といった場合に、利用者の生活圏の範囲で優先して別店舗の情報を提供することができる。

また、利用時に、所有物である携帯電話の情報を操作部４から入力すれば、利用者のメールアドレス、名前あるいは生年月日などのプロフィールを取得して記録することや、車両から得られた情報として日頃の走行履歴等を記録しておき、サービス情報提供に利用することも可能である。

その他、インターネットに接続して、遠隔にある端末との情報共有、事前に提携した周辺の施設から提供される販売情報・在庫情報・優待情報サービス等情報、駐車場や道路の混雑状況や事故の情報、通行止めの情報、その他交通規制情報などの情報をサービス情報管理部６００に管理してもよい。管理される情報は制御部５で提供する情報のソースとして利用される。サービス情報管理部６００に記憶される情報はセンサなどを設置して自動更新するようにすることも可能であるし、施設側の管理者が入力して更新するようにしてもよい。

以上により、利用者に提供する情報や認識部３で識別した対象に関連する情報を記録しておくとともに、利用者に提供するサービス情報を収集して提供できるように管理しておくことが可能となる。

制御部５は、対面装置２００を利用中の人物の情報、その人物の所有物、あるいは車両の情報などの情報、および、操作部４手段で入力された情報に基づいて、利用者へのサービス提供方法や情報提供内容を決定する。決定された情報に基づいてサービス情報管理部６００の情報が読み出され、利用者に提供される。

制御部５は、提供すべきサービス情報を判断するために、例えば以下の情報を参照することが可能である。

・認識部３で得られた認識結果（人物の属性、個人の特定、同伴者、所有物、着用物、車両情報など）。
・認識部３で判別された、個人に対応付けされて特徴情報管理部５００で管理される情報（購買履歴など）。
・サービスの利用内容および利用時間。
・出力部６により出力されている情報の内容。
・操作部４で操作した情報。
なおサービス情報管理部６００は、利用者と無関係に提供されるコンテンツ情報を記憶することも可能である。この種の情報としては、優待情報、周辺施設の優待情報、周辺施設の商品販売情報（タイムセールス、在庫、価格）、周辺の道路の混雑状況などがある。このほか、利用者が特定された場合には、利用者本人の過去の購買情報や、よく利用しているサービスの履歴などもサービス情報管理部６００に記憶される。

出力部６は、利用者に情報を伝達するためのユーザインタフェースであり、液晶画面などの表示デバイス（ディスプレイ４００）に画像を表示したり、スピーカからの音声出力により人物９００に情報を伝達する。また、対面装置２００の提供するサービスの内容に応じて必要な機器を組み込むようにしてもよい。例えば、車両に給油や充電を行う装置であれば、給油装置や充電装置とディスプレイ４００およびスピーカを同じ筐体に組み込むことで、利用者はサービスを利用しながら情報提供内容を確認し、併せて操作部４によるオペレーションを実行することも可能となる。

ディスプレイ４００には、対面装置２００の設置場所に応じて、周辺の商業施設の販売状況を表示する画面、役所などの手続きが可能なメニュー画面、病院の検査や診察の手続きに使用可能な画面を表示しても良い。また、対面装置２００に、現金の入出金等が行えるような装置を少なくとも一つ組合せ、複数組み合わせて内蔵するようにしてもよい。サービスに応じた複数の機器を対面装置２００に組み込むことで、利用者は複数のサービスを同時に利用することが可能となる。

さらに、外部の端末や外部の施設との連携のため、インターネットに接続するための機能を出力部６に備えるようにしてもよい。例えば携帯電話回線や無線ＬＡＮなどの通信手段を利用すれば、可動式の端末で構成される場合でも同様のサービスを提供することが可能となる。さらに、利用者が対面装置２００から離れる場合に連絡する手段として、電子メール通信やソケット通信を実行する通信プログラムを内蔵するようにしてもよい。これにより対面装置２００から離れた場所にいる利用者への連絡手段を確保することができる。

図４は、上記構成におけるサービスの情報の流れの一例を示す図である。画像データから抽出された人物Ａ、人物Ｂ、車Ｃについて、年齢、性別、人物ＡとＢとの組み合わせ、車Ｃの車種情報、車Ｃの色などの情報が得られる。これらの情報は統計的に処理され、統計情報が算出される。そして、これらの対象物に関する情報に対し、統計的に最適と判断される情報が、推奨情報として優先的に出力される。

例えば、認識部３で認識された車両の車種が分かれば車両価格の推定値が分かるので、高額な買い物をする人物であるかどうかの情報が分かる。また、車種にあわせた推奨商品やその商品の優待情報を提供することができるようになる。

また、乗車人数が一人であれば例えば給油や充電といった、目的とするサービスを利用するだけで現れた可能性が高いと判断できる。乗車人数が二人以上であれば、充電中などのサービス利用中に他の乗車メンバーが周辺施設に行ってしまう可能性がある。そこで、周辺施設での優待情報や在庫状況、イベント情報などを出力部６により通知することに意義が生まれる。このほか、車両Ｃから走行履歴情報を得られれば、この後走行する周辺道路の混雑情報などを提供することや、走行経路周辺にある店舗の情報などを提供することも可能である。

車両への給油や充電のサービスなどのほか、現金自動支払機やカード決済端末、役所の手続き等などにおいても、利用者に関する情報や、同伴者や、所持品に基づく判断により同様の判断材料を得ることが可能である。例えば、高級品を持っている大人と子供が検出された場合には、買い物をする可能性が高いとして子供向けの玩具の情報を紹介するなど、人の組合せや所持品を考慮して提供する情報を選択できるようにしてもよい。

例えば、図７に示されるように、検出された人物の年齢や性別の組合せ、所持品、車の情報などの組合せに応じて提供すべきサービスを対応付けたテーブルを準備しておくことで、組合せの判定結果に応じてサービス提供メニューを変更することができる。また、図７のテーブルにおける○×の記入される欄を人数でさらに細分化できるようにすれば、同じ「成人の女性」が一人か、あるいは複数人であるかによってメニューを変えることにも対応できる。この組み合わせは、既に述べた処理により取得可能な情報であればどのような組み合わせでもよいのは明らかである。また、テーブルを用いる手法のほか、検知された対象の組み合せに対する出力を一意に管理可能な手法を用いれば、どのような方法を使ってもよい。

また、人の個人特定や車両のナンバープレート情報による個体識別が成功した場合には、過去のサービスの利用状況を確認することが可能となる。それにより、利用者がサービスを利用しようとしたときに一般的なメニューからよく使うメニューを探す必要がなく、過去の履歴でよく使うメニューを優先的に表示させてあげることが可能となるのは明らかである。このように実施形態によれば、利用者の人物・所有物・車両の組合せに応じた適切なサービス提供が可能になる。

また、予め誕生日などの記念日が登録されている場合には祝福のメッセージを出すとともに、記念日で購入しそうな商品の購買情報を提供することや割引情報や優待情報を表示するようにしてもよい。

このほか、サービス利用中の時間によって表示内容を変える方法がある。

例えばサービスの利用開始時点であれば、当該サービス利用に関する優待情報を表示したり、過去の購買履歴情報に基づいて、よく利用するサービスメニューを優先的に表示したり、所持品や該当車両に関するニュースなどを表示するようにすれば良い。これにより、これからサービスを利用しようとしている人物に有益な情報を提供することが可能である。前述の誕生日のメッセージなどはサービス利用開始時に出力するのが望ましい。

サービス利用中であれば、サービスの残り時間に応じて利用者ができる内容が変わってくるので、内容を切り替えて表示する。例えば残り時間が長ければ、その場を離れて利用可能なサービスに関する情報を提供し、サービスの残り時間が短くなってきたら決済情報に関する情報を表示する。また利用者がその場を離れている場合には、残り時間が少なくなってきた時点で電子メール等を使ってもうすぐサービスが終了する旨を伝えるようにもできる。

またサービス終了後の表示については、車のサイズや購買情報にあわせて、荷物の郵送サービスに連絡する情報を提供してもよい。また次回以降使える優待情報やクーポンの発行といったこともこのタイミングでするようにできる。以上のように、利用者のサービス利用時間の残り時間に合わせて、提供されるサービスの内容を変更することが可能である。

また利用者は、サービス利用中に自ら周辺施設に足を運んで別のサービスを受けることも可能である。さらに、対面装置２００のディスプレイ４００に表示されるメニューからサービスの代行を依頼することが可能である。

例えばガスステーションの周辺の店舗の在庫状況や販売情報（価格情報）をディスプレイ４００に表示し、利用者にメニューを提示して購買リストを選択させることができる。その際、認識された利用者のプロフィールをメニューに反映させることもできる。利用者は対面装置２００に備え付けの支払い機能により、現金やカードで決済することで買い物を確定する。購入された物品は店舗側から対面装置２００の場所まで届けたり、配送サービスで利用者の自宅まで送るようにしても良い。

特に、実施形態によれば、車の走行履歴情報や、対面装置２００の利用場所の履歴から利用者ごとの生活圏を推定することができる。推定された生活圏に基づいて、近隣施設以外の施設の情報からショッピング情報を提供することも可能である。例えば在庫がないなど近隣施設で希望するサービスが受けられないような場合には、利用者の行動範囲の中の別の施設でサービスを受けられることを利用者に知らせれば良い。以上のように実施形態によれば、利用者から周辺施設にサービスの提供を依頼することが可能となる。このほか、公共機関や役所において実施する手続きの代行を、対面装置２００から依頼できるようにしても良い。

また、利用者が希望すれば、サービスの利用中に所有物または車両を預け、サービス終了までその場を離れることを可能にしてもよい。その場合、預かった所有物は金庫に入れるなどして管理すればよいが、車両については移動式駐車場で管理するか、入力部１からの画像データを用いて不審者や持ち去りの監視をするようにしてもよい。持ち去りが発生したことは既に述べたように、認識部３の処理により認識することが可能である。認識の結果に基づいて、預けられている所有物または車両に、予め登録されている人物でない人物が接近してきたことや、預けている所有物または車両が持ち去られることを、その場を離れている利用者に通知することが可能である。以上のように実施形態によれば、利用者の所有物や車両の監視・保管サービスを実現することができる。

以上述べたように実施形態によれば、カメラ３００により撮像された映像に映っている人物、または人物の所有物、または人物が乗車している車両情報の少なくとも一つの対象を認識できるようになる。従って、サービスを利用する対象の組合せに応じて適切な情報を提供することが可能となる。

すなわち、カメラ３００で取得された画像データから、コンピュータ１００により、画像データに含まれる対象の人物属性、同伴する人物と人物の組合せ、人物と所有物、人物と搭乗車両の組合せの少なくとも一つを認識する。また、認識した情報から個人を特定し、周辺の情報と組み合わせることで認識精度を高める。また、通信手段で情報を得る機能を備え、人物の所有する携帯電話や車両の走行履歴等を取得する。

対面装置２００は、映像を出力するディスプレイ４００、音声を出力するスピーカ、および操作部４を備える。操作部４は利用者が所有する端末装置と情報通信可能であり、利用者の端末装置（携帯電話機など）での表示や入力が可能である。また対面装置２００に、さらに給油機能、充電機能、現金自動支払い、クレジットカード等の決済機能の少なくとも一つを備えるようにしても良い。

またコンピュータ１００は、特定した人物ごとの属性情報に基づいて、同一人物には共通の情報をディスプレイ４００に表示する。ディスプレイ４００は、お勧め情報を表示するリコメンド画面と、利用者側で任意のメニューを選択して表示する画面とを切り替えることが可能である。

コンピュータ１００は、対象を認証した結果に応じてリコメンド情報（優待情報（クーポン券など））を提供する。また利用者がリピーターであれば過去の履歴を参考にする。またコンピュータ１００は、所有物、あるいは利用する車の情報から所得情報を推定し、リコメンドする商品を変更する。さらにコンピュータ１００は、車の走行履歴を取得し、その内容に基づいて周辺道路の混雑情報や帰り道のお得情報などの情報を提供する。

またコンピュータ１００は、操作端末２００のサービス利用時間に応じて出力部６から出力される内容を切り替える。すなわちコンピュータ１００は、サービス（充電・給油）を利用中に周囲の必要な情報を提供したり、別のサービスの利用を代行すべく周辺施設・店舗７００にメッセージ情報を通知する。これにより利用者は、待ち時間に周辺施設から所望の商品やサービスを選択することが可能になる。つまり利用者は、サービス利用をシステムに代行させ、その間に別のサービスを受けることが可能になる。さらに利用者は、サービス利用時に所有物や車をシステムに預けて管理させ、不審者監視が可能、不審者検知やサービス終了時間指定時間になれば呼び出すサービスを受けることもできる。

既存の技術では、利用者はサービスを利用している間はそのサービスが完了するまで待っている必要があった。これに対し実施形態によれば、所定のサービスを利用する人物、その所有物、同伴者、利用車両などの情報を統合して適切な情報やサービスを提供することが可能になる。また実施形態によれば、利用者はサービスを利用している間に周囲の必要な情報の提供を受けたり、別のサービスの利用をシステムに代行させたり、またはサービス利用時間の管理を代行させて利用者本人が別のサービスを受けることが可能となる。

これらのことから、対面装置２００の利用者、接近した人物、物や周囲の状況に応じて情報の出力形態、情報の提供方法、サービスの提供の形態を切り替えることができるようになり、従って、利用者に応じて適切なサービスを提供することの可能なコンピュータ装置、サービス提供システム、サービス提供方法およびプログラムを提供することが可能になる。

［第２の実施形態］
図５は、第２の実施形態に係るサービス提供システムの一例を示す図である。図５において図１と共通する部分には同じ符号を付して示し、ここでは異なる部分についてのみ説明する。第２の実施形態では対面装置２００およびコンピュータ１００が広域にわたって複数設置される形態を想定する。コンピュータ１００は広域の通信網（インターネットあるいはＩＰ−ＶＰＮなど）で接続され、管理する情報を相互に授受して利用することが可能である。

図５において、特徴情報管理部５００およびサービス情報管理部６００は、データセンタ１０００において集約して管理される。それぞれカメラ３００および対面装置２００に接続される複数のコンピュータ１００は、広域に敷設される通信回線１１００を介してデータセンタ１０００に接続され、特徴情報管理部５００およびサービス情報管理部６００と各種データを授受することができる。

上記構成によれば、人物やその同伴者、付帯物および車両を検出し、認識するための情報がデータセンタ１０００において一元管理される。これにより端末側のコンピュータ１００において管理すべきデータ量を減らせるのに加え、例えば市、県あるいは国といったレベルで情報を一元管理することが可能になり、サービスの統一性の向上を図れるなどのメリットを得ることができる。

また、データセンタ１０００を、いわゆるクラウドコンピューティングシステムとして理解することも可能である。この形態では、特徴情報管理部５００およびサービス情報管理部６００は、広域ネットワーク上の分散型データベースに形成される。

［第３の実施形態］
図６は、第３の実施形態に係るサービス提供システムの一例を示す図である。図６において図１および図５と共通する部分には同じ符号を付して示し、ここでは異なる部分についてのみ説明する。

図６に示されるシステムは図５の構成をさらに集約化したものに相当する。すなわち、複数のコンピュータ（１０１，１０２，１０３）のそれぞれに、カメラ３００からの画像データを取得する入力部１、操作部４、および出力部６を持たせ、データセンタ１０００に特徴情報管理部５００、サービス情報管理部６００に加えて検出部２、認識部３および制御部５を持たせる。そして、コンピュータ１０１，１０２，１０３に通信部７を備え、データセンタ１０００に通信部７０を備え、ＴＣＰ／ＩＰなどの通信回線１１００を介して相互に通信可能としたものである。

上記構成により、コンピュータ１０１，１０２，１０３にはサービスを提供する現場に必要な最小限の機能を持たせ、対象の検出や認識に係わる処理をデータセンタ１０００に委託することができる。これによりコンピュータ１０１，１０２，１０３および対面装置２００を省サイズ化できるようになり、省コスト化などのメリットを得ることが可能になる。

また、検出部２をコンピュータ１０１，１０２，１０３に持たせ、対象の検出以降の処理をデータセンタ１０００に委託するようにしても良い。このように、どの程度までの処理をデータセンタ１０００に委託するかは、システム要請や通信すべきデータ量、あるいは機器のハードウェアスペックに応じて決めることができる。

さらに、データセンタ１０００をクラウドコンピューティングシステムとして理解することももちろん可能である。このケースでは、検出部２、認識部３および制御部５は複数のコンピュータに分散配置される機能オブジェクトとして理解することが可能である。

なお本発明は上記実施形態に限定されるものではない。例えば上記実施形態ではガスステーションへの応用について説明したが、本発明は駐車場、商業施設、公共施設（役所）、病院や美容院などに適用することも可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，１０１，１０２…コンピュータ、２００…対面装置、３００…カメラ、４００…ディスプレイ、５００…特徴情報管理部、６００…サービス情報管理部、７００…周辺施設・周辺店舗、８００…通信回線、９００…人物、１…入力部、２…検出部、３…認識部、４…操作部、５…制御部、６…出力部、１０００…データセンタ、通信回線１１００、７…通信部、７０…通信部。

Claims (31)

1. 撮像された画像に係る対象に応じたサービスを提供するサービス提供システムで利用されるコンピュータ装置であって、
   画像データを取得する入力部と、
   前記取得された画像データから人物に係る所有物、着衣物、着用物および車両の少なくとも一つを物体として検出する検出部と、
   検出された前記物体の特徴情報に基づいて当該物体の種別を認識する物体認識部と、
   前記人物の属性又は種別を認識する人物認識部と、
   前記認識された物体の種別と前記認識された人物の属性又は種別との組合せから、当該人物に合うサービス情報を、複数のサービス情報を記憶するサービス情報データベースから読み出す制御部と、を具備する、コンピュータ装置。
2. 前記物体認識部は、前記特徴情報を記憶する特徴情報データベースに記憶される前記特徴情報を参照して前記物体の種別を認識する、請求項１に記載のコンピュータ装置。
3. 前記対象は、前記人物認識部により認識された人物の年齢、性別、身長、人種、視線、顔の向きの組合せの少なくともいずれか一つである、請求項１に記載のコンピュータ装置。
4. 前記人物の有する通信機と無線通信する通信部を備え、
   この通信部を介して取得した情報に基づいて前記人物に提供すべきサービス情報を決定する、請求項１に記載のコンピュータ装置。
5. 前記人物認識部は、前記認識された人物の個人を特定し、当該特定された個人に基づいて前記特徴情報データベースに記憶される特徴情報を参照する、請求項２に記載のコンピュータ装置。
6. さらに、前記サービス情報を、携帯端末、または通信網に接続される機器に対し出力する出力部を具備する、請求項１に記載のコンピュータ装置。
7. 前記出力部は、前記認識された物体の種別と前記認識された人物の属性又は種別との組合せに基づくお勧め情報を表示する画面と、利用者がユーザインタフェースを用いて選択した画面とを切り替える、請求項６に記載のコンピュータ装置。
8. 前記出力部は、サービス提供に必要な残り時間を表示し、前記残り時間に応じて出力すべきサービス情報を切り替える、請求項６に記載のコンピュータ装置。
9. 前記サービス情報は、利用中のサービスに関する優待情報、周辺施設の優待情報、周辺施設の商品販売情報、利用者本人の過去の購買情報、利用者本人の端末利用場所情報、周辺の道路の状況の少なくともいずれか１つを含み、
   前記出力部は、入力された対象物に関する情報に対して統計的に最適と判断された推奨の情報を優先的に出力する、請求項６に記載のコンピュータ装置。
10. 前記出力部は、メニュー画面を表示し、
    前記メニュー画面から選択されたサービスの提供を周辺施設に依頼するメッセージ信号を出力する、請求項６に記載のコンピュータ装置。
11. 前記サービスの利用中に、前記検出された所有物または車両の預かりを依頼するサービスを前記メニュー画面に表示する、請求項１０に記載のコンピュータ装置。
12. 前記預かりを依頼するサービスの終了までの時間が所定の時間になると、その旨を通知するメッセージを前記サービスの利用者に通知する、請求項１１に記載のコンピュータ装置。
13. 前記預かりを依頼するサービスの提供中に当該預けられた所有物または車両に、予め登録されている人物とは異なる人物が接近すると、その旨を通知するメッセージを前記サービスの利用者に通知する、請求項１２に記載のコンピュータ装置。
14. 前記預かりを依頼するサービスの提供中に当該預けられた所有物または車両の持ち去りを検知すると、その旨を通知するメッセージを前記サービスの利用者に通知する、請求項１２に記載のコンピュータ装置。
15. 請求項１乃至１４のいずれか１項に記載のコンピュータ装置と、
    前記画像データを得る撮像部と、
    前記サービス情報データベースと、
    前記特徴情報を記憶する特徴情報データベースとを具備する、サービス提供システム。
16. 前記サービス情報データベースおよび特徴情報データベースの少なくともいずれか一方は、クラウドコンピューティングシステムに備えられ、
    前記制御部は、通信ネットワークを介して前記サービス情報データベースのサービス情報を取得する、請求項１５に記載のサービス提供システム。
17. 撮像された画像に係る対象に応じたサービスを提供するサービス提供方法であって、
    コンピュータが、画像データを取得することと、
    前記コンピュータが、前記取得された画像データから人物に係る所有物、着衣物、着用物および車両の少なくとも一つを物体として検出することと、
    前記コンピュータが、検出された前記物体の特徴情報に基づいて当該物体の種別を認識することと、
    前記コンピュータが、前記人物の属性又は種別を認識することと、
    前記コンピュータが、前記認識された物体の種別と前記認識された人物の属性又は種別との組合せから、当該人物に合うサービス情報を、複数のサービス情報を記憶するサービス情報データベースから読み出すこととを具備する、サービス提供方法。
18. 前記物体の種別を認識することは、前記特徴情報を記憶する特徴情報データベースに記憶される前記特徴情報を参照して前記物体の種別を認識する、請求項１７に記載のサービス提供方法。
19. 前記対象は、前記コンピュータにより認識された人物の年齢、性別、身長、人種、視線、顔の向きの組合せの少なくともいずれか一つである、請求項１７に記載のサービス提供方法。
20. 前記コンピュータが、前記人物の有する通信機と無線通信して取得した情報に基づいて前記対象に提供すべきサービス情報を決定することを含む、請求項１７に記載のサービス提供方法。
21. 前記人物の属性又は種別を認識することは、
    前記認識された人物の個人を特定することと、
    当該特定された個人に基づいて前記特徴情報データベースに記憶される特徴情報を参照することとを含む、請求項１８に記載のサービス提供方法。
22. さらに、前記コンピュータが、前記サービス情報を、携帯端末、または通信網に接続される機器に対し出力することを含む、請求項１７に記載のサービス提供方法。
23. 前記出力することは、前記コンピュータにより検出された対象の組み合わせ、および前記コンピュータにより特定された個人のいずれかに応じて、当該組み合わせに対して有益な情報を表示する画面、および利用者がユーザインタフェースを用いて選択した画面を切り替える、請求項２２に記載のサービス提供方法。
24. 前記出力することは、サービス提供に必要な残り時間を表示し、前記残り時間に応じて出力すべきサービス情報を切り替える、請求項２２に記載のサービス提供方法。
25. 前記サービス情報は、利用中のサービスに関する優待情報、周辺施設の優待情報、周辺施設の商品販売情報、利用者本人の過去の購買情報、利用者本人の端末利用場所情報、周辺の道路の状況の少なくともいずれか１つを含み、
    前記出力することは、入力された対象物に関する情報に対して統計的に最適と判断された推奨の情報を優先的に出力する、請求項２２に記載のサービス提供方法。
26. 前記出力することは、メニュー画面を表示することと、
    前記メニュー画面から選択されたサービスの提供を周辺施設に依頼するメッセージ信号を出力することとを含む、請求項２２に記載のサービス提供方法。
27. 前記コンピュータが、前記サービスの利用中に、前記検出された所有物または車両の預かりを依頼するサービスを前記メニュー画面に表示することを含む、請求項２６に記載のサービス提供方法。
28. 前記コンピュータが、前記預かりを依頼するサービスの終了までの時間が所定の時間になると、その旨を通知するメッセージを前記サービスの利用者に通知することを含む、請求項２７に記載のサービス提供方法。
29. 前記コンピュータが、前記預かりを依頼するサービスの提供中に当該預けられた所有物または車両に、予め登録されている人物とは異なる人物が接近すると、その旨を通知するメッセージを前記サービスの利用者に通知することを含む、請求項２８に記載のサービス提供方法。
30. 前記コンピュータが、前記預かりを依頼するサービスの提供中に当該預けられた所有物または車両の持ち去りを検知すると、その旨を通知するメッセージを前記サービスの利用者に通知することを含む、請求項２８に記載のサービス提供方法。
31. 請求項１７乃至３０のいずれか１項に記載のサービス提供方法をコンピュータに実行させるための命令を含む、プログラム。