JP5651639B2 - 情報処理装置、情報表示装置、情報処理方法およびプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、情報表示装置、情報処理方法およびプログラムに関する。

従来、擬人化媒体を用いて、特定のユーザに向けた情報提示を行う技術が知られている。例えばコンピュータグラフィックス（以下、「ＣＧ」という）などで表現される擬人化媒体が、ユーザの位置に応じて視線を向け、当該ユーザに働きかける技術が知られている。

特開２０１０−１１２９７９号公報

「往来者の注意を喚起するヴァーチャルヒューマン広告提示システム」，筑波大星野研，２００９

しかしながら、従来技術では、複数のユーザが存在する場合、その中の特定のユーザに対して、サービスの提供対象が、当該ユーザであることを認識させるのは困難であるという問題がある。本発明が解決しようとする課題は、ユーザに対して、サービスの提供対象が当該ユーザであることを認識させることが可能な情報処理装置、情報表示装置、情報処理方法およびプログラムを提供することである。

実施形態の情報処理装置は、第１取得部と第２取得部と表示制御部とを備える。第１取得部は、ユーザの位置を示す位置情報を取得する。第２取得部は、ユーザの動作を示す動作情報を取得する。表示制御部は、位置情報が示す位置に応じた方向へ視線を向けるとともに、動作情報が示す動作に同調した動作を行う、コンピュータグラフィクスで表現される擬人化媒体を、ユーザに提供する情報を示すサービス情報が表示される表示部に表示する制御を行う。第１取得部が、複数のユーザと１対１に対応する複数の位置情報を取得した場合、表示制御部は、表示部のうち画像が表示される面を示すディスプレイ面よりも後方の、擬人化媒体の存在が想定される範囲を示す仮想空間内の仮想点から、位置情報が示す位置に至るまでの仮想線のうち、仮想線とディスプレイ面との交差点から、位置情報が示す位置と交差点との間の距離と同じ距離だけ仮想空間側へ至る位置に、位置情報が示す位置に存在するユーザに対応する擬人化媒体が配置されるよう、複数のユーザと１対１に対応する複数の擬人化媒体を表示部に表示する制御を行う。

実施形態の情報表示装置は、第１取得部と第２取得部と表示部と表示制御部とを備える。第１取得部は、ユーザの位置を示す位置情報を取得する。第２取得部は、ユーザの動作を示す動作情報を取得する。表示部は、ユーザに提供する情報を示すサービス情報を表示する。表示制御部は、位置情報が示す位置へ視線を向けるとともに、動作情報が示す動作に同調した動作を行う、コンピュータグラフィクスで表現される擬人化媒体を表示部に表示する制御を行う。第１取得部が、複数のユーザと１対１に対応する複数の位置情報を取得した場合、表示制御部は、表示部のうち画像が表示される面を示すディスプレイ面よりも後方の、擬人化媒体の存在が想定される範囲を示す仮想空間内の仮想点から、位置情報が示す位置に至るまでの仮想線のうち、仮想線とディスプレイ面との交差点から、位置情報が示す位置と交差点との間の距離と同じ距離だけ仮想空間側へ至る位置に、位置情報が示す位置に存在するユーザに対応する擬人化媒体が配置されるよう、複数のユーザと１対１に対応する複数の擬人化媒体を表示部に表示する制御を行う。

実施形態の情報処理方法は、第１取得ステップと第２取得ステップと表示制御ステップとを含む。第１取得ステップは、ユーザの位置を示す位置情報を取得する。第２取得ステップは、ユーザの動作を示す動作情報を取得する。表示制御ステップは、位置情報が示す位置へ視線を向けるとともに、動作情報が示す動作に同調した動作を行う、コンピュータグラフィクスで表現される擬人化媒体を、ユーザに提供する情報を示すサービス情報が表示される表示部に表示する制御を行う。第１取得ステップが、複数のユーザと１対１に対応する複数の位置情報を取得した場合、表示制御ステップは、表示部のうち画像が表示される面を示すディスプレイ面よりも後方の、擬人化媒体の存在が想定される範囲を示す仮想空間内の仮想点から、位置情報が示す位置に至るまでの仮想線のうち、仮想線とディスプレイ面との交差点から、位置情報が示す位置と交差点との間の距離と同じ距離だけ仮想空間側へ至る位置に、位置情報が示す位置に存在するユーザに対応する擬人化媒体が配置されるよう、複数のユーザと１対１に対応する複数の擬人化媒体を表示部に表示する制御を行う。

実施形態のプログラムは、コンピュータに、第１取得ステップと第２取得ステップと表示制御ステップとを実行させるためのプログラムである。第１取得ステップは、ユーザの位置を示す位置情報を取得する。第２取得ステップは、ユーザの動作を示す動作情報を取得する。表示制御ステップは、位置情報が示す位置へ視線を向けるとともに、動作情報が示す動作に同調した動作を行うコンピュータグラフィクスで表現される擬人化媒体を、ユーザに提供する情報を示すサービス情報が表示される表示部に表示する制御を行う。第１取得ステップが、複数のユーザと１対１に対応する複数の位置情報を取得した場合、表示制御ステップは、表示部のうち画像が表示される面を示すディスプレイ面よりも後方の、擬人化媒体の存在が想定される範囲を示す仮想空間内の仮想点から、位置情報が示す位置に至るまでの仮想線のうち、仮想線とディスプレイ面との交差点から、位置情報が示す位置と交差点との間の距離と同じ距離だけ仮想空間側へ至る位置に、位置情報が示す位置に存在するユーザに対応する擬人化媒体が配置されるよう、複数のユーザと１対１に対応する複数の擬人化媒体を表示部に表示する制御を行う。

第１実施形態の情報表示装置の構成例を示す図。 第１実施形態の擬人化媒体の視線方向を設定する方法の模式図。 第１実施形態の擬人化媒体の動作を模式的に示す図。 変形例の擬人化媒体の例を模式的に示す図。 第２実施形態の情報表示装置の構成例を示す図。 第２実施形態の擬人化媒体の配置例を模式的に示す図。 変形例の擬人化媒体の配置例を模式的に示す図。

以下、添付図面を参照しながら、本発明に係る情報処理装置、情報表示装置、情報処理方法およびプログラムの実施形態を詳細に説明する。

（第１実施形態）
図１は、第１実施形態の情報表示装置１００の構成例を示すブロック図である。この例では、情報表示装置１００は、街角などにあるデジタルサイネージで、情報表示装置１００の付近に存在する人に対して、広告などのサービス情報を提示するものである。図１に示すように、情報表示装置１００は、撮像部１０と、表示部２０と、情報処理部３０とを備える。撮像部１０は、情報表示装置１００の付近の領域（エリア）を撮影する装置である。本実施形態では、撮像部１０としてカメラが用いられるが、これに限られるものではない。撮像部１０により撮像された画像データは、情報処理部３０へ入力される。なお、撮像部１０により撮像された画像データは、静止画であってもよいし動画であってもよい。

表示部２０は、画像を表示するデバイスであり、例えば液晶型のディスプレイ装置などで構成され得る。

図１に示すように、情報処理部３０は、ユーザ位置検出部４０と、第１取得部４１と、ユーザ動作検出部５０と、第２取得部５１と、表示制御部６０と、ユーザ情報収集部７０と、第３取得部７１と、サービス情報生成部８０とを含む。

ユーザ位置検出部４０は、撮像部１０により撮像された画像データに映っているユーザ（つまり、情報表示装置１００の付近の領域に存在するユーザ）の位置を検出する。より具体的には、ユーザ位置検出部４０は、撮像部１０により撮像された画像データから、人物の顔検出、人物検出などといった公知技術を用いて、当該画像データに映っているユーザの頭部位置を検出する。また、例えば撮像部１０として複数のカメラを用意し、各カメラで撮像された画像データを用いて、情報表示装置１００の付近の領域に存在するユーザの位置を検出してもよい。なお、第１実施形態では、１人のユーザが、情報表示装置１００の付近の領域に存在していることを前提として説明を行う。

本実施形態では、撮像部１０としてカメラを用い、ユーザ位置検出部４０は、カメラにより撮像された画像データから、情報表示装置１００の付近に存在するユーザの位置を検出しているが、これに限らず、ユーザの位置の検出方法は任意である。例えば撮像部１０としてレーザレンジファインダなどのセンサを用い、ユーザ位置検出部４０は、当該センサによるセンシング結果から、情報表示装置１００の付近に存在するユーザの位置を検出する形態であってもよい。

第１取得部４１は、ユーザの位置を示す位置情報を取得する。本実施形態では、第１取得部４１は、ユーザ位置検出部４０により検出された、ユーザの頭部位置を示す位置情報を取得する。

ユーザ動作検出部５０は、撮像部１０により撮像された画像データに映っているユーザの動作を検出する。より具体的には、ユーザ動作検出部５０は、撮像部１０により撮像された画像データを元に、公知技術であるジェスチャ認識技術などを用いて、当該画像データに映っているユーザの動作を検出し、その動作の動作量、動作方向、動作周期などを検出する。ここでは、ユーザ動作検出部５０により検出された情報（つまり、ユーザの動作を示す情報）を動作情報と呼ぶ。なお、検出対象の動作の種類は任意であり、例えばユーザの手の動きや頭部の動き（うなずき、首振り）などが挙げられる。

第２取得部５１は、ユーザの動作を示す動作情報を取得する。本実施形態では、第２取得部５１は、ユーザ動作検出部５０により検出された動作情報を取得する。

表示制御部６０は、第１取得部４１で取得された位置情報が示す位置に応じた方向へ視線を向けるとともに、第２取得部５１で取得された動作情報が示す動作に同調した動作を行う擬人化媒体を表示部２０に表示する制御を行う。より具体的には以下のとおりである。なお、以下の説明では、擬人化媒体は、３ＤモデルのＣＧで表現される例を挙げて説明するが、これに限られるものではない。例えば擬人化媒体は、２ＤモデルのＣＧで表現される形態であってもよい。擬人化媒体は、視線を向けることができるもの（少なくとも１つの目を有するもの）であり、かつ、ユーザの動作に呼応した動作を行うための可動部（例えば、手、足、頭部など）を備えるものであればよい（例えば人、動物、架空の生物、ロボット等）。

図１に示すように、表示制御部６０は、視線方向設定部６１と、同調動作生成部６２と、ＣＧ生成部６３と、出力制御部６４とを有する。視線方向設定部６１は、第１取得部４１で取得された位置情報が示す位置に応じて、擬人化媒体の視線方向を設定する。より具体的には以下のとおりである。

ここで、表示部２０に表示される擬人化媒体の視線方向が、表示部２０のうち画像が表示される面を示すディスプレイ面の法線方向の±３０度以内であれば、ディスプレイ面を観察するユーザとの間でアイコンタクトが成立する。そこで、本実施形態では、視線方向設定部６１は、ディスプレイ面の法線方向と擬人化媒体の視線方向とのなす角度が、予め定められた擬人化媒体の位置から第１取得部４１で取得された位置情報が示す位置へ向かう方向と、ディスプレイ面の法線方向とのなす角度の１／３以下になるよう、擬人化媒体の視線方向を設定する。本実施形態では、図２に示すように、擬人化媒体は、ディスプレイ面よりも０．５ｍ程度後方に位置することが想定されている。以下では、ディスプレイ面よりも後方の、擬人化媒体の存在が想定される範囲を仮想空間と呼ぶ。図２の例では、予め定められた擬人化媒体の位置からユーザの位置（第１取得部４１で取得された位置情報が示す位置）へ向かう方向と、ディスプレイ面の法線方向とのなす角度をθ１と表記する。視線方向設定部６１は、擬人化媒体の視線方向とディスプレイ面の法線方向とのなす角度θ２が、角度θ１の１／３以下となるよう、擬人化媒体の視線方向を設定する。これにより、擬人化媒体の視線方向を、常に、ディスプレイ面の法線方向の±３０度以内に設定することができる。

図１に戻って説明を続ける。同調動作生成部６２は、第２取得部５１で取得された動作情報から、擬人化媒体の動作を示す同調動作情報を生成する。同調動作生成部６２は、擬人化媒体の動作が、第２取得部５１で取得された動作情報が示す動作に同調した動作となるよう、同調動作情報を生成する。例えばユーザの動作が、大きく手を動かすものである場合、同調動作生成部６２は、ユーザが手を動かす周期と同じ周期で、擬人化媒体が手（「手」に対応する可動部であってもよい）を動かすことを示す同調動作情報を生成する。また、同調動作生成部６２は、ディスプレイ面を鏡映面としたときに擬人化媒体がユーザの鏡像として動作するよう、同調動作情報を生成する。例えば図３に示すように、ユーザの動作が、頭部を左右に振るものである場合、同調動作生成部６２は、ユーザが頭部を振る周期と同じ周期で、かつ、ユーザが頭部を振る方向とは反対の方向に、擬人化媒体が頭部（「頭部」に対応する可動部であってもよい）を振ることを示す同調動作情報を生成する。

また、ユーザ動作検出部５０で検出されたユーザの顔向きを示す動作情報が第２取得部５１で取得された場合、同調動作生成部６２は、擬人化媒体の顔（「顔」に対応する可動部であってもよい）の向きを、ユーザの顔向きと同じ方向に向けることを示す同調動作情報を生成することもできる。

ＣＧ生成部６３は、視線方向設定部６１で設定された視線方向と、同調動作生成部６２で生成された同調動作情報とを用いて、視線方向設定部６１で設定された視線方向へ視線を向けるとともに、同調動作生成部６２で生成された同調動作情報が示す動作を行う擬人化媒体のＣＧを生成する。出力制御部６４は、ＣＧ生成部６３で生成された擬人化媒体を、表示部２０に表示する制御を行う。

ユーザ情報収集部７０は、撮像部１０により撮像された画像データから、当該画像データに映っているユーザに関連する情報を示すユーザ情報を収集する。より具体的には、ユーザ情報収集部７０は、撮像部１０により撮像された画像データに対して、公知技術である人物の顔検出を行い、検出された顔画像から、画像データに映っているユーザの年代や性別などを識別し、その識別結果を、ユーザ情報として収集することができる。また、例えば顔画像と、当該顔画像に対応する人物の個人情報とを予め不図示のメモリに登録しておき、ユーザ情報収集部７０は、予め登録されている顔画像と、検出された顔画像とを照合する顔認識により、画像データに映っているユーザが誰なのかを識別することもできる。そして、ユーザ情報収集部７０は、識別されたユーザに対応する個人情報を、ユーザ情報として収集することもできる。また、顔検出により検出された顔画像を随時登録していく技術と組み合わせて、ユーザ情報収集部７０は、顔画像が登録されたユーザが、情報表示装置１００の付近に存在する頻度や時間帯を示す情報を、当該ユーザのユーザ情報として収集することもできる。

第３取得部７１は、ユーザ情報収集部７０により収集されたユーザ情報を取得する。サービス情報生成部８０は、第３取得部７１で取得されたユーザ情報に応じて、ユーザに提供する情報を示すサービス情報を生成する。例えばユーザの性別が男性であり、年代が６０代であることをユーザ情報が示す場合、サービス情報生成部８０は、６０代の男性向けの広告画像を、サービス情報として生成する。また、そのユーザが、毎日、夕方に、情報表示装置１００の付近の領域に現れることもユーザ情報が示す場合は、「いつもお疲れ様です」といったメッセージが表示される吹き出し画像を、広告画像と併せて生成することもできる。なお、不図示のスピーカまたは音声合成部により、メッセージの内容を発話させることもできる。

また、例えばユーザ情報収集部７０や第３取得部７１が設けられずに、サービス情報生成部８０は、ユーザ情報を考慮することなく、宣伝したい商品の情報や道案内の情報などを、サービス情報として生成してもよい。

表示制御部６０（出力制御部６４）は、サービス情報生成部８０により生成されたサービス情報を、表示部２０に表示する制御を行う。

本実施形態では、上述の情報処理部３０のハードウェア構成は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有するコンピュータ装置である。そして、ＣＰＵがＲＯＭ等に格納されたプログラムをＲＡＭ上に展開して実行することにより、上述のユーザ位置検出部４０、第１取得部４１、ユーザ動作検出部５０、表示制御部６０（視線方向設定部６１、同調動作生成部６２、ＣＧ生成部６３、出力制御部６４）、ユーザ情報収集部７０、第３取得部７１、サービス情報生成部８０の各々の機能を実現することができる。なお、これに限らず、例えば、上述のユーザ位置検出部４０、第１取得部４１、ユーザ動作検出部５０、表示制御部６０、ユーザ情報収集部７０、第３取得部７１、サービス情報生成部８０の各々の機能のうちの少なくとも一部が専用のハードウェア回路で実現される形態であってもよい。ここでは、上述の情報処理部３０は、請求項の「情報処理装置」に対応する。

以上に説明したように、本実施形態では、表示制御部６０は、ユーザの位置（第１取得部４１で取得された位置情報が示す位置）に対応する方向へ視線を向けるとともに、当該ユーザの動作（第２取得部５１で取得された動作情報が示す動作）に同調した動作を行う擬人化媒体を、当該ユーザ向けのサービス情報（第３取得部７１で取得されたユーザ情報に応じて生成されたサービス情報）とともに表示部２０に表示する制御を行う。ユーザは、当該ユーザの動きと同調して動く擬人化媒体を見ることで、当該擬人化媒体が当該ユーザに向けて働きかけていると認識することができる(サービスの提供対象が当該ユーザであることを認識できる)。そして、当該ユーザに合わせたサービス情報の提示を受けることができる。

（第１実施形態の変形例１）
上述の第１実施形態では、情報表示装置１００の付近に存在するユーザの数は１人であることを前提としているが、例えば情報表示装置１００の付近に存在するユーザの数が２人以上の場合は、その２人以上のユーザのうち、ディスプレイ面に最も近いユーザを、サービス情報の提供対象として特定することもできる。また、例えば複数のユーザのうち、情報表示装置１００の付近の領域に滞在している時間が最も長いユーザを、サービス情報の提供対象として特定することもできる。さらに、例えば複数のユーザの中から、ランダムに選択した１人のユーザを、サービス情報の提供対象として特定することもできる。そして、ユーザ位置検出部４０は、以上のようにして特定されたユーザの位置情報を検出し、ユーザ動作検出部５０は、以上のようにして特定されたユーザの動作情報を検出し、ユーザ情報収集部７０は、以上のようにして特定されたユーザのユーザ情報を収集する。

（第１実施形態の変形例２）
上述の第１実施形態では、表示部２０に表示される擬人化媒体の数は１つであるが、これに限らず、例えば図４に示すように、複数の擬人化媒体が表示部２０に表示されてもよい。この場合、複数の擬人化媒体の各々が、ユーザの位置に対応する方向へ視線を向けるとともに、当該ユーザの動作に同調した動作を行う形態であってもよいし、複数の擬人化媒体のうちの一部の擬人化媒体のみが、ユーザの位置に対応する方向へ視線を向けるとともに、当該ユーザの動作に同調子した動作を行う形態であってもよい。要するに、１人のユーザに対応する複数の擬人化媒体が表示部２０に表示され、複数の擬人化媒体のうちの少なくとも１つの擬人化媒体が、当該ユーザの位置に対応する方向へ視線を向けるとともに、当該ユーザの動作に同調した動作を行う形態とすることができる。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、情報表示装置の付近に存在するユーザの数は２人以上であり、それぞれのユーザと１対１に対応する複数の擬人化媒体を表示部２０に表示する制御を行う点で上述の第１実施形態と相違する。以下、具体的に説明する。なお、上述の第１実施形態と共通する部分については、適宜に説明を省略する。

図５は、第２実施形態の情報表示装置１０００の構成例を示すブロック図である。この例では、情報表示装置１０００は、街角などにあるデジタルサイネージで、情報表示装置１０００の付近に存在する複数の人に対して、広告などのサービス情報を提示するものである。図５に示すように、情報表示装置１０００は、撮像部１０と、表示部２０と、情報処理部３００とを備える。

図５に示すように、情報処理部３００は、ユーザ位置検出部１４０と、第１取得部１４１と、ユーザ動作検出部１５０と、第２取得部１５１と、表示制御部１６０と、ユーザ情報収集部１７０と、第３取得部１７１と、サービス情報生成部１８０とを含む。

ユーザ位置検出部１４０は、撮像部１０により撮像された画像データに映っている複数のユーザ（つまり、情報表示装置１０００の付近の領域に存在する複数のユーザ）の位置を検出する。より具体的には、ユーザ位置検出部１４０は、撮像部１０により撮像された画像データから、人物の顔検出、人物検出などといった公知技術を用いて、当該画像データに映っている複数のユーザの頭部位置を検出する。ユーザ位置検出部１４０は、ユーザごとに、当該ユーザを識別する識別情報（例えばＩＤ）と、当該ユーザの頭部位置を示す位置情報とを対応付けた情報群を、第１取得部１４１およびユーザ動作検出部１５０へ送る。これにより、第１取得部１４１は、情報表示装置１０００の付近に存在する複数のユーザの各々の識別情報と位置情報とを取得し、これらの情報を表示制御部１６０へ送る。

ユーザ動作検出部１５０は、撮像部１０により撮像された画像データに映っている複数のユーザのうちの少なくとも１人のユーザの動作を検出する。本実施形態では、ユーザ動作検出部１５０は、撮像部１０により撮像された画像データに映っている複数のユーザ全員の動作を検出するものとする。より具体的には、ユーザ動作検出部５０は、撮像部１０により撮像された画像データと、ユーザ位置検出部１４０からの情報群とに基づいて、ユーザ位置検出部１４０で検出された複数の頭部位置の各々に存在するユーザごとに、当該ユーザの動作を検出し、その動作の動作量、動作方向、動作周期などを検出する。そして、ユーザ動作検出部１５０は、ユーザごとに、当該ユーザの識別情報と動作情報とを対応付けた情報群を、第２取得部１５１へ送る。これにより、第２取得部１５１は、情報表示装置１０００の付近に存在する複数のユーザの各々の識別情報と動作情報とを取得し、これらの情報を表示制御部１６０へ送る。

本実施形態では、ユーザ動作検出部１５０は、撮像部１０により撮像された画像データに映っている複数のユーザ全員の動作を検出しているが、これに限らず、例えば複数のユーザの一部のユーザのみの動作を検出することもできる。例えば複数のユーザのうち表示部２０（ディスプレイ）に最も近い位置に存在するユーザのみの動作を検出することもできる。要するに、ユーザ動作検出部１５０は、撮像部１０により撮像された画像データに映っている複数のユーザのうち少なくとも１人のユーザの動作を検出し、第２取得部１５１は複数のユーザのうちの少なくとも１人のユーザに対応する動作情報を取得するものであればよい。

表示制御部１６０は、複数のユーザと１対１に対応する複数の擬人化媒体を表示部２０に表示する制御を行う。より具体的には、表示制御部１６０は、動作情報が取得されたユーザの位置に応じた方向へ視線を向けるとともに、当該ユーザの動作に同調した動作を行う擬人化媒体を表示部２０に表示する制御を行う。本実施形態では、複数のユーザ全員の動作情報が取得されるので、表示制御部１６０は、ユーザごとに、当該ユーザに対応する位置情報が示す位置に応じた方向へ視線を向けるとともに、当該ユーザに対応する動作情報が示す動作に同調した動作を行う擬人化媒体を表示部２０に表示する制御を行う。以下、具体的に説明する。

本実施形態では、図６に示すように、仮想空間内の予め定められた仮想点ＶＰが、各擬人化媒体のデフォルト位置として設定されている。視線方向設定部１６１は、各ユーザに対応する位置情報が示す位置に応じて、当該ユーザに対応する擬人化媒体の視線方向を設定する。この例では、第１実施形態と同様に、視線方向設定部１６１は、ディスプレイ面の法線方向と擬人化媒体の視線方向とのなす角度が、予め定められた擬人化媒体の位置（仮想点ＶＰ）から第１取得部１４１で取得された位置情報が示す位置へ向かう方向と、ディスプレイ面の法線方向とのなす角度の１／３以下になるよう、当該擬人化媒体の視線方向を設定する。

同調動作生成部１６２は、各ユーザに対応する動作情報から、当該ユーザに対応する擬人化媒体の動作を示す同調動作情報を生成する。この例では、第１実施形態と同様に、同調動作生成部１６２は、擬人化媒体の動作が、第２取得部１５１で取得された動作情報が示す動作に同調した動作となるよう、同調動作情報を生成する。

ＣＧ生成部１６３は、視線方向設定部１６１で設定された視線方向と、同調動作生成部１６２で生成された同調動作情報とを用いて、視線方向設定部１６１で設定された視線方向へ視線を向けるとともに、同調動作生成部１６２で生成された同調動作情報が示す動作を行う擬人化媒体のＣＧを、ユーザごとに生成する。そして、出力制御部１６４は、ＣＧ生成部１６３で生成された各擬人化媒体を、表示部２０に表示する制御を行う。

ここで、各ユーザに対応する擬人化媒体の配置について説明する。本実施形態では、図６に示すように、ＣＧ生成部１６３は、第１取得部１４１で取得された位置情報が示す位置に存在するユーザに対応する擬人化媒体の位置を、仮想空間内の仮想点ＶＰから当該位置情報が示す位置に至るまでの仮想線のうち、当該仮想線とディスプレイ面との交差点から、当該位置情報が示す位置と交差点との間の距離と同じ距離だけ仮想空間側へ至る位置に設定する。すなわち、本実施形態の表示制御部１６０は、仮想点ＶＰから第１取得部１４１で取得された位置情報が示す位置に至るまでの仮想線のうち、当該仮想線とディスプレイ面との交差点から、当該位置情報が示す位置と当該交差点との間の距離と同じ距離だけ仮想空間側へ至る位置に、当該位置情報が示す位置に存在するユーザに対応する擬人化媒体が配置されるよう、各ユーザに対応する擬人化媒体を表示する制御を行う。

再び図５に戻って説明を続ける。ユーザ情報収集部１７０は、撮像部１０により撮像された画像データから、当該画像データに映っているユーザごとに、当該ユーザのユーザ情報を収集する。第３取得部１７１は、ユーザ情報収集部１７０により収集された各ユーザのユーザ情報を取得する。サービス情報生成部１８０は、第３取得部１７１で取得された各ユーザのユーザ情報に応じて、サービス情報を生成する。そして、出力制御部１６４は、サービス情報生成部１８０により生成されたサービス情報を、表示部２０に表示する制御を行う。

例えば各ユーザのユーザ情報から、性別が男性であり、年代が６０代であるユーザが多く含まれているような場合には、サービス情報生成部１８０は、６０代の男性向けの広告画像を、サービス情報として生成することもできる。また、例えばサービス情報生成部１８０は、複数のユーザのうち、表示部２０に最も近い位置に存在するユーザのユーザ情報のみを採用し、そのユーザ情報に応じたサービス情報を生成することもできる。また、例えばサービス情報生成部１８０は、各ユーザのユーザ情報を元に、当該ユーザへ向けたメッセージ（例えば「おはようございます、今日はいつもより早いですね」など）が表示される吹き出し画像を生成することもできる。この場合、出力制御部１６４は、各ユーザに対応する擬人化媒体に、当該ユーザへ向けたメッセージが表示される吹き出し画像を対応付けて表示する制御を行うこともできる。

本実施形態では、上述の情報処理部３００のハードウェア構成は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有するコンピュータ装置である。そして、ＣＰＵがＲＯＭ等に格納されたプログラムをＲＡＭ上に展開して実行することにより、上述のユーザ位置検出部１４０、第１取得部１４１、ユーザ動作検出部１５０、第２取得部１５１、表示制御部１６０、ユーザ情報収集部１７０、第３取得部１７１、サービス情報生成部１８０の各々の機能を実現することができる。なお、これに限らず、例えば、上述のユーザ位置検出部１４０、第１取得部１４１、ユーザ動作検出部１５０、表示制御部１６０、ユーザ情報収集部１７０、第３取得部１７１、サービス情報生成部１８０の各々の機能のうちの少なくとも一部が専用のハードウェア回路で実現される形態であってもよい。ここでは、上述の情報処理部３００は、請求項の「情報処理装置」に対応する。

以上に説明したように、複数のユーザが、情報表示装置１０００の付近に存在する場合、表示制御部１６０は、ユーザごとに、当該ユーザの位置に対応する方向へ視線を向けるとともに、当該ユーザの動作に同調した動作を行う擬人化媒体を、サービス情報とともに表示部２０に表示する制御を行う。各ユーザは、当該ユーザの位置に対応するとともに当該ユーザの動きと同調して動く擬人化媒体を見ることで、当該擬人化媒体が当該ユーザに向けて働きかけていると認識することができる。そして、当該ユーザに合わせたサービス情報の提示を受けることができる。

（第２実施形態の変形例１）
各ユーザに対応する擬人化媒体の配置は、図６の例に限られない。例えば図７に示すように、ＣＧ生成部１６３は、第１取得部１４１で取得された位置情報が示す位置に存在するユーザに対応する擬人化媒体の位置を、仮想空間のうち、ディスプレイ面を鏡映面としたときに当該位置情報が示す位置と対称な関係になる位置に設定することもできる。つまり、表示制御部１６０は、仮想空間のうち、ディスプレイ面を鏡映面としたときに位置情報が示す位置と対称な関係になる位置に、当該位置情報が示す位置に存在するユーザに対応する擬人化媒体が配置されるよう、各ユーザに対応する擬人化媒体を表示する制御を行うこともできる。

この場合、図７に示すように、視線方向設定部１６１は、ユーザの視線と、当該ユーザに対応する擬人化媒体の視線とがディスプレイ面で交わるよう、各ユーザに対応する擬人化媒体の視線方向を設定することもできる。これにより、各擬人化媒体を、当該擬人化媒体に対応するユーザの鏡像のように見せることができる。

（第２実施形態の変形例２）
擬人化媒体のＣＧは、複数のユーザで同じＣＧであってもよい。また、例えば各ユーザに対応する擬人化媒体は、当該ユーザのユーザ情報に応じて変化する形態であってもよい。例えばユーザが子供であれば、当該ユーザに対応する擬人化媒体として子供向けのキャラクタが生成され、例えばユーザが高齢者であれば、当該ユーザに対応する擬人化媒体として、杖をついたキャラクタが生成されてもよい。

以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以上の各実施形態では、情報処理部３０（３００）は、撮像部１０により撮像された画像データに映っているユーザの位置を検出する機能（ユーザ位置検出部４０，１４０）を有しているが、この機能については、例えば外部装置（サーバ）に搭載されており、情報処理部３０は、その外部装置から検出結果（位置情報）を取得する形態であってもよい。
ユーザ動作検出部５０（１５０）、ユーザ情報収集部７０（１７０）についても同様である。要するに、本発明の情報処理装置は、ユーザの位置を示す位置情報を取得する第１取得部と、ユーザの動作を示す動作情報を取得する第２取得部と、位置情報が示す位置に応じた方向へ視線を向けるとともに、動作情報が示す動作に同調した動作を行う擬人化媒体を、サービス情報が表示される表示部に表示する制御を行う表示制御部と、を備える形態であればよい。

以上の各実施形態では、撮像部１０、表示部２０および情報処理部３０（３００）が１つの装置内に組み込まれる形態であるが、これに限らず、例えば撮像部１０、表示部２０および情報処理部３０（３００）の各々が独立して設けられ、互いに通信可能な形態であってもよい。また、例えば撮像部１０と表示部２０とが組み込まれた１つの装置と、独立して設けられた情報処理部３０（３００）とが互いに通信可能な形態であってもよい。また、例えば表示部２０と情報処理部３０（３００）とが組み込まれた１つの装置と、独立して設けられた撮像部１０とが互いに通信可能な形態であってもよい。さらに、例えば撮像部１０と情報処理部３０（３００）とが組み込まれた１つの装置と、独立して設けられた表示部２０とが互いに通信可能な形態であってもよい。

なお、上述の情報処理部３０（３００）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の情報処理部３０（３００）で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の情報処理部３０（３００）で実行されるプログラムを、ＲＯＭ等の不揮発性記録媒体に予め組み込んで提供するようにしてもよい。

なお、以上の各実施形態および変形例は、任意に組み合わせることもできる。

１０ 撮像部
２０ 表示部
３０ 情報処理部
４０ ユーザ位置検出部
４１ 第１取得部
５０ ユーザ動作検出部
５１ 第２取得部
６０ 表示制御部
６１ 視線方向設定部
６２ 同調動作生成部
６３ ＣＧ生成部
６４ 出力制御部
７０ ユーザ情報収集部
７１ 第３取得部
８０ サービス情報生成部
１００ 情報表示装置

Claims (12)

1. ユーザの位置を示す位置情報を取得する第１取得部と、
   前記ユーザの動作を示す動作情報を取得する第２取得部と、
   前記位置情報が示す位置に応じた方向へ視線を向けるとともに、前記動作情報が示す動作に同調した動作を行う、コンピュータグラフィクスで表現される擬人化媒体を、前記ユーザに提供する情報を示すサービス情報が表示される表示部に表示する制御を行う表示制御部と、を備え、
   前記第１取得部が、複数のユーザと１対１に対応する複数の前記位置情報を取得した場合、前記表示制御部は、前記表示部のうち画像が表示される面を示すディスプレイ面よりも後方の、前記擬人化媒体の存在が想定される範囲を示す仮想空間内の仮想点から、前記位置情報が示す位置に至るまでの仮想線のうち、前記仮想線と前記ディスプレイ面との交差点から、前記位置情報が示す位置と前記交差点との間の距離と同じ距離だけ前記仮想空間側へ至る位置に、前記位置情報が示す位置に存在するユーザに対応する前記擬人化媒体が配置されるよう、前記複数のユーザと１対１に対応する複数の前記擬人化媒体を前記表示部に表示する制御を行う、
   情報処理装置。
2. 前記第２取得部は、前記複数のユーザのうちの少なくとも１人のユーザに対応する前記動作情報を取得し、
   前記表示制御部は、前記動作情報が取得されたユーザの位置に応じた方向へ視線を向けるとともに、当該ユーザの動作に同調した動作を行う前記擬人化媒体を前記表示部に表示する制御を行う、
   請求項１の情報処理装置。
3. ユーザの位置を示す位置情報を取得する第１取得部と、
   前記ユーザの動作を示す動作情報を取得する第２取得部と、
   前記位置情報が示す位置に応じた方向へ視線を向けるとともに、前記動作情報が示す動作に同調した動作を行う擬人化媒体を、前記ユーザに提供する情報を示すサービス情報が表示される表示部に表示する制御を行う表示制御部と、を備え、
   前記表示制御部は、前記表示部のうち画像が表示される面を示すディスプレイ面の法線方向と、前記擬人化媒体の視線方向とのなす角度が、前記擬人化媒体から前記位置情報が示す位置へ向かう方向と、前記ディスプレイ面の法線方向とのなす角度の１／３以下になるよう、前記擬人化媒体の視線方向を設定する、
   情報処理装置。
4. 前記第１取得部が、複数のユーザと１対１に対応する複数の前記位置情報を取得した場合、前記表示制御部は、前記複数のユーザと１対１に対応する複数の前記擬人化媒体を前記表示部に表示する制御を行う、
   請求項３の情報処理装置。
5. 前記第２取得部は、前記複数のユーザのうちの少なくとも１人のユーザに対応する前記動作情報を取得し、
   前記表示制御部は、前記動作情報が取得されたユーザの位置に応じた方向へ視線を向けるとともに、当該ユーザの動作に同調した動作を行う前記擬人化媒体を前記表示部に表示する制御を行う、
   請求項４の情報処理装置。
6. 前記ユーザに関連する情報を示すユーザ情報を取得する第３取得部と、
   前記ユーザ情報に応じて、前記サービス情報を生成するサービス情報生成部と、をさらに備える、
   請求項１または３の情報処理装置。
7. ユーザの位置を示す位置情報を取得する第１取得部と、
   前記ユーザの動作を示す動作情報を取得する第２取得部と、
   前記ユーザに提供する情報を示すサービス情報を表示する表示部と、
   前記位置情報が示す位置へ視線を向けるとともに、前記動作情報が示す動作に同調した動作を行う、コンピュータグラフィクスで表現される擬人化媒体を前記表示部に表示する制御を行う表示制御部と、を備え、
   前記第１取得部が、複数のユーザと１対１に対応する複数の前記位置情報を取得した場合、前記表示制御部は、前記表示部のうち画像が表示される面を示すディスプレイ面よりも後方の、前記擬人化媒体の存在が想定される範囲を示す仮想空間内の仮想点から、前記位置情報が示す位置に至るまでの仮想線のうち、前記仮想線と前記ディスプレイ面との交差点から、前記位置情報が示す位置と前記交差点との間の距離と同じ距離だけ前記仮想空間側へ至る位置に、前記位置情報が示す位置に存在するユーザに対応する前記擬人化媒体が配置されるよう、前記複数のユーザと１対１に対応する複数の前記擬人化媒体を前記表示部に表示する制御を行う、
   情報表示装置。
8. ユーザの位置を示す位置情報を取得する第１取得部と、
   前記ユーザの動作を示す動作情報を取得する第２取得部と、
   前記ユーザに提供する情報を示すサービス情報を表示する表示部と、
   前記位置情報が示す位置へ視線を向けるとともに、前記動作情報が示す動作に同調した動作を行う擬人化媒体を前記表示部に表示する制御を行う表示制御部と、を備え、
   前記表示制御部は、前記表示部のうち画像が表示される面を示すディスプレイ面の法線方向と、前記擬人化媒体の視線方向とのなす角度が、前記擬人化媒体から前記位置情報が示す位置へ向かう方向と、前記ディスプレイ面の法線方向とのなす角度の１／３以下になるよう、前記擬人化媒体の視線方向を設定する、
   情報表示装置。
9. ユーザの位置を示す位置情報を取得する第１取得ステップと、
   前記ユーザの動作を示す動作情報を取得する第２取得ステップと、
   前記位置情報が示す位置へ視線を向けるとともに、前記動作情報が示す動作に同調した動作を行う、コンピュータグラフィクスで表現される擬人化媒体を、前記ユーザに提供する情報を示すサービス情報が表示される表示部に表示する制御を行う表示制御ステップと、を含み、
   前記第１取得ステップが、複数のユーザと１対１に対応する複数の前記位置情報を取得した場合、前記表示制御ステップは、前記表示部のうち画像が表示される面を示すディスプレイ面よりも後方の、前記擬人化媒体の存在が想定される範囲を示す仮想空間内の仮想点から、前記位置情報が示す位置に至るまでの仮想線のうち、前記仮想線と前記ディスプレイ面との交差点から、前記位置情報が示す位置と前記交差点との間の距離と同じ距離だけ前記仮想空間側へ至る位置に、前記位置情報が示す位置に存在するユーザに対応する前記擬人化媒体が配置されるよう、前記複数のユーザと１対１に対応する複数の前記擬人化媒体を前記表示部に表示する制御を行う、
   情報処理方法。
10. ユーザの位置を示す位置情報を取得する第１取得ステップと、
    前記ユーザの動作を示す動作情報を取得する第２取得ステップと、
    前記位置情報が示す位置へ視線を向けるとともに、前記動作情報が示す動作に同調した動作を行う擬人化媒体を、前記ユーザに提供する情報を示すサービス情報が表示される表示部に表示する制御を行う表示制御ステップと、を含み、
    前記表示制御ステップは、前記表示部のうち画像が表示される面を示すディスプレイ面の法線方向と、前記擬人化媒体の視線方向とのなす角度が、前記擬人化媒体から前記位置情報が示す位置へ向かう方向と、前記ディスプレイ面の法線方向とのなす角度の１／３以下になるよう、前記擬人化媒体の視線方向を設定する、
    情報処理方法。
11. コンピュータに、
    ユーザの位置を示す位置情報を取得する第１取得ステップと、
    前記ユーザの動作を示す動作情報を取得する第２取得ステップと、
    前記位置情報が示す位置へ視線を向けるとともに、前記動作情報が示す動作に同調した動作を行う、コンピュータグラフィクスで表現される擬人化媒体を、前記ユーザに提供する情報を示すサービス情報が表示される表示部に表示する制御を行う表示制御ステップと、を実行させ、
    前記第１取得ステップが、複数のユーザと１対１に対応する複数の前記位置情報を取得した場合、前記表示制御ステップは、前記表示部のうち画像が表示される面を示すディスプレイ面よりも後方の、前記擬人化媒体の存在が想定される範囲を示す仮想空間内の仮想点から、前記位置情報が示す位置に至るまでの仮想線のうち、前記仮想線と前記ディスプレイ面との交差点から、前記位置情報が示す位置と前記交差点との間の距離と同じ距離だけ前記仮想空間側へ至る位置に、前記位置情報が示す位置に存在するユーザに対応する前記擬人化媒体が配置されるよう、前記複数のユーザと１対１に対応する複数の前記擬人化媒体を前記表示部に表示する制御を行う、
    プログラム。
12. コンピュータに、
    ユーザの位置を示す位置情報を取得する第１取得ステップと、
    前記ユーザの動作を示す動作情報を取得する第２取得ステップと、
    前記位置情報が示す位置へ視線を向けるとともに、前記動作情報が示す動作に同調した動作を行う擬人化媒体を、前記ユーザに提供する情報を示すサービス情報が表示される表示部に表示する制御を行う表示制御ステップと、を実行させ、
    前記表示制御ステップは、前記表示部のうち画像が表示される面を示すディスプレイ面の法線方向と、前記擬人化媒体の視線方向とのなす角度が、前記擬人化媒体から前記位置情報が示す位置へ向かう方向と、前記ディスプレイ面の法線方向とのなす角度の１／３以下になるよう、前記擬人化媒体の視線方向を設定する、
    プログラム。

Images