JP7293991B2 - サーバ、再生デバイス、コンテンツ再生システム、コンテンツ再生方法、及びプログラム - Google Patents

Description

本発明は、ユーザの再生デバイスでコンテンツの再生を行うためのサーバ等に関する。

観光客は、カメラによって風景を撮影したり、風景をバックに自分や同行者を撮影したりして観光を楽しんでいる。また、特許文献１のような据え置き型の写真撮影装置は観光施設や観光地等に設置されることがあり、観光客を撮影した画像からクロマキー処理により観光客の人物画像を抽出し、観光施設や観光地等に応じた所定の背景画像と合成して観光客に提供することができる。

また特許文献２には、ＡＲ（拡張現実）技術を利用し、観光施設や観光地等の展望鏡で実空間の画像上に仮想的な建築物等のコンテンツを表示させることが開示されており、観光客はあたかもその建築物等が実空間に存在するように感じることができる。

特開2019-003304号公報 特開2003-264740号公報

これらの技術はユーザの観光体験を豊かにするものであるが、観光施設や観光地等においては、ユーザの総合的な観光体験をより豊かにし、ユーザの満足度を高めて来客者数の増加につなげることが求められている。

本発明は上記の問題に鑑みてなされたものであり、ユーザの観光体験を豊かにできるサーバ等を提供することを目的とする。

前述した課題を解決するための第１の発明は、キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと通信可能に接続されたサーバであって、前記再生デバイスがセンサによって取得した画像情報及び音声情報を受信する受信手段と、前記画像情報及び音声情報を解析する解析手段と、前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する送信手段と、を備え、前記送信手段は、前記解析手段による解析の結果、前記音声情報に前記キャラクターの位置をユーザとは別の人物との関係によって指定する指示が含まれ、且つ、前記画像情報に当該人物が含まれる場合、前記キャラクターの映像を当該指定された位置に表示させるための再生情報を前記再生デバイスに送信することを特徴とするサーバである。

本発明では、ユーザが観光を行う間、ユーザが装用等した再生デバイスでキャラクターの映像や音声を実空間を背景にして再生することで、ユーザはあたかもキャラクターと一緒に観光を楽しんでいるという感覚を得ることができ、ユーザの総合的な観光体験をより豊かにすることができる。しかも、ユーザは、キャラクターの位置を画像情報中の人物との関係で指定する指示を音声によって行うことにより、キャラクターの映像を当該指定された位置に表示させることができる。これにより、本発明ではユーザがキャラクターに対し移動を指示し、キャラクターがこれに応えるという具体的なコミュニケーションをとることができるので、キャラクターと一緒に観光を楽しんでいるという感覚がより深まり、また人物撮影など観光中の様々なシチュエーションに応じてキャラクターを適切な位置に配置することができる。

前記サーバは、前記人物の顔画像及び呼び名をメンバー情報として記憶部に記憶し、前記解析手段は、前記メンバー情報を用いて解析を行うことが望ましい。
家族や友人同士等、複数のユーザが一緒に観光を行う場合には、各人の顔画像と呼び名を予め登録しておき、これを前記の解析に用いることができる。これにより、個々のユーザが、別のユーザとの関係によりキャラクターの位置を指定することが可能になる。

前記サーバは、前記再生デバイスとして眼鏡型のウェアラブルデバイスと通信可能に接続することが望ましい。
これにより、ユーザの没入感を高め、キャラクターがあたかも実際に存在するかのように感じることができる。

前記送信手段は、共通のキャラクターを表示するコンテンツデータの再生情報を複数のユーザの前記再生デバイスに送信することが望ましい。
これにより、家族や友人同士で観光を行う際に、各人の観光体験を豊かにすることが可能になる。

第２の発明は、キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスであって、前記キャラクターの映像が実空間を背景にして表示されるように、前記コンテンツデータを再生する再生手段を有し、前記再生手段は、前記再生デバイスのセンサによって得た音声情報が、前記キャラクターの位置をユーザとは別の人物との関係によって指定する指示を含み、且つ、前記再生デバイスのセンサによって得た画像情報に当該人物が含まれる場合、前記キャラクターの映像を当該指定された位置に表示させることを特徴とする再生デバイスである。
第２の発明は、キャラクターの位置を、画像情報中の人物との関係によって音声指示できる再生デバイスである。

前記再生デバイスは、前記キャラクターの映像を当該指定された位置に表示させた後、前記人物と前記キャラクターの合成画像が作成されるよう、前記人物を撮影することが望ましい。
これにより、キャラクターを好ましい位置に移動させて上記人物の撮影を行い、当該人物とキャラクターの合成画像を得ることができる。

第３の発明は、キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと、サーバとを含むコンテンツ再生システムであって、前記サーバは、前記再生デバイスがセンサによって取得した画像情報及び音声情報を受信する受信手段と、前記画像情報及び音声情報を解析する解析手段と、前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する送信手段と、を備え、前記送信手段は、前記解析手段による解析の結果、前記音声情報に前記キャラクターの位置をユーザとは別の人物との関係によって指定する指示が含まれ、且つ、前記画像情報に当該人物が含まれる場合、前記キャラクターの映像を当該指定された位置に表示させるための再生情報を前記再生デバイスに送信することを特徴とするコンテンツ再生システムである。
第３の発明は、第１の発明のサーバを含むコンテンツ再生システムである。

第４の発明は、キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと通信可能に接続されたサーバが、前記再生デバイスがセンサによって取得した画像情報及び音声情報を受信するステップと、前記画像情報及び音声情報を解析するステップと、前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信するステップと、を実行し、前記解析の結果、前記音声情報に前記キャラクターの位置をユーザとは別の人物との関係によって指定する指示が含まれ、且つ、前記画像情報に当該人物が含まれる場合、前記キャラクターの映像を当該指定された位置に表示させるための再生情報を前記再生デバイスに送信することを特徴とするコンテンツ再生方法である。
第４の発明は、第１の発明のサーバによるコンテンツ再生方法である。

第５の発明は、キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと通信可能に接続されたサーバを、前記再生デバイスがセンサによって取得した画像情報及び音声情報を受信する受信手段と、前記画像情報及び音声情報を解析する解析手段と、前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する送信手段と、して機能させるためのプログラムであって、前記送信手段は、前記解析手段による解析の結果、前記音声情報に前記キャラクターの位置をユーザとは別の人物との関係によって指定する指示が含まれ、且つ、前記画像情報に当該人物が含まれる場合、前記キャラクターの映像を当該指定された位置に表示させるための再生情報を前記再生デバイスに送信することを特徴とするプログラムである。
第５の発明は、第１の発明のサーバを機能させるためのプログラムである。

第６の発明は、キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスを、前記キャラクターの映像が実空間を背景にして表示されるように、前記コンテンツデータを再生する再生手段であって、前記再生デバイスのセンサによって得た音声情報が、前記キャラクターの位置をユーザとは別の人物との関係によって指定する指示を含み、且つ、前記再生デバイスのセンサによって得た画像情報に当該人物が含まれる場合、前記キャラクターの映像を当該指定された位置に表示させる再生手段として機能させるためのプログラムである。
第６の発明は、第２の発明の再生デバイスを機能させるためのプログラムである。

本発明により、ユーザの観光体験を豊かにできるサーバ等を提供することが可能となる。

コンテンツ再生システム１の構成を示す図。 再生デバイス２の外観を示す図。 再生デバイス２のハードウェア構成を示す図。 サーバ３のハードウェア構成を示す図。 購入情報３２２、ランドマークデータ３２３、メンバー情報３２４を示す図。 コンテンツ再生システム１の機能構成を示す図。 コンテンツ再生システム１で行われる処理について示すフローチャート。 画像情報３５０の例。 ユーザａとキャラクターｂの位置関係を示す図。 キャラクターｂの映像の表示の例。 キャラクターｂの映像の表示と合成画像３６０の例。 複数のユーザａ１、ａ２に対するキャラクターｂの位置を共通化する例。

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。

（１．コンテンツ再生システム１）
図１は本発明の実施形態に係るコンテンツ再生システム１の構成を示す図である。図１に示すように、コンテンツ再生システム１は、複数の再生デバイス２とサーバ３等をネットワーク５により通信可能に接続して構成される。

本実施形態のコンテンツ再生システム１は、観光施設や観光地、例えばアミューズメント施設やテーマパーク、動物園、美術館、博物館、名所旧跡等において、一緒に観光する複数のユーザが再生デバイス２を装用してコンテンツデータを視聴するものである。

再生デバイス２は、キャラクターの映像及び音声を含むコンテンツデータを実空間を背景にしてユーザが視聴するためのデバイスであり、例えば、眼鏡型のスマートグラスやヘッドマウントディスプレイなどのウェアラブルデバイスが用いられる。本実施形態では、再生デバイス２としてスマートグラスを用いる例を説明する。

図２は再生デバイス２（スマートグラス）の外観を示す図であり、図３は再生デバイス２のハードウェア構成を示す図である。再生デバイス２は、フレーム２００に制御部２０１、記憶部２０２、通信部２０３、モーションセンサ２０４、位置センサ２０５、透過型ディスプレイ２０６、マイク２０７、スピーカ２０８、カメラ２０９、周辺機器I/F部２１０等を設けて構成される。ただし、再生デバイス２の構成はこれに限ることなく、適宜様々な構成をとることができる。

制御部２０１は、CPU、ROM、RAM等により構成される。CPUは、記憶部２０２、ROM等の記憶媒体に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、再生デバイス２の各部を駆動制御する。ROMは、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持する。RAMは、ロードしたプログラムやデータを一時的に保持するとともに、制御部２０１が各種処理を行うために使用するワークエリアを備える。

記憶部２０２はフラッシュメモリ等の記憶媒体である。記憶部２０２には、制御部２０１が実行するプログラム、プログラム実行に必要なデータ、オペレーティングシステム等が格納されている。

通信部２０３は、無線LAN、Bluetooth（登録商標）、近距離無線通信等の通信装置を有し、ネットワーク５等を介した通信や、Bluetooth（登録商標）対応機器・非接触型ICカード等との通信を制御する。

モーションセンサ２０４は、９軸センサ（地磁気センサ・加速度センサ・ジャイロセンサ）を含み、再生デバイス２の向いている方角や姿勢（傾きや回転）、動きの情報等を取得する。

位置センサ２０５は、再生デバイス２の現在位置を取得するものである。位置センサ２０５は、GPS（Global Positioning System）のように衛星からの信号によって自デバイスの位置を検出するものとしてもよいし、携帯電話の無線基地局や無線LANのアクセスポイントからの電波強度等によって自デバイスの位置を検出してもよい。

透過型ディスプレイ２０６は、シースルー方式の表示装置であり、例えばスマートグラスの両眼部にそれぞれ設けられる。透過型ディスプレイ２０６は、制御部２０１の制御により入力されたキャラクターの映像を、透過型ディスプレイ２０６の先にある実空間を背景にして表示させる。キャラクターの表示は、２Ｄまたは３Ｄのいずれでもよい。なお、透過型ディスプレイ２０６の代わりに網膜走査型のディスプレイを用いることも可能である。

マイク２０７はユーザ等の音声を集音する音声センサであり、スピーカ２０８はユーザ等に対し音声を出力するものである。

カメラ２０９は、例えばCCD（Charge Coupled Device）イメージセンサやCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を用いた画像センサであり、動画または静止画を撮影する。カメラ２０９は、図２に示すように、再生デバイス２の中央部に配置されるセンターカメラ２０９ａ、左右に配置されるステレオカメラ２０９ｂを含む。

周辺機器I/F部２１０は、周辺機器を接続させるためのポートであり、周辺機器I/F部２１０を介して周辺機器とのデータの送受信が行われる。周辺機器との接続形態は有線、無線を問わない。本実施形態では、周辺機器I/F部２１０に、再生デバイス２に対する操作指示を入力するためのコントローラ（不図示）が接続される。なお、再生デバイス２に対する操作指示はマイク２０７を介して音声によって行うことも可能である。

図１の説明に戻る。サーバ３は、コンテンツ再生システム１における各種の処理を実行するものである。これらの処理の詳細については後述する。

図４はサーバ３のハードウェア構成を示す図である。サーバ３は、制御部３０１、記憶部３０２、通信部３０３等を有するコンピュータによって実現できる。但し、サーバ３の構成はこれに限ることなく、適宜様々な構成をとることができる。またサーバ３は複数のコンピュータから構成されてもよい。

制御部３０１は、CPU、ROM、RAM等により構成される。CPUは、記憶部３０２、ROM等の記憶媒体に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、サーバ３の各部を駆動制御する。ROMは、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持する。RAMは、ロードしたプログラムやデータを一時的に保持するとともに、制御部３０１が各種処理を行うために使用するワークエリアを備える。

記憶部３０２は、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリ等の記憶媒体である。記憶部３０２には、制御部３０１が実行するプログラム、プログラム実行に必要なデータ、オペレーティングシステム等が格納される。

通信部３０３は、通信制御装置及び通信ポートを有し、ネットワーク５等を介した通信を制御する。サーバ３はネットワーク５を介して再生デバイス２と通信可能に接続し、各種のデータを送受信可能である。

（２．サーバ３に記録されるデータ）
図４に示すように、サーバ３の記憶部３０２にはコンテンツデータ３２１、購入情報３２２、ランドマークデータ３２３、メンバー情報３２４等が記録される。

コンテンツデータ３２１は、例えば所定のキャラクターの映像や音声のデータである。キャラクターは例えばアニメやゲーム等の架空のキャラクターであるが、これに限ることはなく、実在する有名人等のものであってもよい。本実施形態では、ユーザが事前に購入したコンテンツデータ３２１がユーザの再生デバイス２で再生されるものとする。

購入情報３２２は、コンテンツデータ３２１を購入する際に登録される情報である。購入情報３２２は、例えば図５（ａ）に示すように、購入ID３２２１、コンテンツID３２２２、購入者情報３２２３等の情報を紐づけたものである。

購入ID３２２１は、コンテンツID３２２２、購入者情報３２２３などの購入記録を識別する識別情報であり、コンテンツデータ３２１を購入する際に生成される。
コンテンツID３２２２は、ユーザが購入したコンテンツデータ３２１を識別する識別情報である。
購入者情報３２２３は、コンテンツデータ３２１の購入者の氏名、連絡先、決済情報等であり、コンテンツデータ３２１の購入時に登録される。

ランドマークデータ３２３は、図５（ｂ）に示すように、観光施設や観光地内のランドマーク３２３１に対し、その位置３２３２、画像３２３３等を紐づけたものである。

ランドマーク３２３１は、観光施設や観光地内のランドマークの名称である。ただし、ランドマーク３２３１は観光施設や観光地内の場所を指定できるものであれば何でも構わない。
位置３２３２は、ランドマーク３２３１の位置を示す情報であり、例えば緯度と経度によって表される。
画像３２３３は、ランドマーク３２３１の画像である。

メンバー情報３２４は、一緒に観光を行うユーザについての情報であり、図５（ｃ）に示すように、コンテンツデータ３２１の購入ID３２２１に顔画像３２４１と呼び名３２４２を紐づけたものである。

顔画像３２４１、呼び名３２４２は、一緒に観光を行うユーザそれぞれの顔画像と呼び名であり、コンテンツデータ３２１を購入する際に登録される。本実施形態では、購入ID３２２１に紐づけて登録された複数のユーザの再生デバイス２のそれぞれで、購入ID３２２１に対応するコンテンツデータ３２１の視聴が可能であり、これらの再生デバイス２で同じキャラクターの映像が表示される。

（３．コンテンツ再生システム１の機能）
次に、コンテンツ再生システム１の機能構成について説明する。図６に示すように、コンテンツ再生システム１において、再生デバイス２は再生手段２１とセンサ２２を有し、サーバ３は送信手段３１、受信手段３２、解析手段３３等を有する。

再生手段２１は、再生デバイス２の制御部２０１が透過型ディスプレイ２０６やスピーカ２０８によってキャラクターの映像や音声（コンテンツデータ３２１）を再生するものである。

センサ２２は、再生デバイス２のモーションセンサ２０４、位置センサ２０５、マイク２０７、カメラ２０９等に対応し、画像情報や音声情報を含むセンサ情報の取得を行うものである。

送信手段３１は、サーバ３の制御部３０１が、ユーザの観光時に、コンテンツデータ３２１の再生情報を通信部３０３を介して再生デバイス２に送信するものである。コンテンツデータ３２１の再生情報は、例えばそのキャラクターの映像の表示を行うための動画データや音声の出力を行うための音声データであり、再生デバイス２ではキャラクターの映像が透過型ディスプレイ２０６の先にある実空間を背景にして表示される。

受信手段３２は、サーバ３の制御部３０１が、再生デバイス２から送信された前記のセンサ情報を通信部３０３を介して受信するものである。

解析手段３３は、サーバ３の制御部３０１が、上記センサ情報の解析を行うものである。本実施形態ではその解析結果に応じた再生情報が再生デバイス２に送信されるが、その詳細は後述する。

（４．コンテンツ再生方法）
次に、本発明の実施形態に係るコンテンツ再生システム１における処理（コンテンツ再生方法）について説明する。

なお、本システムを利用する場合は、前記したように事前にコンテンツデータ３２１の購入を行う必要がある。ユーザは、ユーザ端末（不図示）を用いてサーバ３にアクセスし、サーバ３の提供するWebサイト上でコンテンツデータ３２１の購入を行う。この際、前記した購入者情報３２２３を入力し、コンテンツデータ３２１を選択する。サーバ３は、ユーザに対し購入ID３２２１を発行し、選択されたコンテンツデータ３２１に対応するコンテンツID３２２２を、上記の購入ID３２２１および購入者情報３２２３と紐づけ、購入情報３２２の登録を行う。

また、コンテンツデータ３２１の購入時には、一緒に観光を行う複数のユーザのそれぞれの顔画像３２４１と呼び名３２４２が登録され、これらのデータが購入ID３２２１と紐づけてメンバー情報３２４として記録される。

コンテンツデータ３２１の購入後、ユーザは、再生デバイス２を観光施設や観光地等の係員から受け取り、再生デバイス２に購入ID３２２１を入力することで、購入したコンテンツデータ３２１を視聴可能となる。購入ID３２２１は、再生デバイス２の貸出時に係員が入力してもよいし、サーバ３からユーザ端末（不図示）に送信された購入ID３２２１をユーザ自身で再生デバイス２に入力してもよい。その他、ユーザのウェアラブルデバイスや非接触型ICカードに購入ID３２２１を記録しておき、これらの媒体から再生デバイス２に購入ID３２２１を送信してもよい。

ユーザは、上記の再生デバイス２を装用し、観光施設や観光地等を観光する。この際、再生デバイス２では購入ID３２２１に対応するコンテンツデータ３２１の再生が適宜行われ、ユーザはキャラクターと一緒に観光をしているような感覚を得ることができる。

図７は、ユーザの観光時にコンテンツ再生システム１で行われる処理について示すフローチャートである。図７のＳ１０１～Ｓ１０２、Ｓ１０６～Ｓ１０７は再生デバイス２の制御部２０１が再生デバイス２の各部を制御して実行する処理であり、Ｓ１０３～Ｓ１０５はサーバ３の制御部３０１がサーバ３の各部を制御して実行する処理である。

ユーザの観光時、再生デバイス２は、前記したモーションセンサ２０４、位置センサ２０５、マイク２０７、カメラ２０９などのセンサ２２により、再生デバイス２の周囲の画像情報、音声情報、再生デバイス２の位置情報、再生デバイス２の向き情報等をセンサ情報として取得する（Ｓ１０１）。画像情報は、カメラ２０９によってユーザの視線方向の画像を撮影することで得られ、音声情報はマイク２０７により周囲の音声を集音することで得られる。位置情報は前記したように位置センサ２０５により緯度・経度などのデータとして得ることができ、向き情報はモーションセンサ２０４によって角度などのデータとして得ることができる。

図８は上記の画像情報３５０の例である。本実施形態では、家族や友人同士など複数のユーザが再生デバイス２の貸出を受けて一緒に観光を行っており、ユーザが別のユーザ（人物）を見ている場合、画像情報３５０には当該別のユーザの顔画像３２４１が含まれる。

再生デバイス２は、上記のセンサ情報を再生デバイス２の購入ID３２２１とともにサーバ３に送信する（Ｓ１０２）。センサ情報は短い時間間隔で定期的に取得、送信される。センサ情報は、再生デバイス２を装用して観光を行ったユーザの体験に関する情報でもある。

サーバ３は、上記のセンサ情報と購入ID３２２１を受信すると（Ｓ１０３）、センサ情報を解析し（Ｓ１０４）、必要に応じて、購入ID３２２１に対応するコンテンツデータ３２１について、そのキャラクターの映像の表示や音声の出力を行うための再生情報を再生デバイス２に送信する（Ｓ１０５）。前記したように、再生情報は、例えばキャラクターの映像の表示を行うための動画データや音声の出力を行うための音声データである。

再生デバイス２は、再生情報を受信する（Ｓ１０６）と、その再生情報に基づくコンテンツデータ３２１の再生を行う（Ｓ１０７）。この際、上記したキャラクターの映像や音声が再生デバイス２により再生されることになる。キャラクターの映像は、透過型ディスプレイ２０６の先に存在するリアルタイムの実空間を背景として、透過型ディスプレイ２０６にて表示される。

Ｓ１０３でサーバ３が受信するセンサ情報の解析結果と、Ｓ１０６でサーバ３が送信する再生情報の関係は様々に設定することができ、その一例として、例えばユーザの視線方向すなわち再生デバイス２の向きに応じてキャラクターの特定の映像や音声を再生することが可能である。

例えば図９（ａ）に示すようにユーザａ（再生デバイス２）が特定の向き以外の向きｃを向いているとき、キャラクターｂの映像や音声は再生されないが、図９（ｂ）に示すようにユーザａが視線を移して特定の向きｃ’にすると、キャラクターｂの映像が図１０（ａ）のように実空間を背景にして表示され、またキャラクターｂの特定の音声が再生されるようにする。これらの映像や音声は、例えばユーザの観光を盛り上げるような内容とするが、特に限定されることはない。

上記の処理は、ユーザａとキャラクターｂが図９（ａ）に示すような位置関係（ユーザａから見て右隣にキャラクターｂが存在する）であるという仮想的な状況を設定し、そのキャラクターｂが図９（ｂ）に示すようにユーザの視野ｄ内に入るときにキャラクターｂがユーザａから見えて、キャラクターｂからユーザａに音声コミュニケーションがなされるといった交流場面を実現するものである。

その他、Ｓ１０３でセンサ情報として受信した位置情報に近い位置３２３２のランドマーク３２３１がランドマークデータ３２３に存在し、且つ、Ｓ１０３で同じくセンサ情報として受信した画像情報３５０に対し画像処理を行うことにより、上記ランドマーク３２３１の画像３２３３と一致するランドマークが画像情報３５０内に存在すると判定された場合に、図１０（ｂ）に示すようにキャラクターｂの映像を実空間を背景にして再生デバイス２で表示し、そのランドマーク３２３１に応じたキャラクターｂの音声を出力することも考えられる。これらの映像や音声は、例えばランドマーク３２３１の紹介等をするような内容とするが、特に限定されることはない。

上記の処理は、ユーザがランドマーク３２３１の近くに居てランドマーク３２３１を見ている場合に、キャラクターｂからユーザａにランドマーク３２３１の紹介等がなされるといった交流場面を実現するものである。

また特に本実施形態では、Ｓ１０３でセンサ情報として受信した音声情報に、「Ａちゃんの左へ行って」のように、メンバー情報３２４として登録された別のユーザの呼び名３２４２（「Ａちゃん」）との関係によってキャラクターｂの位置を指定する指示が含まれ、且つその呼び名３２４２に対応する当該別のユーザの顔画像３２４１が、Ｓ１０３でセンサ情報として受信した画像情報３５０に図８のように含まれる場合、そのキャラクターｂを、図１１（ａ）に示すように当該指定された位置（「Ａちゃんの左」）に表示する。

サーバ３による解析は、予め登録されたメンバー情報３２４を用いて行うことができ、画像情報３５０や音声情報の解析についてはＡＩ（人工知能）を用いることが可能である。サーバ３は、上記の音声指示（「Ａちゃんの左に行って」）に対応する画像情報３５０上のキャラクターｂの位置を求め、当該位置に対応する透過型ディスプレイ２０６上の位置でキャラクターｂが表示されるよう、Ｓ１０５において再生情報を送信する。

キャラクターｂの位置の指定は、画像情報３５０に含まれる人物、すなわち一緒に観光している別のユーザとの関係によって行うものであれば特に限定されず、例えば「Ａちゃんの右に来て」「Ａちゃんの後ろに行って」などとすることも可能である。また複数のユーザとの関係によって指定を行うことも可能であり、例えば画像情報３５０に複数のユーザ（例えば「Ａちゃん」と「Ｂ子」）の顔画像３２４１が含まれる場合、「ＡちゃんとＢ子の間に行って」というような音声指示を行うこともできる。

このように、本実施形態ではユーザがキャラクターｂに対し移動を指示し、キャラクターｂがこれに応えるという具体的なコミュニケーションをとることもできる。また上記の処理により、本実施形態では観光中の様々なシチュエーションに応じてキャラクターｂを適切な位置に配置することができる。

例えば図１１（ａ）に示す位置にキャラクターｂを表示させた後、再生デバイス２に撮影指示を入力し、カメラ２０９により前記別のユーザの人物撮影を行うことで、図１１（ｂ）に示すように、当該別のユーザの写った撮影画像の上記位置にキャラクターｂを合成した合成画像３６０を作成することができる。合成画像３６０の作成は再生デバイス２によって行うことができ、撮影画像をサーバ３に送信することでサーバ３によって合成画像３６０を作成することもできる。この合成画像３６０はデータやプリント物等によってユーザに提供でき、後日ユーザが有償あるいは無償でサーバ３からダウンロードできるようにしてもよい。

以上説明したように、本実施形態では、ユーザが観光を行う間、ユーザが装用した再生デバイス２でキャラクターの映像や音声を実空間を背景にして再生することで、ユーザはあたかもキャラクターと一緒に観光を楽しんでいるという感覚を得ることができ、ユーザの総合的な観光体験をより豊かにすることができる。しかも、ユーザは、キャラクターの位置を画像情報３５０中の人物との関係で指定する指示を音声によって行うことにより、キャラクターの映像を当該指定された位置に表示させることができる。これにより、本実施形態ではユーザがキャラクターに対し移動を指示し、キャラクターがこれに応えるという具体的なコミュニケーションをとることができるので、キャラクターと一緒に観光を楽しんでいるという感覚がより深まる。また観光中の様々なシチュエーションに応じてキャラクターを適切な位置に配置することができ、例えば人物撮影を行う際にキャラクターを好ましい位置に移動させ、当該人物とキャラクターの合成画像３６０を得ることができる。

また、本実施形態では再生デバイス２として眼鏡型のウェアラブルデバイスであるスマートグラスが用いられるので、ユーザの没入感を高め、キャラクターがあたかも実在するかのように感じることができる。

また本実施形態では、コンテンツデータ３２１を購入した際に発行される購入ID３２２１を複数の再生デバイス２に入力することで、これらの再生デバイス２で共通のキャラクターのコンテンツデータ３２１を再生することができ、家族や友人同士での観光を行う際に、各人の観光体験を豊かにすることが可能になる。

しかしながら、本発明は以上の実施形態に限らない。例えば、再生デバイス２としてスマートフォン等の携帯端末を用いることも可能であり、この場合、観光時にはスマートフォン等のカメラで撮影した実空間の画像にキャラクターの映像を重畳したものがスマートフォン等の表示部に表示される。

また、本実施形態ではコンテンツデータ３２１の再生情報としてキャラクターの映像の表示を行うための動画データや音声の出力を行うための音声データをサーバ３から再生デバイス２に送信しているが、例えばこれらの動画データや音声データを事前に再生デバイス２にダウンロードさせておき、サーバ３から再生デバイス２に送信する再生情報を、再生デバイス２で再生する動画データや音声データを指定する情報としてもよい。

また、本実施形態ではＳ１０４（図７参照）におけるセンサ情報の解析をサーバ３が行っているが、ランドマークデータ３２３などの必要な情報を予め再生デバイス２にダウンロードさせておくことで、再生デバイス２がこれを行うことも可能である。

さらに、図９（ａ）の例では個別のユーザ（再生デバイス２）に対しキャラクターｂがどこに居るかを設定し、その設定に応じたキャラクターｂの映像の表示を行っているが、本実施形態ではサーバ３が複数のユーザの再生デバイス２からその位置情報や向き情報を取得しているので、図１２（ａ）に示すように、複数のユーザａ１、ａ２（複数の再生デバイス２）について、キャラクターｂがどこに居るかの設定を共通化し、その設定に応じたキャラクターｂの映像の表示を行うことも可能である。

すなわち、図１２（ａ）に示す位置にキャラクターｂがいると設定する場合、ｃ１に示す向きに向いているユーザａ１の再生デバイス２では前記と同様キャラクターｂの映像等は再生されないが、ｃ２に示す向きに向いているユーザａ２の再生デバイス２では、キャラクターｂが正面に見えるように映像等が再生される。また、この状態からユーザａ１が前記と同様、図１２（ｂ）のようにユーザａ２の左にキャラクターｂが行くよう指示を行うと、今度はユーザａ１の再生デバイス２でキャラクターｂの映像等が再生され、ユーザａ２の再生デバイス２ではキャラクターｂの映像等が再生されなくなるようにする。これにより、家族や友人同士での観光を行う際に、キャラクターと一緒に観光を楽しんでいるという感覚がさらに深まる。

以上、添付図面を参照して、本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１：コンテンツ再生システム
２：再生デバイス
３：サーバ
２１：再生手段
２２：センサ
３１：送信手段
３２：受信手段
３３：解析手段
３２１：コンテンツデータ
３２２：購入情報
３２３：ランドマークデータ
３２４：メンバー情報
３２２１：購入ID
３２２２：コンテンツID
３２２３：購入者情報
３２３１：ランドマーク
３２３２：位置
３２３３：画像
３２４１：顔画像
３２４２：呼び名
３５０：画像情報
３６０：合成画像

Claims (10)

1. キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと通信可能に接続されたサーバであって、
   前記再生デバイスがセンサによって取得した画像情報及び音声情報を受信する受信手段と、
   前記画像情報及び音声情報を解析する解析手段と、
   前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する送信手段と、
   を備え、
   前記送信手段は、
   前記解析手段による解析の結果、前記音声情報に前記キャラクターの位置をユーザとは別の人物との関係によって指定する指示が含まれ、且つ、前記画像情報に当該人物が含まれる場合、前記キャラクターの映像を当該指定された位置に表示させるための再生情報を前記再生デバイスに送信することを特徴とするサーバ。
2. 前記サーバは、前記人物の顔画像及び呼び名をメンバー情報として記憶部に記憶し、
   前記解析手段は、前記メンバー情報を用いて解析を行うことを特徴とする請求項１に記載のサーバ。
3. 前記再生デバイスとして眼鏡型のウェアラブルデバイスと通信可能に接続することを特徴とする請求項１または請求項２に記載のサーバ。
4. 前記送信手段は、共通のキャラクターを表示するコンテンツデータの再生情報を複数のユーザの前記再生デバイスに送信することを特徴とする請求項１から請求項３のいずれかに記載のサーバ。
5. キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスであって、
   前記キャラクターの映像が実空間を背景にして表示されるように、前記コンテンツデータを再生する再生手段を有し、
   前記再生手段は、
   前記再生デバイスのセンサによって得た音声情報が、前記キャラクターの位置をユーザとは別の人物との関係によって指定する指示を含み、且つ、前記再生デバイスのセンサによって得た画像情報に当該人物が含まれる場合、前記キャラクターの映像を当該指定された位置に表示させることを特徴とする再生デバイス。
6. 前記キャラクターの映像を当該指定された位置に表示させた後、前記人物と前記キャラクターの合成画像が作成されるよう、前記人物を撮影することを特徴とする請求項５記載の再生デバイス。
7. キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと、サーバとを含むコンテンツ再生システムであって、
   前記サーバは、
   前記再生デバイスがセンサによって取得した画像情報及び音声情報を受信する受信手段と、
   前記画像情報及び音声情報を解析する解析手段と、
   前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する送信手段と、
   を備え、
   前記送信手段は、
   前記解析手段による解析の結果、前記音声情報に前記キャラクターの位置をユーザとは別の人物との関係によって指定する指示が含まれ、且つ、前記画像情報に当該人物が含まれる場合、前記キャラクターの映像を当該指定された位置に表示させるための再生情報を前記再生デバイスに送信することを特徴とするコンテンツ再生システム。
8. キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと通信可能に接続されたサーバが、
   前記再生デバイスがセンサによって取得した画像情報及び音声情報を受信するステップと、
   前記画像情報及び音声情報を解析するステップと、
   前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信するステップと、
   を実行し、
   前記解析の結果、前記音声情報に前記キャラクターの位置をユーザとは別の人物との関係によって指定する指示が含まれ、且つ、前記画像情報に当該人物が含まれる場合、前記キャラクターの映像を当該指定された位置に表示させるための再生情報を前記再生デバイスに送信することを特徴とするコンテンツ再生方法。
9. キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと通信可能に接続されたサーバを、
   前記再生デバイスがセンサによって取得した画像情報及び音声情報を受信する受信手段と、
   前記画像情報及び音声情報を解析する解析手段と、
   前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する送信手段と、
   して機能させるためのプログラムであって、
   前記送信手段は、
   前記解析手段による解析の結果、前記音声情報に前記キャラクターの位置をユーザとは別の人物との関係によって指定する指示が含まれ、且つ、前記画像情報に当該人物が含まれる場合、前記キャラクターの映像を当該指定された位置に表示させるための再生情報を前記再生デバイスに送信することを特徴とするプログラム。
10. キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスを、
    前記キャラクターの映像が実空間を背景にして表示されるように、前記コンテンツデータを再生する再生手段であって、
    前記再生デバイスのセンサによって得た音声情報が、前記キャラクターの位置をユーザとは別の人物との関係によって指定する指示を含み、且つ、前記再生デバイスのセンサによって得た画像情報に当該人物が含まれる場合、前記キャラクターの映像を当該指定された位置に表示させる再生手段として機能させるためのプログラム。

Images