JP7306162B2 - サーバ、再生デバイス、コンテンツ再生システム、コンテンツ再生方法、及びプログラム - Google Patents

Description

本発明は、ユーザの再生デバイスでコンテンツの再生を行うためのサーバ等に関する。

観光客は、カメラによって風景を撮影したり、風景をバックに自分や同行者を撮影したりして観光を楽しんでいる。また、特許文献１のような据え置き型の写真撮影装置は観光施設や観光地等に設置されることがあり、観光客を撮影した画像からクロマキー処理により観光客の人物画像を抽出し、観光施設や観光地等に応じた所定の背景画像と合成して観光客に提供することができる。

また特許文献２には、ＡＲ（拡張現実）技術を利用し、観光施設や観光地等の展望鏡で実空間の画像上に仮想的な建築物等のコンテンツを表示させることが開示されており、観光客はあたかもその建築物等が実空間に存在するように感じることができる。

特開2019-003304号公報 特開2003-264740号公報

これらの技術はユーザの観光体験を豊かにするものであるが、観光施設や観光地等においては、ユーザの総合的な観光体験をより豊かにし、ユーザの満足度を高めて来客者数の増加につなげることが求められている。

本発明は上記の問題に鑑みてなされたものであり、ユーザの観光体験を豊かにできるサーバ等を提供することを目的とする。

前述した課題を解決するための第１の発明は、キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと通信可能に接続されたサーバであって、所定の撮影場所に設けられた撮影装置によるユーザの撮影前に、前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する第１の再生情報送信手段と、前記再生デバイスがセンサによって取得したセンサ情報を受信するセンサ情報受信手段と、前記センサ情報の解析結果に基づき、前記キャラクターの背景画像を決定する背景画像決定手段と、前記背景画像を前記再生デバイスに送信する背景画像送信手段と、前記撮影装置によるユーザの撮影時に、前記キャラクターの映像が前記背景画像を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する第２の再生情報送信手段と、を有することを特徴とするサーバである。

本発明では、ユーザが観光を楽しんでその後記念撮影をする、という一連の行為のなかで、ユーザが装用等した再生デバイスでキャラクターの映像や音声を実空間等を背景にして再生することで、ユーザはあたかもキャラクターと一緒に観光や記念撮影を楽しんでいるという感覚を得ることができ、ユーザの総合的な観光体験をより豊かにすることができる。しかも、記念撮影時には、ユーザが視聴するキャラクターの背景を、センサ情報から判断したユーザの思い出の場所に関するものとでき、ユーザにとって印象深い写真撮影を実現できる。

前記背景画像送信手段は、前記撮影装置により撮影されるユーザの画像が前記背景画像と合成されるよう、前記背景画像を前記撮影装置に送信することが望ましい。
これにより、記念写真の背景をユーザの思い出の場所に関するものとでき、ユーザの印象に残る記念写真が得られる。

前記サーバは、前記再生デバイスとして眼鏡型のウェアラブルデバイスと通信可能に接続することが望ましい。
このような再生デバイスを用いることで、ユーザの没入感を高め、キャラクターがあたかも実在するかのように感じることができる。

前記センサ情報は、前記再生デバイスの周囲の画像情報を含むことが望ましい。前記背景画像決定手段は、例えば前記画像情報に含まれる顔画像の笑顔度を算出し、前記笑顔度を用いて前記背景画像を決定する。
これにより、ユーザが観光中に見たものを、前記の背景画像の決定に用いることができる。例えば複数のユーザが一緒に観光している場合、ユーザの見た他のユーザが笑顔であれば、その場所は観光を楽しんだ思い出深い場所であると推定できる。

前記第１、第２の再生情報送信手段は、共通のキャラクターを表示するコンテンツデータの再生情報を複数の前記再生デバイスに送信することが望ましい。
これにより、家族や友人同士で観光を行う際に、各人の観光体験を豊かにすることが可能になる。

第２の発明は、キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスであって、前記コンテンツデータを再生する再生手段を有し、前記再生手段は、所定の撮影場所に設けられた撮影装置によるユーザの撮影前、前記キャラクターの映像を実空間を背景にして表示し、前記撮影装置によるユーザの撮影時、前記キャラクターの映像を、前記再生デバイスのセンサによって取得されたセンサ情報に応じた背景画像上で表示することを特徴とする再生デバイスである。
第２の発明は、キャラクターの映像や音声を実空間およびセンサ情報に応じた背景画像を背景として再生する再生デバイスである。

第３の発明は、キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと、サーバとを含むコンテンツ再生システムであって、前記サーバは、所定の撮影場所に設けられた撮影装置によるユーザの撮影前に、前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する第１の再生情報送信手段と、前記再生デバイスがセンサによって取得したセンサ情報を受信するセンサ情報受信手段と、前記センサ情報の解析結果に基づき、前記キャラクターの背景画像を決定する背景画像決定手段と、前記背景画像を前記再生デバイスに送信する背景画像送信手段と、前記撮影装置によるユーザの撮影時に、前記キャラクターの映像が前記背景画像を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する第２の再生情報送信手段と、を有することを特徴とするコンテンツ再生システムである。
第３の発明は、第１の発明のサーバを含むコンテンツ再生システムである。

第４の発明は、キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと通信可能に接続されたサーバが、所定の撮影場所に設けられた撮影装置によるユーザの撮影前に、前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信するステップと、前記再生デバイスがセンサによって取得したセンサ情報を受信するステップと、前記センサ情報の解析結果に基づき、前記キャラクターの背景画像を決定するステップと、前記背景画像を前記再生デバイスに送信するステップと、前記撮影装置によるユーザの撮影時に、前記キャラクターの映像が前記背景画像を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信するステップと、を実行することを特徴とするコンテンツ再生方法である。
第４の発明は、第１の発明のサーバによるコンテンツ再生方法である。

第５の発明は、キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと通信可能に接続されたサーバを、所定の撮影場所に設けられた撮影装置によるユーザの撮影前に、前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する第１の再生情報送信手段と、前記再生デバイスがセンサによって取得したセンサ情報を受信するセンサ情報受信手段と、前記センサ情報の解析結果に基づき、前記キャラクターの背景画像を決定する背景画像決定手段と、前記背景画像を前記再生デバイスに送信する背景画像送信手段と、前記撮影装置によるユーザの撮影時に、前記キャラクターの映像が前記背景画像を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する第２の再生情報送信手段と、として機能させるためのプログラムである。
第５の発明は、第１の発明のサーバを機能させるためのプログラムである。

第６の発明は、キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスを、前記コンテンツデータを再生する再生手段であって、所定の撮影場所に設けられた撮影装置によるユーザの撮影前、前記キャラクターの映像を実空間を背景にして表示し、前記撮影装置によるユーザの撮影時、前記キャラクターの映像を、前記再生デバイスのセンサによって取得されたセンサ情報に応じた背景画像上で表示する再生手段として機能させるためのプログラムである。
第６の発明は、第２の発明の再生デバイスを機能させるためのプログラムである。

本発明により、ユーザの観光体験を豊かにできるサーバ等を提供することが可能となる。

コンテンツ再生システム１の構成を示す図。 再生デバイス２の外観を示す図。 再生デバイス２のハードウェア構成を示す図。 サーバ３のハードウェア構成を示す図。 撮影装置４のハードウェア構成を示す図。 購入情報３２２、ランドマークデータ３２３を示す図。 デバイス情報３２４を示す図。 コンテンツ再生システム１の機能構成を示す図。 コンテンツ再生システム１で行われる処理について示すフローチャート。 画像情報３２４１の例。 ユーザａとキャラクターｂの位置関係を示す図。 キャラクターｂの映像の表示の例。 コンテンツ再生システム１で行われる処理について示すフローチャート。 背景画像を説明する図。 透過型ディスプレイ２０６での表示の例。 合成画像７７の例。

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。

（１．コンテンツ再生システム１）
図１は本発明の実施形態に係るコンテンツ再生システム１の構成を示す図である。図１に示すように、コンテンツ再生システム１は、再生デバイス２、サーバ３、撮影装置４等をネットワーク５により通信可能に接続して構成される。

本実施形態のコンテンツ再生システム１は、観光施設や観光地、例えばアミューズメント施設やテーマパーク、動物園、美術館、博物館、名所旧跡等においてユーザがコンテンツデータを視聴するものであり、ユーザが再生デバイス２を装用して観光施設や観光地等で観光を行った後、撮影装置４で記念撮影を行う際に利用される。

再生デバイス２は、キャラクターの映像及び音声を含むコンテンツデータを実空間や仮想空間（後述する背景画像）を背景にしてユーザが視聴するためのデバイスであり、例えば、眼鏡型のスマートグラスやヘッドマウントディスプレイなどのウェアラブルデバイスが用いられる。本実施形態では、再生デバイス２としてスマートグラスを用いる例を説明する。

図２は再生デバイス２（スマートグラス）の外観を示す図であり、図３は再生デバイス２のハードウェア構成を示す図である。再生デバイス２は、フレーム２００に制御部２０１、記憶部２０２、通信部２０３、モーションセンサ２０４、位置センサ２０５、透過型ディスプレイ２０６、マイク２０７、スピーカ２０８、カメラ２０９、周辺機器I/F部２１０等を設けて構成される。ただし、再生デバイス２の構成はこれに限ることなく、適宜様々な構成をとることができる。

制御部２０１は、CPU、ROM、RAM等により構成される。CPUは、記憶部２０２、ROM等の記憶媒体に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、再生デバイス２の各部を駆動制御する。ROMは、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持する。RAMは、ロードしたプログラムやデータを一時的に保持するとともに、制御部２０１が各種処理を行うために使用するワークエリアを備える。

記憶部２０２はフラッシュメモリ等の記憶媒体である。記憶部２０２には、制御部２０１が実行するプログラム、プログラム実行に必要なデータ、オペレーティングシステム等が格納されている。

通信部２０３は、無線LAN、Bluetooth（登録商標）、近距離無線通信等の通信装置を有し、ネットワーク５等を介した通信や、Bluetooth（登録商標）対応機器・非接触型ICカード等との通信を制御する。

モーションセンサ２０４は、９軸センサ（地磁気センサ・加速度センサ・ジャイロセンサ）を含み、再生デバイス２の向いている方角や姿勢（傾きや回転）、動きの情報等を取得する。

位置センサ２０５は、再生デバイス２の現在位置を取得するものである。位置センサ２０５は、GPS（Global Positioning System）のように衛星からの信号によって自デバイスの位置を検出するものとしてもよいし、携帯電話の無線基地局や無線LANのアクセスポイントからの電波強度等によって自デバイスの位置を検出してもよい。

透過型ディスプレイ２０６は、シースルー方式の表示装置であり、例えばスマートグラスの両眼部にそれぞれ設けられる。透過型ディスプレイ２０６は、制御部２０１の制御により入力されたキャラクターの映像を、透過型ディスプレイ２０６の先にある実空間あるいは透過型ディスプレイ２０６で表示した仮想空間に重畳して表示させる。キャラクターの表示は、２Ｄまたは３Ｄのいずれでもよい。なお、透過型ディスプレイ２０６の代わりに網膜走査型のディスプレイを用いることも可能である。

マイク２０７はユーザ等の音声を集音する音声センサであり、スピーカ２０８はユーザ等に対し音声を出力するものである。

カメラ２０９は、例えばCCD（Charge Coupled Device）イメージセンサやCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を用いた画像センサであり、動画または静止画を撮影する。カメラ２０９は、図２に示すように、再生デバイス２の中央部に配置されるセンターカメラ２０９ａ、左右に配置されるステレオカメラ２０９ｂを含む。

周辺機器I/F部２１０は、周辺機器を接続させるためのポートであり、周辺機器I/F部２１０を介して周辺機器とのデータの送受信が行われる。周辺機器との接続形態は有線、無線を問わない。本実施形態では、周辺機器I/F部２１０に、再生デバイス２に対する操作指示を入力するためのコントローラ（不図示）が接続される。なお、再生デバイス２に対する操作指示はマイク２０７を介して音声によって行うことも可能である。

図１の説明に戻る。サーバ３は、コンテンツ再生システム１における各種の処理を実行するものである。これらの処理については後述する。

図４はサーバ３のハードウェア構成を示す図である。サーバ３は、制御部３０１、記憶部３０２、通信部３０３等を有するコンピュータによって実現できる。但し、サーバ３の構成はこれに限ることなく、適宜様々な構成をとることができる。またサーバ３は複数のコンピュータから構成されてもよい。

制御部３０１は、CPU、ROM、RAM等により構成される。CPUは、記憶部３０２、ROM等の記憶媒体に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、サーバ３の各部を駆動制御する。ROMは、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持する。RAMは、ロードしたプログラムやデータを一時的に保持するとともに、制御部３０１が各種処理を行うために使用するワークエリアを備える。

記憶部３０２は、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリ等の記憶媒体である。記憶部３０２には、制御部３０１が実行するプログラム、プログラム実行に必要なデータ、オペレーティングシステム等が格納される。

通信部３０３は、通信制御装置及び通信ポートを有し、ネットワーク５等を介した通信を制御する。サーバ３はネットワーク５を介して再生デバイス２や撮影装置４と通信可能に接続し、各種のデータを送受信可能である。

図１の説明に戻る。撮影装置４は、ユーザの撮影を行うためのものであり、撮影スタジオなど、観光施設や観光地等の所定の撮影場所に設けられる。撮影装置４は、カメラマンにより操作されるものでもよいし、ユーザが自分で操作を行うものでもよい。

図５は撮影装置４のハードウェア構成を示す図である。撮影装置４は、制御部４０１、記憶部４０２、通信部４０３、入力部４０４、表示部４０５、周辺機器I/F部４０６、カメラ４０７等を備える。

制御部４０１は、CPU、ROM、RAM等により構成される。CPUは記憶部４０２、ROM等の記憶媒体に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、撮影装置４の各部を駆動制御する。ROMは、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持する。RAMは、ロードしたプログラムやデータを一時的に保持するとともに、制御部４０１が各種処理を行うために使用するワークエリアを備える。

記憶部４０２は、例えば、ハードディスクドライブやソリッドステートドライブ、フラッシュメモリ等の記憶媒体である。記憶部４０２には制御部４０１が実行するプログラムや、プログラム実行に必要なデータ、オペレーティングシステム等が格納されている。

通信部４０３は、無線LAN、Bluetooth（登録商標）、近距離無線通信等の通信装置を有し、ネットワーク５等を介した通信や、Bluetooth（登録商標）対応機器・非接触型ＩＣカード等との通信を制御する。

入力部４０４は、例えば、キーボードやマウス等のポインティングデバイス、ディスプレイと一体的に設けられたタッチパネル等であり、撮影装置４に対する操作指示の入力に用いられる。

表示部４０５は、液晶パネル等のディスプレイ装置を有し、撮影装置４での撮影に係る表示をディスプレイ装置上で行う。

周辺機器I/F部４０６は、周辺機器を接続させるためのポートであり、周辺機器I/F部４０６を介して周辺機器とのデータの送受信が行われる。周辺機器との接続形態は有線、無線を問わない。

カメラ４０７は例えばCCDイメージセンサやCMOSイメージセンサなどの撮像素子を用いたデジタルカメラであり、周辺機器I/F部４０６を介して制御部４０１等と通信可能に接続される。

（２．サーバ３に記録されるデータ）
図４に示すように、サーバ３の記憶部３０２にはコンテンツデータ３２１、購入情報３２２、ランドマークデータ３２３、デバイス情報３２４等が記録される。

コンテンツデータ３２１は、例えば所定のキャラクターの映像や音声のデータである。キャラクターは例えばアニメやゲーム等の架空のキャラクターであるが、これに限ることはなく、実在する有名人等のものであってもよい。本実施形態では、ユーザが事前に購入したコンテンツデータ３２１がユーザの再生デバイス２で再生されるものとする。

購入情報３２２は、コンテンツデータ３２１を購入する際に登録される情報である。購入情報３２２は、例えば図６（ａ）に示すように、購入ID３２２１、コンテンツID３２２２、購入者情報３２２３等の情報を紐づけたものである。

購入ID３２２１は、コンテンツID３２２２、購入者情報３２２３などの購入記録を識別する識別情報であり、コンテンツデータ３２１を購入する際に生成される。
コンテンツID３２２２は、ユーザが購入したコンテンツデータ３２１を識別する識別情報である。
購入者情報３２２３は、コンテンツデータ３２１の購入者の氏名、連絡先、決済情報等であり、コンテンツデータ３２１の購入時に登録される。

ランドマークデータ３２３は、図６（ｂ）に示すように、観光施設や観光地内のランドマーク３２３１に対し、その位置３２３２、画像３２３３、及び推奨背景画像３２３４等を紐づけたものである。

ランドマーク３２３１は、観光施設や観光地内のランドマークの名称である。ただし、ランドマーク３２３１は観光施設や観光地内の場所を指定できるものであれば何でも構わない。
位置３２３２は、ランドマーク３２３１の位置を示す情報であり、例えば緯度と経度によって表される。
画像３２３３は、ランドマーク３２３１の画像である。
推奨背景画像３２３４は、後述する背景画像として用いられる画像データであり、ランドマーク３２３１ごとに関係ある画像が定められる。推奨背景画像３２３４は例えば無人時のランドマーク３２３１周辺の画像などであるが、これに限ることはなく、ランドマーク３２３１に関係があればよい。

デバイス情報３２４は、図７に示すように、コンテンツデータ３２１の購入ID３２２１と紐づけて画像情報３２４１、音声情報３２４２、位置情報３２４３、デバイスの向き３２４４等を記録した構成となっている。

画像情報３２４１は、再生デバイス２のカメラ２０９で撮影された再生デバイス２の周囲の画像のデータである。
音声情報３２４２は、再生デバイス２のマイク２０７で集音された音声のデータである。
位置情報３２４３は、再生デバイス２の位置センサ２０５で取得した再生デバイス２の位置のデータである。位置情報３２４３は例えば緯度、経度等で表される。
デバイスの向き３２４４は、再生デバイス２のモーションセンサ２０４で取得した再生デバイス２の向きに関するデータである。デバイスの向き３２４４は例えば角度等で表される。

これらの画像情報３２４１、音声情報３２４２、位置情報３２４３、デバイスの向き３２４４のデータは、再生デバイス２のセンサ（モーションセンサ２０４、位置センサ２０５、マイク２０７、カメラ２０９等）で取得されるものであり、以下センサ情報３２４０ということがある。センサ情報３２４０は再生デバイス２からサーバ３へと短い時間間隔で定期的に送信され、各時間におけるセンサ情報３２４０が履歴としてデバイス情報３２４に記録される。センサ情報３２４０の履歴は、再生デバイス２を装用して観光を行ったユーザの体験に関する情報でもある。

（３．コンテンツ再生システム１の機能）
次に、コンテンツ再生システム１の機能構成について説明する。図８に示すように、コンテンツ再生システム１において、再生デバイス２は再生手段２１とセンサ２２を有し、サーバ３は第１の再生情報送信手段３１、センサ情報受信手段３２、背景画像決定手段３３、背景画像送信手段３４、第２の再生情報送信手段３５等を有する。

再生手段２１は、再生デバイス２の制御部２０１が透過型ディスプレイ２０６やスピーカ２０８によってキャラクターの映像や音声（コンテンツデータ３２１）を再生するものである。

センサ２２は、再生デバイス２のモーションセンサ２０４、位置センサ２０５、マイク２０７、カメラ２０９等に対応し、前記したセンサ情報３２４０の取得を行うものである。

第１の再生情報送信手段３１は、サーバ３の制御部３０１が、ユーザの観光時（撮影装置４によるユーザの記念撮影前）に、コンテンツデータ３２１の再生情報を通信部３０３を介して再生デバイス２に送信するものである。コンテンツデータ３２１の再生情報は、例えばそのキャラクターの映像の表示を行うための動画データや音声の出力を行うための音声データであり、再生デバイス２ではキャラクターの映像が透過型ディスプレイ２０６の先にある実空間を背景にして表示される。

センサ情報受信手段３２は、サーバ３の制御部３０１が、再生デバイス２から送信されたセンサ情報３２４０を通信部３０３を介して受信するものである。

背景画像決定手段３３は、サーバ３の制御部３０１が、上記センサ情報３２４０の解析結果に基づき、背景画像を決定するものである。

背景画像送信手段３４は、サーバ３の制御部３０１が、上記背景画像を通信部３０３を介して再生デバイス２と撮影装置４に送信するものである。

第２の再生情報送信手段３５は、サーバ３の制御部３０１が、撮影装置４によるユーザの記念撮影時に、コンテンツデータ３２１の再生情報を通信部３０３を介して再生デバイス２に送信するものである。この時、再生デバイス２ではキャラクターの映像が背景画像上に重畳して表示される。

（４．コンテンツ再生方法）
次に、本発明の実施形態に係るコンテンツ再生システム１における処理（コンテンツ再生方法）について説明する。前記したように、本実施形態ではユーザが観光施設や観光地等で観光を行った後、撮影スタジオ等で記念撮影を行うので、以下ではそれぞれの場面におけるコンテンツ再生システム１の処理について説明する。

なお、本システムを利用する場合は、前記したように事前にコンテンツデータ３２１の購入を行う必要がある。ユーザは、ユーザ端末（不図示）を用いてサーバ３にアクセスし、サーバ３の提供するWebサイト上でコンテンツデータ３２１の購入を行う。この際、前記した購入者情報３２２３を入力し、コンテンツデータ３２１を選択する。サーバ３は、ユーザに対し購入ID３２２１を発行し、選択されたコンテンツデータ３２１に対応するコンテンツID３２２２を、上記の購入ID３２２１および購入者情報３２２３と紐づけ、購入情報３２２の登録を行う。

コンテンツデータ３２１を購入したユーザは、再生デバイス２を観光施設や観光地等の係員から受け取り、再生デバイス２に購入ID３２２１を入力することで、購入したコンテンツデータ３２１を視聴可能となる。購入ID３２２１は、再生デバイス２の貸出時に係員が入力してもよいし、サーバ３からユーザ端末（不図示）に送信された購入ID３２２１をユーザ自身で再生デバイス２に入力してもよい。その他、ユーザのウェアラブルデバイスや非接触型ICカードに購入ID３２２１を記録しておき、これらの媒体から再生デバイス２に購入ID３２２１を送信してもよい。

（４－１．観光施設や観光地等の観光時（撮影装置４による記念撮影前））
ユーザは、上記の再生デバイス２を装用し、観光施設や観光地等を観光する。この際、再生デバイス２では購入ID３２２１に対応するコンテンツデータ３２１の再生が適宜行われ、ユーザはキャラクターと一緒に観光をしているような感覚を得ることができる。

図９は、ユーザの観光時にコンテンツ再生システム１で行われる処理について示すフローチャートである。図９のＳ１０１～Ｓ１０２、Ｓ１０７～Ｓ１０８は再生デバイス２の制御部２０１が再生デバイス２の各部を制御して実行する処理であり、Ｓ１０３～Ｓ１０６はサーバ３の制御部３０１がサーバ３の各部を制御して実行する処理である。

ユーザの観光時、再生デバイス２は、前記した画像情報３２４１、音声情報３２４２、位置情報３２４３、デバイスの向き３２４４等をセンサ情報３２４０として取得する（Ｓ１０１）。画像情報３２４１は、カメラ２０９によってユーザの視線方向の画像を撮影することで得られ、音声情報３２４２はマイク２０７により周囲の音声を集音することで得られる。位置情報３２４３は前記したように位置センサ２０５により得ることができ、デバイスの向き３２４４はモーションセンサ２０４によって得ることができる。

図１０は上記の画像情報３２４１の例である。本実施形態では、家族や友人同士など複数のユーザが再生デバイス２の貸出を受けて一緒に観光を行うものとし、ユーザが別のユーザを見ている場合、画像情報３２４１には当該別のユーザの顔画像が含まれる。

再生デバイス２は、センサ情報３２４０を再生デバイス２の購入ID３２２１とともにサーバ３に送信する（Ｓ１０２）。

サーバ３は、上記のセンサ情報３２４０と購入ID３２２１を受信すると（Ｓ１０３）、センサ情報３２４０を購入ID３２２１と紐づけ、デバイス情報３２４として記録する（Ｓ１０４）。

サーバ３は、また、Ｓ１０３で受信したセンサ情報３２４０を解析し（Ｓ１０５）、必要に応じて、購入ID３２２１に対応するコンテンツデータ３２１について、そのキャラクターの映像の表示や音声の出力を行うための再生情報を再生デバイス２に送信する（Ｓ１０６）。前記したように、再生情報は、例えばキャラクターの映像の表示を行うための動画データや音声の出力を行うための音声データである。

再生デバイス２は、再生情報を受信する（Ｓ１０７）と、その再生情報に基づくコンテンツデータ３２１の再生を行う（Ｓ１０８）。この際、上記したキャラクターの映像や音声が再生デバイス２により再生されることになる。キャラクターの映像は、再生デバイス２の透過型ディスプレイ２０６の先に存在するリアルタイムの実空間を背景として、透過型ディスプレイ２０６にて表示される。

Ｓ１０３でサーバ３が受信するセンサ情報３２４０と、Ｓ１０６でサーバ３が送信する再生情報の関係は様々に設定することができ、その一例として、例えばユーザの視線方向すなわち再生デバイス２の向きに応じてキャラクターの特定の映像や音声を再生することが可能である。

例えば図１１（ａ）に示すようにユーザａ（再生デバイス２）が特定の向き以外の向きｃを向いているとき、キャラクターｂの映像や音声は再生されないが、図１１（ｂ）に示すようにユーザａが視線を移して特定の向きｃ’にすると、キャラクターｂの映像が図１２（ａ）のように実空間を背景にして表示され、またキャラクターｂの特定の音声が再生されるようにする。これらの映像や音声は、例えばユーザの観光を盛り上げるような内容とするが、特に限定されることはない。

上記の処理は、ユーザａとキャラクターｂが図１１（ａ）に示すような位置関係（ユーザａから見て右隣にキャラクターｂが存在する）であるという仮想的な状況を設定し、そのキャラクターｂが図１１（ｂ）に示すようにユーザの視野ｄ内に入るときにキャラクターｂがユーザａから見えて、キャラクターｂからユーザａに音声コミュニケーションがなされるといった交流場面を実現するものである。

その他、Ｓ１０３でセンサ情報３２４０として受信した位置情報３２４３に近い位置３２３２のランドマーク３２３１がランドマークデータ３２３に存在し、且つ、Ｓ１０３で同じくセンサ情報３２４０として受信した画像情報３２４１に対し画像処理を行うことにより、上記ランドマーク３２３１の画像３２３３と一致するランドマークが画像情報３２４１内に存在すると判定された場合に、図１２（ｂ）に示すようにキャラクターｂの映像を実空間を背景にして再生デバイス２で表示し、そのランドマーク３２３１に応じたキャラクターｂの音声を出力することも考えられる。これらの映像や音声は、例えばランドマーク３２３１の紹介等をするような内容とするが、特に限定されることはない。

上記の処理は、ユーザがランドマーク３２３１の近くに居てランドマーク３２３１を見ている場合に、キャラクターｂからユーザａにランドマーク３２３１の紹介等がなされるといった交流場面を実現するものである。

これらの処理により、ユーザはあたかもキャラクターｂと同伴しながら観光をしているような感覚を得ることができ、ユーザの観光体験をより豊かにすることができる。本実施形態では一緒に観光をする複数のユーザが再生デバイス２でコンテンツデータ３２１の再生を行っており、各人の再生デバイス２では共通のキャラクターが表示される。

（４－２．撮影装置４による記念撮影時）
こうしてユーザは観光を行い、その後、所定場所にある撮影スタジオで撮影装置４によって記念撮影を行う。図１３はこの際コンテンツ再生システム１で行われる処理について示すフローチャートである。図１３のＳ２０１～Ｓ２０２、Ｓ２１０～Ｓ２１３は撮影装置４の制御部４０１が撮影装置４の各部を制御して実行する処理であり、Ｓ２０３～Ｓ２０６はサーバ３の制御部３０１がサーバ３の各部を制御して実行する処理である。Ｓ２０７～Ｓ２０９は再生デバイス２の制御部２０１が再生デバイス２の各部を制御して実行する。

本実施形態では、記念撮影時、撮影スタジオでユーザ等が撮影装置４に購入ID３２２１を入力する。購入ID３２２１は、ユーザ等が撮影装置４の入力部４０４から直接入力してもよいし、ウェアラブルデバイスや非接触式ＩＣカードに購入ID３２２１を記録している場合では、これらの媒体から撮影装置４に購入ID３２２１を送信してもよい。

撮影装置４は購入ID３２２１の入力を受け付け（Ｓ２０１）、購入ID３２２１をサーバ３に送信する（Ｓ２０２）。

サーバ３は、購入ID３２２１を受信すると（Ｓ２０３）、その購入ID３２２１に対応するデバイス情報３２４を取得し、そのセンサ情報３２４０の解析を行って（Ｓ２０４）、解析結果に基づき記念撮影時の背景画像を決定する（Ｓ２０５）。本実施形態ではこの背景画像として前記した推奨背景画像３２３４（図６（ｂ）参照）が用いられる。

センサ情報３２４０とＳ２０５で決定される背景画像の関係は様々に設定することができるが、その一例として、例えば画像情報３２４１に含まれるユーザの顔画像について笑顔度を算出し、この笑顔度に基づいて背景画像を決定することが可能である。

例えば、各ユーザの再生デバイス２で撮影した画像情報３２４１から顔画像を含むものを抽出し、その顔画像について笑顔度を算出する。次に、最も笑顔度の高い顔画像を含む画像情報３２４１を求め、それが撮影された際の位置情報３２４３をデバイス情報３２４から取得する。そして、その位置情報３２４３に近い位置３２３２を有するランドマーク３２３１をランドマークデータ３２３から検索し、検索されたランドマーク３２３１に対応する推奨背景画像３２３４を前記の背景画像として決定する。

これは、笑顔度が高い場合、その画像情報３２４１が撮影された場所でユーザが十分楽しんでいたことが推定され、そのような思い出深い場所に関する画像を記念撮影時の背景画像とするためである。なお、笑顔度の算出については既知の画像解析手法を用いることができ、複数の顔画像が画像情報３２４１に含まれている場合は、各顔画像の笑顔度を加算して評価に用いることも、各顔画像の笑顔度の平均をとって評価に用いることも可能である。また一緒に観光している複数のユーザのメンバー属性、例えば個々のユーザが大人であるか子供であるか、男性であるか女性であるかなどを考慮し、笑顔度の高い人物が子供や女性であるときに、その画像情報３２４１から前記と同様に推奨背景画像３２３４を決定することも可能である。

サーバ３は、Ｓ２０５で決定した背景画像（推奨背景画像３２３４）を再生デバイス２と撮影装置４に送信する（Ｓ２０６）。

再生デバイス２は、背景画像を受信すると（Ｓ２０７）と、これを透過型ディスプレイ２０６に表示させる（Ｓ２０８）。この背景画像（推奨背景画像３２３４）は、図１４に示すようにユーザａの全方位を囲む３６０度分の画像とされており、そのうちユーザａ（再生デバイス２）の向きｃに応じた画像が図１５（ａ）に示すように透過型ディスプレイ２０６に表示される。

なお、本実施形態では後述するクロマキー処理を行うため撮影スタジオ内の内壁は単色で構成されているが、記念撮影時には透過型ディスプレイ２０６に背景画像が表示されることで、その向こう側にある撮影スタジオの内壁がユーザに見えることはない。すなわち、記念撮影時には、透過型ディスプレイ２０６が背景画像を表示することによりＶＲ空間（仮想空間）が実現されている。

本実施形態では、記念撮影時にも、図１１で説明した例と同様に、センサ情報３２４０、特にデバイスの向き３２４４に応じたコンテンツデータ３２１の再生が図９で説明したフローで行われる（Ｓ２０９）。記念撮影時には、図１５（ｂ）に示すようにキャラクターｂ（図１１参照）の映像が上記の背景画像上に重畳して表示される。

この時再生されるキャラクターｂの映像や音声は、例えばユーザに対して撮影時の表情やポーズを提案する等、記念撮影を盛り上げるようなものとするが、特に限定されることはない。また本実施形態では一緒に記念撮影をする複数のユーザが再生デバイス２でコンテンツデータ３２１の再生と背景画像の表示を行っており、各人の再生デバイス２では共通のキャラクターと背景画像が表示される。

一方、撮影装置４も、サーバ３から背景画像を受信すると（Ｓ２１０）と、これを表示部４０５等に表示させる（Ｓ２１１）。カメラ４０７には前記したモーションセンサ２０４と同様のセンサが設けられており、再生デバイス２と同様、カメラ４０７の向きに応じた背景画像の表示を行うことができる。また、撮影装置４が、再生デバイス２と同様に図９で説明したフローによってコンテンツデータ３２１の再生を行うようにしてもよい。この場合、撮影装置４では再生デバイス２で再生されるキャラクターと同じキャラクターを表示することができる。

撮影装置４は、カメラマン等の操作に応じてユーザを撮影し（Ｓ２１２）、撮影画像から抽出したユーザの人物画像を背景画像と合成した合成画像を作成する（Ｓ２１３）。作成した合成画像は、データやプリント物として出力し、ユーザに提供される。また合成画像をサーバ３にアップロードし、後日ユーザが有償あるいは無償でダウンロードできるようにしてもよい。

図１６（ａ）は上記の合成画像７７の例である。前記したように、ユーザａは実際には撮影スタジオの内壁をバックに撮影されるので、撮影画像から当該内壁の色の部分を除去する処理（クロマキー処理）を行うことでユーザａの人物画像を抽出できる。また、ユーザａの人物画像と合成する背景画像は、例えば３６０度分の画像である推奨背景画像３２３４のうち、ユーザａの撮影時のカメラ４０７の向きに応じたものとできる。

また、図１６（ｂ）に示すように、合成画像７７において、さらにキャラクターｂの画像を合成することも可能であり、ユーザａとキャラクターｂが一緒に撮影したかのような合成画像７７を得ることができる。

キャラクターｂの画像は、記念撮影時において再生デバイス２が表示するキャラクターと同じキャラクターのものを撮影装置４がサーバ３から受信して得ることができる。キャラクターｂを合成する位置は、例えば図１１（ａ）で説明したようなユーザａとキャラクターｂの位置関係に合致する位置（例えばユーザａから見て右隣となる位置）とすることができる。

以上説明したように、本実施形態では、ユーザが観光を楽しんでその後記念撮影をする、という一連の行為のなかで、ユーザが装用した再生デバイス２でキャラクターの映像や音声を実空間等を背景にして再生することで、ユーザはあたかもキャラクターと一緒に観光や記念撮影を楽しんでいるという感覚を得ることができ、ユーザの総合的な観光体験をより豊かにすることができる。しかも、記念撮影時には、ユーザが視聴するキャラクターの背景を、センサ情報３２４０から判断したユーザの思い出の場所に関するものとでき、ユーザにとって印象深い写真撮影を実現できる。また、撮影されたユーザの人物画像は上記背景と合成されるので、ユーザの印象に残る記念写真を得ることができる。

また、本実施形態では再生デバイス２として眼鏡型のウェアラブルデバイスであるスマートグラスが用いられるので、ユーザの没入感を高め、キャラクターがあたかも実在するかのように感じることができる。

また、本実施形態では前記のセンサ情報３２４０に画像情報３２４１が含まれており、ユーザが観光中に見たものを、背景画像の決定に用いることができる。特に本実施形態では、画像情報３２４１から得られる笑顔度を用いて背景画像を決定しており、複数のユーザが一緒に観光している場合、ユーザの見た他のユーザが笑顔であれば、その場所は観光を楽しんだ思い出深い場所であると推定できる。

また本実施形態では、コンテンツデータ３２１を購入した際に発行される購入ID３２２１を複数の再生デバイス２に入力することで、これらの再生デバイス２で共通のキャラクターのコンテンツデータ３２１を再生することができ、家族や友人同士での観光を行う際に、各人の観光体験を豊かにすることが可能になる。

しかしながら、本発明は以上の実施形態に限らない。例えば、再生デバイス２としてスマートフォン等の携帯端末を用いることも可能であり、この場合、観光時にはスマートフォン等のカメラで撮影した実空間の画像にキャラクターの映像を重畳したものがスマートフォン等の表示部に表示される。その後の記念撮影時には、前記した背景画像にキャラクターの映像を重畳したものがスマートフォン等の表示部に表示される。

また、背景画像の決定方法も画像情報３２４１から笑顔度を算出するものに限定されず、例えば画像情報３２４１から「絶叫している表情」や「驚いている表情」等、様々な表情についてその度合いを絶叫度や驚愕度などとして算出し、背景画像の決定に用いることもできる。また、ユーザが笑っているか、絶叫しているか、といった観点から音声情報３２４２に基づいて背景画像を決定することも可能である。

また、本実施形態ではランドマーク３２３１に対応する推奨背景画像３２３４を記念撮影時の背景画像としているが、これに限ることはない。例えば、笑顔度が最も高かった画像情報３２４１に画像補正処理、例えば画像サイズの調整、伸縮、回転、色調整、不要な人物消去等を施し、これを背景画像として用いることも可能である。上記の画像情報３２４１の代わりに、当該画像情報３２４１と同じ位置で別のユーザの再生デバイス２が取得した画像情報３２４１を用いてもよい。

また、本実施形態ではユーザの観光中に再生デバイス２で取得したセンサ情報３２４０を記念撮影時の背景画像の決定に用いるが、センサ情報３２４０を記念撮影時に再生デバイス２で表示されるキャラクターの決定に用いることも可能である。例えば前記した背景画像の決定時の処理では観光中の思い出深い場所として特定のランドマーク３２３１がわかるので、そのランドマーク３２３１に関係のあるキャラクターの映像を表示するコンテンツデータ３２１の再生情報を記念撮影時に再生デバイス２に送信すればよい。

また、本実施形態ではコンテンツデータ３２１の再生情報としてキャラクターの映像の表示を行うための動画データや音声の出力を行うための音声データをサーバ３から再生デバイス２に送信しているが、例えばこれらの動画データや音声データを事前に再生デバイス２にダウンロードさせておき、サーバ３から再生デバイス２に送信する再生情報を、再生デバイス２で再生する動画データや音声データを指定する情報としてもよい。

また、本実施形態では背景画像を決定するためのセンサ情報３２４０の解析（図１３のＳ２０４）をサーバ３が行っているが、ランドマークデータ３２３などの必要な情報を予め再生デバイス２にダウンロードさせておくことで、再生デバイス２がこれを行うことも可能である。これは前記した図９のＳ１０５における解析についても同様である。

以上、添付図面を参照して、本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１：コンテンツ再生システム
２：再生デバイス
３：サーバ
４：撮影装置
２１：再生手段
２２：センサ
３１：第１の再生情報送信手段
３２：センサ情報受信手段
３３：背景画像決定手段
３４：背景画像送信手段
３５：第２の再生情報送信手段
７７：合成画像
３２１：コンテンツデータ
３２２：購入情報
３２３：ランドマークデータ
３２４：デバイス情報
３２２１：購入ID
３２２２：コンテンツID
３２２３：購入者情報
３２３１：ランドマーク
３２３２：位置
３２３３：画像
３２３４：推奨背景画像
３２４０：センサ情報
３２４１：画像情報
３２４２：音声情報
３２４３：位置情報
３２４４：デバイスの向き

Claims (11)

1. キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと通信可能に接続されたサーバであって、
   所定の撮影場所に設けられた撮影装置によるユーザの撮影前に、前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する第１の再生情報送信手段と、
   前記再生デバイスがセンサによって取得したセンサ情報を受信するセンサ情報受信手段と、
   前記センサ情報の解析結果に基づき、前記キャラクターの背景画像を決定する背景画像決定手段と、
   前記背景画像を前記再生デバイスに送信する背景画像送信手段と、
   前記撮影装置によるユーザの撮影時に、前記キャラクターの映像が前記背景画像を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する第２の再生情報送信手段と、
   を有することを特徴とするサーバ。
2. 前記背景画像送信手段は、前記撮影装置により撮影されるユーザの画像が前記背景画像と合成されるよう、前記背景画像を前記撮影装置に送信することを特徴とする請求項１記載のサーバ。
3. 前記再生デバイスとして眼鏡型のウェアラブルデバイスと通信可能に接続することを特徴とする請求項１または請求項２に記載のサーバ。
4. 前記センサ情報は、前記再生デバイスの周囲の画像情報を含むことを特徴とする請求項１から請求項３のいずれかに記載のサーバ。
5. 前記背景画像決定手段は、前記画像情報に含まれる顔画像の笑顔度を算出し、前記笑顔度を用いて前記背景画像を決定することを特徴とする請求項４に記載のサーバ。
6. 前記第１、第２の再生情報送信手段は、共通のキャラクターを表示するコンテンツデータの再生情報を複数の前記再生デバイスに送信することを特徴とする請求項１から請求項５のいずれかに記載のサーバ。
7. キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスであって、
   前記コンテンツデータを再生する再生手段を有し、
   前記再生手段は、
   所定の撮影場所に設けられた撮影装置によるユーザの撮影前、前記キャラクターの映像を実空間を背景にして表示し、
   前記撮影装置によるユーザの撮影時、前記キャラクターの映像を、前記再生デバイスのセンサによって取得されたセンサ情報に応じた背景画像上で表示することを特徴とする再生デバイス。
8. キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと、サーバとを含むコンテンツ再生システムであって、
   前記サーバは、
   所定の撮影場所に設けられた撮影装置によるユーザの撮影前に、前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する第１の再生情報送信手段と、
   前記再生デバイスがセンサによって取得したセンサ情報を受信するセンサ情報受信手段と、
   前記センサ情報の解析結果に基づき、前記キャラクターの背景画像を決定する背景画像決定手段と、
   前記背景画像を前記再生デバイスに送信する背景画像送信手段と、
   前記撮影装置によるユーザの撮影時に、前記キャラクターの映像が前記背景画像を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する第２の再生情報送信手段と、
   を有することを特徴とするコンテンツ再生システム。
9. キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと通信可能に接続されたサーバが、
   所定の撮影場所に設けられた撮影装置によるユーザの撮影前に、前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信するステップと、
   前記再生デバイスがセンサによって取得したセンサ情報を受信するステップと、
   前記センサ情報の解析結果に基づき、前記キャラクターの背景画像を決定するステップと、
   前記背景画像を前記再生デバイスに送信するステップと、
   前記撮影装置によるユーザの撮影時に、前記キャラクターの映像が前記背景画像を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信するステップと、
   を実行することを特徴とするコンテンツ再生方法。
10. キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスと通信可能に接続されたサーバを、
    所定の撮影場所に設けられた撮影装置によるユーザの撮影前に、前記キャラクターの映像が実空間を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する第１の再生情報送信手段と、
    前記再生デバイスがセンサによって取得したセンサ情報を受信するセンサ情報受信手段と、
    前記センサ情報の解析結果に基づき、前記キャラクターの背景画像を決定する背景画像決定手段と、
    前記背景画像を前記再生デバイスに送信する背景画像送信手段と、
    前記撮影装置によるユーザの撮影時に、前記キャラクターの映像が前記背景画像を背景にして前記再生デバイスで表示されるよう、前記コンテンツデータの再生情報を前記再生デバイスに送信する第２の再生情報送信手段と、
    として機能させるためのプログラム。
11. キャラクターの映像及び音声を含むコンテンツデータをユーザが視聴するための再生デバイスを、
    前記コンテンツデータを再生する再生手段であって、
    所定の撮影場所に設けられた撮影装置によるユーザの撮影前、前記キャラクターの映像を実空間を背景にして表示し、
    前記撮影装置によるユーザの撮影時、前記キャラクターの映像を、前記再生デバイスのセンサによって取得されたセンサ情報に応じた背景画像上で表示する再生手段として機能させるためのプログラム。

Images