JP6809539B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

従来、例えばＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）など、過去に撮影された画像を実世界と関連付けて表示する技術が各種開発されている。

例えば、下記特許文献１には、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）の現在位置において撮影された動画が存在すると判断された場合に、ＨＭＤが当該動画のタイトル画像を表示する技術が記載されている。

特開２０１４−９０３８６号公報

しかしながら、特許文献１に記載の技術では、実空間においてセンシングされた三次元情報に応じた映像を表示することについては考慮されていなかった。

そこで、本開示では、センシングされた三次元情報に応じた映像を、当該映像が表示される空間に適応的に表示させることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、第１の実空間においてセンシングされた第１の三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基いて決定する決定部、を備える、情報処理装置が提供される。

また、本開示によれば、第１の実空間においてセンシングされた第１の三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基いてプロセッサが決定すること、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータを、第１の実空間においてセンシングされた第１の三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基いて決定する決定部、として機能させるための、プログラムが提供される。

以上説明したように本開示によれば、センシングされた三次元情報に応じた映像を、当該映像が表示される空間に適応的に表示させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の実施形態による情報処理システムの構成例を示した説明図である。 同実施形態による再生装置３０の構成例を示した機能ブロック図である。 同実施形態によるサーバ１０の構成例を示した機能ブロック図である。 同実施形態による動画ＤＢ１２４の構成例を示した説明図である。 同実施形態によるメタ情報１２４８の構成例を示した説明図である。 同実施形態による、再生対象の映像の表示領域を指定するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の表示例を示した図である。 同実施形態による、再生対象の映像の表示領域を指定するための別のＧＵＩの表示例を示した図である。 同実施形態による、再生対象の映像の表示領域の候補の表示例を示した図である。 同実施形態による、再生対象の映像の表示領域の候補の別の表示例を示した図である。 同実施形態による、再生対象の映像に関するプレビュー映像の表示例を示した図である。 同実施形態による、前景部分を指定するための操作画面における、ユーザによる前記部分の指定例を示した図である。 同実施形態による、再生対象の動画に対する色変換の処理の流れを示したフローチャートである。 同実施形態による、空間固定モードの設定時における映像の表示例を示した図である。 同実施形態による、移動体固定モードの設定時における映像の表示例を示した図である。 同実施形態による処理の流れの一部を示したシーケンス図である。 同実施形態による処理の流れの一部を示したシーケンス図である。 同実施形態によるサーバ１０のハードウェア構成例を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてサーバ１０ａおよびサーバ１０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、サーバ１０ａおよびサーバ１０ｂを特に区別する必要が無い場合には、単にサーバ１０と称する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．情報処理システムの構成
２．実施形態の詳細な説明
３．ハードウェア構成
４．変形例

＜＜１．情報処理システムの構成＞＞
まず、本開示の実施形態による情報処理システムの構成例について、図１を参照して説明する。図１に示すように、本実施形態による情報処理システムは、サーバ１０、記録装置２０、再生装置３０、および、通信網３２を有する。

＜１−１．記録装置２０＞
記録装置２０は、実空間のデプス情報および動画を記録するための装置である。記録装置２０は、カメラ（ＲＧＢカメラ）を含み得る。そして、記録装置２０は、例えばユーザの操作などに基いて、動画を撮影することが可能である。例えば、記録装置２０は、当該カメラに含まれるレンズを介して、当該カメラに含まれる撮像素子に集光することにより、動画を撮影する。

また、記録装置２０は、デプスセンサ、ステレオカメラ、または、レンジファインダなどを含み得る。そして、記録装置２０は、例えば所定の時間間隔で、記録装置２０の前方のデプスマップ（デプス情報）を逐次記録することが可能である。

また、記録装置２０は、位置情報取得部（図示省略）を含み得る。この位置情報取得部は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ＧＬＯＮＡＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、ガリレオ、北斗、または、みちびきなどの測位衛星から測位信号を受信する受信機を含み得る。なお、位置情報取得部は、一種類の衛星から測位信号を受信することも可能であるし、または、複数の種類の衛星による測位信号を受信し、かつ、受信した信号を組み合わせて現在位置を測位することも可能である。

また、位置情報取得部は、例えば通信アンテナやネットワークカードなどを含み得る。この場合、位置情報取得部は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）アクセスポイント、Ｗｉ−Ｆｉ（登録商標）アクセスポイント、またはＲＦＩＤタグなどから位置情報を受信することにより、現在の位置情報を取得することが可能である。または、位置情報取得部は、これらの装置のＩＤを受信し、そして、当該ＩＤに対応する位置情報を所定の装置（図示省略）へ問い合わせ、かつ、当該位置情報を当該所定の装置から取得することにより、現在の位置情報を取得することも可能である。

また、記録装置２０は、さらに、例えばＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）などの技術を用いて、記録装置２０の自己位置を推定することも可能である。例えば、記録装置２０は、記録装置２０のカメラにより撮影された画像などに基いて、記録装置２０の周辺に位置する特定の物体を認識し、そして、当該物体の位置情報を例えば所定の装置から取得することにより、記録装置２０の自己位置を推定する。

ここで、記録装置２０によるデプス情報および動画の記録方法についてより詳細に説明する。例えば、記録装置２０は、動画およびデプスマップを同時に記録し、かつ、記録時の位置情報を当該動画と関連付けて記録する。さらに、記録装置２０は、当該動画およびデプスマップと関連付けてメタ情報を記録してもよい。一例として、記録装置２０は、撮影した動画、センシングしたデプスマップ、および、メタ情報を纏めて一つのファイルとして記録する。ここで、メタ情報は、例えば、該当の動画のＩＤ、タイトル、サムネイル、記録者名、記録日時、記録時の位置情報、および、記録時の記録装置２０の姿勢情報などを含む。

また、記録装置２０は、有線通信または無線通信により、他の装置と通信する機能を有し得る。例えば、記録装置２０は、ユーザの操作に基いて、撮影された動画、および、当該動画に関連付けられているデプスマップおよびメタ情報を、後述する通信網３２を介してサーバ１０へ送信する。

＜１−２．サーバ１０＞
サーバ１０は、本開示における情報処理装置の一例である。サーバ１０は、記録装置２０により記録された動画などの情報を管理するための装置である。例えば、サーバ１０は、受信された動画、デプスマップ、および、メタ情報を関連付けて管理する。

また、サーバ１０は、例えば通信網３２を介して、他の装置と通信する機能を有し得る。例えば、サーバ１０は、後述する再生装置３０から受信される、動画の取得要求に基いて、当該取得要求に対応する動画およびデプスマップを再生装置３０へ送信する。

＜１−３．再生装置３０＞
再生装置３０は、記録装置２０により記録された、動画およびデプスマップに応じた映像を表示するための装置である。例えば、再生装置３０は、（再生装置３０の）現在の位置情報の近辺で記録された動画およびデプスマップの提供をサーバ１０に対して要求する。そして、再生装置３０は、サーバ１０から受信される動画およびデプスマップに応じた映像を表示する。

再生装置３０は、例えば、ＨＭＤなどの頭部装着型デバイスであり得る。なお、ＨＭＤは、光学シースルー型のデバイスであってもよいし、ビデオ透過型のデバイスであってもよい。後者の場合、再生装置３０は、再生装置３０の前方を撮影するカメラを有し、そして、当該カメラにより撮影された映像を、後述する表示部３２６に逐次表示し得る。これにより、ユーザは、表示部３２６に表示される映像を介して、ユーザの前方の風景を見ることができる。

なお、かかる例に限定されず、再生装置３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などのディスプレイを有する所定の携帯型の装置であってもよい。例えば、所定の携帯型の装置は、スマートフォンなどの携帯電話、タブレット型端末、または、携帯型音楽プレーヤーなどであってもよい。

＜１−４．通信網３２＞
通信網３２は、通信網３２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網３２は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網３２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

＜１−５．課題の整理＞
以上、本実施形態による情報処理システムの構成について説明した。ところで、従来、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）に関する技術が各種開発されている。この技術によれば、仮想空間の映像を視聴者に視聴させることにより、当該仮想空間に入り込むような体験を視聴者に提示することができる。

しかしながら、従来の技術では、撮影された動画などを、視聴者が位置する空間に重ね合わせて表示することができない。このため、従来の技術では、例えば視聴者の身体が表示されないなどの理由により、視聴者は臨場感を得にくい。

そこで、上記事情を一着眼点にして、本実施形態によるサーバ１０を創作するに至った。本実施形態によるサーバ１０は、記録装置２０によりセンシングされた、動画およびデプスマップに応じた映像が再生装置３０により表示される際の、当該映像の表示に関する設定を、再生装置３０が位置する空間におけるセンシング結果に基いて決定する。このため、例えば、サーバ１０は、再生装置３０が位置する空間に最適化された映像を再生装置３０に表示させることができる。

＜＜２．実施形態の詳細な説明＞＞
＜２−１．構成：再生装置３０＞
次に、本実施形態による再生装置３０の構成について詳細に説明する。図２は、本実施形態による再生装置３０の構成例を示した機能ブロック図である。図２に示すように、再生装置３０は、制御部３００、通信部３２０、位置情報受信部３２２、センサ部３２４、表示部３２６、および、記憶部３２８を有する。

｛２−１−１．制御部３００｝
制御部３００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの処理回路を含んで構成され得る。制御部３００は、再生装置３０の動作を統括的に制御する。また、図２に示すように、制御部３００は、位置情報取得部３０２、検出結果取得部３０４、認識部３０６、動画取得部３０８、および、表示制御部３１０を有する。

｛２−１−２．位置情報取得部３０２｝
位置情報取得部３０２は、後述する位置情報受信部３２２による測定結果や、後述するセンサ部３２４によるセンシング結果に基いて、再生装置３０の現在の位置情報を取得する。例えば、位置情報取得部３０２は、位置情報受信部３２２により受信された、一種類の衛星からの測位信号に基いて現在の位置情報を特定する。または、位置情報取得部３０２は、複数の種類の衛星から受信された測位信号の組合わせに基いて現在の位置情報を特定することも可能である。

また、位置情報受信部３２２により発信機ＩＤが受信された場合には、位置情報取得部３０２は、当該発信機ＩＤに対応する位置情報を例えば所定の装置へ問い合わせ、かつ、当該位置情報を取得することにより、現在の位置情報を取得することも可能である。

また、位置情報取得部３０２は、さらに、センサ部３２４によるセンシング結果、および、例えばＳＬＡＭなどの技術を用いて、再生装置３０の自己位置を推定することも可能である。例えば、位置情報取得部３０２は、まず、センサ部３２４により撮影された画像や、センシングされたデプスマップなどに基いて、再生装置３０の周辺に位置する特定の物体を認識する。そして、位置情報取得部３０２は、当該物体の位置情報を例えば所定の装置から取得することにより、再生装置３０の自己位置を推定する。

｛２−１−３．検出結果取得部３０４｝
検出結果取得部３０４は、センサ部３２４によるセンシング結果を取得する。例えば、検出結果取得部３０４は、センサ部３２４により撮影された画像、センシングされたデプスマップ、および、センシングされた（再生装置３０の）姿勢や加速度などを取得する。

｛２−１−４．認識部３０６｝
認識部３０６は、検出結果取得部３０４により取得されたセンシング結果に基いて、各種の認識処理を行う。例えば、認識部３０６は、センサ部３２４により撮影される、再生装置３０を使用するユーザ（以下、視聴者と称する場合がある）の眼の画像に基いて、当該ユーザの視線方向を逐次認識する。また、検出結果取得部３０４は、センサ部３２４により集音された、視聴者の発話を音声認識し、そして、認識結果の意味を解析する。

｛２−１−５．動画取得部３０８｝
動画取得部３０８は、位置情報取得部３０２により取得された位置情報に対応する、動画およびデプスマップをサーバ１０から取得する。例えば、動画取得部３０８は、取得された位置情報を含む、動画の取得要求をサーバ１０へ通信部３２０に送信させることにより、当該位置情報に対応する動画、および、当該動画に関連付けられているデプスマップをサーバ１０から取得する。ここで、当該動画の取得要求は、さらに、検出結果取得部３０４により取得された再生装置３０の姿勢の情報、および、認識部３０６による認識結果などを含んでもよい。

｛２−１−６．表示制御部３１０｝
表示制御部３１０は、動画取得部３０８により取得された動画およびデプスマップに応じた映像を表示部３２６に表示させる。例えば、表示制御部３１０は、まず、取得された動画およびデプスマップに基いて三次元データを構成する。そして、表示制御部３１０は、当該三次元データと、表示部３２６の位置情報および姿勢情報とに基いて、表示部３２６に表示される映像を決定し、そして、当該映像を表示部３２６に表示させる。

｛２−１−７．通信部３２０｝
通信部３２０は、例えば通信アンテナやネットワークカードなどを含んで構成され得る。通信部３２０は、他の装置との間で情報の送受信を行う。例えば、通信部３２０は、動画取得部３０８の制御に従って、動画の取得要求をサーバ１０へ送信する。また、通信部３２０は、動画およびデプスマップをサーバ１０から受信する。

｛２−１−８．位置情報受信部３２２｝
位置情報受信部３２２は、例えばＧＰＳ、ＧＬＯＮＡＳＳ、ガリレオ、北斗、または、みちびきなどの測位衛星から測位信号を受信する受信機を含んで構成され得る。なお、位置情報受信部３２２は、一種類の衛星から測位信号を受信することも可能であるし、または、複数の種類の衛星による測位信号を受信し、かつ、受信した信号を組み合わせて現在位置を測位することも可能である。

また、位置情報受信部３２２は、例えば通信アンテナやネットワークカードなどを含んで構成され得る。例えば、位置情報受信部３２２は、Ｂｌｕｅｔｏｏｔｈアクセスポイント、Ｗｉ−Ｆｉアクセスポイント、またはＲＦＩＤタグなどから位置情報を受信することにより、現在の位置情報を取得することが可能である。または、位置情報受信部３２２は、これらの装置（発信機）のＩＤを受信し、そして、当該ＩＤに対応する位置情報を所定の装置（図示省略）へ問い合わせ、かつ、当該位置情報を当該所定の装置から取得することにより、現在の位置情報を取得することも可能である。

｛２−１−９．センサ部３２４｝
センサ部３２４は、例えば、カメラ（イメージセンサ）、デプスセンサ、マイクロフォン、加速度センサ、ジャイロスコープ、地磁気センサなどを含んで構成され得る。例えば、センサ部３２４は、外環境（例えば再生装置３０の前方など）の画像を撮影したり、デプスマップをセンシングする。また、センサ部３２４は、外環境の音声を集音する。また、センサ部３２４は、再生装置３０の姿勢や加速度などをセンシングする。

｛２−１−１０．表示部３２６｝
表示部３２６は、表示制御部３１０の制御に従って、映像を表示する。例えば、表示部３２６は、画像投影デバイスを有し、かつ、再生装置３０は、左目用レンズおよび右目用レンズ（またはゴーグル型レンズ）を有し得る。この場合、当該画像投影デバイスは、左目用レンズおよび右目用レンズ（またはゴーグル型レンズ）のそれぞれ少なくとも一部の領域を投影面として映像を投影する。なお、左目用レンズおよび右目用レンズ（またはゴーグル型レンズ）は、例えば樹脂やガラスなどの透明材料により形成され得る。

または、表示部３２６は液晶パネルを有し、かつ、液晶パネルの透過率が制御可能であってもよい。これにより、表示部３２６は、透明または半透明の状態に制御され得る。

または、表示部３２６は、非透過型の表示装置として構成され、かつ、センサ部３２４により撮影される、ユーザの視線方向の映像が逐次表示されてもよい。例えば、表示部３２６は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、または、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などを含んで構成され得る。

｛２−１−１１．記憶部３２８｝
記憶部３２８は、各種のデータや各種のソフトウェアを記憶する。

＜２−２．構成：サーバ１０＞
次に、本実施形態によるサーバ１０の構成について詳細に説明する。図３は、本実施形態によるサーバ１０の構成例を示した機能ブロック図である。図３に示すように、サーバ１０は、制御部１００、通信部１２０、および、記憶部１２２を有する。

｛２−２−１．制御部１００｝
制御部１００は、例えば、後述するＣＰＵ１５０やＧＰＵなどの処理回路を含んで構成され得る。制御部１００は、サーバ１０の動作を統括的に制御する。また、図３に示すように、制御部１００は、登録部１０２、選択部１０４、決定部１０６、および、表示制御部１０８を有する。

｛２−２−２．登録部１０２｝
登録部１０２は、記録装置２０から受信される、動画、デプスマップ、および、メタ情報などを動画ＤＢ１２４に登録する。例えば、登録部１０２は、記録装置２０から動画やデプスマップが取得される度に、当該動画やデプスマップを動画ＤＢ１２４に逐次登録する。

（動画ＤＢ１２４）
図４は、動画ＤＢ１２４の構成例を示した説明図である。図４に示したように、動画ＤＢ１２４では、例えば、位置情報１２４０、メタ情報１２４８、動画データ１２５０、および、デプスマップ１２５２が関連付けられる。ここで、位置情報１２４０には、該当の動画およびデプスマップが記録された位置情報が格納される。また、図４に示したように、位置情報１２４０は、例えば、緯度１２４２、経度１２４４、および、エリア１２４６などを含む。緯度１２４２および経度１２４４には、該当の動画およびデプスマップが記録された緯度および経度がそれぞれ格納される。また、エリア１２４６には、該当の動画およびデプスマップが記録された例えば施設内の具体的な位置（例えば、当該施設内の階や部屋の番号など）が格納される。

また、メタ情報１２４８には、該当の動画に関連付けられているメタ情報が格納される。なお、メタ情報１２４８の詳細については後述する。また、動画データ１２５０には、該当の動画のデータ（ファイル）が格納される。また、デプスマップ１２５２には、該当の動画と関連付けてセンシングされたデプスマップが格納される。

ここで、図５を参照して、メタ情報１２４８の詳細について説明する。図５に示したように、メタ情報１２４８は、例えば、動画ＩＤ１２６０、デバイスＩＤ１２６２、タイトル１２６４、サムネイル１２６６、記録者１２６８、撮影日時１２７０、撮影位置・姿勢１２７２、および、同期撮影された動画１２７４を含む。ここで、動画ＩＤ１２６０には、該当の動画に付与されたＩＤが格納される。また、デバイスＩＤ１２６２には、該当の動画を撮影した記録装置２０の識別情報が格納される。また、タイトル１２６４には、該当の動画に対して例えば記録者により付与されたタイトルが格納される。また、サムネイル１２６６には、該当の動画のサムネイルが格納される。また、記録者１２６８には、該当の動画の記録者の識別情報（名前など）が格納される。また、撮影日時１２７０には、該当の動画の撮影日時が格納される。また、撮影位置・姿勢１２７２には、該当の動画の撮影時の位置情報や姿勢情報が格納される。また、同期撮影された動画１２７４には、該当の動画と同期して撮影された別の動画の有無や、（別の動画が存在する場合には）当該別の動画のＩＤなどが格納される。

｛２−２−３．選択部１０４｝
（２−２−３−１．位置情報に基づく選択）
‐選択例１
選択部１０４は、再生装置３０から受信された、動画の取得要求に基いて、再生対象の動画を動画ＤＢ１２４から選択する。例えば、選択部１０４は、受信された、動画の取得要求に含まれる位置情報および姿勢情報に基いて、再生対象の動画を動画ＤＢ１２４から選択する。一例として、選択部１０４は、動画ＤＢ１２４に格納されている複数の動画のうち、受信された取得要求に含まれる位置情報の最も近くで撮影された動画を再生対象の動画として選択してもよい。または、選択部１０４は、受信された取得要求に含まれる位置情報と、撮影時の位置情報との差異、および、当該取得要求に含まれる姿勢情報と、撮影時の姿勢情報との差異の組み合わせが最も小さい動画を動画ＤＢ１２４において検索し、かつ、特定した動画を再生対象の動画として選択してもよい。

‐選択例２
または、選択部１０４は、受信された、動画の取得要求に含まれる位置情報から所定の範囲内の位置情報に関連付けられている複数の動画の中から視聴者に指定された動画を、再生対象の動画として選択することも可能である。例えば、選択部１０４は、まず、受信された位置情報から所定の範囲内の位置情報に関連付けられている全ての動画を、再生対象の動画の候補として動画ＤＢ１２４から選択する。続いて、選択部１０４は、選択した再生対象の動画の候補の各々のメタ情報を再生装置３０へ通信部１２０に送信させる。

この場合、再生装置３０は、当該再生対象の動画の候補の各々に関して、例えば、当該動画のタイトルおよびサムネイルなどを、当該動画が撮影された位置情報と関連付けて表示部３２６に表示することが可能である。そして、例えば、当該再生対象の動画の候補の各々に関連付けられている位置情報のうちのいずれかが示す場所まで再生装置３０が接近したことが検出された場合には、選択部１０４は、当該位置情報に対応する動画を再生対象の動画として選択してもよい。または、当該再生対象の動画の候補の各々に関連付けられている位置情報が所定の範囲内に位置しており（つまり密集しており）、かつ、当該所定の範囲内に再生装置３０が移動したことが認識された場合には、選択部１０４は、当該再生対象の動画の候補のうち、検出されたユーザの指示（例えばハンドジェスチャーや音声コマンドなど）に対応する動画を再生対象の動画として選択してもよい。なお、変形例として、この場合、選択部１０４は、当該再生対象の動画の候補全てを再生対象の動画として選択することも可能である。

（２−２−３−２．他の情報に基づく選択）
または、受信された、動画の取得要求の中に、ユーザの指定情報（例えば動画の検索用キーワードなど）が含まれる場合には、選択部１０４は、当該指定情報に対応する動画を再生対象の動画として動画ＤＢ１２４から選択する。なお、当該指定情報に対応する動画が複数存在する場合には、選択部１０４は、当該複数の動画のうちのいずれか一つを再生対象の動画として選択してもよいし、または、当該複数の動画全てを、（同時に再生される）再生対象の動画として選択してもよい。

（２−２−３−３．動的な切り替え）
‐切り替え例１
また、選択部１０４は、再生装置３０による再生中の動画を別の動画に動的に切り替えることも可能である。例えば、選択部１０４は、再生装置３０によりセンシングされる位置情報の変化に基いて、再生中の動画とは異なる動画を再生対象の動画として動的に選択する。

一例として、選択部１０４は、再生装置３０の位置情報および姿勢情報のセンシング結果が取得される度に、当該位置情報の近辺に関連付けられている複数の動画の各々に関して、（当該動画がどの程度適切に表示されるかを示す）評価値を逐次算出する。そして、現在再生中の動画よりも、他のいずれかの動画の方が評価値が大きくなった場合には、選択部１０４は、再生中の動画から、評価値が最大である別の動画に動的に切り替える。

ここで、各動画の評価値は、例えば、再生装置３０の位置情報および姿勢情報の組み合わせと、当該動画の撮影時の位置情報および姿勢情報の組み合わせとの差異が小さいほど、値が大きくなるように算出され得る。また、各動画の評価値は、撮影された被写体と記録装置２０との間の距離に応じて値が異なり得る。例えば、撮影時の位置と再生時の位置とのズレが同じであっても、撮影時の位置と被写体との間の距離が大きい（つまり、遠景の撮影時の）動画ほど、当該動画の評価値はより小さく算出され得る。なお、一般的に、撮影方向に向かって再生装置３０が移動する場合では、撮影された動画と、再生装置３０のカメラによる前方の撮影画像との乖離は小さくなる傾向にある。このため、各動画に関して、当該動画の撮影時の記録装置２０の位置から撮影方向に伸びた楕円状の領域の方が、他の領域よりも評価値がより高く算出され得る。

‐切り替え例２
なお、再生される動画が頻繁に切り替わると視聴者に不自然に知覚され得る。そこで、選択部１０４は、ヒステリシスを持たせて、再生中の動画を別の動画に切り替えてもよい。例えば、現在再生中の動画よりも、他のいずれかの動画の方が、算出された評価値が大きい状態の継続時間の長さが一定の時間よりも大きくなった場合に限り、選択部１０４は、再生中の動画を、評価値が最大である別の動画に切り替えてもよい。

｛２−２−４．決定部１０６｝
決定部１０６は、選択部１０４により選択された再生対象の動画に応じた映像が再生装置３０により表示される際の、当該映像の表示に関する設定を、所定の基準に基いて決定する。例えば、決定部１０６は、受信された、動画の取得要求に基いて、当該映像の表示に関する設定を決定する。

（２−２−４−１．位置合わせ）
ここで、当該表示条件は、再生対象の動画が再生装置３０により表示される際の表示位置や向きを含み得る。例えば、決定部１０６は、当該取得要求に含まれるデプスマップと、再生対象の動画に関連付けられているデプスマップとの比較に基いて、再生対象の動画が表示される位置や向きを決定する。一例として、決定部１０６は、当該取得要求に含まれるデプスマップ、および、当該動画に関連付けられているデプスマップから特定される共通の平面が一致するように、当該動画の表示位置や向きを調整することにより、再生対象の動画を表示させることを決定する。また、決定部１０６は、当該取得要求に含まれるデプスマップから特定される複数の特徴点のうちの一部と、当該動画に関連付けられているデプスマップから特定される複数の特徴点のうちの一部とが一致するように、当該動画の表示位置や向きを調整することにより、再生対象の動画を表示させることを決定する。

（２−２−４−２．表示領域の決定）
また、上記の表示条件は、再生装置３０が位置する実空間において該当の動画が表示される表示領域を含み得る。この場合、決定部１０６は、当該取得要求に含まれるデプスマップに基づいて、当該表示領域を決定することが可能である。

‐（ａ）平面の検出結果を使用
例えば、決定部１０６は、当該取得要求に含まれるデプスマップから特定される平面に基づいて、該当の動画の表示領域を決定する。さらに、決定部１０６は、当該取得要求に含まれるデプスマップから特定される垂直方向（重力方向）に基いて、該当の動画の表示領域を決定することも可能である。例えば、決定部１０６は、当該取得要求に含まれるデプスマップから特定されるいずれかの平面と、当該デプスマップから特定される垂直方向とに基いた所定の三次元空間を、該当の動画の表示領域として決定する。

より詳細には、決定部１０６は、まず、当該取得要求に含まれるデプスマップに基づいてポイントクラウドを計算し、そして、例えばＲＡＮＳＡＣなどのアルゴリズムを用いることにより、当該ポイントクラウドに基いて閉平面を全て検出する。なお、この際、決定部１０６は、時系列のフィルタを用いて、（該当の動画に関する）時間方向のノイズを除去してもよい。また、決定部１０６は、平面の代わりに、三次元空間を検出してもよい。

続いて、決定部１０６は、所定の指標（例えば閉平面の大きさ、形状、位置、視聴者からの距離など）に基いて、検出された全ての閉平面のうちのいずれかを該当の動画の表示領域として決定する。例えば、決定部１０６は、例えば、閉平面の大きさが所定の大きさ以上であること、視聴者からの距離が所定の距離以上であること、視聴者に対して正対していること、または、アスペクト比が、予め設定されている範囲内であることなどの条件のうちの一以上を満たす閉平面を、該当の動画の表示領域として決定する。

‐（ｂ）ＧＵＩで決定
また、決定部１０６は、当該取得要求に含まれるデプスマップと、再生装置３０により表示されるＧＵＩに対する視聴者の操作の検出結果とに基いて、該当の動画の表示領域を決定することも可能である。なお、ＧＵＩは、本開示における操作画像の一例である。

‐‐表示例１
図６は、ＧＵＩの表示例を示した説明図である。なお、図６に示した例では、ある部屋の中に再生装置３０が位置しており、かつ、再生装置３０の表示部３２６には、図６に示したようなＧＵＩ４２０が、当該部屋内のテーブルの天面上に表示されている例を示している。

図６に示したように、ＧＵＩ４２０は、取っ手のＧＵＩ４２２を含む。図６に示した例において、取っ手のＧＵＩ４２２を視聴者が手で掴むジェスチャーが行われたことが認識された場合には、決定部１０６は、現在の設定モードをリサイズモードに変更する。このリサイズモードでは、取っ手のＧＵＩ４２２を把持する手の位置の変化（例えば、手を移動させたり、両手の間隔を変化させるなど）の検出結果に基いて、ＧＵＩ４２０の領域が並行移動されたり、スケールが変更されたり、または、回転され得る。なお、サーバ１０（決定部１０６）は、取っ手のＧＵＩ４２２と視聴者の手との接触を、三次元空間の座標を用いて判定してもよいし、または、表示部３２６に表示されている画面の座標系（スクリーン座標系）を用いて判定してもよい。後者の判定方法によれば、仮に取っ手のＧＵＩ４２２が該当の実空間において視聴者の遠くに位置する場合であっても、視聴者は、ＧＵＩ４２０を容易に操作することができる。

また、例えば、取っ手のＧＵＩ４２２から手を離すジェスチャーが検出された際には、決定部１０６は、リサイズモードを終了する。そして、決定部１０６は、リサイズモードの終了時点のＧＵＩ４２０の領域を、該当の動画の表示領域として決定する。

‐‐表示例２
図７は、ＧＵＩの別の表示例を示した説明図である。なお、図７に示した例では、該当の動画に関する特定の表示パラメータの値を視聴者が指定するためのメニュー４３０が、図６に示したＧＵＩ４２０とともに表示部３２６に表示される例を示している。図７に示したように、メニュー４３０は、例えば、該当の動画の表示領域を近傍の平面にスナップさせるか否かを指定するための指定欄４３２ａ、該当の動画の高さ方向を実空間の重力方向と一致させて表示させるか否かを指定するための指定欄４３２ｂ、および、該当の動画の表示サイズを原寸大に設定するか否かを指定するための指定欄４３２ｃを含む。

図７に示した例において、該当の動画の表示領域を近傍の平面にスナップさせるための所定の音声コマンドが発せられたことが検出された場合には、決定部１０６は、該当の動画の表示領域を近傍の平面にスナップさせることを決定する。

なお、（上述したような）取っ手のＧＵＩ４２２と視聴者の手との接触が、表示部３２６に表示される画面のスクリーン座標系を用いて判定されるケースでは、入力の自由度は２つだけである。そこで、この場合、該当の動画の表示領域を近傍の平面にスナップさせること、および、該当の動画の高さ方向を実空間の重力方向と一致させることが自動的に設定されることが望ましい。これにより、視聴者は、意図通りにＧＵＩ４２０を操作することができる。

‐（ｃ）視聴者に問い合わせ
また、決定部１０６は、当該取得要求に含まれるデプスマップに基づいて、該当の動画の表示領域の候補（以下、領域候補と称する）を複数決定し、そして、当該複数の領域候補の中から視聴者に選択されたと判定される領域候補に基いて、当該動画の表示領域を決定することも可能である。

ここで、図８〜図１０を参照して、上記の機能についてより詳細に説明する。例えば、決定部１０６は、まず、当該取得要求に含まれるデプスマップに基づいてポイントクラウドを計算し、そして、例えばＲＡＮＳＡＣなどのアルゴリズムを用いることにより、当該ポイントクラウドに基いて複数の閉平面を検出し、そして、検出した各閉平面を領域候補とする。または、決定部１０６は、複数の空き空間（三次元空間）を検出し、そして、検出した各空き空間を領域候補としてもよい。

続いて、決定部１０６は、所定の指標（例えば、領域候補の大きさ、形状、位置、ユーザからの距離など）に基いて、検出された全ての領域候補の中から複数の領域候補を抽出する。そして、後述する表示制御部１０８は、例えば図８または図９に示したように、抽出された複数の領域候補４４０（または領域候補４４２）を再生装置３０（の表示部３２６）に表示させる。

続いて、決定部１０６は、表示部３２６に対するユーザの視線方向または顔の方向の検出結果、ジェスチャー（例えば指差しなど）の検出結果、または、所定の音声コマンド（例えば「机の上にして！」や「右側の領域にして！」など）が発せられたことの検出結果に基いて、複数の領域候補の中からいずれかを特定する。そして、後述する表示制御部１０８は、特定した領域候補を再生装置３０に強調表示させる。例えば、図１０に示したように、表示制御部１０８は、サーバ１０から受信される、該当の動画のプレビュー映像４４４を該当の領域候補（図１０では領域候補４４０ｃ）において再生装置３０に表示させてもよい。ここで、プレビュー映像４４４は、図１０に示したように、通常の再生時の映像とは異なる表示態様で表示される映像である（例えば、グレースケールで表示されたり、より高い透明度で表示されるなど）。これにより、ユーザは、表示されている映像がプレビュー映像であることを理解することができる。

その後、表示領域を決定するための所定のジェスチャーが検出されたり、または、表示領域を決定するための所定の音声コマンド（例えば「そこにして！」など）が発せられたことが検出された場合には、決定部１０６は、該当の領域候補を当該動画の表示領域として決定する。

‐（ｄ）複数の表示領域の決定
また、（例えばユーザの指定などに基いて）複数の動画が同時に再生される場合には、決定部１０６は、当該複数の動画が所定の位置関係で整列して表示されるように、当該複数の動画の各々の表示領域を決定することも可能である。例えば、決定部１０６は、表示部３２６に表示されるＧＵＩに対する操作の検出結果や音声コマンドの検出結果などに基いて、再生対象の複数の動画の各々の中心位置が一定の間隔で配置されるように、当該複数の動画の表示領域を決定する。または、決定部１０６は、当該複数の動画の各々の中心位置が一致したり、または、当該複数の動画の各々の中心位置に関して特定の軸方向が一致するように、当該複数の動画の表示領域を決定する。または、決定部１０６は、当該複数の動画の垂直方向（重力方向）が一致するように、当該複数の動画の表示領域を決定する。

ここで、当該中心位置は、動画ＤＢ１２４に格納されている各動画に対して予め設定されている原点であり得る。または、原点が予め設定されていない場合には、当該中心位置は、再生対象の複数の動画の各々に対応するポイントクラウドが互いに重なるように位置合わせされた際の各原点であり得る。または、当該中心位置は、所定の模様や所定の形状（例えば、所定の看板やマークなど）に対応する位置に設定されてもよい。

例えば、再生対象の複数の動画が、同じ競技場を撮影した動画である場合には、当該複数の動画の表示時において各動画中のトラックの表示位置が一致するように、当該複数の動画の各々に対応する位置や姿勢のオフセット量が予め求められてもよい。

なお、複数の動画が同時に再生される場合には、複数の動画同士が重なって表示され得るので、見辛くなることも想定される。そこで、後述する表示制御部１０８は、例えば視聴者の視線方向の検出結果などに基いて、視聴者が注目していないと判定される動画に関しては、視認性が低下するように表示態様を変更して表示させてもよい。例えば、表示制御部１０８は、当該動画を半透明で表示させたり、または、当該動画の表示色を別の色に変更して表示させてもよい。

（２−２−４−３．動画中の表示部分の決定）
また、決定部１０６は、所定の基準に基いて、再生対象の動画のうちの一部の領域のみを再生装置３０に表示させることを決定することも可能である。例えば、決定部１０６は、再生対象の動画のうち、所定の基準に基いて定められた前景部分の領域のみを再生装置３０に表示させることを決定してもよい。

‐（ａ）ユーザの指定
‐‐仮想物に対する指示
ここで、前景部分に対応する空間は、動画ごとに、当該動画の撮影者により予め設定され得る。例えば、前景部分に対応する空間は、仮想物に対する撮影者（または当該動画の投稿者）の指示に基いて設定され得る。一例として、所定の操作画面に対する撮影者の入力に基づいて、前景部分に対応する空間が設定され得る。ここで、当該操作画面には、記録装置２０によりセンシングされたデプスマップに基づいた映像が表示され得る。例えば図１１に示したように、当該操作画面に表示されている映像中で、ユーザにより所定のオブジェクト（例えば立方体、球、または、メッシュなど）が配置された場合には、当該オブジェクトに対応する空間が前景として設定され得る。また、ユーザにより複数のオブジェクトが配置された場合には、当該複数のオブジェクトの合成（例えば和や積など）に対応する空間が前景部分として設定され得る。なお、動画の再生時刻ごとに、前景部分は別々に設定されてもよい。

‐‐実空間上での指定
または、前景部分に対応する空間は、実空間において撮影者が移動した経路の検出結果に基いて設定されてもよい。例えば、まず、実空間において撮影者が移動した経路がセンシングされ、そして、当該経路に対応する閉平面（閉領域）が特定され得る。そして、特定された閉平面と、重力方向と、高さの設定値（例えば床から天井までの高さ、または、予め設定されている上限値および下限値など）とに対応する空間が、前景部分に対応する空間として設定され得る。なお、この場合、設定された空間の範囲を示す表示が、撮影者が位置する実空間内の表示部（図示省略）により表示されてもよい。ここで、当該表示部は、撮影者が装着するＨＭＤであってもよいし、または、プロジェクタなどであってもよい。なお、記録装置２０が当該表示部を備えてもよい。

また、前景部分を変更するための所定のジェスチャー（例えば手の平を前に出すなど）が検出された場合には、設定済みの前景部分は当該検出結果に基いて変更され得る。例えば、手の平を前に出すジェスチャーが検出された場合には、設定済みの前景部分に対応する空間と、当該ジェスチャーに対応する空間（例えば、当該手の平を拡張した平面や、当該手の平を中心とした球に対応する空間など）との合成（和や積など）に対応する空間へと、当該前景部分に対応する空間は変更され得る。なお、この際、当該ジェスチャーに対応する空間（または、変更後の前景部分に対応する空間）の範囲を示す表示が、上述した表示部にさらに表示されてもよい。

‐（ｂ）物体認識の結果
または、前景部分に対応する空間は、動画ごとに、当該動画、または、当該動画に関連付けられているデプスマップに基いた物体認識の結果に応じて設定されてもよい。

例えば、サーバ１０の制御部１００は、まず、当該動画の色情報、当該動画から検出される特徴点、および／または、当該動画に関連付けられているデプスマップに基いて物体認識を行い、そして、認識された物体に対応する空間を、前景部分に対応する空間として設定する。ここで、当該物体に対応する空間の範囲は、ユーザにより指定されてもよいし、または、認識された物体に応じて決定されてもよい。例えば、人の顔が認識された場合には、制御部１００は、顔と関連付けて予め設定されている、空間の範囲（例えば、当該顔を中心として前後左右１ｍ以内、上方向１ｍ以内、および下方向２ｍ以内の範囲など）に基いて、前景部分に対応する空間を設定する。また、人の全身が認識された場合には、制御部１００は、当該全身を、前景部分に対応する空間として設定する。また、所定のマーカーが認識された場合には、制御部１００は、当該マーカーから例えば半径５ｍ以内の空間を、前景部分に対応する空間として設定する。また、所定の色や模様のシートが認識された場合には、当該シート、当該シートが向いている一方向（例えば、当該シートの上方向など）、および、所定の距離で定まる空間を、前景部分に対応する空間として設定する。

なお、制御部１００は、再生装置３０に対する動画およびデプスマップの送信時に、当該動画およびデプスマップの各々に関して、（設定された）前景部分以外の領域に関してはマスクする処理を行い、そして、マスクされた領域に関しては符号化せず、送信しないことも可能である。これにより、通信帯域を節約することができる。また、変形例として、サーバ１０の表示制御部１０８は、動画およびデプスマップとともに、当該マスクの対象領域を示すデータ（以下、マスクデータと称する）を再生装置３０へ通信部１２０に送信させてもよい。この場合、再生装置３０の表示制御部３１０は、まず、受信された動画およびデプスマップの各々に対して、受信されたマスクデータが示す領域を繰り抜く処理を行い、そして、処理後の動画およびデプスマップに応じた映像を表示部３２６に表示させることが可能である。

‐（ｃ）三次元情報の時系列的な変化の検出結果
または、前景部分に対応する空間は、動画ごとに、当該動画、または、当該動画に関連付けられているデプスマップに基いた、物体の動きの認識結果に応じて設定されてもよい。例えば、当該デプスマップから生成されるポイントクラウドに基いて動きベクトルが認識され、そして、認識された動きベクトルに対応する空間が、前景部分に対応する空間として設定されてもよい。

一例として、サーバ１０の制御部１００は、まず、（例えば記録時の互いの位置情報が近い）複数の動画に関して、各動画に関連付けられているデプスマップに基いてポイントクラウドを特定し、そして、各ポイントクラウドを所定のボクセル上で重ね合わせる。続いて、制御部１００は、当該所定のボクセルにおいて、（所定の時間以上継続して）所定の値以上の確率で存在し続けるボクセルの要素（つまり、当該要素内に位置する物体が静止していると推定される要素）を特定し、そして、特定した要素に対応する空間を、背景部分に対応する空間として設定する。なお、この際、制御部１００は、さらに、上述したような、物体の認識結果に基いた、前景部分に対応する空間の設定方法を用いて、背景部分に対応する空間を設定することも可能である。例えば、認識された物体と、上述した設定方法とに基いて特定される、前景部分に対応する空間（以下、空間Ａと称する）を、当該要素に対応する空間が含む場合には、制御部１００は、当該要素に対応する空間から空間Ａを除外した空間を、当該背景部分に対応する空間として設定してもよい。

続いて、制御部１００は、当該背景部分に対応する空間以外の空間を、前景部分に対応する空間として設定する。なお、制御部１００は、再生装置３０に対する動画およびデプスマップの送信時に、当該動画およびデプスマップの各々に関して、（設定された）背景部分の領域に関してはマスクする処理を行い、そして、マスクされた領域に関しては送信しないことも可能である。または、（上述したように）表示制御部１０８は、当該マスクの対象領域を示すマスクデータを、動画およびデプスマップとともに再生装置３０へ通信部１２０に送信させてもよい。

‐（ｄ）撮影時の三次元情報と、再生時の三次元情報との比較結果
または、前景部分に対応する空間は、再生対象の動画の撮影時の三次元情報と、当該動画が再生される際の三次元情報との比較結果に基いて設定されてもよい。

例えば、サーバ１０の制御部１００は、まず、再生装置３０から受信される、動画の取得要求に含まれるデプスマップに基いて特定されるポイントクラウドと、再生対象の動画に関連付けられているデプスマップに基いて特定されるポイントクラウドとを例えば特徴点ベースや、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）などのアルゴリズムを用いて重ね合わせるための変換行列を計算する。続いて、制御部１００は、当該二つのポイントクラウドの各々から背景用のボクセルを生成する。そして、制御部１００は、生成した二つの背景用のボクセルの積を、（最終的な）背景ボクセルとする。そして、制御部１００は、例えば、当該背景ボクセルに含まれる空間以外の空間を、前景部分に対応する空間として設定する。

なお、制御部１００は、動画およびデプスマップの再生装置３０への送信時において、当該動画およびデプスマップの各々に関して、（設定された）前景部分以外の領域に関してはマスクする処理を行い、そして、マスクされた領域に関しては送信しないことが可能である。または、（上述したように）表示制御部１０８は、当該マスクの対象領域を示すマスクデータを、動画およびデプスマップとともに再生装置３０へ通信部１２０に送信させてもよい。

（２−２−４−４．色変換）
‐色温度の調整
なお、照明条件などが撮影時と再生時とで大きく異なる場合（例えば、夜に撮影した映像が昼に再生される場合など）には、再生対象の動画がそのまま、再生時の環境において表示されると、色調が大きく異なるので、視聴者に不自然に知覚され得る。そこで、決定部１０６は、再生対象の動画の背景部分をマスクする処理を行ったり、または、再生装置３０のカメラにより撮影された画像に基いて、再生対象の動画に対して色変換を行ってもよい。

ここで、図１２を参照して、上記の処理の流れについて説明する。図１２に示したように、例えば、まず、サーバ１０の制御部１００は、再生対象の動画に基いて照度やホワイトバランスを計算する（Ｓ１０１）。次に、制御部１００は、再生装置３０により撮影された画像に基いて照度やホワイトバランスを計算する（Ｓ１０３）。そして、制御部１００は、両者を比較する（Ｓ１０５）。

比較結果が所定の範囲を超える場合には（Ｓ１０７：Ｎｏ）、制御部１００は、警告メッセージを再生装置３０（の表示部３２６）に表示させる（Ｓ１０９）。その後、表示を承諾する旨が入力された場合には（Ｓ１１１：Ｙｅｓ）、制御部１００は、再生対象の動画と、当該動画に関連付けられているデプスマップとの背景部分をマスクする処理を行う（Ｓ１１３）。そして、再生装置３０（の表示部３２６）は、マスク後の動画およびマスク後のデプスマップに応じた映像を表示する。その後、当該処理は終了する。

一方、表示を承諾しない旨が入力された場合には（Ｓ１１１：Ｎｏ）、制御部１００は、再生対象の動画の表示を中止することを決定する（Ｓ１１５）。なお、変形例として、Ｓ１０９〜Ｓ１１５の代わりに、サーバ１０の制御部１００は、再生対象の動画として別の動画を新たに選択し、そして、選択した動画の再生を視聴者に対してリコメンドするように、再生装置３０（の表示部３２６）に表示させてもよい。

一方、比較結果が所定の範囲内である場合には（Ｓ１０７：Ｙｅｓ）、制御部１００は、再生装置３０のカメラにより撮影された画像に基いて、再生対象の動画を色変換する。より詳細には、制御部１００は、まず、再生対象の動画に基いて計算された照度と、再生装置３０により撮影された画像に基いて計算された照度との差を算出することにより、再生対象の動画を補正するための行列Ａを算出する。続いて、制御部１００は、再生対象の動画に基いて計算されたホワイトバランスと、再生装置３０により撮影された画像に基いて計算されたホワイトバランスとの差を算出することにより、再生対象の動画を補正するための行列Ｂを算出する（Ｓ１１７）。

続いて、制御部１００は、行列Ａと、行列Ｂの逆行列との積の固有値を算出する。そして、当該固有値が所定の範囲内である場合には、制御部１００は、再生対象の動画に含まれる各画素に関して、行列Ａと、行列Ｂの逆行列との積を乗算することにより、照度およびホワイトバランスを補正する（Ｓ１１９）。なお、当該固有値が所定の範囲を超える場合には、制御部１００は、補正は不可能と判定し、そして、再生対象の動画の背景部分をマスクする処理を行ってもよい。

‐解像度の調整
また、特に再生装置３０が非透過型のＨＭＤである場合において、再生装置３０のカメラで撮影される画像の解像度と、該当の動画の解像度とが異なる場合には、決定部１０６は、解像度が低い方の解像度まで、もう一方の解像度を低下させる処理を行うことが可能である。

（２−２−４−５．課金状態）
‐映像の表示態様の変更
また、決定部１０６は、さらに、視聴者の課金状態を示すデータ、または、視聴者の権限を示すデータに基いて、該当の動画の表示サイズを決定することが可能である。ここで、視聴者の課金状態を示すデータ、または、視聴者の権限を示すデータは、ユーザＤＢ１２６に格納され得る。ここで、ユーザＤＢ１２６は、各ユーザ（撮影者や視聴者など）に関する情報が格納されたデータベースである。

例えば、決定部１０６は、視聴者が支払った金額が大きいほど、該当の動画のうち、表示される空間の範囲をより大きくする。一例として、支払われた金額が「０円」である場合（無料の場合）には、決定部１０６は、当該空間の範囲を「１．０ｍ×１．０ｍ×１．０ｍ」とする。また、支払われた金額が「１００円」である場合には、決定部１０６は、当該空間の範囲を「１．５ｍ×１．５ｍ×１．５ｍ」とする。また、支払われた金額が「２００円」である場合には、決定部１０６は、当該空間の範囲を「２．０ｍ×２．０ｍ×２．０ｍ」とする。また、支払われた金額が「２００円」よりも大きい場合には、決定部１０６は、当該空間の範囲を、撮影された全ての空間とする。または、決定部１０６は、視聴者が支払った金額に応じて、該当の動画のうち、表示される空間の高さや深さの範囲を変更してもよい。

または、支払われた金額が「０円」である場合（無料の場合）には、決定部１０６は、映像のみを再生装置３０に送信し、デプスマップを再生装置３０に送信しないことを決定する。つまり、２次元の映像が再生装置３０（の表示部３２６）に表示されることになる。また、支払われた金額が「０円」よりも大きく、かつ、所定の金額以下である場合には、決定部１０６は、該当の動画の表示サイズを「縮小サイズ」に決定する。また、支払われた金額が所定の金額よりも大きい場合には、決定部１０６は、該当の動画の表示サイズを原寸大に決定する。

または、支払われた金額が「０円」であり、かつ、再生対象の動画の表示サイズとして原寸大が視聴者により指定された場合には、決定部１０６は、予め定められている広告のオブジェクトを該当の動画中に自動的に重畳表示させることを決定してもよい。

または、決定部１０６は、視聴者が支払った金額に応じて、該当の動画、および／または、該当の動画に関連付けられているデプスマップの圧縮率を変更してもよい。例えば、支払われた金額が「０円」である場合（無料の場合）には、決定部１０６は、（デプスマップは変更せず、かつ、）例えば該当の動画の解像度を下げるなど、色情報を一部削減してもよい。または、この場合、決定部１０６は、例えば個々の物体の形状が粗くなるように、デプスマップのデータ量（解像度など）を一部削減してもよい。

‐映像に対する加工の可否
また、決定部１０６は、視聴者が支払った金額に応じて、該当の動画に対する視聴者による加工の可否を設定することも可能である。例えば、支払われた金額が所定の金額以上である場合には、決定部１０６は、視聴者が所定の仮想オブジェクト（例えば宣伝のノボリなど）を該当の動画に対して追加可能なように設定してもよい。なお、当該仮想のオブジェクトが追加された後は、該当の動画が他の視聴者により再生される場合に関しても、当該仮想のオブジェクトが追加された状態で該当の動画が再生され得る。

また、支払われた金額が所定の金額以上である場合には、決定部１０６は、センシングせれた三次元情報（例えばポイントクラウドなど）を該当の動画に対して視聴者が追加可能なように設定してもよい。ここで、当該三次元情報は、再生装置３０、または、視聴者の周囲に配置されている他の三次元センサ（デプスセンサなど）によるセンシング結果に応じた三次元情報（ポイントクラウドなど）であり得る。例えば、当該三次元情報は、視聴者の身体の全体または一部を含む空間の三次元情報であり得る。

また、支払われた金額が所定の金額以上である場合には、決定部１０６は、所定の仮想オブジェクトを視聴者が該当の動画に対して追加可能とし、かつ、当該視聴者が使用する他の携帯型装置によるセンシング結果（例えば、携帯型装置の位置情報や姿勢情報のセンシング結果など）に応じて、当該仮想オブジェクトの位置や姿勢を変更可能としてもよい。なお、当該仮想オブジェクトは、例えば「ケミカルライト」型のオブジェクトなどであってもよい。これらの制御例によれば、視聴者自体や携帯型装置の動きなどを、視聴者は該当の動画に対して自由に反映させることができ、そして、反映した情報を他の視聴者と共有することができる。

（２−２−４−６．表示モード）
また、決定部１０６は、所定の基準に基いて、該当の動画の表示モードを決定することも可能である。例えば、空間固定モードおよび移動体固定モードの二種類の表示モードが予め用意され得る。この場合、決定部１０６は、ユーザの指定に基いて、当該二種類の表示モードのうちのいずれかを表示モードとして決定してもよい。または、決定部１０６は、決定された表示領域（例えば表示領域のサイズなど）に基いて、当該二種類の表示モードのうちのいずれかを表示モードとして自動的に決定してもよい。

ここで、空間固定モードは、撮影された空間の全体が継続して表示されるモードである。図１３は、空間固定モードの設定時における映像の表示例を示した説明図である。図１３に示した例では、決定された表示領域４４０ｂにおいて、スケートリンクの全体が撮影された動画に応じた映像４４６が表示され続ける。

また、移動体固定モードは、撮影された空間内の特定の移動体（例えば人、顔、乗り物、ロボットなど）が継続して表示されるモードである。例えば、移動体固定モードでは、再生対象の動画において、ユーザに指定された移動体がトラッキングされることにより、決定された表示領域において当該移動体が継続して表示され得る。一例として、各軸方向の値や回転角の範囲に関して、最大値や最小値などの制約が設定され得る。そして、当該制約を超えることが特定されたフレームでは、予めユーザに設定されている情報に基づいて、当該フレームのうちの一部の領域がクリップされたり、当該移動体の動きが繰り返されたり、または、当該移動体の位置を折り返して表示され得る。

図１４は、移動体固定モードの設定時における映像の表示例を示した説明図である。図１４に示した例では、例えばスケートリンク（全体または一部）が撮影された動画中のスケート選手が移動体として設定され、かつ、当該動画中の当該スケート選手の画像領域を含む映像４４８が、決定された表示領域４４０ｃにおいて表示され続ける。

（２−２−４−７．再生開始タイミング）
また、決定部１０６は、再生対象の動画が再生装置３０により表示が開始される際の再生開始タイミングを、所定の基準に基いて決定することも可能である。例えば、決定部１０６は、再生装置３０によるセンシング結果（例えば、撮影された画像など）に基づいて、当該再生開始タイミングを決定する。一例として、該当の動画が折り紙のレクチャーの映像を含み、かつ、視聴者の手が前方へ差し出された画像が、再生装置３０のカメラにより撮影された場合には、表示制御部１０８は、当該動画中の当該レクチャーの開始タイミングを当該再生開始タイミングとして決定してもよい。

｛２−２−５．表示制御部１０８｝
（２−２−５−１．動画サイトの表示）
表示制御部１０８は、再生装置３０に対する各種の情報の表示を制御する。例えば、表示制御部１０８は、再生装置３０から受信される、動画の取得要求に基いて、当該取得要求に対応する動画の一覧を示す画面を再生装置３０に表示させることが可能である。一例として、表示制御部１０８は、受信された取得要求に含まれる位置情報やキーワードなどを検索キーとして動画ＤＢ１２４において検索を行い、そして、検索された動画の一覧を示す画面（例えば各動画のタイトル、サムネイル、記録時の位置情報などを含む画面）を再生装置３０に表示させる。

（２−２−５−２．映像の再生）
また、表示制御部１０８は、再生対象の動画、および、当該動画に関連付けられているデプスマップに応じた映像を、決定部１０６により決定された当該映像の表示に関する設定に基いて再生装置３０に表示させる。例えば、表示制御部１０８は、まず、決定部１０６により決定された当該映像の表示領域において、かつ、決定された表示サイズで、当該映像を表示させるための制御情報を生成する。そして、表示制御部１０８は、再生対象の動画と、当該動画に関連付けられているデプスマップと、当該制御情報とを再生装置３０へ通信部１２０に送信させる。

（２−２−５−３．再生速度、スケールの調整）
また、表示制御部１０８は、再生時の状況を示すデータに基いて、該当の映像の再生速度や再生位置を変更することも可能である。例えば、該当の動画中に手の画像が含まれる場合には、表示制御部１０８は、再生装置３０のカメラにより撮影された画像に基いて認識された視聴者の手と、当該動画中の手の画像とがサイズが合うように、該当の映像のスケール（表示倍率）を変更してもよい。これにより、視聴者は、該当の映像における手の動きをより理解しやすくなる。

さらに、表示制御部１０８は、当該手の画像から認識される手のボーンと、再生装置３０による撮影画像に基いて認識された視聴者の手のボーンとの比較に基いて、当該視聴者の手の動きの認識結果と、該当の映像中の手の動きとができるだけ一致するように、当該映像の再生速度を逐次変更してもよい。これにより、例えば、手を使って一連の作業を行う場面が撮影された動画の再生時において、視聴者が一つの作業を行う度に、当該一連の作業における次の順番の作業の内容を示す映像が逐次表示され得る。

また、例えば、該当の映像が、折り紙などの所定の物体をユーザが操作する映像を含む場合には、表示制御部１０８は、再生装置３０のカメラにより撮影された画像に基いて認識された、視聴者の手元に位置する物体（例えば手に持っている物体など）と、該当の映像中の当該所定の物体とが同程度のサイズになるように、該当の映像のスケールを変更してもよい。これにより、当該所定の物体に対する操作の様子を視聴者がより理解しやすくなる。

（２−２−５−４．ガイド表示）
なお、変形例として、表示制御部１０８は、例えば再生装置３０の位置や姿勢が、再生対象の動画の撮影時の記録装置２０の位置や姿勢から大きく外れた場合などに、当該動画に応じた映像がより適切に見える位置や方向を示すガイド表示（例えば矢印のアイコンなど）や警告を、当該映像に重畳させて再生装置３０に表示させることも可能である。ここで、ガイド表示は、再生装置３０の位置および姿勢を、当該動画の撮影時の記録装置２０の位置および姿勢に近づけるように視聴者をガイドするための表示であってもよい。

（２−２−５−５．広告・コメントの表示）
また、表示制御部１０８は、例えば広告、コメント、または、キャプションなどの仮想オブジェクトを、該当の映像に重畳させて再生装置３０に表示させることも可能である。例えば、実空間における面（壁や道路など）、空中、または、実空間に設置されている所定のマーカーなどと関連付けて広告が予め所定のデータベース（図示省略）に登録され得る。この場合、表示制御部１０８は、例えば、再生装置３０から受信された位置情報および姿勢情報に対応する広告を当該データベースから抽出し、そして、抽出した広告を該当の映像に重畳させて再生装置３０（の表示部３２６）に表示させてもよい。さらに、サーバ１０（の制御部１００）は、視聴者が向いている方向や視聴者の視線方向の検出結果に対応する空間に関連付けられている広告が視聴者により閲覧されたと判定することにより、個々の広告のヒット率またはヒット回数などを算出することが可能である。これにより、広告会社は、算出されたヒット率やヒット回数に応じた広告料を、該当の動画の撮影者や投稿者に支払うことができる。

なお、変形例として、再生装置３０の表示部３２６に表示されているいずれかの広告が、例えばハンドジェスチャーや音声コマンドなどに基いてユーザにより選択された場合には、表示制御部１０８は、所定のＷＥＢサイト（例えばＥＣサイトなど）のＷＥＢページを再生装置３０に表示させてもよい。これにより、当該広告に関連する商品やサービスを視聴者が購入可能となる。

また、視聴者により投稿（発言）されたコメントは、当該投稿時の当該視聴者の位置情報、または、当該投稿時の当該視聴者の視線の先の空間（または物体）と関連付けて所定のデータベース（図示省略）に登録され得る。この場合、表示制御部１０８は、例えば、視聴者が向いている方向や視聴者の視線方向に対応する空間に関連付けられているコメントを特定し、そして、特定したコメントを該当の映像に重畳させて再生装置３０に表示させてもよい。

｛２−２−６．通信部１２０｝
通信部１２０は、例えば、後述する通信装置１６２を含んで構成され得る。通信部１２０は、他の装置との間で情報の送受信を行う。例えば、通信部１２０は、動画、デプスマップ、および、メタ情報を記録装置２０から受信する。また、通信部１２０は、動画の取得要求を再生装置３０から受信する。また、通信部１２０は、表示制御部１０８の制御に従って、動画、デプスマップ、および、制御情報を再生装置３０へ送信する。

｛２−２−７．記憶部１２２｝
記憶部１２２は、例えば、後述するストレージ装置１６０を含んで構成され得る。記憶部１２２は、各種のデータ、および、各種のソフトウェアを記憶する。例えば、図３に示したように、記憶部１２２は、動画ＤＢ１２４およびユーザＤＢ１２６を記憶する。

なお、本実施形態によるサーバ１０の構成は、上述した例に限定されない。例えば、動画ＤＢ１２４およびユーザＤＢ１２６のうちの一以上は、記憶部１２２に記憶される代わりに、通信網３２に接続された他の装置（図示省略）に記憶されてもよい。

＜２−３．処理の流れ＞
以上、本実施形態の構成について説明した。次に、本実施形態による処理の流れの一例について、図１５および図１６を参照して説明する。なお、ここでは、再生装置３０を使用するユーザが、サーバ１０に登録されている動画の視聴を希望する場面における処理の流れの例について説明する。

図１５に示したように、まず、再生装置３０の位置情報取得部３０２は、位置情報受信部３２２により受信された情報に基いて、現在の位置情報を取得する。また、検出結果取得部３０４は、センサ部３２４によるセンシング結果に基いて、再生装置３０の姿勢情報を取得する（Ｓ２０１）。

続いて、検出結果取得部３０４は、センサ部３２４によりセンシングされたデプスマップを取得する（Ｓ２０３）。

その後、例えばユーザの指示が認識された際に、動画取得部３０８は、Ｓ２０１で取得された位置情報および姿勢情報と、Ｓ２０３で取得されたデプスマップとを含む、動画の取得要求を生成する。そして、通信部３２０は、動画取得部３０８の制御に従って、当該取得要求をサーバ１０へ送信する（Ｓ２０５）。

その後、サーバ１０の選択部１０４は、Ｓ２０５で受信された取得要求に含まれる位置情報および姿勢情報に基づいて、再生対象の動画を動画ＤＢ１２４から検索する（Ｓ２０７）。そして、通信部１２０は、選択部１０４の制御に従って、検索結果の一覧を再生装置３０へ送信する（Ｓ２０９）。

その後、再生装置３０の表示部３２６は、表示制御部３１０の制御に従って、受信された検索結果の一覧を表示する。例えば、表示部３２６は、当該一覧に含まれる各動画に関して、当該動画のタイトルやサムネイルなどの情報を、当該動画の記録時の位置情報と関連付けて表示する（Ｓ２１１）。

そして、Ｓ２１１で表示された一覧の中からいずれかの動画が視聴者に選択されると（Ｓ２１３）、通信部３２０は、制御部３００の制御に従って、選択された動画の識別情報をサーバ１０へ送信する（Ｓ２１５）。

その後、サーバ１０の選択部１０４は、受信された識別情報に対応する動画を、再生対象の動画として決定する（Ｓ２１７）。

ここで、図１６を参照して、Ｓ２１７より後の処理の流れについて説明する。図１６に示したように、サーバ１０の決定部１０６は、Ｓ２０５で受信された取得要求に含まれるデプスマップと、Ｓ２１７で決定された再生対象の動画とに基づいて、当該動画の表示領域の候補を複数決定する（Ｓ２２１）。そして、通信部１２０は、決定部１０６の制御に従って、決定された全ての表示領域の候補を再生装置３０へ送信する（Ｓ２２３）。

その後、再生装置３０の表示部３２６は、表示制御部３１０の制御に従って、受信された全ての表示領域の候補を表示する（Ｓ２２５）。

そして、表示された全ての候補の中からいずれかが視聴者に選択されたと認識されると（Ｓ２２７）、通信部３２０は、制御部３００の制御に従って、選択された候補の識別情報をサーバ１０へ送信する（Ｓ２２９）。

その後、サーバ１０の決定部１０６は、受信された識別情報に対応する候補を、該当の映像の表示領域として決定する（Ｓ２３１）。続いて、決定部１０６は、決定した表示領域に応じて、該当の映像の表示サイズを決定する（Ｓ２３３）。

続いて、表示制御部１０８は、Ｓ２３１で決定された表示領域において、Ｓ２３３で決定された表示サイズで該当の映像を表示させるための制御情報を生成する。そして、通信部１２０は、当該動画と、当該動画に関連付けられているデプスマップと、生成された制御情報とを再生装置３０へ送信する（Ｓ２３５）。

その後、再生装置３０の表示制御部３１０は、受信された制御情報に基づいて、受信された動画およびデプスマップに応じた映像を生成し、そして、当該映像を表示部３２６に表示させる（Ｓ２３７）。

＜２−４．効果＞
｛２−４−１．効果１｝
以上説明したように、本実施形態によれば、サーバ１０は、記録装置２０によりセンシングされたデプスマップに応じた映像が再生装置３０により表示される際の、当該映像の表示に関する設定を、再生装置３０が位置する空間におけるセンシング結果に基いて決定する。このため、例えば、サーバ１０は、再生装置３０が位置する空間に最適化された映像を再生装置３０に表示させることができる。

｛２−４−２．効果２｝
また、本実施形態によれば、視聴者は、サーバ１０に登録されている動画を通常の２Ｄの動画として見るか、ＡＲとして体験するか、または、ＶＲとして体験するかを自由に選択することができる。

｛２−４−３．効果３｝
また、本実施形態によれば、視聴者は、動画が撮影された場所において撮影時の状況を追体験するのか、または、撮影された場所とは異なる場所において当該動画を視聴するのかを選択することができる。また、追体験することが選択された場合には、サーバ１０は、視聴者の動作に合わせて該当の映像の再生速度やスケールをリアルタイムに変更することができる。このため、視聴者は、例えば当該映像に含まれる動きをより直接的、かつ、詳細に視聴することができる。

｛２−４−４．効果４｝
また、本実施形態によれば、従来の２次元の動画撮影と同様の作業手順で、３次元の映像を記録したり、再生することができる。また、例えば、ポイントクラウドのレジストレーションなど特殊な環境は不要である。

＜２−５．適用例＞
次に、本実施形態の適用例について、「２−５−１．適用例１」および「２−５−２．適用例２」において説明する。

｛２−５−１．適用例１｝
まず、本実施形態の適用例１について説明する。この適用例１は、街頭で行われたスケートボーディングの様子が撮影された動画を、視聴者（ユーザＡ）が同じ場所で視聴する場面の適用例である。

まず、ユーザＡは、例えばサーバ１０が管理する動画サイトを閲覧し、当該動画サイト上で上記動画を発見し、そして、当該動画を視聴することを希望したとする。そして、より臨場感高く当該動画を視聴することを希望して、ユーザＡは、当該動画が撮影された場所に行き、そして、（透過型の装着型装置である）再生装置３０を装着して、当該動画を再生させるための指示を行った。

この場合、再生装置３０の位置情報取得部３０２は、現在の位置情報を取得する。そして、通信部３２０は、表示制御部３１０の制御に従って、当該位置情報を含む、当該動画の取得要求をサーバ１０へ送信する。

その後、サーバ１０の選択部１０４は、受信された取得要求に対応する動画を再生対象の動画として選択する。続いて、表示制御部１０８は、再生装置３０のカメラにより撮影された画像から特定される特徴点と、当該再生対象の動画から特定される特徴点とのマッチングを行い、そして、マッチングの結果に基いて、当該動画が適切に再生される推奨再生ポイントを特定する。そして、表示制御部１０８は、特定された推奨再生ポイントの位置を示すマークを再生装置３０の表示部３２６に表示させる。なお、この例では、当該動画と同時に撮影された他の動画が一以上存在するものとする。

ここで、推奨再生ポイントは、（再生装置３０が位置する空間における）該当の動画がどの程度適切に表示されるかを示す評価値が一定以上である空間であり得る。なお、評価値の算出方法に関しては、（２−２節で説明した）選択部１０４によるストリームの切り替え判定時の算出方法と同様であり得る。

その後、ユーザＡは、階段を俯瞰可能な推奨再生ポイントにおいて動画を視聴することを希望し、そして、当該推奨再生ポイントへ移動した。この場合、サーバ１０の表示制御部１０８は、当該動画が再生される際に推奨される再生装置３０の向きを示すガイド表示を再生装置３０の表示部３２６に表示させる。そして、ユーザＡが当該ガイド表示に従って姿勢を変えると、表示制御部１０８は、受信された、再生装置３０の姿勢の変化の検出結果に基いて、動画のキャリブレーションを行い、その後、当該動画および当該動画に関連付けられているデプスマップに応じた映像を再生装置３０に表示させる。

その後、背景部分の映像が表示されていると現実の風景と重なって見辛いと感じ、ユーザＡは、例えば音声コマンドにより、背景部分を非表示にするように指定した。この場合、サーバ１０の表示制御部１０８は、再生装置３０のカメラにより撮影された画像に基づく物体認識の結果と、再生装置３０によりセンシングされたデプスマップとに基いて、当該動画のうち、前景部分（つまりスケートボードのプレイヤー）の領域のみの映像を再生装置３０に表示させる。

そして、映像の再生中にユーザＡが移動すると、サーバ１０の選択部１０４は、移動後の再生装置３０の位置情報に基づいて、より適切な別の動画を選択し、そして、再生中の動画を当該別の動画に切り替える。また、一時停止やステップ再生などの操作を行いながら、ユーザＡが移動することにより、ユーザＡは、当該スケートボードのプレーヤーのフォームなどを詳細に確認することができる。

なお、上記の説明では、ユーザＡが一人だけで動画を視聴する例について説明したが、かかる例に限定されず、例えば、二以上のユーザが一緒に例えば同じ場所において、当該動画を同時に視聴することも可能である。

｛２−５−２．適用例２｝
次に、本実施形態の適用例２について説明する。この適用例２は、あるユーザ（ユーザＡ）が自分のダンスの動画を撮影し、そして、当該動画をサーバ１０へアップロードする場面の適用例である。

まず、ユーザＡは、所定の室内でスマートフォン（記録装置２０ａ）のカメラをユーザＡの方向へ向けて固定した。そして、記録装置２０ａは、ユーザＡの映像を撮影する。また、当該室内に位置する別のユーザ（ユーザＢ）は、記録装置２０ａよりもユーザＡの近くで、携帯している記録装置２０ｂによりユーザＡを撮影した。なお、記録装置２０ｂは、記録装置２０ａと同期して映像を撮影するように設定されているものとする。また、ユーザＡは、記録装置２０ａにより撮影された動画の視聴を無料とし、記録装置２０ｂにより撮影された動画の視聴を有料に設定した。

また、記録装置２０ａおよび記録装置２０ｂにより撮影された動画に関して、ユーザＡは、自分が踊る床の上の１ｍ×２ｍだけを前景の空間として設定し、かつ、前景の空間以外の映像は配信しないように設定した。

その後、別のユーザＣは、サーバ１０が管理する動画サイトにおいて、記録装置２０ａにより撮影された動画を発見し、当該動画を無料で視聴することを希望し、そして、自室の机の上を当該動画の表示領域として指定した。この場合、サーバ１０の決定部１０６は、ユーザＣの指定に基いて、ユーザＣの室内の机の上を当該動画の表示領域として決定し、そして、当該動画の表示サイズを「縮小サイズ」として決定する。続いて、表示制御部１０８は、当該動画、および、当該動画に関連付けられているデプスマップから生成される、前景部分のみの映像を、当該表示領域において、かつ、決定した表示サイズで、ユーザＣが装着する再生装置３０ａに表示させる。

また、表示制御部１０８は、該当の映像を同時に視聴している他の視聴者のアバタ―を、再生装置３０ａにさらに表示させる。これにより、臨場感を向上させることができる。また、表示制御部１０８は、当該他の視聴者から例えば音声やコメントなどの情報が投稿される度に、投稿された情報を再生装置３０ａ（の表示部３２６）にさらに表示させてもよい。

また、別のユーザＤは、本動画サイトにおいて、記録装置２０ａにより撮影された映像を発見し、当該動画を視聴することを希望し、そして、（１ｍ×２ｍよりも面積が広い）自室の床の上を表示領域として指定した。また、ユーザＤは、当該動画を原寸大で再生させることを希望し、所定の金額を支払った。

この場合、サーバ１０の決定部１０６は、ユーザＤの室内でセンシングされたデプスマップに基いて、当該動画を原寸大で表示可能な表示領域の候補を複数決定し、そして、当該複数の表示領域の候補を、ユーザＤが頭部に装着する再生装置３０ｂ（の表示部３２６）に表示させる。その後、当該複数の表示領域の候補のうちのいずれかの位置へユーザＤが移動したことが検出されると、サーバ１０の決定部１０６は、該当の位置に対応する候補を、該当の動画の表示領域として決定する。そして、表示制御部１０８は、該当の動画、および、当該動画に関連付けられているデプスマップに応じた映像を、決定された表示領域において原寸大で再生装置３０ｂ（の表示部３２６）に表示させる。これにより、ユーザＤは、より臨場感高く、当該映像を視聴することができる。

＜＜３．ハードウェア構成＞＞
以上、本実施形態の適用例について説明した。次に、本実施形態によるサーバ１０のハードウェア構成について、図１７を参照して説明する。図１７に示すように、サーバ１０は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５２、ＲＡＭ１５４、バス１５６、インターフェース１５８、ストレージ装置１６０、および通信装置１６２を備える。

ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ１０内の動作全般を制御する。また、ＣＰＵ１５０は、サーバ１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。

ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。

ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムや、使用中のデータなどを一時的に記憶する。

バス１５６は、ＣＰＵバスなどから構成される。このバス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、および、ＲＡＭ１５４を相互に接続する。

インターフェース１５８は、ストレージ装置１６０、および、通信装置１６２を、バス１５６と接続する。

ストレージ装置１６０は、記憶部１２２として機能する、データ格納用の装置である。ストレージ装置１６０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。

通信装置１６２は、例えば通信網３２などに接続するための通信デバイス（例えばネットワークカードなど）等で構成された通信インターフェースである。また、通信装置１６２は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６２は、通信部１２０として機能する。

＜＜４．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

＜４−１．変形例１＞
例えば、同期して撮影された複数の動画が動画ＤＢ１２４に登録されている場合には、サーバ１０（の選択部１０４）は、再生対象の動画として当該複数の動画を纏めて選択し、かつ、表示制御部１０８は、当該複数の動画を同時に再生装置３０（の表示部３２６）に表示させてもよい。または、表示制御部１０８は、（当該複数の動画の代わりに）当該複数の動画に基いて生成される三次元情報（例えばデプスデータ、ポイントクラウド、または、メッシュなど）を再生装置３０に表示させてもよい。この変形例によれば、例えば、再生装置３０の位置や姿勢が、動画の撮影時の記録装置２０の位置や姿勢から大きくズレたとしても、描画の破たんを軽減することができる。

＜４−２．変形例２＞
また、サーバ１０（の表示制御部１０８）は、例えばユーザの指示に基いて、再生対象の動画として選択された（単一の）動画に関して複数の再生開始時刻を設定してもよい。そして、表示制御部１０８は、当該複数の再生開始時刻の各々に関して、互いに異なる表示領域において当該動画を当該再生開始時刻で、再生装置３０の表示部３２６に同時に表示させてもよい。つまり、当該複数の再生開始時刻の数だけ、単一の動画が同時に再生され得る。これにより、特にスポーツ選手のフォームを確認する場面や、監視カメラで撮影された動画を確認する場面などにおいて、視聴者は、動画中の動きの変化などを詳細に確認することができる。

＜４−３．変形例３＞
また、上述した実施形態では、サーバ１０が、再生対象の動画を選択したり、また、当該動画の表示領域を決定する例について説明したが、かかる例に限定されない。例えば、再生装置３０が、再生対象の動画を選択したり、また、当該動画の表示領域を決定してもよい。つまり、上述した選択部１０４、決定部１０６、および、表示制御部１０８の機能の全部または一部は、サーバ１０の代わりに、再生装置３０が有してもよい。また、この場合、本開示における情報処理装置は、再生装置３０であり得る。

一例として、再生装置３０は、まず、位置情報取得部３０２により取得された位置情報から所定の範囲内で撮影された動画の一覧をサーバ１０から受信する。そして、例えば、当該動画の一覧に含まれる各動画に関連付けられている位置情報のうちのいずれかに再生装置３０が接近したことを検出した場合には、再生装置３０は、当該位置情報に関連付けられている動画を再生対象の動画として決定してもよい。また、再生装置３０は、センサ部３２４によりセンシングされたデプスマップに基いて、再生装置３０が位置する実空間における例えば平面や特徴点などを特定することにより、再生対象の動画の表示領域、および、当該動画の表示サイズを決定してもよい。そして、再生装置３０は、当該動画、および、当該動画に関連付けられているデプスマップに応じた映像を、決定した表示領域において、かつ、決定した表示サイズで表示部３２６に表示させてもよい。

＜４−４．変形例４＞
また、上述した実施形態による情報処理システムの構成は、図１に示した例に限定されない。例えば、図１では、サーバ１０が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、本実施形態によるサーバ１０の機能が実現されてもよい。

また、上述した実施形態では、本開示における情報処理装置がサーバ１０である例について説明したが、かかる例に限定されない。例えば、当該情報処理装置は、汎用ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、または、ロボットなどであってもよい。

＜４−５．変形例５＞
また、上述した実施形態の処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。

また、上述した実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した実施形態によるサーバ１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記録媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の実空間においてセンシングされた第１の三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基いて決定する決定部、
を備える、情報処理装置。
（２）
前記映像は、前記第１の三次元情報のセンシングと関連付けて前記第１の実空間において撮影された動画と、前記第１の三次元情報とに応じて生成される、前記（１）に記載の情報処理装置。
（３）
前記映像の表示に関する設定は、前記第２の実空間において前記映像が表示される表示領域に関する設定を含み、
前記決定部は、前記第２の実空間におけるセンシング結果に基いて、前記映像の表示領域を決定し、
前記第２の実空間内の表示部により、前記映像の表示領域と関連付けて前記映像は表示される、前記（２）に記載の情報処理装置。
（４）
前記第２の実空間におけるセンシング結果は、前記第２の実空間においてセンシングされた第２の三次元情報を含む、前記（３）に記載の情報処理装置。
（５）
前記決定部は、前記第２の実空間における平面のセンシング結果と、前記第２の実空間における垂直方向のセンシング結果とに基いて、前記映像の表示領域を決定する、前記（４）に記載の情報処理装置。
（６）
前記決定部は、前記第２の実空間におけるセンシング結果に基いて、前記第２の実空間において前記映像の表示領域の複数の候補を決定し、
前記情報処理装置は、前記映像の表示領域の前記複数の候補を前記表示部に表示させる表示制御部をさらに備え、
前記決定部は、前記映像の表示領域の前記複数の候補のうち、前記第２の実空間内のユーザに選択されたと判定される候補を前記映像の表示領域として決定する、前記（３）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記決定部は、さらに、前記第１の実空間においてセンシングされた複数の三次元情報に応じた複数の映像が前記第２の実空間において表示される際に、前記複数の映像の各々が所定の位置関係で表示されるように前記複数の映像の各々の表示領域を決定する、前記（３）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記映像の表示に関する設定は、さらに、前記映像の表示サイズに関する設定を含む、前記（３）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記決定部は、前記映像の表示領域のサイズに応じて前記映像の表示サイズを決定する、前記（８）に記載の情報処理装置。
（１０）
前記映像の表示に関する設定は、さらに、前記映像の再生速度または再生開始タイミングに関する設定を含む、前記（９）に記載の情報処理装置。
（１１）
前記映像の表示に関する設定は、さらに、前記映像の表示モードに関する設定を含み、
前記決定部は、前記第１の実空間内の所定の空間を基準とした映像が継続して表示される第１の表示モード、および、前記第１の実空間内の所定の移動体を基準とした映像が継続して表示される第２の表示モードのうちのいずれかを、前記第２の実空間におけるセンシング結果に基いて前記映像の表示モードとして決定する、前記（９）または（１０）に記載の情報処理装置。
（１２）
情報処理装置は、前記映像の表示領域と関連付けて前記映像を前記表示部に表示させる表示制御部をさらに備える、前記（９）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記表示制御部は、前記決定部により決定された前記映像の表示領域において、前記決定部により決定された表示サイズで前記映像を前記表示部に表示させる、前記（１２）に記載の情報処理装置。
（１４）
前記映像は、前記第１の三次元情報または前記動画に基づいて認識される所定の物体を含む、前記第１の実空間内の所定の空間に対応する映像である、前記（１３）に記載の情報処理装置。
（１５）
前記映像は、前記第１の実空間内の、ユーザに指定された所定の空間に対応する映像である、前記（１３）に記載の情報処理装置。
（１６）
前記第２の実空間におけるセンシング結果は、前記第２の実空間において撮影された画像を含み、
前記動画から特定される色温度と、当該撮影された画像から特定される色温度との比較に基いて前記動画の色情報が補正され、かつ、補正後の前記動画に応じて前記映像が生成される、前記（１３）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記第２の実空間におけるセンシング結果は、前記第２の実空間の位置情報のセンシング結果を含み、
前記映像は、さらに、前記第１の実空間と前記第２の実空間との位置関係に応じて生成される、前記（２）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記第１の実空間は、前記第２の実空間から所定の閾値以内に位置する空間である、前記（１７）に記載の情報処理装置。
（１９）
第１の実空間においてセンシングされた第１の三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基いてプロセッサが決定すること、
を含む、情報処理方法。
（２０）
コンピュータを、
第１の実空間においてセンシングされた第１の三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基いて決定する決定部、
として機能させるための、プログラム。

１０ サーバ
２０ 記録装置
３０ 再生装置
３２ 通信網
１００、３００ 制御部
１０２ 登録部
１０４ 選択部
１０６ 決定部
１０８、３１０ 表示制御部
１２０、３２０ 通信部
１２２、３２８ 記憶部
１２４ 動画ＤＢ
１２６ ユーザＤＢ
３０２ 位置情報取得部
３０４ 検出結果取得部
３０６ 認識部
３０８ 動画取得部
３２２ 位置情報受信部
３２４ センサ部
３２６ 表示部

Claims (9)

1. 第１の実空間においてセンシングされた三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基づいて決定する決定部、を備え、
   前記決定部は、前記第２の実空間における平面のセンシング結果と、前記第２の実空間における垂直方向のセンシング結果とに基づいて、前記映像の表示領域を決定する、
   情報処理装置。
2. 第１の実空間においてセンシングされた三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基づいて決定する決定部、を備え、
   前記決定部は、前記第２の実空間におけるセンシング結果に基づいて、前記第２の実空間において前記映像の表示領域の複数の候補を決定し、前記映像の表示領域の前記複数の候補のうち、前記第２の実空間内のユーザに選択されたと判定される候補を前記映像の表示領域として決定する、
   情報処理装置。
3. 第１の実空間においてセンシングされた三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基づいて決定する決定部、を備え、
   前記映像の表示に関する設定は、前記映像の表示モードに関する設定を含み、
   前記決定部は、前記第１の実空間内の所定の空間を基準とした映像が継続して表示される第１の表示モード、および、前記第１の実空間内の所定の移動体を基準とした映像が継続して表示される第２の表示モードのうちのいずれかを、前記第２の実空間におけるセンシング結果に基づいて前記映像の表示モードとして決定する、
   情報処理装置。
4. 第１の実空間においてセンシングされた三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基づいてプロセッサが決定すること、を含み、
   前記プロセッサが、前記第２の実空間における平面のセンシング結果と、前記第２の実空間における垂直方向のセンシング結果とに基づいて、前記映像の表示領域を決定する、
   情報処理方法。
5. 第１の実空間においてセンシングされた三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基づいてプロセッサが決定すること、を含み、
   前記プロセッサが、前記第２の実空間におけるセンシング結果に基づいて、前記第２の実空間において前記映像の表示領域の複数の候補を決定し、前記映像の表示領域の前記複数の候補のうち、前記第２の実空間内のユーザに選択されたと判定される候補を前記映像の表示領域として決定する、
   情報処理方法。
6. 第１の実空間においてセンシングされた三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基づいてプロセッサが決定すること、を含み、
   前記映像の表示に関する設定は、前記映像の表示モードに関する設定を含み、
   前記プロセッサが、前記第１の実空間内の所定の空間を基準とした映像が継続して表示される第１の表示モード、および、前記第１の実空間内の所定の移動体を基準とした映像が継続して表示される第２の表示モードのうちのいずれかを、前記第２の実空間におけるセンシング結果に基づいて前記映像の表示モードとして決定する、
   情報処理方法。
7. コンピュータを、第１の実空間においてセンシングされた三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基づいて決定する決定部、として機能させるためのプログラムであって、
   前記決定部は、前記第２の実空間における平面のセンシング結果と、前記第２の実空間における垂直方向のセンシング結果とに基づいて、前記映像の表示領域を決定する、
   プログラム。
8. コンピュータを、第１の実空間においてセンシングされた三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基づいて決定する決定部、として機能させるためのプログラムであって、
   前記決定部は、前記第２の実空間におけるセンシング結果に基づいて、前記第２の実空間において前記映像の表示領域の複数の候補を決定し、前記映像の表示領域の前記複数の候補のうち、前記第２の実空間内のユーザに選択されたと判定される候補を前記映像の表示領域として決定する、
   プログラム。
9. コンピュータを、第１の実空間においてセンシングされた三次元情報に応じた映像が第２の実空間において表示される際の、前記映像の表示に関する設定を、前記第２の実空間におけるセンシング結果に基づいて決定する決定部、として機能させるためのプログラムであって、
   前記映像の表示に関する設定は、前記映像の表示モードに関する設定を含み、
   前記決定部は、前記第１の実空間内の所定の空間を基準とした映像が継続して表示される第１の表示モード、および、前記第１の実空間内の所定の移動体を基準とした映像が継続して表示される第２の表示モードのうちのいずれかを、前記第２の実空間におけるセンシング結果に基づいて前記映像の表示モードとして決定する、
   プログラム。

Images