WO2022030209A1 - 情報処理装置、情報処理方法及び情報処理システム - Google Patents

Abstract

情報処理端末１０は、ユーザが視聴する映像を表示するＨＭＤ１１２と、ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、遠隔地における該ユーザのリモートビューポイントを順次生成するリモートビューポイント生成部１０２と、遠隔地に任意に配置された多数のセンサポイントＳＰの中から、リモートビューポイントに基づいて選択されたセンサポイントＳＰが撮影したライブ映像をＨＭＤ１１２に表示させる表示制御部１２０と、を備える。

Description

情報処理装置、情報処理方法及び情報処理システム

　本開示は、情報処理装置、情報処理方法及び情報処理システムに関し、特に、移動に追従して遠隔地の画像を切換えて提供する情報処理装置、情報処理方法及び情報処理システムに関する。

　近年、離れた場所同士を映像や音声などの情報チャンネルによって接続し、これらの場所がつながっているような臨場感を与える、いわゆるテレプレゼンス（テレイグジスタンスともいう）という技術が開発されている。この種のテレプレゼンスを実現するため、遠隔地におけるユーザの仮想位置を遠隔操作により自在に移動させることが必要となる。従来、仮想現実（ＶＲ；virtual　reality）にマッピングされた静止画像上で操作することで、この静止画像を切換えて視覚環境を得る技術が提案されている（例えば、特許文献１参照）。

特表２０１０－５３１００７号公報

　しかし、従来の技術では、ユーザに提供される遠隔地の画像情報は静止画のみであり、さらには、これらの静止画は過去に撮影された既存画像のみであるため、提供される情報の鮮度に制限があった。このため、遠隔地をユーザがライブ感をもって移動する体験を提供することはできなかった。

　本開示は、上記に鑑みてなされたものであって、遠隔地をユーザがライブ感をもって移動する体験を可能とする情報処理装置、情報処理方法及び情報処理システムを提供することを目的とする。

　上述した課題を解決し、目的を達成するために、本開示に係る情報処理装置は、ユーザが視聴する映像を表示する表示部と、ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、遠隔地における該ユーザのリモートビューポイントを順次生成するリモートビューポイント生成部と、遠隔地に任意に配置された多数のセンサポイントの中から、リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を表示部に表示させる表示制御部と、を備える。

　また、本開示に係る情報処理装置は、遠隔地に任意に配置された多数のセンサポイントの位置情報を記憶する記憶部と、遠隔地におけるユーザのリモートビューポイントを順次取得するリモートビューポイント取得部と、取得したリモートビューポイントに近接した複数のセンサポイントの位置情報を出力する情報出力部と、を備える。

　また、本開示に係る情報処理方法は、プロセッサが、ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、遠隔地における該ユーザのリモートビューポイントを順次生成するステップと、遠隔地に任意に配置された多数のセンサポイントの中から、リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を表示部に表示させるステップと、を備える。

　また、本開示に係る情報処理システムは、情報処理端末と情報処理サーバとを有し、情報処理端末は、ユーザが視聴する映像を表示する表示部と、ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、遠隔地における該ユーザのリモートビューポイントを順次生成するリモートビューポイント生成部と、遠隔地に任意に配置された多数のセンサポイントの中から、リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を表示部に表示させる表示制御部と、を備え、情報処理サーバは、センサポイントの位置情報を記憶する記憶部と、リモートビューポイントを取得するリモートビューポイント取得部と、取得したリモートビューポイントに近接した複数のセンサポイントの位置情報を情報処理端末に出力する情報出力部と、を備える。

本開示の一実施形態に係る情報処理装置を有する情報処理システムの構成を示す説明図である。 情報処理システムとセンサポイントとの機能構成の一例を示す機能ブロック図である。 報処理端末のビュー切換え部と表示ビュー構成部との機能構成の一例を示す機能ブロック図である。 情報処理システムの動作手順を示すフローチャートである。 位置情報サーバが有するセンサポイントの各情報を記憶したデータベースを示す図である。 リモートビューポイントを設定する動作を説明するための図である。 位置情報サーバが有するリモートビューポイントの位置情報を記憶したデータベースを示す図である。 リモートビューポイントの周囲に配置されたセンサポイントの選択を説明する図である。 ターゲットに対するセンサポイントとリモートビューポイントとの視線差角度の状況と、選択されるセンサポイントのビューとの関係を示す図である。 周囲を見回した場合に切換えられるセンサポイントのビューの具体例を示す図である。 ビューの表示処理を説明する模式図である。 センサポイントが撮影した広角映像と、この広角画像から切り出された各種のビューとを示す図である。 ユーザの視線方向と撮影方向との視線差角度を示す図である。 平面表現した視線方向画像を表示ビューに重畳した例を示す図である。 立体表現した視線方向画像を説明するための図である。 図１２のビューに立体表現された視線方向画像を重畳した具体例を示す図である。 変形例に係る情報処理システムの動作手順を示すフローチャートである。 位置情報サーバが有するリモートビューポイントの位置情報と視線方向とを記憶したデータベースを示す図である。 本開示に係る情報処理端末、位置情報サーバおよび配信サーバのハードウェア構成例を示すブロック図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．本開示の概要
　２．本実施形態
　２．１．情報処理システム１の機能構成例
　２．２．センサポイントＳＰの機能構成例
　２．３．情報処理システム１の動作
　３．情報処理システム１の動作の具体例
　３．１．リモートビューポイント設定の具体例
　３．２．センサポイント選択の具体例
　３．３．ビュー表示処理の具体例
　３．４．ビュー切換え時のガイド画像表示の具体例
　３．５．ユーザの視線方向画像表示の具体例
　４．情報処理システムの変形例
　５．ハードウェア構成例
　６．まとめ

＜１．本開示の概要＞
　まず、図面を参照しながら本開示の一実施形態の概要を説明する。図１は、本開示の一実施形態に係る情報処理装置を有する情報処理システムの構成を示す説明図である。本開示の一実施形態に係る情報処理システムは、ユーザの移動や視線の変化に追従して、遠隔地で撮影されたライブ映像（音声を含む）を動的に切換えてユーザに提供することで、遠隔地体験を可能とする、ライブタウンビューイングシステムである。ここで、遠隔地体験とは、遠隔地での周囲確認や自己存在体験、観光などのエンタテイメント体験を含む。また、遠隔地とは、ユーザの所在地とは異なる場所を示し、日本国内及び国外の任意の場所を含む。

　図１に示すように、情報処理システム１は、情報処理装置としての情報処理端末１０及び情報処理サーバ２０を備える。これら情報処理端末１０及び情報処理サーバ２０は、それぞれネットワーク５０を介して相互に通信可能に接続されている。情報処理サーバ２０は、位置情報サーバ３０と配信サーバ４０とを備えて構成されている。情報処理サーバ２０は、これら位置情報サーバ３０と配信サーバ４０とをそれぞれ複数台備えた構成としてもよいし、位置情報サーバ３０と配信サーバ４０とを一体とした構成としてもよい。また、情報処理サーバ２０には、ネットワーク５０を介して、ライブ映像を撮影するための多数のセンサポイントＳＰ１、ＳＰ２・・ＳＰｎ（ｎは自然数）が接続されている。なお、センサポイントに関して区別する必要がない場合には単にセンサポイントＳＰという。

　情報処理端末１０は、ユーザに携帯され、もしくはユーザの所在地に設置される情報処理装置である。情報処理端末１０は、例えば、ユーザの眼前に配置される表示部を有するヘッドマウントディスプレイ（ＨＭＤ）や眼鏡（ＡＲグラス）型デバイス等を含むことが好ましい。また、情報処理端末１０には、スマートフォン、タブレット、またはパーソナルコンピュータなどを含んでもよいし、表示デバイスには多画面ディスプレイあるいは広視野角表示可能なディスプレイを含むようにしてもよい。

　情報処理端末１０は、遠隔地におけるユーザの仮想位置を示すリモートビューポイントを設定（生成）する。このリモートビューポイントは、例えば、選択された複数（３以上）のセンサポイントＳＰのビューアングル（撮影方向）のベクトル交点として定義される。リモートビューポイントは、先の位置からのユーザの移動量や移動方向に基づいて随時更新される。また、情報処理端末１０は、ユーザが視聴可能な表示部を有し、リモートビューポイントの変化に追従してセンサポイントＳＰが撮影したライブ映像を動的に切換えて表示部に表示する。更新されたリモートビューポイントの位置情報は、更新の都度、位置情報サーバ３０に送信されて、位置情報サーバ３０で管理（共有）される。

　位置情報サーバ３０は、多数のセンサポイントＳＰの位置情報、カメラの姿勢情報、及びカメラの広角情報をそれぞれ取得して管理する。センサポイントＳＰの位置情報は、ＧＰＳ（Global　Positioning　System）を用いてそれぞれ測位されたセンサポイントＳＰの設置位置に関する情報である。カメラの姿勢情報は、各センサポイントＳＰが備えるカメラの軸方向（ピッチ、アジマス、ロール）に関する情報である。また、カメラの広角情報は、該カメラの撮影範囲に関する情報である。なお、センサポイントＳＰの位置情報、カメラの姿勢情報、及びカメラの広角情報を特定する必要がない場合には、単にセンサポイントＳＰの各情報という。

　位置情報サーバ３０は、上記した遠隔地体験の初期位置として任意の住所が入力されると、入力された住所と位置情報との関連付けを行い、この住所に対する近隣の複数のセンサポイントＳＰの各情報を情報処理端末１０に送信する。また、位置情報サーバ３０は、ユーザの移動などに追従して該ユーザのリモートビューポイントが更新された場合、情報処理端末１０から更新されたリモートビューポイントの位置情報を順次取得して管理する。また、位置情報サーバ３０は、リモートビューポイントの移動（更新）に伴い、新たなリモートビューポイントに対して近隣の複数のセンサポイントＳＰの各情報を情報処理端末１０に送信する。なお、位置情報サーバ３０は、ネットワーク遅延を最小にするために情報処理端末１０に近いエッジサーバで機能する前提としてもよい。

　配信サーバ４０は、多数のセンサポイントＳＰが撮影したライブ映像（音声情報を含む）を常時受信する。配信サーバ４０は、情報処理端末１０からのリクエストに応じて、対象範囲（リモートビューポイントの近隣範囲）にあるセンサポイントＳＰのライブ映像を情報処理端末１０に対してストリーミング配信（他の情報端末に対しても同様に同報性を有するマルチキャスト配信）する。この配信サーバ４０は、センサポイントＳＰが撮影した映像情報を配信する映像情報配信部として機能する。

　センサポイントＳＰは、遠隔地の任意の箇所にそれぞれ設置されて該遠隔地のライブ映像を局地的に撮影する。センサポイントＳＰは、それぞれ超高精細のイメージセンサ（撮像部）を搭載した広角カメラとマイクとＧＰＳ（Global　Positioning　System）測位部とを備えた撮像装置である。センサポイントＳＰは、情報処理システム１のために新たに設置してもよいが、例えば店舗や道路脇に固定設置された既存の監視カメラや防犯カメラを含んでもよい。センサポイントＳＰの広角カメラは、例えば、人間の目線高さ程度の高さ位置に設けられることが好ましい。センサポイントＳＰは、それぞれ該センサポイントＳＰの各情報を位置情報サーバ３０へ送信する。また、センサポイントＳＰは、それぞれカメラで撮影した広角映像とマイクからの音声を配信サーバ４０へ送信する。

　ネットワーク５０は、情報処理端末１０、位置情報サーバ３０、配信サーバ４０、及び各センサポイントＳＰを接続する機能を有する。ネットワーク５０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク５０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク５０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など、あるいはその他の無線通信網を含んでもよい。

　本開示では、情報処理端末１０は、遠隔地におけるユーザの仮想位置と、該ユーザの移動量及び移動方向とに基づいて、遠隔地における該ユーザのリモートビューポイントを順次生成する。そして、情報処理端末１０は、遠隔地に任意に設置された多数のセンサポイントＳＰの中から、生成されたリモートビューポイントに基づいて選択されたセンサポイントＳＰが撮影したライブ映像を順次切換えてユーザに提供する。このため、時間的・金銭的な移動コストを要することなく、移動しながら現地の周囲の様子をライブで見渡せるといった６ＤｏＦ効果を知覚することができる。従って、遠隔地をユーザがライブ感をもって移動する観光、その他の遠隔地体験を実現することができる。

＜２．本実施形態＞
＜２．１．情報処理システム１の機能構成例＞
　次に、本実施形態に係る情報処理システム１の機能構成例について説明する。図２は、情報処理システムとセンサポイントとの機能構成の一例を示す機能ブロック図である。また、図３は、情報処理端末のビュー切換え部と表示ビュー構成部との機能構成の一例を示す機能ブロック図である。

　情報処理システム１の情報処理端末１０は、図２に示すように、移動量入力部１００、リモートビューポイント生成部１０２、ビュー切換え部１０４、アンパケット処理部１０６、ビデオデコーダ１０８、表示ビュー構成部１１０、ＨＭＤ（表示部）１１２、オーディオデコーダ１１４、オブジェクトレンダラ１１６、及びスピーカ１１８を備える。

　移動量入力部１００は、遠隔地におけるユーザの移動量及び移動方向を入力する。具体的には、ジョイスティックのような操縦桿形状を有する入力装置を用いることができる。移動量入力部１００は、例えば、スティックの傾ける方向や傾ける量によって、ユーザの移動量や移動方向を異ならせることができる。本実施形態では、ユーザが移動する際の移動方向と視線方向とは同一である。また、ユーザが停止した状態で、その場で回転操作がなされた場合には、ユーザの視線方向は入力操作された回転量（角度）だけ回転したものとする。

　また、移動量入力部１００は、上記したジョイスティックに限るものではなく、例えば、マウスや他の入力装置を用いてもよい。また、ＨＭＤを装着したユーザの顔の向きやジェスチャをセンサで検知することにより、ユーザの移動量及び移動方向を入力する構成としてもよい。また、マイクを通じて、ユーザの音声を検知し、この音声によって移動量及び移動方向を入力する構成としてもよい。

　リモートビューポイント生成部１０２は、位置情報サーバ３０から送信されたセンサポイントＳＰの各情報と、入力されたユーザの移動量及び移動方向に基づいて、上記したリモートビューポイントを生成する。リモートビューポイントは、遠隔地におけるユーザの仮想位置を示し、ユーザの視線方向（移動方向）を含むものとする。リモートビューポイント生成（設定）の具体例については後述する。

　ビュー切換え部１０４は、生成されたリモートビューポイントの位置、および、リモートビューポイントでのユーザの視線方向に基づいて、近隣のセンサポイントＳＰの中から最適のセンサポイントＳＰを選択して決定する。また、ビュー切換え部１０４は、配信サーバ４０に所定のセンサポイントＳＰのライブ映像の配信をリクエストする。具体的には、ビュー切換え部１０４は、図３に示すように、視線差角度算出部１３２と切換え判断部１３４とを備える。視線差角度算出部１３２は、リモートビューポイントにおけるユーザの視線方向と、この視線のターゲットに向けて延びる各センサポイントＳＰの撮影方向との角度差（視線差角度）を算出する。切換え判断部１３４は、算出された角度差がより小さいセンサポイントＳＰを選択し、このセンサポイントＳＰに切換える判断をする。また、切換え判断部１３４は、セレクタ１３６に対して、ストリーミング受信している複数のセンサポイントＳＰの中から選択されたセンサポイントＳＰへの切換えを実行する。このセレクタ１３６は、図２に記載はないが、例えば、ビデオデコーダ１０８とアンパケット処理部１０６との間に設けることができる。

　アンパケット処理部１０６は、各配信サーバ４０にてパケットに分割されて配信された映像情報及び音声情報を、各パケットのヘッダ情報に基づいてパッケージ化（一体化）する処理を行う。ビデオデコーダ１０８は、パッケージ化された映像情報の復号化（デコード）を行う。

　表示ビュー構成部１１０は、復号化された映像情報に処理を施し、ＨＭＤ１１２に表示されるビュー（表示映像）を生成する。具体的には、広角映像からユーザの視線のターゲットを含む一部を切り出す処理を行う。また、表示ビュー構成部１１０は、センサポイントＳＰを切換えた後に表示される状況を示すガイド画像や、ユーザの視線方向を平面的または立体的に表現したユーザ視線画像などを生成し、これらを切り出された映像に重畳して表示する。本実施形態では、ビュー切換え部１０４と表示ビュー構成部１１０とを備えて表示制御部１２０を構成する。

　また、表示ビュー構成部１１０は、図３に示すように、切換えスイッチ１４０、傾き補正部１４２、部分切り出し部１４４、超解像処理部１４６、画像拡大縮小部１４８、ＵＩ生成部１５０、及び表示構成部１５２と備える。切換えスイッチ１４０は、例えば、デコーダ１，２でそれぞれ復号化された映像情報を傾き補正部１４２または画像拡大縮小部１４８に切換えて送信する。傾き補正部１４２は、撮影された広角映像の傾きを補正する。部分切り出し部１４４は、傾き補正がなされた映像から視線のターゲットを含む所定の領域（一部）を切り出して切り出し映像を生成する。また、超解像処理部１４６は、切り出しによって解像度が低下した切り出し映像に対して超解像処理を行う。

　画像拡大縮小部１４８は、センサポイントＳＰの切換えた後に表示される状況を示すガイド画像を生成するために、切換え後の表示されるセンサポイントＳＰのライブ映像を縮小する処理を行う。ＵＩ生成部１５０は、上記したガイド画像やユーザ視線画像などのユーザインタフェースを作成する。表示構成部１５２は、超解像度処理が行われた映像にガイド画像やユーザ視線画像を重畳して表示画像を生成し、この表示画像をＨＭＤ１１２に送信する。

　ＨＭＤ１１２は、ユーザの頭部に装着され、ユーザの眼前に不図示のディスプレイ（表示部）を有する頭部装着型のディスプレイである。この構成では、ＨＭＤ１１２には、表示制御部１２０がリモートビューポイントの位置などに応じて順次切換えたセンサポイントＳＰのライブ映像が表示される。このため、遠隔地のライブ映像を、臨場感を高めた状態でユーザに提供することができ、ユーザがライブ感をもって移動する遠隔地体験を実現することができる。なお、本実施形態では、ＨＭＤ１１２を備えた構成を説明したが、ユーザに提供される映像を表示できる表示部を備えた構成であれば他の形態であってもよい。

　オーディオデコーダ１１４は、パッケージ化された音声情報の復号化を行う。オーディオデコーダ１１４は、ビデオデコーダ１０８と一体に設けてもよい。オブジェクトレンダラ１１６は、復号化された音声情報データを再生またはレンダリングする。スピーカ１１８は、再生またはレンダリングされた音声情報を音に変換して出力する。このスピーカ１１８は、ＨＭＤ１１２に設けられていてもよい。

　また、情報処理端末１０は、ネットワーク５０を介して、位置情報サーバ３０や配信サーバ４０と各種情報を送受信する機能を有する通信部を備えてもよい。情報処理端末１０は受信する位置情報、姿勢・広角情報、選択決定情報、符号化データが暗号化されている場合、それを解読する機能を持つ。

　位置情報サーバ３０は、図２に示すように、位置・姿勢広角情報取得部３００、リモートビューポイント取得部３０２、位置計算部３０４、記憶部３０６、及び情報出力部３０８を備える。位置・姿勢広角情報取得部３００は、各センサポイントＳＰから送信されるセンサポイントＳＰの位置情報、カメラの姿勢情報、及びカメラの広角情報をそれぞれ取得する。

　リモートビューポイント取得部３０２は、リモートビューポイント生成部１０２が生成したリモートビューポイントの位置情報をその都度取得する。位置計算部３０４は、取得したリモートビューポイントと周囲のセンサポイントＳＰとの距離を算出する。また、位置計算部３０４は、上記した視線差角度の算出を行う場合もある。

　記憶部３０６は、取得したセンサポイントＳＰの各情報、リモートビューポイントの位置情報を、それぞれデータベース化して記憶する。情報出力部３０８は、位置計算部３０４が計算したリモートビューポイントとの距離に基づいて、このリモートビューポイントに近接した一つまたは複数のセンサポイントＳＰを候補として選択し、このセンサポイントＳＰの各情報を情報処理端末１０に出力する。また、位置情報サーバ３０において、配信する位置情報、姿勢・広角情報、選択決定情報に対して適宜暗号化を施すようにしてもよい。

　配信サーバ４０は、センサポイントＳＰに対応したユニットが設けられ、各ユニットは、それぞれパケット処理部４００、ビデオエンコーダ４０２、広角映像パッキング４０４、オーディオエンコーダ４０６、及びオブジェクトメタ生成４０８を備える。

　パケット処理部４００は、エンコードされた映像情報及び音声情報をそれぞれパケット化するとともに、各パケットにヘッダ情報を付加する。パケットは、情報処理端末１０に送信される。

　ビデオエンコーダ４０２は、映像情報を所定の規則に従って、符号化する。広角映像パッキング４０４は、センサポイントＳＰから送信された映像情報を所定のデータ量ごとにまとめる（パッキング）処理を行う。

　オーディオエンコーダ４０６は、音声情報を所定の規則に従って、符号化する。オブジェクトメタ生成４０８は、センサポイントＳＰから送信された音声情報に、対応するセンサポイントや録音日時などのメタデータを生成して付加する。

　また、配信サーバ４０は、ネットワーク５０を介して、情報処理端末１０やセンサポイントＳＰと各種情報を送受信する機能を有する通信部を備えてもよい。配信サーバ４０において、配信する符号化データに対して適宜暗号化を施すようにしてもよい。

　以上、本実施形態に係る情報処理システム１（情報処理端末１０、位置情報サーバ３０、及び配信サーバ４０）の機能構成例について説明した。なお、図２を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理システム１の機能構成は係る例に限定されない。例えば、上記で述べた機能は、複数の装置により分散して実現されてもよい。また、本実施形態に係る情報処理端末１０、位置情報サーバ３０、配信サーバ４０の各機能構成は柔軟に変形することができる。

＜２．２．センサポイントＳＰの機能構成例＞
　次に、センサポイントＳＰの機能構成例について説明する。図２に示すように、センサポイントＳＰは、ＧＰＳ測位部６０、イメージセンサ（撮像部）６２、マイク６４、及び記憶部６６を備える。ＧＰＳ測位部６０は、例えばＧＰＳ信号を受信してセンサポイントＳＰの位置を測位する。ＧＰＳ測位部６０は、地球上でのセンサポイントの位置情報（位置座標情報）を測位によって取得する。イメージセンサ６２は、レンズとともにカメラを構成し、例えばレンズを通じて入った光を電気信号に変換する撮像素子である。このイメージセンサ６２には、ＣＣＤ（Charge　Coupled　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を用いることができる。マイク６４は、センサポイントＳＰの周囲の音、あるいは特定の方向の音を収音し、この音を電気信号に変換して出力する。記憶部６６は、例えば、センサポイントＳＰにおけるカメラの姿勢情報や中心方向情報およびカメラの広角情報を記憶する。なお、姿勢情報と中心方向情報とを合わせて姿勢情報と称する。

　また、センサポイントＳＰは、広角に映像を撮影するために、画角が例えば１２０°～３６０°の広角レンズ（不図示）を有する構成となっている。これによれば、センサポイントＳＰにおいて、広い範囲を撮影することができ、ユーザの視点の変化に追従することができる。また、センサポイントＳＰは、ネットワーク５０を介して、位置情報サーバ３０や配信サーバ４０と各種情報を送受信する機能を有する通信部を備えてもよい。

　以上、本実施形態に係る情報処理システム１にライブ映像を配信するセンサポイントＳＰの機能構成例について説明した。なお、図２を用いて説明した上記の機能構成はあくまで一例であり、この例に限定されるものではない。例えば、センサポイントＳＰが固定設置されており、センサポイントＳＰの各情報が予め判明しているものであれば、この各情報を位置情報サーバ３０に事前に登録することで、ＧＰＳ測位部を備えていない構成としてもよい。また、イメージセンサ６２で撮影した映像を一時的に記録するための記録部を別途備えていてもよい。

＜２．３．情報処理システム１の動作＞
　次に、情報処理システムの動作について説明する。図４は、情報処理システムの動作手順を示すフローチャートである。ここでは、情報処理サーバが位置情報サーバと配信サーバとを１台ずつ備えた構成を例示する。

　図４に示すように、初期状態として、センサポイントＳＰは、それぞれ自己のセンサポイントの位置情報、カメラの姿勢情報およびカメラの広角情報を位置情報サーバ３０に送信する（予備ステップＳ１）。これらの送信された情報は、位置情報サーバ３０の位置・姿勢広角情報取得部３００が取得して記憶部３０６にセンサポイントごとにデータベース化して記憶される。また、センサポイントＳＰは、それぞれ撮影した映像と音声を配信サーバ４０に常時送信し、これら映像と音声を情報処理端末１０のリクエストに応じてストリーミング配信するように設定する（予備ステップＳ２）。

　次に、情報処理端末１０を通じて、ユーザが遠隔地体験を所望する遠隔地（エリア）の初期位置として所定の住所が入力される（予備ステップＳ３）と、位置情報サーバ３０は、入力された住所と位置情報との関連付けを行い、この住所に対する近隣の複数のセンサポイントＳＰの各情報を情報処理端末１０に送信する（予備ステップＳ４）。

　次に、情報処理端末１０は、ユーザの視点位置（仮想位置）を定めて、これを入力する（ステップＳ１１）。この視点位置は、移動の開始点であり、ユーザが任意に設定することができる。また、情報処理端末１０は、近隣の複数のセンサポイントＳＰの位置情報からリモートビューポイントＲＰを生成し、このリモートビューポイントＲＰの位置情報を位置情報サーバ３０へ送信する。リモートビューポイントＲＰの生成の具体例については後述する。

　位置情報サーバ３０は、生成されたリモートビューポイントＲＰの位置情報を取得すると、この位置情報をデータベースで共有する。そして、位置情報サーバ３０は、リモートビューポイントＲＰの近傍のセンサポイントＳＰ群を情報処理端末１０へ送信する（ステップＳ１２）。

　次に、情報処理端末１０は、ユーザの仮想位置が移動するに従い、ユーザの移動量及び移動方向に基づいて、リモートビューポイントＲＰを更新し、更新した位置情報を位置情報サーバ３０に送信する（ステップＳ１３）。この場合、情報処理端末１０は、リモートビューポイントＲＰの位置情報に基づいてセンサポイントＳＰを選択する。本実施形態では、情報処理端末１０は、リモートビューポイントＲＰにおけるユーザの視線方向と、この視線のターゲットに向けて延びる各センサポイントのビュー方向（撮影方向）との角度差（視線差角度）が最も小さいセンサポイントＳＰを選択する（ステップＳ１４）。

　そして、情報処理端末１０は、配信サーバ４０に対して、選択されたセンサポイントＳＰが撮影したライブ映像の配信をリクエストする（ステップＳ１５）。

　配信サーバ４０は、リクエストされたセンサポイントＳＰが撮影したライブ映像を情報処理端末１０に配信する（ステップＳ１６）。以後、ステップＳ１２～Ｓ１５の処理を繰り返し実行することにより、情報処理端末１０は、遠隔地に任意に設置された多数のセンサポイントＳＰの中から、生成されたリモートビューポイントに基づいて選択されたセンサポイントＳＰが撮影したライブ映像を順次切換えてユーザに提供することができる。このため、遠隔地をユーザがライブ感をもって移動する遠隔地体験を実現することができる。

＜３．情報処理システム１の動作の具体例＞
＜３．１．リモートビューポイント設定の具体例＞
　次に、リモートビューポイントの設定（生成）について説明する。図５は、位置情報サーバが有するセンサポイントの各情報を記憶したデータベースを示す図である。図６は、リモートビューポイントを設定する動作を説明するための図である。図７は、位置情報サーバが有するリモートビューポイントの位置情報を記憶したデータベースを示す図である。

　リモートビューポイントは、上記したように、遠隔地をユーザが移動する際の仮想位置を示すものであり、センサポイントＳＰを選択する基準となる。このため、遠隔地をユーザがライブ感をもって移動する体験を提供するには、リモートビューポイントの位置を精度良く設定する必要がある。本実施形態では、リモートビューポイントは、周囲の複数のセンサポイントＳＰのビューアングル（撮影方向）のベクトル交点として定義される。これらビューアングルは、各センサポイントＳＰが撮影した広角映像の範囲からユーザの操作によって決定される。

　まず、情報処理端末１０から遠隔地でのユーザの初期位置が入力されると、位置情報サーバ３０は、入力地点の近隣に設置されているセンサポイントＳＰのリストを情報処理端末１０に提供する。位置情報サーバ３０の記憶部３０６には、図５に示すセンサポイントＳＰの各情報及び対応する配信サーバアドレスを規定したデータベース３０６Ａが記憶されている。このため、位置情報サーバ３０の情報出力部３０８は、データベース３０６Ａの中から入力地点の近隣に設置された複数（３つ）のセンサポイントＳＰ１～ＳＰ３を情報処理端末１０に送信する。なお、位置情報サーバ３０は、データベース３０６Ａに規定されたセンサポイントＳＰの各情報を入力地点に近い順にソーティングしたリストとして情報処理端末１０に送信し、そのリストの中から情報処理端末１０に複数のセンサポイントＳＰ１～ＳＰ３を選択させてもよい。

　図６において、入力された初期位置をＰ、選択されたセンサポイントＳＰ１～ＳＰ３の位置をＡ～Ｃとする。情報処理端末１０の表示制御部１２０は、センサポイントＳＰ１～ＳＰ３に対応する配信サーバアドレスを用いて、配信サーバ４０に対して撮影されたライブ映像の配信リクエストを行う。この配信リクエストに応じて、配信サーバ４０は、センサポイントＳＰ１～ＳＰ３のライブ映像及び音声を情報処理端末１０に配信する。

　ユーザは、移動量入力部１００を用いて、各センサポイントＳＰ１～ＳＰ３の広角のライブ映像に対して、ビューアングルを選択する。図６の例では、センサポイントＳＰ１～ＳＰ３のビューアングルは、それぞれＡａ１、Ｂｂ１、Ｃｃ１のベクトルとして示され、これらベクトルの交点がリモートビューポイントＲＰ１として設定される。この例では、初期位置ＰとリモートビューポイントＲＰ１とが同一となったが、これらの位置は当然異なってもよい。

　次に、情報処理端末１０は、リモートビューポイントＲＰ１の位置情報を算出する。具体的には、リモートビューポイント生成部１０２は、取得した３つのセンサポイントＳＰ１～ＳＰ３の位置情報から数式１を用いて、各センサポイント間の距離ＡＢ、ＢＣ、ＣＡをそれぞれ算出する。

　次に、リモートビューポイント生成部１０２は、各センサポイントＳＰ１～ＳＰ３におけるカメラの姿勢情報からセンサポイントＳＰ１～ＳＰ３をそれぞれ通過する直線ｌＡ～ｌＣの方向ベクトルを求め、各センサポイントＳＰ１～ＳＰ３の仰角θＡ～θＣを求める。これらの仰角θＡ～θＣは、上記ビューアングルを選択した際にカメラ姿勢情報から算出決定される角度である。

　次に、リモートビューポイント生成部１０２は、算出した各センサポイント間の距離ＡＢ、ＢＣ、ＣＡと仰角θＡ～θＣとから、ＡＢＣ平面における∠ＢＡＰと∠ＡＢＰを求める。これにより、点Ｐ（ＲＰ１）の位置情報（座標位置）を各センサポイントＳＰ１～ＳＰ３の位置情報からの相対オフセットにより算出することができる。算出されたリモートビューポイントＲＰ１の位置情報は、位置情報サーバ３０に送信される。位置情報サーバ３０のリモートビューポイント取得部３０２は、このリモートビューポイントＲＰ１の位置情報を取得し、この位置情報は、図７に示す記憶部３０６のデータベース３０６Ｂに格納される。

　ユーザの操作によって、移動量及び移動方向が入力されると、リモートビューポイント生成部１０２は、入力された移動量及び移動方向に基づいて、新たなリモートビューポイントＲＰ２に更新する。本実施系形態では、移動量入力部１００の最小解像度単位（例えばｎメートル(ｎは小数を含む）)が規定されている。このため、移動量入力部１００により入力された移動量と移動方向をリモートビューポイントへ反映（マッピング）する場合、リモートビューポイント生成部１０２は、入力された移動量が最小解像度単位の何ユニット分であったかが示され、また、入力された移動方向が３６０度方位の任意の方角で示されることで、移動量及び移動方向を実寸変換することができる。

　上記したセンサポイント間の距離ＡＢ、ＢＣ、ＣＡを基準とした同一の縮尺で見た場合に、リモートビューポイントＲＰ１から新たなリモートビューポイントＲＰ２への移動量は、各センサポイントＳＰ１～ＳＰ３からのビューアングルの変動によって表現できる。すなわち、新たなリモートビューポイントＲＰ２への移動量は、各センサポイントＳＰ１～ＳＰ３からリモートビューポイントＲＰ２を通るベクトルＡａ２、Ｂｂ２、Ｃｃ２の向きで表現することができる。リモートビューポイント生成部１０２は、上記と同様に、リモートビューポイントＰＲ２の位置情報を算出し、この位置情報は、位置情報サーバ３０に送信されて、図７に示すデータベース３０６Ｂに格納される。このように、ユーザによって移動が指示されるたびに、リモートビューポイント生成部１０２は、入力された移動用及び移動方向に基づいて、新たなリモートビューポイントを順次生成する。この新たなリモートビューポイントの位置情報は所定のデータベース３０６Ｂに格納される。

　また、位置情報サーバ３０の位置計算部３０４は、最新のリモートビューポイントと、近隣に配置されるセンサポイントとの距離Δを、数式２を用いてそれぞれ計算している。

　そして、リモートビューポイントが順次移動していくに連れて、現在選択されているセンサポイントＳＰ１～ＳＰ３よりも最新のリモートビューポイントに近いセンサポイントＳＰ６（点Ｆ）が現れると、位置情報サーバ３０の情報出力部３０８は、このセンサポイントＳＰ６の位置情報を情報処理端末１０に送信する。情報処理端末１０では、最新のリモートビューポイントの位置と移動方向から、既存のセンサポイントＳＰ１～ＳＰ３と新たに提供されたセンサポイントＳＰ６とを入れ替えるかどうかの判断がなされる。この場合、リモートビューポイントが移動する方向にユーザの視線方向が向いていると想定されるため、この視線方向と各センサポイントからのビューアングルとの角度差（視線差角度）が最も小さなセンサポイントが少なくとも含まれるようにするのが好ましい。

＜３．２．センサポイント選択の具体例＞
　次に、リモートビューポイントにおいて、ライブ映像を提供するセンサポイントＳＰを選択する動作について説明する。ここでは、説明の便宜上、同一のリモートビューポイントにて、ユーザがその場で３６０°に亘って見渡す動作をした場合のセンサポイントＳＰの選択（切換え）動作を例示する。図８は、リモートビューポイントの周囲に配置されたセンサポイントの選択を説明する図である。図９は、ターゲットに対するセンサポイントとリモートビューポイントとの視線差角度の状況と、選択されるセンサポイントのビューとの関係を示す図である。図１０は、周囲を見回した場合に切換えられるセンサポイントのビューの具体例を示す図である。

　リモートビューポイントが設定されると、情報処理端末１０のビュー切換え部１０４は、リモートビューポイントに基づいて最適なセンサポイントＳＰを選択し、このセンサポイントＳＰの撮影したライブ映像の配信をリクエストする。この場合、ユーザのライブ感を高めるためには、ユーザの視線に合致したライブ映像を提供することが好ましい。一方で、センサポイントＳＰは、既存に設置されたものであり、ユーザの視線に応じて適宜カメラの位置や向きを変更することは難しい。このため、本実施形態では、ビュー切換え部１０４は、リモートビューポイントにおけるユーザの視線方向と、この視線のターゲットに向けて延びる各センサポイントのビュー方向（撮影方向）との角度差（視線差角度）が最も小さいセンサポイントＳＰを選択する。

　具体的には、図８に示すように、リモートビューポイントＲＰからターゲットａｖ１にユーザの視線が向いている場合、センサポイントＳＰ１とセンサポイントＳＰ２が候補に挙がる。この場合、センサポイントＳＰ１、ターゲットａｖ１及びリモートビューポイントＲＰを結ぶ角度∠(ＳＰ１,ａｖ１,ＲＰ)は、センサポイントＳＰ２、ターゲットａｖ１及びリモートビューポイントＲＰを結ぶ角度∠(ＳＰ２,ａｖ１,ＲＰ)よりも小さい。このため、図９に示すように、センサポイントＳＰ１が選択され、表示制御部１２０は、選択されたセンサポイントＳＰ１のビューをＨＭＤ１１２に表示させる。ここで、センサポイントＳＰのビューは、センサポイントＳＰで撮影された広角の映像からユーザの視線のターゲットを含む一部の領域を切り出した映像をいう。

　同様に、リモートビューポイントＲＰからターゲットａｖ３に視線が向いている場合、センサポイントＳＰ１とセンサポイントＳＰ２が候補に挙がる。この場合、先ほどとは異なり、センサポイントＳＰ２、ターゲットａｖ３及びリモートビューポイントＲＰを結ぶ角度∠(ＳＰ２,ａｖ３,ＲＰ)は、センサポイントＳＰ１、ターゲットａｖ３及びリモートビューポイントＲＰを結ぶ角度∠(ＳＰ１,ａｖ３,ＲＰ)よりも小さい。このため、図９に示すように、センサポイントＳＰ２が選択され、表示制御部１２０は、選択されたセンサポイントＳＰ２のビューをＨＭＤ１１２に表示させる。なお、センサポイントＳＰ２とセンサポイントＳＰ３、センサポイントＳＰ３とセンサポイントＳＰ４、センサポイントＳＰ４とセンサポイントＳＰ１についても上記と同様な選択動作がなされるが、これについては説明を省略する。

　この構成によれば、リモートビューポイントＲＰに対して視線差角度が最も小さいセンサポイントＳＰが選択されるため、リモートビューポイントＲＰにおける視線方向とセンサポイントＳＰのビュー方向との極端な不一致を低減することができる。このため、リモートビューポイントＲＰからの視線に近いセンサポイントＳＰのビューをＨＭＤ１１２に表示することができ、ユーザが体験するライブ感を高めることができる。

　また、選択されるセンサポイントＳＰによって、ＨＭＤ１１２に表示されるセンサポイントＳＰのビューが切換わる。このため、リモートビューポイントＲＰの視点位置からのビューのアングルに生じる違和感を低減するため、センサポイントＳＰ間の切換え動作を工夫している。すなわち、ビュー切換え部１０４の視線差角度算出部１３２は、リモートビューポイントＲＰにて、例えば時計方向に回転して周囲を見渡す動作をした場合、移動する視線の先（ターゲット）に対する各センサポイントの視線差角度を算出し、この視線差角度の大ききによって、切換え判断部１３４がビューの切換えを実行している。具体的には、図８において、リモートビューポイントＲＰにて、ユーザの視線方向がターゲットａｖ１からａｖ３まで時計方向に移動した場合、視線差角度算出部１３２は、角度∠(ＳＰ１,ａｖ１,ＲＰ)と、角度∠(ＳＰ２,ａｖ１,ＲＰ)とを算出し、これらの角度が一致した条件（ターゲットａｖ２ｅ）にて、ＨＭＤ１１２に表示されるセンサポイントＳＰのビューをセンサポイントＳＰ１からセンサポイントＳＰ２に切換えている。なお、センサポイントＳＰ２とセンサポイントＳＰ３、センサポイントＳＰ３とセンサポイントＳＰ４、センサポイントＳＰ４とセンサポイントＳＰ１についても上記と同様な選択動作がなされるが、これについては説明を省略する。

　この構成によれば、ビューの切換え時に、ユーザの違和感を低減することができ、ユーザが体験するライブ感を高めることができる。なお、図８では、リモートビューポイントＲＰと各ターゲットａｖとの距離は任意に描いているが、リモートビューポイントＲＰからの各ターゲットａｖとの距離を所定値（例えば２０ｍ）とすることが好ましい。この構成によれば、視線差角度を正確に算出することができ、ビューの切換え時のユーザの違和感をより低減することができる。

　上記したように、リモートビューポイントＲＰの周囲を見回す場合に、リモートビューポイントＲＰに対して視線差角度が一致した条件でセンサポイントＳＰが切換えられる。このため、図１０に示すように、センサポイントＳＰ１からセンサポイントＳＰ２へ切換えられた場合、同一のターゲットを含むセンサポイントＳＰ１のビュー７０－２と、センサポイントＳＰ２のビュー７１－１との違和感を低減することができる。同様に、センサポイントＳＰ２からセンサポイントＳＰ３へ切換えられた場合、同一のターゲットを含むセンサポイントＳＰ２のビュー７１－２と、センサポイントＳＰ３のビュー７２－１との違和感を低減することができる。また、センサポイントＳＰ３からセンサポイントＳＰ４へ切換えられた場合、同一のターゲットを含むセンサポイントＳＰ３のビュー７２－２と、センサポイントＳＰ４のビュー７３－１との違和感を低減することができる。また、センサポイントＳＰ４からセンサポイントＳＰ１へ切換えられた場合、同一のターゲットを含むセンサポイントＳＰ４のビュー７３－２と、センサポイントＳＰ１のビュー７０－１との違和感を低減することができる。

＜３．３．ビュー表示処理の具体例＞
　次に、上記したセンサポイントＳＰのビューをＨＭＤ１１２に表示する際の表示処理について説明する。図１１は、ビューの表示処理を説明する模式図である。上記したように、本実施形態では、情報処理端末１０の表示ビュー構成部１１０は、各センサポイントＳＰで撮影された広角の映像からユーザの視線のターゲットを含む一部の領域を切り出したビューをＨＭＤ１１２に表示する制御を行っている。この場合、リモートビューポイントＲＰでの映像の視野角は、各センサポイントＳＰの位置で撮影される映像の視野角に対し、該センサポイントＳＰからの距離に比例して小さくなる。このため、表示ビュー構成部１１０は、センサポイントＳＰが撮影した広角映像７５（デコード画）に対して、平面化変換処理を行って平面化画７６を生成する。そして、平面化画７６の傾き補正した後、視線のターゲットを含む所定の領域（一部）を切り出した切り出し画７７を生成する。この切り出し画７７は、各センサポイントＳＰにおいて、同一のターゲットを含む場合に、このターゲットが同等の大きさになるように切り出すことが好ましい。この構成によれば、ビューの切換え時に、ユーザの違和感を低減することができ、ユーザが体験するライブ感を高めることができる。最後に、表示ビュー構成部１１０は、切り出しによって解像度が低下した切り出し画７７に超解像度処理を行うことより、例えば、センサキャプチャ級の超解像画７８を生成する。この超解像画７８がＨＭＤ１１２に表示されるため、ユーザのライブ感を高めることができる。

＜３．４．ビュー切換え時のガイド画像表示の具体例＞
　次に、ビュー切換え時にガイド画像を重畳して表示する動作について説明する。図１２は、センサポイントが撮影した広角映像と、この広角画像から切り出された各種のビューとを示す図である。この図１２では、リモートビューポイントにおけるユーザの視線の動きによって、広角映像（デコード画）８０から３つのビュー（表示映像）８１Ａ～８１Ｃが切り出されている。

　上記したように、リモートビューポイントにおいて、視線方向を動かした場合に、視線差角度が最も小さいセンサポイントＳＰが選択されるため、ＨＭＤ１１２に表示されるビューの撮影角度が変わる。この場合、センサポイントＳＰの配置関係によっては、視線差角度が一致した条件（ターゲットａｖ２ｅ）にて、ＨＭＤ１１２に表示されるセンサポイントＳＰのビューを切換えることもでき、ユーザの違和感を低減することができる。一方で、センサポイントＳＰは、既存のものであるため、センサポイントＳＰの切換えの前後で撮影方向が大きく変化することも十分に想定される。この場合、ユーザの視線方向の移動によって、突然、センサポイントＳＰが切換わると、ユーザの違和感が大きくなる問題がある。

　このため、本構成では、表示ビュー構成部１１０は、センサポイントＳＰの切換え前のビュー８１Ａ，８１Ｃに、それぞれ切換え後のセンサポイントＳＰ表示内容を示すガイド画像（ユーザインタフェース）８２Ａ，８２Ｃをそれぞれ重畳して表示する。これらのガイド画像の生成そして重畳は、画像拡大縮小部１４８と表示ビュー構成部１１０のＵＩ生成部１５０によって生成される。これらのガイド画像８２Ａ，８２Ｃは、視線方向の移動に伴って切換えられた後のセンサポイントＳＰの広角画像（デコード画）８３Ａ，８３Ｃと、これら広角画像８３Ａ，８３Ｃから切り出された同一のターゲットを含む切り出し予定画像８４Ａ，８４Ｃと、視線方向の移動を示す矢印画像８５Ａ，８５Ｃとを含む。なお、センサポイントＳＰの切換えのないビュー８１Ｂには、ガイド画像は表示されない。この構成によれば、センサポイントＳＰが切換えられる場合、切換え前のビュー８１Ａ，８１Ｃに、それぞれ切換え後の表示内容を示すガイド画像８２Ａ，８２Ｃがそれぞれ重畳して表示されるため、事前にユーザはセンサポイントＳＰの切換えを認識することができる。このため、センサポイントＳＰが切換わった場合におけるユーザの違和感が低減することができる。なお、ガイド画像８２Ａ，８２Ｃの重畳は、センサポイントＳＰの切換え前、そして切換え後の一定期間に行われるようにしてもよい。

＜３．５．ユーザの視線方向画像表示の具体例＞
　次に、表示されるビューに対して、ユーザの視線方向画像を重畳して表示する動作について説明する。図１３は、ユーザの視線方向と撮影方向との視線差角度を示す図である。図１４は、平面表現した視線方向画像を表示ビューに重畳した例を示す図である。図１５は、立体表現した視線方向画像を説明するための図である。図１６は、図１２のビューに立体表現された視線方向画像を重畳した具体例を示す図である。

　上記したように、センサポイントＳＰにおける撮影方向とリモートビューポイントにおけるユーザの視線方向とは一般に異なるため、ＨＭＤ１１２に表示される撮影映像（ライブ映像）は、リモートビューポイントで見える風景とは異なる角度で撮影された映像となる。このため、ユーザが撮影方向と視線方向とのギャップによって生じる違和感を覚えることが想定される。このため、本実施形態では、撮影方向と視線方向との視線差角度を求め、この視線差角度を示す視線方向画像を表示画像に重畳することで、ユーザの違和感の低減を図っている。

　図１３に示すように、リモートビューポイントＲＰにおけるターゲットＶ１へ向かう視線方向と、センサポイントＳＰ１でのターゲットＶ１の撮影方向とはほぼ一致する。これに対して、ターゲットＶ２では、視線方向とセンサポイントＳＰ１の撮影方向とは視線差角度Ａ１の視線差を生じる。同様に、ターゲットＶ３では、視線方向とセンサポイントＳＰ１の撮影方向とは視線差角度Ａ２の視線差を生じ、ターゲットＶ４では、視線方向とセンサポイントＳＰ２の撮影方向とは視線差角度Ａ３の視線差を生じることとなる。

　このため、図１４に示すように、ターゲットＶ１を表示する映像には、視線方向と撮影方向とがほぼ一致したことを平面的に表現した視線方向画像９０が重畳して表示される。この視線方向画像９０は、撮影方向９０Ａと視線方向９０Ｂとが点状に重ねて表現されている。これに対して、視線差角度が生じている場合には、この視線差角度を表現した視線方向画像が映像に重畳して表示される。例えば、ターゲットＶ２を表示する映像に重畳される視線方向画像９１は、上下の鉛直線で示した撮影方向９１Ａと、この撮影方向９１Ａに対して左側から所定の視線差角度Ａ１で交差する矢印で示した視線方向９１Ｂとを有する。この構成では、表示されている映像に対して、リモートビューポイントにおける視線方向と視線差角度の大きさがどの程度であるかを平面的に表現した視線方向のグラフィックス表示で簡易に示すことができるため、映像を視聴しているユーザの違和感を低減することができる。

　同様に、ターゲットＶ３を表示する映像に重畳される視線方向画像９２は、上下の鉛直線で示した撮影方向９２Ａと、この撮影方向９２Ａに対して左側から所定の視線差角度Ａ２で交差する矢印で示した視線方向９２Ｂとを有する。また、ターゲットＶ４を表示する映像に重畳される視線方向画像９３は、上下の鉛直線で示した撮影方向９３Ａと、この撮影方向９３Ａに対して右側から所定の視線差角度Ａ３で交差する矢印で示した視線方向９３Ｂとを有する。

　また、通常、３次元空間では、図１５に示すように、視線方向とカメラ撮影方向との差を示す視線差角度は、各々、水平角Ａ１ｘ、垂直各Ａ１ｙと表現できる。このため、本実施形態では、視線方向画像９４は、表示される映像と同一平面に想定された矩形の底面９４Ｃと、この矩形の一角部を該底面に垂直に延びる撮影方向９４Ａと、この撮影方向９４Ａに対して所定の視線差角度で交差する矢印で示した視線方向９４Ｂとを有する。例えば、ターゲットＶ３を表示する映像に視線方向画像９４を重畳することにより、表示されている映像に対して、リモートビューポイントにおける視線方向と、視線差角度の大きさがどの程度であるかを立体的に表現した視線方向のグラフィックス表示で示すことができる。このため、映像を視聴しているユーザの違和感を低減することができる。

　また、図１２に示したビュー８１Ａ～８１Ｃにそれぞれ立体的に表現した視線方向画像９５～９７を重畳して表現してみると、例えば、ビュー８１Ａ、８１Ｂは、同じセンサポイントＳＰが撮影した画像に対して、視線方向画像９５、９６を重畳しているため、視線方向画像９５、９６の視線方向９５Ｂ、９６Ｂはほぼ同じ方向に向いている。これに対して、例えば、ビュー８１Ｃがビュー８１Ａ、８１Ｂと異なるセンサポイントＳＰが撮影している場合、ビュー８１Ｃに重畳される視線方向画像９７の視線方向９７Ｂは、上記した視線方向画像９５、９６の視線方向９５Ｂ、９６Ｂと異なる。このため、ビュー８１Ｂとビュー８１Ｃとで切換えられた場合、視線方向画像９６、９７によって、撮影するセンサポイントＳＰが切換えられたことを判断することができ、映像を視聴しているユーザの違和感を低減することができる。

＜４．情報処理システムの変形例＞
　次に、本実施形態に係る情報処理システムの変形例を説明する。図１７は、変形例に係る情報処理システムの動作手順を示すフローチャートである。図１８は、位置情報サーバが有するリモートビューポイントの位置情報と視線方向とを記憶したデータベースを示す図である。上記した実施形態では、情報処理システム１は、それぞれ１台ずつの位置情報サーバ３０、配信サーバ４０を備えた構成としたが、この変形例では、それぞれ２台ずつ、すなわち第１位置情報サーバ３０Ａ及び第２位置情報サーバ３０Ｂと、第１配信サーバ４０Ａ及び第２配信サーバ４０Ｂとを備えた構成となっている。これら第１位置情報サーバ３０Ａ及び第２位置情報サーバ３０Ｂは、上記した位置情報サーバ３０と同一の構成を有し、第１配信サーバ４０Ａ及び第２配信サーバ４０Ｂは、上記した配信サーバ４０と同一の構成を有する。第１位置情報サーバ３０Ａと第１配信サーバ４０Ａは、センサポイントＳＰ１～ＳＰＰが設置されたエリアを担当し、第２位置情報サーバ３０Ｂと第２配信サーバ４０Ｂは、異なるエリアに設置されたセンサポイントＳＰＱ～ＳＰＺを担当するものとする。なお、これらの担当エリア（センサポイント）は多少重複してもよい。

　この構成では、リモートビューポイントＲＰの位置の移動に伴い、該当するセンサポイントＳＰの担当エリアにより位置情報サーバ及び配信サーバが切換わる。この構成によれば、各位置情報サーバ及び配信サーバの負荷が軽減される。

　また、上記した実施形態では、情報処理端末１０がリモートビューポイントＲＰの位置に応じて、視線差角度が最も小さなセンサポイントＳＰを選択する構成としたが、この選択を第１位置情報サーバ３０Ａ及び第２位置情報サーバ３０Ｂに実行させてもよい。この場合、センサポイントＳＰの選択は、位置計算部３０４が実行する構成とすればよい。

　変形例に係る情報処理システムの動作について説明する。図１７に示すように、初期状態として、センサポイントＳＰは、それぞれ自己のセンサポイントの位置情報、カメラの姿勢情報およびカメラの広角情報を担当する第１位置情報サーバ３０Ａ、または第２位置情報サーバ３０Ｂに送信する（予備ステップＳ１Ａ、Ｓ１Ｂ）。これらの送信された情報は、第１位置情報サーバ３０Ａ、第２位置情報サーバ３０Ｂの位置・姿勢広角情報取得部３００が取得して記憶部３０６にセンサポイントごとにデータベース化して記憶される。また、センサポイントＳＰは、それぞれ撮影した映像と音声を担当する第１配信サーバ４０Ａまたは第２配信サーバ４０Ｂに常時送信し、これら映像と音声を情報処理端末１０のリクエストに応じてストリーミング配信するように設定する（予備ステップＳ２Ａ、Ｓ２Ｂ）。

　次に、情報処理端末１０を通じて、ユーザが遠隔地体験を所望する遠隔地（エリア）の初期位置として所定の住所が入力される（予備ステップＳ３）と、第１位置情報サーバ３０Ａは、入力された住所と位置情報との関連付けを行い、この住所に対する近隣の複数のセンサポイントＳＰの各情報を情報処理端末１０に送信する（予備ステップＳ４）。

　次に、情報処理端末１０は、ユーザの視点位置（仮想位置）を定めて、これを入力する（ステップＳ２１）。この視点位置は、移動の開始点であり、ユーザが任意に設定することができる。また、情報処理端末１０は、近隣の複数のセンサポイントＳＰの位置情報からリモートビューポイントＲＰを生成し、このリモートビューポイントＲＰの位置情報を第１位置情報サーバ３０Ａ及び第２位置情報サーバ３０Ｂへそれぞれ送信する。

　次に、生成されたリモートビューポイントＲＰが存在するエリアを担当する位置情報サーバ（例えば第１位置情報サーバ３０Ａ）へ接続し、リモートビューポイントＲＰの位置情報と視線方向とを送信する（ステップＳ２２）。この場合、第１位置情報サーバ３０Ａは、生成されたリモートビューポイントＲＰの位置情報及び視線方向を取得すると、この位置情報及び視線方向をデータベースで共有する。このデータベース３０６Ｂ１は、図１８に示すように、リモートビューポイントＲＰにおける視線方向を３次元空間のピッチ、アジマス、ロールで記憶する。

　次に、第１位置情報サーバ３０Ａは、リモートビューポイントＲＰの近傍のセンサポイントＳＰ群を情報処理端末１０へ送信する（ステップＳ２３）。情報処理端末１０は、ユーザの仮想位置が移動するに従い、ユーザの移動量及び移動方向に基づいて、リモートビューポイントＲＰを更新し、更新したリモートビューポイントＲＰの位置情報と視線方向とを第１位置情報サーバ３０Ａに送信する（ステップＳ２４）。この場合、第１位置情報サーバ３０Ａは、リモートビューポイントＲＰの位置情報及び視線方向に基づいてセンサポイントＳＰを選択する。この変形例では、第１位置情報サーバ３０Ａは、リモートビューポイントＲＰにおけるユーザの視線方向と、この視線のターゲットに向けて延びる各センサポイントのビュー方向（撮影方向）との角度差（視線差角度）が最も小さいセンサポイントＳＰを選択する（ステップＳ２５）。この選択されたセンサポイントＳＰは、情報処理端末１０に送信される。

　情報処理端末１０は、選択されたセンサポイントＳＰを担当する第１配信サーバ４０Ａに対して、該センサポイントＳＰが撮影したライブ映像の配信をリクエストする（ステップＳ２６）。第１配信サーバ４０Ａは、リクエストされたセンサポイントＳＰが撮影したライブ映像を情報処理端末１０に配信する（ステップＳ２７）。以後、新たなリモートビューポイントＲＰの位置が第２位置情報サーバ３０Ｂの担当エリアに移るまで、ステップＳ２３～Ｓ２７の処理が繰り返し実行される。

　次に、新たなリモートビューポイントＲＰの位置が第２位置情報サーバ３０Ｂの担当エリアに移った場合、このリモートビューポイントＲＰが存在するエリアを担当する別の位置情報サーバ（例えば第２位置情報サーバ３０Ｂ）へ接続し、リモートビューポイントＲＰの位置情報と視線方向とを送信する（ステップＳ２８）。この場合、第２位置情報サーバ３０Ｂは、生成されたリモートビューポイントＲＰの位置情報及び視線方向を取得すると、この位置情報及び視線方向をデータベース３０６Ｂ１（図１８）で共有する。

　次に、第２位置情報サーバ３０Ｂは、リモートビューポイントＲＰの近傍のセンサポイントＳＰ群を情報処理端末１０へ送信する（ステップＳ２９）。情報処理端末１０は、ユーザの仮想位置が移動するに従い、ユーザの移動量及び移動方向に基づいて、リモートビューポイントＲＰを更新し、更新したリモートビューポイントＲＰの位置情報と視線方向とを第２位置情報サーバ３０Ｂに送信する（ステップＳ３０）。この場合、第２位置情報サーバ３０Ｂは、リモートビューポイントＲＰの位置情報及び視線方向に基づいてセンサポイントＳＰを選択する。この変形例では、第２位置情報サーバ３０Ｂは、リモートビューポイントＲＰにおけるユーザの視線方向と、この視線のターゲットに向けて延びる各センサポイントのビュー方向（撮影方向）との角度差（視線差角度）が最も小さいセンサポイントＳＰを選択する（ステップＳ３１）。この選択されたセンサポイントＳＰは、情報処理端末１０に送信される。

　情報処理端末１０は、選択されたセンサポイントＳＰを担当する第２配信サーバ４０Ａに対して、該センサポイントＳＰが撮影したライブ映像の配信をリクエストする（ステップＳ３２）。第２配信サーバ４０Ｂは、リクエストされたセンサポイントＳＰが撮影したライブ映像を情報処理端末１０に配信する（ステップＳ３３）。以後、新たなリモートビューポイントＲＰの位置が別の位置情報サーバの担当エリアに移るまで、ステップＳ２８～Ｓ３３の処理が繰り返し実行される。

　この変形例においても、情報処理端末１０は、遠隔地に任意に設置された多数のセンサポイントＳＰの中から、生成されたリモートビューポイントに基づいて選択されたセンサポイントＳＰが撮影したライブ映像を順次切換えてユーザに提供することができる。このため、遠隔地をユーザがライブ感をもって移動する遠隔地体験を実現することができる。さらに、この変形例では、リモートビューポイントＲＰの位置の移動に伴い、該当するセンサポイントＳＰの担当エリアにより位置情報サーバ及び配信サーバがそれぞれ切換わる。このため、各位置情報サーバ及び配信サーバの負荷を軽減することができる。

＜５．ハードウェア構成例＞
　次に、本開示に係る情報処理端末１０、位置情報サーバ３０及び配信サーバ４０に共通するハードウェア構成例について説明する。図１９は、本開示に係る情報処理端末、位置情報サーバおよび配信サーバのハードウェア構成例を示すブロック図である。図１９を参照すると、本開示に係る情報処理端末１０、位置情報サーバ３０および配信サーバ４０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インタフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。

　ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。

　ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

　ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インタフェース８７７を介して種々の構成要素と接続される。

　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、およびレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。

　出力装置８７９は、例えば、ＨＭＤ、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。

　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。

　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。

　リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。

　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、イーサネット（登録商標）、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。

　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。

＜６．まとめ＞
　以上説明したように、本開示に係る情報処理端末１０は、ユーザが視聴する映像を表示するＨＭＤ１１２と、ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、遠隔地における該ユーザのリモートビューポイントＲＰを順次生成するリモートビューポイント生成部１０２と、遠隔地に任意に配置された多数のセンサポイントＳＰの中から、リモートビューポイントＲＰに基づいて選択されたセンサポイントＳＰが撮影したライブ映像をＨＭＤ１１２に表示させる表示制御部１２０と、を備える。このため、時間的・金銭的な移動コストを要することなく、移動しながら現地の周囲の様子をライブで見渡せるといった６ＤｏＦ効果を知覚することができる。従って、遠隔地をユーザがライブ感をもって移動する遠隔地体験を実現することができる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　また、本明細書の情報処理端末１０、位置情報サーバ３０、配信サーバ４０及びセンサポイントＳＰの処理に係る各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理端末１０、位置情報サーバ３０、配信サーバ４０及びセンサポイントＳＰの処理に係る各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザが視聴する映像を表示する表示部と、
　前記ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、前記遠隔地における該ユーザのリモートビューポイントを順次生成するリモートビューポイント生成部と、
　前記遠隔地に任意に配置された多数のセンサポイントの中から、前記リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を前記表示部に表示させる表示制御部と、
　を備える情報処理装置。
（２）
　前記表示制御部は、前記リモートビューポイントにおける前記ユーザの視線方向との角度差が小さい撮影方向を有するセンサポイントの前記ライブ映像を表示させる前記（１）に記載の情報処理装置。
（３）
　前記表示制御部は、広角に撮影された前記ライブ映像の一部を切り出して表示させる前記（１）または（２）に記載の情報処理装置。
（４）
　前記表示制御部は、前記センサポイントが切換えられる場合に、一部を切り出した前記ライブ映像に、前記センサポイントの切換え後の表示内容を示すガイド画像を重ねて表示する前記（３）に記載の情報処理装置。
（５）
　前記表示制御部は、一部を切り出した前記ライブ映像に、前記リモートビューポイントにおける前記ユーザの視線方向を重ねて表示する前記（３）または（４）に記載の情報処理装置。
（６）
　前記表示部は、前記ユーザの頭部に装着されるヘッドマウントディスプレイである前記（１）から（５）のいずれか１つに記載の情報処理装置。
（７）
　遠隔地に任意に配置された多数のセンサポイントの位置情報を記憶する記憶部と、
　前記遠隔地におけるユーザのリモートビューポイントを順次取得するリモートビューポイント取得部と、
　取得した前記リモートビューポイントに近接した複数の前記センサポイントの位置情報を出力する情報出力部と、
　を備える情報処理装置。
（８）
　前記情報出力部は、複数の前記センサポイントに、前記リモートビューポイントにおける前記ユーザの視線方向との角度差が最も小さい前記センサポイントを含めて出力する前記（７）に記載の情報処理装置。
（９）
　前記記憶部は、取得した前記リモートビューポイントの位置情報を記憶する前記（７）または（８）に記載の情報処理装置。
（１０）
　前記センサポイントが撮影した映像情報を配信する映像情報配信部を備える前記（７）から（９）のいずれか１つに記載の情報処理装置。
（１１）
　プロセッサが、
　ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、前記遠隔地における該ユーザのリモートビューポイントを順次生成するステップと、
　前記遠隔地に任意に配置された多数のセンサポイントの中から、前記リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を表示部に表示させるステップと、
　を備える情報処理方法。
（１２）
　情報処理端末と情報処理サーバとを有し、
　前記情報処理端末は、ユーザが視聴する映像を表示する表示部と、
　前記ユーザの現在位置と遠隔地における仮想位置とを対応づけ、前記ユーザの移動量及び移動方向に基づいて、前記遠隔地における該ユーザのリモートビューポイントを順次生成するリモートビューポイント生成部と、
　撮像部を含み前記遠隔地に任意に配置された多数のセンサポイントの中から、前記リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を前記表示部に表示させる表示制御部と、を備え、
　前記情報処理サーバは、
　前記センサポイントの位置情報を記憶する記憶部と、
　前記リモートビューポイントを取得するリモートビューポイント取得部と、
　取得した前記リモートビューポイントに近接した複数の前記センサポイントの位置情報を前記情報処理端末に出力する情報出力部と、
　を備える情報処理システム。

　１　情報処理システム
　１０　情報処理端末
　２０　情報処理サーバ
　３０　位置情報サーバ
　３０Ａ　第１位置情報サーバ
　３０Ｂ　第２位置情報サーバ
　４０　配信サーバ
　４０Ａ　第１配信サーバ
　４０Ｂ　第２配信サーバ
　１０２　リモートビューポイント生成部
　１０４　ビュー切換え部
　１１０　表示ビュー構成部
　１１２　ＨＭＤ（表示部）
　１２０　表示制御部
　３０２　リモートビューポイント取得部
　３０４　位置計算部
　３０６　記憶部
　３０８　情報出力部
　ＲＰ　リモートビューポイント
　ＳＰ　センサポイント

Claims (12)

1. 　ユーザが視聴する映像を表示する表示部と、
   　前記ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、前記遠隔地における該ユーザのリモートビューポイントを順次生成するリモートビューポイント生成部と、
   　前記遠隔地に任意に配置された多数のセンサポイントの中から、前記リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を前記表示部に表示させる表示制御部と、
   　を備える情報処理装置。
2. 　前記表示制御部は、前記リモートビューポイントにおける前記ユーザの視線方向との角度差が小さい撮影方向を有するセンサポイントの前記ライブ映像を表示させる請求項１に記載の情報処理装置。
3. 　前記表示制御部は、広角に撮影された前記ライブ映像の一部を切り出して表示させる請求項１に記載の情報処理装置。
4. 　前記表示制御部は、前記センサポイントが切換えられる場合に、一部を切り出した前記ライブ映像に、前記センサポイントの切換え後の表示内容を示すガイド画像を重ねて表示する請求項３に記載の情報処理装置。
5. 　前記表示制御部は、一部を切り出した前記ライブ映像に、前記リモートビューポイントにおける前記ユーザの視線方向を重ねて表示する請求項３に記載の情報処理装置。
6. 　前記表示部は、前記ユーザの頭部に装着されるヘッドマウントディスプレイである請求項１に記載の情報処理装置。
7. 　遠隔地に任意に配置された多数のセンサポイントの位置情報を記憶する記憶部と、
   　前記遠隔地におけるユーザのリモートビューポイントを順次取得するリモートビューポイント取得部と、
   　取得した前記リモートビューポイントに近接した複数の前記センサポイントの位置情報を出力する情報出力部と、
   　を備える情報処理装置。
8. 　前記情報出力部は、複数の前記センサポイントに、前記リモートビューポイントにおける前記ユーザの視線方向との角度差が最も小さい前記センサポイントを含めて出力する請求項７に記載の情報処理装置。
9. 　前記記憶部は、取得した前記リモートビューポイントの位置情報を記憶する請求項７に記載の情報処理装置。
10. 　前記センサポイントが撮影した映像情報を配信する映像情報配信部を備える請求項７に記載の情報処理装置。
11. 　プロセッサが、
    　ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、前記遠隔地における該ユーザのリモートビューポイントを順次生成するステップと、
    　前記遠隔地に任意に配置された多数のセンサポイントの中から、前記リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を表示部に表示させるステップと、
    　を備える情報処理方法。
12. 　情報処理端末と情報処理サーバとを有し、
    　前記情報処理端末は、ユーザが視聴する映像を表示する表示部と、
    　前記ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、前記遠隔地における該ユーザのリモートビューポイントを順次生成するリモートビューポイント生成部と、
    　前記遠隔地に任意に配置された多数のセンサポイントの中から、前記リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を前記表示部に表示させる表示制御部と、を備え、
    　前記情報処理サーバは、
    　前記センサポイントの位置情報を記憶する記憶部と、
    　前記リモートビューポイントを取得するリモートビューポイント取得部と、
    　取得した前記リモートビューポイントに近接した複数の前記センサポイントの位置情報を前記情報処理端末に出力する情報出力部と、
    　を備える情報処理システム。

Images