JP6385139B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、スタジアムでサッカーを観戦する観客の持つ端末に対し、映像等様々な情報を提供する技術が知られている。特許文献１には、スタジアムでサッカーを観戦する観客が、頭部に表示装置を装着することで、スタジアムの別の場所で撮像を行う撮像装置により撮像された映像を受信して閲覧できるシステムが開示されている。
また、１台以上のカメラを用いて、任意の位置から任意の方向を見たときの見え方を再現する、自由視点映像と呼ばれる技術が知られている。特許文献２には、１台以上のカメラによってプレイヤーの位置を同定して３次元モデルを生成し、３次元モデルのビューを変更することで自由視点映像を生成する方法が開示されている。また、非特許文献１には、複数のカメラからの映像を入力として任意の自由視点映像を生成する手法が開示されている。

特開２００８−８３２９０号公報 特開２００９−６４４４５号公報

Adrian Hilton著、iview: Free-viewpoint Video in Sports Production、［online］、［平成２６年4月２８日検索］、インターネット＜URL：http://www.ee.surrey.ac.uk/CVSSP/page_3672//＞

観客が、スタジアムで用意された映像配信システムにより配信された映像を閲覧するとき、観客にとっては、その映像が自分の位置との関係性を把握しやすいものであることが好ましい。観客は、配信された映像がスタジアムのどこから撮影した映像なのかを速やかに把握することができれば、実空間と映像との関係を容易に把握することができるので、配信された映像を十分に楽しむことができる。しかしながら、従来技術においては、観客の位置に関わらず、観客の端末には、同じ映像が配信され、観客の位置に応じた映像の配信は行われていないという問題があった。

本発明はこのような問題点に鑑みてなされたもので、ユーザが配信された映像と実空間の関係をより容易に認識できるような映像を配信することを目的とする。

そこで、本発明は、複数のカメラが所定領域を異なる方向から撮影することにより得られる複数の撮影画像に基づいて生成される自由視点画像を提供する情報処理装置であって、前記所定領域の少なくとも一部を撮影可能な位置に存在する端末の位置及び向きに基づいて決定される、仮想カメラの位置及び向きを判別する判別手段と、前記判別手段により判別された前記仮想カメラの位置及び向きに基づいて、前記端末に送信する自由視点画像を生成する生成手段と、前記生成手段により生成された前記自由視点画像を前記端末へ送信する送信手段と、を有することを特徴とする。

本発明によれば、ユーザが配信された映像と実空間の関係をより容易に認識できるような映像を配信することができる。

情報処理システムの全体図である。 配信装置を示す図である。 配信装置を示す図である。 配信処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

図１は、情報処理システムの全体図である。情報処理システムは、自由視点映像を生成し、これをユーザの端末に送信する。なお、本実施形態にかかる情報処理システムは、サッカー場に設置された複数のカメラそれぞれにより撮影されたサッカーの試合の撮影映像から自由視点映像を生成する。ここで、撮影映像及び自由視点映像は、それぞれ撮影画像及び自由視点画像の一例である。
なお、情報処理システムが生成する映像の種類は実施形態に限定されるものではない。他の例としては、情報処理システムは、スタジアムやコンサートホールに設置されたカメラにより撮影された撮影映像から自由視点映像を生成してもよい。

図１において、１３０は、サッカーが行われるフィールド、１４０は、観客席である。観客としてのユーザは、観客席においてサッカーを観戦しているものとする。このとき、ユーザは、自身が所有する携帯端末１００をフィールド１３０に向けて持っているものとする。ここで、携帯端末１００をフィールド１３０に向けるとは、携帯端末１００に設けられた不図示の撮影部をフィールド１３０に向けることを意味するものとする。なお、以降においては、携帯端末１００の位置を端末位置、撮影部の向いている方向を、携帯端末１００の端末方向と称することとする。ここで、端末位置及び端末方向は、地球を基準とした携帯端末１００の絶対位置及び方向又は、フィールド１３０等の施設を基準とする携帯端末１００の相対位置及び方向であるものとする。
１１０は、自由視点カメラである。フィールド１３０又はその周辺には、複数台の自由視点カメラ１１０が設置されている。複数台の自由視点カメラ１１０は、フィールド１３０周辺の任意の位置から、任意の方向を向いたときの見え方を再現する自由視点映像を生成するためのカメラアレイである。
また、１２０は、ライブリプレイカメラである。ライブリプレイカメラ１２０も同様に、観客席１４０又はその周辺に設置されている。ライブリプレイカメラ１２０は、携帯端末１００にストリーミングするライブ映像やリプレイ映像を撮影するためのカメラである。ライブリプレイカメラ１２０は、例えば、テレビ中継で使われる映像を撮影するカメラ等プロのカメラマンが操作し、試合を説明するための映像を撮影するものである。
１０１は、配信装置である。配信装置１０１は、自由視点カメラ１１０やライブリプレイカメラ１２０から映像を取得し、携帯端末１００に配信する。

なお、他の例としては、ライブリプレイカメラ１２０は、自動撮影技術により自動操作されるものであってもよい。また他の例としては、自由視点カメラ１１０の一部のカメラが、ライブリプレイカメラ１２０としても機能することとしてもよい。また、他の例としては、ライブリプレイカメラ１２０は、スタジアムに固定して設置された広角カメラであり、撮影した映像のうち一部の画角をトリミングして利用してもよい。

図２は、携帯端末１００に情報を配信する情報処理装置としての配信装置１０１を示す図である。配信装置１０１は、自由視点カメラ１１０及びライブリプレイカメラ１２０から撮影映像を受信する。そして、これらの撮影映像に基づいて、携帯端末１００に配信すべき自由視点映像を生成し、これを配信する。
配信装置１０１は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、表示部２０５と、入力部２０６と、ネットワークＩ／Ｆ部２０７とを有している。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ２０４は、画像データや各種プログラム等各種情報を記憶する。表示部２０５は、各種情報を表示する。入力部２０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。

ネットワークＩ／Ｆ部２０７は、ネットワークを介して携帯端末１００等の外部装置との通信処理を行う。より詳しくは、ネットワークＩ／Ｆ部２０７は、携帯端末１００との通信を適切なプロトコルに従い確立した後、データの送受信を行う。ネットワークＩ／Ｆ部２０７は、さらに、携帯端末１００の認証を行うことにより、認証に成功した携帯端末１００のみと、通信の確立を許すこととしてもよい。
なお、後述する配信装置１０１の機能や処理は、ＣＰＵ２０１がＲＯＭ２０２又はＨＤＤ２０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

図３は、配信装置１０１のソフトウェア構成を示す図である。配信装置１０１は、通信部３００と、端末特定部３０３と、画像取得部３０１と、指示受付部３０２と、自由視点決定部３０４と、画像生成部３０５とを有している。
通信部３００は、ネットワークを介して携帯端末１００等の外部装置との通信処理を行う。より詳しくは、通信部３００は、携帯端末１００との通信を適切なプロトコルに従い確立した後、データの送受信を行う。通信部３００は、さらに、携帯端末１００の認証を行うことにより、認証に成功した携帯端末１００のみと、通信の確立を許すこととしてもよい。

画像取得部３０１は、ライブリプレイカメラ１２０や自由視点カメラ１１０により撮影された画像を取得する。指示受付部３０２は、携帯端末１００から、閲覧要求、自由操作要求、ライブリプレイ映像の配信要求、ホーム復帰要求及び終了要求を受け付ける。端末特定部３０３は、携帯端末１００の位置及び方向を特定する。
自由視点決定部３０４は、指示受付部３０２が受け付けた自由操作要求、ライブリプレイ映像の配信要求及びホーム復帰要求に応じて、自由視点映像の生成方法を決定する。画像生成部３０５は、画像を生成する。画像生成部３０５は、例えば、仮想カメラの位置、方向及び画角に基づいて、自由視点カメラ１１０により撮影された自由視点映像を用いて、携帯端末１００に送信する自由視点画像を生成する。

図４は、配信装置１０１による配信処理を示すフローチャートである。Ｓ４００において、配信装置１０１の通信部３００は、携帯端末１００からの接続要求を受け付け、ネットワークＩ／Ｆ部２０７を介して、携帯端末１００との接続を確立する。そして、指示受付部３０２は、携帯端末１００から、閲覧要求を受け付ける（受付処理）。次に、Ｓ４０１において、画像取得部３０１は、通信部３００を介して、携帯端末１００から位置情報及び方向情報を取得する（取得処理）。ここで、位置情報は、携帯端末１００の端末位置を示す情報であり、方向情報は、携帯端末１００の端末方向を示す情報である。そして、端末特定部３０３は、位置情報及び方向情報に基づいて、携帯端末１００の端末位置及び端末方向を特定する（特定処理）。

なお、配信装置１０１が携帯端末１００の位置及び方向を特定するための具体的な処理は、実施形態に限定されるものではない。他の例としては、配信装置１０１は、携帯端末１００が備えるＧＰＳにより、端末位置及び端末方向として、絶対位置及び方向を特定してもよい。
また、他の例としては、配信装置１０１は、施設の無線ＬＡＮ電波による測位技術を用いて、端末位置及び端末方向として、相対位置及び方向を特定してもよい。また、他の例としては、配信装置１０１は、携帯端末１００により撮影された映像を用いてマーカー型ＡＲ又はマーカーレス型ＡＲ等の技術を用いることにより、端末位置及び端末方向として、相対位置及び方向を特定してもよい。なお、配信装置１０１は、例えばフィールド１３０のセンターサークルの中心を特定位置とし、携帯端末１００から特定位置への方向を端末方向として特定してもよい。

次に、Ｓ４０２において、自由視点決定部３０４は、端末位置及び端末方向に基づいて、携帯端末１００に配信すべき映像の仮想カメラの位置、方向及び画角を決定する（決定処理）。本実施形態においては、自由視点決定部３０４は、端末位置及び端末方向をそれぞれ仮想カメラの位置及び方向として決定する。なお、画角は予め設定されているものとする。また、他の例としては、ＣＰＵ２０１は、仮想カメラの位置及び方向に基づいて、画角を設定してもよい。
さらに、Ｓ４０２において、画像生成部３０５は、仮想カメラの位置、方向及び画角を用いて、自由視点カメラ１１０により撮影された撮影映像に基づいて、自由視点映像を生成する。そして、通信部３００は、自由視点画像を携帯端末１００に配信する。本実施形態においては、このとき利用される撮影映像は、撮影直後のリアルタイム映像であるものとする。なお、以降、Ｓ４０２において生成、配信される自由視点映像を初期自由視点映像と称することとする。ここで、自由視点映像は、自由視点画像の一例である。Ｓ４０２の処理は、画像としての自由視点映像を携帯端末１００に送信する送信処理の一例である。

他の例としては、Ｓ４０２において、画像生成部３０５は、過去に撮影された撮影映像に基づいて、自由視点映像を生成してもよい。具体的には、画像生成部３０５は、Ｓ４００において、過去の期間を指定した閲覧要求を受け付けた場合には、指定された期間の撮影映像に基づいて自由視点映像を生成すればよい。

ここで、自由視点映像を生成する処理についてより詳しく説明する。画像生成部３０５は、仮想カメラの位置及び方向に最も近い自由視点カメラ１１０を選択し、選択した自由視点カメラ１１０により撮影された撮影映像に基づいて、自由視点映像を生成する。
また、他の例としては、画像生成部３０５は、複数の自由視点カメラ１１０により撮影された複数の撮影映像に基づいて、プレイヤーの位置及び姿勢を推定し、プレイヤーの推定位置及び推定姿勢に基づいて、ＣＧで構成した仮想空間上にプレイヤーを配置する。そして、画像生成部３０５は、仮想カメラからの仮想空間の見え方をレンダリングにより生成してもよい。
また、他の例としては、画像生成部３０５は、プレイヤーにＧＰＳを持たせることにより、プレイヤーの位置及び姿勢を推定してもよい。さらに、他の例としては、ＣＰＵ２０１は、自由視点カメラ１１０により撮影された撮影映像に替えて、コンピュータグラフィックスを用いて、自由視点映像を生成してもよい。
このように、配信装置１０１は、あたかも携帯端末１００において撮影されたような自由視点映像を生成し、携帯端末１００に配信することができる。したがって、携帯端末１００を持つユーザは、自身の位置と配信された映像との位置関係を容易に認識することができるため、映像内容をより良く把握することができる。

次に、Ｓ４０３において、指示受付部３０２は、携帯端末１００から通信部３００を介して、自由操作要求を受け付けたか否かを確認する。ここで、自由操作要求とは、配信中の自由視点映像の仮想カメラの設定の変更を指示する情報である。すなわち、自由操作要求は、仮想カメラの設定の変更指示の一例である。なお、携帯端末１００は、携帯端末１００が備える不図示のタッチパネルに対し、ユーザがスワイプ操作、スピン操作、ピンチ操作を加えたとき、それぞれの操作を仮想カメラの位置、方向、画角の変更値として解釈する。
そして、携帯端末１００は、仮想カメラの位置、方向及び画角を含む自由操作要求を生成し、これを配信装置１０１に送信する。携帯端末１００はさらに、タイムバーなどのユーザインタフェースを用いて、自由視点映像を生成するために用いる映像の撮影時刻を設定可能としてもよい。

なお、携帯端末１００において、自由操作要求を生成するための処理は、実施形態に限定されるものではない。他の例としては、携帯端末１００は、タッチパネルに施設の鳥瞰図を表示し、鳥瞰図に対するスワイプ操作が行われた場合に、スワイプ操作に対応する自由操作要求を生成してもよい。

ＣＰＵ２０１は、自由操作要求を受け付けた場合には（Ｓ４０３でＹｅｓ）、処理をＳ４０４へ進める。ＣＰＵ２０１は、自由操作要求を受け付けなかった場合には（Ｓ４０３でＮｏ）、処理をＳ４０６へ進める。
Ｓ４０４において、画像生成部３０５は、自由操作要求に基づいて、自由操作要求に係る自由視点映像を生成する。なお、自由操作要求には、仮想カメラの位置、方向、画角及び自由視点映像を生成するために用いる映像の撮影期間が含まれるものとする。Ｓ４０４において、画像生成部３０５はさらに、配信中の映像からＳ４０４において生成した自由視点映像まで映像内容が連続的に変化するような補間映像を生成する。

具体的には、画像生成部３０５は、配信中の自由視点映像に対応する仮想カメラの位置及び方向を、それぞれ仮想カメラの開始点の位置及び方向として設定する。画像生成部３０５は、自由操作要求に示される仮想カメラの位置及び方向を、それぞれ仮想カメラの終了点の位置及び方向として設定する。なお、開始点から終了点までの映像変化に要する変化時間は、予め設定されているものとする。
そして、画像生成部３０５は、開始点から終了点までの経路を定め、経路に沿って仮想カメラの位置及び方向が、変化時間の経過に従い徐々に変化するような補間映像を生成する。そして、Ｓ４０４において画像生成部３０５は、通信部３００を介して、補間映像、自由操作要求に係る自由視点映像の順に、これらの映像を携帯端末１００に配信する。

なお、補間映像における、開始点から終了点までの映像変化の速度は特に限定されるものではない。補間映像は、開始点から終了点まで一定速度で、仮想カメラの位置等が変化するような映像であってもよい。また他の例としては、補間映像は、開始点及び終了点付近では遅い速度で仮想カメラの位置等が変化し、中間地点ではより速い速度で仮想カメラの位置等が変化するような映像であってもよい。

次に、Ｓ４０５において、ＣＰＵ２０１は、配信処理を終了するか否かを確認する。ＣＰＵ２０１は、ネットワークＩ／Ｆ部２０７を介して、携帯端末１００から終了指示を受け付けた場合に、配信処理を終了すると判断することとする。
ＣＰＵ２０１は、配信処理を終了すると判断した場合には（Ｓ４０５でＹｅｓ）、配信処理を終了する。ＣＰＵ２０１は、配信処理を終了しないと判断した場合には（Ｓ４０５でＮｏ）、処理をＳ４０３へ進める。

また、Ｓ４０６において、指示受付部３０２は、携帯端末１００から通信部３００を介して、ライブリプレイ映像の配信要求を受け付けたか否かを確認する。なお、携帯端末１００は、利用可能なライブリプレイカメラ一覧や、試合のハイライトシーン一覧を、タッチパネルに表示する。そして、ユーザが希望のカメラ又はシーンを選択すると、携帯端末１００は、対応する配信要求を生成し、これを配信装置１０１に送信する。携帯端末１００はさらに、タイムバーなどのユーザインタフェースを用いて、ライブリプレイ映像を生成するために用いる映像の撮影時刻を設定可能としてもよい。
ＣＰＵ２０１は、配信要求を受け付けた場合には（Ｓ４０６でＹｅｓ）、処理をＳ４０７へ進める。ＣＰＵ２０１は、配信要求を受け付けなかった場合には（Ｓ４０６でＮｏ）、処理をＳ４０９へ進める。

Ｓ４０７において、画像生成部３０５は、ライブリプレイカメラ１２０から、ライブリプレイカメラ１２０により撮影された撮影映像を取得し、取得した撮影映像に基づいて、ライブリプレイ映像を生成する。ここで、ライブリプレイ映像とは、撮影直後のリアルタイム映像及び過去に撮影されたリプレイ映像の総称である。Ｓ４０７において、画像生成部３０５はさらに、配信中の映像からＳ４０７において生成したライブリプレイ映像まで映像内容が連続的に変化するような補間映像を生成する。
なお、補間映像の生成処理は、Ｓ４０４において説明した補間画像の生成処理と同様である。ただし、Ｓ４０７においては、ユーザが選択したライブリプレイカメラ１２０又はシーンに対応するライブリプレイカメラ１２０の位置及び方向が仮想カメラの終了点として設定されるものとする。
そして、Ｓ４０７において、通信部３００は、ネットワークＩ／Ｆ部２０７を介して、補間映像、ライブリプレイ映像の順に、これらの映像を携帯端末１００に配信する。

なお、ＣＰＵ２０１は、補間映像からライブリプレイ映像への切り替え時には、クロスフェードにより映像を徐々に切り替えることとする。なお、切り替え時の処理は、任意であり、実施形態に限定されるものではない。他の例としては、ＣＰＵ２０１は、瞬時に補間映像からライブリプレイ映像に切り替えてもよい。
さらに、ＣＰＵ２０１は、補間映像、すなわち、自由経路を移動中の映像を表示している間は、映像中に選手を表示しないこととしてもよい。これにより、選手と選手以外の画像との間の位置ずれの問題を解消することができる。

次に、Ｓ４０８において、ＣＰＵ２０１は、配信処理を終了するか否かを確認する。ＣＰＵ２０１は、配信処理を終了すると判断した場合には（Ｓ４０８でＹｅｓ）、配信処理を終了する。ＣＰＵ２０１は、配信処理を終了しないと判断した場合には（Ｓ４０８でＮｏ）、処理をＳ４０３へ進める。
このように、配信装置１０１は、自由視点映像からライブリプレイ映像に切り替える場合に、連続的に変化するように補間映像を挿入する。これにより、観客は、ライブリプレイ映像の撮影位置と自身の位置との関係性を容易に把握することができる。

また、Ｓ４０９において、指示受付部３０２は、ホーム復帰要求を受け付けたか否かを確認する。なお、携帯端末１００は、タッチパネルにホーム復帰ボタンを表示する。そして、ユーザがホーム復帰ボタンを選択すると、ホーム復帰要求を生成し、これを配信装置１０１に送信する。
ＣＰＵ２０１は、ホーム復帰要求を受け付けた場合には（Ｓ４０９でＹｅｓ）、処理をＳ４１０へ進める。ＣＰＵ２０１は、ホーム復帰要求を受け付けなかった場合には（Ｓ４０９でＮｏ）、処理をＳ４１１へ進める。

Ｓ４１０において、ＣＰＵ２０１は、Ｓ４０１において取得した位置情報及び方向情報にそれぞれ示される端末位置及び端末方向に基づいて、初期自由視点映像を生成する。Ｓ４１０において、ＣＰＵ２０１はさらに、配信中の映像からＳ４１０において生成した初期自由視点映像まで映像内容が連続的に変化するような補間映像を生成する。
なお、補間映像の生成処理は、Ｓ４０４、Ｓ４０７において説明した補間画像の生成処理と同様であるが、Ｓ４１０においては、端末位置及び端末方向が仮想カメラの終了点として設定されるものとする。そして、Ｓ４１０において、通信部３００は、Ｓ４０７を介して、補間映像、処理自由視点映像の順に、これらの映像を携帯端末１００に配信する。

次に、Ｓ４１１において、ＣＰＵ２０１は、配信処理を終了するか否かを確認する。ＣＰＵ２０１は、配信処理を終了すると判断した場合には（Ｓ４１１でＹｅｓ）、配信処理を終了する。ＣＰＵ２０１は、配信処理を終了しないと判断した場合には（Ｓ４１１でＮｏ）、処理をＳ４０３へ進める。
なお、Ｓ４０２、Ｓ４０４、Ｓ４１０の処理は、自由視点映像を生成する生成処理の一例である。また、Ｓ４０４、Ｓ４０７、Ｓ４１０の処理は、補間画像を生成する生成処理の一例である。

以上のように、本実施形態の配信装置１０１は、ユーザが配信された映像と実空間の関係をより容易に認識できるような映像を配信することができる。さらに、配信装置１０１は、配信映像を変更する場合には、配信中の映像から変更後の映像まで、撮影の方向や視点が徐々に変化するような補間画像を配信した後に、変更後の映像を配信する。これにより、ユーザは、視点の変化等映像の変化と実空間における位置の変化とを容易に把握することができる。

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

以上、上述した各実施形態によれば、ユーザが配信された映像と実空間の関係をより容易に認識できるような映像を配信することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 携帯端末、１０１ 配信装置、１１０自由視点カメラ、１２０ ライブリプレイカメラ

Claims (13)

1. 複数のカメラが所定領域を異なる方向から撮影することにより得られる複数の撮影画像に基づいて生成される自由視点画像を提供する情報処理装置であって、
   前記所定領域の少なくとも一部を撮影可能な位置に存在する端末の位置及び向きに基づいて決定される、仮想カメラの位置及び向きを判別する判別手段と、
   前記判別手段により判別された前記仮想カメラの位置及び向きに基づいて、前記端末に送信する自由視点画像を生成する生成手段と、
   前記生成手段により生成された前記自由視点画像を前記端末へ送信する送信手段と、
   を有することを特徴とする情報処理装置。
2. 複数のカメラが所定領域を異なる方向から撮影することにより得られる複数の撮影画像に基づいて生成される自由視点画像を提供する情報処理装置であって、
   前記所定領域を含む施設内に存在する端末の位置及び向きに基づいて決定される、仮想カメラの位置及び向きを判別する判別手段と、
   前記判別手段により判別された前記仮想カメラの位置及び向きに基づいて、前記端末に送信する自由視点画像を生成する生成手段と、
   前記生成手段により生成された前記自由視点画像を前記端末へ送信する送信手段と、
   を有することを特徴とする情報処理装置。
3. 前記生成手段は、前記仮想カメラの位置及び向きに基づいて前記複数のカメラの中から特定されるカメラにより撮影された撮影画像に基づいて、前記自由視点画像を生成することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記生成手段は、コンピュータグラフィックスにより、前記自由視点画像を生成することを特徴とする請求項１又は２に記載の情報処理装置。
5. 仮想カメラの設定の変更指示を受け付ける変更指示受付手段を有し、
   前記生成手段は、前記自由視点画像として第１の自由視点画像を生成し、前記変更指示を受け付けた場合に、前記変更指示に係る第２の自由視点画像を生成し、前記第１の自由視点画像と前記第２の自由視点画像の間を補間する補間画像をさらに生成することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記端末の位置情報及び方向情報をそれぞれ前記端末から受信する受信手段と、
   前記位置情報に基づいて前記端末の位置を特定し、前記方向情報に基づいて、前記端末の向きを特定する特定手段と
   をさらに有することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記仮想カメラをホームポジションに移動させるための移動指示を受け付ける移動指示受付手段を有し、
   前記送信手段は、前記判別手段により判別された前記仮想カメラの位置及び向きに応じた自由視点映像を、前記移動指示受付手段による前記移動指示の受信に応じて前記端末へ送信することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
8. 前記仮想カメラの位置及び向きを操作するための指示を受け付ける受付手段を有し、
   前記生成手段は、前記判別手段により判別された前記仮想カメラの位置及び向きに応じた自由視点映像の送信後に前記受付手段により前記指示を受け付けた場合、前記仮想カメラの位置及び向きを起点として、前記仮想カメラの位置及び向きを変更し、当該変更後の前記仮想カメラの位置及び向きに応じた自由視点映像を生成することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
9. 複数のカメラが所定領域を異なる方向から撮影することにより得られる複数の撮影画像に基づいて生成される自由視点画像を提供する情報処理システムであって、
   前記所定領域の少なくとも一部を撮影可能な位置に存在する端末の位置及び向きに基づいて決定される、仮想カメラの位置及び向きを判別する判別手段と、
   前記判別手段により判別された前記仮想カメラの位置及び向きに基づいて、前記端末に送信する自由視点画像を生成する生成手段と、
   前記生成手段により生成された前記自由視点画像を前記端末へ送信する送信手段と、
   を有することを特徴とする情報処理システム。
10. 複数のカメラが所定領域を異なる方向から撮影することにより得られる複数の撮影画像に基づいて生成される自由視点画像を提供する情報処理装置が実行する情報処理方法であって、
    前記所定領域の少なくとも一部を撮影可能な位置に存在する端末の位置及び向きに基づいて決定される、仮想カメラの位置及び向きを判別する判別ステップと、
    前記判別ステップにおいて判別された前記仮想カメラの位置及び向きに基づいて、前記端末に送信する自由視点画像を生成する生成ステップと、
    前記生成ステップにおいて生成された前記自由視点画像を前記端末へ送信する送信ステップと、
    を含むことを特徴とする情報処理方法。
11. 複数のカメラが所定領域を異なる方向から撮影することにより得られる複数の撮影画像に基づいて生成される自由視点画像を提供する情報処理装置が実行する情報処理方法であって、
    前記所定領域を含む施設内に存在する端末の位置及び向きに基づいて決定される、仮想カメラの位置及び向きを判別する判別ステップと、
    前記判別ステップにおいて判別された前記仮想カメラの位置及び向きに基づいて、前記端末に送信する自由視点画像を生成する生成ステップと、
    前記生成ステップにおいて生成された前記自由視点画像を前記端末へ送信する送信ステップと、
    を含むことを特徴とする情報処理方法。
12. 複数のカメラが所定領域を異なる方向から撮影することにより得られる複数の撮影画像に基づいて生成される自由視点画像を提供する情報処理システムが実行する情報処理方法であって、
    前記所定領域の少なくとも一部を撮影可能な位置に存在する端末の位置及び向きに基づいて決定される、仮想カメラの位置及び向きを判別する判別ステップと、
    前記判別ステップにおいて判別された前記仮想カメラの位置及び向きに基づいて、前記端末に送信する自由視点画像を生成する生成ステップと、
    前記生成ステップにおいて生成された前記自由視点画像を前記端末へ送信する送信ステップと、
    を含むことを特徴とする情報処理方法。
13. コンピュータを、請求項１乃至８の何れか１項に記載の情報処理装置の各手段として動作させるためのプログラム。

Images