WO2021230073A1

WO2021230073A1 - 情報処理装置、情報処理方法、及び表示装置

Info

Publication number: WO2021230073A1
Application number: PCT/JP2021/016797
Authority: WO
Inventors: 孝悌清水
Original assignee: ソニーグループ株式会社
Priority date: 2020-05-13
Filing date: 2021-04-27
Publication date: 2021-11-18
Also published as: US20230154106A1; CN115516515A; EP4152267A1; JPWO2021230073A1; EP4152267A4

Abstract

本技術の一形態に係る情報処理装置は、撮影制御部を具備する。前記撮影制御部は、仮想空間で動作する対象オブジェクトと前記仮想空間を移動して前記対象オブジェクトを撮影する仮想カメラとの位置関係に応じて、前記対象オブジェクトに対する前記仮想カメラの衝突を回避するための衝突回避処理を実行する

Description

情報処理装置、情報処理方法、及び表示装置

　本技術は、仮想空間の画像表示に適用可能な情報処理装置、情報処理方法、及び表示装置に関する。

　特許文献１には、仮想キャラクタを使用したライブコンテンツを配信するコンテンツ配信サーバが記載されている。このサーバでは、配信者の動きに合わせて動作する仮想キャラクタが仮想空間に配置され、仮想カメラの視点から仮想空間内の映像が撮影される。仮想カメラの撮影位置等は、カメラマンとして参加している視聴者の指示に従って制御される。仮想カメラにより撮影された映像は、ライブコンテンツとして視聴者端末に配信される（特許文献１の明細書段落［００１８］［００３８］［００４５］図１等）。

特許第６５５６３０１号

　仮想空間を利用してライブコンテンツ等を配信する技術は、エンターテイメントや教育等の様々な分野での応用が期待されており、仮想空間において対象を適正に撮影する技術が求められている。

　以上のような事情に鑑み、本技術の目的は、仮想空間において対象を適正に撮影することが可能な情報処理装置、情報処理方法、及び表示装置を提供することにある。

　上記目的を達成するため、本技術の一形態に係る情報処理装置は、撮影制御部を具備する。
　前記撮影制御部は、仮想空間で動作する対象オブジェクトと前記仮想空間を移動して前記対象オブジェクトを撮影する仮想カメラとの位置関係に応じて、前記対象オブジェクトに対する前記仮想カメラの衝突を回避するための衝突回避処理を実行する

　この情報処理装置では、仮想空間上の対象オブジェクトと、仮想空間を移動しながら対象オブジェクトを撮影する仮想カメラとの位置関係に応じた衝突回避処理が実行される。これにより、対象オブジェクトと仮想カメラとの衝突が事前に回避され、仮想空間において対象を適正に撮影することが可能となる。

　前記撮影制御部は、前記対象オブジェクトと前記仮想カメラとの位置関係に基づいて、前記対象オブジェクトと前記仮想カメラとの近接状態を検出し、前記近接状態が検出された場合に、前記衝突回避処理を実行してもよい。

　前記撮影制御部は、前記対象オブジェクトと前記仮想カメラとの相対距離が所定の閾値以下となる状態を前記近接状態として検出してもよい。

　前記相対距離は、現在値又は予測値を含んでもよい。

　前記仮想カメラは、予め設定された撮影経路に沿って前記対象オブジェクトを撮影してもよい。この場合、前記撮影制御部は、前記近接状態が検出された場合に、前記衝突回避処理として、前記撮影経路を変更してもよい。

　前記撮影経路は、前記仮想カメラが複数の中継点を順番に通過するように設定された経路であってもよい。

　前記撮影制御部は、前記近接状態が検出された場合に、前記対象オブジェクトと前記仮想カメラとの衝突が回避されるように、前記仮想カメラの移動目標となる中継点を変更してもよい。

　前記撮影制御部は、前記仮想カメラの移動目標を、前記対象オブジェクトと前記仮想カメラとの衝突を回避することが可能となる最も順番の近い中継点に設定してもよい。

　前記撮影制御部は、前記近接状態が検出された場合に、前記対象オブジェクトと前記仮想カメラとの衝突が回避されるように、前記仮想カメラの移動目標となる中継点までの経路の少なくとも一部を変更してもよい。

　前記撮影制御部は、前記近接状態が検出された点から、前記対象オブジェクトを迂回する迂回経路に沿って前記仮想カメラを移動させてもよい。

　前記迂回経路は、前記対象オブジェクトと前記仮想カメラとの相対距離を一定に保つ経路であってもよい。

　前記撮影経路は、前記複数の中継点ごとに前記仮想カメラの通過時刻が設定された経路であってもよい。この場合、前記撮影制御部は、前記中継点に設定された通過時刻に基づいて、変更後の前記撮影経路を移動する前記仮想カメラの移動速度を調整してもよい。

　前記複数の中継点は、少なくとも１つの重要中継点を含んでもよい。この場合、前記撮影制御部は、変更後の前記撮影経路に含まれる前記重要中継点の通過時刻に合わせて、前記仮想カメラの移動速度を調整してもよい。

　前記撮影制御部は、前記近接状態が検出された場合に、前記衝突回避処理として、前記対象オブジェクトを表示するための表示用画像を前記仮想カメラが撮影した画像から他の仮想カメラが撮影した画像に切り替えてもよい。

　前記撮影制御部は、前記衝突回避処理として、前記対象オブジェクトと前記仮想カメラとの相対距離が一定となるように前記仮想カメラを移動させてもよい。

　前記撮影制御部は、前記相対距離が所定の範囲に収まるように、前記対象オブジェクトの速度変化のタイミングに対する前記仮想カメラの速度変化のタイミングを遅らせてもよい。

　前記対象オブジェクトは、演者の３次元実写モデルを含んでもよい。

　前記撮影制御部は、前記仮想カメラが撮影した画像をリアルタイムで配信してもよい。

　本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、仮想空間で動作する対象オブジェクトと前記仮想空間を移動して前記対象オブジェクトを撮影する仮想カメラとの位置関係に応じて、前記対象オブジェクトに対する前記仮想カメラの衝突を回避するための衝突回避処理を実行することを含む。

　本技術の一形態に係る表示装置は、画像取得部と、表示部とを具備する。
　前記画像取得部は、仮想空間で動作する対象オブジェクトと前記仮想空間を移動して前記対象オブジェクトを撮影する仮想カメラとの位置関係に応じて実行される、前記対象オブジェクトに対する前記仮想カメラの衝突を回避するための衝突回避処理に従って動作する前記仮想カメラが撮影した画像を取得する。
　前記表示部は、前記仮想カメラが撮影した画像を表示する。

本技術の一実施形態に係る配信システムの構成例を示す模式図である。配信システムにより構成される仮想空間の一例を示す模式図である。仮想カメラによる撮影について説明するための模式図である。仮想カメラ映像の一例を示す模式図である。撮影システム及び配信サーバの機能的な構成例を示すブロック図である。撮影部の構成例を示す模式図である。撮影スタジオの一例を示す模式図である。クライアント端末の機能的な構成例を示すブロック図である。近接状態の一例を示す模式図である。撮影経路を変更する衝突回避処理の一例を示す模式図である。図１０に示す衝突回避処理のフローチャートである。撮影経路を変更する衝突回避処理の他の一例を示す模式図である。図１２に示す衝突回避処理のフローチャートである。仮想カメラの衝突回避処理の他の一例を示す模式図である。図１４に示す衝突回避処理のフローチャートである。撮影対象と仮想カメラとの衝突例を示す模式図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

　［配信システムの概要］
　図１は、本技術の一実施形態に係る配信システムの構成例を示す模式図である。配信システム１００は、仮想空間を利用したライブコンテンツをリアルタイムで配信するシステムである。
　配信システム１００は、配信サーバ１０と、撮影システム１１と、少なくとも１つのクライアント端末１２とを有する。図１に示す構成では、配信サーバ１０と各クライアント端末１２とが、インターネット１３を介して互いに通信可能に接続される。なお配信サーバ１０と各クライアント端末１２とがプライベートネットワーク等の専用のネットワーク回線を介して接続されてもよい。
　以下では、仮想空間で音楽ライブ等が行われる場合を例に、配信システム１００の概要について説明する。

　配信サーバ１０は、仮想空間を利用したライブコンテンツを生成し、生成したライブコンテンツをインターネット１３を介して各クライアント端末１２に配信する。すなわち、配信サーバ１０は、ライブコンテンツの配信サービスを提供する。
　仮想空間には、例えばライブコンテンツの主演となる演者１が操作する仮想モデルや舞台装置や背景等のＣＧ（Computer Graphics）オブジェクトが配置される。演者１は、自身の仮想モデルを操作することで、仮想空間上で歌唱、ダンス、楽器演奏等の様々なパフォーマンスを行うことが可能である。
　配信サーバ１０は、このような仮想空間を構成し、仮想空間を撮影した画像、仮想空間の音声、仮想空間に配置される仮想オブジェクト（演者１の仮想モデルや他のオブジェクト等）に関するデータ等を、ライブコンテンツとして生成する。
　なお、本開示において、画像とは、静止画像及び動画像を含む。以下では、主に仮想空間を撮影した動画像（映像）がライブコンテンツとして用いられる。

　撮影システム１１は、演者１を撮影・センシングして、演者１の仮想モデルを生成するために必要なデータを生成するシステムである。配信システム１００では、撮影システム１１が生成したデータに基づいて、配信サーバ１０により演者１の仮想モデルが生成される（図５参照）。演者１の仮想モデルは、後述する仮想カメラの撮影対象となる対象オブジェクトの一例である。
　本実施形態では、演者１の仮想モデル（対象オブジェクト）として、演者１の３次元実写モデル（ボリュメトリックモデル）が用いられる。ボリュメトリックモデルは、現実空間の演者１をそのまま３次元ＣＧとして再現した仮想モデルである。ボリュメトリックモデルを用いることで、現実空間での演者１のパフォーマンスをそのまま仮想空間上で再現することが可能となる。また演者１の仮想モデルは、異なる左右の視点から撮影されたステレオ撮像体として生成されてもよい。これにより現実空間の演者１を立体視することが可能となる。

　クライアント端末１２は、ライブコンテンツの配信サービスを利用する視聴者２が使用する端末装置である。クライアント端末１２は、配信サーバ１０から配信されたライブコンテンツに基づいて、仮想空間の映像や音声等を再生する。
　クライアント端末１２としては、例えばＨＭＤ１４（Head Mounted Display）を備える装置が用いられる。ＨＭＤ１４を用いることで、視聴者２の視界を覆うように仮想空間の映像等を表示することが可能となる。この他、クライアント端末１２として、装着型のＡＲグラス（透過型ＨＭＤ）や据え置き型のディスプレイを備える装置、タブレットやスマートフォン等の携帯型の端末装置等が用いられてもよい。

　またクライアント端末１２は、視聴者２の動作を検出するモーションセンサ、視聴者２の音声を検出するマイク、視聴者２による文字入力を受け付けるキーボード等の入力装置を備える。入力装置を介して入力されたデータは配信サーバ１０に送信される。
　配信サーバ１０では、各クライアント端末１２から送信されたデータに基づいて、視聴者２の動作、音声、文字入力等を反映したライブコンテンツが生成される。これにより、視聴者は、仮想空間で開催される演者１のライブに参加することが可能となる。

　図２は、配信システム１００により構成される仮想空間の一例を示す模式図である。仮想空間３は、複数の視聴者２が仮想体験中に共有する共有空間であるといえる。
　仮想空間３には、演者１の仮想モデルである演者モデル４が配置される。演者モデル４は、上記したように、実空間の演者１を再現したボリュメトリックモデルであり、演者１の動きと同様に動作する。図２に示す例では、仮想空間３内のステージ上に配置された演者モデル４が模式的に図示されている。

　また、仮想空間３には、視聴者２の仮想モデルである視聴者モデル５が配置される。視聴者モデル５は、例えばクライアント端末１２が備えるモーションセンサが検出した視聴者２の動きに応じて動作する仮想アバターである。図２に示す例では、ステージを囲むように配置された複数の視聴者モデル５が模式的に図示されている。

　また、仮想空間３では、演者１や視聴者２の音声やコメント等が共有される。図２には、音声やコメントを表すアイコン６が模式的に図示されている。例えば、演者１や視聴者２が入力したコメントを含むアイコン６が、コメントを入力した人物がわかるように、その人物の仮想モデルに対応して配置される。あるいは、演者１や視聴者２が発言した場合に、発言者がわかるようにアイコン６が配置されてもよい。

　例えば、視聴者モデル５を使用して仮想空間３のライブに参加している視聴者２のクライアント端末１２では、仮想空間３における視聴者モデル５の視界に対応する映像（視界映像）が表示される。これにより、視聴者２自身が仮想空間３のライブ会場にいるような臨場感のある仮想体験を提供することが可能となる。

　さらに配信システム１００では、配信サーバ１０により、仮想空間３を仮想カメラの視点から撮影した映像が生成されライブコンテンツとして配信される。
　以下では、仮想カメラが撮影した映像（仮想カメラの視点から撮影された映像）を仮想カメラ映像と記載する。仮想カメラ映像は、上記した視界映像とは異なる映像である。

　［仮想カメラ映像］
　図３は、仮想カメラによる撮影について説明するための模式図である。図４は、仮想カメラ映像の一例を示す模式図である。
　仮想カメラ２０は、仮想空間３内を移動して仮想空間３を撮影するように仮想的に構成されたカメラである。仮想カメラ２０の撮影位置や撮影方向は、仮想空間３内で自由に設定することが可能である。
　図３には、仮想空間３を撮影する仮想カメラ２０と、仮想カメラ２０の撮影経路２１（図中の点線）とが模式的に図示されている。なお、実際に仮想空間３を構成する際には、仮想カメラ２０や撮影経路２１を表すオブジェクトは表示されない。

　仮想カメラ２０の撮影対象は、仮想空間３で動作する演者モデル４である。すなわち、仮想カメラ２０は、仮想空間３を移動して演者モデル４を撮影するカメラであるといえる。図３に示す例では、演者モデル４の左後方から正面に回り込むような撮影経路２１に沿って仮想カメラ２０が移動する。この時、仮想カメラ２０の撮影方向や撮影倍率は、演者モデル４が仮想カメラ２０の撮影範囲に収まるように適宜制御される。
　例えば図３に示すように、仮想カメラ２０が演者モデル４の正面を通過する際には、図４に示すように、演者モデル４を正面から撮影した仮想カメラ映像２２が生成される。

　このように、仮想カメラ映像２２は、仮想空間３における撮影位置や撮影方向を時間的に変化させて演者モデル４を撮影した映像となる。
　仮想カメラ２０を用いた撮影では、撮影位置や撮影方向等についての制約が少ない。このため、例えば現実空間での撮影では難しいカメラワーク等を容易に実現することが可能となる。この結果、ダイナミックな映像表現を容易に実現することが可能となる。
　また本実施形態では、仮想カメラ２０により撮影された演者モデル４の画像（仮想カメラ映像２２）がライブコンテンツとして配信される。これにより、各視聴者２は、仮想空間３で行われる音楽ライブ等をリアルタイムで鑑賞することが可能となる。

　このようなライブ配信において、仮想カメラ２０を演者モデル４に接近させて近接撮影を行う場合等には、仮想カメラ２０のカメラパス（撮影経路２１）が固定ルートだと演者モデル４と仮想カメラ２０とが衝突する可能性がある。例えば、演者モデル４（演者１）が予定よりも大きく移動した場合等には、演者モデル４と仮想カメラ２０とが衝突することが考えられる。この場合、演者モデル４に対する「めり込み映像」や「貫通映像」が仮想カメラ映像２２としてライブ配信されてしまう恐れがある。

　本実施形態では、演者モデル４と仮想カメラ２０との位置関係がモニタリングされる。そして演者モデル４と仮想カメラ２０の位置関係に応じて、演者モデル４に対する仮想カメラ２０の衝突を回避するための衝突回避処理が実行される。
　衝突回避処理は、典型的には、仮想カメラ２０の挙動を制御して、演者モデル４との衝突を回避する行動（衝突回避行動）を仮想カメラ２０に実行させる処理である。
　これにより、仮想カメラ２０が演者モデル４に衝突するといった事態が事前に回避され、「めり込み映像」や「貫通映像」等を発生させることなく、演者モデル４を適正に撮影することが可能となる。衝突回避処理については、後に詳しく説明する。

　図５は、撮影システム１１及び配信サーバ１０の機能的な構成例を示すブロック図である。撮影システム１１及び配信サーバ１０は、配信システム１００において、配信者がライブコンテンツを配信するために使用する配信側のシステムである。例えばライブに出演する演者１や、ライブコンテンツの企画等を行う事業者が配信者となる。

　［撮影システムの構成］
　撮影システム１１は、演者１のボリュメトリックモデルを生成するために必要なデータを生成する。図５に示すように、撮影システム１１は、撮影部３０と、撮影処理部３１とを有する。
　撮影部３０は、演者１を撮影・センシングするための装置群を含み、例えば演者１を撮影するための撮影スタジオ内で用いられる。本実施形態では、撮影部３０は、多視点映像撮影部３２と、身体位置センシング部３３とを有する。

　図６は、撮影部３０の構成例を示す模式図である。
　多視点映像撮影部３２は、複数のカメラを含むマルチカメラユニットである。図６には、多視点映像撮影部３２を構成するＮ台のカメラ（Ｃａｍ（１）～Ｃａｍ（Ｎ））が模式的に図示されている。各カメラは、例えば演者１を全方位から撮影するように互いに異なる位置に配置される。これにより、演者１の全身を合成したボリュメトリックモデルが生成可能となる。このように、多視点映像撮影部３２は、ボリュメトリック撮影用の複数視点カメラであると言える。

　身体位置センシング部３３は、演者１の身体の各部の位置を検出するためのセンサ（モーションセンサ）を含む。図６に示す例では、身体位置センシング部３３として、装着型位置センサ３３ａ、デプスカメラ３３ｂ、及び赤外線カメラ３３ｃが用いられる。
　なお、身体位置センシング部３３として用いるセンサの種類等は限定されず、他のモーションセンサが用いられてもよい。また、これらのセンサは、単独で用いられてもよいし、全て又は一部のセンサを組み合わせて用いることも可能である。

　装着型位置センサ３３ａは、演者１が身体に装着して用いるセンサであり、装着した部位の位置を検出する。例えば図６に示す例では、演者１の左側及び右側の手首に装着型位置センサ３３ａがそれぞれ装着される。この場合、演者１の手首の位置が検出され、演者１の手の動きを検出することが可能となる。
　デプスカメラ３３ｂは、撮影対象（演者１）のデプス画像を撮影するカメラである。デプス画像は、画素ごとに撮影対象までの距離（奥行）が検出された画像である。デプス画像を用いることで、演者１の身体の各部の位置を検出することが可能である。デプスカメラ３３ｂとしては、例えばＴｏＦカメラ等が用いられる。
　赤外線カメラ３３ｃは、撮影対象に赤外線を照射して赤外画像を撮影するカメラである。赤外線カメラ３３ｃを用いる場合、例えば赤外線を選択的に反射する赤外線マーカ３４が演者１の身体に装着され、演者１の赤外画像が撮影される。このように撮影された赤外画像における赤外線マーカ３４の状態から、装着部位の位置を検出することが可能である。

　図７は、撮影スタジオの一例を示す模式図である。撮影スタジオは、例えば背景や床面に緑色の部材を用いたグリーンバックスタジオである。
　撮影スタジオには、例えば多視点映像撮影部３２の各カメラを固定するポールが設置される。図７に示す例では、図中の左側のポールの上段及び下段に、Ｃａｍ（１）及びＣａｍ（２）が固定され、右側のポールの上段及び下段に、Ｃａｍ（３）及びＣａｍ（４）が固定される。また、各ポールの上端には、赤外線カメラ３３ｃがそれぞれ配置される。さらに、各ポールには、照明用のライト３５がそれぞれ設けられる。このようなポールが、例えば演者１を囲むように複数配置される。これにより、演者１を全方位から撮影することが可能となる。
　また、撮影スタジオには、デプスカメラ３３ｂが配置される。デプスカメラ３３ｂと演者１との距離は、必要な範囲のデプス画像が撮影可能となるように、所定の値（例えば０．５ｍ～５．５ｍ程度）に設定される。
　なお、撮影スタジオの具体的な構成は限定されない。例えば演者モデル４を生成するために必要な撮影やセンシングを行うことが可能な撮影機材が適宜用いられてよい。

　図５に戻り、撮影処理部３１は、撮影部３０の出力を統合して、ボリュメトリックモデルを生成するために必要なデータを生成するデータ処理装置である。撮影処理部３１としては、例えばＰＣ（Personal Computer）等のコンピュータが用いられる。あるいは、後述する配信サーバ１０により、撮影処理部３１が構成されてもよい。
　撮影処理部３１は、機能ブロックとして、カメラ画像生成部３６、多視点映像ストリーミング処理部３７、身体位置情報生成部３８、及び３Ｄモデル位置情報生成部３９を有する。

　カメラ画像生成部３６は、多視点映像撮影部３２の出力を読み込み、カメラごとに撮影されたカメラ画像２６を生成する。カメラ画像２６は、複数の視点から同一のタイミングで演者１を撮影した画像である。図５には、各カメラ（Ｃａｍ（１）～Ｃａｍ（Ｎ））により撮影されたカメラ画像２６が模式的に図示されている。
　多視点映像ストリーミング処理部３７は、複数のカメラ画像２６に基づいて、演者１の多視点映像２７を生成し、多視点映像２７についてのストリーミング処理を実行する。例えば、カメラ画像２６の撮影タイミングを同期して時間軸に沿って配列することで多視点映像２７が生成される。この多視点映像２７に対して圧縮・変換等のストリーミング処理が実行される。図５には、多視点映像２７の一例が時間軸に沿った一連の画像により模式的に図示されている。

　身体位置情報生成部３８は、身体位置センシング部３３の出力を読み込み、演者１の身体の各部の位置を表す身体位置情報を生成する。例えば装着型位置センサ３３ａが装着された部位の位置情報、デプスカメラ３３ｂにより撮影された演者１のデプス画像２８、赤外線カメラ３３ｃにより撮影された演者１（赤外線マーカ３４）の赤外画像等が身体位置情報として生成される。図５には、身体位置情報の一例として、演者１のデプス画像２８が模式的に図示されている。
　３Ｄモデル位置情報生成部３９は、上記した身体位置情報に基づいて、演者モデル４（ここでは、演者１のボリュメトリックモデル）の各部の位置を表すモデル位置情報を生成する。具体的には、身体位置情報に基づいてボーン推定処理が実行され、演者１の骨格の位置・姿勢を推定したボーンデータ２９が算出される。このボーンデータ２９が演者モデル４のモデル位置情報として用いられる。図５には、ボーンデータ２９の一例が模式的に図示されている。

　なお、演者１の身体位置をセンシングする方法として、上記したボーン推定以外の方法が用いられてもよい。例えば、画像認識による身体各部の位置推定や、機械学習を用いた３次元位置推定等が用いられてもよい。あるいは赤外線カメラ及び赤外線マーカを用いた赤外線検出によるモーションキャプチャ技術等が用いられてもよい。

　［配信サーバの構成］
　配信サーバ１０は、ネットワーク伝送部４０、記憶部４１、及びサーバ制御部４２を備える。
　ネットワーク伝送部４０は、インターネット１３を介して他のデバイスとの間でネットワーク通信を行う通信モジュールである。ネットワーク伝送部４０は、例えば配信サーバ１０で生成されたデータ（ライブコンテンツ等）を送信するデータ送信機能と、インターネット１３を介してクライアント端末１２から送信されたデータを受信するデータ受信機能とを有する。
　ネットワーク伝送部４０の具体的な構成は限定されず、有線ＬＡＮ、無線ＬＡＮ、光通信等に対応した各種の通信モジュールが用いられてよい。

　記憶部４１は、不揮発性の記憶デバイスである。記憶部４１としては、例えばＳＳＤ（Solid State Drive）等の固体素子を用いた記録媒体や、ＨＤＤ（Hard Disk Drive）等の磁気記録媒体が用いられる。この他、記憶部４１として用いられる記録媒体の種類等は限定されず、例えば非一時的にデータを記録する任意の記録媒体が用いられてよい。
　記憶部４１には、本実施形態に係る制御プログラムが記憶される。制御プログラムは、例えば配信サーバ１０全体の動作を制御するプログラムである。この他、記憶部４１に記憶される情報は限定されない。

　サーバ制御部４２は、配信サーバ１０の動作を制御する。サーバ制御部４２は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部４１に記憶されている制御プログラムをＲＡＭにロードして実行することにより、種々の処理が実行される。サーバ制御部４２は、本実施形態に係る情報処理装置に相当する。

　サーバ制御部４２として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。また例えばＧＰＵ（Graphics Processing Unit）等のプロセッサがサーバ制御部４２として用いられてもよい。

　本実施形態では、サーバ制御部４２のＣＰＵが本実施形態に係るプログラム（制御プログラム）を実行することで、機能ブロックとして、コンテンツデータ生成部４３と、仮想カメラ制御部４４とが実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが適宜用いられてもよい。

　コンテンツデータ生成部４３は、ここで、コンテンツデータを生成する。コンテンツデータとは、例えば仮想空間３を構成するために必要となるデータである。コンテンツデータには、仮想空間３に配置される仮想オブジェクト（演者モデル４、視聴者モデル５、舞台装置等）に関するデータ、仮想空間３での音声データ、演者・視聴者によるコメント等が含まれる。
　図５に示すように、コンテンツデータ生成部４３は、演者モデル生成部４５と、視聴者モデル生成部４６とを有する。

　演者モデル生成部４５は、演者１の仮想モデルとなる演者モデル４を生成する。具体的には、撮影システム１１から出力された演者１の多視点映像２７及びボーンデータ２９に基づいて、演者１のボリュメトリックモデル（演者モデル４）のデータを生成する。
　例えば、多視点映像２７から、演者モデル４の形状データやテクスチャデータが生成される。また例えば、ボーンデータ２９から、演者モデル４の動作データが生成される。
　また、演者モデル生成部４５では、演者１の動作やライブの演出等に応じて、仮想空間３における演者モデル４の配置位置が算出される。

　視聴者モデル生成部４６は、視聴者２の仮想モデルとなる視聴者モデル５を生成する。具体的には、各クライアント端末１２から視聴者２の身体の各部（頭部や手等）の位置を表すデータを取得し、これらのデータに基づいて視聴者モデル５（仮想アバター等）のデータを生成する。視聴者モデル５のデザイン等は、例えば視聴者２により指定されてもよいし、デフォルトのデザインが用いられてもよい。
　また、視聴者モデル生成部４６では、視聴者２の動作等に応じて仮想空間３における各視聴者モデル５の配置位置が算出される。

　この他、コンテンツデータ生成部４３では、仮想空間３に配置される他の仮想オブジェクトのデータ、演者１や視聴者２の音声データ、楽曲の演奏データ等がコンテンツデータとして生成される。コンテンツデータの具体的な内容は限定されない。
　コンテンツデータ生成部４３により生成されたコンテンツデータは、ライブコンテンツとして各クライアント端末１２に配信される。

　仮想カメラ制御部４４は、仮想カメラ２０を制御して、仮想空間３を仮想カメラ２０で撮影した仮想カメラ映像２２（図４参照）を生成する。
　例えば、仮想空間３上に、コンテンツデータ生成部４３により生成された演者モデル４や視聴者モデル５が配置され、仮想的なライブ会場が再現される。仮想カメラ制御部４４は、このように構成された仮想空間３における仮想カメラ２０の挙動を制御する。

　本実施形態では、仮想カメラ制御部４４は、仮想空間３で動作する演者モデル４と仮想空間３を移動して演者モデル４を撮影する仮想カメラ２０との位置関係に応じて、演者モデル４に対する仮想カメラ２０の衝突を回避するための衝突回避処理を実行する。本実施形態では、仮想カメラ制御部４４は、撮影制御部に相当する。

　演者モデル４と仮想カメラ２０との位置関係は、典型的には、演者モデル４と仮想カメラ２０との間隔（相対距離）を用いて表される。なお演者モデル４と仮想カメラ２０との間隔は現在値であってもよいし、予測値であってもよい。
　例えば、演者モデル４と仮想カメラ２０との間隔がモニタリングされ、その値が所定の条件を満たした場合に衝突回避処理が実行される。あるいは衝突回避処理として、演者モデル４と仮想カメラ２０との間隔が所定の条件を満たすように、仮想カメラ２０の挙動を逐次制御する処理が実行される。

　また仮想カメラ制御部４４は、仮想カメラ映像２２を生成する。例えば、ライブ中の仮想空間３内を移動する仮想カメラ２０から見た画像が所定のフレームレートで生成される。これらの画像に基づいて、ライブ中の仮想空間３を撮影した仮想カメラ映像２２が生成される。
　仮想カメラ映像２２は、ライブコンテンツとして各クライアント端末１２に配信される。このように、本実施形態では、仮想カメラ２０が撮影した画像（仮想カメラ映像２２）がリアルタイムで配信される。

　［クライアント端末の構成］
　図８は、クライアント端末１２の機能的な構成例を示すブロック図である。クライアント端末１２は、ネットワーク伝送部５０と、記憶部５１と、端末制御部５２とを有する。また図８に示すクライアント端末は、ＨＭＤ１４及びハンドコントローラ１５を備える。
　本実施形態では、クライアント端末１２は、表示装置として機能する。
　ここでは、クライアント端末１２を使用する視聴者２を体験者と記載し、体験者以外の視聴者２を他視聴者と記載する。

　ＨＭＤ１４は、体験者が頭部に装着して用いる表示装置である。ＨＭＤ１４は、ディスプレイ５３と、音声出力部５４と、音声入力部５５と、ＨＭＤ動作センサ５６とを有する。
　ディスプレイ５３は、体験者の視界を覆うように配置される。ディスプレイ５３としては、例えば液晶ディスプレイや有機ＥＬディスプレイが用いられる。音声出力部５４は、スピーカやヘッドフォン等の音声を再生する素子である。音声入力部５５は、マイク等の音声を検出する素子である。ＨＭＤ動作センサ５６は、ＨＭＤ１４本体の位置姿勢を検出するセンサであり、例えば加速度センサ、ジャイロセンサ、方位センサ等を含む。
　本実施形態では、ディスプレイ５３は、仮想カメラが撮影した画像を表示する表示部に相当する。

　ハンドコントローラ（ＨＣ）１５は、体験者の手の動きに応じた入力操作を受け付ける操作デバイスである。ハンドコントローラ１５としては、体験者が握って操作する把持型のデバイスや、体験者の手に装着して用いる装着型のデバイスが用いられる。ハンドコントローラ１５は、振動生成部５７と、ＨＣ動作センサ５８とを有する。
　振動生成部５７は、振動を発生させるデバイスであり、例えばボイスコイルモータや偏心モータ等が用いられる。ＨＣ動作センサ５８は、ハンドコントローラ１５本体の位置姿勢を検出するセンサである。

　ネットワーク伝送部５０は、インターネット１３を介して他のデバイスとの間でネットワーク通信を行う通信モジュールである。ネットワーク伝送部５０は、例えば配信サーバ１０で生成されたデータを受信するデータ受信機能と、クライアント端末１２で生成されたデータを送信するデータ送信機能とを有する。
　記憶部５１は、不揮発性の記憶デバイスであり、ＳＳＤやＨＤＤ等の記録媒体が用いられる。記憶部５１には、クライアント端末１２全体の動作を制御する制御プログラムが記憶される。この他、記憶部５１に記憶される情報は限定されない。

　端末制御部５２は、クライアント端末１２の動作を制御する。端末制御部５２は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵが記憶部５１に記憶されている制御プログラムをＲＡＭにロードして実行することにより、種々の処理が実行される。端末制御部５２の具体的な構成は限定されない。
　本実施形態では、端末制御部５２のＣＰＵが記憶部５１に記憶された制御プログラムを実行することで、種々の機能ブロックが実現される。

　図８に示すように、端末制御部５２は、機能ブロックとして、映像取得部６０と、演者データ解析部６１と、他視聴者データ解析部６２と、タイミング同期部６３ａ～６３ｃと、体験者データ出力部６４と、３Ｄオブジェクト制御部６５と、３Ｄオブジェクト衝突検出部６６と、表示制御部６７とを有する。
　また、図８の点線で囲まれた領域には、インターネット１３を介して送受信されるデータ（ネットワーク通信データ群）が模式的に図示されている。

　映像取得部６０は、ネットワーク伝送部５０を介して仮想カメラ２０が撮影した仮想カメラ映像２２を取得し、表示制御部６７に出力する。図８には、表示制御部６７に出力される仮想カメラ映像２２が模式的に図示されている。
　上記したように、本実施形態では、配信サーバ１０（仮想カメラ制御部４４）において、仮想空間３で動作する演者モデル４と仮想空間３を移動して演者モデル４を撮影する仮想カメラ２０との位置関係に応じて、演者モデル４に対する仮想カメラ２０の衝突を回避するための衝突回避処理が実行される。従って、映像取得部６０は、このような衝突回避処理に従って動作する仮想カメラ２０が撮影した画像（仮想カメラ映像２２）を取得する。
　本実施形態では、映像取得部６０は、画像取得部に相当する。

　演者データ解析部６１は、ネットワーク伝送部５０を介して演者１に関するデータを取得し、取得したデータを解析して演者データ（演者映像データ、演者音声ストリーム、演者メタデータ）を生成する。
　演者映像データは、例えば演者モデル４の外見（形状・テクスチャ）を表すデータである。演者音声ストリームは、例えば演者１の音声や楽曲のストリーミングデータである。演者メタデータは、例えば演者モデル４の身体位置のデータ（ボーンデータ２９）や、演者１のコメント等のテキストデータである。身体位置のデータは、例えば頭部や両手の位置姿勢を表すデータであり、各部を６ＤｏＦ（Degree of Freedom）や３ＤｏＦで表すデータが用いられる。演者データ解析部６１により生成された演者データは、タイミング同期部６３ａに出力される。

　他視聴者データ解析部６２は、ネットワーク伝送部５０を介して体験者以外の他視聴者に関するデータを取得し、取得したデータを解析して他視聴者データ（他視聴者音声ストリーム、他視聴者メタデータ）を生成する。
　他視聴者音声ストリームは、他視聴者の音声のストリーミングデータである。他視聴者メタデータは、例えば他視聴者が使用する仮想アバター（視聴者モデル５）のデータ（ボーンデータ等）や、他視聴者のコメント等のテキストデータである。他視聴者データ解析部６２により生成された他視聴者データは、タイミング同期部６３ｂに出力される。

　タイミング同期部６３ａは、演者データ解析部６１により生成された演者データ（演者映像データ、演者音声ストリーム、演者メタデータ）のタイミングを同期する。図８には、タイミグが同期された演者データが模式的に図示されている。
　同期された演者データのうち、グラフィックに関するデータ（演者映像データ、ボーンデータ２９、コメント等）は、３Ｄオブジェクト制御部６５に出力される。また音声に関するデータ（演者音声ストリーム等）は、ＨＭＤ１４の音声出力部５４に出力される。

　タイミング同期部６３ｂは、他視聴者データ解析部６２により生成された他視聴者データ（他視聴者音声ストリーム、他視聴者メタデータ）のタイミングを同期する。図８には、タイミグが同期された他視聴者データが模式的に図示されている。
　同期された他視聴者データのうち、グラフィックに関するデータ（ボーンデータ、コメント等）は、３Ｄオブジェクト制御部６５に出力される。また音声に関するデータ（他視聴者音声ストリーム等）は、ＨＭＤ１４の音声出力部５４に出力される。

　タイミング同期部６３ｃは、クライアント端末１２を使用する体験者に関する体験者データ（体験者音声ストリーム、体験者メタデータ）をタイミングが同期するように生成する。
　体験者音声ストリームは、体験者の音声のストリーミングデータであり、ＨＭＤ１４の音声入力部５５の出力に基づいて生成される。体験者メタデータは、例えば体験者が使用する仮想アバター（視聴者モデル５）のデータ（ボーンデータ等）である。仮想アバターのデータは、ＨＭＤ１４のＨＭＤ動作センサ５６やハンドコントローラ１５のＨＣ動作センサ５８の出力に基づいて生成される。また、体験者メタデータとして、文字入力や音声認識等に基づいて体験者のコメント等のテキストデータが生成されてもよい。

　体験者データ出力部６４は、体験者データを圧縮・変換して送信用の体験者データを生成する。このデータは、ネットワーク伝送部５０を介して、配信サーバ１０に送信される。
　配信サーバ１０では、例えば各クライアント端末１２から送信された体験者データに基づいて、それぞれの視聴者２に対応する視聴者モデル５等が生成される。

　３Ｄオブジェクト制御部６５は、演者モデル４や視聴者モデル５等の仮想オブジェクト（３Ｄオブジェクト）を生成し、仮想オブジェクトが配置された仮想空間３（図２参照）を構成する。
　例えば、タイミング同期部６３ａの出力に基づいて演者モデル４（演者１のボリュメトリックモデル）が生成される。またタイミング同期部６３ｂの出力に基づいて他視聴者が使用する視聴者モデル５が生成される。また、ＨＭＤ動作センサ５６及びＨＣ動作センサ５８の出力に基づいて、体験者が使用する視聴者モデル５（体験者の仮想アバター）が生成される。また仮想空間３には、演者１、他視聴者、及び体験者のコメントを表すアイコン等が配置される。
　３Ｄオブジェクト制御部６５により構成された仮想空間３に関するデータは、３Ｄオブジェクト衝突検出部６６、及び表示制御部６７に出力される。

　３Ｄオブジェクト衝突検出部６６は、仮想空間３における仮想モデルの衝突（接触）を検出する。具体的には、体験者が使用する視聴者モデル５と、他の仮想オブジェクト（例えば演者モデル４や他の視聴者モデル５）との衝突が検出される。
　また、３Ｄオブジェクト衝突検出部６６では、モデル間の衝突が検出されると、その衝突に対応する振動信号が生成される。生成された振動信号は、ハンドコントローラ１５の振動生成部５７に出力される。

　表示制御部６７は、クライアント端末１２（ここでは、ＨＭＤ１４のディスプレイ５３）における仮想空間３の表示を制御する。具体的には、ディスプレイ５３に出力される映像（以下、出力映像と記載する）が適宜生成される。
　表示制御部６７では、仮想空間３のデータに基づいて、体験者が使用する視聴者モデル５の視界を表す視界映像が生成される。また表示制御部６７には、仮想カメラ２０が撮影した仮想カメラ映像２２が入力される。
　本実施形態では、出力映像として、視界映像と仮想カメラ映像２２とが切り替えて用いられる。例えば体験者による所定の切り替え操作等に応じて、視界映像及び仮想カメラ映像２２がそれぞれ切り替えられる。

　この他、出力映像を生成する方法等は限定されない。例えばクライアント端末１２に複数のディスプレイが設けられている場合には、視界映像及び仮想カメラ映像２２が個別に出力されてもよい。また視聴者モデル５等を使用しない場合には、仮想カメラ映像２２のみを出力するような構成が用いられてもよい。
　また配信サーバ１０により仮想カメラ映像２２が生成される場合に限定されず、例えば仮想カメラ映像２２が、クライアント端末１２で生成されてもよい。この場合、例えばクライアント端末１２で構成された仮想空間３が仮想カメラ２０で撮影される。この場合、クライアント端末１２において、以下で説明する仮想カメラ２０の衝突回避処理が実行される。

　［仮想カメラ制御部の動作］
　配信サーバ１０の仮想カメラ制御部４４の動作について具体的に説明する。
　仮想カメラ制御部４４では、仮想空間３における演者モデル４と仮想カメラ２０との位置関係がモニタリングされる。このモニタリング結果に基づいて、演者モデル４と仮想カメラ２０との衝突が起きそうな状態が事前に検出される。
　具体的には、仮想カメラ制御部４４により、演者モデル４と仮想カメラ２０との位置関係に基づいて、演者モデル４と仮想カメラ２０との近接状態が検出される。そして、近接状態が検出された場合に、衝突回避処理が実行される。
　ここで、近接状態とは、例えば演者モデル４と仮想カメラ２０とが近接しているために、演者モデル４と仮想カメラ２０との衝突が起きそうな状態である。従って、近接状態が検出された場合には、演者モデル４に対する仮想カメラ２０の衝突を事前に回避するために、衝突回避処理が実行される。

　図９は、近接状態の一例を示す模式図である。
　本実施形態では、仮想カメラ制御部４４は、演者モデル４と仮想カメラ２０との相対距離が所定の閾値Ｒ以下となる状態を近接状態として検出する。図９には、相対距離＝Ｒとなる状態が模式的に図示されている。

　ここで、演者モデル４と仮想カメラ２０との相対距離とは、例えば、演者モデル４の基準点と仮想カメラ２０の基準点との間隔である。仮想カメラ２０の基準点は、典型的には、仮想カメラ２０の視点（撮影位置）である。
　演者モデル４の基準点は、例えば演者モデル４の重心（モデルの中心位置）に設定されるこの場合、相対距離を容易に算出することが可能となり、相対距離（位置関係）のモニタリングに要する演算リソースを抑制することが可能となる。
　また、演者モデル４の表面に基準点が設定されてもよい。この場合、例えば仮想カメラ２０の視点から最も近い演者モデル４の表面までの距離が相対距離として算出される。これにより、演者モデル４の形状やサイズ等にかかわらず、仮想カメラ２０が近接した状態を確実に検出することが可能となる。

　また演者モデル４と仮想カメラ２０との相対距離は、現在値であってもよいし、予測値であってもよい。
　相対距離の現在値は、例えば演者モデル４及び仮想カメラ２０の各基準点の現在位置に基づいて算出される。
　また相対距離の予測値は、例えば演者モデル４及び仮想カメラ２０の各基準点の予測位置に基づいて算出される。演者モデル４の基準点の予測位置は、例えば演者モデル４の現在の移動方向や移動速度を用いた移動予測に基づいて推定される。また仮想カメラ２０の基準点の予測位置は、仮想カメラ２０の撮影経路に基づいて推定される。予測値を用いることで、演者モデル４及び仮想カメラ２０の衝突を確実に回避することが可能となる。

　以下で説明するように、演者モデル４と仮想カメラ２０との相対距離が閾値Ｒ以下となり、近接状態が検出されると、相対距離が閾値Ｒよりも大きくなるように仮想カメラ２０の経路等が制御される。従って、閾値Ｒは、仮想カメラ２０が演者モデル４に接近して撮影を行うことが可能な最小距離（近接撮影許容値）であるといえる。
　閾値Ｒは、例えば等身大のスケールで２ｍ程度に設定される。これに限定されず、閾値Ｒは、演者モデル４やパフォーマンスの種類等に応じて適宜設定されてよい。

　［衝突回避処理］
　近接状態が検出された場合に実行される衝突回避処理について説明する。
　以下では、仮想空間３における仮想カメラ２０の撮影経路が予め設定されているものとする。すなわち、仮想カメラ２０は、予め設定された撮影経路に沿って演者モデル４を撮影する。
　本実施形態では、仮想カメラ制御部４４により、近接状態が検出された場合に、衝突回避処理として、撮影経路が変更される。

　図１０は、撮影経路を変更する衝突回避処理の一例を示す模式図である。
　図１０には、演者モデル４を撮影するために設定された仮想カメラ２０の撮影経路２１が模式的に図示されている。撮影経路２１は、複数の中継点を含む。仮想カメラ制御部４４は、これらの中継点を予め設定された順番で通過するように仮想カメラ２０を移動させて、演者モデル４を撮影する。このように、撮影経路２１は、仮想カメラ２０が複数の中継点を順番に通過するように設定された経路である。

　図１０に示す例では、中継点Ｐ１、Ｐ２、Ｐ３、及びＰ４をこの順番で通過するように、撮影経路２１が設定される。仮想カメラ２０は、例えば各中継点を結ぶ直線に沿って移動する。なお、中継点間の経路は曲線状に設定されてもよい。この時。仮想カメラ２０の撮影方向は、演者モデル４が撮影範囲（画角）に収まるように適宜調整される。

　また各中継点には、仮想カメラ２０が中継点を通過するべき通過時刻が設定される。例えば、中継点Ｐ１、Ｐ２、Ｐ３、及びＰ４には、通過時刻Ｔ１、Ｔ２、Ｔ３、及びＴ４がそれぞれ設定される。従って、仮想カメラ２０は、中継点Ｐ１を時刻Ｔ１に通過し、中継点Ｐ２を時刻Ｔ２に通過し、中継点Ｐ３を時刻Ｔ３に通過し、中継点Ｐ４を時刻Ｔ４に通過するように移動される。
　このように、撮影経路２１は、複数の中継点ごとに仮想カメラ２０の通過時刻が設定された経路である。

　撮影経路２１は、演者モデル４の位置を想定して、演者モデル４と仮想カメラ２０とが衝突しないように適宜設定される。撮影経路２１を用いることで、演者モデル４（演者１）が行うパフォーマンスの内容等に応じた様々なカメラワークを詳細に設定することが可能である。例えば、楽曲が演奏される場合等には、演者モデル４の表情をアップして撮影する時刻や、演者モデル４の全体像を撮影する時刻といったカメラワークのスケジュールに合わせた撮影経路２１が設定される。

　また撮影経路２１を設計する際には、複数の中継点として、重要中継点が少なくとも１つ設定される。ここで、重要中継点とは、例えばライブパフォーマンスの中でも確実に撮影を行いたい中継点であり、撮影経路２１の設計者（演者、クリエイター、演出家等）により適宜設定されてよい。例えば演者モデル４の特定のポーズや、楽曲のさび部分での演者モデル４の様子を撮影する中継点が、重要中継点として設定される。

　この他、撮影経路２１を設定する方法は限定されない。例えば、撮影経路２１が自動的に設定されてもよい。例えば、設計者により、仮想カメラ２０の大まかな移動ルートが設定される。この大まかな移動ルートをもとに、コンテンツの尺や演者１の動きに応じて仮想カメラ２０の最終的な撮影経路（中継点や通過時刻）が自動的に設定される。

　なお撮影経路２１に沿って仮想カメラ２０が移動している最中にも、演者１の動作やライブの演出等に応じて演者モデル４の位置は逐次変化する。このため、ライブ配信を行う場合には、演者モデル４の位置が、撮影経路２１を設定した際の想定値より大きく移動するといったこともあり得る。

　図１０に示す衝突回避処理では、仮想カメラ制御部４４は、近接状態が検出された場合に、演者モデル４と仮想カメラ２０との衝突が回避されるように、仮想カメラ２０の移動目標となる中継点を変更する。すなわち、それまで仮想カメラ２０の移動目標であった中継点が、近接状態が検出されたタイミングで他の中継点に変更される。
　この結果、仮想カメラ２０の撮影経路２１は、変更された中継点に向かう経路に変更される。このように、中継点を変更する処理は、撮影経路２１を変更する衝突回避処理となる。これにより、演者モデル４に対して仮想カメラ２０が衝突する事態を事前に回避することが可能となる。

　具体的には、複数の中継点を決め打ちとした撮影経路２１において、演者モデル４と仮想カメラ２０との接近（近接状態）を検出した場合、衝突が起こらない最も順番の近い中継点に向けて撮影経路２１が変更される。すなわち、近接状態が検出されると、衝突が回避可能な撮影経路２１上で最短距離にある中継点へのショートカットが行われる。

　この衝突回避処理には、以下の処理が含まれる。
　・演者モデル４と仮想カメラ２０との位置関係に応じて、仮想カメラ２０の軌道をリアルタイムで監視して近接状態を検出するモニタリング処理。
　・近接状態が検出された場合に、衝突が起こらない最も順番の近い中継点を選択し、当該中継点に向けたルート走行が行われるように撮影経路２１を変更する経路変更処理。
　・撮影経路２１の変更に伴う仮想カメラ２０の移動距離の増減から逆算して、仮想カメラ２０の移動速度を調整する速度調整処理。
　以下図１０を参照して、各処理について具体的に説明する。

　例えば、時刻Ｔ１に中継点Ｐ１を通過した仮想カメラ２０の次の移動目標は、中継点Ｐ２に設定される。そして仮想カメラ２０は、時刻Ｔ２に中継点Ｐ２到達するように、中継点Ｐ１から中継点Ｐ２に向けて移動される。
　モニタリング処理では、演者モデル４と移動中の仮想カメラ２０との相対距離が常時算出され、相対距離に基づいて近接状態の有無が監視される。具体的には、相対距離が閾値Ｒ以下であるか否かが判定される。
　例えば演者モデル４が移動したために近接状態が検出されたとする。図１０では、中継点Ｐ２に向かう仮想カメラ２０が時刻Ｔｘに点Ｘに到達したタイミングで、演者モデル４と仮想カメラ２０との相対距離が閾値Ｒ以下となり、近接状態が検出される。

　近接状態が検出されると、経路変更処理が実行される。ここでは、衝突が起こらない最も順番の近い中継点が選択される。
　例えば、仮想カメラ２０が通過していない中継点が近い順に選択され、各中継点に向けてルート変更をした場合に衝突が起きるか否かが判定される。そして最初に衝突が起きないと判定された中継点が、仮想カメラ２０の次の移動目標として選択される。
　衝突が起きるか否かの判定は、例えば演者モデル４の現在位置や移動予測、あるいは予定されている演者モデル４の移動経路（行動予定）等に基づいて実行される。

　図１０では、時刻Ｔｘにおいて、中継点Ｐ２、Ｐ３、及びＰ４が、仮想カメラ２０が通過していない中継点となる。このうち、中継点Ｐ２にむけて仮想カメラ２０を移動させた場合、演者モデル４との衝突が生じる恐れがある。中継点Ｐ３に向けて仮想カメラ２０を移動させた場合、演者モデル４と仮想カメラ２０との距離が離れるため、衝突は発生しないと判定される。従って、中継点Ｐ３が、衝突が起こらない最も順番の近い中継点として、仮想カメラ２０の次の移動目標として設定される。

　このように、本実施形態では、仮想カメラ制御部４４により、仮想カメラ２０の移動目標が、演者モデル４と仮想カメラ２０との衝突を回避することが可能となる最寄りの中継点に設定される。これにより、本来の撮影経路２１を大きく変更することなく、予定したカメラワークでの撮影を実現することが可能となる。
　なお、中継点を変更する方法は限定されず、例えば撮影経路２１の順番ではなく、仮想空間３での距離が近い中継点等が選択されてもよい。これにより、本来の撮影経路２１に速やかに復帰することが可能となる。

　なお、中継点を変更する方法は限定されない。例えば、仮想カメラ２０が演者モデル４に衝突しないような中継点を新たに追加して、追加した中継点に向けて仮想カメラ２０を移動させてもよい。すなわち、中継点を増やすことで演者モデル４を迂回して、演者モデル４と仮想カメラ２０との衝突を回避してもよい。

　撮影経路２１が変更されると、速度調整処理が実行される。本実施形態では、仮想カメラ制御部４４により、中継点に設定された通過時刻に基づいて、変更後の撮影経路２１を移動する仮想カメラ２０の移動速度が調整される。
　例えば、中継点を変更することで、仮想カメラ２０の移動距離が変化する。このため、それまでの移動速度を維持した場合には、撮影（カメラワーク）のスケジュールがずれる可能性がある。このようなスケジュールのずれが生じないように、中継点の通過時刻を参照して、仮想カメラ２０の移動速度が変更される。これにより、コンテンツ動画の尺の不整合等が起きないようにすることが可能である。

　本実施形態では、仮想カメラ制御部４４により、変更後の撮影経路２１に含まれる重要中継点の通過時刻に合わせて、仮想カメラの移動速度が調整される。
　具体的には、重要中継点に設定された通過時刻に、その重要中継点を通過することができるように、仮想カメラ２０の移動速度が増速または減速される。

　例えば図１０に示す中継点Ｐ３が、重要中継点であったとする。この場合、中継点Ｐ３に設定された通過時刻Ｔ３に、仮想カメラ２０が中継点Ｐ３を通過するように、仮想カメラ２０の移動速度が調整される。例えば、中継点Ｐ３にショートカットすることで、移動距離が減少した場合には移動速度が小さく設定され、移動距離が増加した場合には移動速度が大きく設定される。
　また、例えば中継点Ｐ４が重要中継点に設定されている場合には、中継点Ｐ４に設定された通過時刻Ｔ４に、仮想カメラ２０が中継点Ｐ４を通過するように、仮想カメラ２０の移動速度が調整される。この場合、中継点Ｐ３を通過するタイミングは、必ずしも時刻Ｔ３である必要はない。

　このように、重要中継点の通過時刻を基準に、仮想カメラ２０の移動速度を調整することで、重要中継点での撮影を、適正な時刻に確実に実行することが可能となる。これにより、演者モデル４（演者１）が特定のパフォーマンスを行うような重要なシーンを逃すことなく撮影することが可能となる。

　なお、仮想カメラ２０の移動速度を調整する方法は限定されない。例えば、重要中継点等を参照することなく、変更された中継点（図１０では中継点Ｐ３）の通過時刻に合わせて、移動速度が調整されてもよい。これにより、本来のスケジュールに近い撮影が実現される。あるいは、全体の演奏時間等に合わせて、残りの中継点の通過時刻が適宜調整されてもよい。この場合、調整後の通過時刻に合わせて仮想カメラ２０の移動速度が設定される。これにより、例えば移動速度の不自然な増減を抑制することが可能となる。

　図１１は、図１０に示す衝突回避処理のフローチャートである。
　まず、演者モデル４をモニタリングしながら、次の中継点を規定時刻で通過するように仮想カメラ２０が移動される（ステップ１０１）。例えば、演者モデル４の位置がモニタリングされ、モニタリング結果に基づいて仮想カメラ２０との相対距離が算出される。この時、仮想カメラ２０の移動速度は、移動目標に設定されている中継点の通過時刻にその中継点に到達するように設定される。

　演者モデル４と仮想カメラ２０との位置関係が近接状態になっているか否かが判定される（ステップ１０２）。近接状態の判定は、例えば図９を参照して説明した方法にそって実行される。
　近接状態が検出されていない場合（ステップ１０２のＮｏ）、後述するステップ１０５が実行される。

　近接状態が検出された場合（ステップ１０２のＹｅｓ）、衝突が起こらない最も順番の近い中継点に仮想カメラ２０の撮影経路が変更される（ステップ１０３）。
　例えば、仮想カメラ２０が通過していない中継点に経路を変更した場合に、衝突を回避可能であるか否かが判定され、衝突を回避可能な最も順番が近い中継点が選択される。そして選択された中継点に向けて移動する撮影経路２１が新たに設定される。

　撮影経路２１が変更されると、重要中継点を規定時刻で通過するように仮想カメラ２０の移動速度が調整される（ステップ１０４）。
　例えば、重要中継点までの移動距離が減少した場合には移動速度が小さく設定され、移動距離が増加した場合には移動速度が大きく設定される。すなわち、変更後の移動距離から、仮想カメラ２０の移動速度が逆算して設定される。

　移動速度が調整されると、仮想カメラ２０が最終中継点に到着したか否かが判定される（ステップ１０５）。最終中継点は、撮影経路２１に設定された最後の中継点である。
　仮想カメラ２０が最終中継点に到着していない場合（ステップ１０５のＮｏ）、仮想カメラ２０が通過していない中継点が残っているものとして、ステップ１０１以降の処理が再度実行される。なお、撮影経路２１が変更された場合には、ステップ１０１での移動目標となる中継点が、新たに設定された中継点に変更され、仮想カメラ２０はステップ１０４で設定された移動速度で移動される。

　仮想カメラ２０が最終中継点に到着した場合（ステップ１０５のＹｅｓ）、撮影終了時刻に到達したか否かが判定される（ステップ１０６）。撮影終了時刻とは、仮想カメラ２０による撮影を終了する時刻である。撮影終了時刻は、例えば、演者モデル４（演者）のパフォーマンスのスケジュールに合わせて適宜設定される。
　撮影終了時刻に到達していない場合（ステップ１０６のＮｏ）、最終中継点からの撮影が継続される。また撮影終了時刻に到達した場合（ステップ１０６のＹｅｓ）、仮想カメラ２０による撮影が終了し、ライブ中継が完了する。

　図１２は、撮影経路を変更する衝突回避処理の他の一例を示す模式図である。
　図１２に示す衝突回避処理では、仮想カメラ制御部４４は、近接状態が検出された場合に、演者モデル４と仮想カメラ２０との衝突が回避されるように、仮想カメラ２０の移動目標となる中継点までの経路の少なくとも一部を変更する。
　すなわち、仮想カメラ２０の移動目標であった中継点に到達するための新たな経路に沿って仮想カメラ２０が移動される。この結果、仮想カメラ２０の撮影経路２１は、次の中継点に向かうそれまでの経路（例えば次の中継点に直進する経路）から、新たな経路に変更される。

　この新たな経路は、次の中継点に向かうそれまでの経路の途中に戻るような経路であってもよいし、それまでの経路を通らずに次の中継点に直接向かう経路であってもよい。
　このように、図１２では中継点間の経路を変更する衝突回避処理が実行される。これにより、演者モデル４に対して仮想カメラ２０が衝突する事態を事前に回避することが可能となる。

　具体的には、複数の中継点を決め打ちとした撮影経路２１において、演者モデル４と仮想カメラ２０との接近（近接状態）を検出した場合、演者モデル４をモニタリングしながら演者モデル４を迂回する迂回経路２３に沿って仮想カメラ２０が移動される。
　すなわち、仮想カメラ制御部４４は、近接状態が検出された点から、演者モデル４を迂回する迂回経路２３に沿って仮想カメラ２０を移動させる。
　なお迂回経路２３は、演者モデル４の移動等に応じて変化する経路となる。

　この衝突回避処理には、以下の処理が含まれる。
　・演者モデル４と仮想カメラ２０との位置関係に応じて、仮想カメラ２０の軌道をリアルタイムで監視して近接状態を検出するモニタリング処理。
　・近接状態が検出された場合に、演者モデル４をモニタリングしながら迂回して、当初の中継点に向けたルート走行が行われるように撮影経路２１を変更する経路変更処理。
　・撮影経路２１の変更に伴う仮想カメラ２０の移動距離の増減から逆算して、仮想カメラ２０の移動速度を調整する速度調整処理。
　以下図１２を参照して、各処理について具体的に説明する。

　モニタリング処理は、例えば図１０を参照して説明した方法と同様に実行される。図１２では、中継点Ｐ１から中継点Ｐ２に向かう仮想カメラ２０が時刻Ｔｘに点Ｘに到達したタイミングで、演者モデル４と仮想カメラ２０との相対距離が閾値Ｒ以下となり、近接状態が検出される。

　近接状態が検出されると、経路変更処理が実行される。ここでは、当初の中継点（図１２では中継点Ｐ２）までの迂回走行を行うように、仮想カメラ２０の移動が制御される。迂回走行の軌跡が迂回経路２３となる。
　例えば、図１２に示すように近接状態が検出された検出地点Ｘから、演者モデル４を迂回して、中継点Ｐ２までの当初の経路に戻るように仮想カメラ２０が移動される。この時、演者モデル４と仮想カメラ２０との相対距離が一定に保たれるように、仮想カメラ２０の挙動が制御される。従って、迂回経路２３は、演者モデル４と仮想カメラ２０との相対距離を一定に保つ経路であるといえる。

　図１２には、演者モデル４がほぼ一定の位置にとどまっている場合に行われる仮想カメラ２０の迂回走行の様子が模式的に図示されている。この場合、迂回経路２３は、演者モデル４を中心として、近接状態の検出点Ｘから当初の経路に戻る円弧状の経路となる。
　なお、時刻Ｔｘ以降にさらに演者モデル４が移動する場合には、演者モデル４の動きに応じた迂回走行が行われるため、迂回経路２３は円弧状になるとは限らない。

　いずれにしても、迂回走行中の仮想カメラ２０は、演者モデル４から一定の距離だけ離れて移動することになり、演者モデル４と仮想カメラ２０との衝突が回避される。
　また、仮想カメラ２０は当初の経路に戻るように移動される。このため、最初に設定されたカメラワークとのずれを十分に抑制することが可能である。

　この他、移動目標となる中継点までの経路を変更する方法は限定されない。例えば、近接状態が検出された点と移動目標となる中継点とを結ぶ、衝突の起こらない任意の経路が算出されて、迂回経路２３として用いられてもよい。この場合、例えば演者モデル４の現在位置、移動予測、行動予定等に基づいて、衝突が起きない経路が適宜算出される。

　撮影経路２１が変更されると、速度調整処理が実行される。速度調整処理としては、例えば図１０を参照して説明した方法が適用可能である。
　例えば、中継点に設定された通過時刻に基づいて、変更後の撮影経路２１（迂回経路２３）を移動する仮想カメラ２０の移動速度が調整される。例えば中継点Ｐ２の通過時刻Ｔ２までに仮想カメラ２０が中継点Ｐ２に到達するように、仮想カメラ２０の移動速度が増速される。これにより、本来の撮影スケジュールに速やかに復帰することが可能となる。

　また、撮影経路２１に重要中継点が含まれる場合には、重要中継点の通過時刻に合わせて、仮想カメラ２０の移動速度が調整される。例えば中継点Ｐ３が重要中継点である場合には、中継点Ｐ３を時刻Ｔ３で通過するように、仮想カメラ２０の移動速度が増速される。この場合、中継点Ｐ２の通過時刻Ｔ２に合わせて増速する場合と比べて、移動速度の変化は小さい。これにより、不自然な増速等を回避しつつ、重要なシーンを確実に撮影することが可能となる。

　図１３は、図１２に示す衝突回避処理のフローチャートである。
　まず、演者モデル４をモニタリングしながら、次の中継点を規定時刻で通過するように仮想カメラ２０が移動される（ステップ２０１）。次に演者モデル４と仮想カメラ２０との位置関係が近接状態になっているか否かが判定される（ステップ２０２）。
　近接状態が検出されていない場合（ステップ２０２のＮｏ）、後述するステップ２０５が実行される。

　近接状態が検出された場合（ステップ２０２のＹｅｓ）、演者モデル４をモニタリングして、モニタリング結果に基づいて当初の中継点に向けて仮想カメラ２０を迂回走行させる（ステップ２０３）。
　迂回走行では、例えば演者モデル４と仮想カメラ２０との相対距離が一定となるように、仮想カメラ２０の移動位置が調整される。また仮想カメラ２０の移動方向は、当初の撮影経路２１に戻るように制御される。この他、演者モデル４を迂回する任意の方法が用いられてよい。

　重要中継点を規定時刻で通過するように仮想カメラ２０の移動速度が調整される（ステップ２０４）。
　例えば迂回走行の方法に合わせて仮想カメラ２０の移動距離の増減量が推定される。ここでは、例えば演者モデル４が移動しないものとして、演者モデル４との相対距離を一定に保って仮想カメラ２０を移動した場合の移動距離の増減量が算出される。このような推定結果に基づいて、目標となる中継点を規定時刻で通過するために必要な移動速度が逆算して設定される。また、演者モデル４の移動に応じて移動距離が変化する場合等には、その都度、移動速度が調整されてもよい。

　移動速度が調整されると、仮想カメラ２０が最終中継点に到着したか否かが判定される（ステップ２０５）。仮想カメラ２０が最終中継点に到着していない場合（ステップ２０５のＮｏ）、ステップ２０１以降の処理が再度実行される。仮想カメラ２０が最終中継点に到着した場合（ステップ２０５のＹｅｓ）、撮影終了時刻に到達したか否かが判定される（ステップ２０６）。撮影終了時刻に到達していない場合（ステップ２０６のＮｏ）、最終中継点からの撮影が継続され、撮影終了時刻に到達した場合（ステップ２０６のＹｅｓ）、仮想カメラ２０による撮影が終了し、ライブ中継が完了する。

　上記では、主に仮想カメラ２０が予め設定された撮影経路２１に沿って移動する場合に用いられる衝突回避処理について説明した。このような撮影経路２１が定められていない場合であっても、仮想カメラ２０の挙動を適宜制御することで、演者モデル４との衝突を回避することが可能である。
　以下では、演者モデル４をトラッキングして撮影する仮想カメラ２０を制御する方法について説明する。

　図１４は、仮想カメラの衝突回避処理の他の一例を示す模式図である。図１４には、仮想空間３における演者モデル４の移動に合わせて、演者モデル４をトラッキング（追跡）する仮想カメラ２０による撮影の様子が模式的に図示されている。
　仮想空間３には、演者モデル４と複数の視聴者モデル５とが配置される。演者モデル４は、仮想空間３内を自由に移動可能である。また視聴者モデル５は、仮想空間３に設けられたステージ（図中の矩形のエリア）を囲むように配置される。

　図１４に示す例では、仮想カメラ制御部４４は、衝突回避処理として、演者モデル４と仮想カメラ２０との相対距離が一定となるように仮想カメラ２０を移動させる。すなわち、演者モデル４に対する仮想カメラ２０の相対距離が一定の間隔Ｌ（例えば２ｍ等）を保つように仮想カメラ２０の移動が制御される。

　この衝突回避処理には、以下の処理が含まれる。
　・演者モデル４と仮想カメラ２０との位置関係に応じて、仮想カメラ２０の軌道をリアルタイムで監視して相対距離を算出するモニタリング処理。
　・相対距離が一定の間隔Ｌ（撮影距離）となるように仮想カメラ２０を移動して、演者モデル４をトラッキングして撮影するトラッキング処理。

　モニタリング処理では、演者モデル４と仮想カメラ２０との相対距離が常時算出される。例えば、演者１の移動や演出等に応じて変化する演者モデル４の位置と、仮想カメラ２０の位置とが読み込まれ、相対距離が算出される。

　トラッキング処理では、モニタリング処理で算出された相対距離が間隔Ｌとなるように、仮想カメラ２０を移動する位置や方向が算出され、その算出結果に応じて仮想カメラ２０が移動される。
　例えば、演者モデル４の移動により、一時的に相対距離が間隔Ｌよりも大きくなる場合がありえる。この場合、仮想カメラ２０は、相対距離が間隔Ｌになるまで演者モデル４に接近するように移動される。同様に、一時的に相対距離が間隔Ｌよりも小さくなる場合には、仮想カメラ２０は、相対距離が間隔Ｌになるまで演者モデル４から離れるように移動される。
　すなわち、仮想カメラ制御部４４は、演者モデル４の位置を基準として、演者モデル４と仮想カメラ２０との相対距離を間隔Ｌに保つフィードバック制御を行うともいえる。

　このように、図１４に示す衝突回避処理では、中継点を決め打ちの撮影経路２１とせず、演者モデル４とある一定の間隔Ｌを保ちつつ演者モデル４をトラッキングするように仮想カメラ２０を移動して、演者モデル４が撮影される。これにより、演者モデル４と仮想カメラ２０との衝突が回避され、安定した近接撮影を継続することが可能となる。
　なお仮想カメラ２０が演者モデル４を撮影する方向等は限定されない。例えば仮想カメラ２０は、演者モデル４を正面から撮影するように、演者モデル４の姿勢に応じて移動される。また例えば、相対距離が間隔Ｌとなる範囲で、演者モデル４の周りを自由に移動するように仮想カメラ２０が制御されてもよい。

　また、演者モデル４以外のアバター（視聴者モデル５）に対しては、仮想カメラ２０の「めり込み」や「すり抜け」が許可される。
　例えば仮想カメラ２０が接触する視聴者モデル５については、仮想カメラ２０の撮影範囲に映らないようにモデルを構成するデータが取り除かれる。すなわち、仮想カメラ２０が接触する視聴者モデル５は、仮想カメラ２０に映らないものとして扱われる。
　これにより、演者モデル４を適正に撮影することが可能となる。また仮想カメラ２０の移動範囲が制限されないため、現実空間では難しい撮影等を容易に実現することが可能となる。
　なお、仮想カメラ２０の視聴者モデル５に対する「めり込み」や「すり抜け」を、シルエット等を用いて意図的に表現するといったことも可能である。

　図１４に示す例では、時刻Ｔ１にステージにいた演者モデル４がステージから離れ、時刻Ｔ２及び時刻Ｔ３には視聴者モデル５が配置されるエリアを移動する。仮想カメラ２０は、演者モデル４に合わせて移動され、一定の間隔Ｌだけ離れた位置から演者モデル４をトラッキングして撮影する。この時、仮想カメラ２０と接触する視聴者モデル５は、仮想カメラ２０に映らないものとして扱われる。
　これにより、ステージを離れて行われるパフォーマンス（ファンサービス等）であっても、適正に近接撮影することが可能となる。

　図１５は、図１４に示す衝突回避処理のフローチャートである。
　演者モデル４の移動に合わせて、相対距離を一定の間隔Ｌに保つように仮想カメラ２０が移動される（ステップ３０１）。例えば演者モデル４及び仮想カメラ２０の現在位置が読み込まれ、相対距離が算出される（モニタリング処理）。この相対距離が間隔Ｌとなるように、仮想カメラ２０が移動する位置や方向が算出され、算出結果に基づいて仮想カメラ２０が移動される（トラッキング処理）。

　次に撮影終了時刻に到達したか否かが判定される（ステップ３０２）。撮影終了時刻に到達していない場合（ステップ３０２のＮｏ）、再度ステップ３０１が実行される。撮影終了時刻に到達した場合（ステップ３０２のＹｅｓ）、仮想カメラ２０による撮影が終了し、ライブ中継が完了する。このように、トラッキング処理（モニタリング処理）は、撮影終了時刻に到達するまで継続される。

　トラッキング処理としては、衝突回避のために仮想カメラ２０を減速・静止させ、一定距離だけ離れたら再び追跡するといった制御が実行されてもよい。
　例えば、移動していた演者モデル４が急に止まったときには、仮想カメラ２０を徐々に減速させてから衝突が起きない位置で静止させる。この時、演者モデル４と仮想カメラ２０との相対距離は、間隔Ｌよりも小さくてもよい。
　また例えば、静止していた演者モデル４が再び移動を開始したときには、仮想カメラ２０と演者モデル４との相対距離が一定距離（例えば間隔Ｌ）だけ離れるのを待ってから、仮想カメラ２０による追跡を開始する。

　これは、仮想カメラ２０の速度を変化させるタイミングを、演者モデル４の速度が変化するタイミングからずらして仮想カメラ２０を移動させる処理であるといえる。すなわち、仮想カメラ制御部４４は、相対距離が所定の範囲に収まるように、演者モデル４の速度変化のタイミングに対する仮想カメラ２０の速度変化のタイミングを遅らせる。
　これにより、演者モデル４が動き始めた場合や、立ち止まった場合に、撮影距離が動的に変化するカメラワークを実現することが可能となる。この結果、演者モデル４（演者１）のダイナミックな動きを伝えることが可能となる。
　このほか、演者モデル４をトラッキングして撮影する方法は限定されず、演者モデル４と仮想カメラ２０との衝突を回避可能な任意のトラッキング方法が用いられてよい。

　以上、本実施形態に係るサーバ制御部４２では、仮想空間３上の演者モデル４と、仮想空間３を移動しながら演者モデル４を撮影する仮想カメラ２０との位置関係に応じた衝突回避処理が実行される。これにより、演者モデル４と仮想カメラ２０との衝突が事前に回避され、仮想空間３において演者モデル４を適正に撮影することが可能となる。

　仮想空間を利用したライブ配信等において、撮影対象に仮想カメラを接近させて近接撮影を行う場合には、撮影対象と仮想カメラとの衝突が発生する可能性がある。
　図１６は、撮影対象と仮想カメラとの衝突例を示す模式図である。図１６では、仮想カメラ２０が撮影対象７０に接近して近接撮影を行う撮影経路２１（Ｐ１～Ｐ４）が設定されている。この時、撮影対象７０が移動して撮影経路２１と重なった場合には、仮想カメラ２０が撮影対象７０と衝突し、めり込み映像や貫通映像が撮影され、放送事故が発生してしまう可能性がある。

　本実施形態では、撮影対象となる演者モデル４と仮想カメラ２０との位置関係に応じた衝突回避処理が実行される。衝突回避処理は、例えば演者モデル４の位置をモニタリングして、仮想カメラ２０が演者モデル４に接近しすぎないように、仮想カメラ２０の移動を制御する処理である。
　例えば図１０や図１２等を参照して説明したように、仮想カメラ２０の撮影経路２１が予め設定されている場合、演者モデル４と仮想カメラ２０との近接状態を検出して、撮影経路２１が変更される。また、図１４等を参照して説明したように、撮影経路２１等が設定されていない場合には、一定の間隔Ｌで演者モデル４をトラッキングするように仮想カメラ２０が移動される。

　このような処理を行うことで、演者モデル４の挙動にかかわらず、仮想カメラ２０が演者モデル４に衝突するといった事態を事前に回避することが可能となる。これにより、めり込み映像や貫通映像等の放送事故を起こすことなく、演者モデル４（演者１）のパフォーマンスをライブ配信することが可能となる。
　今後、実空間の演者１のボリュメトリックモデルを用いて、インタラクティブかつリアルタイムなライブコンテンツを配信するサービスが普及するものと考えられる。このような場合であっても、本技術を用いることで、演者モデル４に対する仮想カメラ２０の衝突等が回避された高品質なライブ画像を配信することが可能となる。

　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

　図１０及び図１２では、主に、仮想カメラの撮影経路を変更して演者モデルに対する衝突を回避する衝突回避処理について説明した。これに限定されず、例えば、仮想カメラの移動速度を制御して衝突を回避する処理が実行されてもよい。
　例えば近接状態が検出された場合に、仮想カメラの経路を変えずに減速・静止させる。また演者モデルが移動して近接状態が解除された場合には、中継点の通過時刻等に合わせて仮想カメラを加速させる。また、演者モデルが移動せず、近接状態が一定時間続いた場合に、撮影経路を変更するといった処理も可能である。

　上記では、単一の仮想カメラを用いて演者モデルを撮影する場合について説明した。例えば複数の仮想カメラを用いて演者モデルが撮影されてもよい。この場合、各仮想カメラは、それぞれ異なる軌道（撮影経路）を移動するように制御される。また各仮想カメラの撮影した画像（映像）から、演者モデルを表示するための表示用画像が選択される。ここで表示用画像とは、例えば各クライアント端末において最終的に表示される画像である

　このように、複数の仮想カメラが用いられる構成では、近接状態が検出された場合に、衝突回避処理として、演者モデルを表示するための表示用画像を仮想カメラが撮影した画像から他の仮想カメラが撮影した画像に切り替える処理が実行される。
　例えば表示用画像を撮影している仮想カメラについて、近接状態が検出されたとする。この場合、表示用画像は、近接状態となっていない他の仮想カメラの画像に切り替えられる。このように、仮想カメラを切り替えて、衝突する瞬間の画像が配信されないようにする処理も、本開示における衝突回避処理に含まれる。
　これにより、放送事故を起こすことなく自然なライブ映像を配信することが可能となる。

　上記では、仮想カメラの撮影対象が、演者の実写３Ｄモデル（ボリュメトリックモデル）である場合を例に、仮想カメラの衝突回避処理について説明した。本技術は、撮影対象の種類によらず適用可能である。
　例えば、仮想カメラの撮影対象は、ＣＧ３Ｄモデルであってもよい。例えば、演者の動作に連動して動く３次元のＣＧモデル（仮想アバター）が、仮想カメラにより撮影される。このような場合であっても、上記した方法を用いることで、仮想カメラとＣＧモデルとの衝突を十分に回避することが可能である。

　また、上記では、仮想空間において、音楽ライブ等のライブパフォーマンスを撮影する場合について説明した。
　これに限定されず、「スポーツライブ」や「バラエティ番組」等のエンタテイメントコンテンツを配信する場合にも本技術は適用可能である。例えば、実空間で行われるスポーツを撮影したデータから、仮想空間上でスポーツ会場が再現される。これによりスポーツ会場についての仮想カメラによる自由視点撮影が可能となる。このような場合、プレイヤーと仮想カメラとの衝突を回避するために、上記した衝突回避処理が適用される。

　また、「遠隔教育」、「遠隔レッスン」、「遠隔作業支援」等の分野におけるコンテンツを配信する場合に、本技術が適用されてもよい。例えばロボット等を用いて遠隔作業を行う作業現場を撮影したデータから、仮想空間上で作業現場が再現される。この場合、ロボットとの衝突を回避するように仮想カメラが移動される。これにより、作業現場の様子を滞りなく監視することが可能となり、遠隔作業を十分に支援することが可能となる。

　上記では、主に仮想カメラが撮影した画像をライブ配信する場合について説明した。これに限定されず、例えば、仮想空間におけるパフォーマンスが収録されたデータに基づいて、コンテンツを生成する場合等にも、本技術は適用可能である。
　例えば、ライブの後にライブ映像を生成する場合（例えばコンテンツ制作会社とコンテンツの撮影編集を行う会社が異なる場合等）には、仮想空間で行われた音楽ライブ等のデータに基づいて、既に行われた音楽ライブを再現して仮想カメラによる撮影が行われる。この場合、本技術を用いることで、演者モデルと仮想カメラの衝突を回避する仮想カメラのルートを容易に生成することが可能である。
　このように、本技術は、仮想カメラのパス生成ツール、あるいは撮影経路の設計支援ツールとして機能する。

　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

　本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。

　なお、本技術は以下のような構成も採ることができる。
（１）仮想空間で動作する対象オブジェクトと前記仮想空間を移動して前記対象オブジェクトを撮影する仮想カメラとの位置関係に応じて、前記対象オブジェクトに対する前記仮想カメラの衝突を回避するための衝突回避処理を実行する撮影制御部
　を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記撮影制御部は、前記対象オブジェクトと前記仮想カメラとの位置関係に基づいて、前記対象オブジェクトと前記仮想カメラとの近接状態を検出し、前記近接状態が検出された場合に、前記衝突回避処理を実行する
　情報処理装置。
（３）（２）に記載の情報処理装置であって、
　前記撮影制御部は、前記対象オブジェクトと前記仮想カメラとの相対距離が所定の閾値以下となる状態を前記近接状態として検出する
　情報処理装置。
（４）（３）に記載の情報処理装置であって、
　前記相対距離は、現在値又は予測値を含む
　情報処理装置。
（５）（２）から（４）のうちいずれか１つに記載の情報処理装置であって、
　前記仮想カメラは、予め設定された撮影経路に沿って前記対象オブジェクトを撮影し、
　前記撮影制御部は、前記近接状態が検出された場合に、前記衝突回避処理として、前記撮影経路を変更する
　情報処理装置。
（６）（５）に記載の情報処理装置であって、
　前記撮影経路は、前記仮想カメラが複数の中継点を順番に通過するように設定された経路である
　情報処理装置。
（７）（６）に記載の情報処理装置であって、
　前記撮影制御部は、前記近接状態が検出された場合に、前記対象オブジェクトと前記仮想カメラとの衝突が回避されるように、前記仮想カメラの移動目標となる中継点を変更する
　情報処理装置。
（８）（７）に記載の情報処理装置であって、
　前記撮影制御部は、前記仮想カメラの移動目標を、前記対象オブジェクトと前記仮想カメラとの衝突を回避することが可能となる最も順番の近い中継点に設定する
　情報処理装置。
（９）（６）から（８）のうちいずれか１つに記載の情報処理装置であって、
　前記撮影制御部は、前記近接状態が検出された場合に、前記対象オブジェクトと前記仮想カメラとの衝突が回避されるように、前記仮想カメラの移動目標となる中継点までの経路の少なくとも一部を変更する
　情報処理装置。
（１０）（９）に記載の情報処理装置であって、
　前記撮影制御部は、前記近接状態が検出された点から、前記対象オブジェクトを迂回する迂回経路に沿って前記仮想カメラを移動させる
　情報処理装置。
（１１）（１０）に記載の情報処理装置であって、
　前記迂回経路は、前記対象オブジェクトと前記仮想カメラとの相対距離を一定に保つ経路である
　情報処理装置。
（１２）（６）から（１１）のうちいずれか１つに記載の情報処理装置であって、
　前記撮影経路は、前記複数の中継点ごとに前記仮想カメラの通過時刻が設定された経路であり、
　前記撮影制御部は、前記中継点に設定された通過時刻に基づいて、変更後の前記撮影経路を移動する前記仮想カメラの移動速度を調整する
　情報処理装置。
（１３）（１２）に記載の情報処理装置であって、
　前記複数の中継点は、少なくとも１つの重要中継点を含み、
　前記撮影制御部は、変更後の前記撮影経路に含まれる前記重要中継点の通過時刻に合わせて、前記仮想カメラの移動速度を調整する
　情報処理装置。
（１４）（２）から（１３）のうちいずれか１つに記載の情報処理装置であって、
　前記撮影制御部は、前記近接状態が検出された場合に、前記衝突回避処理として、前記対象オブジェクトを表示するための表示用画像を前記仮想カメラが撮影した画像から他の仮想カメラが撮影した画像に切り替える
　情報処理装置。
（１５）（１）から（１４）のうちいずれか１つに記載の情報処理装置であって、
　前記撮影制御部は、前記衝突回避処理として、前記対象オブジェクトと前記仮想カメラとの相対距離が一定となるように前記仮想カメラを移動させる
　情報処理装置。
（１６）（１５）に記載の情報処理装置であって、
　前記撮影制御部は、前記相対距離が所定の範囲に収まるように、前記対象オブジェクトの速度変化のタイミングに対する前記仮想カメラの速度変化のタイミングを遅らせる
　情報処理装置。
（１７）（１）から（１６）のうちいずれか１つに記載の情報処理装置であって、
　前記対象オブジェクトは、演者の３次元実写モデルを含む
　情報処理装置。
（１８）（１）から（１７）のうちいずれか１つに記載の情報処理装置であって、
　前記撮影制御部は、前記仮想カメラが撮影した画像をリアルタイムで配信する
　情報処理装置。
（１９）仮想空間で動作する対象オブジェクトと前記仮想空間を移動して前記対象オブジェクトを撮影する仮想カメラとの位置関係に応じて、前記対象オブジェクトに対する前記仮想カメラの衝突を回避するための衝突回避処理を実行する
　ことをコンピュータシステムが実行する情報処理方法。
（２０）仮想空間で動作する対象オブジェクトと前記仮想空間を移動して前記対象オブジェクトを撮影する仮想カメラとの位置関係に応じて実行される、前記対象オブジェクトに対する前記仮想カメラの衝突を回避するための衝突回避処理に従って動作する前記仮想カメラが撮影した画像を取得する画像取得部と、
　前記仮想カメラが撮影した画像を表示する表示部と
　を具備する表示装置。

　１…演者
　２…視聴者
　３…仮想空間
　４…演者モデル
　５…視聴者モデル
　１０…配信サーバ
　１２…クライアント端末
　１４…ＨＭＤ
　２０…仮想カメラ
　２１…撮影経路
　２２…仮想カメラ映像
　２３…迂回経路
　４０…ネットワーク伝送部
　４１…記憶部
　４２…サーバ制御部
　４３…コンテンツデータ生成部
　４６…視聴者モデル生成部
　１００…配信システム

Claims

　仮想空間で動作する対象オブジェクトと前記仮想空間を移動して前記対象オブジェクトを撮影する仮想カメラとの位置関係に応じて、前記対象オブジェクトに対する前記仮想カメラの衝突を回避するための衝突回避処理を実行する撮影制御部
　を具備する情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記撮影制御部は、前記対象オブジェクトと前記仮想カメラとの位置関係に基づいて、前記対象オブジェクトと前記仮想カメラとの近接状態を検出し、前記近接状態が検出された場合に、前記衝突回避処理を実行する
　情報処理装置。
　請求項２に記載の情報処理装置であって、
　前記撮影制御部は、前記対象オブジェクトと前記仮想カメラとの相対距離が所定の閾値以下となる状態を前記近接状態として検出する
　情報処理装置。
　請求項３に記載の情報処理装置であって、
　前記相対距離は、現在値又は予測値を含む
　情報処理装置。
　請求項２に記載の情報処理装置であって、
　前記仮想カメラは、予め設定された撮影経路に沿って前記対象オブジェクトを撮影し、
　前記撮影制御部は、前記近接状態が検出された場合に、前記衝突回避処理として、前記撮影経路を変更する
　情報処理装置。
　請求項５に記載の情報処理装置であって、
　前記撮影経路は、前記仮想カメラが複数の中継点を順番に通過するように設定された経路である
　情報処理装置。
　請求項６に記載の情報処理装置であって、
　前記撮影制御部は、前記近接状態が検出された場合に、前記対象オブジェクトと前記仮想カメラとの衝突が回避されるように、前記仮想カメラの移動目標となる中継点を変更する
　情報処理装置。
　請求項７に記載の情報処理装置であって、
　前記撮影制御部は、前記仮想カメラの移動目標を、前記対象オブジェクトと前記仮想カメラとの衝突を回避することが可能となる最も順番の近い中継点に設定する
　情報処理装置。
　請求項６に記載の情報処理装置であって、
　前記撮影制御部は、前記近接状態が検出された場合に、前記対象オブジェクトと前記仮想カメラとの衝突が回避されるように、前記仮想カメラの移動目標となる中継点までの経路の少なくとも一部を変更する
　情報処理装置。
　請求項９に記載の情報処理装置であって、
　前記撮影制御部は、前記近接状態が検出された点から、前記対象オブジェクトを迂回する迂回経路に沿って前記仮想カメラを移動させる
　情報処理装置。
　請求項１０に記載の情報処理装置であって、
　前記迂回経路は、前記対象オブジェクトと前記仮想カメラとの相対距離を一定に保つ経路である
　情報処理装置。
　請求項６に記載の情報処理装置であって、
　前記撮影経路は、前記複数の中継点ごとに前記仮想カメラの通過時刻が設定された経路であり、
　前記撮影制御部は、前記中継点に設定された通過時刻に基づいて、変更後の前記撮影経路を移動する前記仮想カメラの移動速度を調整する
　情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記複数の中継点は、少なくとも１つの重要中継点を含み、
　前記撮影制御部は、変更後の前記撮影経路に含まれる前記重要中継点の通過時刻に合わせて、前記仮想カメラの移動速度を調整する
　情報処理装置。
　請求項２に記載の情報処理装置であって、
　前記撮影制御部は、前記近接状態が検出された場合に、前記衝突回避処理として、前記対象オブジェクトを表示するための表示用画像を前記仮想カメラが撮影した画像から他の仮想カメラが撮影した画像に切り替える
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記撮影制御部は、前記衝突回避処理として、前記対象オブジェクトと前記仮想カメラとの相対距離が一定となるように前記仮想カメラを移動させる
　情報処理装置。
　請求項１５に記載の情報処理装置であって、
　前記撮影制御部は、前記相対距離が所定の範囲に収まるように、前記対象オブジェクトの速度変化のタイミングに対する前記仮想カメラの速度変化のタイミングを遅らせる
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記対象オブジェクトは、演者の３次元実写モデルを含む
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記撮影制御部は、前記仮想カメラが撮影した画像をリアルタイムで配信する
　情報処理装置。
　仮想空間で動作する対象オブジェクトと前記仮想空間を移動して前記対象オブジェクトを撮影する仮想カメラとの位置関係に応じて、前記対象オブジェクトに対する前記仮想カメラの衝突を回避するための衝突回避処理を実行する
　ことをコンピュータシステムが実行する情報処理方法。
　仮想空間で動作する対象オブジェクトと前記仮想空間を移動して前記対象オブジェクトを撮影する仮想カメラとの位置関係に応じて実行される、前記対象オブジェクトに対する前記仮想カメラの衝突を回避するための衝突回避処理に従って動作する前記仮想カメラが撮影した画像を取得する画像取得部と、
　前記仮想カメラが撮影した画像を表示する表示部と
　を具備する表示装置。