JP6878177B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

近年、競技フィールドを取り囲むように複数台の高精細カメラを配置して撮影した多視点映像から、実際には存在しないカメラ位置から撮影したかのような仮想視点画像を生成し、観客等に提供するサービスが始まりつつある。４Ｋや８Ｋ等の高解像度に対応したカメラを用いれば、表情がはっきり見えるまで選手に視点を近づけるといったような高臨場感な画像を、自分の見たい視点から体験できるようになる。

高精細カメラを用いた仮想視点画像では、競技と無関係な観客を個人が特定できる状態で表示してしまったり、監督や選手のサインがはっきり見える状態で表示してしまったり等があるため、仮想視点の位置や向きに制限を設けたほうが良い場合がある。これに対し、特許文献１には、視点を移動できない／移動してもよい領域、視線を向けられない／向けてもよい方向を設定できるようにする技術が開示されている。また、特許文献２には、商品陳列区域や司会者区域といった区域毎に、任意視点映像再生時の視点移動レベルを制御する技術が開示されている。

特開２００７−１９５０９１号公報 特開２０１２−１０９７１９号公報

しかしながら、スタジアムやアリーナ等と呼ばれる競技場は、格闘技、バスケットボール、バレーボール、サッカー、陸上競技等、様々な競技に利用され、競技によって競技フィールドが異なる。また、このような競技場は、コンサート会場としても使われ、スポーツイベントにおいて競技フィールドとして利用されるエリアが、コンサートでは観客席として利用される場合がある。このように、同じ場所であっても、イベントの種類に応じて、利用目的が異なる。このため、場所に応じて仮想視点の制限を設けた場合には、必ずしもイベントに適した仮想視点画像を提供できるとは限らないという問題があった。

本発明はこのような問題点に鑑みなされたもので、イベントに適した仮想視点画像を提供することを目的とする。

そこで、本発明は、情報処理装置であって、複数の撮影装置により取得される複数の撮影画像に基づいて生成される仮想視点画像を生成するための仮想視点の視点位置及び仮想視点からの視線方向を指定するためのユーザ指定を受け付ける受付手段と、前記複数の撮影装置により撮影される撮影対象領域において行われるイベントの種類に基づいて決定される制限情報に基づいて、前記受付手段が受け付けるユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向に対応する仮想視点画像の出力を制御する制御手段とを有することを特徴とする。

本発明によれば、イベントに適した仮想視点画像を提供することができる。

システムの全体図である。 サーバ装置のハードウェア構成図である。 イベント場所に対する制限情報の一例を示す図である。 イベント種類に対する制限情報の一例を示す図である。 制限決定処理を示すフローチャートである。 関連する部分領域に対して決定された制限内容の一例を示す図である。 仮想視点位置決定処理を示すフローチャートである。 仮想視野の説明図である。 Ｓ７０７及びＳ７０８の処理の説明図である。 Ｓ７１１の処理の説明図である。 第２の実施形態に係るシステムの全体図である。 イベント種類に対する制限情報一例を示す図である。 制限決定処理を示すフローチャートである。 Ｓ１３０１及びＳ５０５の処理の説明図である。 第３の実施形態に係るシステムの全体図である。 ユーザＤＢの一例を示す図である。 第３の実施形態に係る制限決定処理を示すフローチャートである。 第４の実施形態に係るシステムの全体図である。 映像選択部の処理の説明図である。

以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１は、システムの全体図である。本実施形態のシステムは、情報処理システムの一例である。システムは、カメラシステム１００と、情報処理装置の一例としてのサーバ装置１１０と、視点制限ＤＢ１２０と、端末装置１３０と、を有している。カメラシステム１００は、複数のカメラ１０１とカメラ管理部１０２とを有している。各カメラ１０１は、例えば競技場等の撮影対象領域（撮影場所）において、被写体が存在し得る競技フィールドを取り囲むように配置されている。各カメラ１０１は、競技フィールドを複数の視点及び方向から撮影した映像を、ネットワーク１４０を介してサーバ装置１１０に送信する。カメラ管理部１０２は、各カメラ１０１の焦点距離等の内部パラメータ、カメラ１０１間の相対位置等の外部パラメータをカメラパラメータとして管理し、ネットワーク１４０を介してサーバ装置１１０へ送信する。

サーバ装置１１０は、映像ＤＢ１１１と、制限決定部１１２と、位置決定部１１３と、映像生成部１１４と、を有している。映像ＤＢ１１１は、カメラ１０１からネットワーク１４０を介して受信した多視点映像データと、カメラ管理部１０２からネットワーク１４０を介して受信したカメラパラメータを記憶する。映像ＤＢ１１１は、映像生成部１１４からの要求に応じてカメラパラメータ及び映像データを映像生成部１１４へ渡す。

制限決定部１１２は、端末装置１３０等においてユーザによって指定された撮影対象領域、すなわちイベント場所に対して定められた制限情報を、場所ＤＢ１２１からネットワーク１４０を介して取得する。制限決定部１１２はまた、端末装置１３０において、ユーザによって指定されたイベント種類に対して定められた制限情報を、イベントＤＢ１２２からネットワーク１４０を介して取得する。制限決定部１１２は、取得した制限情報に基づいて、仮想視点の設定に関する制限内容を決定する。ここで、制限情報とは、仮想視点画像の生成に係る制限内容を示す情報である。制限情報については、後に詳述する。

位置決定部１１３は、端末装置１３０からネットワーク１４０を介して仮想視点の位置と向きを受信する。位置決定部１１３は、制限情報を参照し、端末装置１３０から受信した仮想視点の位置を基準として、最終的な仮想視点の位置を決定する。以下においては、端末装置１３０から受信した仮想視点の位置を暫定位置、位置決定部１１３により決定された仮想視点の位置を本位置と称することとする。

映像生成部１１４は、位置決定部１１３から仮想視点の位置と方向を取得する。さらに、映像生成部１１４は、映像ＤＢ１１１からカメラパラメータや、仮想視点画像生成に必要な視点の位置と向きからの映像データを取得する。映像生成部１１４は、仮想視点の位置と向き、カメラパラメータ及び映像データに基づいて、仮想視点画像を合成する。映像生成部１１４は、得られた仮想視点画像を、ネットワーク１４０を介して端末装置１３０へ送信する。

視点制限ＤＢ１２０は、場所ＤＢ１２１とイベントＤＢ１２２とを有している。場所ＤＢ１２１は、仮想視点を設定する際にサーバ装置１１０が参照する制限情報のうち、イベント場所毎に定められた制限情報を複数記憶している。場所ＤＢ１２１は、例えば、場所Ａに対する制限情報、場所Ｂに対する制限情報、というように、複数の場所それぞれに対応した複数の制限情報を記憶している。

イベントＤＢ１２２は、仮想視点を設定する際にサーバ装置１１０が参照する制限情報のうち、イベント種類毎に定められた制限情報を複数記憶している。イベントＤＢ１２２は、例えば、イベント種類Ｘに対する制限情報、イベント種類Ｙに対する制限情報、というように、イベントの複数の種類それぞれに対応した複数の制限情報を保持している。なお、各制限情報については、後に詳述する。

端末装置１３０は、仮想視点の位置等を指定するための操作部１３１を有する。ユーザは、端末装置１３０を利用して、所望の仮想視点の位置を指定することができる。端末装置１３０はまた、サーバ装置１１０により生成された仮想視点画像を受信し、これを表示部１３２に表示する。

なお、本実施形態においては、特に断わりがない限り、「画像」または「映像」という文言は、静止画及び動画を含むものとして説明を行う。即ち、サーバ装置１１０は、仮想視点動画像を生成してもよいし、仮想視点の静止画を生成してもよい。また、カメラ１０１は、静止画を撮影しても、動画を撮影してもよい。

本実施形態のシステムの各装置の機能は、システムの何れかの装置が実現すればよく、実施形態に限定されるものではない。例えば、位置決定部１１３や映像生成部１１４は、サーバ装置１１０にかえて端末装置１３０が有することとしてもよい。また、他の例としては、視点制限ＤＢ１２０は、サーバ装置１１０と一体に設けられていてもよい。

図２は、サーバ装置１１０のハードウェア構成図である。サーバ装置１１０は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、表示部２０５と、入力部２０６と、通信部２０７とを有している。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ２０４は、各種データや各種プログラム等を記憶する。表示部２０５は、各種情報を表示する。入力部２０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部２０７は、ネットワークを介して外部装置との通信処理を行う。

なお、図１において説明したサーバ装置１１０の機能や後述のサーバ装置１１０の処理は、ＣＰＵ２０１がＲＯＭ２０２又はＨＤＤ２０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、サーバ装置１１０は、ＲＯＭ２０２等に替えて、ＳＤカード等の記録媒体に格納されているプログラムを読み出してもよい。

また、他の例としては、サーバ装置１１０の機能や処理の少なくとも一部は、例えば複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させることにより実現してもよい。また、他の例としては、サーバ装置１１０の機能や処理の少なくとも一部は、例えば、ＡＳＩＣやＦＰＧＡなどのハードウェア回路を用いて実現してもよい。

次に、視点制限ＤＢ１２０に格納される制限情報について説明する。図３は、場所ＤＢ１２１に格納される制限情報の一例を示す図である。場所ＤＢ１２１には、異なる複数の場所それぞれに対する制限情報が記憶されている。各場所に対する制限情報は、場所（撮影領域）を示す識別情報と、この場所における制限内容を含んでいる。図３には、場所「Ａスタジアム」に対する制限情報の一例を模式的に示している。図３の例においては、場所の識別情報として「Ａスタジアム」が含まれる。なお、場所の識別情報は、文字列に限定されるものではなく、数字等であってもよい。

場所に対する制限情報はさらに、場所内に設定された複数の部分領域を示す部分領域情報を含んでいる。例えば、図３の「Ａスタジアム」は、「スタンド」、「フィールド＿全体」、「フィールド＿コート中心」、「フィールド＿観客席」、フィールド＿ステージ」の５つの部分領域を含んでいる。これに対応し、場所に対する制限情報は、５つの部分領域を示す部分領域情報を含んでいる。部分領域情報は、例えば、５つの部分領域それぞれの識別情報と、部分領域の境界位置を示す座標群とを対応付けた情報とする。また、他の例としては、部分領域情報は、場所内を示す２次元座標系において、座標毎に部分領域の識別情報を対応付けた情報であってもよい。

さらに、場所に対する制限情報には、場所に対する制限内容として、仮想画角と、近接距離とが含まれる。ここで、仮想画角は、予め設定された値とする。また、近接距離は、仮想視点を被写体にどの程度近付けられるかの指標値であり、仮想画角における仮想視点と被写体との間の距離で定義される。なお、近接距離は、ピント等所定の画質品位に関する条件であり、これに替えて限定ズーム倍率等を制限内容として利用してもよい。

図４は、イベントＤＢ１２２に格納される、イベント種類に対する制限情報の一例を示す図である。図４（ａ）は、イベント種類「バスケットボール」に対する制限情報の一例を示す図である。図４（ｂ）は、イベント種類「コンサート」に対する制限情報の一例を示す図である。図４（ｃ）は、イベント種類「バレーボール」に対する制限情報の一例を示す図である。各制限情報は、イベント種類の識別情報と、イベント種類に応じた制限内容を含んでいる。図４（ａ）の例では、イベント種類の識別情報として「バスケットボール」が含まれる。なお、イベント種類の識別情報は、文字列に限定されるものではない。

各制限情報は、イベント種類を示す識別情報と、このイベント種類に対して設定された制限内容を含んでいる。イベント種類に対応した制限内容は、上述の近接距離であり、部分領域毎に近接距離が定められている。例えば、図４（ａ）に示すように、イベント種類に固有の部分領域の定義がある場合には、イベント種類に対する制限情報は、固有の部分領域を示す部分領域情報を含む。そして、イベント種類に対する制限情報は、部分領域の識別情報と、制限内容としての近接距離とを対応付けた情報を含む。図４（ａ）の例では、部分領域「スタンド」に対し、近接距離「１０ｍ」が対応付けられている。また、部分領域「コート」に対しては、近接距離「ｎ．ａ．」が対応付けられている。ここで、「ｎ．ａ．」は、制限がないことを示す。このように、制限内容には、制限がないことも含まれる。なお、イベント種類に対する制限内容は、場所に対する制限内容と整合がとれるものであればよく、近接距離に限定されるものではない。

図５は、サーバ装置１１０の制限決定部１１２による制限決定処理を示すフローチャートである。制限決定部１１２は、ユーザにより、イベント場所及びイベント種類の指定が入力された場合に、制限決定処理を実行する。例えば、ユーザは、端末装置１３０の表示部１３２に場所ＤＢ１２１に登録されているイベント場所と、イベントＤＢ１２２に登録されているイベント種類を表示させる。そして、ユーザは、操作部１３１を介して、これらの中から、視聴を希望する仮想視点画像に対応したイベント場所及びイベント種類を選択する。これに対し、Ｓ５００において、サーバ装置１１０の制限決定部１１２は、イベントの場所及びイベント種類の指定を受け付ける。本処理は、受付処理の一例である。次に、Ｓ５０１において、制限決定部１１２は、指定に係るイベント場所に対する制限情報を視点制限ＤＢ１２０の場所ＤＢ１２１から取得する。次に、Ｓ５０２において、制限決定部１１２は、イベント場所に対する制限情報を参照し、仮想画角を設定する。

次に、Ｓ５０３において、制限決定部１１２は、指定に係るイベント種類に対する制限情報を視点制限ＤＢ１２０のイベントＤＢ１２２から取得する。次に、Ｓ５０４において、制限決定部１１２は、指定に係るイベント場所及びイベント種類に関連する部分領域を特定する。関連する領域の特定は、イベント場所に対する制限情報において定められた部分領域とイベント種類の制限情報において定められた部分領域とを統合することで行う。例えば、イベント場所には含まれるがイベント種類には含まれない「スタンド」等の部分領域は、そのまま関連領域として扱う。イベント場所とイベン種類で配置が重なる「フィールド」、「コート外」等の領域は、内包関係を有する関連領域として扱う。

図３と図４を例に具体的に説明する。例えば、イベント場所「Ａスタジアム」、イベント種類「バスケットボール」の場合（図４（ａ））、「スタンド」と「フィールド」に大別され、「フィールド」内部に「コート外」と「コート内」があることから、これらの部分領域が関連領域として特定される。また、イベント場所「Ａスタジアム」、イベント種類「コンサート」の場合（図４（ｂ））、「スタンド」と「フィールド＿観客席」と「フィールド＿ステージ」に大別され、これらの部分領域が関連領域として特定される。また、イベント場所「Ａスタジアム」、イベント種類「バレーボール」の場合（図４（ｃ））、「スタンド」と「フィールド」に領域が大別される。さらに、「フィールド」内部に「コート外」と「コート内」があり、「コート内」は視点の向きによって「コート内＿背面」か「コート内＿その他」のどちらかになる。しがたって、これらの部分領域が関連領域として特定される。

図５に戻り、Ｓ５０４の後、Ｓ５０５において、制限決定部１１２は、イベント場所に対する制限情報と、イベント種類に対する制限情報と、に基づいて、関連する部分領域毎の制限内容を決定する。関連する部分領域毎の制限内容の決定は、イベント場所に応じて定まる制限内容としての近接距離と、イベント種類に応じて定まる制限内容としての近接距離とを統合することで行う。例えば、イベント種類に対する制限情報において、近接距離「１０ｍ」が定められている場合には、制限決定部１１２は、近接距離「１０ｍ」を、関連する部分領域の制限内容（近接距離）として決定する。また、イベント種類に対する近接距離が定められていない場合には（近接距離「ｎ．ａ．」）、制限決定部１１２は、イベント場所に応じた近接距離「２ｍ」を、関連する部分領域の制限内容（近接距離）として決定する。例えば、部分領域「コート」に対し、イベント種類に対する制限情報において、近接距離「ｎ．ａ．」が定められているとする。さらに、イベント場所に対する制限情報において、部分領域「コート」を内包する部分領域「フィールド」に対し近接距離「２ｍ」が定められているとする。この場合、関連する部分領域の制限内容（近接距離）は、「２ｍ」に決定される。

図６は、関連する部分領域に対して決定された制限内容の一例を示す図である。図６（ａ）〜（ｃ）は、それぞれ図４(ａ)〜（ｃ）に対応する。すなわち、図６（ａ）は、イベント場所「Ａスタジアム」、イベント種類「バスケットボール」の場合の制限内容を示す。図６（ａ）においては、部分領域「スタンド」に対する近接距離は１０ｍとなり、これ以外の領域の近接距離は、イベント場所に応じた近接距離と等しい２ｍとなる。また、図６（ｂ）は、イベント場所「Ａスタジアム」、イベント種類「コンサート」の場合の制限内容を示す。この場合、部分領域「フィールド＿ステージ」に対する近接可離は１０ｍ、これ以外の領域の近接距離は２ｍとなる。

また、図６（ｃ）は、イベント場所「Ａスタジアム」、イベント種類「バレーボール」の場合の制限内容を示す。この場合、部分領域「スタンド」に対する近接距離は１０ｍ、部分領域「コート内」に対する近接距離は１０ｍ又は２ｍ、これら以外の領域の近接距離は２ｍとなる。ここで、部分領域「コート内」は、仮想視点の向きがコート中心に近づく向きであれば「コート内＿背面」、コート中心から離れる向きであれば「コート内＿その他」となる。したがって、図６（ｃ）に示すＣ１領域を西側、Ｃ２領域を東側、北から南への向きを０°とすると、Ｃ１領域に対する向きが１８０°から３６０°の範囲とＣ２領域に対する向きが０°から１８０°の範囲が、「コート内＿背面」領域となる。

図７は、サーバ装置１１０の位置決定部１１３による仮想視点位置決定処理を示すフローチャートである。位置決定部１１３は、ユーザにより、仮想視点の指定が入力された場合に、仮想視点位置決定処理を実行する。まず、Ｓ７００において、サーバ装置１１０の位置決定部１１３は、仮想視点の位置及び／又は向きの指定を受け付ける。なお、仮想視点の位置は、イベント場所の領域内の任意の位置を示す情報であればよく、例えば、イベント場所の中央や隅といった特定の起点からの相対座標や緯度等の座標で表される。また、仮想視点の向きは、仮想視点の位置を起点とした場合の向きを表せればよいので、イベント場所の起点と交差する最大幅といった相対的な基準線や北から南といった基準線を０°とした場合の角度等で表される。

次に、Ｓ７０１において、位置決定部１１３は、指定に係る仮想視点の位置を仮想視点の暫定位置として設定する。仮想視点の位置は、本処理により変更されるため、指定に係る仮想視点の位置を暫定位置とする。なお、本実施形態においては、向きの変更は行わないものとする。次に、Ｓ７０２において、位置決定部１１３は、制限決定処理において決定された制限内容を取得する。次に、Ｓ７０３において、位置決定部１１３は、制限内容に従い、仮想画角を設定する。図３の例では、仮想画角として、±３０°が設定される。

次に、Ｓ７０４において、位置決定部１１３は、取得した制限内容において定められている近接距離のうち最大の値を最大距離として設定する。例えば、図６（ａ）の例では、近接距離は、１０ｍと２ｍであることから、最大距離は、１０ｍに設定される。次に、Ｓ７０５において、位置決定部１１３は、仮想視点の暫定位置と、仮想視点の向きと、仮想画角と、最大距離と、に基づいて、仮想視野を設定する。位置決定部１１３は、図８に示すように、暫定位置を中心とし、最大距離を半径、向きを０°とし、仮想画角により定まるプラスマイナス方向の中心角度により定まる扇形状の領域を仮想視野として設定する。図６（ａ）の例では、最大距離１０ｍより半径１０ｍ、仮想画角±３０°より中心角度６０°の仮想視野が設定される。なお、仮想視野の設定には、暫定位置、向き、仮想合画角、最大距離を使うとは限らず、仮想カメラの位置と被写体の位置から特定した向き等を使ってもよい。

次に、Ｓ７０６において、位置決定部１１３は、Ｓ７０５において設定した仮想視野における最大距離と、Ｓ７０２において取得した制限内容における近接距離の最小値とが等しいか否かを判定する。位置決定部１１３は、最大距離が最小値と等しい場合には（Ｓ７０６でＹｅｓ）、処理をＳ７１０へ進める。一方で、位置決定部１１３は、最大距離が最小値と異なる場合、すなわち、最小値よりも大きい場合には（Ｓ７０６でＮｏ）、処理をＳ７０７へ進める。例えば、図６（ａ）の例では、最大距離１０ｍが設定された状態では近接距離の最小値「２ｍ」よりも大きく、この場合には、処理はＳ７０７へ進む。

次に、Ｓ７０７において、位置決定部１１３は、仮想視野の最大距離に等しい近接距離が設定された領域が仮想視野に含まれるか否かを判定する。位置決定部１１３は、最大距離に等しい近接距離の領域が仮想視野に含まれる場合には（Ｓ７０７でＹｅｓ）、処理をＳ７０８へ進める。位置決定部１１３は、最大距離に等しい近接距離の領域が仮想視野に含まれない場合には（Ｓ７０７でＹｅｓ）、処理をＳ７０９へ進める。

図９を参照しつつ、図６（ａ）に対応した制限内容が設定された場合を例に、Ｓ７０７の処理について説明する。例えば、暫定位置が図９（ａ）に示す点Ｐ１１であるとする。また、領域９０１が仮想視野であるものとする。この場合、仮想視野９０１に、近接距離１０ｍの部分領域が含まれる。したがって、暫定位置の変更が必要になる。一方で、暫定位置が点Ｐ１２、領域９０２が仮想視野とする。この場合、仮想視野９０２に含まれるのは近接距離２ｍの部分領域のみとなり、このため、最大距離に等しい近接距離の部分領域は仮想視野に含まれない。

図７に戻り、Ｓ７０８において、位置決定部１１３は、暫定位置を変更する。具体的には、位置決定部１１３は、最大距離が設定された部分領域が仮想視野に含まれなくなるまで、暫定位置を、仮想視点の向きと反対の方向に移動する。図９の例では、図９（ａ）の暫定位置Ｐ１１は、図９（ｂ）に示す位置Ｐ２１に変更される。これにより、暫定位置Ｐ２１に対応した仮想視野は、領域９１１となり、最大距離が設定された部分領域を含まないものとなる。なお、暫定位置Ｐ１２については、変更されない。

次に、Ｓ７０９において、位置決定部１１３は、最大距離を変更する。具体的には、位置決定部１１３は、Ｓ７０２において取得した制限内容に示される近接距離のうち、Ｓ７０９の処理時点における最大距離に次いで大きい値を新たな最大距離として設定する。位置決定部１１３は、その後処理をＳ７０５へ進める。図６（ａ）において、最大距離１０ｍが設定されている場合には、Ｓ７０９において、最大距離は１０ｍから２ｍに変更される。その後のＳ７０５の処理により、半径２ｍ、中心角度６０°の領域が仮想視野として設定され、Ｓ７０６以降の処理が行われる。

また、Ｓ７１０においては、位置決定部１１３は、仮想視野に撮影対象領域外の領域が含まれているか否かを判定する。位置決定部１１３は、仮想視野に撮影対象領域外の領域が含まれる場合には（Ｓ７１０でＹｅｓ）、処理をＳ７１１へ進める。位置決定部１１３は、仮想視野に撮影対象領域外の領域が含まれない場合には（Ｓ７１０でＮｏ）、処理をＳ７１２へ進める。Ｓ７１１において、位置決定部１１３は、暫定位置を変更する。具体的には、位置決定部１１３は、仮想視野に撮影対象領域外の領域が含まれなくなるまで、暫定位置を、仮想視点の向きと反対の方向に移動する。次に、Ｓ７１２において、位置決定部１１３は、Ｓ７１０において変更された位置を仮想視点の最終的な位置として設定する。なお、位置決定部１１３は、仮想視点の位置及び向きのうち少なくとも一方のみを決定する構成としてもよい。

図１０を参照しつつＳ７１１の処理について説明する。例えば、暫定位置が図１０（ａ）に示す点Ｑ１であり、領域１０１１が仮想視野であり、仮想視野１０１１は、撮影対象領域１０００の外の領域を含んでいるとする。この場合には、位置決定部１１３は、図１０（ｂ）に示すように、暫定位置を点Ｑ１から点Ｑ２に変更する。暫定位置としての点Ｑ２に対応した仮想視野は領域１０１２となり、仮想視野に撮影対象領域１０００以外の領域が含まれないようになる。

サーバ装置１１０は、制限決定処理において、ユーザにより指定されたイベント場所及びイベント種類に応じた制限内容を決定する。そして、サーバ装置１１０は、仮想視点位置決定処理において、ユーザにより指定された仮想視点の位置を、制限決定処理において決定した制限内容に応じて適宜変更する。その後、サーバ装置１１０の映像生成部１１４は、変更後の仮想視点の位置と、向きとに基づいて、映像ＤＢ１１１に格納されている映像から仮想視点画像を生成する。本処理は、多視点画像から仮想視点画像を生成する生成処理の一例である。映像生成部１１４により生成された仮想視点画像は、端末装置１３０に送信され、表示部１３２に再生表示される。

以上のように、第１の実施形態においては、サーバ装置１１０は、イベント場所に応じた制限情報と、イベント種類に応じた制限情報と、に基づいて、仮想視点の位置を変更する。したがって、複数種類のイベントが開催される可能性のある撮影対象領域の画像の提供時に、イベントの種類に応じて画像の提供を適切に制限することができる。また、イベント場所とイベント種類との組み合わせにより制限内容を決定できるので、イベント場所とイベント種類のすべての組み合わせに対する制限情報の設定が不要となる。

なお、第１の実施形態の第１の変形例としては、仮想視点画像に対応した撮影対象領域が１つのみの場合には、視点制限ＤＢ１２０の場所ＤＢ１２１は、場所に対応した１つの制限情報のみを記憶していればよい。この場合、ユーザからイベント場所の指定を受け付け、イベント場所に応じて制限情報を選択する処理は不要となる。

また、第２の変形例としては、イベント場所に応じた制限内容が不要な場合には、サーバ装置１１０は、イベント場所の応じた制限内容を考慮することなく、イベント種類に応じた制限内容に基づいて、仮想視点の位置を変更してもよい。

また、第３の変形例としては、制限内容に応じて変更する対象は、仮想視点の位置に限定されるものではない。他の例としては、サーバ装置１１０は、仮想視点の向きを変更することにより、仮想視野が近接距離を満たさない部分領域から外れるように制御してもよい。このように、サーバ装置１１０は、仮想視点の位置及び向きのうち少なくとも一方を変更すればよい。また、他の例としては、仮想画角を変更可能とし、サーバ装置１１０は、仮想画角を変更することにより、仮想視野が近接距離を満たさない部分領域から外れるように制御してもよい。

また、第４の変形例としては、サーバ装置１１０は、仮想視点の位置や向きを変更するのに替えて、近接距離を満たさない部分領域については、仮想視点画像において、モザイク処理等視認が困難な画像にする等の画像前記処理を施すこととしてもよい。

また、第５の変形例としては、サーバ装置１１０は、ユーザにより指定された仮想視点の位置を変更するのに替えて、決定した制限内容の条件を満たす仮想視点の位置の、ユーザからの入力を禁止したり、無効化したりするなどの制限を行ってもよい。

（第２の実施形態）
第２の実施形態に係るシステムにおいては、イベント種類に対する制限内容として、時間帯毎に異なる制限内容が定められている。以下、第２の実施形態に係るシステムについて、第１の実施形態に係るシステムと異なる点について説明する。

図１１は、第２の実施形態に係るシステムの全体図である。第２の実施形態においては、カメラシステム１１００は、カメラ１０１とカメラ管理部１０２に加えて、時間帯設定部１１０１を有している。時間帯設定部１１０１は、オペレータ等が設定した、「試合開始前」、「ハーフタイム」といった時間帯を識別するための情報を、ネットワーク１４０を介してサーバ装置１１１０へ送信する。サーバ装置１１１０において、映像ＤＢ１１１１は、多視点映像データ及びカメラパラメータと共に、時間帯の識別情報を記憶する。制限決定部１１１２は、第１の実施形態の制限決定部１１２と同様であるが、制限内容を決定する際に、さらにユーザによって指定された時間帯についても考慮する。また、視点制限ＤＢ１１２０において、イベントＤＢ１１２１は、イベント種類に対する制限情報を複数記憶している。第２の実施形態においては、イベント種類に対する制限情報において、時間帯毎の制限内容が定められている。

図１２は、イベント種類に対する制限情報一例を示す図である。図１２（ａ）に示「チア中」及び「その他」は、時間帯の識別情報である。さらに、本実施形態においては、図１２（ｂ）に示すように「チア中」及び「その他」は、時間帯設定部１１０１により設定された時間帯の識別情報に対応付けられている。本実施形態においては、時間帯設定部１１０１により設定される時間帯は、「試合前」、「セット１」、「休憩１」、「セット２」、「ハーフタイム」、「セット３」、「休憩２」、「セット４」及び「試合後」の９種類あるものとする。これらのうち、「試合前」、「休憩」及び「ハーフタイム」が「チア中」に対応し、残りが「その他」に対応する。なお、時間帯の識別情報は、文字列に限定されるものではない。図１２（ａ）に示すように、イベント種類に対する制限情報において、部分領域「コート内」であっても、時間帯毎に異なる近接距離が対応付けられている。

図１３は、第２の実施形態におけるサーバ装置１１１０の制限決定部１１１２による制限決定処理を示すフローチャートである。なお、図１３に示す制限決定処理の各処理のうち、図５を参照しつつ説明した第１の実施形態に係る制限決定処理の各処理と同一の処理には、同一の番号を付している。Ｓ１３００において、制限決定部１１１２は、イベント場所、イベント種類及び時間帯の指定を受け付け、その後処理をＳ５０１へ進める。制限決定部１１２は、続くＳ５０１〜Ｓ５０３の処理の後、処理をＳ１３０１へ進める。Ｓ１３０１において、制限決定部１１１２は、指定に係るイベント場所、イベント種類及び時間帯に関連する部分領域を特定する。関連する領域の特定は、Ｓ５０４の処理と同様であるが、Ｓ１３０１においては、イベント種類に対する制限情報のうち、指定に係る時間帯に対応した制限内容のみを参照する。そして、制限決定部１１１２は、Ｓ１３０１の処理の後、処理をＳ５０５へ進める。

ここで、図１２及び図１４を参照しつつ、Ｓ１３０１及びＳ５０５の処理について具体的に説明する。例えば、時間帯が「ハーフタイム」であるとする。「ハーフタイム」は「チア中」に対応するので、制限決定部１１１２は、この場合、図１２に示すイベント種類の制限情報において、部分領域「コート内」に対する近接距離として、「チア中」に対応付けられた「５ｍ」を利用する。従って、この場合、図１４（ａ）に示すように、部分領域「スタンド」の近接距離は「１０ｍ」、「コート内」の近接距離は「５ｍ」、それ以外の領域の近接距離は「２ｍ」となる。

また、時間帯が「セット２」であるとする。「セット２」は「その他」に対応するので、制限決定部１１１２は、この場合、部分領域「コート内」に対する近接距離としては、図１２に示すイベント種類の制限情報において、「その他」に対応付けられた「ｎ．ａ．」を利用する。したがって、この場合、図１４（ｂ）に示すように、部分領域「スタンド」に対する近接距離は「１０ｍ」、それ以外の領域の近接領域は「２ｍ」となる。

なお、第２の実施形態に係るシステムのこれ以外の構成及び処理は、他の実施形態に係るシステムの構成及び処理と同様である。このように、第２の実施形態においては、時間帯に応じた適切な制限内容を決定することができる。

なお、第２の実施形態の変形例としては、Ｓ１３００における時間帯の指定を受け付ける処理は実施形態に限定されるものではない。他の例としては、制限決定部１１１２は、撮影映像からリアルタイムに仮想視点画像を生成する場合には、ユーザがイベント場所とイベント種類を指定した時点が属する時間帯を処理対象として、制限内容を決定してもよい。

（第３の実施形態）
第３の実施形態に係るシステムにおいては、仮想視点画像を視聴するユーザのユーザ属性（ユーザ区分）に応じて、制限内容を異ならせる。以下、第３の実施形態に係るシステムについて、他の実施形態に係るシステムと異なる点について説明する。図１５は、第３の実施形態に係るシステムの全体図である。第３の実施形態においては、視点制限ＤＢ１５１０は、場所ＤＢ１２１、イベントＤＢ１２２に加えて、ユーザＤＢ１５１１を有している。また、サーバ装置１５００において、制限決定部１５０１は、制限内容を決定する際に、ユーザＤＢ１５１１を参照する。

図１６は、ユーザＤＢ１５１１の一例を示す図である。ユーザＤＢ１５１１は、ユーザ区分と、制限条件と、を対応付けて記憶している。ここで、ユーザ区分は、仮想視点画像の視聴を希望するユーザの属性（ユーザ属性）を示す情報である。変更内容は、場所ＤＢ１２１及びイベントＤＢ１２２を参照し、ユーザに指定されたイベント場所及びイベント種類に応じて決定された制限内容を基準とした、変更内容を示す情報である。

図１６の例では、ユーザ区分「警備員」に対し、変更内容「制限＿なし」が対応付けられている。これは、視聴ユーザが警備員の場合には、ユーザに指定されたイベント場所及びイベント種類に応じて決定された制限内容に関わらず、制限のない仮想視点画像を生成、提供することを意味する。なお、「制限＿なし」の場合も、イベント場所に対応付けられた近接距離（例えば図３の例では２ｍ）の制限は維持されるものとする。

また、ユーザ区分「観客＿会場内」に対し変更内容「制限＿通常」が対応付けられている。これは、視聴ユーザが会場内にいる観客の場合には、イベント場所及びイベント種類に応じて決定された制限内容、すなわち通常の制限内容を利用した制限の下で、仮想視点画像を生成、提供することを意味する。また、ユーザ区分「観客＿会場外」に対し変更内容「制限＿５ｍ＋」が対応付けられている。これは、視聴ユーザが会場外の観客の場合には、イベント場所及びイベント種類に応じて決定された制限内容に対しさらに近接距離を５ｍ長くする変更を加え、この制限の下で、仮想視点画像を生成、提供することを意味する。

図１７は、第３の実施形態に係るサーバ装置１５００の制限決定部１５０１による制限決定処理を示すフローチャートである。なお、図１７に示す制限決定処理の各処理のうち、図５を参照しつつ説明した第１の実施形態に係る制限決定処理の各処理と同一の処理には、同一の番号を付している。サーバ装置１５００のＣＰＵ２０１は、Ｓ５０４の処理の後、処理をＳ１７００へ進める。Ｓ１７００において、サーバ装置１５００の制限決定部１５０１は、端末装置１３０におけるユーザ入力等に応じて、端末装置１３０からユーザ区分を取得する。次に、Ｓ１７０１において、制限決定部１５０１は、ユーザＤＢ１５１１を参照し、Ｓ１７００において取得したユーザ区分に対応付けられている変更内容を特定する。次に、Ｓ１７０２において、制限決定部１５０１は、イベント場所に対する制限情報と、イベント内容に対する制限情報と、に基づいて、関連する部分領域毎の制限内容を決定する。このとき、制限決定部１５０１は、変更内容を反映した制限内容を決定する。

例えば、イベント場所「Ａスタジアム」でイベント種類が「バスケットボール」の場合（図３及び図４（ａ）参照）における部分領域「スタンド」の近接距離は、ユーザ区分が「警備員」の場合には、２ｍとなる。また、ユーザ区分が「観客＿会場内」の場合は１０ｍ、ユーザ区分が「観客＿会場外」の場合は１５ｍとなる。

なお、第３の実施形態に係るシステムのこれ以外の構成及び処理は、他の実施形態に係るシステムの構成及び処理と同様である。以上のように、第３の実施形態においては、ユーザ区分に応じた適切な制限内容を決定することができる。

（第４の実施形態）
第４の実施形態に係るシステムにおいては、仮想視点画像の生成、提供に替えて、制限内容に応じた視点で撮影された映像を提供する。以下、第４の実施形態に係るシステムについて、他の実施形態に係るシステムと異なる点について説明する。図１８は、第４の実施形態に係るシステムの全体図である。第４の実施形態においては、サーバ装置１８００は、映像生成部１１４にかえて、映像選択部１８０１を有している。映像選択部１８０１は、位置決定部１１３により決定された仮想視点の位置及び向きに基づいて、映像ＤＢ１１１に記憶されている複数の映像の中から端末装置１３０に提供する映像を選択し、これを端末装置１３０に送信する。

図１９は、映像選択部１８０１の処理の説明図である。なお、図１９（ａ）、（ｂ）は、それぞれ図９（ａ）、（ｂ）に対応している。図１９（ａ）に示すように、暫定位置が点Ｐ１１であり、この場合の仮想視野が領域９０１であるとする。暫定位置は、点Ｐ１１から図９（ｂ）に変更され、この場合の仮想視野は領域９１１となるものとする。

この場合、暫定位置としての点Ｐ１１の仮想視野（領域９０１）を最も含むカメラのとしては、カメラＣ６が選択されるが、変更後の位置である点Ｐ２１の仮想視野（領域９１１）を最も含むカメラとしてはカメラＣ７が選択される。この場合、映像選択部１８０１は、変更後の位置に応じて定まるカメラＣ７の映像を、映像ＤＢ１１１から選択し、これを端末装置１３０に送信する。なお、選択したカメラがズーム可能なカメラの場合には、仮想視野に近付くズーム倍率を設定することで、このズーム倍率で撮影された映像を端末装置１３０に送信することもできる。

なお、第４の実施形態に係るシステムのこれ以外の構成及び処理は、他の実施形態に係るシステムの構成及び処理と同様である。以上のように、第４の実施形態においては、制限内容に応じた適切な画像を提供することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ カメラシステム
１１０ サーバ装置
１２０ 視点制限ＤＢ
１３０ 端末装置

Claims (17)

1. 複数の撮影装置により取得される複数の撮影画像に基づいて生成される仮想視点画像を生成するための仮想視点の視点位置及び仮想視点からの視線方向を指定するためのユーザ指定を受け付ける受付手段と、
   前記複数の撮影装置により撮影される撮影対象領域において行われるイベントの種類に基づいて決定される制限情報に基づいて、前記受付手段が受け付けるユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向に対応する仮想視点画像の出力を制御する制御手段と
   を有することを特徴とする情報処理装置。
2. 前記制御手段は、前記受付手段が受け付けるユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向のうち少なくとも一方が、前記イベントの種類に基づいて決定される制限情報が示す条件を満たす場合、前記受付手段が受け付けるユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向に対応する仮想視点画像が出力されないように制御することを特徴とする請求項１に記載の情報処理装置。
3. 前記制限情報が示す条件は、仮想視点の視点位置と、前記撮影対象領域における被写体との距離が所定の閾値未満であることを表すことを特徴とする請求項２に記載の情報処理装置。
4. 前記所定の閾値は、前記撮影対象領域における第１の部分領域に含まれる被写体と第２の部分領域に含まれる被写体とで異なることを特徴とする請求項３に記載の情報処理装置。
5. 前記撮影対象領域において行われるイベントがスポーツである場合、前記第１の部分領域及び前記第２の部分領域は、それぞれ前記撮影対象領域において競技が行われる競技領域、及び、前記撮影対象領域における観客席であり、
   前記観客席に含まれる被写体に対応する所定の閾値は、前記競技領域に含まれる被写体に対応する所定の閾値よりも大きいことを特徴とする請求項４に記載の情報処理装置。
6. 前記撮影対象領域において行われるイベントがコンサートである場合、前記第１の部分領域及び前記第２の部分領域は、それぞれ前記撮影対象領域におけるステージ及び観客席であり、
   前記観客席に含まれる被写体に対応する所定の閾値は、前記ステージに含まれる被写体に対応する所定の閾値よりも大きいことを特徴とする請求項４に記載の情報処理装置。
7. 前記制御手段は、前記受付手段が受け付けたユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向のうち少なくとも一方を変更することにより、前記受付手段が受け付けるユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向に対応する仮想視点画像が出力されないように制御することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記制御手段は、前記受付手段が受け付けたユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向のうち少なくとも一方を使用しないことにより、前記受付手段が受け付けるユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向に対応する仮想視点画像が出力されないように制御することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
9. 前記制御手段は、前記イベントの種類に基づいて決定される制限情報が示す条件を満たす仮想視点の視点位置及び仮想視点からの視線方向を指定するためのユーザ指定を前記受付手段が受け付けないように制御することにより、前記受付手段が受け付けるユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向に対応する仮想視点画像が出力されないように制御することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
10. 前記制御手段は、前記受付手段が受け付けたユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向に対応する仮想視点画像に対し視認が困難な画像にするための画像処理を施すことにより、前記受付手段が受け付けるユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向に対応する仮想視点画像が出力されないように制御することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
11. 前記制御手段は、さらに、前記イベントが行われる場所に基づいて決定される制限情報に基づいて、前記受付手段が受け付けるユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向に対応する仮想視点画像の出力を制御することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記制御手段は、さらに、前記イベントにおける時間帯を示す情報に基づいて決定される制限情報に基づいて、前記受付手段が受け付けるユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向に対応する仮想視点画像の出力を制御することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記制御手段は、さらに、ユーザ属性に基づいて決定される制限情報に基づいて、前記受付手段が受け付けるユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向に対応する仮想視点画像の出力を制御することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記イベントの種類は、ユーザ指定に基づいて決定されることを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記制限情報は、前記撮影対象領域において行われる複数のイベントごとに異なることを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
16. 複数の撮影装置により取得される複数の撮影画像に基づいて生成される仮想視点画像を生成するための仮想視点の視点位置及び仮想視点からの視線方向を指定するためのユーザ指定を受け付ける受付工程と、
    前記複数の撮影装置により撮影される撮影対象領域において行われるイベントの種類に基づいて決定される制限情報に基づいて、前記受付工程において受け付けるユーザ指定により指定される仮想視点の視点位置及び仮想視点からの視線方向に対応する仮想視点画像の出力を制御する制御工程と
    を有することを特徴とする情報処理方法。
17. コンピュータを、請求項１乃至１５のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images