JP6812128B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、被写体に対する任意の視点からの画像を生成するための情報処理装置および情報処理方法に関する。

従来、スタジアム等に配置した複数のカメラによって撮像された被写体の画像をもとに、カメラの配置位置とは異なる任意の視点からの画像（自由視点画像）を生成するシステムが提案されている。
特許文献１には、ユーザがユーザインタフェース画面（ＵＩ画面）を介して指示した視点情報を取得し、取得した視点情報に基づいて、その視点から見た映像を生成する映像生成装置が開示されている。

特開２０１０−２７３０５７号公報

自由視点画像を生成するために、視点の三次元的な位置や視点から注視点への三次元的な方向を決定するといった自由視点設定をユーザが行う場合、当該設定が複雑となるおそれがある。特許文献１に記載の発明では、上記の自由視点設定を直観的に行う方法については全く考慮されていない。
そこで、本発明は、自由視点画像の生成のための自由視点設定をユーザが直観的に行えるようにすることを目的としている。

本発明に係る情報処理装置の一態様は、撮像領域を複数の撮像装置によりそれぞれ異なる方向から撮像することで得られる複数の画像に基づく自由視点画像の生成に係る視点の３次元位置を示す視点情報を出力する情報処理装置であって、前記視点の指定に係る第１画像と第２画像とが表示された表示部に含まれる第１表示領域であって前記第１画像が表示された前記第１表示領域内の位置を指定するユーザ操作に基づいて、前記視点の位置の２次元座標を決定する第１決定手段と、前記第１表示領域とは異なる第２表示領域であって前記第２画像が表示された前記第２表示領域内の位置を指定するユーザ操作に基づいて、前記視点の位置の１次元座標を決定する第２決定手段と、前記第１表示領域内の位置を指定するユーザ操作に基づいて、前記自由視点画像の生成に係る視点が向けられるべき注視点の位置の２次元座標を決定する第３決定手段と、前記第２表示領域内の位置を指定するユーザ操作に基づいて、前記注視点の位置の１次元座標を決定する第４決定手段と、前記第１決定手段により決定された２次元座標と前記第２決定手段により決定された１次元座標とに基づいて決まる前記視点の３次元位置及び前記第３決定手段により決定された２次元座標と前記第４決定手段により決定された１次元座標とに基づいて決まる前記注視点の３次元位置を示す情報を含む前記視点情報を出力する出力手段と、を有する。

本発明によれば、自由視点画像の生成のための自由視点設定をユーザが直観的に行えるようにすることができる。

映像生成システムの構成例である。 情報処理装置のハードウェア構成図である。 視点の位置および注視点の位置の入力を受け付けるＵＩ画面の一例である。 情報処理装置の動作を説明するフローチャートである。 視点の位置および注視点の位置の入力を受け付けるＵＩ画面の一例である。 視点の位置および注視点の位置の入力を受け付けるＵＩ画面の一例である。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
（第一の実施形態）
図１は、本実施形態における情報処理装置を備える映像生成システムの構成例である。本実施形態では、映像生成システムとして、スタジアムに複数の撮像装置（カメラ）を配置し、これら複数のカメラによって撮像された画像をもとに自由視点画像を生成し、表示するシステムについて説明する。ここで、自由視点画像とは、ユーザが指定した任意の視点から所定の注視点を見た画像である。
映像生成システム１００は、複数（ｎ台）のカメラにそれぞれ対応する複数の撮像部２００−１〜２００−ｎと、情報処理装置３００と、表示部４００とを備える。複数のカメラは、スタジアムのフィールドを囲む観客席の所定の位置に所定の間隔で配置され、フィールド上におけるプレーヤー等の被写体を様々な角度で撮像する。撮像部２００−１〜２００−ｎは、それぞれ撮像した画像（映像）を情報処理装置３００へ出力する。なお、カメラの台数は任意の台数であってよい。

情報処理装置３００は、映像取得部３０１と、映像処理部３０２と、映像生成部３０３と、自由視点設定部３０４と、表示制御部３０５とを備える。
映像取得部３０１は、撮像部２００−１〜２００−ｎによって撮像された画像を取得する画像取得部であり、取得した画像を映像処理部３０２に出力する。映像処理部３０２は、映像取得部３０１から入力した画像に対して種々の必要な画像補正等の処理を施し、撮像部２００−１〜２００−ｎが配置された位置情報とともに一旦ストレージする。映像処理部３０２によって画像処理がなされ、一旦ストレージされた画像は、映像生成部３０３に出力される。

映像生成部３０３は、上記の画像処理後の画像と、後述する自由視点設定部３０４によって設定された自由視点情報とに基づいて自由視点画像を生成し、表示制御部３０５に出力する。ここで、自由視点情報は、視点位置情報と、注視点位置情報と、視点から注視点への方向（注視点方向）を示す情報とを含む。視点位置情報および注視点位置情報は、視点および注視点の三次元的な位置を示す情報であり、本実施形態では、水平面に平行な平面をＸＹ平面、水平面に直交する垂直方向（鉛直方向）をＺ方向とした場合のＸＹＺ座標値により表す。また、注視点方向は、視点から注視点への三次元的な方向を示す情報であり、視点から注視点へ向かう軸の水平方向の角度（パン角）と鉛直方向の角度（チルト角）とを含む。なお、以下の説明では、鉛直方向を垂直方向ともいう。

自由視点設定部３０４は、ユーザインタフェース画面（ＵＩ画面）を介してユーザにより指定された視点の位置および注視点の位置に関する情報を取得し、取得した情報に基づいて自由視点情報を設定する自由視点設定を行う。そして、自由視点設定部３０４は、自由視点設定により設定された自由視点情報を、映像生成部３０３および表示制御部３０５に出力する。
具体的には、自由視点設定部３０４は、水平方向取得部３１１と垂直方向取得部３１２とを備える。水平方向取得部３１１は、水平方向における視点の位置および注視点の位置に関する情報を取得し、垂直方向取得部３１２は、垂直方向における視点の位置および注視点の位置に関する情報を取得する。自由視点設定部３０４は、水平方向における視点の位置および注視点の位置に関する情報と、垂直方向における視点の位置および注視点の位置に関する情報とに基づいて自由視点設定を行う。

表示制御部３０５は、表示部４００にＵＩ画面を含む表示画面を表示させる表示制御を行う。具体的には、表示制御部３０５は、水平方向における視点の位置および注視点の位置の入力を受け付け可能なＵＩ画面と、垂直方向における視点の位置および注視点の位置の入力を受け付け可能なＵＩ画面とを表示させる。表示制御部３０５は、これら２つのＵＩ画面をそれぞれ独立して表示させる。ＵＩ画面の表示方法については後で詳述する。
表示部４００は、液晶表示装置等の表示装置とタッチパネル等の入力装置とが一体化した、所謂入出力一体型の入出力装置である。この表示部４００は、ユーザが操作可能な端末である。なお、本実施形態では、情報処理装置３００と表示部４００とが別の装置である場合について説明するが、情報処理装置３００が表示部４００を備えていてもよい。

図２は、情報処理装置３００のハードウェア構成を示す図である。情報処理装置３００は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、外部メモリ３４と、Ｉ／Ｆ部３５と、システムバス３６とを備える。
ＣＰＵ３１は、情報処理装置３００における動作を統括的に制御するものであり、システムバス３６を介して、各構成部（３２〜３５）を制御する。ＲＯＭ３２は、ＣＰＵ３１が処理を実行するために必要なプログラムを記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ３４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ３３は、ＣＰＵ３１の主メモリ、ワークエリアとして機能する。つまり、ＣＰＵ３１は、処理の実行に際してＲＯＭ３２から必要なプログラムをＲＡＭ３３にロードし、ロードしたプログラムを実行することで各種の機能動作を実現する。

外部メモリ３４は、ＣＰＵ３１がプログラムを用いた処理を行う際に必要な各種データや各種情報を記憶している。また、外部メモリ３４には、ＣＰＵ３１がプログラムを用いた処理を行うことにより得られる各種データや各種情報が記憶される。Ｉ／Ｆ部３５は、外部装置と通信するためのインタフェースである。本実施形態では、外部装置は、上述した撮像部２００や表示部４００である。システムバス３６は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、外部メモリ３４およびＩ／Ｆ部３５を通信可能に接続する。
図１に示す情報処理装置３００の各部の機能は、ＣＰＵ３１がプログラムを実行することで実現することができる。ただし、図１に示す情報処理装置３００の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ３１の制御に基づいて動作する。

以下、ユーザによる視点位置および注視点位置に関する情報の指示に関し、図３を参照しながら詳細に説明する。
図３（ａ）は、表示部４００に表示される表示画面４１０の一例である。表示画面４１０は、ユーザによる視点位置および注視点位置に関する情報の入力を受け付け可能なＵＩ画面である水平方向入力部４２０および垂直方向入力部４３０を備える。また、表示画面４１０は、注視点方向（パン角α、チルト角β）を表示する方向表示部４４０と、自由視点画像を表示（提供）する映像表示部４５０とを備える。

水平方向入力部４２０は、ユーザが水平方向における視点位置と注視点位置とに関する情報を入力可能な領域である。この水平方向入力部４２０には、所定の注視点に対する視点の設定可能範囲を含む実空間における所定のオブジェクトの位置を、水平面に投影した画像が表示される。本実施形態では、水平方向入力部４２０には、スタジアム全体（フィールドおよびフィールドを囲む観客席）の画像であるスタジアム水平画像が表示される。フィールドを囲む観客席が、視点の設定可能範囲に相当する。ただし、観客席以外の部分から視点が設定できるようにしてもよい。水平方向入力部４２０には、フィールドにいる撮像対象となるプレーヤーの動きをリアルタイムで表示することができる。これにより、ユーザは視点に関する設定を容易に行うことができる。ただし、水平方向入力部４２０に表示される画像は、プレーヤーの動きを反映させなくてもよい。

また、スタジアム水平画像は、上空から観客席に配置されたカメラやフィールド上のプレーヤーを含むスタジアム全体を実際に撮像した画像であってもよいし、実空間を模したコンピュータグラフィックス画像（ＣＧ画像）であってもよい。スタジアム水平画像がＣＧ画像である場合、そのＣＧ画像は、実際の撮像画像から作成されてもよいし、プレーヤーに装着された個々のＧＰＳからの情報或いはトラッキング情報により作成されてもよい。
そして、水平方向入力部４２０においては、ユーザが移動可能な視点マーカー４２１と注視点マーカー４２２とが、スタジアム水平画像に重畳される形で表示される。水平方向入力部４２０には、実空間における水平面に対応する座標系（ＸＹ座標）が設定されており、スタジアム水平画像上における視点マーカー４２１の位置は、実空間における視点の水平方向の位置に対応している。同様に、スタジアム水平画像上における注視点マーカー４２２の位置は、実空間における注視点の水平方向の位置に対応している。

ユーザは、スタジアム水平画像上で視点マーカー４２１の位置と注視点マーカー４２２の位置とを操作することで、水平方向における自由視点画像の視点位置および注視点位置を指定することができる。
ここで、視点マーカー４２１および注視点マーカー４２２は、それぞれスタジアム水平画像上の所定の可動範囲内を移動可能である。つまり、水平方向入力部４２０は、実空間における視点の位置の設定可能範囲および注視点の位置の設定可能範囲にそれぞれ対応した所定の入力可能範囲において、視点の位置および注視点の位置の入力を受け付け可能である。視点位置および注視点位置の入力可能範囲は、実際のスタジアムの形状に応じて設定され得る。

具体的には、例えばユーザは、視点マーカー４２１を右手５００Ｒの中指で、注視点マーカー４２２を右手５００Ｒの人差し指でそれぞれドラッグすることで、各マーカーの移動操作を行うことができる。視点マーカー４２１と注視点マーカー４２２とは、同時に移動操作されてもよいし、一方ずつ移動操作されてもよい。なお、注視点に関してはユーザが操作を行わず、注視点の位置を固定、或いは、特定のプレーヤーに対して自動追尾としてもよい。つまり、視点に関してのみユーザが任意の位置を指定する操作を行うようにしてもよい。

また、本実施形態では、水平方向入力部４２０にスタジアム水平画像を表示させるとしたが、水平方向入力部４２０に表示させる画像はスタジアム水平画像に限定されない。水平方向入力部４２０に表示させる画像は、所定の注視点に対する視点の設定可能範囲を含む実空間における所定のオブジェクトの位置を、水平面に投影した画像であればよい。例えば、スタジアム全体の形状を認識可能な程度の画像であったり、注視点となる被写体やスタジアムの主要なオブジェクトの位置のみが投影された画像であったりしてもよい。つまり、水平方向入力部４２０に表示させる画像は、ユーザが視点位置を直観的に指定可能な画像であればよい。

垂直方向入力部４３０は、スタジアムの垂直方向における視点位置と注視点位置とに関する情報を入力する領域である。垂直方向入力部４３０には、ユーザが移動可能な視点マーカー４３１と注視点マーカー４３２とが表示される。視点マーカー４３１は、可動範囲４３３内を移動可能であり、注視点マーカー４３２は、可動範囲４３４内を移動可能である。視点マーカー４３１および注視点マーカー４３２の可動方向は上下方向であり、スタジアムの垂直方向に対応している。

垂直方向入力部４３０には、実空間における鉛直面に対応する座標系（Ｚ座標）が設定されており、可動範囲４３３における視点マーカー４３１の位置は、実空間における視点の垂直方向の位置に対応している。同様に、可動範囲４３４における注視点マーカー４３２の位置は、実空間における注視点の垂直方向の位置に対応している。つまり、垂直方向入力部４３０には、視点の設定可能範囲を含む実空間における所定のオブジェクト（注視点となる被写体）の位置を鉛直面に投影した画像が表示されるといえる。

ユーザは、視点マーカー４３１の位置と注視点マーカー４３２の位置とを操作することで、垂直方向における自由視点画像の視点位置および注視点位置を指定することができる。
ここで、可動範囲４３３および４３４は、実空間における視点の位置の設定可能範囲および注視点の位置の設定可能範囲にそれぞれ対応している。このように、垂直方向入力部４３０は、実空間における視点の位置の設定可能範囲および注視点の位置の設定可能範囲にそれぞれ対応した所定の入力可能範囲において、視点の位置および注視点の位置の入力を受け付け可能である。

例えばユーザは、視点マーカー４３１や注視点マーカー４３２を左手５００Ｌの指でドラッグすることで、各マーカーの移動操作を行うことができる。視点マーカー４２１と注視点マーカー４２２とは、同時に移動操作されてもよいし、一方ずつ移動操作されてもよい。なお、注視点に関してはユーザが操作を行わず、位置を固定、或いは、特定のプレーヤーに対して自動追尾としてもよい。つまり、視点に関してのみユーザが任意の位置を指定する操作を行うようにしてもよい。

なお、垂直方向入力部４３０には、水平方向入力部４３０と同様に、スタジアム全体の垂直画像を表示させてもよい。また、垂直方向入力部４３０には、スタジアム全体の形状を認識可能な程度の画像や、注視点となる被写体やスタジアムの主要なオブジェクトの位置のみが投影された画像を表示させてもよい。垂直方向入力部４３０に表示させる画像は、水平方向入力部４２０と同様に、ユーザが視点位置を直観的に指定可能な画像であればよい。

方向表示部４４０は、注視点方向を示すパン角αおよびチルト角βを表示する領域である。パン角αおよびチルト角βは、水平方向入力部４２０および垂直方向入力部４３０の各マーカーへのユーザ操作により指定された視点位置と注視点位置に関する情報に基づいて、図１の自由視点設定部３０４により算出された自由視点情報である。
自由視点設定部３０４は、ＵＩ画面を介して取得された視点位置および注視点位置に関する情報に基づいて、視点位置情報（ＸＹＺ座標値）および注視点位置情報（ＸＹＺ座標値）を導出する。そして、自由視点設定部３０４は、視点と注視点との三次元的な位置関係により、パン角αおよびチルト角βを算出し、その算出結果を表示制御部３０５に出力する。このとき、表示制御部３０５は、自由視点設定部３０４により算出されたパン角αおよびチルト角βを方向表示部４４０に表示させる。

ここで、パン角αは、基準となるカメラ方向と、視点Ｃから注視点Ｔへの方向との水平方向におけるなす角である。基準となるカメラ方向を、図３（ａ）の水平方向入力部４２０に示す方向４２３とした場合、パン角αは、方向４２３と、視点マーカー４２１から注視点マーカー４２２への方向４２４とのなす角に相当する。また、チルト角βは、図３（ｂ）に示すように、水平方向（図３（ｂ）の左右方向）と視点Ｃから注視点Ｔへの方向との垂直方向におけるなす角である。
このように、４個のマーカー操作により、自由視点画像の視点の三次元的な位置（ＸＹＺ座標）と、自由視点画像の視点から注視点への三次元的な方向（パン角α、チルト角β）との設定に必要な情報を入力することができる。

映像表示部４５０は、自由視点画像を表示（提供）する領域である。自由視点画像は、図１の自由視点設定部３０４が算出した自由視点情報に基づいて、映像生成部３０３により生成された画像である。映像生成部３０３は、自由視点設定部３０４から入力した自由視点情報に基づいて、映像処理部３０２により画像処理された複数のカメラの撮像画像をもとに自由視点画像を生成し、生成した自由視点画像を表示制御部３０５に出力する。このとき、表示制御部３０５は、映像生成部３０３により生成された自由視点画像を映像表示部４５０に表示させる。つまり、映像表示部４５０には、ユーザが水平方向入力部４２０および垂直方向入力部４３０の各マーカーを操作して指定した視点位置と注視点位置とに対応した自由視点画像が表示される。

このように、情報処理装置３００は、ユーザが、水平方向と垂直方向とのそれぞれについて独立に視点位置と注視点位置とに関する情報を指示することができるＵＩ画面（４２０、４３０）を表示部４００に表示させる表示制御を行う。したがって、ユーザは、視聴したい自由視点画像をイメージしながら、水平方向のみの操作に集中して自由視点設定を行ったり、垂直方向のみの操作に集中して自由視点設定を行ったりすることができる。

次に、情報処理装置３００の動作について、図４を参照しながら具体的に説明する。
図４に示す処理は、例えばユーザによる指示入力に応じて開始される。ただし、図７の処理の開始タイミングは、上記のタイミングに限らない。情報処理装置３００は、ＣＰＵ３１が必要なプログラムを読み出して実行することにより、図４に示す各処理を実現することができる。ただし、上述したように、図１に示す各要素のうち少なくとも一部が専用のハードウェアとして動作することで図４の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ３１の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。

まずＳ１において、映像処理部３０２は、複数の撮像部２００−１〜２００−ｎにより撮像された画像を取得する。次にＳ２において、映像処理部３０２は、Ｓ１において取得した画像に対して種々の必要な画像補正等の処理を行い、画像を撮像した撮像部２００の配置された位置情報とともにストレージする。
Ｓ３では、自由視点設定部３０４は、ユーザが指定した視点位置に関する情報および注視点位置に関する情報を取得し、視点位置情報および注視点位置情報を算出する。具体的には、表示制御部３０５は、水平方向入力部４２０に、実空間における所定のオブジェクトの位置を水平面に投影した画像を表示させ、垂直方向入力部４３０に、実空間における所定のオブジェクトの位置を鉛直面に投影した画像を表示させる。そして、水平方向取得部３１１は、水平方向入力部４２０の画像上でユーザにより指定された視点および注視点の水平方向における位置に関する情報を取得する。また、垂直方向取得部３１２は、垂直方向入力部４３０の画像上でユーザにより指定された視点および注視点の垂直方向における位置に関する情報を取得する。そして、自由視点設定部３０４は、これらの取得した情報に基づいて、視点および注視点の三次元的な位置を算出する。

Ｓ４では、自由視点設定部３０４は、Ｓ３において算出された視点位置情報および注視点位置情報に基づいて、注視点方向（パン角α、チルト角β）を算出する。また、このとき表示制御部３０５は、自由視点設定部３０４により算出された注視点方向を表示部４００に出力することで、方向表示部４４０に注視点方向を表示させる。
Ｓ５では、映像生成部３０３は、Ｓ３において算出された視点位置情報および注視点位置情報と、Ｓ４において算出された注視点方向とに基づいて、自由視点画像を生成する。次に、Ｓ６では、表示制御部３０３は、Ｓ５において生成された自由視点画像を表示部４００に出力することで、映像表示部４５０に自由視点画像を表示（提供）させる。Ｓ７では、情報処理装置３００は、処理を終了するか否かを判定し、処理を終了しないと判定した場合にはＳ３に戻り、処理を終了すると判定した場合には図４の処理を終了する。

以上のように、本実施形態における情報処理装置３００は、スタジアム全体の水平画像や垂直画像といった、実空間における所定のオブジェクトの位置を水平面に投影した第一画像と鉛直面に投影した第二画像とを、それぞれ表示部４００に表示させる。また、情報処理装置３００は、第一画像上でユーザにより指定された、所定の注視点に対する視点の位置に関する情報を、水平方向における視点の位置に関する情報として取得する。同様に、情報処理装置３００は、第二画像上でユーザにより指定された視点の位置に関する情報を、鉛直方向における視点の位置に関する情報として取得する。そして、情報処理装置３００は、取得したこれらの情報に基づいて、視点の三次元的な位置と、視点から注視点への三次元的な方向とを導出する。

また、情報処理装置３００は、導出された視点の三次元的な位置と、視点から所定の注視点への三次元的な方向とに基づいて、視点から注視点を見た自由視点画像を生成する。ここで、情報処理装置３００は、上記の三次元的な方向として、視点から注視点へ向かう軸の水平方向の角度および垂直方向（鉛直方向）の角度を導出する。
つまり、ユーザは、自由視点画像の視点の三次元位置や視点から注視点へのパン角およびチルト角を直接設定することなしに、水平方向と垂直方向とについてそれぞれ視点と注視点との位置を独立に直接指定することにより、自由視点設定を行うことができる。このように、情報処理装置３００は、自由視点画像の生成に必要な自由視点設定を効率的に行うことができ、ユーザが視聴したい自由視点画像を適切に生成することができる。また、ユーザは、上記の第一画像上および第二画像上において視点の位置を指定することができるので、三次元的な指示位置を直観的に操作することできる。

ここで、第一画像および第二画像の少なくとも一方は、カメラ等の撮像手段によって撮像された実空間の画像であってもよいし、実空間を模したコンピュータグラフィックス画像（ＣＧ画像）であってもよい。いずれの場合にも、ユーザは直観的に視点位置を指定することが可能となる。第一画像および第二画像はリアルタイム画像であってもよい。この場合、ユーザは、実際のプレーヤーの動きに対応した位置に視点位置や注視点位置を設定することができる。

また、第一画像や第二画像が実空間の撮像画像である場合には、ユーザは、実空間におけるオブジェクトの正確な位置を確認しながら視点位置を指定することができる。一方、第一画像や第二画像がＣＧ画像である場合には、スタジアム全体を上空から撮像する必要がなく、また、スタジアム全体のうち着目すべきオブジェクトを強調表示するなどの加工も容易である。
また、情報処理装置３００は、水平面に対応する座標系（ＸＹ座標）が設定され、第一画像上で視点の位置の入力を受け付け可能なＵＩ画面を表示させる表示制御を行う。さらに、情報処理装置３００は、鉛直面に対応する座標系（Ｚ座標）が設定され、第二画像上で視点の位置の入力を受け付け可能なＵＩ画面を表示させる表示制御を行う。
したがって、ユーザは、水平方向と垂直方向とについてそれぞれ独立して指示位置を操作することができる。そのため、ユーザは、水平方向のみの操作に集中して自由視点設定を行ったり、垂直方向のみの操作に集中して自由視点設定を行ったりすることができ、適切な自由視点設定が可能となる。また、ＵＩ画面上の指示位置がそのまま実空間における視点位置に対応しているため、ユーザは直観的に自由視点設定を行うことができる。

さらに、情報処理装置３００は、第一画像上で視点の位置の入力を受け付けるＵＩ画面と、第二画像上で視点の位置の入力を受け付けるＵＩ画面とを、１つの表示画面４１０中にそれぞれ独立して表示させる表示制御を行う。具体的には、情報処理装置３００は、図３（ａ）に示すように、１画面中に水平方向入力部４２０と垂直方向入力部４３０といった２つの操作面を表示させる。したがって、ユーザは、図３（ａ）に示すように、水平方向入力部４２０において右手５００Ｒで水平方向の自由視点設定を行い、垂直方向入力部４３０において左手５００Ｌで垂直方向の自由視点設定を行うといった操作が可能となる。このように、ユーザは、効率的に自由視点設定を行うことができる。

また、ユーザは、自由視点設定操作として、任意の視点位置の入力操作に加えて、任意の注視点位置の入力操作を行うことができる。つまり、視点の位置の入力を受け付け可能なＵＩ画面である水平方向入力部４２０および垂直方向入力部４３０は、さらに注視点の位置の入力も受け付け可能なＵＩ画面であってもよい。
このように、１つのＵＩ画面で視点位置の入力と注視点位置の入力とを受け付け可能にすることで、ユーザは効率的かつ直観的に指示位置を操作することができる。また、ユーザが視聴したい任意の被写体の位置を注視点の位置として設定することができるので、より適切な自由視点設定が可能となる。さらに、注視点の垂直方向における位置の入力を受け付け可能とすることで、注視点の垂直方向における位置が固定の場合と比較して自由視点画像の表示可能範囲を拡げることができる。

さらに、情報処理装置３００は、実空間における視点の位置および注視点の位置の設定可能範囲に対応した入力可能範囲において、視点の位置および注視点の位置の入力を受け付け可能としてもよい。つまり、情報処理装置３００は、スタジアムの観客席に対応した第一画像上の範囲において、視点の位置の入力を受け付け可能としたり、スタジアムのフィールドに対応した第一画像上の範囲において注視点の入力を受け付け可能としたりしてもよい。これにより、情報処理装置３００は、ユーザが指定した視点および注視点に対応する自由視点画像を適切に生成することができる。

また、自由視点画像の生成に際し、情報処理装置３００は、被写体を異なる位置から撮像する複数の撮像装置（カメラ）によりそれぞれ撮像された画像を取得し、取得された画像をもとに自由視点画像を生成する。そのため、情報処理装置３００は、ユーザが実際のカメラの設置位置とは異なる仮想視点を指定した場合であっても、ユーザが視聴したい自由視点画像を適切に生成することができる。
また、情報処理装置３００は、生成された自由視点画像を表示部４００に表示させる表示制御を行う。このように、情報処理装置３００は、ユーザが指定した視点および注視点に対応する自由視点画像をユーザに提供するので、ユーザは、自由視点画像を確認しながら視点位置および注視点位置の調整を行うことができる。

以上のように、本実施形態における情報処理装置３００は、自由視点画像の生成に必要な自由視点設定に際し、自由視点画像に関する視点の三次元的な位置を指定するための第一画像と第二画像とを、それぞれ表示部に表示させる。そして、情報処理装置３００は、第一画像上におけるユーザ指示、および第二画像上におけるユーザ指示に基づいて、自由視点画像に関する視点の三次元的な位置を導出する。
具体的には、情報処理装置３００は、視点位置と注視点位置とを水平方向（ＸＹ平面）と垂直方向（Ｚ方向）とで独立に入力可能な２つのＵＩ画面を表示させる。したがって、ユーザは、三次元的な指示位置を効率的かつ直観的に操作することができる。また、ユーザは、被写体全体のリアルタイム画像に対し、水平方向と垂直方向とについて視点と注視点とを独立に直接指定することもできるので、追従性のある動的な自由視点設定操作が可能となる。

また、情報処理装置３００は、ＵＩ画面を介してユーザ指示を受け付け、水平方向と垂直方向とについてそれぞれ視点位置と注視点位置に関する情報を取得する。そして、情報処理装置３００は、取得した情報に基づいて、視点位置および注視点位置の三次元的な位置（ＸＹＺ座標）と、視点から注視点への三次元的な方向（パン角、チルト角）とを導出する。したがって、複雑な操作や演算を伴うことなく、被写体に対する任意視点からの映像を適切に生成する映像生成システムを実現することができる。
なお、上述した実施形態では、情報処理装置３００は、ユーザが指示した自由視点画像の視点および注視点の位置に関する情報を取得する場合について説明した。以下の実施形態では、情報処理装置３００が、さらにユーザが指示した自由視点画像の回転に関する情報を取得する場合について説明する。

図５は、本実施形態における表示部４００に表示される表示画面４１１の一例である。図５において、上述した表示画面４１０と同一部分には同一符号を付し、以下、表示画面４１０とは異なる部分を中心に説明する。
表示画面４１１の垂直方向入力部４３０には、垂直方向における視点位置を指定するための視点マーカー４３５が表示される。視点マーカー４３５は、可動範囲４３３内における上下移動の操作に加えて、回転操作が可能なマーカーであり、ユーザは、必要に応じて視点マーカー４３５に対して回転角γを指示することができる。

ここで、回転角γは、自由視点画像の回転角、つまり、視点から注視点へ向かう軸回りの回転角に相当する。自由視点設定部３０４は、ＵＩ画面を介して取得された自由視点画像の回転に関する情報に基づいて回転角γを導出し、回転角γを表示制御部３０５に出力する。このとき、表示制御部３０５は、自由視点設定部３０４により導出された回転角γを方向表示部４４１に表示させる。したがって、方向表示部４４１には、パン角αおよびチルト角βに加えて、回転角γが表示される。
以上のように、情報処理装置３００は、表示画面４１１に、自由視点画像の回転に関する情報を操作する環境を追加する。情報処理装置３００は、ＵＩ画面を介してユーザが指示した自由視点画像の回転に関する情報（回転角γ）を取得する。そして、情報処理装置３００は、回転角γに基づいて、視点から注視点を見た自由視点画像を生成する。したがって、ユーザが視聴したい自由視点画像をより適切に生成することができる。

また、回転角γは、垂直方向における視点位置を指定するための視点マーカー４３５を用いて指示することができる。つまり、垂直方向入力部４３０は、自由視点画像の回転に関する情報を取得するための回転情報取得機能を有する。このように、ユーザは、垂直方向における視点位置に関する情報と自由視点画像の回転に関する情報とを共通のマーカーを用いて指示することができるので、自由視点設定を効率的に行うことができる。さらに、回転操作が可能なマーカーを用いて回転角γを指示することができるので、ユーザは直観的な操作が可能となる。

続いて、実空間におけるカメラの位置を示す情報を含むＵＩ画面を表示させる場合について説明する。
図６は、本実施形態における表示部４００に表示される表示画面４１２の一例である。図６において、上述した表示画面４１０および４１１と同一部分には同一符号を付し、以下、表示画面４１０および４１１とは異なる部分を中心に説明する。
本実施形態では、表示画面４１２の水平方向入力部４２０と垂直方向入力部４３０とにおいて、実際のスタジアムにおけるカメラの設置位置を考慮した位置情報の入力を可能とする。具体的には、水平方向入力部４２０には、実際のカメラの水平方向における設置位置を示す情報を表示する。また、垂直方向入力部４３０には、実際のカメラの垂直方向における設置位置を示す情報を表示する。

図６では、実際のスタジアムにおいて、カメラがフィールドを囲む観客席に３列に配置されている場合の表示画面４１２を示している。３列のカメラは、観客席の上下方向および前後方向に位置をずらして配置されている。具体的には、下段のカメラが最前列に配置され、上段のカメラが最後列に配置されている。
このように３列のカメラが配置されている場合、図６に示すように、水平方向入力部４２０には、３列のカメラの水平方向における設置位置を示す情報が表示される。本実施形態では、水平方向入力部４２０には、上段のカメラの水平方向の設置位置に「上」、中段のカメラの水平方向の設置位置に「中」、下段のカメラの水平方向の設置位置に「下」を表示している。同様に、垂直方向入力部４３０には、上段のカメラの垂直方向の設置位置に「上」、中段のカメラの垂直方向の設置位置に「中」、下段のカメラの垂直方向の設置位置に「下」を表示している。

以上のように、本実施形態における情報処理装置３００は、視点位置や注視点位置の入力を受け付け可能なＵＩ画面に、自由視点画像の生成に用いる画像を撮像する複数のカメラの位置を示す情報を表示させる表示制御を行う。これにより、ユーザは、ＵＩ画面の表示に従って、実際のカメラの設置位置に視点位置を設定することが可能となる。なお、カメラ配置は上記３列に限られるものではなく、実際のスタジアムの形状に応じた更に多段の配列にも対応する構成であってもよい。

（変形例）
上記各実施形態においては、ユーザは、４個のマーカー操作により、視点位置および注視点位置を指定する場合について説明したが、視点位置および注視点位置の指定方法は上記に限定されない。上述したように、注視点位置を固定、或いは、特定のプレーヤーに対して自動追尾とする場合には、視点位置を水平方向と垂直方向とでそれぞれ指定するための２個のマーカーを用意すればよい。
また、上記各実施形態においては、ユーザは、タッチパネル操作により視点位置および注視点位置に関する情報を指定する場合について説明した。しかしながら、ユーザ端末がＰＣ等である場合、キーボードやマウス等のポインティングデバイスを操作して視点位置および注視点位置に関する情報や、自由視点画像の回転に関する情報を指示してもよい。
さらに、上記各実施形態においては、スタジアムに配置した複数のカメラの撮像画像から自由視点画像を生成する映像生成システムについて説明したが、スタジアムに限定されるものではなく、コンサートホール等の施設にも適用可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…映像生成システム、２００−１〜２００−ｎ…撮像部、３００…情報処理装置、３０１…映像取得部、３０２…映像処理部、３０３…映像生成部、３０４…自由視点設定部、３０５…表示制御部、３１１…水平方向取得部、３１２…垂直方向取得部、４００…表示部

Claims (17)

1. 撮像領域を複数の撮像装置によりそれぞれ異なる方向から撮像することで得られる複数の画像に基づく自由視点画像の生成に係る視点の３次元位置を示す視点情報を出力する情報処理装置であって、
   前記視点の指定に係る第１画像と第２画像とが表示された表示部に含まれる第１表示領域であって前記第１画像が表示された前記第１表示領域内の位置を指定するユーザ操作に基づいて、前記視点の位置の２次元座標を決定する第１決定手段と、
   前記第１表示領域とは異なる第２表示領域であって前記第２画像が表示された前記第２表示領域内の位置を指定するユーザ操作に基づいて、前記視点の位置の１次元座標を決定する第２決定手段と、
   前記第１表示領域内の位置を指定するユーザ操作に基づいて、前記自由視点画像の生成に係る視点が向けられるべき注視点の位置の２次元座標を決定する第３決定手段と、
   前記第２表示領域内の位置を指定するユーザ操作に基づいて、前記注視点の位置の１次元座標を決定する第４決定手段と、
   前記第１決定手段により決定された２次元座標と前記第２決定手段により決定された１次元座標とに基づいて決まる前記視点の３次元位置及び前記第３決定手段により決定された２次元座標と前記第４決定手段により決定された１次元座標とに基づいて決まる前記注視点の３次元位置を示す情報を含む前記視点情報を出力する出力手段と、を有することを特徴とする情報処理装置。
2. 前記第１表示領域内の２つの位置を指定するユーザ操作が行われた場合に、当該２つの位置の一方に基づいて前記第１決定手段が前記視点の２次元座標を決定し、且つ、当該２つの位置の他方に基づいて前記第３決定手段が前記注視点の２次元座標を決定することを特徴とする請求項１に記載の情報処理装置。
3. 撮像領域を複数の撮像装置によりそれぞれ異なる方向から撮像することで得られる複数の画像に基づく自由視点画像の生成に係る視点の３次元位置を示す視点情報を出力する情報処理装置であって、
   前記視点の指定に係る第１画像と第２画像とが表示された表示部に含まれる第１表示領域であって前記第１画像が表示された前記第１表示領域内の位置を指定するユーザ操作に基づいて、前記視点の位置の２次元座標を決定する第１決定手段と、
   前記第１表示領域とは異なる第２表示領域であって前記第２画像が表示された前記第２表示領域内の位置を指定するユーザ操作に基づいて、前記視点の位置の１次元座標を決定する第２決定手段と、
   前記第２表示領域内の位置を指定するユーザ操作に基づいて、前記視点が向けられる方向を軸とする回転に係る前記視点の回転角を決定する第５決定手段と、
   前記第１決定手段により決定された２次元座標と前記第２決定手段により決定された１次元座標とに基づいて決まる前記視点の３次元位置及び前記第５決定手段により決定された前記視点の回転角を示す情報を含む前記視点情報を出力する出力手段と、を有することを特徴とする情報処理装置。
4. 前記第１決定手段により決定される２次元座標は、水平方向における前記視点の位置を示し、
   前記第２決定手段により決定される１次元座標は、鉛直方向における前記視点の位置を示すことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記表示部に含まれる前記第１表示領域と前記第２表示領域にそれぞれ異なる画像を表示させる表示制御手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記表示制御手段は、前記出力手段により出力される前記視点情報に基づいて生成された自由視点画像を、前記表示部内の第３表示領域に表示させることを特徴とする請求項５に記載の情報処理装置。
7. 前記第１表示領域には、前記撮像領域の少なくとも一部を含む画像が表示されることを特徴とする請求項１乃至６の何れか1項に記載の情報処理装置。
8. 前記第1表示領域と前記第２表示領域との少なくとも一方には、撮像装置によって撮像された画像が表示されることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記第１表示領域と前記第２表示領域との少なくとも一方には、実空間を模したコンピュータグラフィックス画像が表示されることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記第１表示領域と前記第２表示領域との少なくとも一方には、前記複数の撮像装置の位置を示す画像が表示されることを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記第１表示領域内の位置を指定するユーザ操作と、前記第２表示領域内の位置を指定するユーザ操作とに基づいて、前記視点の向きを決定する第６決定手段を有し、
    前記出力手段が出力する前記視点情報は、前記第６決定手段により決定された前記視点の向きを示す情報を含むことを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 前記複数の画像と前記出力手段により出力される前記視点情報とに基づいて、前記視点の３次元位置に応じた自由視点画像を生成する生成手段を有することを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
13. 撮像領域を複数の撮像装置によりそれぞれ異なる方向から撮像することで得られる複数の画像に基づく自由視点画像の生成に係る視点の３次元位置を示す視点情報を出力する情報処理方法であって、
    前記視点の指定に係る第１画像と第２画像とが表示された表示部に含まれる第１表示領域であって前記第１画像が表示された前記第１表示領域内の位置を指定するユーザ操作に基づいて、前記視点の位置の２次元座標を決定する第１決定工程と、
    前記第１表示領域とは異なる第２表示領域であって前記第２画像が表示された前記第２表示領域内の位置を指定するユーザ操作に基づいて、前記視点の位置の１次元座標を決定する第２決定工程と、
    前記第１表示領域内の位置を指定するユーザ操作に基づいて、前記自由視点画像の生成に係る視点が向けられるべき注視点の位置の２次元座標を決定する第３決定工程と、
    前記第２表示領域内の位置を指定するユーザ操作に基づいて、前記注視点の位置の１次元座標を決定する第４決定工程と、
    前記第１決定工程において決定された２次元座標と前記第２決定工程において決定された１次元座標とに基づいて決まる前記視点の３次元位置及び前記第３決定工程において決定された２次元座標と前記第４決定工程において決定された１次元座標とに基づいて決まる前記注視点の３次元位置を示す情報を含む前記視点情報を出力する出力工程と、を有することを特徴とする情報処理方法。
14. 撮像領域を複数の撮像装置によりそれぞれ異なる方向から撮像することで得られる複数の画像に基づく自由視点画像の生成に係る視点の３次元位置を示す視点情報を出力する情報処理方法であって、
    前記視点の指定に係る第１画像と第２画像とが表示された表示部に含まれる第１表示領域であって前記第１画像が表示された前記第１表示領域内の位置を指定するユーザ操作に基づいて、前記視点の位置の２次元座標を決定する第１決定工程と、
    前記第１表示領域とは異なる第２表示領域であって前記第２画像が表示された前記第２表示領域内の位置を指定するユーザ操作に基づいて、前記視点の位置の１次元座標を決定する第２決定工程と、
    前記第２表示領域内の位置を指定するユーザ操作に基づいて、前記視点が向けられる方向を軸とする回転に係る前記視点の回転角を決定する第５決定工程と、
    前記第１決定工程において決定された２次元座標と前記第２決定工程において決定された１次元座標とに基づいて決まる前記視点の３次元位置及び前記第５決定工程において決定された前記視点の回転角を示す情報を含む前記視点情報を出力する出力工程と、を有することを特徴とする情報処理方法。
15. 前記第１決定工程により決定される２次元座標は、水平方向における前記視点の位置を示し、
    前記第２決定工程により決定される１次元座標は、鉛直方向における前記視点の位置を示すことを特徴とする請求項１３又は１４に記載の情報処理方法。
16. 前記第１表示領域内の位置を指定するユーザ操作と、前記第２表示領域内の位置を指定するユーザ操作とに基づいて、前記視点の向きを決定する第６決定工程を有し、
    前記出力工程において出力される前記視点情報は、前記第６決定工程において決定された前記視点の向きを示す情報を含むことを特徴とする請求項１３乃至１５の何れか１項に記載の情報処理方法。
17. コンピュータを、請求項１乃至１２の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images