JP5520146B2

JP5520146B2 - 映像受信装置、及びその制御方法

Info

Publication number: JP5520146B2
Application number: JP2010150255A
Authority: JP
Inventors: 知也浅沼
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-06-30
Filing date: 2010-06-30
Publication date: 2014-06-11
Anticipated expiration: 2030-06-30
Also published as: JP2012015788A

Description

本発明は、映像受信装置、及びその制御方法に関する。

デジタル放送が開始され、デジタル放送を受信可能なテレビ（デジタルテレビ）が普及している。現在、本格的なデジタル放送時代を迎え、様々な次世代放送システムの研究・開発が多数行われている。その中のひとつとして、カメラ視点をユーザ（視聴者）が自由に指示できる「任意視点映像」が注目されている。ユーザが指示したカメラ視点に対応する任意視点映像は、複数の視点で撮影された映像を用いて生成される。

この任意視点映像技術は放送システムだけでなく、車載用映像表示システムや監視カメラなどの分野でも利用されている（特許文献１参照）。特許文献１の画像生成装置は、仮想視点画像への切り替えの際、目的仮想視点位置まで連続的に仮想視点を移動し、その移動に対応した画像を出力する。また、この画像生成装置は、仮想視点の移動速度を、車両の危険状況に応じて設定する視点移動速度設定手段を備える。

特開２００９−０９３４８５号公報

受信中の放送映像に対応する任意視点映像を取得可能なデジタルテレビが任意視点映像を表示している場合を考える。この場合に、デジタルテレビの表示映像を任意視点映像から放送映像（標準映像）に切り替えると、映像の視点が大きく変化する可能性がある。その結果、ユーザが切り替え後の映像の視点を認識できず、映像に違和感を覚える可能性がある。特許文献１は、任意視点映像の視点の切り替えに関する技術を開示するが、映像自体の切り替え（任意視点映像から標準映像への切り替え）については考慮していない。

本発明はこのような状況に鑑みてなされたものであり、任意視点映像から標準映像への切り替えに伴う視点の変化をユーザが認識することを容易にする技術を提供することを目的とする。

上記課題を解決するために、第１の本発明は、所定の撮像装置により撮像された映像を表す標準映像データを受信する映像受信手段と、被撮像空間に対する任意の視点を指定する指定手段と、複数の撮像装置それぞれが異なる視点から前記被撮像空間を撮像することにより得られる複数の映像データに基づいて生成される、前記指定手段により指定された所定の視点から見た前記被撮像空間の仮想的な映像を表す任意視点映像データを取得する映像取得手段と、前記任意視点映像データまたは前記標準映像データを出力する出力手段と、前記標準映像データの映像の視点である標準視点を示す情報を取得する視点取得手段と、前記出力手段での出力を前記任意視点映像データから前記標準映像データへと切り替える切り替え指示をユーザから受信する指示受信手段と、前記映像取得手段が前記標準視点の前記任意視点映像データを取得可能であるか否かを判定し、前記映像取得手段が前記標準視点の前記任意視点映像データを取得可能であると判定された場合、前記切り替え指示の受信に応えて、前記任意視点映像データの視点を前記所定の視点から前記標準視点へ向かって段階的に移動させるように前記指定手段を制御し、当該移動の完了後に、出力を前記任意視点映像データから前記標準映像データへと切り替えるように前記出力手段を制御する、制御手段と、を備えることを特徴とする映像受信装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

以上の構成により、本発明によれば、任意視点映像から標準映像への切り替えに伴う視点の変化をユーザが認識することを容易にすることが可能となる。

第１の実施形態に係るデジタル放送受信装置１００を含むシステムの構成例を示す図デジタル放送受信装置１００及び放送局２５０の詳細な構成を示すブロック図（ａ）第１の実施形態に係る任意視点映像再生処理を示すシーケンス図、（ｂ）任意視点映像再生処理の他の例を示すシーケンス図標準映像の視点（標準視点）を示す情報を取得する処理を示すフローチャート任意視点映像の被撮像空間に対する視点を示す情報を取得する処理を示すフローチャート任意視点映像の視点を標準映像の視点に向かって移動させる処理を示すフローチャート標準映像の番組情報を取得する処理を示すフローチャート任意視点映像の視点の指定可能な範囲を取得する処理を示すシーケンス図表示制御部２２０の出力を任意視点映像データから標準映像データへと切り替える処理を示すフローチャート任意視点映像から標準映像への切り替えの際の、任意視点映像の視点の移動を示す概略図任意視点映像から標準映像への切り替えの際に標準映像の視点が任意視点映像の視点の指定可能範囲外である場合を示す概略図第２の実施形態に係る、図９のＳ９０８の処理と並行して実行される処理を示すフローチャート第２の実施形態に係る映像の切り替えを示す概略図第３の実施形態に係る、図９のＳ９０８の処理と並行して実行される処理を示すフローチャート第３の実施形態に係る映像の切り替えを示す概略図

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
本発明の映像受信装置をデジタル放送受信装置に適用した実施形態について説明する。本実施形態のデジタル放送受信装置は、デジタル放送波（放送信号）に含まれる放送映像を受信可能であり、また、複数のカメラ（撮像装置）それぞれが異なる視点から被撮像空間を撮像することにより得られる複数の映像データをインターネット経由で取得可能である。本実施形態において、「任意視点映像」は、このような複数の映像に基づいて生成される、指定された所定の視点から見た前記被撮像空間の仮想的な映像を意味する。

図１は、第１の実施形態に係るデジタル放送受信装置１００を含むシステムの構成例を示す図である。デジタル放送受信装置１００は、イーサネット（登録商標）１０１を介して、ルータ１０３やその他のネットワークデバイス１０２と通信可能である。デジタル放送受信装置１００は、ルータ１０３を介してインターネット１０４に接続している。また、デジタル放送受信装置１００は、アンテナ１０５からデジタル放送波を受信し、デジタル放送を再生することができる。

図２は、デジタル放送受信装置１００及び放送局２５０の詳細な構成を示すブロック図である。デジタル放送受信装置１００は、放送局２５０が放送する放送映像を受信することができる。最初に、放送映像の受信及び再生等に関係するブロックについて説明する。

図２において、アンテナ１０５により受信された信号は、チューナ部２１０に入力される。チューナ部２１０は、トランスポートストリームデータ（ＴＳ）を生成する。チューナ部２１０は、デスクランブラ２１１を経て、複数チャンネル分の映像、音声データ、及び番組情報データ等が多重化されているＴＳをデータ分離部２１２へ出力する。データ分離部２１２は、リモコン２０１により選択された番組の音声データ、映像データ、及び番組情報データをＴＳの中から取り出し、それぞれを音声デコード部２１３、映像デコード部２１４、番組情報デコード部２１５へ入力する。

映像デコード部２１４は、データ分離部２１２から入力された映像データに対して、ＭＰＥＧ等の復号化処理を施し、復号した映像データを映像処理部２１７に出力する。音声デコード部２１３は、データ分離部２１２から入力された音声データに対して復号化処理を施し、音声制御部２１９へ出力する。音声制御部２１９は、音声データに対して、Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換処理等を施し、音声出力部２２１に出力する。

番組情報デコード部２１５は、データ分離部２１２から入力された番組情報データから所望の情報を取得し、番組情報処理部２１６、映像処理部２１７、及びＧＵＩ（ＧｒａｐｈｉｃＵｓｅｒＩｎｔｅｒｆａｃｅ）処理部２１８へ出力する。番組情報データには、ＳＩ（ＳｅｒｖｉｃｅＩｎｆｏｒｍａｔｉｏｎ）データ、及びＰＳＩ（ＰｒｏｇｒａｍＳｐｅｃｉｆｉｃＩｎｆｏｒｍａｔｉｏｎ）データが含まれている。

映像処理部２１７は、映像デコード部２１４から入力された映像データと、番組情報デコード部２１５から入力された番組情報とに基づいて映像調整処理を施し、調整した映像データを表示制御部２２０へ出力する。表示制御部２２０は、映像処理部２１７及びＧＵＩ処理部２１８から入力された映像データや画面データをリモコン２０１からの操作に応じて切り替えたり、合成したりするなどしたりして、表示部２２２へ出力する。

システム制御部２２６は、各構成要素を統括的にコントロールする。システム制御部２２６はまた、リモコン２０１からの指示を受光部２０２経由で受信する。

次に、図２に加えて図３（ａ）を参照して、任意視点映像生成用データの取得や任意視点映像の再生に関連するブロックについて説明する。図３（ａ）は、第１の実施形態に係る任意視点映像再生処理を示すシーケンス図である。図３（ａ）では、デジタル放送受信装置１００が任意視点映像を生成する。図３（ａ）の処理に先立ち、デジタル放送受信装置１００は、放送局２５０の任意視点映像生成用データサーバ２５１とインターネット１０４経由で接続する。なお、任意視点映像生成用データを生成する任意視点映像生成用データサーバ２５１は、放送局２５０の外にあってもよい。

Ｓ３００で、任意視点情報処理部２３２は、リモコン２０１を介したユーザからの任意視点移動指示を受信する。Ｓ３０１で、任意視点情報処理部２３２は、移動先の視点を持つ任意視点映像を生成するための任意視点映像作成用データを取得するために、任意視点映像作成用データ取得要求を作成する。Ｓ３０２で、任意視点情報処理部２３２は、作成された任意視点映像作成用データ取得要求を、要求データ処理部２３４及び通信制御部２２７を経由して放送局２５０の任意視点映像生成用データサーバ２５１に送信する。

Ｓ３０３で、任意視点映像生成用データサーバ２５１は、デジタル放送受信装置１００から受信した任意視点映像作成用データ取得要求を解析する。Ｓ３０４で、任意視点映像生成用データサーバ２５１は、複数の固定カメラ２５２から映像データを取得する。複数の固定カメラ２５２は、それぞれが異なる視点から被撮像空間（例えば、サッカー競技場）を撮像するように（例えば、被撮像空間を取り囲むように）設置されている。任意視点映像生成用データサーバ２５１は、取得した映像データに基づき、任意視点映像作成用データを作成する。Ｓ３０５で、任意視点映像生成用データサーバ２５１は、作成した任意視点映像作成用データをデジタル放送受信装置１００へ送信する。

なお、任意視点映像生成用データサーバ２５１は、任意視点映像作成用データの作成に際しては必ずしも、固定カメラ２５２から取得した映像データを加工する必要はない。例えば、任意視点映像生成用データサーバ２５１は、固定カメラ２５２から取得した映像データ自体、及びその映像データの視点情報を、任意視点映像作成用データとしてデジタル放送受信装置１００へ送信してもよい。

Ｓ３０６で、受信データ解析部２３０は、通信制御部２２７を介して受信した任意視点映像生成用データを解析し、任意視点映像生成用データを解析結果と共に任意視点情報処理部２３２に出力する。Ｓ３０７で、任意視点情報処理部２３２（任意視点映像データ取得手段）は、入力された任意視点映像作成用データ及び解析結果に基づいて任意視点映像を生成する。Ｓ３０８で、任意視点情報処理部２３２は、任意視点映像を表示制御部２２０へ出力する。表示制御部２２０は、入力された任意視点映像と（必要であれば）ＧＵＩ処理部２１８から入力されたＧＵＩとを合成して表示部２２２へ出力する。これにより、任意視点映像が表示される。

図３（ａ）の処理ではデジタル放送受信装置１００が任意視点映像を生成したが、他の場所で生成が行われてもよい。一例として、図３（ｂ）は、任意視点映像生成用データサーバが任意視点映像を生成する場合を示す。図３（ｂ）において、図３（ａ）と同一又は同様の処理が行われるステップには同一の符号を付し、説明を省略する。

Ｓ３１１で、任意視点情報処理部２３２は、移動先の視点を持つ任意視点映像を取得する要求を作成する。Ｓ３１２で、任意視点情報処理部２３２は、作成された任意視点映像取得要求を、要求データ処理部２３４及び通信制御部２２７を経由して放送局２５０の任意視点映像生成用データサーバ２５１に送信する。

Ｓ３１３で、任意視点映像生成用データサーバ２５１は、デジタル放送受信装置１００から受信した任意視点映像取得要求を解析する。Ｓ３１４で、任意視点映像生成用データサーバ２５１は、複数の固定カメラ２５２から映像データを取得し、取得した映像データに基づき、任意視点映像を生成する。Ｓ３１５で、任意視点映像生成用データサーバ２５１は、生成した任意視点映像データをデジタル放送受信装置１００へ送信する。Ｓ３１６で、任意視点情報処理部２３２は、任意視点映像を表示制御部２２０へ出力する。表示制御部２２０は、入力された任意視点映像と（必要であれば）ＧＵＩ処理部２１８から入力されたＧＵＩとを合成して表示部２２２へ出力する。これにより、任意視点映像が表示される。

以上の図３（ａ）又は図３（ｂ）の処理の繰り返しにより、デジタル放送受信装置１００は、ユーザが希望する視点を持つ任意視点映像を再生することができる。

次に、任意視点映像から標準映像への切り替え処理について説明する。本実施形態では、標準映像はデジタル放送受信装置１００がチューナ部２１０を介して受信する放送映像であるものとする。しかしながら、標準映像は、チューナ部２１０を介して受信する放送映像に限定されず、インターネットを介して受信する映像であってもよく、任意視点映像と同じ放送番組における標準的（代表的）な映像であれば、どのような映像であっても構わない。放送局は、任意視点映像に対応する被撮像空間を撮影する複数の固定カメラ２５２の中から１つのカメラを選択し、放送番組の進行状況に合わせて、選択するカメラを切り替えながら標準映像として放送する形態が想定される。ただし、放送途中で、任意視点映像に対応する被撮像空間とは異なる被写体を撮影しているカメラの映像を標準映像に挿入したり、ＶＴＲ再生映像を標準映像に挿入したりすることも想定される。

図４は、標準映像の視点（標準視点）を示す情報を取得する処理を示すフローチャートである。本フローチャートの処理は、所定の間隔（例えば、１秒）毎に定期的に行われる。

Ｓ４０１で、標準映像情報処理部２３１は、システム制御部２２６から現在の出力状態（デジタル放送映像出力中、任意視点映像出力中、外部入力映像出力中など）を取得する。Ｓ４０２で、標準映像情報処理部２３１は、現在の出力状態が「任意映像出力中」であるか否かを判定する。「任意映像出力中」の場合、処理はＳ４０３に進み、そうでない場合、本フローチャートの処理は終了する。

Ｓ４０３で、標準映像情報処理部２３１（視点取得手段）は、要求データ処理部２３４及び通信制御部２２７を介して、任意視点映像生成用データサーバ２５１から現在出力中の任意視点映像に対応する標準映像の視点情報を取得する。視点情報は、例えば、カメラ位置、パン・チルト角、ズーム情報、画角情報などを含み、視点はこれらの情報の組み合わせにより表現される。なお、標準映像の視点情報がデジタル放送波に重畳されている場合、標準映像情報処理部２３１はデジタル放送波から標準映像の視点情報を取得してもよい。

Ｓ４０４で、標準映像情報処理部２３１は、今回取得した視点情報が示す視点が以前に取得した保存済みの視点情報が示す視点と同じであるか否かを判定する。同じ場合、本フローチャートの処理は終了する。そうでない場合、処理はＳ４０５に進む。

Ｓ４０５で、標準映像情報処理部２３１は、保存済みの視点情報を「前回の視点情報」として記憶する。Ｓ４０６で、標準映像情報処理部２３１は、今回取得した視点情報を「最新の視点情報」として保存することにより、保存済みの視点情報を更新する。

以上の処理により、標準映像情報処理部２３１には、標準映像の最新の視点情報が保存される。

図５は、任意視点映像の被撮像空間に対する視点を示す情報を取得する処理を示すフローチャートである。本フローチャートの処理は、所定の間隔（例えば、１秒）毎に定期的に行われる。

Ｓ５０１で、任意視点情報処理部２３２は、システム制御部２２６から現在の出力状態（デジタル放送映像出力中、任意視点映像出力中、外部入力映像出力中など）を取得する。Ｓ５０２で、任意視点情報処理部２３２は、現在の出力状態が「任意映像出力中」であるか否かを判定する。「任意映像出力中」の場合、処理はＳ５０３に進み、そうでない場合、本フローチャートの処理は終了する。

Ｓ５０３で、任意視点情報処理部２３２は、要求データ処理部２３４及び通信制御部２２７を介して、任意視点映像生成用データサーバ２５１から任意視点映像の視点情報を取得する。

Ｓ５０４で、任意視点情報処理部２３２は、今回取得した視点情報が示す視点が以前に取得した保存済みの視点情報が示す視点と同じであるか否かを判定する。同じ場合、本フローチャートの処理は終了する。そうでない場合、処理はＳ５０５に進む。Ｓ５０５で、任意視点情報処理部２３２は、今回取得した視点情報を「最新の視点情報」として保存することにより、保存済みの視点情報を更新する。

以上の処理により、任意視点情報処理部２３２には、任意視点映像の最新の視点情報が保存される。

なお、任意視点情報処理部２３２は、図３（ａ）又は図３（ｂ）のＳ３００においてユーザから指定された視点に基づいて視点情報を生成してもよい。即ち、図３（ａ）のＳ３０１又は図３（ｂ）のＳ３１１において、任意視点情報処理部２３２は指定手段として任意視点映像の所定の視点を指定し、この視点を示す情報を保存する。この場合、図５の処理は不要である。

図６は、任意視点映像の視点を標準映像の視点に向かって移動させる処理を示すフローチャートである。図６の処理は、任意視点映像から標準映像への切り替え処理（図９を参照して後述）のサブルーチンである。

Ｓ６０３で、視点移動映像再生処理部２３５は、標準映像情報処理部２３１から、現在の標準映像の視点情報（図４のＳ４０６で保存された視点情報）を取得する。Ｓ６０４で、視点移動映像再生処理部２３５は、任意視点情報処理部２３２から、現在の任意視点映像の視点情報（図５のＳ５０５で保存された視点情報）を取得する。

Ｓ６０５で、視点移動映像再生処理部２３５は、Ｓ６０３及びＳ６０４で取得した視点情報に基づいて、任意視点映像の現在の視点から標準映像の視点へ向かう経路（視点移動経路）を決定する。ここでは例えば、標準映像の被写体情報、標準映像のカメラ位置情報、視点方向情報、ズーム情報などに基づいて、被写体が視野内に含まれるように、任意視点映像の視点が標準映像の視点と最終的に一致する経路決定処理が行われる。Ｓ６０６で、視点移動映像再生処理部２３５は、Ｓ６０５で決定した視点移動経路上での視点移動速度を取得する。視点移動速度は、ユーザにより設定可能なデータであってもよいし、変更不可能なデータであってもよい。

Ｓ６０７で、視点移動映像再生処理部２３５は、Ｓ６０５で決定した視点移動経路に沿ってＳ６０６で取得した速度で任意視点映像の視点を標準映像の視点へ向かって段階的に移動させるように任意視点情報処理部２３２を制御する。任意視点情報処理部２３２は、この制御に従い、移動する視点を任意視点映像生成用データサーバ２５１に対して次々と指示する（図３（ａ）のＳ３０２及び図３（ｂ）のＳ３１２を参照）。これにより、生成される任意視点映像の視点が段階的に移動する。

図７は、標準映像の番組情報を取得する処理を示すフローチャートである。本フローチャートの処理は、所定の間隔（例えば、１秒）毎に定期的に行われる。Ｓ７０１で、番組情報管理部２３３は、システム制御部２２６から現在の出力状態（デジタル放送映像出力中、任意視点映像出力中、外部入力映像出力中など）を取得する。Ｓ７０２で、番組情報管理部２３３は、現在の出力状態が「任意映像出力中」であるか否かを判定する。「任意映像出力中」の場合、処理はＳ７０３に進み、そうでない場合、本フローチャートの処理は終了する。

Ｓ７０３で、番組情報管理部２３３は、番組情報処理部２１６から現在出力中の任意視点映像に対応する標準映像の番組情報を取得して保存する。番組情報には、標準映像の状態（番組放送中、ＣＭ中、臨時番組放送中、など）に関する情報が含まれる。

図８は、任意視点映像の視点の指定可能な範囲を取得する処理を示すシーケンス図である。デジタル放送受信装置１００は放送局２５０の任意視点映像生成用データサーバ２５１とインターネット１０４経由で接続している。

Ｓ８０２で、任意視点情報処理部２３２は、任意視点の指定可能範囲の取得要求を、要求データ処理部２３４及び通信制御部２２７を介して任意視点映像生成用データサーバ２５１に送信する。

Ｓ８０３で、任意視点映像生成用データサーバ２５１は、デジタル放送受信装置１００から受信したデータを解析することにより、任意視点の指定可能範囲の取得要求を検出する。Ｓ８０５で、任意視点映像生成用データサーバ２５１は、任意視点の指定可能範囲を示す範囲データを生成する。Ｓ８０６で、任意視点映像生成用データサーバ２５１は、範囲データをデジタル放送受信装置１００へ送信する。Ｓ８０８で、任意視点情報処理部２３２は、任意視点映像生成用データサーバ２５１から受信した範囲データを保存する。任意視点の指定可能範囲を示す範囲データは、例えば３次元座標で定められる。視点の異なる複数のカメラで撮影された複数の映像（多視点映像）に合成処理を施す等して任意視点映像が生成される場合、複数のカメラのカメラ位置座標情報、パン・チルト角情報（方向ベクトル情報）、画角情報（視野角情報）などの視点情報により、任意視点の指定可能範囲を示す範囲データが定められる。

図９は、表示制御部２２０の出力を任意視点映像データから標準映像データへと切り替える処理を示すフローチャートである。システム制御部２２６（指示受信手段）が任意視点映像データから前記標準映像データへの切り替え指示をリモコン２０１を介してユーザから受信すると、本フローチャートの処理が開始する。システム制御部２２６は、本フローチャートの処理全体を統括する。

Ｓ９０３で、任意視点情報処理部２３２は、番組情報管理部２３３から標準映像の番組情報（図７のＳ７０３で保存された番組情報）を取得する。Ｓ９０４で、任意視点情報処理部２３２は、Ｓ９０３で取得した番組情報に基づき、標準映像の状態が番組放送中であるか否かを判定する。番組放送中の場合、処理はＳ９０５に進み、そうでない場合、処理はＳ９０９へ進む。

Ｓ９０５で、任意視点情報処理部２３２は、標準映像情報処理部２３１から、現在の標準映像の視点情報（図４のＳ４０６で保存された視点情報）を取得する。Ｓ９０６で、任意視点情報処理部２３２は、任意視点の指定可能範囲を示す範囲データ（図８のＳ８０８で保存された範囲データ）を取得する。Ｓ９０７で、任意視点情報処理部２３２は、標準映像の視点が任意視点の指定可能範囲内であるか否かを判定する。範囲内であれば処理はＳ９０８に進み、そうでない場合、処理はＳ９０９に進む。

Ｓ９０８で、視点移動映像再生処理部２３５は、図６を参照して説明した、任意視点映像の視点を標準映像の視点に向かって移動させる処理を実行する。

Ｓ９０９で、システム制御部２２６は、出力を任意視点映像データから標準映像データへと切り替えるように表示制御部２２０を制御する。

以上説明したように、本実施形態によれば、デジタル放送受信装置１００は、原則としてＳ９０８の処理の完了後（即ち、任意視点映像の視点が標準映像の視点へ向かって段階的に移動する処理の完了後）にＳ９０９の処理（任意視点映像から標準映像への切り替え）を行う（図１０参照）。これにより、ユーザは、任意視点映像から標準映像への切り替えに伴う視点の変化を容易に認識することができる。

また、任意視点映像から標準映像への切り替えの際に標準映像の視点が任意視点映像の視点の指定可能範囲外である場合、デジタル放送受信装置１００は、Ｓ９０８の処理を行わずにＳ９０９の処理を行う（図１１参照）。これにより、標準映像の視点が任意視点映像の視点の指定可能範囲外である場合でも、映像の切り替えが正常に行われる。例えば、サッカーなどのスポーツ番組において、任意視点映像の視点の指定可能範囲がサッカー競技場内のエリアで、標準映像がサッカー競技場外の映像やＶＴＲ再生映像である場合は、標準映像の視点が任意視点映像の視点の指定可能範囲外であると判定される（Ｓ９０７からＳ９０９に進む）。なお、ここでは、任意視点の指定可能範囲を示す範囲データは、３次元座標で定められるものとしたが、カメラの識別情報のみで定められるものであってもよい。この場合、Ｓ９０７において、任意視点映像を生成するための元となる複数の映像（多視点映像）を撮影する複数のカメラの識別情報と、標準映像に対応するカメラの識別情報とが比較され、識別情報が一致しない場合に、標準映像の視点が任意視点映像の視点の指定可能範囲外であると判定される。

［第２の実施形態］
第２の実施形態では、図９のＳ９０８における視点の移動のための制御の実行中に、標準映像を撮像した撮像装置が別の撮像装置に変化した場合について説明する。図１２は、第２の実施形態に係る、図９のＳ９０８の処理と並行して実行される処理を示すフローチャートである。

Ｓ１２０１で、任意視点情報処理部２３２は、標準映像情報処理部２３１から、現在の標準映像の視点情報（図４のＳ４０６で保存された視点情報）を取得する。Ｓ１２０２で、任意視点情報処理部２３２は、標準映像情報処理部２３１から、標準映像の「前回の視点情報」（図４のＳ４０５で保存された視点情報）を取得する。第２の実施形態では、標準映像の視点情報は、標準映像を撮像したカメラ（撮像装置）を特定する情報を含むものとする。

Ｓ１２０３で、任意視点情報処理部２３２は、Ｓ１２０１で取得した視点情報をＳ１２０２で取得した「前回の視点情報」と比較する。比較処理の結果、撮像装置が別の撮像装置に変化した場合、処理はＳ１２０４からＳ１２０５へと進む。

Ｓ１２０５で、任意視点情報処理部２３２は、視点移動映像再生処理部２３５に対し、視点移動映像再生処理（任意視点映像の視点の移動のための制御）の中止を要求する。その後、Ｓ１２０６で、システム制御部２２６は、図９のＳ９０９と同様に、出力を任意視点映像データから標準映像データへと切り替えるように表示制御部２２０を制御する。

以上の処理により、視点移動映像再生中に標準映像のカメラが切り替った場合でも、映像の切り替えが正常に行われる。図１３は、この場合の映像の切り替えを示す概略図である。

［第３の実施形態］
第３の実施形態では、図９のＳ９０８における視点の移動のための制御の実行中に、標準映像の視点が変化した場合について説明する。図１４は、第３の実施形態に係る、図９のＳ９０８の処理と並行して実行される処理を示すフローチャートである。

Ｓ１４０１で、任意視点情報処理部２３２は、標準映像情報処理部２３１から、現在の標準映像の視点情報（図４のＳ４０６で保存された視点情報）を取得する。Ｓ１４０２で、任意視点情報処理部２３２は、標準映像情報処理部２３１から、標準映像の「前回の視点情報」（図４のＳ４０５で保存された視点情報）を取得する。

Ｓ１４０３で、任意視点情報処理部２３２は、Ｓ１４０１で取得した視点情報をＳ１４０２で取得した「前回の視点情報」と比較する。比較処理の結果、標準映像の視点が変化した場合、処理はＳ１４０４からＳ１４０５へと進む。或いは、標準映像の視点が変化し、且つ、標準映像のカメラが変化していない場合に、処理がＳ１４０４からＳ１４０５へと進んでもよい。

Ｓ１４０５で、視点移動映像再生処理部２３５は、図６のＳ６０５と同様に、任意視点映像の現在の（移動途中の）視点から標準映像の変化後の視点へ向かう経路（視点移動経路）を決定する。Ｓ１４０６で、視点移動映像再生処理部２３５は、図６のＳ６０７と同様に、Ｓ１４０５で決定した視点移動経路に沿って任意視点映像の視点を標準映像の変化後の視点へ向かって段階的に移動させるように任意視点情報処理部２３２を制御する。

以上の処理により、視点移動映像再生中に標準映像の視点が変化した場合でも、任意視点映像の視点の移動がこの変化に追従することができる。図１５は、この場合の映像の切り替えを示す概略図である。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

所定の撮像装置により撮像された映像を表す標準映像データを受信する映像受信手段と、
被撮像空間に対する任意の視点を指定する指定手段と、
複数の撮像装置それぞれが異なる視点から前記被撮像空間を撮像することにより得られる複数の映像データに基づいて生成される、前記指定手段により指定された所定の視点から見た前記被撮像空間の仮想的な映像を表す任意視点映像データを取得する映像取得手段と、
前記任意視点映像データまたは前記標準映像データを出力する出力手段と、
前記標準映像データの映像の視点である標準視点を示す情報を取得する視点取得手段と、
前記出力手段での出力を前記任意視点映像データから前記標準映像データへと切り替える切り替え指示をユーザから受信する指示受信手段と、
前記映像取得手段が前記標準視点の前記任意視点映像データを取得可能であるか否かを判定し、前記映像取得手段が前記標準視点の前記任意視点映像データを取得可能であると判定された場合、前記切り替え指示の受信に応えて、前記任意視点映像データの視点を前記所定の視点から前記標準視点へ向かって段階的に移動させるように前記指定手段を制御し、当該移動の完了後に、出力を前記任意視点映像データから前記標準映像データへと切り替えるように前記出力手段を制御する、制御手段と、
を備えることを特徴とする映像受信装置。
前記制御手段は、前記映像取得手段が前記標準視点の前記任意視点映像データを取得可能でないと判定された場合、前記任意視点映像データの視点を前記所定の視点から前記標準視点へ向かって段階的に移動させる制御を行わずに、出力を前記任意視点映像データから前記標準映像データへと切り替えるように前記出力手段を制御する
ことを特徴とする請求項１に記載の映像受信装置。
前記視点取得手段は、前記標準映像データの映像を撮像した撮像装置を特定する情報を更に取得するように構成され、
前記制御手段は、前記任意視点映像データの視点を前記所定の視点から前記標準視点へ向かって段階的に移動させる制御を実行中に前記標準映像データの映像を撮像した撮像装置が別の撮像装置に変化した場合、当該実行中の制御を中止し、出力を前記任意視点映像データから前記標準映像データへと切り替えるように前記出力手段を制御する
ことを特徴とする請求項１又は２に記載の映像受信装置。
前記制御手段は、前記任意視点映像データの視点を前記所定の視点から前記標準視点へ向かって段階的に移動させる制御を実行中に前記標準視点が変化した場合、前記任意視点映像データの視点を当該変化後の前記標準視点へ向かって段階的に移動させるように前記指定手段を制御する
ことを特徴とする請求項１又は２に記載の映像受信装置。
映像受信装置の制御方法であって、
映像受信手段が、所定の撮像装置により撮像された映像を表す標準映像データを受信する映像受信工程と、
指定手段が、被撮像空間に対する任意の視点を指定する指定工程と、
映像取得手段が、複数の撮像装置それぞれが異なる視点から前記被撮像空間を撮像することにより得られる複数の映像データに基づいて生成される、前記指定工程により指定された所定の視点から見た前記被撮像空間の仮想的な映像を表す任意視点映像データを取得する映像取得工程と、
出力手段が、前記任意視点映像データまたは前記標準映像データを出力する出力工程と、
視点取得手段が、前記標準映像データの映像の視点である標準視点を示す情報を取得する視点取得工程と、
指示受信手段が、前記出力工程での出力を前記任意視点映像データから前記標準映像データへと切り替える切り替え指示をユーザから受信する指示受信工程と、
制御手段が、前記映像取得工程において前記標準視点の前記任意視点映像データを取得可能であるか否かを判定し、前記映像取得工程において前記標準視点の前記任意視点映像データを取得可能であると判定された場合、前記切り替え指示の受信に応えて、前記任意視点映像データの視点を前記所定の視点から前記標準視点へ向かって段階的に移動させるように前記指定工程を制御し、当該移動の完了後に、出力を前記任意視点映像データから前記標準映像データへと切り替えるように前記出力工程を制御する、制御工程と、
を備えることを特徴とする制御方法。
前記制御工程では、前記映像取得工程において前記標準視点の前記任意視点映像データを取得可能でないと判定された場合、前記任意視点映像データの視点を前記所定の視点から前記標準視点へ向かって段階的に移動させる制御を行わずに、出力を前記任意視点映像データから前記標準映像データへと切り替えるように前記出力工程を制御する
ことを特徴とする請求項５に記載の制御方法。
前記視点取得工程では、前記標準映像データの映像を撮像した撮像装置を特定する情報を更に取得し、
前記制御工程では、前記任意視点映像データの視点を前記所定の視点から前記標準視点へ向かって段階的に移動させる制御を実行中に前記標準映像データの映像を撮像した撮像装置が別の撮像装置に変化した場合、当該実行中の制御を中止し、出力を前記任意視点映像データから前記標準映像データへと切り替えるように前記出力工程を制御する
ことを特徴とする請求項５又は６に記載の制御方法。
前記制御工程では、前記任意視点映像データの視点を前記所定の視点から前記標準視点へ向かって段階的に移動させる制御を実行中に前記標準視点が変化した場合、前記任意視点映像データの視点を当該変化後の前記標準視点へ向かって段階的に移動させるように前記指定工程を制御する
ことを特徴とする請求項５又は６に記載の制御方法。