JP5517598B2 - 映像再生装置及びその制御方法 - Google Patents

Description

本発明は、番組コンテンツを構成するそれぞれ視点位置の異なる複数の映像コンテンツから、任意に指定された視点位置に対応する任意視点映像を生成し、再生することが可能な映像再生装置及びその制御方法に関する。

近年、対象物を取り囲むように配置した多数のカメラで撮影された多視点映像コンテンツ（それぞれ視点位置の異なる多数の映像コンテンツ）から、任意に指定された視点位置の任意視点映像を生成する研究が行われている。それぞれ視点位置の異なる多数の映像コンテンツを合成し、補間・再構成することで、本来撮影されていない視点位置の任意視点映像を得ることができる。

下記の特許文献１には、放送番組の標準映像と連携して任意視点映像を提供するサービスにおいて、放送番組の標準映像から任意視点映像にシームレスに切り替える技術が開示されている。任意視点映像の視点の初期値として、放送ストリームから抽出した視点情報を利用することにより、標準映像から任意視点映像へ切り替えた際に、標準映像と同じ視点の任意視点映像を最初の任意視点映像として用いることができる。

一方、放送番組を一旦記録媒体に記録した後に、再生して視聴する技術が古くから提供されている。例えば、光ディスクやハードディスクに放送番組を記録しておき、ユーザは見たい時に見たい番組映像を、希望するシーンから再生することができる。

下記の特許文献２には、番組を構成する複数のシーン（チャプタ）の開始画面を縮小した複数の小画面を表示し、いずれか選択された小画面のシーンを画面一杯に広げて再生する技術が開示されている。

特開２００７−１５０７４７号公報 特開平１１−２０５７１８号公報

今後、放送番組の標準映像と連携して任意視点映像を提供するサービスが開始された場合、ユーザは任意視点映像の番組コンテンツを一旦記録した後、視聴したいときに再生するケースが考えられる。また、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクに記録されている任意視点映像の番組コンテンツを再生して視聴するケースも考えられる。このような場合、ユーザは自由に視点を変更し、希望するチャプタを選んで再生を開始することが想定される。したがって、番組コンテンツに含まれる各チャプタに対応するチャプタ画像の一覧を見ながら、視点変更による映像の見え方の変化をチャプタ画像で確認し、希望する見え方のチャプタ画像を選ぶことができるグラフィカルユーザインターフェースが求められる。

そこで、本発明は、任意視点映像の番組コンテンツを再生して視聴する際に、ユーザが希望する視点のチャプタを容易に見つけることができる映像再生装置及びその制御方法を提供することを目的とする。

上述した課題を解決するために、本発明に係る映像再生装置は、番組コンテンツを構成するそれぞれ視点位置の異なる複数の映像コンテンツから、任意に指定された視点位置に対応する任意視点映像を生成し、再生することが可能な映像再生装置であって、視点位置を指定するための入力手段と、指定された視点位置を示す情報を含む視点情報を取得する取得手段と、前記番組コンテンツを構成する前記複数の映像コンテンツから、前記番組コンテンツに付与された各チャプタ位置の複数の静止画像を抽出する抽出手段と、前記番組コンテンツに付与された各チャプタ位置について、前記取得手段により取得された視点情報を用いて、前記抽出手段により前記複数の映像コンテンツから抽出された前記複数の静止画像を合成処理して、前記指定された視点位置に対応する任意視点静止画像を生成する画像生成手段と、前記画像生成手段により生成された各チャプタ位置に対応する任意視点静止画像を一覧表示する制御を行う表示制御手段と、前記入力手段により指定される視点位置が変更された場合に、当該変更された視点位置が一定期間固定されたか否かを判定する判定手段と、を備える。そして、前記判定手段により、前記変更された視点位置が一定期間固定されたと判定された場合に、前記取得手段は、前記変更された視点位置を示す情報を含む視点情報を新たに取得し、前記画像生成手段は、前記番組コンテンツに付与された各チャプタ位置について、前記取得手段により新たに取得された視点情報を用いて、前記抽出手段により前記複数の映像コンテンツから抽出された前記複数の静止画像を合成処理して、前記変更された視点位置に対応する任意視点静止画像を新たに生成し、前記表示制御手段は、前記画像生成手段により新たに生成された、各チャプタ位置の前記変更された視点位置に対応する任意視点静止画像を一覧表示する制御を行う、ことを特徴とする。

本発明によれば、任意視点映像の番組コンテンツを再生して視聴する際に、ユーザが希望する視点のチャプタを容易に見つけることができる映像再生装置及びその制御方法を提供することが可能となる。

本発明の実施の形態１に係る映像再生装置の構成を示す図である。 実施の形態１に係るチャプタ一覧・視点マップ画面の一例を示す図である。 チャプタ静止画像抽出部、任意視点静止画像生成部、チャプタ一覧表示制御部の動作の手順を示すフローチャートである。 任意視点静止画像が生成される処理について説明するための図である。 更新されたチャプタ一覧・視点マップ画面の一例を示す図である。 再生された任意視点映像の画面例を示す図である。 チャプタ一覧画面の遷移例を示す図である。 本発明の実施の形態２に係る映像再生装置の構成を示す図である。 特定のオブジェクトが含まれていない任意視点静止画像を非表示にしたチャプタ一覧画面の一例を示す図である。

（実施の形態１）
以下、図面を用いて本発明の実施の形態１について説明する。図１は、本発明の実施の形態１に係る映像再生装置１００の構成を示す図である。ここでは、映像再生装置１００として、地上波デジタル放送等のデジタル放送信号を受信し、記録・再生する機能を有する放送受信装置を例に挙げて説明するが、これに限定されるものではない。デジタル放送信号を受信する機能は必須ではなく、映像コンテンツを再生する機能を有する装置であればよい。例えば、映像コンテンツを再生する機能を有するプレーヤやレコーダ、パソコン、映像コンテンツを配信する配信サーバ等にも適用可能である。

映像再生装置１００は、デジタル放送信号を介して、放送番組の標準映像を受信するとともに、任意視点映像の番組コンテンツも受信する。任意視点映像の番組コンテンツは、例えば、対象物を取り囲むように配置した多数のカメラで撮影された多視点映像コンテンツとして配信される。映像再生装置１００は、受信した任意視点映像の番組コンテンツを記録して再生する機能を有し、任意視点映像生成用の多視点映像コンテンツを合成・補間処理して任意視点映像を生成する機能を有する。

映像再生装置１００は、チューナ部１０１、復調・誤り訂正部１０２、ＴＳ処理部１０３、映像処理部１０４、映像出力部１０５、記録制御部１０６、ＨＤＤ１０７を備える。また、この映像再生装置１００は、リモコン受信部１０８、再生制御部１０９、チャプタ静止画像抽出部１１０、任意視点静止画像生成部１１１、チャプタ一覧表示制御部１１２、任意視点映像生成・再生処理部１１３、視点情報取得部１１４を備える。

チューナ部１０１は、デジタル放送信号を介して送信される放送番組の映像コンテンツを受信し、指定された周波数の信号を選局する。リモコン受信部１０８は、リモコン２００からのリモコンコード信号を受信し、リモコンコードを解釈して映像再生装置内の各ブロックへ各種指示を伝える。ユーザがリモコン２００を操作して所望のチャンネルを選局指示した場合、リモコン受信部１０８は、受け取った選局指示をチューナ部１０１へ伝える。

復調・誤り訂正部１０２は、チューナ部１０１からの信号に対し、復調処理、誤り訂正処理等を行い、トランスポートストリーム（ＴＳ）を抽出する。ＴＳ処理部１０３は、復調・誤り訂正部１０２からのトランスポートストリームを、映像信号、音声信号、データ信号（番組情報やデータ放送用データ等）等に分離（ＤＥＭＵＸ）する。ＴＳ処理部１０３により分離された映像信号は、映像処理部１０４に出力され、音声信号及びデータ信号は、図示しない音声処理部及びデータ処理部に出力される。ＴＳ処理部１０３により分離される映像信号には、放送番組の標準映像の信号が含まれる。

映像処理部１０４は、ＴＳ処理部１０３からの映像信号に復号化（デコード）処理等を施して、映像出力部１０５に出力する。映像出力部１０５は、復号化された映像信号を、表示部に適した表示解像度、表示色数、リフレッシュレートに変換して、表示部に出力する。

記録制御部１０６は、リモコン２００及びリモコン受信部１０８を介して、ユーザからの番組コンテンツの記録指示を受けると、ＴＳ処理部１０３により分離された映像信号、音声信号、データ信号をＨＤＤ１０７に記録する制御を行う。なお、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０７の代わりに、ＤＶＤ等の光ディスクに記録する構成であってもよい。ユーザが任意視点映像の番組コンテンツを記録する指示をした場合、対象物を取り囲むように配置した多数のカメラで撮影された多視点映像コンテンツ及びその番組情報がＨＤＤ１０７に記録される。ＨＤＤ１０７に蓄積される番組情報は、任意視点映像生成用の多視点映像コンテンツを構成する、それぞれ視点が異なる複数の映像コンテンツの視点情報を含む。各映像コンテンツの視点情報は、各映像コンテンツが撮影されたカメラの視点位置（ｘ，ｙ，ｚの三次元座標）と、視線方向（三次元の方向ベクトル）、視野角（水平方向及び垂直方向の視野角で定められる画角）を特定するための情報を含む。

再生制御部１０９は、リモコン２００及びリモコン受信部１０８を介して、ユーザからの任意視点映像の番組コンテンツの再生指示を受けると、ＨＤＤ１０７から任意視点映像の番組コンテンツを読み出す。具体的には、任意視点映像生成用の多視点映像コンテンツ及びその番組情報を読み出す。視点情報取得部１１４は、再生制御部１０９により読み出された番組情報に含まれる、任意視点映像生成用の多視点映像コンテンツ（それぞれ視点が異なる複数の映像コンテンツ）の視点情報を取得する。また、任意視点映像の番組コンテンツの制作者が指定した任意視点のおすすめ視点情報（デフォルトの視点情報）も取得する。また、ユーザがリモコン２００を操作して任意視点映像の視点を変更した場合は、視点情報取得部１１４は、リモコン２００及びリモコン受信部１０８を介して、ユーザにより任意に指定された視点を示す情報（視点情報）を取得する。これらの指定された視点を示す情報（視点情報）は、視点位置、視線方向、視野角を特定するための情報を含む。

なお、本実施の形態では、任意視点映像生成用の多視点映像コンテンツ（それぞれ視点が異なる複数の映像コンテンツ）の視点情報を、デジタル放送信号を介して受信する構成を例に挙げているが、これに限定されるものではない。例えば、インターネット回線を介して、任意視点映像生成用の多視点映像コンテンツ（それぞれ視点が異なる複数の映像コンテンツ）の視点情報を受信する構成であってもよい。また、ＤＶＤ等の光ディスクに記録されている、任意視点映像生成用の多視点映像コンテンツ（それぞれ視点が異なる複数の映像コンテンツ）の視点情報を読み出す構成であってもよい。また、任意視点映像の生成に必要な映像コンテンツや付加情報であれば、データの種類については特に問わない。

チャプタ静止画像抽出部１１０は、任意視点映像の番組コンテンツに付与された各チャプタ位置（各チャプタの先頭位置）のタイムコードを取得し、任意視点映像生成用の多視点映像コンテンツから各チャプタ位置に対応する複数の静止画像を抽出する。抽出される静止画像の数は、多視点映像コンテンツの数と同じとする。また、各チャプタ位置のタイムコードは、任意視点映像の番組コンテンツの番組情報に含まれているものとする。ただし、映像再生装置１００が任意視点映像生成用の多視点映像コンテンツを解析してシーン検出することにより、各チャプタ位置のタイムコードを取得する構成であってもよい。また、映像再生装置１００が任意視点映像生成用の多視点映像コンテンツを所定時間間隔でチャプタ区切りして、各チャプタ位置のタイムコードを取得する構成であってもよい。

任意視点静止画像生成部１１１は、チャプタ静止画像抽出部１１０により抽出された複数の静止画像と、視点情報取得部１１４により取得された視点情報とを用いて、各チャプタ位置の任意視点静止画像を生成する。具体的には、各チャプタ位置について、複数の静止画像及びそれらの視点情報と、任意視点のおすすめ視点情報を取得し、それら複数の静止画像を合成・補間処理することにより、指定されたおすすめ視点に対応する任意視点静止画像を生成する。また、ユーザが任意視点映像の視点を変更した場合は、ユーザにより任意に指定された視点を示す情報（視点情報）を取得し、ユーザにより任意に指定された視点に対応する任意視点静止画像を生成する。

チャプタ一覧表示制御部１１２は、任意視点静止画像生成部１１１により生成された各チャプタ位置の任意視点静止画像の一覧画面（チャプタ一覧画面）を生成し、表示する制御を行う。また、視点情報取得部１１４により取得された視点情報を用いて、視点マップ画面を生成し、表示する制御を行う。

図２は、実施の形態１に係るチャプタ一覧・視点マップ画面の一例を示す図である。チャプタ一覧画面には、任意視点映像の番組コンテンツに付与されたチャプタ位置ｃｐ１〜ｃｐ１２の任意視点静止画像の一覧が表示される。視点マップ画面には、任意視点映像生成用の多視点映像コンテンツ（それぞれ視点が異なる複数の映像コンテンツ）を撮影したカメラＣ１〜Ｃ８の視点位置が表示される。また、任意視点のおすすめ視点情報により指定された視点位置（初期位置）も表示される。ここでは、サッカー番組の任意視点映像を対象としている。この視点マップ画面は、各映像コンテンツが撮影されたカメラの視点位置、視線方向、視野角等の情報を用いて作成される。

チャプタ一覧表示制御部１１２は、チャプタ一覧画面に一覧表示された各チャプタ位置に対応する任意視点静止画像の中から、所望の任意視点静止画像を選択するためのカーソルを表示する制御も行う。ユーザは、リモコン２００のカーソルキーを操作することで、カーソルを移動させて所望の任意視点静止画像を選択し、決定キーを押下することで、希望するチャプタから任意視点映像の番組コンテンツを再生することができる。

再生制御部１０９は、ユーザにより希望する任意視点静止画像が選択された場合、選択された任意視点静止画像のタイムコードを取得し、希望するチャプタから任意視点映像の番組コンテンツを再生する制御を行う。任意視点映像生成・再生処理部１１３は、再生制御部１０９から再生指示を受けると、選択された任意視点静止画像に対応するチャプタ位置から、指定された視点情報（視点位置、視線方向、視野角等）に対応する任意視点映像を生成し、再生する処理を行う。具体的には、ＨＤＤ１０７から読み出された任意視点映像生成用の多視点映像コンテンツ（それぞれ視点が異なる複数の映像コンテンツ）を合成・補間処理することで、指定された視点情報に対応する任意視点映像を生成する。

チャプタ一覧表示制御部１１２により生成されたチャプタ一覧・視点マップ画面や、任意視点映像生成・再生処理部１１３により生成された任意視点映像は、映像処理部１０４により必要な処理が施されて、映像出力部１０５に出力される。

次に、図３及び図４を用いて、図１に示したチャプタ静止画像抽出部１１０、任意視点静止画像生成部１１１、チャプタ一覧表示制御部１１２の動作について詳細に説明する。図３は、チャプタ静止画像抽出部１１０、任意視点静止画像生成部１１１、チャプタ一覧表示制御部１１２の動作の手順を示すフローチャートである。図４は、チャプタ静止画像抽出部１１０および任意視点静止画像生成部１１１により任意視点静止画像が生成される処理について説明するための図である。

まず、ユーザがリモコン２００を操作して、任意視点映像の番組コンテンツの再生を指示すると、再生制御部１０９は、ＨＤＤ１０７から任意視点映像の番組コンテンツを読み出す。

ステップＳ１０１で、チャプタ静止画像抽出部１１０は、再生指示された任意視点映像の番組コンテンツに付与されたチャプタ位置ｃｐ１，ｃｐ２，ｃｐ３，・・・のタイムコードを取得する。なお、番組コンテンツに付与されるチャプタ位置ｃｐ１，ｃｐ２，ｃｐ３，・・・は、番組コンテンツを構成する多視点映像コンテンツＶ１，Ｖ２，Ｖ３，・・・のそれぞれに付与されるものとする。次に、ステップＳ１０２で、チャプタ静止画像抽出部１１０は、再生指示された任意視点映像生成用の多視点映像コンテンツＶ１，Ｖ２，Ｖ３，・・・のそれぞれから、チャプタ位置ｃｐ１に対応する静止画像を抽出する。このとき、抽出される静止画像の数は、多視点映像コンテンツの数と同じである。このチャプタ静止画像抽出部１１０は、続いて、チャプタ位置ｃｐ２，ｃｐ３，ｃｐ４，・・・に対応する静止画像を、順次抽出していく。

次に、ステップＳ１０３で、視点情報取得部１１４は、再生指示された任意視点映像生成用の多視点映像コンテンツＶ１，Ｖ２，Ｖ３，・・・のそれぞれの視点情報と、任意視点のおすすめ視点情報（デフォルトの視点情報）を取得する。これらの視点情報は、視点位置、視線方向、視野角を特定するための情報を含む。

ステップＳ１０４で、任意視点静止画像生成部１１１は、チャプタ静止画像抽出部１１０により抽出された複数の静止画像と、視点情報取得部１１４により取得された視点情報とを用いて、チャプタ位置ｃｐ１の任意視点静止画像を生成する。具体的には、チャプタ位置ｃｐ１について、多視点映像コンテンツＶ１，Ｖ２，Ｖ３，・・・のそれぞれから抽出された静止画像を合成・補間処理して、おすすめ視点に対応する任意視点静止画像を生成する。この任意視点静止画像生成部１１１は、続いて、チャプタ位置ｃｐ２，ｃｐ３，ｃｐ４，・・・に対応する任意視点静止画像を、順次生成していく。

ステップＳ１０５で、チャプタ一覧表示制御部１１２は、チャプタ位置ｃｐ１，ｃｐ２，ｃｐ３，・・・の任意視点静止画像の一覧画面（チャプタ一覧画面）を生成する。また、このチャプタ一覧表示制御部１１２は、視点情報取得部１１４により取得された視点情報を用いて、視点マップ画面を生成する。そして、図２に示したようなチャプタ一覧・視点マップ画面が表示される。

ステップＳ１０６で、再生制御部１０９は、ユーザによる入力操作がされたか否か、及びユーザが行った入力操作の内容を判別する。ユーザが任意視点映像の視点を変更する操作を行った場合は、ステップＳ１０７に進み、さらに、変更後の視点が一定期間固定されたか否かを判別する。変更後の視点が一定期間固定された場合は、ステップＳ１０３に戻り、視点情報取得部１１４は、ユーザにより新たに指定された視点情報を取得する。そして、ステップＳ１０４で、ユーザにより新たに指定された視点（変更後の視点）に対応する任意視点静止画像が生成される。続いて、ステップＳ１０５で、チャプタ一覧表示制御部１１２は、変更後の視点情報に基づいてチャプタ一覧・視点マップ画面を更新する。

図５は、更新されたチャプタ一覧・視点マップ画面の一例を示す図である。図５のチャプタ一覧画面に示すように、任意視点映像の番組コンテンツに含まれるチャプタ位置ｃｐ１〜ｃｐ１２の任意視点静止画像が、変更後の視点情報に基づいて更新される。

なお、ステップＳ１０７で変更後の視点が一定期間固定されたか否かを判別する理由は、視点が変更される度に任意視点静止画像を生成する処理を実行してしまうと、処理負荷が大きくなってしまうからである。このように、変更後の視点が一定期間固定されるまで待ってから、変更後の視点に対応する任意視点静止画像を生成することで、処理負荷が軽減される。

また、チャプタ一覧画面に一覧表示された各チャプタ位置に対応する任意視点静止画像の中から、ユーザが所望の任意視点静止画像を選択して、決定キーを押下した場合は、ステップＳ１０６からステップＳ１０８に進む。ステップＳ１０８で、任意視点映像生成・再生処理部１１３は、再生制御部１０９から再生指示を受け、選択された任意視点静止画像に対応するチャプタ位置から、指定された視点情報（視点位置、視線方向、視野角等）に対応する任意視点映像を生成し、再生する処理を行う。

図６は、再生された任意視点映像の画面例を示す図である。図５のチャプタ一覧画面でチャプタ位置ｃｐ３の任意視点静止画像が選択された場合、チャプタ位置ｃｐ３から、指定された視点情報（視点位置、視線方向、視野角等）に対応する任意視点映像が再生される。

なお、チャプタ一覧表示制御部１１２は、チャプタ一覧画面において「前項」又は「次項」のようなアイコンが、ユーザにより選択された場合、表示対象のチャプタの一覧画面を更新する。例えば、図２に示したチャプタ一覧画面で、ユーザが「次項」のアイコンを選択して押下した場合、図７に示すようなチャプタ一覧画面に遷移する。図７のチャプタ一覧画面では、任意視点映像の番組コンテンツに含まれるチャプタ位置ｃｐ１３〜ｃｐ２４の任意視点静止画像の一覧が表示される。各チャプタ位置に対応する任意視点静止画像を生成する処理は、図３及び図４を用いて既に説明した処理と同様であるため、説明は省略する。

以上のように、この実施の形態１では、任意視点映像の番組コンテンツを再生して視聴する際に、ユーザが希望する視点のチャプタを容易に見つけることができる。より具体的には、任意視点映像の番組コンテンツに付与された各チャプタ位置に対応する任意視点静止画像の一覧を見ながら、ユーザが自由に視点を変更し、視点変更による見え方の変化を確認することができる。そして、希望する見え方の任意視点静止画像を選んで、希望するチャプタから再生を開始すること可能となる。

（実施の形態２）
図８は、本発明の実施の形態２に係る映像再生装置３００の構成を示す図である。図８の映像再生装置３００を参照して、図１の映像再生装置１００と異なる点は、特定オブジェクト判定部３０１が追加されている点である。図８において、図１と同一の構成ついては同一の符号を付し、その詳細な説明は繰り返さない。

特定オブジェクト判定部３０１は、任意視点静止画像生成部１１１により生成された各チャプタ位置の任意視点静止画像中に、特定のオブジェクト（サッカーボール等）が含まれているか否かを判定する。そして、各チャプタ番号と、特定のオブジェクトが含まれているか否かの判別結果とを対応付けて、チャプタ一覧表示制御部１１２に通知する。チャプタ一覧表示制御部１１２は、特定のオブジェクトが含まれている任意視点静止画像のみを表示し、特定のオブジェクトが含まれていない任意視点静止画像を非表示にする制御を行う。

図９は、特定のオブジェクト（サッカーボール）が含まれていない任意視点静止画像を非表示にしたチャプタ一覧画面の一例を示す図である。図２に示したチャプタ一覧画面では、チャプタ位置ｃｐ２，ｃｐ４，ｃｐ５，ｃｐ９，ｃｐ１１，ｃｐ１２の任意視点静止画像中にはサッカーボールが含まれていない。この場合、図９に示すように、チャプタ位置ｃｐ１，ｃｐ３，ｃｐ６〜ｃｐ８，ｃｐ１０の任意視点静止画像が表示され、チャプタ位置ｃｐ２，ｃｐ４，ｃｐ５，ｃｐ９，ｃｐ１１，ｃｐ１２の任意視点静止画像が非表示にされる。そして、いくつかの任意視点静止画像が非表示にされた分だけ、次項のチャプタの任意視点静止画像が表示可能となる。図７に示したチャプタ一覧画面では、チャプタ位置ｃｐ１３〜ｃｐ１５，ｃｐ１７〜ｃｐ２２，ｃｐ２４の任意視点静止画像中にはサッカーボールが含まれており、チャプタ位置ｃｐ１６，ｃｐ２３の任意視点静止画像中にはサッカーボールが含まれていない。よって、図９に示すように、チャプタ位置ｃｐ１３〜ｃｐ１５，ｃｐ１７〜ｃｐ１９の任意視点静止画像が追加表示される。

任意視点静止画像中に特定のオブジェクトが含まれているチャプタには、重要な映像が含まれていると想定される。一方、任意視点静止画像中に特定のオブジェクトが含まれていないチャプタには、重要な映像が含まれていないと想定される。

なお、ここでは、サッカー番組の任意視点映像を対象としているために、サッカーボールを特定のオブジェクトとしたが、例えば、人物の顔を特定のオブジェクトとして処理してもよい。また、予め登録した特定の人物の顔を、特定のオブジェクトとして処理してもよい。また、サッカー番組の場合はサッカーボール、ゴルフ番組の場合はゴルフボール、ドラマや音楽番組では人物の顔を特定のオブジェクトとしてもよい。つまり、予め用意された番組ジャンル−オブジェクト対応テーブルを用いて、特定のオブジェクトとして判定する対象を番組のジャンルに応じて自動的に選択する構成にしてもよい。

以上のように、この実施の形態２では、重要な映像が含まれていると想定されるチャプタの任意視点静止画像のみを表示し、重要な映像が含まれていないと想定されるチャプタの任意視点静止画像は非表示にする。したがって、ユーザにとって不要な可能性の高いチャプタの任意視点静止画像が非表示とされるため、ユーザにとっての利便性が向上する。

１００ 映像再生装置
１０１ チューナ部
１０２ 復調・誤り訂正部
１０３ ＴＳ処理部
１０４ 映像処理部
１０５ 映像出力部
１０６ 記録制御部
１０７ ＨＤＤ
１０８ リモコン受信部
１０９ 再生制御部
１１０ チャプタ静止画像抽出部
１１１ 任意視点静止画像生成部
１１２ チャプタ一覧表示制御部
１１３ 任意視点映像生成・再生処理部
１１４ 視点情報取得部

Claims (8)

1. 番組コンテンツを構成するそれぞれ視点位置の異なる複数の映像コンテンツから、任意に指定された視点位置に対応する任意視点映像を生成し、再生することが可能な映像再生装置であって、
   視点位置を指定するための入力手段と、
   指定された視点位置を示す情報を含む視点情報を取得する取得手段と、
   前記番組コンテンツを構成する前記複数の映像コンテンツから、前記番組コンテンツに付与された各チャプタ位置に対応する複数の静止画像を抽出する抽出手段と、
   前記番組コンテンツに付与された各チャプタ位置について、前記取得手段により取得された視点情報を用いて、前記抽出手段により前記複数の映像コンテンツから抽出された前記複数の静止画像を合成処理して、前記指定された視点位置に対応する任意視点静止画像を生成する画像生成手段と、
   前記画像生成手段により生成された各チャプタ位置の任意視点静止画像を一覧表示する制御を行う表示制御手段と、
   前記入力手段により指定される視点位置が変更された場合に、当該変更された視点位置が一定期間固定されたか否かを判定する判定手段と、を備え、
   前記判定手段により、前記変更された視点位置が一定期間固定されたと判定された場合に、
   前記取得手段は、前記変更された視点位置を示す情報を含む視点情報を新たに取得し、
   前記画像生成手段は、前記番組コンテンツに付与された各チャプタ位置について、前記取得手段により新たに取得された視点情報を用いて、前記抽出手段により前記複数の映像コンテンツから抽出された前記複数の静止画像を合成処理して、前記変更された視点位置に対応する任意視点静止画像を新たに生成し、
   前記表示制御手段は、前記画像生成手段により新たに生成された、各チャプタ位置の前記変更された視点位置に対応する任意視点静止画像を一覧表示する制御を行う、ことを特徴とする映像再生装置。
2. 前記表示制御手段により一覧表示された複数のチャプタ位置に対応する複数の任意視点静止画像の中から選択された任意視点静止画像に対応するチャプタ位置から、前記指定された視点位置に対応する任意視点映像を生成する映像生成手段をさらに備えることを特徴とする請求項１に記載の映像再生装置。
3. 前記視点情報は、指定された視線方向を示す情報をさらに含み、
   前記画像生成手段は、前記指定された視点位置および視線方向に対応する任意視点静止画像を生成することを特徴とする請求項１または請求項２に記載の映像再生装置。
4. 前記画像生成手段により生成された複数のチャプタ位置に対応する複数の任意視点静止画像の各々について、特定のオブジェクトが含まれるか否かを判定するオブジェクト判定手段をさらに備え、
   前記表示制御手段は、前記オブジェクト判定手段により特定のオブジェクトが含まれないと判定された任意視点静止画像を非表示にすることを特徴とする請求項１から請求項３までのいずれか１項に記載の映像再生装置。
5. 番組コンテンツを構成するそれぞれ視点位置の異なる複数の映像コンテンツから、任意に指定された視点位置に対応する任意視点映像を生成し、再生することが可能な映像再生装置の制御方法であって、
   視点位置を指定する入力ステップと、
   指定された視点位置を示す情報を含む視点情報を取得する取得ステップと、
   前記番組コンテンツを構成する前記複数の映像コンテンツから、前記番組コンテンツに付与された各チャプタ位置に対応する複数の静止画像を抽出する抽出ステップと、
   前記番組コンテンツに付与された各チャプタ位置について、前記取得ステップで取得された視点情報を用いて、前記抽出ステップで前記複数の映像コンテンツから抽出された前記複数の静止画像を合成処理して、前記指定された視点位置に対応する任意視点静止画像を生成する画像生成ステップと、
   前記画像生成ステップで生成された各チャプタ位置の任意視点静止画像を一覧表示する制御を行う表示制御ステップと、
   前記入力ステップで指定される視点位置が変更された場合に、当該変更された視点位置が一定期間固定されたか否かを判定する判定ステップと、を有し、
   前記判定ステップで、前記変更された視点位置が一定期間固定されたと判定された場合に、
   前記取得ステップは、前記変更された視点位置を示す情報を含む視点情報を新たに取得し、
   前記画像生成ステップは、前記番組コンテンツに付与された各チャプタ位置について、前記取得ステップで新たに取得された視点情報を用いて、前記抽出ステップで前記複数の映像コンテンツから抽出された前記複数の静止画像を合成処理して、前記変更された視点位置に対応する任意視点静止画像を新たに生成し、
   前記表示制御ステップは、前記画像生成ステップで新たに生成された、各チャプタ位置の前記変更された視点位置に対応する任意視点静止画像を一覧表示する制御を行う、ことを特徴とする映像再生装置の制御方法。
6. 前記表示制御ステップで一覧表示された複数のチャプタ位置に対応する複数の任意視点静止画像の中から選択された任意視点静止画像に対応するチャプタ位置から、前記指定された視点位置に対応する任意視点映像を生成する映像生成ステップをさらに有することを特徴とする請求項５に記載の映像再生装置の制御方法。
7. 前記視点情報は、指定された視線方向を示す情報をさらに含み、
   前記画像生成ステップは、前記指定された視点位置および視線方向に対応する任意視点静止画像を生成することを特徴とする請求項５または請求項６に記載の映像再生装置の制御方法。
8. 前記画像生成ステップで生成された複数のチャプタ位置に対応する複数の任意視点静止画像の各々について、特定のオブジェクトが含まれるか否かを判定するオブジェクト判定ステップをさらに有し、
   前記表示制御ステップは、前記オブジェクト判定ステップで特定のオブジェクトが含まれないと判定された任意視点静止画像を非表示にすることを特徴とする請求項５から請求項７までのいずれか１項に記載の映像再生装置の制御方法。

Images