JP5500972B2 - 放送受信装置及びその制御方法 - Google Patents

Description

本発明は、番組コンテンツを構成するそれぞれ視点位置の異なる複数の映像コンテンツから、任意の視点位置に対応する任意視点映像を生成することが可能な放送受信装置及びその制御方法に関する。

近年、対象物を取り囲むように配置した多数のカメラで撮影された多視点映像コンテンツ（それぞれ視点位置の異なる多数の映像コンテンツ）から、任意に指定された視点位置の任意視点映像を生成する研究が行われている。それぞれ視点位置の異なる多数の映像コンテンツを合成し、補間・再構成することで、本来撮影されていない仮想の視点位置の任意視点映像を得ることができる。

下記の特許文献１には、放送番組の標準映像と連携して任意視点映像を提供するサービスにおいて、放送番組の標準映像から任意視点映像にシームレスに切り替える技術が開示されている。任意視点映像の視点の初期値として、放送ストリームから抽出した視点情報を利用することにより、標準映像から任意視点映像へ切り替えた際に、標準映像と同じ視点の任意視点映像を最初の任意視点映像として用いることができる。

また、下記の特許文献２には、データ放送の視聴中に他のチャンネルを選局した後に、再び元のチャンネルのデータ放送に戻ったとき、当該データ放送の最終画像状態を復元する技術が開示されている。

特開２００７−１５０７４７号公報 特開２００７−０４３３３５号公報

任意視点映像の番組コンテンツを提供する放送サービスが開始された場合、任意視点映像の番組コンテンツと他の番組コンテンツとの間で、表示対象の番組コンテンツが切り換えられると、以下のような課題が生じる。ここで、任意視点映像の番組コンテンツを視聴しながら、ユーザがリモコン等を操作して希望する任意視点映像の視点位置に設定した場合を想定する。表示対象の番組コンテンツとして任意視点映像の番組コンテンツが選択された後に、他の番組コンテンツが選択された場合に、設定されていた視点位置の情報を記憶しておく。そして、表示対象の番組コンテンツとして再び任意視点映像の番組コンテンツが選択された場合に、記憶しておいた視点位置の情報を読み出して、設定されていた視点位置の任意視点映像を生成する。

この場合、再び任意視点映像の番組コンテンツが選択されるまでの時間間隔が長いと、設定されていた視点位置の任意視点映像を生成しても、ユーザが見たいオブジェクト（被写体）が映っていないことが考えられる。このように、単純に設定された視点位置の情報を記憶しておいたとしても、必ずしもユーザが見たいオブジェクト（被写体）が映っている任意視点映像を再現することはできないという問題があった。このため、ユーザがリモコン等を操作して、希望する任意視点映像の視点位置に設定し直すという、煩わしい操作が必要となっていた。

そこで、本発明は、任意視点映像の番組コンテンツの視聴を一時的に中断した後、任意視点映像の番組コンテンツの視聴を再開する際に、適切な任意視点映像を再現し、ユーザの利便性を向上することができる放送受信装置及びその制御方法を提供することを目的とする。

上述した課題を解決するために、本発明に係る放送受信装置は、番組コンテンツを構成するそれぞれ視点位置の異なる複数の映像コンテンツから、任意の視点位置に対応する任意視点映像を生成することが可能な放送受信装置であって、放送信号を介して送信される複数の番組コンテンツの中から、表示対象の番組コンテンツを選択する選択手段と、前記選択手段により任意視点映像の番組コンテンツが選択された場合に、追従対象とする特定のオブジェクトを設定するための設定手段と、前記選択手段により任意視点映像の番組コンテンツが選択された場合に、前記任意視点映像の番組コンテンツを構成する複数の映像コンテンツを合成処理して、前記設定手段により設定された前記特定のオブジェクトを追従する視点の任意視点映像を生成する生成手段と、前記選択手段により任意視点映像の番組コンテンツが選択された後に、他の番組コンテンツが選択された場合、前記設定手段により設定された前記特定のオブジェクトに関する情報を記憶部に記憶する記憶手段と、前記任意視点映像の番組コンテンツを受信する第１のチューナ部と、前記他の番組コンテンツを受信する第２のチューナ部と、前記選択手段により前記任意視点映像の番組コンテンツが選択された後に、前記他の番組コンテンツが選択された場合に、前記第１のチューナ部が、前記任意視点映像の番組コンテンツの受信を継続するように制御し、かつ前記生成手段が、前記第１のチューナ部により受信される前記複数の映像コンテンツを合成処理して、前記記憶部に記憶された前記特定のオブジェクトに関する情報を用いて、前記任意視点映像の番組コンテンツを構成する複数の映像コンテンツから、前記特定のオブジェクトを追従する視点の任意視点映像を生成する処理を継続するように制御する制御手段と、前記選択手段により前記任意視点映像の番組コンテンツが選択された場合に、前記任意視点映像の番組コンテンツの映像を出力し、前記選択手段により前記他の番組コンテンツが選択された場合に、前記他の番組コンテンツの映像を出力する出力手段と、を備える。

本発明によれば、任意視点映像の番組コンテンツの視聴を一時的に中断した後、任意視点映像の番組コンテンツの視聴を再開する際に、適切な任意視点映像を再現し、ユーザの利便性を向上することができることが可能となる。

本発明の実施の形態１に係る放送受信装置の構成を示すブロック図である。 表示対象の番組コンテンツが切り換えられた場合の処理について説明するためのフローチャートである。 自動視点追従モードにおける任意視点映像の表示画面例を示す図である。 任意視点映像生成の多視点映像コンテンツから任意視点映像を生成する処理について説明するための図である。 本発明の実施の形態２に係る放送受信装置の構成を示すブロック図である。 表示対象の番組コンテンツが切り換えられた場合の処理について説明するためのフローチャートである。

（実施の形態１）
以下、図面を用いて本発明の実施の形態について説明する。
図１は、本発明の実施の形態１に係る放送受信装置１００の構成を示すブロック図である。デジタル放送信号を介して、通常のデジタル放送の番組コンテンツと、任意視点映像の番組コンテンツとが提供されることを想定する。任意視点映像の番組コンテンツとして、例えば、対象物を取り囲むように配置した多数のカメラで撮影された多視点映像コンテンツ（任意視点映像生成用の多視点映像コンテンツ）が配信される。放送受信装置１００は、受信した任意視点映像生成用の多視点映像コンテンツを合成処理して任意視点映像を生成する機能を有する。

放送受信装置１００は、チューナモジュール１０１、ＴＳデコーダ１０２、映像処理部１０３、映像出力部１０４、任意視点映像生成部１０５、追従オブジェクト設定部１０６、システム制御部１０７、記憶部１０８を備える。また、放送受信装置１００は、リモコン受信部１０９を備え、リモコン２００から赤外線等を介して送信されるリモコンコード信号を受信する。

チューナモジュール（チューナ部）１０１は、地上波デジタル放送等のデジタル放送信号を介して送信される番組コンテンツを受信し、ユーザに選択されたチャンネルに対応する周波数の信号を抽出（選局）する。また、チューナモジュール１０１は、抽出した信号に対し、復調処理、誤り訂正処理等を行い、トランスポートストリーム（ＴＳ）を抽出する。リモコン受信部１０９は、リモコン２００からのリモコンコード信号を受信し、システム制御部１０７へ伝える。システム制御部１０７は、リモコン受信部１０９が受信したリモコンコードを解釈して放送受信装置内の各機能ブロックへ各種指示を伝える。ユーザがリモコン２００を操作して所望のチャンネルを選択した場合、選択されたチャンネルの情報はチューナモジュール１０１へ伝えられる。

ＴＳデコーダ１０２は、チューナモジュール１０１からのトランスポートストリームを、映像信号、音声信号、データ信号（番組情報やデータ放送用データ等）等に分離（ＤＥＭＵＸ）する。ＴＳデコーダ１０２により分離された映像信号は、映像処理部１０３又は任意視点映像生成部１０５に出力され、音声信号及びデータ信号は、図示しない音声処理部及びデータ処理部に出力される。ユーザがリモコン２００を操作し、表示対象の番組コンテンツとして通常のデジタル放送の番組コンテンツを選択した場合、ＴＳデコーダ１０２により分離された映像信号は、映像処理部１０３に出力される。一方、表示対象の番組コンテンツとして任意視点映像の番組コンテンツを選択した場合、ＴＳデコーダ１０２により分離された映像信号は、任意視点映像生成部１０５に出力される。なお、ユーザが表示対象の番組コンテンツを選択する操作としては、リモコン２００のチャンネル・キーを押下してチャンネルを選局する操作や、電子番組表から視聴する番組コンテンツをカーソル・キーで選択する操作等がある。

映像処理部１０３は、ＴＳデコーダ１０２からの映像信号に復号化（デコード）処理等を施して、映像出力部１０４に出力する。映像出力部１０４は、復号化された映像信号を、表示部に適した表示解像度、表示色数、リフレッシュレートに変換して、表示部に出力する。なお、表示部としては、液晶ディスプレイパネル、プラズマディスプレイパネル、有機ＥＬディスプレイパネルなどの表示パネルが想定される。

ユーザがリモコン２００を操作し、表示対象の番組コンテンツとして任意視点映像の番組コンテンツを選択した場合、任意視点映像生成用の多視点映像コンテンツ及びその番組情報が、ＴＳデコーダ１０２から任意視点映像生成部１０５に与えられる。任意視点映像生成部１０５に与えられる番組情報は、任意視点映像の番組コンテンツであることを示す識別情報を含む。また、上記番組情報は、任意視点映像生成用の多視点映像コンテンツを構成する、それぞれ視点が異なる複数の映像コンテンツの視点情報を含む。各映像コンテンツの視点情報は、各映像コンテンツが撮影されたカメラの視点位置（ｘ，ｙ，ｚの三次元座標）と、視線方向（三次元の方向ベクトル）、視野角（水平方向及び垂直方向の視野角で定められる画角）を特定するための情報を含む。また、番組情報は、任意視点映像の番組コンテンツの制作者が指定するおすすめ視点情報（デフォルトの視点情報）も含む。

任意視点映像生成部１０５は、ＴＳデコーダ１０２からの任意視点映像生成用の多視点映像コンテンツ及びその番組情報を用いて、任意の視点位置に対応する任意視点映像を生成する。任意視点映像生成部１０５は、マニュアル視点モードと、自動視点追従モードを有するものとする。マニュアル視点モードでは、ユーザがリモコン２００を操作して希望する視点を指定すると、任意視点映像生成部１０５は、任意視点映像生成用の多視点映像コンテンツを合成・補間処理して、指定された視点（視点位置、視線方向、視野角）の任意視点映像を生成する。任意視点映像生成部１０５により生成された任意視点映像は、映像処理部１０３により必要な処理が施されて、映像出力部１０４に出力される。

自動視点追従モードでは、追従オブジェクト設定部１０６は、追従対象とする特定のオブジェクトを設定する。例えば、スポーツ番組等の注目するオブジェクト（被写体）が数秒ごとに移動するような映像の場合、マニュアル視点モードでは、移動する注目オブジェクトを追い掛けてユーザがリモコン２００を操作するのは煩わしい。そこで、追従対象とする特定のオブジェクトを自動的に追従する自動視点追従モードを設ける。例えば、ユーザが映像を見ながら注目するオブジェクトを選択して、追従対象とする特定のオブジェクトを設定する。ただし、番組コンテンツの制作者が、追従可能なオブジェクトの情報を番組コンテンツに予め付加しておき、追従可能なオブジェクトのリストからユーザが選択することで、追従対象とする特定のオブジェクトを設定してもよい。また、ユーザが注目するオブジェクトのキーワード（選手名等）を入力することで、追従対象とする特定のオブジェクトを設定してもよい。

自動視点追従モードでは、任意視点映像生成部１０５は、任意視点映像生成用の多視点映像コンテンツを合成・補間処理して、設定された特定のオブジェクトを自動的に追従する視点（視点位置、視線方向、視野角）の任意視点映像を生成する。自動視点追従モードにおける任意視点映像の生成処理については、後で詳しく説明する。

システム制御部１０７は、放送受信装置内の各機能ブロックの制御を行う。システム制御部１０７からの各種制御コマンドは、共通バスを介して、制御対象の機能ブロックに伝達される。この共通バスは、各機能ブロック間でやりとりされる、各種データや制御コマンド（制御に関する情報）を伝達する。

また、システム制御部１０７は、任意視点映像の番組コンテンツと他の番組コンテンツとの間で、表示対象の番組コンテンツが切り換えられたことに応じて、追従対象として設定された特定のオブジェクトに関する情報を、記憶部１０８に記憶する制御を行う。具体的には、追従対象として設定された特定のオブジェクトを示す情報と、自動視点追従モードに設定された番組コンテンツの識別情報（タイトル名等）とが互いに対応付けられて、記憶部１０８に記憶される。

図２は、任意視点映像の番組コンテンツと他の番組コンテンツとの間で、表示対象の番組コンテンツが切り換えられた場合の処理について説明するためのフローチャートである。ユーザが任意視点映像の番組コンテンツを自動視点追従モードで視聴開始するものとする。

ステップＳ１０１で、任意視点映像生成部１０５は、任意視点映像生成用の多視点映像コンテンツを合成・補間処理して、追従オブジェクト設定部１０６により設定された特定のオブジェクトを自動的に追従する視点の任意視点映像を生成する。ここで、任意視点映像を生成する処理について、図３及び図４を用いて説明する。

図３は、自動視点追従モードにおける任意視点映像の表示画面例を示す図である。視点マップ表示領域には、任意視点映像生成用の多視点映像コンテンツ（それぞれ視点が異なる複数の映像コンテンツ）を撮影したカメラＣ１〜Ｃ８の視点位置が表示される。また、設定された特定のオブジェクトを自動的に追従する仮想視点のカメラアイコンが描画される。ここでは、サッカー番組の任意視点映像を例示している。この視点マップ画面は、任意視点映像の番組コンテンツの番組情報として送信された、任意視点映像生成の各映像コンテンツが撮影されたカメラの視点位置、視線方向、視野角等の情報を用いて作成される。

図４は、任意視点映像生成の多視点映像コンテンツから任意視点映像を生成する処理について説明するための図である。任意視点映像生成部１０５は、任意視点映像生成用の多視点映像コンテンツＶ１，Ｖ２，Ｖ３，・・・のそれぞれの視点情報を取得する。これらの視点情報は、視点位置、視線方向、視野角を特定するための情報を含む。

また、任意視点映像生成部１０５は、任意視点映像生成用の多視点映像コンテンツＶ１，Ｖ２，Ｖ３，・・・のそれぞれの映像を解析して、追従オブジェクト設定部１０６により設定された特定のオブジェクトを検出する。例えば、追従対象とする特定のオブジェクトとして、ある特定のサッカー選手が設定された場合、その選手の活躍が最も良く見ることが可能な仮想的な視点（視点位置、視線方向、視野角）を、予め決められたアルゴリズムを用いて自動で算出（決定）する。そして、任意視点映像生成部１０５は、任意視点映像生成用の多視点映像コンテンツＶ１，Ｖ２，Ｖ３，・・・を合成・補間処理して、特定のサッカー選手を自動的に追従する視点（視点位置、視線方向、視野角）の任意視点映像を生成する。例えば、サッカー選手の顔を正面から捕らえるための視点位置、視線方向、視野角を、映像を解析して予め決められたアルゴリズムを用いて自動で算出（決定）する。そして、映像を解析してサッカー選手の移動を検知し、解析結果に応じて随時視点を更新することで、特定のサッカー選手を自動的に追従する視点の任意視点映像を生成する。この追従手法は、ある人物の顔を自動的に追従する従来の手法を、任意視点映像に応用したものである。合成処理の具体的な手法としては、例えば、多視点映像コンテンツＶ１，Ｖ２，Ｖ３，・・・の中から、特定のサッカー選手の顔を最も正面から捕らえている映像コンテンツを判定し、その映像コンテンツを中心に他の映像コンテンツを合成する。合成・補間処理の対象とする映像コンテンツの数は、例えば、特定のサッカー選手の顔を最も正面から捕らえている映像コンテンツと、その近傍の２つの映像コンテンツとを合計した３つの映像コンテンツとしてもよいし、４つ以上であってもよい。

また、番組コンテンツにオブジェクトメタデータが付加されている場合は、オブジェクトメタデータを用いて、特定のオブジェクトを追従することもできる。また、ユーザが注目するオブジェクトのキーワードを入力する場合は、入力されたキーワードとオブジェクトメタデータとの一致度を求めることにより、特定のオブジェクトを追従することもできる。また、ある特定の人物からの視点を追従するモードであってもよく、例えばスポーツ番組の審判等の人物の視線方向を映像から自動で算出し、その審判の視点の変化にあわせて任意視点映像を生成してもよい。

再び図２に戻って、ステップＳ１０２で、システム制御部１０７は、ユーザによって、表示対象の番組コンテンツとして任意視点映像以外の他の番組コンテンツが選択されたか否かを判別する。任意視点映像以外の他の番組コンテンツとは、例えば、通常のデジタル放送の番組コンテンツである。ただし、図示しない映像入力部から入力された番組コンテンツ、例えばインターネット回線を介して受信した番組コンテンツや、外部レコーダ等から入力された番組コンテンツであってもよい。その場合、映像出力部１０４は、映像処理部１０３から入力された映像信号から、外部から入力された番組コンテンツの映像信号に切り換えて、表示部に出力する。

そして、表示対象の番組コンテンツとして任意視点映像以外の他の番組コンテンツが選択されたと判別された場合、ステップＳ１０２からステップＳ１０３に進む。ステップＳ１０３で、システム制御部１０７は、任意視点映像の番組コンテンツにおいて追従対象として設定された特定のオブジェクトに関する情報を、記憶部１０８に記憶する制御を行う。具体的には、追従対象として設定された特定のオブジェクトを示す情報と、自動視点追従モードに設定された番組コンテンツの識別情報（タイトル名等）とが互いに対応付けられて、記憶部１０８に記憶される。

次に、ステップＳ１０４で、表示対象の番組コンテンツとして選択された、任意視点映像以外の他の番組コンテンツの映像信号が、ＴＳデコーダ１０２により分離され、映像処理部１０３に出力される。そして、他の番組コンテンツの映像信号は、映像処理部１０３及び映像出力部１０４によって必要な処理が施され、表示部に表示される。

ステップＳ１０５で、システム制御部１０７は、ユーザによって、表示対象の番組コンテンツとして再び任意視点映像の番組コンテンツが選択されたか否かを判別する。そして、表示対象の番組コンテンツとして再び任意視点映像の番組コンテンツが選択されたと判別された場合、ステップＳ１０５からステップＳ１０６に進む。なお、ユーザがリモコン２００のチャンネル・キーを操作して、再び元のチャンネルを選局した場合に、任意視点映像の番組コンテンツが終了していた場合は、ステップＳ１０５からステップＳ１０６には進まない。

ステップＳ１０６で、システム制御部１０７は、任意視点映像の番組コンテンツにおいて追従対象として設定された特定のオブジェクトに関する情報を記憶部１０８から読み出して、任意視点映像生成部１０５に渡す。続いて、ステップＳ１０７で、任意視点映像生成部１０５は、任意視点映像生成用の多視点映像コンテンツのそれぞれの映像を解析して、設定された特定のオブジェクトを検出する処理を行い、ステップＳ１０８に進む。

任意視点映像生成用の多視点映像コンテンツから、設定された特定のオブジェクトが検出された場合は、ステップＳ１０８からステップＳ１０９に進む。ステップＳ１０９で、任意視点映像生成部１０５は、任意視点映像生成用の多視点映像コンテンツを合成・補間処理して、設定された特定のオブジェクトを自動的に追従する視点（視点位置、視線方向、視野角）の任意視点映像を生成する。生成された任意視点映像は、映像処理部１０３及び映像出力部１０４によって必要な処理が施され、表示部に表示される。

一方、任意視点映像生成用の多視点映像コンテンツから、設定された特定のオブジェクトが検出されなかった場合は、ステップＳ１０８からステップＳ１１０に進む。ステップＳ１１０で、任意視点映像生成部１０５は、任意視点映像生成用の多視点映像コンテンツを合成・補間処理して、予め決められたデフォルトの視点の任意視点映像を生成する。具体的には、ＴＳデコーダ１０２から取得した番組情報に含まれる、任意視点映像の番組コンテンツの制作者が指定するおすすめ視点情報（デフォルトの視点情報）を用いて、予め決められたデフォルトの視点の任意視点映像を生成する。

以上のように、この実施の形態１では、任意視点映像の番組コンテンツの視聴を一時的に中断した後、任意視点映像の番組コンテンツの視聴を再開する際に、適切な任意視点映像を再現し、ユーザの利便性を向上することができる。例えば、表示対象の番組コンテンツとして任意視点映像の番組コンテンツが選択された後に、他の番組コンテンツが選択され、再び任意視点映像の番組コンテンツが選択された場合に、適切な任意視点映像を再現することができる。特に、ユーザが任意視点映像の番組コンテンツを自動視点追従モードで視聴する場合において、設定されていた特定のオブジェクトを自動的に追従する視点（視点位置、視線方向、視野角）の任意視点映像を再現することができる。したがって、任意視点映像の番組コンテンツの視聴を再開する際に、ユーザが希望する任意視点映像の視点位置に設定し直すという、煩わしい操作が不要となる。

（実施の形態２）
実施の形態１では、放送受信装置にチューナモジュールを１つしか設けていないため、表示対象の番組コンテンツとして任意視点映像以外の番組コンテンツが選択されると、任意視点映像の生成処理が停止される。このため、表示対象の番組コンテンツとして任意視点映像の番組コンテンツが選択された後に、他の番組コンテンツが選択されると、任意視点映像の生成が中断される。そして、再び任意視点映像の番組コンテンツが選択されたら、任意視点映像の生成処理が再開される。この場合、システム処理能力が十分に高くないと、任意視点映像の生成に時間が掛かることが想定される。つまり、任意視点映像の番組コンテンツの視聴を一時的に中断した後、任意視点映像の番組コンテンツの視聴を再開する際に、即座に任意視点映像を表示することができなケースが考えられる。

そこで、この実施の形態２では、任意視点映像の番組コンテンツの視聴を再開する際に、即座に任意視点映像を表示できるようにするため、放送受信装置にチューナモジュールを２つ設ける構成とする。

図５は、本発明の実施の形態２に係る放送受信装置３００の構成を示すブロック図である。図５の放送受信装置３００を参照して、図１の放送受信装置１００と異なる点は、チューナモジュール３０１、ＴＳデコーダ３０２、映像処理部３０３が追加されている点、映像出力部１０４が映像出力部（セレクタ）３０４に置換されている点、記憶部１０８が削除されている点である。なお、図５において、図１と同一の構成ついては同一の符号を付し、その詳細な説明は繰り返さない。

チューナモジュール３０１は、地上波デジタル放送等のデジタル放送信号を介して送信される番組コンテンツを受信し、ユーザに選択されたチャンネルに対応する周波数の信号を抽出（選局）する。また、チューナモジュール３０１は、抽出した信号に対し、復調処理、誤り訂正処理等を行い、トランスポートストリーム（ＴＳ）を抽出する。ユーザがリモコン２００を操作して所望のチャンネルを選択した場合、選択されたチャンネルの情報はシステム制御部１０７からチューナモジュール３０１へ伝えられる。

なお、この実施の形態２では、チューナモジュール（第２のチューナ部）１０１は、任意視点映像以外の通常のデジタル放送の番組コンテンツを受信し、チューナモジュール（第１のチューナ部）３０１は、任意視点映像の番組コンテンツを受信するものとする。

ＴＳデコーダ３０２は、チューナモジュール３０１からのトランスポートストリームを、映像信号、音声信号、データ信号（番組情報やデータ放送用データ等）等に分離（ＤＥＭＵＸ）する。ＴＳデコーダ３０２により分離された映像信号及び番組情報は、任意視点映像生成部１０５に出力される。具体的には、任意視点映像生成用の多視点映像コンテンツ及びその番組情報が、ＴＳデコーダ１０２から任意視点映像生成部１０５に与えられる。番組情報は、実施の形態１で説明したとおり、任意視点映像の番組コンテンツであることを示す識別情報、任意視点映像生成用の多視点映像コンテンツの視点情報を含む。各映像コンテンツの視点情報は、各映像コンテンツが撮影されたカメラの視点位置（ｘ，ｙ，ｚの三次元座標）と、視線方向（三次元の方向ベクトル）、視野角（水平方向及び垂直方向の視野角で定められる画角）を特定するための情報を含む。また、番組情報は、任意視点映像の番組コンテンツの制作者が指定するおすすめ視点情報（デフォルトの視点情報）も含む。

任意視点映像生成部１０５は、ＴＳデコーダ１０２からの任意視点映像生成用の多視点映像コンテンツ及びその番組情報を用いて、任意の視点位置に対応する任意視点映像を生成する。任意視点映像生成部１０５は、マニュアル視点モードと、自動視点追従モードを有する。任意視点映像生成部１０５により生成された任意視点映像は、映像処理部３０３に出力される。映像処理部１０３は、任意視点映像生成部１０５により生成された任意視点映像に必要な処理を施して、映像出力部３０４に出力する。

映像出力部３０４は、映像処理部１０３により復号化された映像信号、又は映像処理部３０３により各種処理が施された信号を、表示部に適した表示解像度、表示色数、リフレッシュレートに変換して、表示部に出力する。ユーザがリモコン２００を操作し、表示対象の番組コンテンツとして任意視点映像以外の通常のデジタル放送の番組コンテンツを選択した場合、映像出力部３０４は、映像処理部１０３からの映像信号を選択して表示部に出力する。つまり、チューナモジュール１０１で受信された通常のデジタル放送の番組コンテンツの映像信号が表示部に出力される。一方、ユーザがリモコン２００を操作し、表示対象の番組コンテンツとして任意視点映像の番組コンテンツを選択した場合、映像出力部３０４は、映像処理部３０３からの映像信号を選択して表示部に出力する。つまり、チューナモジュール３０１で受信された任意視点映像の番組コンテンツの映像信号が表示部に出力される。このように、映像出力部３０４は、ユーザに選択された番組コンテンツが任意視点映像の番組コンテンツであるか、任意視点映像以外の番組コンテンツであるかに応じて、表示部に出力する映像信号を切り換える機能を有する。なお、ユーザがリモコン２００を操作して所望の番組コンテンツを選択したことに応じて、システム制御部１０７が、映像出力部３０４の切り換え制御を指示する。

図６は、任意視点映像の番組コンテンツと他の番組コンテンツとの間で、表示対象の番組コンテンツが切り換えられた場合の処理について説明するためのフローチャートである。図６のステップＳ２０１，Ｓ２０２，Ｓ２０５の動作は、図２のステップＳ１０１，Ｓ１０２，Ｓ１０５の動作と同様であるため、それらの詳細な説明は繰り返さない。

ステップＳ２０１で、任意視点映像生成部１０５は、任意視点映像生成用の多視点映像コンテンツを合成・補間処理して、追従オブジェクト設定部１０６により設定された特定のオブジェクトを自動的に追従する視点の任意視点映像を生成する。任意視点映像生成部１０５で生成された任意視点映像は、映像処理部３０３で必要な処理が施されて、映像出力部３０４に出力される。映像出力部３０４は、映像処理部３０３からの映像信号を選択して表示部に出力する。このとき、チューナモジュール３０１で受信された任意視点映像の番組コンテンツの映像信号が表示部に出力される。

ステップＳ２０２で、システム制御部１０７は、ユーザによって、表示対象の番組コンテンツとして任意視点映像以外の他の番組コンテンツが選択されたか否かを判別する。そして、表示対象の番組コンテンツとして任意視点映像以外の他の番組コンテンツ（通常のデジタル放送の番組コンテンツ）が選択されたと判別された場合、ステップＳ２０２からステップＳ２０３に進む。システム制御部１０７は、リモコン受信部１０９が受信したリモコンコードを解釈することにより、ユーザがリモコン２００を操作して選択した表示対象の番組コンテンツを判別する。表示対象の番組コンテンツとして任意視点映像の番組コンテンツが選択されたか、任意視点映像以外の他の番組コンテンツが選択されたかは、番組コンテンツの番組情報（識別情報）から判別できる。

ステップＳ２０３で、システム制御部１０７は、チューナモジュール１０１で、任意視点映像以外の他の番組コンテンツ（通常のデジタル放送の番組コンテンツ）を受信するように選局制御を行う。また、チューナモジュール３０１が、任意視点映像の番組コンテンツの受信を継続するように制御し、任意視点映像生成部１０５が自動視点追従モードで任意視点映像を生成する処理を継続するように制御する。任意視点映像生成部１０５は、任意視点映像生成用の多視点映像コンテンツのそれぞれの映像を解析して、設定された特定のオブジェクトを検出する処理を継続する。そして、任意視点映像生成用の多視点映像コンテンツを合成・補間処理して、追従オブジェクト設定部１０６により設定された特定のオブジェクトを自動的に追従する視点の任意視点映像を生成する処理を継続する。

次に、ステップＳ２０４で、システム制御部１０７が、映像出力部３０４に切り換え制御を指示すると、映像出力部３０４は、映像処理部１０３からの通常のデジタル放送の番組コンテンツの映像信号を選択して表示部に出力する。

次に、ステップＳ２０５で、システム制御部１０７は、ユーザによって、表示対象の番組コンテンツとして再び任意視点映像の番組コンテンツが選択されたか否かを判別する。そして、表示対象の番組コンテンツとして再び任意視点映像の番組コンテンツが選択されたと判別された場合、ステップＳ２０５からステップＳ２０６に進む。なお、ユーザがリモコン２００のチャンネル・キーを操作して、再び元のチャンネルを選局した場合に、任意視点映像の番組コンテンツが終了していた場合は、ステップＳ２０５からステップＳ２０６には進まない。

ステップＳ２０６で、システム制御部１０７が、映像出力部３０４に切り換え制御を指示すると、映像出力部３０４は、映像処理部３０３からの任意視点映像の番組コンテンツの映像信号を選択して表示部に出力する。このとき、チューナモジュール３０１で受信された任意視点映像の番組コンテンツの映像信号が表示部に出力される。

以上のように、この実施の形態２では、放送受信装置にチューナモジュールを２つ設ける構成とした。これにより、任意視点映像の番組コンテンツの視聴を一時的に中断した後、任意視点映像の番組コンテンツの視聴を再開する際に、即座に任意視点映像を表示できるようになる。

１００ 放送受信装置
１０１ チューナモジュール
１０２ ＴＳデコーダ
１０３ 映像処理部
１０４ 映像出力部
１０５ 任意視点映像生成部
１０６ 追従オブジェクト設定部
１０７ システム制御部
１０８ 記憶部
１０９ リモコン受信

Claims (7)

1. 番組コンテンツを構成するそれぞれ視点位置の異なる複数の映像コンテンツから、任意の視点位置に対応する任意視点映像を生成することが可能な放送受信装置であって、
   放送信号を介して送信される複数の番組コンテンツの中から、表示対象の番組コンテンツを選択する選択手段と、
   前記選択手段により任意視点映像の番組コンテンツが選択された場合に、追従対象とする特定のオブジェクトを設定するための設定手段と、
   前記選択手段により任意視点映像の番組コンテンツが選択された場合に、前記任意視点映像の番組コンテンツを構成する複数の映像コンテンツを合成処理して、前記設定手段により設定された前記特定のオブジェクトを追従する視点の任意視点映像を生成する生成手段と、
   前記選択手段により任意視点映像の番組コンテンツが選択された後に、他の番組コンテンツが選択された場合、前記設定手段により設定された前記特定のオブジェクトに関する情報を記憶部に記憶する記憶手段と、
   前記任意視点映像の番組コンテンツを受信する第１のチューナ部と、
   前記他の番組コンテンツを受信する第２のチューナ部と、
   前記選択手段により前記任意視点映像の番組コンテンツが選択された後に、前記他の番組コンテンツが選択された場合に、前記第１のチューナ部が、前記任意視点映像の番組コンテンツの受信を継続するように制御し、かつ前記生成手段が、前記第１のチューナ部により受信される前記複数の映像コンテンツを合成処理して、前記記憶部に記憶された前記特定のオブジェクトに関する情報を用いて、前記任意視点映像の番組コンテンツを構成する複数の映像コンテンツから、前記特定のオブジェクトを追従する視点の任意視点映像を生成する処理を継続するように制御する制御手段と、
   前記選択手段により前記任意視点映像の番組コンテンツが選択された場合に、前記任意視点映像の番組コンテンツの映像を出力し、前記選択手段により前記他の番組コンテンツが選択された場合に、前記他の番組コンテンツの映像を出力する出力手段と、を備えことを特徴とする放送受信装置。
2. 前記生成手段は、前記特定のオブジェクトを正面から捕らえるための視点位置と、視線方向と、視野角とを決定し、前記特定のオブジェクトを追従する視点の任意視点映像を生成することを特徴とする請求項１に記載の放送受信装置。
3. 前記生成手段は、前記記憶部に記憶された前記特定のオブジェクトに関する情報を用いて、前記任意視点映像の番組コンテンツを構成する複数の映像コンテンツから前記特定のオブジェクトを検出できない場合は、予め定められた視点の任意視点映像を生成することを特徴とする請求項１または請求項２に記載の放送受信装置。
4. 前記記憶手段は、前記設定手段により設定された前記特定のオブジェクトに関する情報と、前記任意視点映像の番組コンテンツの識別情報とを対応づけて前記記憶部に記憶することを特徴とする請求項１から請求項３までのいずれか１項に記載の放送受信装置。
5. 前記選択手段は、ユーザの指示に応じて、表示対象の番組コンテンツを選択することを特徴とする請求項１から請求項４までのいずれか１項に記載の放送受信装置。
6. 前記設定手段は、ユーザの指示に応じて、追従対象とする前記特定のオブジェクトを設定することを特徴とする請求項１から請求項５までのいずれか１項に記載の放送受信装置。
7. 番組コンテンツを構成するそれぞれ視点位置の異なる複数の映像コンテンツから、任意の視点位置に対応する任意視点映像を生成することが可能な放送受信装置の制御方法であって、
   放送信号を介して送信される複数の番組コンテンツの中から、表示対象の番組コンテンツを選択する選択ステップと、
   前記選択ステップで任意視点映像の番組コンテンツが選択された場合に、追従対象とする特定のオブジェクトを設定するための設定ステップと、
   前記選択ステップで任意視点映像の番組コンテンツが選択された場合に、前記任意視点映像の番組コンテンツを構成する複数の映像コンテンツを合成処理して、前記設定ステップにより設定された前記特定のオブジェクトを追従する視点の任意視点映像を生成する生成ステップと、
   前記選択ステップで任意視点映像の番組コンテンツが選択された後に、他の番組コンテンツが選択された場合、前記設定ステップにより設定された前記特定のオブジェクトに関する情報を記憶部に記憶する記憶ステップと、
   前記任意視点映像の番組コンテンツを第１のチューナ部で受信する第１受信ステップと、
   前記他の番組コンテンツを第２のチューナ部で受信する第２受信ステップと、
   前記選択ステップで前記任意視点映像の番組コンテンツが選択された後に、前記他の番組コンテンツが選択された場合に、前記第１のチューナ部が、前記任意視点映像の番組コンテンツの受信を継続するように制御し、かつ前記生成ステップが、前記第１のチューナ部により受信される前記複数の映像コンテンツを合成処理して、前記記憶部に記憶された前記特定のオブジェクトに関する情報を用いて、前記任意視点映像の番組コンテンツを構成する複数の映像コンテンツから、前記特定のオブジェクトを追従する視点の任意視点映像を生成する処理を継続するように制御する制御ステップと、
   前記選択ステップで前記任意視点映像の番組コンテンツが選択された場合に、前記任意視点映像の番組コンテンツの映像を出力し、前記選択ステップで前記他の番組コンテンツが選択された場合に、前記他の番組コンテンツの映像を出力する出力ステップと、を備えることを特徴とする放送受信装置の制御方法。

Images