JP5489735B2

JP5489735B2 - 放送受信装置及びその制御方法

Info

Publication number: JP5489735B2
Application number: JP2010007980A
Authority: JP
Inventors: 勝之小野澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-01-18
Filing date: 2010-01-18
Publication date: 2014-05-14
Anticipated expiration: 2030-01-18
Also published as: JP2011147059A

Description

本発明は放送受信装置とその制御方法に関し、特に、受信した放送番組を視聴者が視聴する際、所望の撮影視点での映像を提供する技術に関する。

多数のカメラで被写体をあらゆる方向から撮影し、撮影した多数の映像から任意の場所及び方向での視点映像のデータを補間し、本来撮影されていない視点での映像を得る任意視点映像処理の実現が検討されている。任意視点映像の放送サービスは放送番組の標準映像と共に提供され、放送番組の標準映像から任意視点映像に切り替わる際の視点や視野角の変化による視聴者の違和感を緩和する提案がなされている。特許文献１に開示の受信装置及び本線映像配信装置では、放送番組の本線映像から任意視点映像に切り替えた際に、視点および視線をシームレスにつなぐことができる。

特開２００７−１５０７４７号公報

従来技術は、放送局にて標準映像のカメラ位置や画角などの情報を正確に取得できる場合には有効である。しかし、これらの情報を取得することが難しい場合、例えば標準映像がハンディカメラ（携帯型テレビカメラ）のような移動式カメラにより撮影した映像について従来技術では考慮されていない。ハンディカメラの場合、その初期位置が一定でなく、他のカメラとの相対的な位置関係が常時変化することが多い。またハンディカメラではカメラ位置、画角、パン角、チルト角といった情報を得ることが困難である。その理由は、撮影者の身長や手の長さで高さ位置が変わった場合や、撮影時の撮影者の姿勢や持ち方によって、カメラ位置、画角、パン角、チルト角が変化するためである。

したがって従来技術では、放送番組の標準映像に係るカメラ位置、画角などの正確な情報を得ることが出来ない場合、必ずしも放送番組の標準映像に近い任意視点映像が得られるとは限らない。
そこで本発明は、放送番組の標準映像から任意視点映像へと切り替わる場合、視聴者が戸惑うことなく任意視点映像を見られるようにし、より標準映像に近い任意視点映像の提供を目的とする。

上記課題を解決するために本発明に係る装置は、放送番組に係る第１映像、及び該第１映像に関連する被写体を第１映像とは異なる視点で撮影した複数の第２映像のデータを受信する放送受信装置であって、表示部に表示する映像を前記第１映像から他の視点の映像に切り替える指示を受ける操作手段と、前記表示部に表示する映像を前記第１映像から他の視点の映像に切り替える指示を受けた場合に、前記第１映像と前記複数の第２映像とを比較して類似度を判定する比較手段と、前記第１映像のデータに含まれるコンテンツのジャンル情報を取得する取得手段と、前記取得手段が取得した前記ジャンル情報により決定される特徴点での前記類似度を用いて、前記複数の第２映像のうち前記類似度が基準値よりも高い第２映像、または類似度の高い第２映像が複数である場合の当該複数の第２映像から補間処理により生成される映像を決定し、決定した映像のデータを前記第１映像から他の視点の映像への切り替えの際に表示する映像データとして前記表示部に出力する出力手段を備える。

本発明によれば、放送番組の標準映像から任意視点映像へと切り替わる際、視聴者は戸惑いや違和感なく、標準映像に近い任意視点映像を見ることができる。

本発明の一実施形態に係るシステム構成例を示す図である。図３及び４と併せて本発明の第１実施形態を説明するために、配信サーバから配信される任意視点用カメラの配置情報についてカメラ配置の一例を説明する図である。標準映像用カメラＳ−Ｄの映像データを比較画像抽出部６で取得する場合を示す図である。配信サーバ、放送受信装置、ユーザについて処理の流れを例示した図である。図６と併せて本発明の第２実施形態を説明するために、処理の流れを例示した図である。録画済み番組の再生中に任意視点映像の視聴開始操作が行われる場合に、チャプタ比較用映像の取得例を示す図である。

［第１実施形態］
以下、本発明の第１実施形態についてデジタル放送受信装置（以下、単に受信装置という）への適用例を説明する。受信装置は放送番組に係る第１映像（標準映像）と、該映像に関連する被写体を異なる視点で撮影した複数の第２映像（任意視点映像の生成用映像）のデータを受信可能である。例えば第２映像は、多数のカメラで被写体をあらゆる方向から撮影した任意視点映像の生成用映像としてインターネット経由でサーバから取得できる。なお、任意視点映像の生成用映像に関する取得方法や取得経路については本実施形態に限らず、任意視点映像が放送番組の標準映像と同時に放送されていてもよく、その方法及び経路の如何は問わない。

図１は本発明を実現するためのシステム構成例を示す。受信装置１はデジタル放送局から放送された標準映像の受信ブロックと、任意視点映像の生成用映像データをサーバから取得するブロックと、任意視点映像（初期映像を含む）の生成ブロックから成る。まず標準映像の受信ブロックについて説明する。放送受信部２はデジタル放送局から放送された放送番組を受信し、放送信号を復号化して放送ＴＳ（Transport Stream）処理部３に出力する。放送ＴＳ処理部３は暗号化されたＴＳ信号を取り出し、暗号化を解除した信号を放送ＭＰＥＧデコード部（以下、第１デコード部という）４に出力する。ＭＰＥＧは“Moving Picture Experts Group”の略号である。

第１デコード部４は、圧縮された映像データを伸長して標準映像のデータとして出力処理部５及び比較画像抽出部６に出力する。比較画像抽出部６は、画像比較用に標準映像から画像データのキャプチャ処理を行う。また第１デコード部４は、標準映像に関するジャンル情報やタイトル情報といったコンテンツ情報を取り出してコンテンツ情報取得部７に出力する。

次に、任意視点映像の生成用映像データの取得ブロックについて説明する。受信装置１はインターネット経由でデジタル放送局のＩＰ放送サーバ（以下、配信サーバという）に接続されている。配信サーバは任意視点映像の生成用映像データを提供し、ＴＣＰ（Transmission Control Protocol）／ＩＰ（Internet Protocol）を使ってインターネット経由でＩＰインタフェース部８と接続している。

ＩＰインタフェース部８は配信サーバからのデータを受信して復号化し、ＩＰ・ＴＳ処理部９に出力する。またＩＰインタフェース部８は配信サーバへの要求を出力する。ＩＰ・ＴＳ処理部９は暗号化されたＴＳ信号を取り出し、暗号化を解除した信号をＩＰ・ＭＰＥＧデコード部（以下、第２デコード部という）１０に出力する。

第２デコード部１０は、圧縮された映像データを伸長し、任意視点映像の生成用映像データを任意視点映像生成部１１に出力する。また伸長後の映像データは画像比較部１２、画像特徴点比較部１３にも出力される。画像比較部１２は任意視点映像の生成用映像と標準映像の比較用画像との間で画像比較を行い、比較結果に基づいて類似度を算出して類似度判定部１８に出力する。画像特徴点比較部１３は、標準映像のデータから取得したコンテンツ情報に基づく特徴点について、任意視点映像の生成用映像と標準映像の比較用画像との間で画像比較を行い、比較結果に基づいて類似度を算出して類似度判定部１８に出力する。第２デコード部１０はまた、任意視点映像の生成用映像データに含まれる任意視点用カメラの配置情報をカメラ配置情報取得部１４に出力する。

次に任意視点映像の初期映像、及び後続の任意視点映像を生成するブロックについて説明する。まずユーザはリモートコントローラ（以下、リモコンと略称する）１５を使用して任意視点映像の視聴開始操作を行い、表示指示を出す。リモコン信号受信部１６はリモコン１５からの操作指示信号を受信し、制御部１７に出力する。制御部１７は、任意視点映像の生成開始信号を以下に述べる各部に出力し、これにより任意視点映像の生成処理が開始する。

画像特徴点比較部１３は、コンテンツ情報取得部７で取得した情報を用い、比較画像抽出部６が抽出した標準映像のデータと、任意視点映像の生成用映像データを比較する。この比較処理は予め設定した特徴点で行われ、画像特徴点比較部１３は特徴点における類似度を算出して類似度判定部１８に出力する。

画像比較部１２は、比較画像抽出部６が抽出した標準映像のデータと、任意視点映像の生成用映像データを、画像全体及び画像中央部において比較する。そして画像比較部１２は両画像の類似度を算出して類似度判定部１８に出力する。カメラ配置情報取得部１４は任意視点用カメラの配置情報を類似度判定部１８に出力する。任意視点用カメラは、任意視点映像の生成に使用するカメラであり、その設置位置及び画角が固定されている。

類似度判定部１８は、標準映像の比較用画像と任意視点映像の生成用映像との類似度を受信し、任意視点用カメラごとの類似度を統合して最終的な類似度を算出し、任意視点映像の初期映像（以下、初期視点映像ともいう）として使用する映像を決定する。

任意視点映像生成部１１は、類似度判定部１８が決定した任意視点映像の初期映像に使用する映像の情報に基づき、初期視点映像のデータを生成する。また任意視点映像生成部１１は、任意視点映像の生成用映像データから任意視点映像のデータを生成して出力処理部５に出力する。出力処理部５は標準映像と任意視点映像を表示画面内に配置する処理を行い、映像信号を表示部１９に出力する。表示部１９は標準映像と任意視点映像を表示する。なお、図1中に符号２０乃至２２で示す録画手段やチャプタ映像抽出部については後述の第２実施形態にて詳説する。

図２は、任意視点映像の生成用映像データの配信サーバから配信される任意視点用カメラの配置情報の一例を説明する図である。図中のＦ−１乃至３０は任意視点用カメラを示し、本例では矩形グラウンドの周囲に配置されている。Ｆ−１、Ｆ−１０、Ｆ−１６、Ｆ−２５のカメラは、矩形グラウンドの四隅にて斜め方向の視点からの撮影に使用される。他のカメラは矩形グラウンドの長辺方向や短辺方向に沿って所定の間隔で配置されている。またＳ−ＡからＨは、デジタル放送の標準映像の撮影に使用するカメラ（標準映像用カメラ）を示す。本例では、図２の上下方向にてＳ−ＡとＳ−Ｂの各カメラが対向し、左右方向にてＳ−ＧとＳ−Ｈの各カメラが対向している。またＳ−ＤとＳ−Ｃの各カメラが図２の左上から右下の方向にかけて対角的に対向しており、Ｓ−ＦとＳ−Ｅの各カメラが図２の右上から左下の方向にかけて対角的に対向している。任意視点映像の生成用映像データに関し、配信サーバが配信する任意視点用カメラの配置情報は、図２に示すような任意視点用カメラの配置（位置や方向）を表す。なお、そのフォーマットやデータの構成の如何は問わない。

図３は、標準映像の表示経過と、任意視点映像の視聴操作のタイミングを例示しており、本例ではカメラＳ−Ａ、Ｓ−Ｄ、Ｓ−Ｇの順に映像が表示される。太線の矢印ｄは、カメラＳ−Ｄの映像の表示期間中にユーザが任意視点映像の視聴操作を行った時点を示している。

図４は、本発明の第１実施形態における処理例を、配信サーバ、受信装置１、及びユーザの３者間での情報の送受と併せて示している。以下、受信装置１が放送番組の標準映像を受信し、ユーザが任意視点映像の視聴を選択した場合、標準映像を録画し、タイムシフト処理で生成した任意視点映像と同時に再生する処理の流れを説明する。

まず放送番組の標準映像の受信中に、ユーザがリモコン１５で任意視点映像の視聴開始操作を行う（Ｓ１）。リモコン１５の操作部には、例えば、任意視点映像の視聴を指示するための操作ボタンが設けられている。任意視点映像の視聴開始操作によって、受信装置１は、現在視聴中の放送番組の録画（タイムシフト録画）を開始する（Ｓ２）。これは、任意視点映像を生成するには所定の時間を要するからであり、視聴対象の標準映像と、生成した任意視点映像とを同時に同じ場面で再生する必要のためである。

受信装置１はその後、任意視点映像の視聴開始操作による指示を受けた時点での標準映像のデータを比較画像抽出部６で取得してこれを比較用標準映像のデータとして不図示のメモリに保持する（Ｓ３）。図３に示す例では、太線の矢印ｄに示す時点で比較画像抽出部６が標準映像用カメラＳ−Ｄの映像データを取得する。
比較用標準映像のデータ取得後、受信装置１は標準映像のデータに含まれるタイムスタンプ情報と、任意視点映像の生成用映像データの取得要求を、配信サーバに対して送信する（Ｓ４）。

受信装置１にてコンテンツ情報取得部７は、標準映像のデータに含まれるジャンル情報やタイトル情報といったコンテンツ情報を取得する（Ｓ５）。そして、取得したコンテンツ情報に基づいて、画像比較のための特徴点が画像特徴点比較部１３にて設定される（Ｓ６）。ジャンル情報に基づいて画像比較を行うための特徴点については、例えば図４に示すように、ジャンル情報が野球やサッカーを示す場合、背番号やユニホームの色などが挙げられる。画像特徴点比較部１３はこれらを特徴点として重点的な画像比較を行う。またジャンル情報がマラソンを示す場合、ランナーの顔が特徴点に設定され、ドラマの場合、背景や登場人物の顔が特徴点に設定され、その他の番組では、物体の形状や色などが特徴点として設定される。このようにコンテンツの種類に応じた特徴点を設定することで、ジャンルなどに特化した画像比較が実現される。

前記Ｓ４での受信装置１からの要求を受けた配信サーバは、当該要求に応じて任意視点映像の生成用映像データを配信する（Ｓ７）。これと併せて配信サーバは任意視点用カメラの配置情報を配信する（Ｓ８）。任意視点映像の生成用映像データがデジタル受信装置１に配信されると、該データと比較用標準映像のデータとの間で画像比較が行われる（Ｓ９）。ここで行われる画像比較処理は、以下の通りである。

画像特徴点比較部１３は、コンテンツ情報取得部７が取得した情報を用い、比較画像抽出部６で抽出した比較用標準映像のデータと任意視点映像の生成用映像データを、設定された特徴点で比較して、特徴点での類似度を算出する（Ｓ１１）。図４中の表は、４台の任意視点用カメラに係る任意視点映像の生成用映像データと、比較用標準映像のデータとの類似度について算出結果を例示する。最右列が特徴点での類似度を示している。また画像比較部１２は、比較画像抽出部６が抽出した比較用標準映像のデータと任意視点映像の生成用映像データを、画像全体及び画像中央部にて画像比較し、類似度を算出する。図４中の表に示す類似度欄にて最左列が画面中央部での類似度を示し、「平均」欄が画像全体での類似度を示している。

以上により類似度が算出され、画像比較処理は、任意視点映像の生成用映像の数、すなわち、任意視点用カメラの数だけ繰り返し実行される。任意視点映像の生成用映像データの要求が配信サーバに送られると（Ｓ１０）、Ｓ７に戻って新たなデータが配信サーバから受信装置１に配信され、Ｓ９の処理が行われ、最終的に、全ての任意視点用カメラの映像に対して類似度が算出される（Ｓ１１）。

各部で算出された類似度は類似度判定部１８に送られて任意視点用カメラの配置情報と共に処理され、最終的な類似度の判定に使用される（Ｓ１２）。類似度の高いカメラの配置分布は特定の範囲に偏っているので、任意視点用カメラの配置情報は、その偏った配置の任意視点用カメラ群の中から類似度判定を行うために使用される。これにより多数の任意視点用カメラの画像を効率的に判定できるという効果が得られる。

類似度判定部１８によって判定された類似度に基づいて、任意視点映像に係る初期映像生成に使用する画像が決定され、任意視点映像生成部１１は切り替え時の標準映像の視点に近い映像データを任意視点映像の初期視点映像データとして生成する（Ｓ１３）。標準映像の視点に近い映像データは、例えば、図４中の表に示す類似度欄にて類似度が基準値よりも高い任意視点映像の生成用映像データから決定されるか、又は類似度の高い複数の任意視点映像の生成用映像データから補間処理によって生成される。

受信装置１は、任意視点映像に係る初期視点映像データの生成後、引き続いて配信サーバから映像を受信し、任意視点映像のデータ生成を行う（Ｓ１４）。その後、受信装置１は、生成した任意視点映像のデータとともに予め録画しておいた標準映像の再生を開始し（Ｓ１５）、出力処理部５を介して表示部１９にて映像を表示させる。ユーザは任意視点映像の視点操作（変更操作）を行うことができるようになる（Ｓ１６）。
以上に説明した一連の処理では、放送番組の標準映像から任意視点映像に切り替わる場合、両者の画像比較が行われるので、以下の効果を奏する。

標準映像に類似した任意視点映像、すなわち算出した類似度が基準値より高い映像又は該映像に基づく生成映像を初期視点映像として使用することにより、視聴者は任意視点映像を理解し易いという効果がある。つまり、映像切り替え時にユーザは戸惑うことなく任意視点映像を見ることができる。また標準映像のデータと任意視点映像の生成用映像データとの比較を放送番組のジャンルに応じた特徴点で行うことにより、どの任意視点映像が、より標準映像に近いのかを判別できる。よって視聴者に対し、標準映像に、より近い任意視点映像を提供できるという効果が得られる。

図４の処理例では、標準映像の受信中にユーザが任意視点映像の視聴開始を装置に指示した場合、標準映像のデータを不図示のメモリや記録手段に録画してタイムシフト再生を行う場合を説明した。しかし、任意視点映像のデータ生成処理に要する時間が短時間であってユーザの操作や視聴などに支障を来たさない時間であれば、タイムシフト処理の必要はない。

［第２実施形態］
以下、本発明の第２実施形態について説明する。第２実施形態では、予め録画した番組の視聴中に、ユーザがその録画番組の任意視点映像の視聴開始を指示して映像を同時に視聴する場合を説明する。本例では録画した番組の再生時にユーザがチャプタの変更指示を行うと、任意視点映像のチャプタも変更される。この時、任意視点映像の各チャプタの開始視点として、録画番組の各チャプタの開始映像に類似した視点での映像が設定される。

第２実施形態に係るシステム構成では、第1実施形態に係る構成部の他、図１に示す放送エンコード部２０、ＨＤＤ（ハードディスクドライブ）２１、チャプタ映像抽出部２２が追加される。よって以下では、第１実施形態との相違点を中心に説明する。

受信装置１は放送番組の標準映像に係る録画再生ブロックを備える。放送受信部２はデジタル放送局から放送された放送番組を受信し、放送ＴＳ処理部３はＴＳ信号を取り出して放送エンコード部２０に出力する。放送エンコード部２０は録画データへの変換処理を行い、標準映像のデータをＨＤＤ２１に出力し、ＨＤＤ２１は該データを蓄積する。

ＨＤＤ２１に蓄積された標準映像のデータ再生は、ユーザが再生操作を行った場合、その操作指令がリモコン信号受信部１６から制御部１７に送られることで開始される。ＨＤＤ２１から読み出した標準映像のデータは第１デコード部４に送られてデコードされる。これと同時に、再生された標準映像のデータはチャプタ映像抽出部２２に出力される。チャプタ映像抽出部２２は各チャプタの開始映像のデータを抽出して比較画像抽出部６に送出する。抽出したデータは比較画像抽出部６にて比較用標準映像とともに画像比較処理に使用される。

次に、チャプタごとの任意視点映像の初期映像及びこれに続く任意視点映像の生成ブロックについて説明する。ユーザがリモコン１５を使用して、録画済み放送番組の任意視点映像の視聴開始操作を行った場合、リモコン１５からの信号をリモコン信号受信部１６が受信して操作指示を制御部１７に伝える。制御部１７は、任意視点映像の生成開始信号を以下に述べる各部に出力し、任意視点映像の生成処理が開始する。

画像特徴点比較部１３は、コンテンツ情報取得部７が取得した情報を用い、比較画像抽出部６で抽出した標準映像のデータとチャプタ開始映像のデータと任意視点映像の生成用映像データを、予め設定された特徴点において比較する。そして画像特徴点比較部１３はこれらの映像データ間で特徴点における類似度を算出し、算出結果を類似度判定部１８に出力する。また画像比較部１２は、比較画像抽出部６が抽出した標準映像のデータとチャプタ開始映像のデータと任意視点映像の生成用映像データを、画像全体及び画像中央部において画像比較する。そして画像比較部１２は類似度を算出して類似度判定部１８に出力する。カメラ配置情報取得部１４は任意視点用カメラの配置情報を類似度判定部１８に出力する。

類似度判定部１８は、標準映像の比較用画像とチャプタ開始映像と任意視点映像の生成用映像との間の類似度を示す情報を受けて、任意視点用カメラごとの類似度を統合し最終的な類似度を算出する。そして類似度判定部１８は、任意視点映像の初期映像として使用する映像を決定する。任意視点映像生成部１１は、類似度判定部１８が決定した任意視点映像の初期映像に使用する映像の情報に基づき、初期視点映像とチャプタごとの開始視点映像を生成する。そして任意視点映像生成部１１は任意視点映像の生成用映像データから任意視点映像のデータを生成して出力処理部５に出力し、表示部１９にて映像を表示させる。

図５は第２実施形態における処理の流れを例示する。ユーザは予め録画しておいた放送番組（録画済み番組）の標準映像の視聴中に、リモコン１５を用いて任意視点映像の視聴開始操作を行う（Ｓ１０１）。受信装置１にて比較画像抽出部６は、任意視点映像の視聴開始操作時における録画済み番組の映像データを取得し、これを比較用標準映像のデータとして保持する（Ｓ１０２）。任意視点映像の視聴開始操作を受けて、制御部１７は、録画済み番組のチャプタの解析を行う（Ｓ１０３）。チャプタ映像抽出部２２はチャプタ開始映像のデータを抽出して比較画像抽出部６に送出する。比較画像抽出部６は開始映像データをチャプタ比較用映像として保持する（Ｓ１０４）。

図６は録画済み番組の標準映像を再生した状況の一例を示しており、Ｃｈａｐｔｅｒ１から４を時系列で示す。太線の各矢印ｃはチャプタごとの開始映像データの取得時点を示しており、録画済み番組の各チャプタについて、チャプタ比較用映像が取得される。

録画済み番組のチャプタ比較用映像及び比較用標準映像の取得後のＳ１０５乃至Ｓ１１０に示す処理については、対象映像が録画済み番組の標準映像であることを除いて第１実施形態の場合（図４のＳ４乃至９参照）と同様である。Ｓ１０５では録画済み番組に含まれているタイムスタンプ情報と、任意視点映像の生成用映像データの取得要求が、受信装置１から配信サーバに送信される。Ｓ１０６でのコンテンツ情報の取得後、Ｓ１０７にて画像比較用の特徴点が設定される。配信サーバは、前記要求に応じた任意視点映像の生成用映像データを配信し（Ｓ１０８）、任意視点用カメラの配置情報を配信する（Ｓ１０９）。配信された任意視点映像の生成用映像データを用いて、比較用標準映像との画像比較が行われる（Ｓ１１０）。そしてこの生成用映像データを用いて、録画済み番組のチャプタ比較用映像との間で画像比較が行われる（Ｓ１１１）。ここで行う画像比較処理は、以下の通りである。

画像特徴点比較部１３は、コンテンツ情報取得部７が取得した情報を用い、比較画像抽出部６で抽出した比較用標準映像のデータ及びチャプタ比較用映像のデータと任意視点映像の生成用映像データを、予め設定した特徴点において比較する。この比較の結果、特徴点での類似度が算出される。また画像比較部１２は、比較画像抽出部６で抽出した比較用標準映像のデータ及びチャプタ比較用映像のデータと任意視点映像の生成用映像データを、画像全体及び画像中央部において画像比較し、類似度を算出する。

以上により類似度が算出され、この処理は任意視点映像の生成用映像の数、すなわち任意視点用カメラの数だけ繰り返し実行される。Ｓ１１２にて任意視点映像の生成用映像データの取得要求が配信サーバに送信されると、Ｓ１０８に戻って再びＳ１１０、Ｓ１１１の処理が実行される。こうして、全ての任意視点用カメラの映像データに対する類似度の算出が各チャプタについて行われる（Ｓ１１３）。

算出された各類似度を示す情報は、類似度判定部１８に送られて任意視点用カメラの配置情報と共に処理され、最終的な類似度の判定に使用される。類似度判定部１８で判定した類似度と前記配置情報に基づいて、任意視点映像の初期映像生成に使用する映像（多視点映像）が決定される（Ｓ１１４）。任意視点映像生成部１１は任意視点映像に係る初期映像データを生成して、不図示のメモリに保持する（Ｓ１１５）。任意視点映像生成部１１は各チャプタの開始映像に対応する任意視点映像の初期映像データを生成し、不図示のメモリに保持する（Ｓ１１６）。受信装置１は、任意視点映像に係る初期映像データの生成後、引き続き任意視点映像の生成用映像データを配信サーバから受信し、任意視点映像のデータ生成を行う（Ｓ１１７）。
その後、受信装置１は、生成した任意視点映像のデータと録画済み番組の映像データの再生を開始し（Ｓ１１８）、表示部１９で表示する。

ユーザがリモコン１５で任意視点映像のチャプタ変更操作を行うと、一旦再生動作が停止する。各チャプタの任意視点映像に係る初期映像の再生位置へのスキップ処理が行われ（Ｓ１１９）、録画済み番組の映像及び任意視点映像の再生が再開する（Ｓ１２０）。
以上の処理により、録画済み番組の映像から任意視点映像へと切り替えた際、第１実施形態の効果に加えて、以下の効果が得られる。

録画済み番組の各チャプタの開始映像のデータと類似した任意視点映像のデータを生成することにより、ユーザがチャプタの変更操作を行った場合でも、任意視点映像を理解し易くなる。つまり、チャプタ変更時にユーザは戸惑いや違和感を抱くことなく、チャプタの開始映像に近い任意視点映像を見ることができる。

１デジタル放送受信装置
７コンテンツ情報取得部
１１任意視点映像生成部
１２画像比較部
１３画像特徴点比較部
１４カメラ配置情報取得部
１７制御部
１８類似度判定部
２１ＨＤＤ
２２チャプタ映像抽出部

Claims

放送番組に係る第１映像、及び該第１映像に関連する被写体を第１映像とは異なる視点で撮影した複数の第２映像のデータを受信する放送受信装置であって、
表示部に表示する映像を前記第１映像から他の視点の映像に切り替える指示を受ける操作手段と、
前記表示部に表示する映像を前記第１映像から他の視点の映像に切り替える指示を受けた場合に、前記第１映像と前記複数の第２映像とを比較して類似度を判定する比較手段と、
前記第１映像のデータに含まれるコンテンツのジャンル情報を取得する取得手段と、
前記取得手段が取得した前記ジャンル情報により決定される特徴点での前記類似度を用いて、前記複数の第２映像のうち前記類似度が基準値よりも高い第２映像、または類似度の高い第２映像が複数である場合の当該複数の第２映像から補間処理により生成される映像を決定し、決定した映像のデータを前記第１映像から他の視点の映像への切り替えの際に表示する映像データとして前記表示部に出力する出力手段を備えることを特徴とする放送受信装置。
前記比較手段は、前記ジャンル情報により設定される物体の形状又は色を前記特徴点として、前記第１映像と前記複数の第２映像とを比較して前記類似度を判定することを特徴とする、請求項１記載の放送受信装置。
前記比較手段は、前記第１映像と前記複数の第２映像とを、画像全体又は画像中央部において比較して前記類似度を判定することを特徴とする、請求項２記載の放送受信装置。
前記第２映像のデータに含まれる、前記被写体を撮影したカメラの配置情報を取得する配置情報取得手段をさらに備え、
前記出力手段は、前記配置情報及び前記類似度に基づいて、前記第１映像から他の視点の映像への切り替えの際に表示する映像を決定することを特徴とする、請求項１から３までのいずれか１項記載の放送受信装置。
放送番組に係る第１映像、及び該第１映像に関連する被写体を第１映像とは異なる視点で撮影した複数の第２映像のデータを受信する放送受信装置であって、
前記第１映像のデータを録画する録画手段と、
録画済みの前記第１映像のチャプタごとの開始映像のデータを抽出する抽出手段と、
前記第１映像の各チャプタの開始映像と前記複数の第２映像とを比較して類似度を判定する比較手段と、
前記第１映像のデータに含まれるコンテンツのジャンル情報を取得する取得手段と、
前記録画済み放送番組の再生時に、前記取得手段が取得した前記ジャンル情報により決定される特徴点での前記類似度を用いて、前記複数の第２映像のうち前記類似度が基準値よりも高い第２映像、または類似度の高い第２映像が複数である場合の当該複数の第２映像から補間処理により生成される映像を決定し、決定した映像のデータを各チャプタの開始映像に対応する映像データとして生成する生成手段を備えることを特徴とする放送受信装置。
放送番組に係る第１映像、及び該第１映像に関連する被写体を第１映像とは異なる視点で撮影した複数の第２映像のデータを受信する放送受信装置の制御方法であって、
表示部に表示する映像を前記第１映像から他の視点の映像に切り替える指示を受ける操作工程と、
前記第１映像のデータに含まれるコンテンツのジャンル情報を取得する取得工程と、
前記表示部に表示する映像を前記第１映像から他の視点の映像に切り替える指示を受けた場合に、前記第１映像と前記複数の第２映像とを比較して類似度を判定する比較工程と、
前記取得工程で取得された前記ジャンル情報により決定される特徴点での前記類似度を用いて、前記複数の第２映像のうち前記類似度が基準値よりも高い第２映像、または類似度の高い第２映像が複数である場合の当該複数の第２映像から補間処理により生成される映像を決定し、決定した映像のデータを前記第１映像から他の視点の映像への切り替えの際に表示する映像データとして前記表示部に出力する出力工程を備えることを特徴とする放送受信装置の制御方法。
前記比較工程では、前記取得工程で取得された前記ジャンル情報により設定される物体の形状又は色を前記特徴点として、前記第１映像と前記複数の第２映像とを比較して前記類似度を判定することを特徴とする、請求項６記載の放送受信装置の制御方法。
前記比較工程では、前記第１映像と前記複数の第２映像とを、画像全体又は画像中央部において比較して前記類似度を判定することを特徴とする、請求項７記載の放送受信装置の制御方法。
前記第２映像のデータに含まれる、前記被写体を撮影したカメラの配置情報を取得する配置情報取得工程をさらに有し、
前記出力工程では、前記配置情報及び前記類似度に基づいて、前記第１映像から他の視点の映像への切り替えの際に表示する映像を決定することを特徴とする、請求項６から８までのいずれか１項記載の放送受信装置の制御方法。
放送番組に係る第１映像、及び該第１映像に関連する被写体を第１映像とは異なる視点で撮影した複数の第２映像のデータを受信する放送受信装置の制御方法であって、
前記第１映像のデータを録画する録画工程と、
録画済みの前記第１映像のチャプタごとの開始映像のデータを抽出する抽出工程と、
前記第１映像のデータに含まれるコンテンツのジャンル情報を取得する取得工程と、
前記第１映像の各チャプタの開始映像と前記複数の第２映像とを比較して類似度を判定する比較工程と、
前記録画済み放送番組の再生時に、前記取得工程で取得された前記ジャンル情報により決定される特徴点での前記類似度を用いて、前記複数の第２映像のうち前記類似度が基準値よりも高い第２映像、または類似度の高い第２映像が複数である場合の当該複数の第２映像から補間処理により生成される映像を決定し、決定した映像のデータを各チャプタの開始映像に対応する映像データとして生成する生成工程を有することを特徴とする放送受信装置の制御方法。