JP5767456B2 - 映像処理装置及びその制御方法、及びプログラム - Google Patents

Description

本発明は、映像処理装置及びその制御方法に関し、特には階層符号化映像データの転送技術に関する。

映像処理装置の処理能力の向上により、映像データは高解像度化、大容量化、高画質化の傾向にある。このような映像データの転送を効率化するために、映像の画質劣化を抑制しながらデータ量を削減する、Ｈ．２６４／ＡＶＣ（Advance Video Coding）規格等の符号化技術が規格化されている。

また、Ｈ．２６４／ＡＶＣ規格の拡張符号化方式として、Ｈ．２６４／ＳＶＣ（Scalable Video Coding）規格が存在する。Ｈ．２６４／ＳＶＣ規格は、多様な解像度の表示装置に対応可能なスケーラブル映像を階層符号化する規格であり、異なる解像度の映像を、効率的に圧縮した１つのデータとして生成することができる。具体的には、Ｈ．２６４／ＳＶＣ規格に従って符号化された階層符号化映像データは、ベースレイヤと呼ばれる基準となる低解像度の画像が符号化された階層と、階層間の予測誤差信号を符号化したエンハンスレイヤと呼ばれる階層とにより構成される。表示装置は、このように階層符号化された映像データから、表示解像度に適した解像度の映像を表示するために、ベースレイヤとエンハンスレイヤを組み合わせて復号することで所望の解像度の映像を得ることができる。

一方、携帯電話やＰＤＡ等の移動端末の普及により、ＨＤＤレコーダ等の映像記録装置で記録した映像データを移動端末に転送し、外出先での視聴を可能にする技術が普及してきている。映像データを移動端末に転送する際、転送先の移動端末が備える表示装置の表示解像度と転送対象の映像データの解像度が異なる場合、当該表示解像度に変換した映像データの生成が必要となる。即ち、転送元となる映像記録装置には、転送対象の映像データと変換後の映像データの両方が記録されることになる。そのため、ユーザが所有する、異なる表示解像度の表示装置を備える複数の移動端末のそれぞれに同一内容の映像データを転送する場合、映像記録装置にはそれぞれの表示装置の表示解像度に変換された映像データが生成され、記憶領域の容量を圧迫することがあった。

また、このような複数の移動端末に対し、Ｈ．２６４／ＳＶＣ規格に従って符号化した同一の階層符号化映像データを送信し、移動端末側で自身が備える表示装置の表示解像度に適した映像を復号して表示する構成も考えられる。しかしながら、同一の階層符号化映像データを全ての移動端末に転送する場合、映像データには移動端末では表示できない解像度の映像等、不必要な情報を含むため移動端末において記憶領域の容量を圧迫してしまう。

このような階層符号化映像データの転送における問題に対応するために、さまざまな提案がなされている。特許文献１及び２には、階層符号化映像データを転送する際に、転送先の機器が備える表示装置の表示解像度に適した映像が復号可能な階層を判別し、当該階層までの階層符号化映像データを転送する技術が開示されている。

特開２００４−２６０３６２号公報 特開２００４−１９２１４０号公報

しかしながら、上述した特許文献１及び２の技術において、例えば階層符号化映像データに転送先の機器が備える表示装置の表示解像度の映像が符号化されていない場合に、以下のような問題が考えられる。即ち、転送先の機器では、転送された階層符号化映像データから復号した映像を、備える表示装置の表示解像度にリサイズやクロップして当該表示装置に出力する必要があり、リサイズ及びクロップに係る回路構成を設ける必要があった。

また、階層符号化映像データに含まれる全ての階層を復号し、転送先の機器が備える表示装置の表示解像度に適した映像データを生成する場合は以下のような問題が考えられる。即ち、復号処理に要する時間の増大や、全ての階層を復号することにより得られる、同一の映像コンテンツに係る最大の解像度の中間データを格納可能な容量を有する記憶領域を設ける必要があった。

本発明は、上述の問題点に鑑みてなされたものであり、転送先の外部機器の表示解像度に適した階層符号化映像データを、全ての階層を復号せずに生成可能な映像処理装置及びその制御方法を提供することを目的とする。

前述の目的を達成するために、本発明の映像処理装置は、以下の構成を備える。
同一の映像コンテンツに係り、複数種類の解像度を有する映像群が階層構造を有して符号化された階層符号化映像データを受信する受信手段と、映像コンテンツを表示する外部機器の表示解像度を取得する取得手段と、水平方向もしくは垂直方向の少なくとも一方において表示解像度に等しい解像度を有し、かつ、水平方向及び垂直方向の両方において表示解像度を超えない解像度を有する第１の映像が、階層符号化映像データに符号化されているか否かを判断する判断手段と、判断手段により第１の映像が階層符号化映像データに符号化されていないと判断された場合に、水平方向及び垂直方向の少なくとも一方において表示解像度より大きい解像度を有する階層符号化映像データに符号化されている第２の映像の符号化データを用いて第１の映像の符号化データを生成して階層符号化映像データに追加する生成手段と、を備えることを特徴とする。

このような構成により本発明によれば、転送先の外部機器の表示解像度に適した階層符号化映像データを、全ての階層を復号せずに生成することを可能とする。

本発明の実施形態に係る映像処理装置の一例としてのセットトップボックスの機能構成例を示すブロック図。 図１の転送レイヤ生成部の機能構成例を示すブロック図。 本発明の実施形態に係るレイヤ構成情報及び外部機器の表示解像度にかかる情報の例を示した図。 本発明の実施形態に係る転送用映像データ生成処理のフローチャート。 本発明の実施形態に係る転送レイヤ生成判定処理のフローチャート。 本発明の実施形態に係る転送用映像データ生成処理の実行後のレイヤ構成情報を示した図。 本発明の実施形態に係る転送用映像データ転送処理のフローチャート。 本発明の実施形態に係る転送用レイヤ構成情報生成処理のフローチャート。 本発明の実施形態に係る転送用レイヤ構成情報を示した図。 本発明の変形例に係る転送レイヤ生成部の機能構成を示すブロック図。

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお以下に説明する一実施形態は、本発明を適用可能な、同一の映像コンテンツに係り、異なる解像度を有する複数の映像が互いに異なる階層に符号化された階層符号化映像データを変換して転送可能な映像処理装置の一例としてのセットトップボックスを説明する。また、本明細書において、「階層符号化映像データ」は、Ｈ．２６４／ＳＶＣ規格に準拠した符号化映像データであるものとして説明する。しかし、本発明は、他の符号化方法によって、同一の映像コンテンツに係り、異なる解像度を有する複数の映像が互いに異なる階層に符号化された映像データを生成する映像処理装置にも適用可能である。

また、本明細書において、階層符号化映像データの形式に符号化された各映像の符号化データは、階層符号化映像データに階層化された際に「階層」という概念で示されるものとして説明する。「階層」は、１つの階層に対して１つの映像の符号化データが対応付けられた概念であり、「階層」を復号すると表現した場合、当該階層に対応付けられた符号化データの映像を復号することを指す。階層に対応付けられる符号化データは、１つの映像の符号化データ全体を指してもよいし、Ｈ．２６４／ＳＶＣの映像データのように、階層間の映像の差分データの符号化データを指してもよい。後者の場合、複数の階層に対応付けられた差分データを選択的に参照して復号することにより、１つの映像が復号される。

図１は、本発明の実施形態に係るセットトップボックス１００の機能構成を示すブロック図である。
制御部１０１は、例えばＣＰＵであり、セットトップボックス１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出してＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。なお、本実施形態ではセットトップボックス１００が備える各ブロックの動作を当該ブロックの動作プログラムにより制御するものとして説明するが、本発明の実施はこれに限らず、各ブロックは当該動作プログラムと同様の処理を行う回路で構成されてもよい。

ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、セットトップボックス１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ、及び例えばユーザにより登録された転送先となる外部機器の表示解像度の情報等を記憶する。ＲＡＭ１０３は、書き換え可能な不揮発性メモリであり、セットトップボックス１００が備える各ブロックの動作において出力された中間データ等を一時的に格納する記憶領域である。

データ入力部１０４は、階層符号化映像データを受信する受信手段であり、後述する記録媒体からＨ．２６４／ＳＶＣ規格に準拠した階層符号化映像データを受信して解析し、当該階層符号化映像データのレイヤ構成情報を生成する。具体的には、データ入力部１０４は受信した階層符号化映像データのＳＰＳ（Sequence Parameter Set）、及びＰＰＳ（Picture Parameter Set）より必要な情報を取得し、当該情報を用いてレイヤ構成情報を生成する。

レイヤ構成情報は、図３（ａ）に示すように階層符号化映像データが有するそれぞれの階層（レイヤ）に対して、識別情報であるＤＩＤ、復号により得られる映像の水平解像度ｌｘ、垂直解像度ｌｙ、及びアスペクト比ｌｚの情報を有する。なお、本明細書においてアスペクト比は、水平解像度を垂直解像度で除した値であるものとして定義する。またレイヤ構成情報は、各階層に対して外部機器への転送用の階層であるか否かを示す転送レイヤフラグにより構成される。当該転送レイヤフラグは、例えば階層が外部機器への転送用に生成された階層である場合は１、転送用に生成された階層ではない場合は０に設定される。なお、生成されたレイヤ構成情報は、階層符号化映像データに関連付けられて例えば記録媒体１１１に記憶されるものとする。

またデータ入力部１０４は、受信した階層符号化映像データを画像音声分離部１０５に入力する。なお本実施形態では、データ入力部１０４により受信された、記録媒体１１１に記録されている階層符号化映像データから新たな階層符号化映像データを生成し、転送先の外部機器に転送するものとして説明するが、本発明の実施はこれに限らない。即ち、データ入力部１０４は階層符号化映像データを受信可能であればよく、転送される新たな階層符号化映像データは、データ入力部１０４が例えば放送波により受信した階層符号化映像データから生成されたものであってもよい。

画像音声分離部１０５は、データ入力部１０４により入力された階層符号化映像データを画像符号化データと音声符号化データとに分離する。そして画像音声分離部１０５は、分離した画像符号化データを後述する転送レイヤ生成部１０８及びレイヤ多重部１０６に出力し、音声符号化データを画像音声合成部１０９に出力する。

操作入力部１０７は、例えばユーザによるリモートコントローラの操作等によりセットトップボックス１００になされた操作入力を解析し、操作された内容を制御部１０１に伝送するユーザインタフェースである。本実施形態では、操作入力部１０７は、ユーザによりなされた、外部機器の表示解像度を有する映像が復号可能な転送レイヤの生成指示、及び外部機器への階層符号化映像データの転送指示を受信するものとする。なお外部機器の表示解像度の情報は、ユーザによって入力されてもよいし、セットトップボックス１００に外部機器が有線または無線で接続された際に外部機器から受信または解析により取得してもよい。取得された外部機器の表示解像度の情報は、例えば図３（ｂ）に示すように水平解像度、垂直解像度、及びアスペクト比の情報で構成され、ＲＯＭ１０２に記憶されるものとする。

転送レイヤ生成部１０８は、外部機器の表示解像度に適した映像が符号化された階層である転送レイヤの符号化データを生成するブロックである。転送レイヤ生成部１０８には、画像音声分離部１０５により分離された、転送対象となる階層符号化映像データの画像符号化データが入力される。また制御部１０１によりＲＯＭ１０２から読み出された、転送先の外部機器の表示解像度の情報、及び記録媒体１１１から読み出された転送対象の階層符号化映像データのレイヤ構成情報が入力される。ここで、図２を参照して転送レイヤ生成部１０８の詳細な構成について説明する。

レイヤ生成制御部２０１は、入力された外部機器の表示解像度の情報に従って、転送レイヤ生成部１０８が有する各ブロックの動作を制御する制御ブロックである。レイヤ生成制御部２０１はレイヤ構成情報を参照し、転送対象の階層符号化映像データが有する階層のうち、外部機器の表示解像度に適した映像を生成するために復号する映像の符号化データが対応付けられた階層のＤＩＤを決定する。

またレイヤ生成制御部２０１は、決定した復号する階層を復号することにより得られる復号画像と、ベースレイヤを復号することにより得られる復号画像との解像度比を示す、対ベースレイヤ解像度比を算出する。

なお、本明細書において解像度比は以下のようにして算出するものとする。まず、基準となる画像のアスペクト比Ａｂａｓｅと、比較する画像のアスペクト比Ａｃｏｍｐとを比較する。比較結果がＡｂａｓｅ≦Ａｃｏｍｐである場合は両画像の水平解像度を用いてアスペクト比を算出（Ｘｃｏｍｐ／Ｘｂａｓｅ）し、Ａｂａｓｅ＞Ａｃｏｍｐである場合は両復号画像の垂直解像度を用いてアスペクト比を算出（Ｙｃｏｍｐ／Ｙｂａｓｅ）する。即ち、解像度比が１である場合は、比較する画像の水平方向もしくは垂直方向の少なくとも一方において、基準となる画像と等しい解像度を有し、かつ水平方向及び垂直方向の両方において、基準となる画像の解像度を超えない解像度を有することになる。

なお、復号する階層のＤＩＤは、復号に係る処理を最小限にとどめるために、階層符号化映像データが有する階層のうち、外部機器の表示解像度より大きい解像度の復号画像が得られる、最も下位の階層のＤＩＤに決定されるものとする。即ち、復号する階層は、下位の階層から順に外部機器の表示解像度に対する復号画像の解像度比を算出し、最初に１以上の値が得られた階層が、復号する階層として決定される。

復号部２０２は、階層符号化映像データを復号するブロックであり、レイヤ生成制御部２０１により決定された復号する階層のＤＩＤの情報に従い、復号する階層までの符号化映像データを復号して復号画像を生成し、リサイズ部２０３に入力する。

また復号部２０２は復号処理の過程において、復号画像がＩピクチャ、Ｂピクチャ、Ｐピクチャのいずれであるかを示すピクチャ種別情報、ベースレイヤの復号画像に対する復号画像のずれを示すオフセット位置情報を取得する。さらに復号部２０２は復号処理の過程において、転送レイヤとベースレイヤの階層間予測に用いる、ベースレイヤの階層間予測用情報を取得する。階層間予測用情報には、階層を復号して得られる画像内のイントラブロックの画素値、動き補償予測により得られるインターブロックの予測誤差信号、動きベクトル、及び画像内の各マクロブロックの符号化モードが含まれる。復号部２０２は、取得したオフセット位置情報をリサイズ部２０３に、ピクチャ種別情報を予測符号化部２０４に、ベースレイヤの階層間予測用情報を差分算出部２０５に入力する。

リサイズ部２０３は、入力された復号画像を外部機器の表示解像度の情報に従ってリサイズする。具体的にはリサイズ部２０３は、外部機器の表示解像度に対する、入力された復号画像の解像度比を算出し、当該解像度比の逆数倍に復号画像をリサイズして転送用画像を生成し、予測符号化部２０４に出力する。また、リサイズ部２０３はオフセット位置情報も同様に、外部機器の表示解像度に対する入力された復号画像の解像度比の逆数倍することにより、ベースレイヤに対する転送用画像のオフセット位置情報を生成してレイヤ符号化部２０６に出力する。

予測符号化部２０４は、入力されたピクチャ種別情報を参照し、ピクチャ種別を継承するように転送用画像を予測符号化する。予測符号化は動き推定、動き補償予測、画面内予測等の処理により行われ、予測符号化部２０４は予測符号化により取得した転送レイヤの階層間予測用情報を差分算出部２０５に出力する。

差分算出部２０５は、入力されたベースレイヤ及び転送レイヤの階層間予測用情報を用いて、ベースレイヤに対する転送レイヤの階層間予測誤差情報（付加情報）を取得する。具体的には差分算出部２０５は、ベースレイヤに対する転送レイヤの解像度比に従ってベースレイヤの階層間予測用情報をアップサンプルし、転送レイヤの階層間予測用情報の予測値を生成する。そして生成された転送レイヤの予測値と予測符号化部２０４により入力された転送レイヤの階層間予測用情報との差分を算出し、ベースレイヤに対する転送レイヤの階層間予測誤差情報を取得する。差分算出部２０５は取得したベースレイヤに対する転送レイヤの階層間予測誤差情報をレイヤ符号化部２０６に出力する。

レイヤ符号化部２０６は、入力されたベースレイヤに対する転送レイヤの階層間予測誤差情報及びオフセット位置情報を符号化し、得られた転送レイヤの符号化データをレイヤ多重部１０６に出力する。

このようにすることで、転送レイヤ生成部１０８では、入力された外部機器の表示解像度の情報と、転送対象の階層符号化映像データのレイヤ構成情報及びその画像符号化データから、転送レイヤの符号化データを生成することができる。

レイヤ多重部１０６は、階層符号化映像データの画像符号化データの構成を変更し、複数の階層が多重化された画像符号化データを出力する。具体的にはレイヤ多重部１０６は、対象の階層符号化映像データから生成された転送レイヤが転送レイヤ生成部１０８より入力された場合は、対象の階層符号化映像データの画像符号化データに、当該転送レイヤを新たな階層として追加して多重化して出力する。このときレイヤ多重部１０６は、記録媒体１１１に記憶されている対象の階層符号化映像データのレイヤ構成情報を読み出し、当該レイヤ構成情報を転送レイヤの情報を、転送レイヤフラグを１として追加して更新し、再び記録媒体１１１に記憶させればよい。図３（ｃ）は転送レイヤが追加されたレイヤ構成情報の例を示しており、転送レイヤフラグが１であるＤＩＤが０ｘ０１のレイヤが追加されていることがわかる。なお、転送時のデータ量を最小にするためには、追加された転送レイヤのＤＩＤは０ｘ０１に設定され、転送時にはベースレイヤ及び転送レイヤのみが転送されることが望ましいが、本発明の実施はこれに限らない。即ち本発明は、最終的に外部機器においてリサイズやクロップ処理が必要ない、表示解像度に適した映像が復号できる階層符号化映像データが生成されればよく、階層構造については限定しない。

また対象の階層符号化映像データの外部機器への転送指示がなされた場合、レイヤ多重部１０６は次のように多重化を行う。レイヤ多重部１０６は、当該外部機器に対応する転送レイヤが対象の階層符号化映像データの画像符号化データに存在すると判断すると、ベースレイヤと転送レイヤのみから構成される画像符号化データを多重化して出力する。

画像音声合成部１０９は、レイヤ多重部１０６から出力された画像符号化データと、画像音声分離部１０５から出力された音声符号化データとを合成して、階層符号化映像データを生成する。生成された階層符号化映像データは、記録媒体１１１に記録されるか、転送部１１０に入力され、外部機器に転送される。

転送部１１０は、外部機器とセットトップボックス１００とを接続するインタフェースであり、有線または無線により外部機器に対して階層符号化映像データを転送する。記録媒体１１１は、例えばセットトップボックス１００が備える内部メモリや、メモリカードやＨＤＤ等のセットトップボックス１００に着脱可能に接続される記録装置であり、本実施形態では階層符号化映像データを記録する。

（転送用映像データ生成処理）
このような構成をもつ本実施形態のセットトップボックス１００の転送用映像データ生成処理について、図４のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本転送用映像データ生成処理は、例えばユーザにより転送対象の階層符号化映像データ及び転送先の外部機器が選択され、転送用映像データの生成指示が操作入力部１０７になされた際に開始されるものとして説明する。

Ｓ４０１で、制御部１０１は、転送用映像データの生成について転送レイヤの生成が必要か否かを判断するために、転送レイヤ生成判定処理を実行する。ここで、転送レイヤ生成判定処理について、図５のフローチャートを参照して詳細に説明する。

Ｓ５０１で、制御部１０１は、ＲＯＭ１０２に記憶されている転送先の外部機器の表示解像度の情報、及び記録媒体１１１より転送対象の階層符号化映像データのレイヤ構成情報を取得する。

Ｓ５０２で、制御部１０１は、レイヤ構成情報に含まれる各階層を復号することにより得られる復号画像のそれぞれについて、外部機器の表示解像度に対する解像度比を算出する。そして、レイヤ構成情報に含まれる階層の中に、外部機器の表示解像度に対する復号画像の解像度比が１である階層が存在するかを判断する（第１の判断）。即ち、制御部１０１は、転送対象の階層符号化映像データが有する階層のうち、復号画像が以下の条件を満たす階層が存在するか否かを判断する。具体的には復号画像が、水平方向もしくは垂直方向の少なくとも一方において外部装置の表示解像度と等しい解像度を有し、かつ水平及び垂直方向において表示解像度を超えない解像度を有する画像（第１の映像）を満たすか否かを判断する。制御部１０１は、外部機器の表示解像度に対する復号画像の解像度比が１である解像が存在しない場合は処理をＳ５０３に移し、存在する場合は処理をＳ５０５に移す。

Ｓ５０３で、制御部１０１は、制御部１０１は、外部機器の表示解像度に対するベースレイヤ（ＤＩＤ＝０ｘ００）の復号画像の解像度比が１未満である否か、即ち外部機器の表示解像度がベースレイヤの復号画像の解像度より大きいか否かを判断する。さらに制御部１０１は、外部機器の表示解像度に対する各階層の復号画像の解像度比のうち、解像度比が１以上のものが存在するか否かを判断する（第２の判断）。即ち、水平方向及び垂直方向の少なくとも一方において外部機器の表示解像度より大きい解像度を有する復号画像（第２の映像）が得られる階層が存在するか否かを判断する。制御部１０１は、外部機器の表示解像度がベースレイヤの復号画像の解像度より大きく、かつ階層符号化映像データの中に外部機器の表示解像度より大きい解像度を有する復号画像が符号化された階層が存在する場合は、処理をＳ５０４に移す。また制御部１０１は、当該条件を満たさない場合は処理をＳ５０５に移す。

Ｓ５０４で、制御部１０１は、転送レイヤを生成すると判断して転送レイヤ生成判定処理を完了する。またＳ５０５で、制御部１０１は転送レイヤを生成しないと判断して転送レイヤ生成判定処理を完了する。

このように転送レイヤ生成判定処理を実行し、制御部１０１処理をＳ４０２に移す。そしてＳ４０２で制御部１０１は、転送レイヤを生成すると判定されたか否かを判断する。制御部１０１は転送レイヤを生成する場合は処理をＳ４０３に、転送レイヤを生成しない場合は転送用映像データ生成処理を完了する。

Ｓ４０３で、制御部１０１は、記録媒体１１１から転送対象の階層符号化映像データを読み出して画像音声分離部１０５に当該階層符号化映像データの画像符号化データと音声符号化データとを分離させる。そして制御部１０１は、１０５に分離させて得られた画像符号化データを転送レイヤ生成部１０８に入力する。

Ｓ４０４で、制御部１０１は、転送レイヤ生成部１０８にレイヤ構成情報と、外部機器の表示解像度の情報を入力し、転送レイヤ生成部１０８に転送レイヤの符号化データを生成させる。制御部１０１は、転送レイヤ生成部１０８に生成させた転送レイヤの符号化データをレイヤ多重部１０６に出力させ、処理をＳ４０５に移す。

Ｓ４０５で、制御部１０１は、転送対象の階層符号化映像データの画像符号化データをレイヤ多重部１０６に入力し、転送レイヤの符号化データを追加して新たな画像符号化データを生成させる。またレイヤ多重部１０６は、制御部１０１により入力された転送対象の階層符号化映像データのレイヤ構成情報に転送レイヤの情報を追加して、新たな画像符号化データのレイヤ構成情報として記録媒体１１１に記録する。

Ｓ４０６で、制御部１０１は、レイヤ多重部１０６により生成された新たな画像符号化データと音声符号化データとを画像音声合成部１０９に合成させ、得られた新たな階層符号化映像データを記録媒体１１１に記録し、転送用映像データ生成処理を完了する。

このようにすることで、セットトップボックス１００は転送先の外部機器の表示解像度の映像が階層符号化映像データに含まれない場合であっても、外部機器の表示解像度の映像を復号可能な階層を生成して階層符号化映像データに追加することが可能である。

図６は、転送用映像データ生成処理の実行後に記録媒体１１１に記録されている新たなレイヤ構成情報と、当該レイヤ構成情報に含まれる転送レイヤを生成するために復号された階層、及び転送レイヤの対ベースレイヤ解像度比を示している。図に例示する２つのパターンは、それぞれ外部機器の表示解像度が異なる場合を示している。上述したようにそれぞれの復号された階層の、外部機器の表示解像度に対する解像度比が１以上の値となった最下位の階層が、復号する階層として決定されている。

（転送用映像データ転送処理）
次に、本実施形態のセットトップボックス１００の転送用映像データ転送処理について、図７のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本転送用映像データ転送処理は、例えばユーザにより転送対象の階層符号化映像データが選択され、転送先の外部機器への転送指示が操作入力部１０７になされた際に開始されるものとして説明する。

Ｓ７０１で、制御部１０１は、記録媒体１１１から転送対象の階層符号化映像データに関連付けられているレイヤ構成情報を読み出し、転送先の外部機器の表示解像度と同じ解像度を有する映像が復号されている階層が存在するかを判断する。制御部１０１は外部機器の表示解像度と同じ解像度を有する映像が復号されている階層が存在しない場合は処理をＳ７０２に移して転送用映像データ生成処理を実行し、存在する場合は処理をＳ７０３に移す。

Ｓ７０３で、制御部１０１は、転送先の外部機器に転送する階層符号化映像データの構成を示す転送用レイヤ構成情報を生成するために、転送用レイヤ構成情報生成処理を実行する。ここで、転送用レイヤ構成情報生成処理について図８のフローチャートを用いて詳細に説明する。

Ｓ８０１で、制御部１０１は、転送対象の階層符号化映像データに関連付けられているレイヤ構成情報を参照し、外部機器の表示解像度に対するベースレイヤの復号画像の解像度比が１未満であるか否かを判断する。即ち、制御部１０１はベースレイヤの復号画像が、水平方向及び垂直方向の両方において外部機器の表示解像度に満たない解像度であるか否かを判断する。制御部１０１は、外部機器の表示解像度に対するベースレイヤの復号画像の解像度比が１未満である場合は処理をＳ８０２に移し、１より大きい場合は処理をＳ８０７に移す。

Ｓ８０２で、制御部１０１は、レイヤ情報に含まれる階層のうち、各階層を復号して得られる復号画像の外部機器の表示解像度に対する解像度比が１である階層が存在するか否かを判断する。このとき、レイヤ情報には外部機器の表示解像度より大きい解像度を有する映像が符号化された階層が存在しない場合を除いて、Ｓ７０２の転送用映像データ生成処理により少なくとも外部機器の表示解像度に対する復号画像の解像度比が１となる階層が存在する。即ち、外部機器の表示解像度に対する復号画像の解像度比が１である階層が存在しない場合、転送対象の階層符号化映像データには外部機器の表示解像度より大きい解像度を有する映像が符号化された階層が存在しないことになる。制御部１０１は、外部機器の表示解像度に対する復号画像の解像度比が１である階層が存在する場合は処理をＳ８０３に移し、存在しない場合は処理をＳ８０６に移す。

Ｓ８０３で、制御部１０１は、外部機器の表示解像度に対する復号画像の解像度比が１である階層の転送レイヤフラグが１であるか否かを判断する。制御部１０１は、外部機器の表示解像度と同一の解像度を有する映像が符号化された階層の転送レイヤフラグが１である場合は処理をＳ８０４に移し、転送レイヤフラグが０である場合は処理をＳ８０５に移す。

Ｓ８０４で、制御部１０１は、ベースレイヤ、及び転送レイヤフラグが１である転送映像データ生成処理により生成された転送レイヤのみで構成される転送用レイヤ構成情報を生成する。またＳ８０５で、制御部１０１は、外部機器の表示解像度に対する復号画像の解像度比が１である階層を含む、当該階層の復号に必要な階層、即ち当該階層の下位の階層で構成される転送用レイヤ構成情報を生成する。

Ｓ８０６で、制御部１０１は、アップサンプル処理なしには外部機器の表示解像度に適した映像を得ることができないと判断し、転送対象の階層符号化映像データに関連付けられているレイヤ構成情報を複製し、転送用レイヤ構成情報として生成する。なお、転送対象の階層符号化映像データに、転送先の外部機器とは異なる装置について生成された転送レイヤが含まれている場合は、当該階層符号化映像データに関連付けられているレイヤ構成情報から転送レイヤの情報を削除して転送用レイヤ構成情報を生成する。

Ｓ８０７で、制御部１０１は、外部機器の表示解像度に最も近い映像データはベースレイヤを復号して得られると判断し、ベースレイヤのみで構成される転送用レイヤ構成情報を生成する。

このようにして、転送用レイヤ構成情報生成処理により、外部機器の表示解像度にあわせて転送対象の階層符号化映像データから転送する階層を判断し、転送する階層で構成される転送レイヤ構成情報を生成することができる。

Ｓ７０４で、制御部１０１は、転送レイヤ構成情報と転送対象の階層符号化映像データに関連付けられたレイヤ構成情報とが同一であるか否かを判断する。即ち、記録媒体１１１に記録されている転送対象の階層符号化映像データの全ての階層を外部機器に転送するか否かを制御部１０１は判断する。制御部１０１は、転送対象の階層符号化映像データの全ての階層を外部機器に転送する場合は処理をＳ７０９に移し、一部の階層を外部機器に転送する場合は処理をＳ７０５に移す。

Ｓ７０５で、制御部１０１は、記録媒体１１１に記憶されている転送対象の階層符号化映像データを読み出し、画像音声分離部１０５に画像符号化データと音声符号化データとに分離させる。また制御部１０１は、画像音声分離部１０５に分離させて得られた画像符号化データをレイヤ多重部１０６に入力する。

Ｓ７０６で、制御部１０１は、転送用レイヤ構成情報をレイヤ多重部１０６に入力し、転送用レイヤ構成情報に従って画像符号化データから必要な階層を抽出し、転送用の画像符号化データを新たに多重化して画像音声合成部１０９に出力させる。具体的には、レイヤ多重部１０６は転送用レイヤ構成情報に含まれる、転送用の階層符号化映像データを構成する階層の符号化データを画像符号化データから抽出して、当該階層のみから構成される新たな画像符号化データを生成して出力する。

Ｓ７０７で、制御部１０１は、画像音声合成部１０９に入力された新たな画像符号化データと、画像音声分離部１０５で分離させた音声符号化データとを合成させ、転送用の階層符号化映像データを生成させる。

Ｓ７０８で、制御部１０１は、画像音声合成部１０９に生成させた転送用の階層符号化映像データを転送部１１０に入力し、外部機器に対して転送させ、転送用映像データ転送処理を完了する。またＳ７０９で、制御部１０１は記録媒体１１１から読み出した転送対象の階層符号化映像データを転送部１１０に入力し、外部機器に対して転送させ、転送用映像データ転送処理を完了する。

このようにすることで、セットトップボックス１００は転送先の外部機器に階層符号化映像データを転送する際に、外部機器の表示解像度に最適な階層符号化映像データを転送することができる。また、転送対象となる階層符号化映像データに符号化されている映像データのうち、外部機器の表示解像度より大きい映像データが存在する場合は、当該外部機器の表示解像度と同一の解像度を有する階層符号化映像データを生成して転送することができる。

図９は、転送対象の階層符号化映像データに関連付けられたレイヤ構成情報と、転送先の外部機器の表示解像度によって生成される転送用レイヤ構成情報とを示している。

パターン１は、ベースレイヤの復号画像が、水平方向及び垂直方向の両方において外部機器の表示解像度に満たない解像度を有する場合を示しており、転送用レイヤ構成情報はベースレイヤのみで構成されている。

パターン２は、外部機器の表示解像度に合わせて生成された転送レイヤが存在している場合を示しており、転送用レイヤ構成情報はベースレイヤ及び転送レイヤのみで構成されている。

パターン３は、外部機器の表示解像度に対する復号画像の解像度比が１である階層が存在している場合を示しており、転送用レイヤ構成情報は、当該解像度比が１である階層と、その下位の階層により構成されている。

パターン４は、外部機器の表示解像度より大きい解像度を有する映像が符号化された階層が存在しない場合を示している。転送用レイヤ構成情報は、転送対象の階層符号化映像データに関連付けられたレイヤ構成情報から転送レイヤフラグが１である階層を除いた階層で構成されている。

以上説明したように、本実施形態の映像処理装置は、転送先の外部機器の表示解像度に適した階層符号化映像データを、全ての階層を復号せずに生成することができる。即ち、階層符号化映像データから復号可能な複数の映像のうち、最大の解像度を有する映像を復号せずに、転送先の外部機器の表示解像度に適した階層符号化映像データを生成することができる。具体的には映像処理装置は、受信した同一の映像コンテンツに係り、異なる解像度を有する複数の映像が符号化された階層符号化映像データを転送する外部機器の表示解像度の情報を取得する。そして水平方向もしくは垂直方向の少なくとも一方において表示解像度に等しい解像度を有し、かつ水平方向及び垂直方向の両方において表示解像度を超えない解像度を有する第１の映像が、受信した階層符号化映像データに符号化されているか否かを判断する。第１の映像が符号化されていない場合、さらに水平方向及び垂直方向の少なくとも一方において外部機器の表示解像度より大きい解像度を有する第２の映像が符号化されているか否かを判断する。第２の映像が符号化されている場合、映像処理装置は第２の映像の符号化データを用いて第１の映像の符号化データを生成し、階層符号化映像データに追加する。

このようにすることで、転送対象の階層符号化映像データに、転送先の外部機器の表示解像度より大きい解像度を有する映像が符号化されている場合に、外部機器の表示解像度に適した階層符号化映像データを転送することができる。即ち、映像処理装置は、転送対象の階層符号化映像データから、水平方向もしくは垂直方向の少なくとも一方において表示解像度に等しい解像度を有し、かつ水平方向及び垂直方向の両方において表示解像度を超えない解像度を有する映像の符号化データを生成する。外部機器の表示解像度に適した階層符号化映像データとして転送することができる。

（変形例）
上述した実施形態では、転送レイヤ生成部１０８において、転送先の外部機器の表示解像度より大きい解像度を有する映像が符号化されている階層を復号して、外部機器の表示解像度に適した映像に変換する方法について説明した。本変形例では、映像の復号は行わず、階層間予測に必要な情報のみを復号し、ダウンサンプル処理を行うことにより、外部機器の表示解像度に適した映像が符号化された階層の符号化データを生成する方法について説明する。

図１０は、本変形例の転送レイヤ生成部１０８の詳細な構成を示したブロック図である。なお、図１０において上述した実施形態のセットトップボックス１００が有する転送レイヤ生成部１０８の詳細な構成と同様の動作を行うブロックには同一の参照番号を付して説明を省略する。

階層間予測用情報生成部１００１は、復号する階層までの各階層に符号化されている階層間予測誤差情報から、ベースレイヤに対する復号する階層の階層間予測用情報を生成する。具体的には階層間予測用情報生成部１００１は、まずベースレイヤの階層間予測用情報、及びレイヤ生成制御部２０１により決定された復号する階層までの各階層の階層間予測誤差情報を、転送対象の階層符号化映像データから復号する。そして階層間予測用情報生成部１００１は、ベースレイヤから復号する階層まで、下位の階層の階層間予測用情報を上位の階層の解像度までアップサンプルして、上位の階層間予測誤差情報を加算して上位の階層の階層間予測用情報を生成する処理を繰り返す。そして階層間予測用情報生成部１００１は得られた復号する階層の階層間予測用情報をダウンサンプル部１００２に入力し、ベースレイヤの階層間予測用情報を差分算出部２０５に入力する。また階層間予測用情報生成部１００１はベースレイヤから復号する解像までの各階層のオフセット位置情報もアップサンプルしながら加算することで、ベースレイヤに対する復号する階層のオフセット位置情報を生成し、ダウンサンプル部１００２に入力する。

ダウンサンプル部１００２は、入力された復号する階層の階層間予測用情報をダウンサンプルし、転送レイヤの階層間予測用情報を生成する。具体的にはダウンサンプル部１００２には外部機器の表示解像度に対する復号する階層の映像の解像度比を算出し、当該解像度比に従い、復号する階層の階層間予測用情報をダウンサンプルする。なお、ダウンサンプル処理はＨ．２６４／ＳＶＣの階層間予測にて用いられるアップサンプル処理と同様に行うものとする。生成された転送レイヤの階層間予測用情報は差分算出部２０５に入力される。また、ダウンサンプル部１００２はオフセット位置情報も同様に、外部機器の表示解像度に対する復号する階層の映像の解像度比の逆数倍することにより、ベースレイヤに対する転送レイヤのオフセット位置情報を生成してレイヤ符号化部２０６に出力する。

このようにすることで、転送レイヤ生成部１０８では、入力された外部機器の表示解像度の情報と、転送対象の階層符号化映像データのレイヤ構成情報及びその画像符号化データから、転送レイヤの符号化データを生成することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 同一の映像コンテンツに係り、複数種類の解像度を有する映像群が階層構造を有して符号化された階層符号化映像データを受信する受信手段と、
   前記映像コンテンツを表示する外部機器の表示解像度を取得する取得手段と、
   水平方向もしくは垂直方向の少なくとも一方において前記表示解像度に等しい解像度を有し、かつ、水平方向及び垂直方向の両方において前記表示解像度を超えない解像度を有する第１の映像が、前記階層符号化映像データに符号化されているか否かを判断する判断手段と、
   前記判断手段により前記第１の映像が前記階層符号化映像データに符号化されていないと判断された場合に、水平方向及び垂直方向の少なくとも一方において前記表示解像度より大きい解像度を有する前記階層符号化映像データに符号化されている第２の映像の符号化データを用いて前記第１の映像の符号化データを生成して前記階層符号化映像データに追加する生成手段と、を備えることを特徴とする映像処理装置。
2. 前記生成手段は、前記階層符号化映像データから前記第２の映像を復号し、復号した前記第２の映像をリサイズして前記第１の映像を生成し、当該生成した前記第１の映像を前記階層符号化映像データの１つの階層として符号化することにより、前記階層符号化映像データに追加することを特徴とする請求項１に記載の映像処理装置。
3. 前記生成手段は、前記第２の映像の符号化データに含まれる付加情報を変更することにより、前記第２の映像を復号せずに、前記第２の映像の符号化データから前記第１の映像の符号化データを生成することを特徴とする請求項１に記載の映像処理装置。
4. 前記第２の映像は、前記映像群のうちの前記第１の映像より大きい解像度を有する映像のうち、最小の解像度を有する映像であることを特徴とする請求項１乃至３のいずれか１項に記載の映像処理装置。
5. 前記外部機器に前記階層符号化映像データを転送する転送手段をさらに備え、
   前記転送手段は、前記階層符号化映像データのうち、前記第１の映像の復号に必要な符号化データを抽出して前記外部機器に転送することを特徴とする請求項１乃至４のいずれか１項に記載の映像処理装置。
6. 前記階層符号化映像データは、Ｈ．２６４／ＳＶＣ規格に準拠した構成を有することを特徴とする請求項１乃至５のいずれか１項に記載の映像処理装置。
7. 受信手段が、同一の映像コンテンツに係り、複数種類の解像度を有する映像群が階層構造を有して符号化された階層符号化映像データを受信する受信工程と、
   取得手段が、前記映像コンテンツを表示する外部機器の表示解像度を取得する取得工程と、
   判断手段が、水平方向もしくは垂直方向の少なくとも一方において前記表示解像度に等しい解像度を有し、かつ、水平方向及び垂直方向の両方において前記表示解像度を超えない解像度を有する第１の映像が、前記階層符号化映像データに符号化されているか否かを判断する判断工程と、
   生成手段が、前記判断工程において前記第１の映像が前記階層符号化映像データに符号化されていないと判断された場合に、水平方向及び垂直方向の少なくとも一方において前記表示解像度より大きい解像度を有する前記階層符号化映像データに符号化されている第２の映像の符号化データを用いて前記第１の映像の符号化データを生成して前記階層符号化映像データに追加する生成工程と、を備えることを特徴とする映像処理装置の制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の映像処理装置として機能させるためのプログラム。

Images