JP6635197B2 - 映像符号化装置、映像符号化方法およびプログラム - Google Patents

Description

本開示は、映像符号化装置、映像符号化方法および記録媒体に関する。

超高精細度テレビジョン放送（スーパーハイビジョン）の映像信号を受け付けて表示する表示装置に関する技術が特許文献１に記載されている。

また、映像信号のエンコーディングまたはデコーディング時に層間動き予測を行う方法が、例えば、特許文献２に記載されている。

特開２０１４−２３６２４１号公報 特表２００９−５２２９８２号公報 国際公開第２０１５／１９００７８号

ところで、スケーラブル符号化方式の符号化技術であって、例えば、Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＨＥＶＣ）におけるＳｃａｌａｂｌｅ Ｈｉｇｈ−ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＳＨＶＣ）を用いた映像符号化方式に関連する技術が特許文献３に記載されている。この映像符号化方式では、入力画像をダウンサンプリングして得られた低解像度画像が低解像度層（最下位レイヤまたはＢＬ：Ｂａｓｅ Ｌａｙｅｒ）として符号化され、入力画像が高解像度層（上位レイヤまたはＥＬ：Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ）として符号化される。

ＢＬに対応する解像度の画像の各フレームおよびＥＬに対応する解像度の画像の各フレームは、符号化ツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）に分割されて符号化される。ＣＴＵは、クアッドツリー構造で符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）に分割されて符号化される。各ＣＵは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）に分割されて予測される。また、各ＣＵの予測誤差は、クアッドツリー構造で、変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）に分割されて周波数変換される。なお、最大サイズのＣＵおよび最小サイズのＣＵを、ＬＣＵ（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ ：最大符号化ユニット）およびとＳＣＵ（Ｓｍａｌｌｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ：最小符号化ユニット）と呼ぶ。

ＣＵは、イントラ予測／フレーム間予測／レイヤ間予測の符号化単位である。以下、イントラ予測、フレーム間予測およびレイヤ間予測を説明する。

イントラ予測は、符号化対象フレームの再構築画像から予測画像を生成する予測である。

フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。以下、フレーム間予測をインター予測とも呼ぶ。インター予測では、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号が生成される。

動きベクトルの予測として、ＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ ）とマージモードとの２種類がある。ＡＭＶＰは、参照ピクチャの動きベクトルを用いて、動きベクトルの差分が最小となるように動きベクトルを予測する技術である。ＡＭＶＰでは、参照ピクチャインデックス、ＡＭＶＰ予測動きベクトルに関連づけられたＡＭＶＰインデックス、および、ＡＭＶＰ予測動きベクトルの組が伝送される。マージモードは、参照ピクチャの動きベクトルをそのまま流用する技術である。マージモードでは、マージ予測が有効であることを示すマージフラグと、流用する動きベクトルと関連づけられたマージ候補インデックスとの組が伝送される。

レイヤ間予測は、符号化済みのＢＬの再構築フレームのアップサンプル画像を用いるインター予測である。レイヤ間予測では、符号化済みＢＬの再構築フレームを、ＥＬのフレームと同じ解像度にアップサンプルしたアップサンプル画像をフレーム間予測することによって、レイヤ間予測信号が生成される。

以下、イントラ予測を用いるＣＵをイントラＣＵ、インター予測を用いるＣＵをインターＣＵ、レイヤ間予測を用いるＣＵをレイヤ間ＣＵと呼ぶ。

なお、イントラＣＵのみで符号化されたフレームはＩフレーム（またはＩピクチャ）と呼ばれる。イントラＣＵだけでなく、インターＣＵやレイヤ間ＣＵも含めて符号化されたフレームはＰフレーム（またはＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターＣＵを含めて符号化されたフレームはＢフレーム（またはＢピクチャ）と呼ばれる。

次に、図１３を参照して、特許文献３に関連する技術として、各解像度画像の各フレームの各ＣＴＵを入力画像としてビットストリームを出力する映像符号化装置であってスケーラブル符号化方式を用いる映像符号化装置の構成と動作を説明する。

図１３に示す映像符号化装置１０は、ＢＬを符号化する低解像度層ＨＥＶＣエンコーダ（ＢＬ符号化器）１００Ａ、ＥＬを符号化する高解像度層ＨＥＶＣエンコーダ（ＥＬ符号化器）１００Ｂ、ダウンサンプル器１０９、およびマルチプレクサ１１０を備える。ダウンサンプル器１０９は、入力画像をダウンサンプルして得られた低解像度画像（ＢＬ画像）をＢＬ符号化器１００Ａに供給する。

ＢＬ符号化器１００Ａは、推定器１０１Ａ、予測器１０２Ａ、周波数変換器１０３Ａ、量子化器１０４Ａ、逆量子化／逆周波数変換器１０５Ａ、バッファ１０６Ａ、およびエントロピー符号化器１０７Ａを備える。

ＢＬ画像のフレームの各ＣＴＵは、クアッドツリー構造に基づいて、可変サイズのＣＵに分割される。ＢＬ画像の各ＣＵの予測誤差は、ＣＴＵと同様に、クアッドツリー構造に基づいて、可変サイズのＴＵに分割される。

具体的には、推定器１０１Ａは、例えば符号化コストを最小にするＣＵ分割形状すなわちＣＵクアッドツリー構造を決定する。また、推定器１０１Ａは、ＢＬ画像のＣＴＵ毎に、ＰＵのブロック予測パラメータ（以下、ＰＵブロック予測パラメータと呼ぶ）およびＴＵクアッドツリー構造を決定する。

予測器１０２Ａは、推定器１０１Ａが決定したＣＵクアッドツリー構造およびＰＵブロック予測パラメータに基づいて、ＢＬ画像のＣＵに対する予測信号を生成する。予測信号は、上述したイントラ予測またはインター予測に基づいて生成される。

周波数変換器１０３Ａは、推定器１０１Ａが決定したＴＵクアッドツリー構造に基づいて、ＢＬ画像の画像信号から予測信号を減じた予測誤差信号（以下、予測誤差画像とも呼ぶ）を周波数変換する。

量子化器１０４Ａは、周波数変換された予測誤差画像（直交変換係数）を量子化する。以下、量子化された直交変換係数を係数レベルと呼ぶ。また、０以外の値を持つ係数レベルを有意係数レベルと呼ぶ。

エントロピー符号化器１０７Ａは、ＣＴＵ単位のＣＵクアッドツリー構造を示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ、ＰＵブロック予測パラメータ、ＴＵクアッドツリー構造を示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇおよび係数レベルをエントロピー符号化し、ＢＬ画像のビットストリーム（低解像度層（ＢＬ）ビットストリーム）を出力する。以後、エンロトピー符号化するパラメータ群を符号化パラメータと呼ぶ。

逆量子化／逆周波数変換器１０５Ａは、係数レベルを逆量子化する。さらに、逆量子化／逆周波数変換器１０５Ａは、逆量子化した直交変換係数を逆周波数変換する。逆周波数変換されたＢＬ画像の再構築予測誤差画像は、予測信号が加えられて、ＢＬ画像の再構築画像としてバッファ１０６Ａに供給される。

バッファ１０６Ａは、ＢＬ画像の再構築画像を以後の符号化処理のために格納する。バッファ１０６Ａに格納された再構築画像は、推定器１０１Ａおよび予測器１０２Ａによって取得され、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータ、およびＴＵクアッドツリー構造の決定、予測信号の生成に用いられる。

ＥＬ符号化器１００Ｂは、推定器１０１Ｂ、予測器１０２Ｂ、周波数変換器１０３Ｂ、量子化器１０４Ｂ、逆量子化／逆周波数変換器１０５Ｂ、バッファ１０６Ｂ、エントロピー符号化器１０７Ｂおよびアップサンプル器１０８を備える。

ＥＬ符号化器１００Ｂに入力される入力画像（ＥＬ画像）のフレームの各ＣＴＵは、クアッドツリー構造に基づいて、可変サイズのＣＵに分割される。ＥＬ画像の各ＣＵの予測誤差は、ＣＴＵと同様に、クアッドツリー構造に基づいて、可変サイズのＴＵに分割される。

推定器１０１Ｂは、ＥＬ画像のＣＴＵ毎に、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータおよびＴＵクアッドツリー構造を決定する。

予測器１０２Ｂは、推定器１０１Ｂが決定したＣＵクアッドツリー構造およびＰＵブロック予測パラメータに基づいて、ＥＬ画像のＣＵの画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測、インター予測またはレイヤ間予測に基づいて生成される。

周波数変換器１０３Ｂは、推定器１０１Ｂが決定したＴＵクアッドツリー構造に基づいて、ＥＬ画像の画像信号から予測信号を減じた予測誤差画像を周波数変換する。

量子化器１０４Ｂは、周波数変換された予測誤差画像（直交変換係数）を量子化する。

エントロピー符号化器１０７Ｂは、ＥＬ画像のＣＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ、ＰＵのブロック予測パラメータ、ＴＵのクアッドツリー構造を示すｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇおよび係数レベルをエントロピー符号化し、ＥＬ画像のビットストリーム（ＥＬビットストリーム）を出力する。

逆量子化／逆周波数変換器１０５Ｂは、係数レベルを逆量子化する。さらに、逆量子化／逆周波数変換器１０５Ｂは、逆量子化した直交変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、再構築画像としてバッファ１０６Ｂに供給される。

アップサンプル器１０８は、ＢＬ画像の再構築画像をアップサンプルする。

バッファ１０６Ｂは、ＥＬ画像の再構築画像と、アップサンプル器１０８によってアップサンプルされたＢＬ画像の再構築画像を以後の符号化処理のために格納する。バッファ１０６Ｂに格納されたデータは、推定器１０１Ｂおよび予測器１０２Ｂから取得され、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータ、およびＴＵクアッドツリー構造の決定、予測信号の生成に用いられる。

マルチプレクサ１１０は、ＢＬビットストリームとＥＬビットストリームとを多重化してスケーラブルビットストリームを生成する。上述した動作に基づいて、映像符号化装置１０は、入力画像からスケーラブルビットストリームを生成する。

このような映像符号化装置１０において、入力画像（ＥＬ画像）と、該入力画像をダウンサンプルして得られた低解像度画像（ＢＬ画像）との構造が異なる場合がある。例えば、ＥＬ画像がプログレッシブ方式の画像（以下、プログレッシブ画像と呼ぶ）であり、ＢＬ画像がインターレース方式の画像（以下、インターレース画像と呼ぶ）である場合がある。このような場合、アップサンプル器１０８がバッファ１０６Ａから取得するＢＬ画像の再構築画像は、インターレース方式の画像であるため、時間方向の情報がＥＬ画像の半分になる。したがって、このような再構築画像を用いて生成したＥＬビットストリームを含むスケーラブルビットストリームを、例えば、特許文献１に記載の表示装置等で復号した場合、時間方向の情報が失われている箇所があるため、復号した映像がカクつき、不自然に見えてしまう場合がある。つまり、上記場合では、復号した映像の画質が劣化してしまう可能性がある。

本開示は、上記課題に鑑みてなされたものであり、その目的は、上位レイヤに入力される画像と最下位レイヤに入力される画像との構造が異なる場合であっても高画質なスケーラブルビットストリームを出力することが可能な技術を提供することにある。

本開示の一態様に係る映像符号化装置は、入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、前記入力画像がダウンサンプルされた低解像度画像であって、前記入力画像とは異なる構造を有する低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを備え、前記エンハンスメントレイヤ符号化器は、時間方向において前記入力画像に対して対応する画像となるように、前記低解像度画像の再構築画像を処理する処理手段と、前記時間方向において、前記入力画像に対応する画像に対し、アップサンプル処理を行うアップサンプル手段と、を備え、前記エンハンスメントレイヤ符号化器は、前記アップサンプル処理が行われた画像を用いて符号化処理を行う。

また、本開示の一態様に係る映像符号化方法は、入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、前記入力画像がダウンサンプルされた低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを含む映像符号化装置における映像符号化方法であって、前記低解像度画像は、前記入力画像とは異なる構造を有し、前記エンハンスメントレイヤ符号化器が、時間方向において前記入力画像に対して対応する画像となるように、前記低解像度画像の再構築画像を処理し、前記時間方向において、前記入力画像に対応する画像に対し、アップサンプル処理を行い、前記アップサンプル処理が行われた画像を用いて符号化処理を行う。

なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本発明の範疇に含まれる。

上位レイヤに入力される画像と最下位レイヤに入力される画像との構造が異なる場合であっても高画質なスケーラブルビットストリームを出力することができる。

第１の実施の形態に係る映像符号化装置の一例を示すブロック図である。 第１の実施の形態に係る映像符号化装置における適応アップサンプル部の一例を示すブロック図である。 第１の実施の形態に係る映像符号化装置のＥＬ符号化器における符号化処理を説明するための図である。 第１の実施の形態における映像符号化装置における適応アップサンプル部の動作の一例を示すフローチャートである。 第２の実施の形態に係る映像符号化装置における適応アップサンプル部の一例を示すブロック図である。 第２の実施の形態に係る映像符号化装置のＥＬ符号化器における符号化処理を説明するための図である。 第２の実施の形態における映像符号化装置における適応アップサンプル部の動作の一例を示すフローチャートである。 第３の実施の形態に係る映像符号化装置の一例を示すブロック図である。 第３の実施の形態に係る映像符号化装置における適応アップサンプル部の一例を示すブロック図である。 第３の実施の形態における映像符号化装置における適応アップサンプル部および推定器の動作の一例を示すフローチャートである。 本開示による映像符号化装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本開示による映像符号化装置の主要部を示すブロック図である。 スケーラブル符号化方式を用いる映像符号化装置の一例を示すブロック図である。 図１３の映像符号化装置のＥＬ符号化器における符号化処理を説明するための図である。

＜第１の実施の形態＞
第１の実施の形態に係る映像符号化装置について、図面を参照して説明する。図１は、本実施の形態に係る映像符号化装置２０の一例を示すブロック図である。本実施の形態に係る映像符号化装置２０は、ＢＬ符号化器１００Ａ、ＥＬ符号化器２００Ｂ、ダウンサンプル器１０９およびマルチプレクサ１１０を備える。映像符号化装置２０のＢＬ符号化器１００Ａの構成および動作は、図１３に示した映像符号化装置１０におけるＢＬ符号化器１００Ａの構成および動作と同じである。また、映像符号化装置２０のダウンサンプル器１０９およびマルチプレクサ１１０の動作も、図１３に示した映像符号化装置１０におけるダウンサンプル器１０９およびマルチプレクサ１１０の動作と同様である。

本実施の形態において、入力画像は、例えばプログレッシブ方式の画像（例えば、４Ｋ６０ｐ）であるとする。また、入力画像をダウンサンプルしたＢＬ画像は、インターレース方式の画像である。つまり、ダウンサンプル器１０９は、入力画像に対し、プログレッシブ・インターレース変換を行うことにより、入力画像のあるフレームのトップフィールドと、該入力画像の次のフレームのボトムフィールドとからなるフレームを、ＢＬ画像として出力する。このＢＬ画像は、ＢＬ符号化器１００Ａに入力される。

なお、本実施の形態において、映像符号化装置２０は、ダウンサンプル器１０９を含む構成として説明を行うが、映像符号化装置２０は、ダウンサンプル器１０９を含まなくてもよい。例えば、入力画像と対応し、該入力画像よりも低解像度の画像が他の装置等から取得可能な場合、映像符号化装置２０は、該低解像度画像をＢＬ符号化器１００Ａの入力とし、入力画像をＥＬ符号化器２００Ｂの入力としてもよい。つまり、ダウンサンプル器１０９は、映像符号化装置２０とは異なる装置で実現されてもよい。そして、入力画像と、該入力画像をダウンサンプルしたＢＬ画像とを、映像符号化装置２０に入力する構成であってもよい。

ＥＬ符号化器２００Ｂは、図１に示す通り、推定器１０１Ｂ、予測器１０２Ｂ、周波数変換器１０３Ｂ、量子化器１０４Ｂ、逆量子化／逆周波数変換器１０５Ｂ、バッファ１０６Ｂ、エントロピー符号化器１０７Ｂおよび適応アップサンプル部２０８を備える。ＥＬ符号化器２００Ｂは、図１３に示すＥＬ符号化器１００Ｂのアップサンプル器１０８に代えて適応アップサンプル部２０８を備える構成である。なお、推定器１０１Ｂ、予測器１０２Ｂ、周波数変換器１０３Ｂ、量子化器１０４Ｂ、逆量子化／逆周波数変換器１０５Ｂ、バッファ１０６Ｂおよびエントロピー符号化器１０７Ｂの動作は、図１３を用いて説明した動作と同様であるため、その説明を省略する。

適応アップサンプル部２０８は、ＢＬ符号化器１００Ａのバッファ１０６Ａに格納された、ＢＬ画像の再構築画像を入力とする。以下では、適応アップサンプル部２０８の構成および動作について説明する。

図２は、本実施の形態に係る映像符号化装置２０のＥＬ符号化器２００Ｂにおける適応アップサンプル部２０８の構成の一例を示すブロック図である。図２に示す通り、適応アップサンプル部２０８は、デインターレース部２０８１と、アップサンプル器２０８２とを備える。

デインターレース部２０８１は、時間方向において入力画像に対して対応する画像となるように、ＢＬ画像の再構築画像を処理する。具体的には、デインターレース部２０８１は、ＢＬ画像の再構築画像をデインターレースし、デインターレースした画像を、時間方向において入力画像に対して対応する画像とする。そして、デインターレース部２０８１は、デインターレースした画像をアップサンプル器２０８２に供給する。

アップサンプル器２０８２は、デインターレース部２０８１からデインターレースした画像を受け取る。そして、アップサンプル器２０８２は、デインターレースした画像をアップサンプルする。アップサンプル器２０８２の動作は、上述したアップサンプル器１０８と同様である。

アップサンプル器２０８２によってアップサンプルされた画像（アップサンプル画像と呼ぶ）は、ＥＬ符号化器１００Ｂと同様に、バッファ１０６Ｂに格納される。これにより、アップサンプル画像は、以後の符号化処理に用いられることができる。

図３および図１４を用いて、ＥＬ符号化器２００Ｂの動作についてさらに説明する。まず、図１４を用いて、上述した映像符号化装置１０のＥＬ符号化器１００Ｂにおける符号化処理を説明する。

上述した通り、ＥＬ画像がプログレッシブ画像であり、ＢＬ画像がインターレース画像の場合、ＢＬ画像の再構築画像（フレーム）は、ある入力画像のフレームから生成されたトップフィールドと上記フレームの次のフレームから生成されたボトムフィールドとからなる。つまり、ＢＬ画像の再構築画像の時間方向におけるフレーム数は、元の入力画像に比べ、半分になる。よって、ＥＬ符号化器１００ＢがＥＬ画像の符号化を行う場合、図１４に示す通り、ＢＬ画像の再構築画像のアップサンプル画像を用いて（参照して）生成したフレームと、参照せずに生成したフレーム（図１４における網掛けのフレーム）とが生成されることになる。したがって、このような再構築画像を用いて生成したＥＬビットストリームを含むスケーラブルビットストリームを、表示装置等で復号した場合、時間方向の情報が失われている箇所があるため、復号した映像がカクつき、不自然に見えてしまう場合がある。

次に、本実施の形態に係る映像符号化装置２０のＥＬ符号化器２００Ｂにおける符号化処理を、図３を用いて説明する。ＢＬ画像の再構築画像は、上述したとおり、インターレース画像であるため、トップフィールドとボトムフィールドとからなるフレームとなる。図３では、ボトムフィールドの部分を網掛けで示している。

デインターレース部２０８１は、このようなＢＬ画像の再構築画像をデインターレースすることにより、再構築画像をトップフィールドとボトムフィールドとに分ける。トップフィールドは、入力画像のあるフレーム（第１フレームと呼ぶ）に対して、ダウンサンプル器１０９がダウンサンプル処理を行うことにより生成されたものである。そして、ボトムフィールドは、上記第１フレームの次のフレーム（第２フレームと呼ぶ）に対して、ダウンサンプル器１０９がダウンサンプル処理を行うことにより生成されたものである。したがって、トップフィールドは、第１フレームに対して時間方向において対応する画像であり、ボトムフィールドは、第２フレームに対して時間方向において対応する画像となる。

そして、アップサンプル器２０８２がトップフィールドをアップサンプルすることにより、ＥＬ符号化器２００Ｂは、該アップサンプルされたトップフィールドを参照画像として用いて、第１フレームを符号化する。同様に、ＥＬ符号化器２００Ｂは、アップサンプル器２０８２がアップサンプルしたボトムフィールドを参照画像として用いて、第２フレームを符号化する。

これにより、図３に示す通り、ＥＬ符号化器２００Ｂは、時間方向に対する、入力画像に対応する情報を有する画像を参照画像として用いて、符号化処理を行い、符号化されたフレームを生成することができる。

次に、図４を用いて、本実施の形態における映像符号化装置２０における適応アップサンプル部２０８の動作の流れについて説明する。図４は、本実施の形態における映像符号化装置２０における適応アップサンプル部２０８の動作の流れの一例を示すフローチャートである。

図４に示す通り、適応アップサンプル部２０８のデインターレース部２０８１は、ＢＬ画像の再構築画像をデインターレースする（ステップＳ４１）。そして、適応アップサンプル部２０８のアップサンプル器２０８２は、デインターレース部２０８１がデインターレースした画像に対し、アップサンプル処理を行う（ステップＳ４２）。

アップサンプル処理された画像（アップサンプル画像）は、バッファ１０６Ｂに格納され、後の符号化処理に用いられることになる。

以上のように、本実施の形態のＥＬ符号化器２００Ｂは、時間方向に対する、入力画像に対応する情報を有する画像を参照画像として用いて、符号化処理を行い、符号化されたフレームを生成することができる。したがって、本実施の形態に係る映像符号化装置２０は、時間方向の情報を有したスケーラブルビットストリームを出力することができる。このようなスケーラブルビットストリームは、図１４の場合に比べ、時間方向の情報を有した状態であるため、カクつき等の画質の劣化を防ぐことができる。よって、映像符号化装置２０は、ＥＬ画像とＢＬ画像との構造が異なる場合であっても高画質なスケーラブルビットストリームを出力することができる。

＜第２の実施の形態＞
第２の実施の形態に係る映像符号化装置について、図面を参照して説明する。本実施の形態に係る映像符号化装置３０は、上述した図１に記載の通り、ＢＬ符号化器１００Ａ、ＥＬ符号化器３００Ｂ、ダウンサンプル器１０９およびマルチプレクサ１１０を備える。ＥＬ符号化器３００Ｂは、ＥＬ符号化器２００Ｂの適応アップサンプル部２０８に代えて、適応アップサンプル部３０８を備える構成である。

図５は、本実施の形態に係る映像符号化装置３０のＥＬ符号化器３００Ｂにおける適応アップサンプル部３０８の構成の一例を示すブロック図である。図５に示す通り、適応アップサンプル部３０８は、複製部３０８１と、アップサンプル器３０８２とを備える。

複製部３０８１は、時間方向において入力画像に対して対応する画像となるように、ＢＬ画像の再構築画像を処理する。具体的には、複製部３０８１は、ＢＬ画像の再構築画像を複製し、該再構築画像と、複製した再構築画像（複製画像）とを、時間方向において入力画像に対して対応する画像とする。そして、複製部３０８１は、再構築画像と、複製画像とを、アップサンプル器３０８２に供給する。

アップサンプル器３０８２は、複製部３０８１から再構築画像と、複製画像とを受け取る。そして、アップサンプル器３０８２は、再構築画像と、複製画像とをアップサンプルする。アップサンプル器３０８２の動作は、上述したアップサンプル器１０８と同様である。

アップサンプル器３０８２によってアップサンプルされたアップサンプル画像は、ＥＬ符号化器１００Ｂと同様に、バッファ１０６Ｂに格納される。これにより、アップサンプル画像は、以後の符号化処理に用いられることができる。

本実施の形態に係る映像符号化装置３０のＥＬ符号化器３００Ｂにおける符号化処理を、図６を用いて更に説明する。ＢＬ画像の再構築画像は、上述したとおり、インターレース画像であるため、トップフィールドとボトムフィールドとからなるフレームとなる。図６では、ボトムフィールドの部分を網掛けで示している。

複製部３０８１は、このようなＢＬ画像の再構築画像を複製する。トップフィールドは、入力画像の第１フレームに対して、ダウンサンプル器１０９がダウンサンプル処理を行うことにより生成されたものである。そして、ボトムフィールドは、上記第１フレームの次のフレームである第２フレームに対して、ダウンサンプル器１０９がダウンサンプル処理を行うことにより生成されたものである。したがって、複製される再構築画像のトップフィールドは、第１フレームに対して時間方向において対応しており、複製された再構築画像のボトムフィールドは、第２フレームに対して時間方向において対応する。したがって、再構築画像と、この再構築画像を複製した複製画像とは、夫々、入力画像に対して時間方向において対応する画像となる。

そして、アップサンプル器３０８２が再構築画像をアップサンプルすることにより、ＥＬ符号化器３００Ｂは、該アップサンプルされた再構築画像を参照画像として用いて、第１フレームを符号化する。同様に、ＥＬ符号化器３００Ｂは、アップサンプル器３０８２がアップサンプルした複製画像を参照画像として用いて、第２フレームを符号化する。

これにより、図６に示す通り、ＥＬ符号化器３００Ｂは、時間方向に対する、入力画像に対応する情報を有する画像を参照画像として用いて、符号化処理を行い、符号化されたフレームを生成することができる。

次に、図７を用いて、本実施の形態における映像符号化装置３０における適応アップサンプル部３０８の動作の流れについて説明する。図７は、本実施の形態における映像符号化装置３０における適応アップサンプル部３０８の動作の流れの一例を示すフローチャートである。

図７に示す通り、適応アップサンプル部３０８の複製部３０８１は、ＢＬ画像の再構築画像を複製する（ステップＳ７１）。そして、適応アップサンプル部２０８のアップサンプル器３０８２は、再構築画像および複製部３０８１が複製した再構築画像（複製画像）に対し、アップサンプル処理を行う（ステップＳ７２）。

アップサンプル処理された画像（アップサンプル画像）は、バッファ１０６Ｂに格納され、後の符号化処理に用いられることになる。

以上のように、本実施の形態のＥＬ符号化器３００Ｂは、時間方向に対する、入力画像に対応する情報を有する画像を参照画像として用いて、符号化処理を行い、符号化されたフレームを生成することができる。したがって、本実施の形態に係る映像符号化装置３０は、時間方向の情報を有したスケーラブルビットストリームを出力することができる。このようなスケーラブルビットストリームは、図１４の場合に比べ、時間方向の情報を有した状態であるため、カクつき等の画質の劣化を防ぐことができる。

また、ＥＬ符号化器３００Ｂのアップサンプル器３０８２がアップサンプル処理を行う画像は、トップフィールドもボトムフィールドも含むフレームである。したがって、本実施の形態に係る映像符号化装置３０のＥＬ符号化器３００Ｂが符号化処理を行う際に参照する画像は、ＥＬ符号化器２００Ｂが参照する画像に比べ、空間方向の情報を多く含む。したがって、本実施の形態に係る映像符号化装置３０は、映像符号化装置２０よりも空間方向の情報をより多く含んだスケーラブルビットストリームを生成することができる。

これにより、映像符号化装置３０は、空間方向の画質の劣化を緩和することができるため、ＥＬ画像とＢＬ画像との構造が異なる場合であっても更に高画質なスケーラブルビットストリームを出力することができる。

＜第３の実施の形態＞
第３の実施の形態に係る映像符号化装置について、図面を参照して説明する。図８は、本実施の形態に係る映像符号化装置４０の一例を示すブロック図である。本実施の形態に係る映像符号化装置４０は、ＢＬ符号化器１００Ａ、ＥＬ符号化器４００Ｂ、ダウンサンプル器１０９およびマルチプレクサ１１０を備える。ＥＬ符号化器４００Ｂは、ＥＬ符号化器２００Ｂの適応アップサンプル部２０８またはＥＬ符号化器３００Ｂの適応アップサンプル部３０８に代えて、適応アップサンプル部４０８を備える構成である。また、ＥＬ符号化器４００Ｂの推定器１０１Ｂは、決定したＰＵブロック予測パラメータを適応アップサンプル部４０８に供給する構成である。この差分情報については後述する。

図９は、本実施の形態に係る映像符号化装置４０のＥＬ符号化器４００Ｂにおける適応アップサンプル部４０８の構成の一例を示すブロック図である。図９に示す通り、適応アップサンプル部４０８は、処理選択部４０８１、アップサンプル器４０８２および処理部４０８３を備える。処理部４０８３は、デインターレース部２０８１および複製部３０８１を含む。

処理部４０８３に含まれるデインターレース部２０８１および複製部３０８１の動作は、夫々、上述したデインターレース部２０８１および複製部３０８１と同様である。

アップサンプル器４０８２は、アップサンプル器２０８２およびアップサンプル器３０８２と同様に、デインターレース部２０８１および／または複製部３０８１から出力された画像に対してアップサンプル処理を施す。アップサンプル器４０８２から出力されたアップサンプル画像は、バッファ１０６Ｂに格納される。

処理選択部４０８１は、推定器１０１Ｂの出力に基づいて、デインターレース部２０８１によるデインターレースおよび複製部３０８１による複製の何れの処理を行うかを選択する。

次に、図１０を用いて、本実施の形態における映像符号化装置４０における適応アップサンプル部４０８および推定器１０１Ｂの動作の流れについて説明する。図１０は、本実施の形態における映像符号化装置４０における適応アップサンプル部４０８および推定器１０１Ｂの動作の流れの一例を示すフローチャートである。

まず、処理選択部４０８１が、推定器１０１Ｂから判定結果を受け取っているか否かを確認する（ステップＳ１０１）。判定結果を受け取っていない場合（ステップＳ１０１にてＮＯ）、推定器１０１Ｂが処理選択部４０８１に入力されるＢＬ画像の再構築画像を用いた処理を行っていないため、処理をステップＳ１０２に進める。判定結果を受け取っている場合（ステップＳ１０１にてＹＥＳ）、処理はステップＳ１０４に進む。

判定結果を受け取っていない場合、処理選択部４０８１は、入力されたＢＬ画像の再構築画像をデインターレース部２０８１および複製部３０８１に供給する。これにより、デインターレース部２０８１は、図４に示すステップＳ４１を実行する。即ち、デインターレース部２０８１は、ＢＬ画像の再構築画像をデインターレースする。そして、アップサンプル器４０８２は、ステップＳ４２を実行する。即ち、アップサンプル器４０８２は、デインターレースした画像に対し、アップサンプル処理を行う（ステップＳ１０２）。また、複製部３０８１は、図７に示すステップＳ７１を実行する。即ち、複製部３０８１は、ＢＬ画像の再構築画像を複製する。そして、アップサンプル器４０８２は、ステップＳ７２を実行する。即ち、アップサンプル器４０８２は、再構築画像および複製画像に対し、アップサンプル処理を行う（ステップＳ１０３）。なお、ステップＳ１０２およびステップＳ１０３は同時に行われてもよいし、逆順で行われてもよい。

そして、アップサンプル器４０８２は、ステップＳ１０２でアップサンプルされた画像およびステップＳ１０３でアップサンプルされた画像をバッファ１０６Ｂに格納する。これにより、推定器１０１Ｂは、アップサンプルされた画像を用いて、差分情報を取得することができる。即ち、推定器１０１Ｂは、（１）デインターレース後のアップサンプル画像と入力画像との差分を表す第１差分情報と、（２）複製処理後のアップサンプル画像と、入力画像との差分を表す第２差分情報と、のうち、差分情報のサイズが小さい方を、符号化コストが小さいアップサンプル画像であると判定する。そして、推定器１０１Ｂは、判定結果を、処理選択部４０８１に供給する。処理選択部４０８１は、判定結果を用いて、デインターレース部２０８１によるデインターレースおよび複製部３０８１による複製の何れの処理を行うかを選択する。つまり、処理選択部４０８１は、差分情報のサイズが小さくなる方の処理を選択する（ステップＳ１０４）。

そして、処理部４０８３は、選択結果に基づいて、選択された方の処理を実行する。即ち、ステップＳ４１に示したデインターレース処理またはステップＳ７１に示した複製処理の何れかが実行される（ステップＳ１０５）。

その後、アップサンプル器４０８２は、ステップＳ１０５の出力に基づいて、アップサンプル処理を行う。つまり、ステップＳ４２またはステップＳ７２が実行される（ステップＳ１０６）。

これにより、推定器１０１Ｂは、バッファ１０６Ｂに格納されたアップサンプル処理画像を用いて、ＣＴＵ毎に、ＣＵクアッドツリー構造、ＰＵブロック予測パラメータおよびＴＵクアッドツリー構造を全探索して、符号化コストが最小となる（最も符号化効率のよい）組み合わせを決定する。このとき、推定器１０１Ｂは、例えば、以下に示す方法で、符号化コストが最小となるＰＵブロック予測パラメータを決定する。

例えば、ある予測（イントラ予測、インター予測、レイヤ間予測）を選択することにより発生する情報量をＰｒｅｄＩｎｆｏ＿ｘ（ｘは、イントラ予測（以下、イントラと呼ぶ）、インター予測（以下、インターと呼ぶ）またはレイヤ間予測（以下、レイヤ間と呼ぶ））とする。入力画像と、予測画像との差分をＤｉｆｆ＿ｘとする。そして、推定器１０１Ｂは、以下の（ａ）〜（ｃ）を比較し、最小となる予測方法を選択する。
（ａ）ＰｒｅｄＩｎｆｏ＿イントラ＋Ｄｉｆｆ＿イントラ
（ｂ）ＰｒｅｄＩｎｆｏ＿インター＋Ｄｉｆｆ＿インター
（ｃ）ＰｒｅｄＩｎｆｏ＿レイヤ間＋Ｄｉｆｆ＿レイヤ間
なお、レイヤ間予測の場合、上述したステップＳ１０６によってアップサンプルされたアップサンプル画像を用いる。つまり、レイヤ間予測の場合、デインターレース処理後のアップサンプル画像または複製処理後のアップサンプル画像の何れかを用いる。

これにより、推定器１０１Ｂは、ＰＵブロック予測パラメータを決定することができる。その後の処理は、図１３を用いて説明した処理と同様である。

以上のように、本実施の形態に係る映像符号化装置４０は、処理選択部４０８１による選択結果に基づいて、デインターレース処理または複製処理を行い、処理後の画像をアップサンプルする。これにより、映像符号化装置４０は、上述した第１および第２の実施の形態に係る映像符号化装置２０および映像符号化装置３０の効果に加え、符号化コストを抑えることができる。

なお、図１０に示す処理では、選択の前に、処理部４０８３においてデインターレース処理と複製処理との両方の処理を行ったうえで、符号化コストが小さくなる方の処理を選択したが、本実施の形態に係る映像符号化装置４０の処理選択部４０８１の動作はこれに限定されるものではない。処理選択部４０８１は、例えば、過去の所定分のフレームに対する選択結果に基づいて、デインターレース処理または複製処理の何れの処理を行うかを選択してもよい。このとき、過去にどちらの処理を選択したのかを処理選択部４０８１は自身の図示しない記憶部等に記憶しておけばよい。これにより、ＥＬ符号化器４００Ｂは、一度、デインターレース処理および複製処理を行わなくてもよいため、ＥＬ符号化器４００Ｂにおける処理量を削減することができる。

なお、上記の各実施の形態において、ＥＬ符号化器（２００Ｂ、３００Ｂ、４００Ｂ）の符号化方法と、ＢＬ符号化器１００Ａとの符号化方法とは、同じであってもよいし、異なる方法を用いてもよい。例えば、ＥＬ符号化器（２００Ｂ、３００Ｂ、４００Ｂ）の符号化方法がＨＥＶＣである場合、ＢＬ符号化器１００Ａの符号化方法は、ＨＥＶＣ、Ｈ．２６４（ＭＰＥＧ４−ＡＶＣ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ４−Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ））またはＭＰＥＧ−２であってもよい。

また、上記の各実施の形態を、ハードウェア回路で構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

図１１に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。

図１１に示された情報処理システムにおいて、プログラムメモリ１００２には、図１、図２、図５、図８または図９に示された各ブロックの機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１または図８に示された映像符号化装置の機能を実現する。

図１２は、本開示による映像符号化装置の主要部を示すブロック図である。図１２に示すように、映像符号化装置は、エンハンスメントレイヤ符号化器５００と、ベースレイヤ符号化器５１０と、マルチプレクサ５２０と、を備える。

エンハンスメントレイヤ符号化器５００は、入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力する。エンハンスメントレイヤ符号化器５００は、例えば、図１に示すＥＬ符号化器２００Ｂ、ＥＬ符号化器３００Ｂまたは図８に示すＥＬ符号化器４００Ｂで実現される。

ベースレイヤ符号化器５１０は、入力画像がダウンサンプルされた低解像度画像であって、入力画像とは異なる構造を有する低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力する。例えば、入力画像がプログレッシブ方式の構造を有し、低解像度画像がインターレース方式の構造を有する。ベースレイヤ符号化器５１０は、例えば、図１または図８に示すＢＬ符号化器１００Ａで実現される。

マルチプレクサ５２０は、ベースレイヤビットストリームとエンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成する。マルチプレクサ５２０は、例えば、図１または図８に示すマルチプレクサ１１０で実現される。

エンハンスメントレイヤ符号化器５００は、処理部５０１と、アップサンプル部５０２とを備える。処理部５０１は、低解像度画像の再構築画像を、時間方向において入力画像に対して対応する画像となるように処理する。処理部５０１は、例えば、図２または図９に示すデインターレース部２０８１または図５または図９に示す複製部３０８１によって実現される。処理部５０１は、処理を行った画像（時間方向において、入力画像に対応する画像）をアップサンプル部５０２に供給する。

アップサンプル部５０２は、処理部５０１から処理が行われた画像を受け取る。アップサンプル部５０２は受け取った画像に対し、アップサンプル処理を行う。アップサンプル部５０２は、例えば、図２に示すアップサンプル器２０８２、図５に示すアップサンプル器３０８２または図９に示すアップサンプル器４０８２によって実現される。

以上のようにしてアップサンプルされた画像を用いて、エンハンスメントレイヤ符号化器５００は、符号化処理を行う。

なお、上述した各実施の形態は、本発明の好適な実施の形態であり、上記各実施の形態にのみ本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、
前記入力画像がダウンサンプルされた低解像度画像であって、前記入力画像とは異なる構造を有する低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、
前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを備え、
前記エンハンスメントレイヤ符号化器は、時間方向において前記入力画像に対して対応する画像となるように、前記低解像度画像の再構築画像を処理する処理手段と、
前記時間方向において、前記入力画像に対応する画像に対し、アップサンプル処理を行うアップサンプル手段と、を備え、
前記エンハンスメントレイヤ符号化器は、前記アップサンプル処理が行われた画像を用いて符号化処理を行う、ことを特徴とする映像符号化装置。

（付記２）
前記入力画像は、プログレッシブ方式の画像であり、
前記低解像度画像は、インターレース方式の画像である、
ことを特徴とする付記１に記載の映像符号化装置。

（付記３）
前記処理手段は、前記低解像度画像の再構築画像をデインターレースし、デインターレースした画像を、前記時間方向において前記入力画像に対して対応する画像とし、
前記アップサンプル手段は、デインターレースした画像に対し、アップサンプル処理を行う、ことを特徴とする付記２に記載の映像符号化装置。

（付記４）
前記処理手段は、前記低解像度画像の再構築画像を複製し、該再構築画像と、該再構築画像の複製画像とを、前記時間方向において前記入力画像に対して対応する画像とし、
前記アップサンプル手段は、前記再構築画像または前記再構築画像の複製画像に対し、アップサンプル処理を行う、ことを特徴とする付記２に記載の映像符号化装置。

（付記５）
前記処理手段は、
前記低解像度画像の再構築画像をデインターレースし、デインターレースした画像を、前記時間方向において前記入力画像に対して対応する画像とするデインターレース手段と、
前記低解像度画像の再構築画像を複製し、該再構築画像と、該再構築画像の複製画像とを、前記時間方向において前記入力画像に対して対応する画像とする複製手段と、を含み、
前記エンハンスメントレイヤ符号化器は、前記デインターレース手段によるデインターレースおよび前記複製手段による複製の何れの処理を行うかを選択する処理選択手段を更に備え、
前記処理手段は、前記処理選択手段による選択結果に基づいて、前記デインターレースまたは前記複製の処理を行う、ことを特徴とする付記２に記載の映像符号化装置。

（付記６）
前記処理選択手段は、前記デインターレースした画像に対してアップサンプル処理を行った画像と前記入力画像との差分である第１差分情報と、前記再構築画像または前記再構築画像の複製画像に対してアップサンプル処理を行った画像と前記入力画像との差分である第２差分情報とのうち、差分が小さい方の処理を選択する、ことを特徴とする付記５に記載の映像符号化装置。

（付記７）
前記処理選択手段は、過去の所定分のフレームに対する選択結果に基づいて、前記デインターレース手段によるデインターレースおよび前記複製手段による複製の何れの処理を行うかを選択する、ことを特徴とする付記５に記載の映像符号化装置。

（付記８）
入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、前記入力画像がダウンサンプルされた低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを含む映像符号化装置における映像符号化方法であって、
前記低解像度画像は、前記入力画像とは異なる構造を有し、
前記エンハンスメントレイヤ符号化器が、時間方向において前記入力画像に対して対応する画像となるように、前記低解像度画像の再構築画像を処理し、
前記時間方向において、前記入力画像に対応する画像に対し、アップサンプル処理を行い、
前記アップサンプル処理が行われた画像を用いて符号化処理を行う、ことを特徴とする映像符号化方法。

（付記９）
前記入力画像は、プログレッシブ方式の画像であり、
前記低解像度画像は、インターレース方式の画像である、
ことを特徴とする付記８に記載の映像符号化方法。

（付記１０）
入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、前記入力画像がダウンサンプルされた低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを含む映像符号化装置を含むコンピュータに、
前記入力画像とは異なる構造を有する前記低解像度画像の再構築画像を、時間方向において前記入力画像に対して対応する画像となるように処理する処理と、
前記時間方向において、前記入力画像に対応する画像に対してアップサンプルする処理と、
前記アップサンプルされた画像を用いて符号化する処理と、を実行させることを特徴とするプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。

（付記１１）
前記入力画像は、プログレッシブ方式の画像であり、
前記低解像度画像は、インターレース方式の画像である、
ことを特徴とする付記１０に記載の記録媒体。

この出願は、２０１６年６月６日に出願された日本出願特願２０１６−１１２４８１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０、２０、３０、４０ 映像符号化装置
１００Ａ ＢＬ符号化器
１００Ｂ ＥＬ符号化器
１０１Ａ、１０１Ｂ 推定器
１０２Ａ、１０２Ｂ 予測器
１０３Ａ、１０３Ｂ 周波数変換器
１０４Ａ、１０４Ｂ 量子化器
１０５Ａ、１０５Ｂ 逆量子化／逆周波数変換器
１０６Ａ、１０６Ｂ バッファ
１０７Ａ、１０７Ｂ エントロピー符号化器
１０８ アップサンプル器
１０９ ダウンサンプル器
１１０ マルチプレクサ
２０８、３０８、４０８ 適応アップサンプル部
２００Ｂ、３００Ｂ、４００Ｂ ＥＬ符号化器
２０８１ デインターレース部
３０８１ 複製部
４０８１ 処理選択部
２０８２、３０８２、４０８２ アップサンプル器
４０８３ 処理部
５００ エンハンスメントレイヤ符号化器
５０１ 処理部
５０２ アップサンプル部
５１０ ベースレイヤ符号化器
５２０ マルチプレクサ
１００１ プロセッサ
１００２ プログラムメモリ
１００３、１００４ 記憶媒体

Claims (6)

1. プログレッシブ方式の画像である入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、
   前記入力画像がダウンサンプルされた低解像度画像であって、前記入力画像とは異なる構造を有するインターレース方式の画像である低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、
   前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを備え、
   前記エンハンスメントレイヤ符号化器は、
   時間方向において前記入力画像に対して対応する画像となるように、前記低解像度画像の再構築画像を処理する処理手段と、
   前記時間方向において、前記入力画像に対応する画像に対し、アップサンプル処理を行うアップサンプル手段と、を備え、
   前記エンハンスメントレイヤ符号化器は、前記アップサンプル処理が行われた画像を用いて符号化処理を行い、
   前記処理手段は、前記低解像度画像の再構築画像を複製し、該再構築画像と該再構築画像の複製画像とを、前記時間方向において前記入力画像に対して対応する画像とする複製手段を含み、
   前記アップサンプル手段は、前記再構築画像と前記再構築画像の複製画像とに対し、前記アップサンプル処理を行うことを特徴とする映像符号化装置。
2. 前記処理手段は、
   前記低解像度画像の再構築画像をデインターレースし、デインターレースした画像を、前記時間方向において前記入力画像に対して対応する画像とするデインターレース手段をさらに含み、
   前記エンハンスメントレイヤ符号化器は、前記デインターレース手段によるデインターレースおよび前記複製手段による複製の何れの処理を行うかを選択する処理選択手段を更に備え、
   前記処理手段は、前記処理選択手段による選択結果に基づいて、前記デインターレースまたは前記複製の処理を行う、ことを特徴とする請求項１に記載の映像符号化装置。
3. 前記処理選択手段は、前記デインターレースした画像に対してアップサンプル処理を行った画像と前記入力画像との差分である第１差分情報と、前記再構築画像または前記再構築画像の複製画像に対してアップサンプル処理を行った画像と前記入力画像との差分である第２差分情報とのうち、差分が小さい方の処理を選択する、ことを特徴とする請求項２に記載の映像符号化装置。
4. 前記処理選択手段は、過去の所定分のフレームに対する選択結果に基づいて、前記デインターレース手段によるデインターレースおよび前記複製手段による複製の何れの処理を行うかを選択する、ことを特徴とする請求項２に記載の映像符号化装置。
5. プログレッシブ方式の画像である入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、前記入力画像がダウンサンプルされた低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを含む映像符号化装置における映像符号化方法であって、
   前記低解像度画像は、前記入力画像とは異なる構造を有するインターレース方式の画像であり、
   前記エンハンスメントレイヤ符号化器が、時間方向において前記入力画像に対して対応する画像となるように、前記低解像度画像の再構築画像を処理し、
   前記時間方向において、前記入力画像に対応する画像に対し、アップサンプル処理を行い、
   前記アップサンプル処理が行われた画像を用いて符号化処理を行い、
   前記再構築画像を処理する際に、前記低解像度画像の再構築画像を複製し、該再構築画像と、該再構築画像の複製画像とを、前記時間方向において前記入力画像に対して対応する画像とし、前記再構築画像と前記再構築画像の複製画像とに対し、前記アップサンプル処理を行うことを特徴とする映像符号化方法。
6. プログレッシブ方式の画像である入力画像をエンハンスメントレイヤとして符号化し、エンハンスメントレイヤビットストリームを出力するエンハンスメントレイヤ符号化器と、前記入力画像がダウンサンプルされた低解像度画像を、ベースレイヤとして符号化し、ベースレイヤビットストリームを出力するベースレイヤ符号化器と、前記ベースレイヤビットストリームと前記エンハンスメントレイヤビットストリームとを多重化したスケーラブルビットストリームを生成するマルチプレクサとを含む映像符号化装置を含むコンピュータに、
   前記入力画像とは異なる構造を有するインターレース画像である前記低解像度画像の再構築画像を、時間方向において前記入力画像に対して対応する画像となるように処理する処理と、
   前記時間方向において、前記入力画像に対応する画像に対してアップサンプルする処理と、
   前記アップサンプルされた画像を用いて符号化する処理と、を実行させ、
   さらに前記コンピュータに、
   前記再構築画像を処理させる際に、前記低解像度画像の再構築画像を複製させ、該再構築画像と、該再構築画像の複製画像とを、前記時間方向において前記入力画像に対して対応する画像とさせ、
   前記アップサンプルする処理において、前記再構築画像と前記再構築画像の複製画像とに対し、前記アップサンプル処理を実行させることを特徴とするプログラム。

Images