JP6484097B2 - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム - Google Patents

Description

本発明は、高解像順次走査映像を圧縮符号化する映像符号化装置、圧縮符号化された低解像飛越走査映像を復号する映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラムに関する。

従来、信号の符号化方式として、信号を予測し、その予測残差を符号化する手法が知られている。高精細映像の信号は膨大な情報量を持つため、限られた帯域で伝送するためには高効率の圧縮符号化が必要となる。このための映像符号化方式として、例えば、ハイブリッド符号化、ＭＣ−ＤＣＴ（Motion Compensation−Discrete Cosine Transform）符号化が提案されている。

ここで、ハイブリッド符号化及びＭＣ−ＤＣＴ符号化は、フレーム画像の一部をブロックに分割し圧縮符号化する方式である。これらの映像符号化方式は、フレーム画像内の符号化の対象となるブロック毎に、フレーム画像内のブロックまたは他のフレーム画像を用いて、例えば動きベクトル等の予測処理を行い、予測処理の結果と符号化対象となるブロックとの誤差を求め、求めた誤差に例えば離散コサイン変換処理を施す。そして、離散コサイン変換処理により生成された離散コサイン変換係数を量子化し、量子化した結果をエントロピー符号化することでデータ圧縮を行う。

ＭＣ−ＤＣＴ符号化の具体例として、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、ＭＰＥＧ−Ｈ ＨＥＶＣ／Ｈ．２６５等が提案されている。

このようなＭＣ−ＤＣＴ符号化等の映像符号化方式に、前処理及び後処理を設けることで、符号化効率及び主観画質を向上させる手法が開示されている（例えば、特許文献１を参照）。この手法は、映像を符号化する際に、前処理として解像度削減処理を用いることで、既存の映像符号化方式における圧縮率を緩和し、一方で、符号化された映像を復号する際に、後処理として超解像技術を応用することで、ぼやけの少ない解像度の映像を復元する。具体的には、符号化側は、解像度を復元する処理を調整できるようにし、入力した映像を最も精度高く再現可能な最適な調整値を予め求め、最適な調整値を補助情報として復号側へ伝送することで、高効率な圧縮伝送を可能とする。

特許第５４１９７９５号公報

しかしながら、特許文献１の手法に、順次走査映像を飛越走査（インタレース）フォーマットの飛越走査映像に変換する処理を加えた場合を想定すると、符号化側から復号側へ低解像映像の信号を伝送し、復号側が低解像映像から高解像映像を復元する超解像技術において、高域情報が不足したり、縞状のコーミングノイズ等のアーチファクトの障害が発生したりする。これは、復号側では、予め設定された手法にてインタレースを解除し、予め設定された手法にてアップサンプリングを行うからである。このように、順次走査映像を飛越走査映像に変換する処理が行われる場合に、復号側において、映像を高精度に復元することができない場合があるという問題があった。

そこで、本発明はこの問題を解決するためになされたものであり、その目的は、高解像順次走査映像から得られた低解像順次走査映像と、高解像順次走査映像を復元するための補助情報とを伝送し、高解像順次走査映像に近い高画質な映像を復元可能な映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラムを提供することにある。

前記した課題を解決するため、請求項１の映像符号化装置は、高解像順次走査映像を入力し、前記高解像順次走査映像をダウンサンプリング及びインタレース化して符号化し、低解像符号化ストリームを出力する映像符号化装置において、前記高解像順次走査映像をダウンサンプリングし、低解像順次走査映像を生成するダウンサンプリング部と、前記ダウンサンプリング部により生成された低解像順次走査映像の走査線を削除するインタレース化を行い、低解像飛越走査映像を生成するインタレース化部と、前記インタレース化部により生成された低解像飛越走査映像を符号化し、前記低解像符号化ストリームを生成して出力する映像符号化部と、前記映像符号化部により生成された低解像符号化ストリームを復号し、低解像飛越走査映像を生成する映像復号部と、前記映像復号部により生成された低解像飛越走査映像の走査線を、複数のインタレース解除手段によりそれぞれ補間するインタレース解除を行い、前記複数のインタレース解除手段に対応する複数の低解像順次走査映像を生成するインタレース解除部と、前記インタレース解除部により生成された複数の低解像順次走査映像と前記ダウンサンプリング部により生成された低解像順次走査映像とを、画面全体または部分領域毎に比較し、前記複数の低解像順次走査映像を用いて、前記ダウンサンプリング部により生成された低解像順次走査映像に最も近似する最適低解像順次走査映像を生成すると共に、前記最適低解像順次走査映像を生成するための情報をインタレース補助情報として生成するインタレース最適化部と、前記インタレース最適化部により生成された最適低解像順次走査映像を、複数のアップサンプリング手段によりそれぞれアップサンプリングし、前記複数のアップサンプリング手段に対応する複数の高解像順次走査映像を生成するアップサンプリング部と、前記アップサンプリング部により生成された複数の高解像順次走査映像と当該映像符号化装置が入力した高解像順次走査映像とを、画面全体または部分領域毎に比較し、前記複数の高解像順次走査映像を用いて、当該映像符号化装置が入力した高解像順次走査映像に最も近似する最適高解像順次走査映像を生成する場合の、前記最適高解像順次走査映像を生成するための情報をアップサンプリング補助情報として生成するアップサンプリング最適化部と、前記インタレース最適化部により生成されたインタレース補助情報及び前記アップサンプリング最適化部により生成されたアップサンプリング補助情報を符号化し、補助情報符号化ストリームを生成して出力する補助情報符号化部と、を備えることを特徴とする。

係る構成によれば、映像符号化装置から、低解像飛越走査映像の低解像映像ストリームが出力されると共に、復号側にてインタレースを解除する手法を特定するためのインタレース情報と、復号側にてアップサンプリングの手法を特定するためのアップサンプリング補助情報とが符号化された補助情報符号化ストリームが出力される。

また、請求項２の映像符号化装置は、請求項１に記載の画像符号化装置において、前記インタレース最適化部が、前記インタレース解除部により生成された複数の低解像順次走査映像と前記ダウンサンプリング部により生成された低解像順次走査映像とを、画面全体または部分領域毎に画素の差分を求めることにより比較し、前記画素の差分に基づいて、前記ダウンサンプリング部により生成された低解像順次走査映像に最も近似する最適低解像順次走査映像を生成するための情報であって、前記画面全体または部分領域毎に前記複数の低解像順次走査映像のいずれかを選択するかを示す情報を、インタレース補助情報として生成する映像比較手段と、前記映像比較手段により生成されたインタレース補助情報に基づいて、前記画面全体または部分領域毎に前記複数の低解像順次走査映像のいずれかを切り替えることで、前記最適低解像順次走査映像を生成する映像切替手段と、を備えることを特徴とする。

係る構成によれば、元の低解像順次走査映像に近い映像を復号側にて生成するために必要なインタレース補助情報が生成される。

また、請求項３の映像符号化装置は、請求項１または２に記載の映像符号化装置において、前記アップサンプリング最適化部が、前記アップサンプリング部により生成された複数の高解像順次走査映像と当該映像符号化装置が入力した高解像順次走査映像とを、画面全体または部分領域毎に画素の差分を求めることにより比較し、前記画素の差分に基づいて、当該映像符号化装置が入力した高解像順次走査映像に最も近似する最適高解像順次走査映像を生成するための情報であって、前記画面全体または部分領域毎に前記複数の高解像順次走査映像のいずれかを選択するかを示す情報を、アップサンプリング補助情報として生成する、ことを特徴とする。

係る構成によれば、元の高解像順次走査映像に近い映像を復号側にて生成するために必要なアップサンプリング補助情報が生成される。

さらに、請求項４の映像復号装置は、請求項１から３までのいずれか一項の映像符号化装置から出力された低解像符号化ストリーム及び補助情報符号化ストリームを入力し、前記低解像符号化ストリームを復号しインタレース解除及びアップサンプリングを行い、高解像順次走査映像を復元する映像復号装置において、前記低解像符号化ストリームを復号し、低解像飛越走査映像を生成する映像復号部と、前記補助情報符号化ストリームを復号し、前記映像符号化装置により生成された低解像順次走査映像に最も近似する最適低解像順次走査映像を生成するためのインタレース補助情報、及び前記映像符号化装置が入力した高解像順次走査映像に最も近似する最適高解像順次走査映像を生成するためのアップサンプリング補助情報を生成する補助情報復号部と、前記映像復号部により生成された低解像飛越走査映像の走査線を、複数のインタレース解除手段によりそれぞれ補間するインタレース解除を行い、前記複数のインタレース解除手段に対応する複数の低解像順次走査映像を生成するインタレース解除部と、前記インタレース解除部により生成された複数の低解像順次走査映像を、前記補助情報復号部により生成されたインタレース補助情報に基づいて、画面全体または部分領域毎に切り替え、最適低解像順次走査映像を生成するインタレース切替部と、前記インタレース切替部により生成された最適低解像順次走査映像を、複数のアップサンプリング手段によりそれぞれアップサンプリングし、前記複数のアップサンプリング手段に対応する複数の高解像順次走査映像を生成するアップサンプリング部と、前記アップサンプリング部により生成された複数の高解像順次走査映像を、前記補助情報復号部により生成されたアップサンプリング補助情報に基づいて、画面全体または部分領域毎に切り替え、最適高解像順次走査映像を生成し、前記最適高解像順次走査映像を、復元した高解像順次走査映像として出力するアップサンプリング切替部と、を備えることを特徴とする。

係る構成によれば、低解像符号化ストリームを復号した低解像飛越走査映像に対し、インタレース補助情報及びアップサンプリング補助情報を用いることで、映像符号化装置の処理に最も適応して、インタレースを解除する処理及びアップサンプリングを行う処理を実現することができる。

また、請求項５の映像復号装置は、請求項４に記載の映像復号装置において、前記インタレース切替部が、前記インタレース補助情報が示す低解像順次走査映像が、前記インタレース解除部により生成された複数の低解像順次走査映像に存在しない場合、前記複数の低解像順次走査映像のうち予め設定された低解像順次走査映像を、画面全体または部分領域毎に切り替える、ことを特徴とする。

係る構成によれば、インタレース補助情報が示す低解像飛越走査映像が存在しない場合であっても、最適低解像順次走査映像を生成することができる。

また、請求項６の映像復号装置は、請求項４または５に記載の映像復号装置において、前記アップサンプリング切替部が、前記アップサンプリング補助情報の示す高解像順次走査映像が、前記アップサンプリング部により生成された複数の高解像順次走査映像に存在しない場合、前記複数の高解像順次走査映像のうち予め設定された高解像順次走査映像を、画面全体または部分領域毎に切り替える、ことを特徴とする。

係る構成によれば、アップサンプリング補助情報が示す高解像順次走査映像が存在しない場合であっても、最適高解像順次走査映像を生成することができる。

さらに、請求項７の映像符号化方法は、高解像順次走査映像を入力し、前記高解像順次走査映像をダウンサンプリング及びインタレース化して符号化し、低解像符号化ストリームを出力する映像符号化方法において、前記高解像順次走査映像をダウンサンプリングし、低解像順次走査映像を生成するステップと、前記低解像順次走査映像の走査線を削除するインタレース化を行い、低解像飛越走査映像を生成するステップと、前記低解像飛越走査映像を符号化し、前記低解像符号化ストリームを生成して出力するステップと、前記低解像符号化ストリームを復号し、低解像飛越走査映像を生成するステップと、前記復号後の低解像飛越走査映像の走査線を、複数のインタレース解除手段によりそれぞれ補間するインタレース解除を行い、前記複数のインタレース解除手段に対応する複数の低解像順次走査映像を生成するステップと、前記複数の低解像順次走査映像と前記ダウンサンプリング後の低解像順次走査映像とを、画面全体または部分領域毎に比較し、前記複数の低解像順次走査映像を用いて、前記ダウンサンプリング後の低解像順次走査映像に最も近似する最適低解像順次走査映像を生成するステップと、前記最適低解像順次走査映像を生成するための情報を、インタレース補助情報として生成するステップと、前記最適低解像順次走査映像を、複数のアップサンプリング手段によりそれぞれアップサンプリングし、前記複数のアップサンプリング手段に対応する複数の高解像順次走査映像を生成するステップと、前記複数の高解像順次走査映像と前記入力した高解像順次走査映像とを、画面全体または部分領域毎に比較し、前記複数の高解像順次走査映像を用いて、前記入力した高解像順次走査映像に最も近似する最適高解像順次走査映像を生成する場合の、前記最適高解像順次走査映像を生成するための情報をアップサンプリング補助情報として生成するステップと、前記インタレース補助情報及び前記アップサンプリング補助情報を符号化し、補助情報符号化ストリームを生成して出力するステップと、を有することを特徴とする。

さらに、請求項８の映像復号方法は、請求項７の映像符号化方法により出力された低解像符号化ストリーム及び補助情報符号化ストリームを入力し、前記低解像符号化ストリームを復号しインタレース解除及びアップサンプリングを行い、高解像順次走査映像を復元する映像復号方法において、前記低解像符号化ストリームを復号し、低解像飛越走査映像を生成するステップと、前記補助情報符号化ストリームを復号し、前記映像符号化方法により生成された低解像順次走査映像に最も近似する最適低解像順次走査映像を生成するためのインタレース補助情報、及び前記映像符号化方法により入力された高解像順次走査映像に最も近似する最適高解像順次走査映像を生成するためのアップサンプリング補助情報を生成するステップと、前記低解像飛越走査映像の走査線を、複数のインタレース解除手段によりそれぞれ補間するインタレース解除を行い、前記複数のインタレース解除手段に対応する複数の低解像順次走査映像を生成するステップと、前記複数の低解像順次走査映像を、前記インタレース補助情報に基づいて、画面全体または部分領域毎に切り替え、最適低解像順次走査映像を生成するステップと、前記最適低解像順次走査映像を、複数のアップサンプリング手段によりそれぞれアップサンプリングし、前記複数のアップサンプリング手段に対応する複数の高解像順次走査映像を生成するステップと、前記複数の高解像順次走査映像を、前記アップサンプリング補助情報に基づいて、画面全体または部分領域毎に切り替え、最適高解像順次走査映像を生成し、前記最適高解像順次走査映像を、復元した高解像順次走査映像として出力するステップと、を有することを特徴とする。

さらに、請求項９の映像符号化プログラムは、コンピュータを、請求項１から３までのいずれか一項に記載の映像符号化装置として機能させることを特徴とする。

また、請求項１０の映像復号プログラムは、コンピュータを、請求項４から６までのいずれか一項に記載の映像復号装置として機能させることを特徴とする。

以上のように、本発明によれば、高解像順次走査映像から得られた低解像順次走査映像と、高解像順次走査映像を復元するための最適化した補助情報とを伝送するようにしたから、高解像順次走査映像に近い高画質な映像を復元することが可能となる。

本発明の実施形態による映像符号化装置の構成の一例を示すブロック図である。 インタレース解除部の構成の一例を示すブロック図である。 インタレース最適化部の構成の一例を示すブロック図である。 アップサンプリング部の構成の一例を示すブロック図である。 本発明の実施形態による映像復号装置の構成の一例を示すブロック図である。 インタレース解除部の構成の一例を示すブロック図である。 映像符号化装置に備えたインタレース解除部と映像復号装置に備えたインタレース解除部との関係を示す図である。 アップサンプリング部の構成の一例を示すブロック図である。 映像符号化装置に備えたアップサンプリング部と映像復号装置に備えたアップサンプリング部との関係を示す図である。 映像符号化処理の一例を示すフローチャートである。 映像復号処理の一例を示すフローチャートである。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
［映像符号化装置］
図１は、本発明の実施形態による映像符号化装置の構成の一例を示すブロック図である。この映像符号化装置１００は、ダウンサンプリング部１０、インタレース化部１１、映像符号化部１２、映像復号部１３、インタレース解除部１４、インタレース最適化部１５、アップサンプリング部１６、アップサンプリング最適化部１７、多重化部１８及び補助情報符号化部１９を備えている。映像符号化装置１００は、ダウンサンプリング及びインタレース化により、２段階の処理を行う。

映像符号化装置１００は、高解像順次走査映像Ｈを入力し、高解像順次走査映像Ｈを、ダウンサンプリング部１０にて低解像順次走査映像Ｌに変換し、インタレース化部１１にて低解像飛越走査映像Ｉに変換し、低解像飛越走査映像Ｉを、映像符号化部１２にて符号化し、低解像符号化ストリームとして外部へ出力する。また、映像符号化装置１００は、低解像符号化ストリームを、映像復号部１３にて低解像飛越走査映像（復号映像Ｄ）に復号し、低解像飛越走査映像（復号映像Ｄ）を、インタレース解除部１４にて複数の手法で複数の低解像順次走査映像Ｍ１，Ｍ２に変換する。

映像符号化装置１００は、複数の低解像順次走査映像Ｍ１，Ｍ２を用いて、インタレース最適化部１５にて、符号化前の低解像順次走査映像Ｌに最も近似する最適な低解像順次走査映像Ｊを生成し、最適な低解像順次走査映像Ｊを生成するための判定結果ｍｏｐｔ（Ｒ）を生成する。

映像符号化装置１００は、低解像順次走査映像Ｊを、アップサンプリング部１６にて複数の手法で複数の高解像順次走査映像Ｇ１，Ｇ２に変換し、複数の高解像順次走査映像Ｇ１，Ｇ２を用いて、アップサンプリング最適化部１７にて、符号化前の高解像順次走査映像Ｈに最も近似する最適な高解像順次走査映像を生成するための判定結果ｋｏｐｔ（Ｓ）を生成する。また、映像符号化装置１００は、判定結果ｍｏｐｔ（Ｒ）及び判定結果ｋｏｐｔ（Ｓ）を、多重化部１８にて多重化して補助情報を生成し、補助情報を、補助情報符号化部１９にて符号化し、補助情報符号化ストリームとして外部へ出力する。

以下、図１を参照して映像符号化装置１００の構成を詳細に説明する。ある映像（例えば映像Ａ）の時刻ｔ、画像座標（ｘ，ｙ）における画素値をＡ（ｔ，ｘ，ｙ）とする。また、例えば映像がカラーであり、画素値が複数の色成分及び帯域成分（以下、色成分等という。）を有する場合には、以下の処理は、色成分等毎に同様の手順により行われるものとする。

また、インタレース解除部１４における手法の数を２とし、アップサンプリング部１６における手法の数も２とする。本発明は、これらの手法の数を２に限定するものではなく、２以上の複数の手法に適用される。後述する図５に示すインタレース解除部３２及びアップサンプリング部３５についても同様である。詳細については、後述する。

ダウンサンプリング部１０は、外部から高解像順次走査映像Ｈを入力し、高解像順次走査映像Ｈの解像度を所定の手法により削減し（ダウンサンプリングし）、低解像順次走査映像Ｌを生成する。そして、ダウンサンプリング部１０は、低解像順次走査映像Ｌをインタレース化部１１及びインタレース最適化部１５に出力する。

所定の手法とは、以下のとおりである。ダウンサンプリング部１０は、例えば、高解像順次走査映像Ｈの画素を所定のパターンで単純に間引くことで再標本化し、低解像順次走査映像Ｌを生成する。具体的には、ダウンサンプリング部１０は、２×２画素毎に左上１画素を残すように再標本化し、４画素を１画素に削減して低解像順次走査映像Ｌを生成する。

また、ダウンサンプリング部１０は、例えば、高解像順次走査映像Ｈを低域通過型フィルタにより高域信号をカットした後、ダウンサンプリングによる再標本化を行い、低解像順次走査映像Ｌを生成する。低域通過型フィルタとして、移動平均フィルタ、ガウシアンフィルタ、Lanczosフィルタ、trancated（打ち切り） sincフィルタ等が用いられる。

具体的には、ダウンサンプリング部１０は、低域通過型フィルタ処理の後、例えば、２×２画素サイズの矩形の移動平均フィルタ処理を行い、以下の式により、２×２画素それぞれの画素値を加算平均することで、水平画素数を１／２、垂直画素数を１／２に間引く。これにより、低解像順次走査映像Ｌが生成される。

インタレース化部１１は、ダウンサンプリング部１０から低解像順次走査映像Ｌを入力し、例えば、低解像順次走査映像Ｌのフレーム画像の走査線を間引くパターンを時刻に応じて変化させることにより、低解像順次走査映像の走査線を削除するインタレースを行い、順次走査映像から飛越走査映像に変換して低解像飛越走査映像Ｉを生成し、低解像飛越走査映像Ｉを映像符号化部１２に出力する。

また、インタレース化部１１は、例えば、フレーム画像の座標における垂直方向の走査線位置が奇数番目である走査線と偶数番目である走査線とをフレーム画像毎に交互に選択し、選択した走査線上の画素値のみからなる画像をフィールド画像として生成し、これを低解像飛越走査映像Ｉとして映像符号化部１２に出力する。

具体的には、インタレース化部１１は、例えば以下の式により、低解像飛越走査映像Ｉを生成する。

尚、前記式（２）において、偶数と奇数の場合分けは、逆であってもよい。

映像符号化部１２は、インタレース化部１１から低解像飛越走査映像Ｉを入力し、低解像飛越走査映像Ｉを情報源符号化し、符号化した符号化ビット列の映像ストリームを低解像符号化ストリームとして外部へ出力する。

情報源符号化方式は、可逆符号化または非可逆符号化のいずれかであってもよい。具体的な情報符号化方式については、例えば、ＩＳＯ／ＩＥＣのＭＰＥＧ（Motion Picture Experts Group）のように、規格化団体により標準化された方式に準拠した方式を用いてもよい。例えば、情報源符号化方式として、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣ、ＨＥＶＣ等で規定される映像符号化方式が用いられる。

尚、映像符号化部１２により生成された低解像符号化ストリームは、後述する補助情報符号化部１９により生成される補助情報符号化ストリームと共に、後述する映像復号装置２００へ伝送されるが、補助情報符号化ストリームと共に一旦蓄積媒体に蓄積するようにしてもよい。映像復号装置２００は、蓄積媒体を介して、低解像符号化ストリーム及び補助情報符号化ストリームを入力し、復号処理を行う。

映像復号部１３は、映像符号化部１２から低解像符号化ストリームを入力し、低解像符号化ストリームを局部復号することで、低解像飛越走査映像（復号映像Ｄ）に変換する。そして、映像復号部１３は、低解像飛越走査映像（復号映像Ｄ）をインタレース解除部１４に出力する。

尚、映像符号化部１２が映像符号化後の局部復号処理も合わせて行う場合には、映像復号部１３を省略することができる。この場合、映像符号化部１２は、局部復号処理により生成した局部復号映像を、低解像飛越走査映像（復号映像Ｄ）としてインタレース解除部１４に出力する。

インタレース解除部１４は、映像復号部１３から低解像飛越走査映像（復号映像Ｄ）を入力し、低解像飛越走査映像（復号映像Ｄ）を、複数の手法にて複数の低解像順次走査映像Ｍ１，Ｍ２に変換する。すなわち、インタレース解除部１４は、低解像飛越走査映像（復号映像Ｄ）の走査線を、複数のインタレース解除手段にてそれぞれ補間するインタレース解除を行い、複数の低解像順次走査映像Ｍ１，Ｍ２を生成する。そして、インタレース解除部１４は、低解像順次走査映像Ｍ１，Ｍ２をインタレース最適化部１５に出力する。

図２は、インタレース解除部１４の構成の一例を示すブロック図である。このインタレース解除部１４は、異なるインタレース解除手法を有する第１インタレース解除手段１４−１及び第２インタレース解除手段１４−２を備えている。

尚、インタレース解除部１４は、２つの手段を備えるようにしたが、３つ以上の手段を備えるようにしてもよく、要するに、２以上の手段を備えていればよい。後述するアップサンプリング部１６、図５に示すインタレース解除部３２及びアップサンプリング部３５においても、２以上の手段を備えていればよい。

第１インタレース解除手段１４−１及び第２インタレース解除手段１４−２は、例えば、以下の（１）〜（３）等のいずれかの手法を用いる。
（１）フィールドを構成する隣接走査線の間で画素毎に加算平均することにより、補間処理を行う。
（２）時間軸上の前後に隣接する２つのフィールド画像を用いて、一方のフィールド画像の走査線と他方のフィールド画像の走査線とが交互に並ぶように合成することにより、補間処理を行う。
（３）時間軸上の前後に隣接する２つのフィールド画像を用いて、ブロック単位で動き推定を行い、検出した動きを補償しつつ画素ブロック単位で重ね合わせることにより、補間処理を行う。

前記（１）及び（２）を用いた場合には、（１）の手法は空間方向に補間を行うものであり、（２）の手法は時間方向に補間を行うものであるため、画面内で映像が変化する場合及び時間方向に映像が変化する場合のそれぞれに適用することができる。また、前記（１）及び（３）を用いた場合には、（３）の手法は動きのある映像に対して効率的にインタレース解除が行えるため、特に、静止画及び動画が混在する映像に対して適用することができる。

尚、前記（１）〜（３）のそれぞれの手法において、パラメータの異なる手法を用いるようにしてもよい。前記（３）の手法のパラメータを変更する場合、例えば、第１インタレース解除手段１４−１にはブロックサイズを１６×１６画素としたものを用い、第２インタレース解除手段１４−２にはブロックサイズを３２×３２画素としたものを用いるようにする。

さらに、インタレース解除部１４が３つのインタレース解除手段を備えた場合には、前記（１）〜（３）の手法をそれぞれ用いるようにすればよい。また、３つのインタレース解除手段全てに（３）の手法を用いる場合には、パラメータを変更し、例えば、ブロックサイズを１６×１６画素、３２×３２画素、６４×６４画素としたものを用いればよい。

ここで、インタレース解除部１４がＮ個のインタレース解除手段（第Ｎインタレース解除手段１４−Ｎ（図２の例では、Ｎ＝１，２））を備える場合には、第Ｎインタレース解除手段１４−Ｎは、低解像順次走査映像ＭＮ（Ｎは正の整数）を、後段のインタレース最適化部１５に出力する。

図１に戻って、インタレース最適化部１５は、インタレース解除部１４から複数の低解像順次走査映像Ｍ１，Ｍ２を入力すると共に、ダウンサンプリング部１０から低解像順次走査映像Ｌを入力し、複数の低解像順次走査映像Ｍ１，Ｍ２を用いて、符号化前の低解像順次走査映像Ｌに最も近似する最適な低解像順次走査映像Ｊを生成し、最適な低解像順次走査映像Ｊを生成するためのインタレース補助情報である判定結果ｍｏｐｔ（Ｒ）を生成する。そして、インタレース最適化部１５は、低解像順次走査映像Ｊをアップサンプリング部１６に出力すると共に、判定結果ｍｏｐｔ（Ｒ）を多重化部１８に出力する。

図３は、インタレース最適化部１５の構成の一例を示すブロック図である。このインタレース最適化部１５は、映像比較手段２０及び映像切替手段２１を備えている。映像比較手段２０は、インタレース解除部１４から複数の低解像順次走査映像Ｍ１，Ｍ２を入力すると共に、ダウンサンプリング部１０から参照用の映像として低解像順次走査映像Ｌを入力する。そして、映像比較手段２０は、例えば、低解像順次走査映像Ｍ１，Ｍ２と低解像順次走査映像Ｌとの間で、これらの映像の画面全体または部分領域（処理対象領域Ｒ）毎の差分を求めることで両映像の比較をそれぞれ行い、低解像順次走査映像Ｍ１，Ｍ２（の画面全体または部分領域）のうちのいずれか（Ｍ１またはＭ２）が低解像順次走査映像Ｌ（の画面全体または対応する部分領域）に近似するかを判定する。

映像比較手段２０は、低解像順次走査映像Ｍ１，Ｍ２のうち、低解像順次走査映像Ｍ１，Ｍ２と低解像順次走査映像Ｌとの間の差分が最小である映像（Ｍ１またはＭ２）を判定し、その判定結果ｍｏｐｔ（Ｒ）を映像切替手段２１及び多重化部１８に出力する。この場合、映像比較手段２０は、判定結果ｍｏｐｔ（Ｒ）が示す映像（Ｍ１またはＭ２）を選択するための選択信号を映像切替手段２１に出力するようにしてもよい。

判定結果ｍｏｐｔ（Ｒ）は、処理対象領域Ｒについての判定結果、すなわち、より近似度の高い低解像順次走査映像Ｍ１，Ｍ２のインデックスであるＭ１またはＭ２を示す。画面全体が判定された場合、判定結果ｍｏｐｔ（Ｒ）のＲは画面全体を示し、部分領域がそれぞれ判定された場合、判定結果ｍｏｐｔ（Ｒ）のＲは部分領域を示す。

映像切替手段２１は、インタレース解除部１４から複数の低解像順次走査映像Ｍ１，Ｍ２を入力すると共に、映像比較手段２０から判定結果ｍｏｐｔ（Ｒ）を入力し、判定結果ｍｏｐｔ（Ｒ）に基づいて、低解像順次走査映像Ｍ１，Ｍ２のうち、低解像順次走査映像Ｌに最も近似する映像を選択し、当該映像を低解像順次走査映像Ｊとしてアップサンプリング部１６に出力する。映像切替手段２１は、Ｒが部分領域を示す場合、低解像順次走査映像Ｍ１，Ｍ２の対応する部分領域のうち、低解像順次走査映像Ｌの対応する部分領域に最も近似する部分領域を選択し、選択した部分領域を合成した映像を低解像順次走査映像Ｊとしてアップサンプリング部１６に出力する。

図１に戻って、アップサンプリング部１６は、インタレース最適化部１５から低解像順次走査映像Ｊを入力し、低解像順次走査映像Ｊの解像度を複数の手法にてそれぞれ増加し（低解像順次走査映像Ｊを複数の手法にてそれぞれアップサンプリングし）、複数の高解像順次走査映像Ｇ１，Ｇ２に変換する。そして、アップサンプリング部１６は、高解像順次走査映像Ｇ１，Ｇ２をアップサンプリング最適化部１７に出力する。

図４は、アップサンプリング部１６の構成の一例を示すブロック図である。このアップサンプリング部１６は、異なるアップサンプリング手法を有する第１アップサンプリング手段１６−１及び第２アップサンプリング手段１６−２を備えている。

第１アップサンプリング手段１６−１及び第２アップサンプリング手段１６−２は、例えば、以下の（４）〜（８）等のいずれかのアップサンプリング手法を用いる。
（４）最近傍補間によるアップサンプリングを行う。最近傍補間では、補間した点に最も近い画素値が用いられる。
（５）双一次補間によるアップサンプリングを行う。双一次補間では、画像の拡大縮小または変形等で用いられる方式であり、画像の拡大縮小または変形による変更前と変更後で、座標の近い４個の画素の平均値が用いられる。
（６）双三次補間によるアップサンプリングを行う。双三次補間は、三次補間法と呼ばれている方式であり、他の方式と比べ情報の損失が少なく、自然な画像が得ることができる。
（７）超解像によるアップサンプリングを行う。超解像によるアップサンプリングは、例えば、ウェーブレット超解像等の単一フレーム超解像技術または再構成型超解像技術が用いられる。
（８）前記（４）〜（７）の処理の前または後にフィルタ処理を施す。

例えば、第１アップサンプリング手段１６−１は、前記（５）の双一次補間によるアップサンプリングを行い、第２アップサンプリング手段１６−２は、前記（７）のウェーブレット超解像方式によるアップサンプリングを行う。これらのアップサンプリング手法を併用することで、より高精細な映像を再現することができる。

さらに、アップサンプリング部１６が３つのアップサンプリング手段を備えた場合には、前記（４）〜（８）のアップサンプリング手法をそれぞれ用いるようにすればよい。

ここで、アップサンプリング部１６がＮ個のアップサンプリング手段（第Ｎアップサンプリング手段１６−Ｎ（図４の例では、Ｎ＝１，２））を備える場合には、第Ｎアップサンプリング手段１６−Ｎは、高解像順次走査映像ＧＮ（Ｎは正の整数）を、後段のアップサンプリング最適化部１７に出力する。

尚、前記（４）〜（８）のそれぞれの手法において、パラメータの異なる手法を用いるようにしてもよい。複数の前記（８）を用いる場合、前記（８）のフィルタ処理において異なるフィルタ係数を用いる。

図１に戻って、アップサンプリング最適化部１７は、アップサンプリング部１６から複数の高解像順次走査映像Ｇ１，Ｇ２を入力すると共に、参照用の映像として高解像順次走査映像Ｈを入力し、複数の高解像順次走査映像Ｇ１，Ｇ２を用いて、符号化前の高解像順次走査映像Ｈに最も近似する最適な高解像順次走査映像を生成するためのアップサンプリング補助情報である判定結果ｋｏｐｔ（Ｓ）を生成する。

例えば、アップサンプリング最適化部１７は、高解像順次走査映像Ｇ１，Ｇ２と高解像順次走査映像Ｈとの間で、これらの映像の画面全体または部分領域（処理対象領域Ｓ）毎の差分を求めることで両映像の比較を行い、高解像順次走査映像Ｇ１，Ｇ２（の画面全体または部分領域）のうちのいずれか（Ｇ１またはＧ２）が高解像順次走査映像Ｈ（の画面全体または対応する部分領域）に近似するかを判定する。

アップサンプリング最適化部１７は、高解像順次走査映像Ｇ１，Ｇ２のうち、高解像順次走査映像Ｇ１，Ｇ２と高解像順次走査映像Ｈとの間の差分が最小である映像（Ｇ１またはＧ２）を判定し、その判定結果ｋｏｐｔ（Ｓ）を多重化部１８に出力する。

判定結果ｋｏｐｔ（Ｓ）は、処理対象領域Ｓについての判定結果、すなわち、より近似度の高い高解像順次走査映像Ｇ１，Ｇ２のインデックスであるＧ１またはＧ２を示す。画面全体が判定された場合、判定結果ｋｏｐｔ（Ｓ）のＳは画面全体を示し、部分領域がそれぞれ判定された場合、判定結果ｋｏｐｔ（Ｓ）のＳは部分領域を示す。

多重化部１８は、インタレース最適化部１５から判定結果ｍｏｐｔ（Ｒ）を入力すると共に、アップサンプリング最適化部１７から判定結果ｋｏｐｔ（Ｓ）を入力する。そして、多重化部１８は、判定結果ｍｏｐｔ（Ｒ）及び判定結果ｋｏｐｔ（Ｓ）を多重化して補助情報を生成し、補助情報を補助情報符号化部１９に出力する。

補助情報符号化部１９は、多重化部１８から補助情報を入力し、補助情報を情報源符号化し、符号化した符号化ビット列の補助情報符号化ストリームを外部へ出力する。

補助情報符号化部１９による情報源符号化方式は、任意の情報源符号化の方式を用いることができるが、より高精度に復号できるようにするため、可逆符号化であることが好ましい。例えば、情報源符号化方式として、ハフマン符号化、算術符号化、ランレングス符号化が用いられる。

このように、映像符号化部１２により生成された低解像符号化ストリーム、及び補助情報符号化部１９により生成された補助情報符号化ストリームは、後述する映像復号装置２００へ伝送される。

尚、低解像符号化ストリーム及び補助情報符号化ストリームは、同一の伝送路（例えば、放送波の伝送路）を用いて伝送されるようにしてもよいし、放送波の伝送路とインターネット等の通信回線の伝送路とを用いて、別々に伝送されるようにしてもよい。例えば、映像符号化装置１００は、低解像符号化ストリームを放送波の伝送路にて伝送し、補助情報符号化ストリームを通信回線の伝送路を介して伝送する。この場合、映像符号化装置１００は、補助情報符号化ストリームを、低解像符号化ストリームよりも低ビットレートにて伝送するようにしてもよい。例えば、映像符号化装置１００は、補助情報符号化ストリームを、低解像符号化ストリームよりもビットレートが低くなるような所定周期にて伝送する。

また、映像符号化装置１００は、低解像符号化ストリームと補助情報符号化ストリームとを、映像復号装置２００による復号処理を前提にして、一旦蓄積媒体に蓄積してもよい。この場合、映像符号化装置１００は、低解像符号化ストリームと補助情報符号化ストリームとを、同一の蓄積媒体に蓄積してもよいし、別々の蓄積媒体に蓄積してもよい。映像符号化装置１００は、低解像符号化ストリーム及び補助情報符号化ストリームを同一の蓄積媒体に蓄積する場合、例えば、低解像符号化ストリームを、ＤＶＤの通常のトラックに記録し、補助情報符号化ストリームを、特定の機材にて再生可能な特別のトラックに記録する。

さらに、映像符号化装置１００は、低解像符号化ストリーム及び補助情報符号化ストリームのいずれかまたは両方に、暗号化またはＤＲＭ（デジタル著作権管理）を施し、暗号化またはＤＲＭの強度を段階的に設定する他、ポリシーを設定するようにしてもよい。ＤＲＭを施すことにより、著作権の管理を実現することができる。

（映像符号化装置の動作）
次に、映像符号化装置１００の動作について説明する。図１０は、映像符号化装置１００による映像符号化処理の一例を示すフローチャートである。

映像符号化装置１００が外部から高解像順次走査映像Ｈを入力すると、ダウンサンプリング部１０は、高解像順次走査映像Ｈをダウンサンプリングして低解像順次走査映像Ｌを生成し（ステップＳ１０１）、インタレース化部１１は、低解像順次走査映像Ｌをインタレース化して低解像飛越走査映像Ｉに変換する（ステップＳ１０２）。そして、映像符号化部１２は、低解像飛越走査映像Ｉを情報源符号化し、低解像符号化ストリームとして外部へ出力する（ステップＳ１０３）。

映像復号部１３は、映像符号化部１２が生成した低解像符号化ストリームを、局部復号して低解像飛越走査映像（復号映像Ｄ）に変換する（ステップＳ１０４）。

インタレース解除部１４は、複数の異なる手法にて、低解像飛越走査映像（復号映像Ｄ）を複数の低解像順次走査映像Ｍ１，Ｍ２に変換する（ステップＳ１０５）。そして、インタレース最適化部１５は、複数の低解像順次走査映像Ｍ１，Ｍ２を用いて、符号化前の低解像順次走査映像Ｌに最も近似する最適な低解像順次走査映像Ｊを生成し、低解像順次走査映像Ｊを生成するための判定結果ｍｏｐｔ（Ｒ）を生成する（ステップＳ１０６）。

アップサンプリング部１６は、複数の異なる手法にて、低解像順次走査映像Ｊをアップサンプリングし、複数の高解像順次走査映像Ｇ１，Ｇ２を生成する（ステップＳ１０７）。そして、アップサンプリング最適化部１７は、複数の高解像順次走査映像Ｇ１，Ｇ２を用いて、符号化前の高解像順次走査映像Ｈに最も近似する高解像順次走査映像を生成するための判定結果ｋｏｐｔ（Ｓ）を生成する（ステップＳ１０８）。

多重化部１８は、判定結果ｍｏｐｔ（Ｒ）及び判定結果ｋｏｐｔ（Ｓ）を多重化し、補助情報を生成する（ステップＳ１０９）。そして、補助情報符号化部１９は、補助情報を情報源符号化し、補助情報符号化ストリームとして外部へ出力する（ステップＳ１１０）。

以上のように、本発明の実施形態による映像符号化装置１００によれば、ダウンサンプリング部１０は、高解像順次走査映像Ｈをダウンサンプリングして低解像順次走査映像Ｌを生成し、インタレース化部１１は、低解像順次走査映像Ｌを低解像飛越走査映像Ｉに変換し、映像符号化部１２は、低解像飛越走査映像Ｉを映像符号化し、低解像符号化ストリームを外部へ出力するようにした。

インタレース解除部１４は、低解像符号化ストリームが復号された低解像飛越走査映像（復号映像Ｄ）を、複数の手法にて複数の低解像順次走査映像Ｍ１，Ｍ２に変換し、インタレース最適化部１５は、複数の低解像順次走査映像Ｍ１，Ｍ２を用いて、符号化前の低解像順次走査映像Ｌに最も近似する最適な低解像順次走査映像Ｊを生成すると共に、低解像順次走査映像Ｊを生成するための判定結果ｍｏｐｔ（Ｒ）を生成するようにした。

アップサンプリング部１６は、低解像順次走査映像Ｊを、複数の手法にて複数の高解像順次走査映像Ｇ１，Ｇ２に変換し、アップサンプリング最適化部１７は、複数の高解像順次走査映像Ｇ１，Ｇ２を用いて、符号化前の高解像順次走査映像Ｈに最も近似する映像を生成するための判定結果ｋｏｐｔ（Ｓ）を生成するようにした。そして、補助情報符号化部１９は、判定結果ｍｏｐｔ（Ｒ）及び判定結果ｋｏｐｔ（Ｓ）を多重化した補助情報を符号化し、補助情報符号化ストリームとして外部へ出力する。

これにより、映像符号化装置１００から、低解像飛越走査映像Ｉが低解像符号化ストリームとして出力されると共に、複数のインタレース解除手段により生成された複数の低解像順次走査映像Ｍ１，Ｍ２を用いて、符号化前の低解像順次走査映像Ｌに最も近似する映像を生成するための判定結果ｍｏｐｔ（Ｒ）と、複数のアップサンプリング手段にて生成された複数の高解像順次走査映像Ｇ１，Ｇ２を用いて、符号化前の高解像順次走査映像Ｈに最も近似する映像を生成するための判定結果ｋｏｐｔ（Ｓ）とが、補助情報符号化ストリームとして出力される。

そして、後述する映像復号装置２００は、低解像符号化ストリームを復号して低解像飛越走査映像Ｉを生成し、判定結果ｍｏｐｔ（Ｒ）及び判定結果ｋｏｐｔ（Ｓ）を用いて、低解像飛越走査映像Ｉから元の高解像順次走査映像Ｈを復元することができる。

したがって、高解像順次走査映像Ｈから得られた低解像飛越走査映像Ｉと、高解像順次走査映像Ｈを復元するための最適化した補助情報（判定結果ｍｏｐｔ（Ｒ）及び判定結果ｋｏｐｔ（Ｓ））とを伝送するようにしたから、復号側において、単一のインタレース解除手法及び単一のアップサンプリング手法を用いて高解像順次走査映像Ｈを復元する従来手法と比較して、高解像順次走査映像Ｈに近い高画質な映像を復元することが可能となる。つまり、超解像技術において、飛越走査に起因して発生するアーチファクト等の影響を抑えつつ、高解像順次走査映像Ｈを忠実に再現することが可能となる。

尚、本発明の実施形態による映像符号化装置１００のハードウェア構成としては、通常のコンピュータを使用することができる。映像符号化装置１００は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。映像符号化装置１００に備えたダウンサンプリング部１０、インタレース化部１１、映像符号化部１２、映像復号部１３、インタレース解除部１４、インタレース最適化部１５、アップサンプリング部１６、アップサンプリング最適化部１７、多重化部１８及び補助情報符号化部１９の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

［映像復号装置］
次に、本発明の実施形態による映像復号装置について説明する。図５は、本発明の実施形態による映像復号装置の構成の一例を示すブロック図である。この映像復号装置２００は、映像復号部３０、補助情報復号部３１、インタレース解除部３２、逆多重化部３３、インタレース切替部３４、アップサンプリング部３５及びアップサンプリング切替部３６を備えている。映像復号装置２００は、インタレース解除及びアップサンプリングにより、２段階の処理を行う。

映像復号装置２００は、映像符号化装置１００から低解像符号化ストリーム及び補助情報符号化ストリームを入力し、低解像符号化ストリームを、映像復号部３０にて低解像飛越走査映像（復号映像Ｄ）に復号し、補助情報符号化ストリームを、補助情報復号部３１にて補助情報に復号し、補助情報を、逆多重化部３３にて判定結果ｍｏｐｔ（Ｒ）及び判定結果ｋｏｐｔ（Ｓ）に分離する。

映像復号装置２００は、低解像飛越走査映像（復号映像Ｄ）を、インタレース解除部３２にて複数の手法で複数の低解像順次走査映像Ｍ１，Ｍ２に変換し、複数の低解像順次走査映像Ｍ１，Ｍ２及び判定結果ｍｏｐｔ（Ｒ）を用いて、インタレース切替部３４にて最適な低解像順次走査映像Ｊを生成する。

映像復号装置２００は、低解像順次走査映像Ｊを、アップサンプリング部３５にて複数の手法で複数の高解像順次走査映像Ｇ１，Ｇ２に変換し、複数の高解像順次走査映像Ｇ１，Ｇ２及び判定結果ｋｏｐｔ（Ｓ）を用いて、アップサンプリング切替部３６にて最適な高解像順次走査映像Ｆを生成する。これにより、映像復号装置２００にて高解像順次走査映像Ｆが復元される。

以下、図５を参照して映像復号装置２００の構成を詳細に説明する。映像復号部３０は、図１に示した映像復号部１３に対応し、映像符号化装置１００により出力された低解像符号化ストリームを入力し、低解像符号化ストリームを局部復号することで、低解像飛越走査映像（復号映像Ｄ）に変換する。そして、映像復号部３０は、低解像飛越走査映像（復号映像Ｄ）をインタレース解除部３２に出力する。

補助情報復号部３１は、映像符号化装置１００により出力された補助情報符号化ストリームを入力し、補助情報符号化ストリームを復号することで補助情報に変換し、補助情報を逆多重化部３３に出力する。

逆多重化部３３は、補助情報復号部３１から補助情報を入力し、補助情報を逆多重化して判定結果ｍｏｐｔ（Ｒ）及び判定結果ｋｏｐｔ（Ｓ）を分離し、判定結果ｍｏｐｔ（Ｒ）をインタレース切替部３４に出力し、判定結果ｋｏｐｔ（Ｓ）をアップサンプリング切替部３６に出力する。

インタレース解除部３２は、映像復号部３０から低解像飛越走査映像（復号映像Ｄ）を入力し、複数の手法にて複数の低解像順次走査映像Ｍ１，Ｍ２に変換する。そして、インタレース解除部３２は、低解像順次走査映像Ｍ１，Ｍ２をインタレース切替部３４に出力する。

図６は、インタレース解除部３２の構成の一例を示すブロック図である。このインタレース解除部３２は、異なるインタレース解除手法を有する第１インタレース解除手段３２−１及び第２インタレース解除手段３２−２を備えている。

第１インタレース解除手段３２−１及び第２インタレース解除手段３２−２は、例えば、前記（１）〜（３）等のいずれかの手法を用いる。

ここで、インタレース解除部３２がＮ個のインタレース解除手段（第Ｎインタレース解除手段３２−Ｎ（図６の例では、Ｎ＝１，２））を備える場合には、第Ｎインタレース解除手段３２−Ｎは、低解像順次走査映像ＭＮ（Ｎは整数）を、後段のインタレース切替部３４に出力する。

尚、前記（１）〜（３）のそれぞれの手法において、パラメータの異なる手法を用いるようにしてもよい。この場合、インタレース解除部３２は第１インタレース解除手段３２−１のみを備え、第１インタレース解除手段３２−１は、パラメータを切り替えることで、複数の低解像順次走査映像Ｍ１，Ｍ２を生成して出力する。

また、インタレース解除部３２は、図２に示したインタレース解除部１４と同じ手段を備えるようにしてもよいし、異なる手段を備えるようにしてもよい。

図７は、映像符号化装置１００に備えたインタレース解除部１４と映像復号装置２００に備えたインタレース解除部３２との関係を示す図である。ケース１は、映像符号化装置１００に備えたインタレース解除部１４と映像復号装置２００に備えたインタレース解除部３２とが同一である場合を示している。ケース２，３は、映像符号化装置１００に備えたインタレース解除部１４と映像復号装置２００に備えたインタレース解除部３２とが異なる場合を示している。

ここで、映像復号装置２００に備えたインタレース解除部３２は、ケース１に示すように、映像符号化装置１００に備えたインタレース解除部１４と同一であることが望ましい。この場合、インタレース解除部１４，３２は、複数の同一の手段を備えており、図２及び図６の例では、第１インタレース解除手段３２−１が第１インタレース解除手段１４−１と同一の機能を有し、第２インタレース解除手段３２−２が第２インタレース解除手段１４−２と同一の機能を有する。

しかしながら、映像符号化装置１００及び映像復号装置２００の構成においては、ケース２，３のように、映像符号化装置１００に備えたインタレース解除部１４の一部または全ての手段が、映像復号装置２００に備えたインタレース解除部３２と異なる場合があり得る。

そこで、インタレース解除部３２の後段に備えた後述するインタレース切替部３４は、判定結果ｍｏｐｔ（Ｒ）に対応する低解像順次走査映像が存在せず、最適な低解像順次走査映像Ｊを生成することができないと判定した場合、インタレース解除部３２により生成された低解像順次走査映像Ｍ１，Ｍ２のうち予め設定された映像（低解像順次走査映像Ｍ１または低解像順次走査映像Ｍ２）を用いて、最適な低解像順次走査映像Ｊを生成する。

例えば、ケース２の場合、インタレース解除部３２が低解像順次走査映像Ｍ１，Ｍ３を生成し、インタレース切替部３４が、判定結果ｍｏｐｔ（Ｒ）に対応する低解像順次走査映像Ｍ２が存在せず、最適な低解像順次走査映像Ｊを生成することができないと判定した場合、インタレース切替部３４は、インタレース解除部３２により生成された低解像順次走査映像Ｍ１，Ｍ３のうち予め設定された映像（例えば低解像順次走査映像Ｍ３）を用いて、最適な低解像順次走査映像Ｊを生成する。

図５に戻って、インタレース切替部３４は、インタレース解除部３２から複数の低解像順次走査映像Ｍ１，Ｍ２を入力すると共に、逆多重化部３３から判定結果ｍｏｐｔ（Ｒ）を入力する。そして、インタレース切替部３４は、判定結果ｍｏｐｔ（Ｒ）に基づいて、低解像順次走査映像Ｍ１，Ｍ２から最適な低解像順次走査映像Ｊを生成する。すなわち、インタレース切替部３４は、Ｒが画面全体を示している場合、低解像順次走査映像Ｍ１，Ｍ２のうち判定結果ｍｏｐｔ（Ｒ）が示す映像を選択し、その映像を最適な低解像順次走査映像Ｊとして生成（選択）する。また、インタレース切替部３４は、Ｒが部分領域を示している場合、その部分領域毎に、低解像順次走査映像Ｍ１，Ｍ２の部分領域のうち判定結果ｍｏｐｔ（Ｒ）が示す映像の部分領域を選択し、選択した映像を合成することで最適な低解像順次走査映像Ｊを生成する。

ここで、インタレース切替部３４は、判定結果ｍｏｐｔ（Ｒ）に対応する低解像順次走査映像（例えば低解像順次走査映像Ｍ３）が存在しないため、最適な低解像順次走査映像Ｊを生成することができないと判定した場合、インタレース解除部３２により生成された低解像順次走査映像Ｍ１，Ｍ２のうち予め設定された映像（例えば低解像順次走査映像Ｍ１）を用いる。つまり、インタレース切替部３４は、Ｒが画面全体を示している場合、予め設定された低解像順次走査映像を最適な低解像順次走査映像Ｊとして生成（選択）する。また、インタレース切替部３４は、Ｒが部分領域を示している場合、予め設定された低解像順次走査映像の部分領域のうち判定結果ｍｏｐｔ（Ｒ）に対応する部分領域を選択し、選択した部分領域を合成することで最適な低解像順次走査映像Ｊを生成する。

尚、映像符号化装置１００は、生成した複数の低解像順次走査映像毎に優先順位を付し、当該優先順位を含む判定結果ｍｏｐｔ（Ｒ）を生成して出力するようにしてもよい。この場合、映像復号装置２００は、判定結果ｍｏｐｔ（Ｒ）に付された優先順位に従って、インタレース解除部３２により生成された複数の低解像順次走査映像から最適な低解像順次走査映像Ｊを生成する。例えば、映像復号装置２００は、優先順位１の低解像順次走査映像が存在しない場合（判定結果ｍｏｐｔ（Ｒ）に付された優先順位１の低解像順次走査映像が、インタレース解除部３２により生成された複数の低解像順次走査映像に存在しない場合）、優先順位２の低解像順次走査映像（判定結果ｍｏｐｔ（Ｒ）に付された優先順位２の低解像順次走査映像が、インタレース解除部３２により生成された複数の低解像順次走査映像に存在する場合において、複数の低解像順次走査映像のうちのいずれか）を用いて、最適な低解像順次走査映像Ｊを生成する。

アップサンプリング部３５は、インタレース切替部３４から低解像順次走査映像Ｊを入力し、低解像順次走査映像Ｊの解像度を複数の手法にてそれぞれ増加し（低解像順次走査映像Ｊを複数の手法にてそれぞれアップサンプリングし）、複数の高解像順次走査映像Ｇ１，Ｇ２に変換する。そして、アップサンプリング部３５は、高解像順次走査映像Ｇ１，Ｇ２をアップサンプリング切替部３６に出力する。

図８は、アップサンプリング部３５の構成の一例を示すブロック図である。このアップサンプリング部３５は、異なるアップサンプリング手法を有する第１アップサンプリング手段３５−１及び第２アップサンプリング手段３５−２を備えている。

第１アップサンプリング手段３５−１及び第２アップサンプリング手段３５−２は、例えば、前記（４）〜（８）等のいずれかの手法を用いる。

ここで、アップサンプリング部３５がＮ個のアップサンプリング手段（第Ｎアップサンプリング手段３５−Ｎ（図８の例では、Ｎ＝１，２））を備える場合には、第Ｎアップサンプリング手段３５−Ｎは、高解像順次走査映像ＧＮ（Ｎは整数）を、後段のアップサンプリング切替部３６に出力する。

尚、前記（４）〜（８）のそれぞれの手法において、パラメータの異なる手法を用いるようにしてもよい。この場合、アップサンプリング部３５は第１アップサンプリング手段３５−１のみを備え、第１アップサンプリング手段３５−１は、パラメータを切り替えることで、複数の高解像順次走査映像Ｇ１，Ｇ２を生成して出力する。例えば、複数の前記（８）を用いる場合、前記（８）のフィルタ処理において異なるフィルタ係数を用いる。

アップサンプリング部３５は、図４に示したアップサンプリング部１６と同じアップサンプリング手段を備えるようにしてもよいし、異なるアップサンプリング手段を備えるようにしてもよい。

図９は、映像符号化装置１００に備えたアップサンプリング部１６と映像復号装置２００に備えたアップサンプリング部３５との関係を示す図である。ケース１は、映像符号化装置１００に備えたアップサンプリング部１６と映像復号装置２００に備えたアップサンプリング部３５とが同一である場合を示している。ケース２，３は、映像符号化装置１００に備えたアップサンプリング部１６と映像復号装置２００に備えたアップサンプリング部３５とが異なる場合を示している。

映像復号装置２００に備えたアップサンプリング部３５は、ケース１に示すように、映像符号化装置１００に備えたアップサンプリング部１６と同一であることが望ましい。この場合、アップサンプリング部１６，３５は、複数の同一の手段を備えており、図４及び図８の例では、第１アップサンプリング手段３５−１が第１アップサンプリング手段１６−１と同一の機能を有し、第２アップサンプリング手段３５−２が第２アップサンプリング手段１６−２と同一の機能を有する。

しかしながら、映像符号化装置１００及び映像復号装置２００の構成においては、ケース２，３のように、映像符号化装置１００に備えたアップサンプリング部１６の一部または全ての手段が、映像復号装置２００に備えたアップサンプリング部３５と異なる場合があり得る。

そこで、アップサンプリング部３５の後段に備えた後述するアップサンプリング切替部３６は、判定結果ｋｏｐｔ（Ｓ）に対応する高解像順次走査映像が存在せず、最適な高解像順次走査映像Ｆを生成することができないと判定した場合、アップサンプリング部３５により生成された複数の高解像順次走査映像Ｇ１，Ｇ２のうち予め設定された高解像順次走査映像Ｇ１または高解像順次走査映像Ｇ２を用いて、最適な高解像順次走査映像Ｆを生成する。

例えば、ケース３の場合、アップサンプリング部３５が高解像順次走査映像Ｇ２，Ｇ３を生成し、アップサンプリング切替部３６が、判定結果ｋｏｐｔ（Ｓ）に対応する高解像順次走査映像Ｇ１が存在せず、最適な高解像順次走査映像Ｆを生成することができないと判定した場合、アップサンプリング切替部３６は、アップサンプリング部３５により生成された高解像順次走査映像Ｇ２，Ｇ３のうち予め設定された映像（例えば高解像順次走査映像Ｇ２）を用いて、最適な高解像順次走査映像Ｆを生成する。

図５に戻って、アップサンプリング切替部３６は、アップサンプリング部３５から複数の高解像順次走査映像Ｇ１，Ｇ２を入力すると共に、逆多重化部３３から判定結果ｋｏｐｔ（Ｓ）を入力する。そして、アップサンプリング切替部３６は、判定結果ｋｏｐｔ（Ｓ）に基づいて、高解像順次走査映像Ｇ１，Ｇ２から最適な高解像順次走査映像Ｆを生成する。すなわち、アップサンプリング切替部３６は、Ｓが画面全体を示している場合、高解像順次走査映像Ｇ１，Ｇ２のうち判定結果ｋｏｐｔ（Ｓ）が示す映像を選択し、その映像を最適な高解像順次走査映像Ｆとして生成（選択）する。また、アップサンプリング切替部３６は、Ｓが部分領域を示している場合、その部分領域毎に、高解像順次走査映像Ｇ１，Ｇ２の部分領域のうち判定結果ｋｏｐｔ（Ｓ）が示す映像の部分領域を選択し、選択した映像を合成することで最適な高解像順次走査映像Ｆを生成する。

ここで、アップサンプリング切替部３６は、判定結果ｋｏｐｔ（Ｓ）に対応する高解像順次走査映像（例えば高解像順次走査映像Ｇ３）が存在しないため、最適な高解像順次走査映像Ｆを生成することができないと判定した場合、アップサンプリング部３５により生成された高解像順次走査映像Ｇ１，Ｇ２のうち予め設定された映像（例えば高解像順次走査映像Ｇ１）を用いる。つまり、アップサンプリング切替部３６は、Ｓが画面全体を示している場合、予め設定された高解像順次走査映像を最適な高解像順次走査映像Ｆとして生成（選択）する。また、アップサンプリング切替部３６は、Ｓが部分領域を示している場合、予め設定された高解像順次走査映像の部分領域のうち判定結果ｋｏｐｔ（Ｓ）に対応する部分領域を選択し、選択した映像を合成することで最適な高解像順次走査映像Ｆを生成する。

尚、映像符号化装置１００は、生成した複数の高解像順次走査映像毎に優先順位を付し、当該優先順位を含む判定結果ｋｏｐｔ（Ｓ）を生成して出力するようにしてもよい。この場合、映像復号装置２００は、判定結果ｋｏｐｔ（Ｓ）に付された優先順位に従って、アップサンプリング部３５により生成された複数の高解像順次走査映像から最適な高解像順次走査映像Ｆを生成する。例えば、映像復号装置２００は、優先順位１の高解像順次走査映像が存在しない場合（判定結果ｋｏｐｔ（Ｓ）に付された優先順位１の高解像順次走査映像が、アップサンプリング部３５により生成された複数の高解像順次走査映像に存在しない場合）、優先順位２の高解像順次走査映像（判定結果ｋｏｐｔ（Ｓ）に付された優先順位２の高解像順次走査映像が、アップサンプリング部３５により生成された複数の高解像順次走査映像に存在する場合において、複数の高解像順次走査映像のうちのいずれか）を用いて、最適な高解像順次走査映像Ｆを生成する。

このように、映像復号装置２００により、元の高解像順次走査映像Ｈに近い高解像順次走査映像Ｆが復元される。

（映像復号装置の動作）
次に、図５に示した映像復号装置２００の動作について説明する。図１１は、映像復号装置２００による映像復号処理の一例を示すフローチャートである。

映像復号装置２００が映像符号化装置１００から低解像符号化ストリーム及び補助情報符号化ストリームを入力すると、映像復号部３０は、低解像符号化ストリームを低解像飛越走査映像（復号映像Ｄ）に復号し、補助情報復号部３１は、補助情報符号化ストリームを補助情報に復号する（ステップＳ２０１）。そして、逆多重化部３３は、補助情報を逆多重化し、判定結果ｍｏｐｔ（Ｒ）及び判定結果ｋｏｐｔ（Ｓ）に分離する（ステップＳ２０２）。

インタレース解除部３２は、複数の異なる手法にて、低解像飛越走査映像（復号映像Ｄ）を複数の低解像順次走査映像Ｍ１，Ｍ２に変換する（ステップＳ２０３）。そして、インタレース切替部３４は、判定結果ｍｏｐｔ（Ｒ）に基づいて、低解像順次走査映像Ｍ１，Ｍ２から最適な低解像順次走査映像Ｊを生成する（ステップＳ２０４）。

アップサンプリング部３５は、複数の異なる手法にて、低解像順次走査映像Ｊをアップサンプリングし、複数の高解像順次走査映像Ｇ１，Ｇ２を生成する（ステップＳ２０５）。そして、アップサンプリング切替部３６は、判定結果ｋｏｐｔ（Ｓ）に基づいて、高解像順次走査映像Ｇ１，Ｇ２から最適な高解像順次走査映像Ｆを生成する（ステップＳ２０６）。

以上のように、本発明の実施形態による映像復号装置２００によれば、映像符号化装置１００から低解像符号化ストリーム及び補助情報符号化ストリームを入力し、映像復号部３０は、低解像符号化ストリームを低解像飛越走査映像（復号映像Ｄ）に復号し、補助情報復号部３１は、補助情報符号化ストリームを補助情報に復号し、逆多重化部３３は、補助情報を逆多重化して判定結果ｍｏｐｔ（Ｒ）及び判定結果ｋｏｐｔ（Ｓ）に分離するようにした。

インタレース解除部３２は、低解像飛越走査映像（復号映像Ｄ）を、複数の手法にて複数の低解像順次走査映像Ｍ１，Ｍ２に変換し、インタレース切替部３４は、複数の低解像順次走査映像Ｍ１，Ｍ２及び判定結果ｍｏｐｔ（Ｒ）を用いて、最適な低解像順次走査映像Ｊを生成するようにした。

アップサンプリング部３５は、低解像順次走査映像Ｊを、複数の手法にて複数の高解像順次走査映像Ｇ１，Ｇ２に変換し、アップサンプリング切替部３６は、複数の高解像順次走査映像Ｇ１，Ｇ２及び判定結果ｋｏｐｔ（Ｓ）を用いて、最適な高解像順次走査映像Ｆを生成するようにした。

これにより、映像復号装置２００は、映像符号化装置１００から、高解像順次走査映像Ｈから得られた低解像飛越走査映像Ｉと、高解像順次走査映像Ｈを復元するための最適化した補助情報（判定結果ｍｏｐｔ（Ｒ）及び判定結果ｋｏｐｔ（Ｓ））とを受信し、元の高解像順次走査映像Ｈに近い高画質な高解像順次走査映像Ｆを復元することが可能となる。したがって、超解像技術において、飛越走査に起因して発生するアーチファクト等の影響を抑えつつ、高解像順次走査映像Ｈを忠実に再現することが可能となる。

一方で、映像復号装置２００の各構成部のうち映像復号部３０のみを備えた従来型の映像復号装置は、本発明の実施形態による映像符号化装置１００から出力された低解像符号化ストリームを受信し、映像復号部３０にて、低解像符号化ストリームを低解像飛越走査映像に復号する。これにより、従来型の映像復号装置において、低解像飛越走査映像をそのまま再生することができる。

また、本発明の実施形態による映像復号装置２００は、従来の伝送路を用いたまま、元の高解像順次走査映像Ｈに近い高解像順次走査映像Ｆを復元し、再生することができる。したがって、従来型の映像復号装置と本発明の実施形態による映像復号装置２００とが並存する状況においても、本発明の実施形態による映像符号化装置１００を適用することができる。

また、本発明の実施形態による映像復号装置２００は、低解像飛越走査映像及び高解像順次走査映像Ｆを復元するから、空間階層性を有する受像機を実現することができる。

尚、本発明の実施形態による映像復号装置２００のハードウェア構成としては、通常のコンピュータを使用することができる。映像復号装置２００は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。映像復号装置２００に備えた映像復号部３０、補助情報復号部３１、インタレース解除部３２、逆多重化部３３、インタレース切替部３４、アップサンプリング部３５及びアップサンプリング切替部３６の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１０ ダウンサンプリング部
１１ インタレース化部
１２ 映像符号化部
１３ 映像復号部
１４、３２ インタレース解除部
１４−１、３２−１ 第１インタレース解除手段
１４−２、３２−２ 第２インタレース解除手段
１５ インタレース最適化部
１６、３５ アップサンプリング部
１６−１、３５−１ 第１アップサンプリング手段
１６−２、３５−２ 第２アップサンプリング手段
１７ アップサンプリング最適化部
１８ 多重化部
１９ 補助情報符号化部
２０ 映像比較手段
２１ 映像切替手段
３０ 映像復号部
３１ 補助情報復号部
３３ 逆多重化部
３４ インタレース切替部
３６ アップサンプリング切替部
１００ 映像符号化装置
２００ 映像復号装置

Claims (10)

1. 高解像順次走査映像を入力し、前記高解像順次走査映像をダウンサンプリング及びインタレース化して符号化し、低解像符号化ストリームを出力する映像符号化装置において、
   前記高解像順次走査映像をダウンサンプリングし、低解像順次走査映像を生成するダウンサンプリング部と、
   前記ダウンサンプリング部により生成された低解像順次走査映像の走査線を削除するインタレース化を行い、低解像飛越走査映像を生成するインタレース化部と、
   前記インタレース化部により生成された低解像飛越走査映像を符号化し、前記低解像符号化ストリームを生成して出力する映像符号化部と、
   前記映像符号化部により生成された低解像符号化ストリームを復号し、低解像飛越走査映像を生成する映像復号部と、
   前記映像復号部により生成された低解像飛越走査映像の走査線を、複数のインタレース解除手段によりそれぞれ補間するインタレース解除を行い、前記複数のインタレース解除手段に対応する複数の低解像順次走査映像を生成するインタレース解除部と、
   前記インタレース解除部により生成された複数の低解像順次走査映像と前記ダウンサンプリング部により生成された低解像順次走査映像とを、画面全体または部分領域毎に比較し、前記複数の低解像順次走査映像を用いて、前記ダウンサンプリング部により生成された低解像順次走査映像に最も近似する最適低解像順次走査映像を生成すると共に、前記最適低解像順次走査映像を生成するための情報をインタレース補助情報として生成するインタレース最適化部と、
   前記インタレース最適化部により生成された最適低解像順次走査映像を、複数のアップサンプリング手段によりそれぞれアップサンプリングし、前記複数のアップサンプリング手段に対応する複数の高解像順次走査映像を生成するアップサンプリング部と、
   前記アップサンプリング部により生成された複数の高解像順次走査映像と当該映像符号化装置が入力した高解像順次走査映像とを、画面全体または部分領域毎に比較し、前記複数の高解像順次走査映像を用いて、当該映像符号化装置が入力した高解像順次走査映像に最も近似する最適高解像順次走査映像を生成する場合の、前記最適高解像順次走査映像を生成するための情報をアップサンプリング補助情報として生成するアップサンプリング最適化部と、
   前記インタレース最適化部により生成されたインタレース補助情報及び前記アップサンプリング最適化部により生成されたアップサンプリング補助情報を符号化し、補助情報符号化ストリームを生成して出力する補助情報符号化部と、
   を備えることを特徴とする映像符号化装置。
2. 請求項１に記載の画像符号化装置において、
   前記インタレース最適化部は、
   前記インタレース解除部により生成された複数の低解像順次走査映像と前記ダウンサンプリング部により生成された低解像順次走査映像とを、画面全体または部分領域毎に画素の差分を求めることにより比較し、前記画素の差分に基づいて、前記ダウンサンプリング部により生成された低解像順次走査映像に最も近似する最適低解像順次走査映像を生成するための情報であって、前記画面全体または部分領域毎に前記複数の低解像順次走査映像のいずれかを選択するかを示す情報を、インタレース補助情報として生成する映像比較手段と、
   前記映像比較手段により生成されたインタレース補助情報に基づいて、前記画面全体または部分領域毎に前記複数の低解像順次走査映像のいずれかを切り替えることで、前記最適低解像順次走査映像を生成する映像切替手段と、
   を備えることを特徴とする映像符号化装置。
3. 請求項１または２に記載の映像符号化装置において、
   前記アップサンプリング最適化部は、
   前記アップサンプリング部により生成された複数の高解像順次走査映像と当該映像符号化装置が入力した高解像順次走査映像とを、画面全体または部分領域毎に画素の差分を求めることにより比較し、前記画素の差分に基づいて、当該映像符号化装置が入力した高解像順次走査映像に最も近似する最適高解像順次走査映像を生成するための情報であって、前記画面全体または部分領域毎に前記複数の高解像順次走査映像のいずれかを選択するかを示す情報を、アップサンプリング補助情報として生成する、ことを特徴とする映像符号化装置。
4. 請求項１から３までのいずれか一項の映像符号化装置から出力された低解像符号化ストリーム及び補助情報符号化ストリームを入力し、前記低解像符号化ストリームを復号しインタレース解除及びアップサンプリングを行い、高解像順次走査映像を復元する映像復号装置において、
   前記低解像符号化ストリームを復号し、低解像飛越走査映像を生成する映像復号部と、
   前記補助情報符号化ストリームを復号し、前記映像符号化装置により生成された低解像順次走査映像に最も近似する最適低解像順次走査映像を生成するためのインタレース補助情報、及び前記映像符号化装置が入力した高解像順次走査映像に最も近似する最適高解像順次走査映像を生成するためのアップサンプリング補助情報を生成する補助情報復号部と、
   前記映像復号部により生成された低解像飛越走査映像の走査線を、複数のインタレース解除手段によりそれぞれ補間するインタレース解除を行い、前記複数のインタレース解除手段に対応する複数の低解像順次走査映像を生成するインタレース解除部と、
   前記インタレース解除部により生成された複数の低解像順次走査映像を、前記補助情報復号部により生成されたインタレース補助情報に基づいて、画面全体または部分領域毎に切り替え、最適低解像順次走査映像を生成するインタレース切替部と、
   前記インタレース切替部により生成された最適低解像順次走査映像を、複数のアップサンプリング手段によりそれぞれアップサンプリングし、前記複数のアップサンプリング手段に対応する複数の高解像順次走査映像を生成するアップサンプリング部と、
   前記アップサンプリング部により生成された複数の高解像順次走査映像を、前記補助情報復号部により生成されたアップサンプリング補助情報に基づいて、画面全体または部分領域毎に切り替え、最適高解像順次走査映像を生成し、前記最適高解像順次走査映像を、復元した高解像順次走査映像として出力するアップサンプリング切替部と、
   を備えることを特徴とする映像復号装置。
5. 請求項４に記載の映像復号装置において、
   前記インタレース切替部は、
   前記インタレース補助情報が示す低解像順次走査映像が、前記インタレース解除部により生成された複数の低解像順次走査映像に存在しない場合、前記複数の低解像順次走査映像のうち予め設定された低解像順次走査映像を、画面全体または部分領域毎に切り替える、ことを特徴とする映像復号装置。
6. 請求項４または５に記載の映像復号装置において、
   前記アップサンプリング切替部は、
   前記アップサンプリング補助情報の示す高解像順次走査映像が、前記アップサンプリング部により生成された複数の高解像順次走査映像に存在しない場合、前記複数の高解像順次走査映像のうち予め設定された高解像順次走査映像を、画面全体または部分領域毎に切り替える、ことを特徴とする映像復号装置。
7. 高解像順次走査映像を入力し、前記高解像順次走査映像をダウンサンプリング及びインタレース化して符号化し、低解像符号化ストリームを出力する映像符号化方法において、
   前記高解像順次走査映像をダウンサンプリングし、低解像順次走査映像を生成するステップと、
   前記低解像順次走査映像の走査線を削除するインタレース化を行い、低解像飛越走査映像を生成するステップと、
   前記低解像飛越走査映像を符号化し、前記低解像符号化ストリームを生成して出力するステップと、
   前記低解像符号化ストリームを復号し、低解像飛越走査映像を生成するステップと、
   前記復号後の低解像飛越走査映像の走査線を、複数のインタレース解除手段によりそれぞれ補間するインタレース解除を行い、前記複数のインタレース解除手段に対応する複数の低解像順次走査映像を生成するステップと、
   前記複数の低解像順次走査映像と前記ダウンサンプリング後の低解像順次走査映像とを、画面全体または部分領域毎に比較し、前記複数の低解像順次走査映像を用いて、前記ダウンサンプリング後の低解像順次走査映像に最も近似する最適低解像順次走査映像を生成するステップと、
   前記最適低解像順次走査映像を生成するための情報を、インタレース補助情報として生成するステップと、
   前記最適低解像順次走査映像を、複数のアップサンプリング手段によりそれぞれアップサンプリングし、前記複数のアップサンプリング手段に対応する複数の高解像順次走査映像を生成するステップと、
   前記複数の高解像順次走査映像と前記入力した高解像順次走査映像とを、画面全体または部分領域毎に比較し、前記複数の高解像順次走査映像を用いて、前記入力した高解像順次走査映像に最も近似する最適高解像順次走査映像を生成する場合の、前記最適高解像順次走査映像を生成するための情報をアップサンプリング補助情報として生成するステップと、
   前記インタレース補助情報及び前記アップサンプリング補助情報を符号化し、補助情報符号化ストリームを生成して出力するステップと、
   を有することを特徴とする映像符号化方法。
8. 請求項７の映像符号化方法により出力された低解像符号化ストリーム及び補助情報符号化ストリームを入力し、前記低解像符号化ストリームを復号しインタレース解除及びアップサンプリングを行い、高解像順次走査映像を復元する映像復号方法において、
   前記低解像符号化ストリームを復号し、低解像飛越走査映像を生成するステップと、
   前記補助情報符号化ストリームを復号し、前記映像符号化方法により生成された低解像順次走査映像に最も近似する最適低解像順次走査映像を生成するためのインタレース補助情報、及び前記映像符号化方法により入力された高解像順次走査映像に最も近似する最適高解像順次走査映像を生成するためのアップサンプリング補助情報を生成するステップと、
   前記低解像飛越走査映像の走査線を、複数のインタレース解除手段によりそれぞれ補間するインタレース解除を行い、前記複数のインタレース解除手段に対応する複数の低解像順次走査映像を生成するステップと、
   前記複数の低解像順次走査映像を、前記インタレース補助情報に基づいて、画面全体または部分領域毎に切り替え、最適低解像順次走査映像を生成するステップと、
   前記最適低解像順次走査映像を、複数のアップサンプリング手段によりそれぞれアップサンプリングし、前記複数のアップサンプリング手段に対応する複数の高解像順次走査映像を生成するステップと、
   前記複数の高解像順次走査映像を、前記アップサンプリング補助情報に基づいて、画面全体または部分領域毎に切り替え、最適高解像順次走査映像を生成し、前記最適高解像順次走査映像を、復元した高解像順次走査映像として出力するステップと、
   を有することを特徴とする映像復号方法。
9. コンピュータを、請求項１から３までのいずれか一項に記載の映像符号化装置として機能させるための映像符号化プログラム。
10. コンピュータを、請求項４から６までのいずれか一項に記載の映像復号装置として機能させるための映像復号プログラム。

Images