JP5106408B2 - 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 - Google Patents

Description

本発明は、２信号成分以上からなる映像信号を符号化対象とする映像符号化方法およびその装置と、その映像符号化方法により生成された符号化データを復号する映像復号方法およびその装置と、その映像符号化方法の実現に用いられる映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その映像復号方法の実現に用いられる映像復号プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００６年１０月１０日に出願された特願２００６−２７６０７４号に基づき優先権を主張し、その内容をここに援用する。

Ｈ.264/AVCを始めとする動画像の標準符号化方式において、入力映像の色差成分は、輝度成分に比べてダウンサンプリングされた（即ち、輝度成分のサンプリング周波数よりも低い周波数でリサンプリングされた）信号が用いられている。４：２：２，４：２：０，４：１：１フォーマットと呼ばれる映像フォーマットがこれにあたる。

こうした色差成分をリサンプリングした映像フォーマットは、輝度成分に比べて色差成分に対する視覚感度が低いという生理学的な知見に基づくものであり、映像の情報量削減、撮像デバイスの低コスト化といった目的で導入されている（例えば、非特許文献１，２参照）。

一方、映像の高画質化への期待の高まりを受け、色差信号をリサンプリングしない４：４：４フォーマット映像が注目を集めている。例えば、ＪＶＴ（Joint Video Team）では、Ｈ.264に対する新profile(advanced 4:4:4 profile）の策定が進められている。
"YUV4:2:0フォーマットカラー画像の色差成分補間法",杉田博司, 田口亮, 信学論, Vol.J88-A, No.6, pp.751-760, 2005 "適応的直交変換によるカラー画像圧縮−ソートされた辞書による高速化−",三浦高志, 板垣史彦, 横山昭彦, 山口百恵, 信学論, Vol.J85-D2, No.11, pp.1672-1682, November 2002

色差成分のダウンサンプリングは、主観画質の低下を抑えつつ符号量を低減させる有効な手段である。しかし、画像の内容によっては、主観的な画質劣化を伴わずにさらにダウンサンプリングが可能な場合もある。一方、画像の内容によっては、フレーム内の色差成分を一様にダウンサンプリングしたのでは、４：４：４フォーマット映像の高画質が損なわれる場合もある。

画像信号の性質はフレーム毎に変化し、さらに、フレーム内においても局所的な変化を伴う。こうした変化に応じて、色差成分に対する視覚感度も変化する。例えば、画素値が小さい（暗い）フレーム（あるいは領域）では、画素値が大きい（明るい）フレーム（あるいは領域）に比べて、色差成分に対する視覚感度は低下する。

このため、各フレーム毎の性質、あるいは、フレーム内の局所的な性質に応じて、色差成分のダウンサンプリング比率を変化させることで、主観画質は保持しつつ、効率的に符号量を削減できる可能性がある。

しかし、従来の色差成分に対するダウンサンプリングは、全フレームに対して一様な比率で行われており、符号化効率に関して改善の余地を残す。

本発明はかかる事情に鑑みてなされたものであって、フレーム毎の適応なダウンサンプリング処理や、各フレーム内の領域毎の適応なダウンサンプリング処理を導入することにより、効率的に符号量を削減する新たな映像符号化・復号技術の確立を目的とする。

［１］ダウンサンプリング比を適応的に変化させる本発明の映像符号化装置
［１−１］フレームを単位にして適応的に変化させる構成
上記の目的を達成するために、本発明の映像符号化装置は、２信号成分以上からなる映像信号を符号化対象とする場合に、（１）フレーム内の性質に応じて、フレームの特定の信号成分に対してのダウンサンプリング比を設定する設定手段と、（２）設定手段の設定したダウンサンプリング比に応じて、フレームの特定の信号成分をダウンサンプリングすることで符号化器への入力対象となる映像信号を生成する生成手段とを備えるように構成する。

ここで、以上の各処理手段が動作することで実現される本発明の映像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の映像符号化装置では、例えば、変移量の大きなフレームと変移量の小さなフレームとを比較した場合、前者においては視覚感度が相対的に低くなり、このため、変移量の大きなフレームでは、変移量の小さなフレームと比較して、大きなダウンサンプリングを行っても主観画質は低下しないという点に着目して、例えば、フレーム内の変移量の大きさに応じて、フレーム毎に色差信号などの特定の信号成分に対してのダウンサンプリング比を設定して、その設定したダウンサンプリング比に応じて、フレームを単位として特定の信号成分をダウンサンプリングすることで符号化器への入力対象となる映像信号を生成する。

この構成に従って、本発明の映像符号化装置によれば、主観画質は保持しつつ、効率的に符号量を削減できるようになる。

［１−２］フレーム内の部分領域を単位にして適応的に変化させる構成
上記映像符号化装置において、前記ダウンサンプリング比を設定する手段は、
フレーム内の局所的な性質に応じて、フレームを部分領域に分割する手段と、
各部分領域内の性質に応じて、当該部分領域の特定の信号成分に対してのダウンサンプリング比を設定する手段と、を有し、
前記設定したダウンサンプリング比に応じて、前記部分領域の特定の信号成分をダウンサンプリングすることで前記符号化対象映像信号を生成する
ようにしても良い。

このように構成される映像符号化装置では、例えば、変移量の大きな部分領域と変移量の小さな部分領域とを比較した場合、前者においては視覚感度が相対的に低くなり、このため、変移量の大きな部分領域では、変移量の小さな部分領域と比較して、大きなダウンサンプリングを行っても主観画質は低下しないという点に着目して、例えば、フレームの部分領域内の変移量の大きさに応じて、フレーム内の部分領域毎に色差信号などの特定の信号成分に対してのダウンサンプリング比を設定して、その設定したダウンサンプリング比に応じて、フレーム内の部分領域を単位として特定の信号成分をダウンサンプリングすることで符号化器への入力対象となる映像信号を生成する。

この構成の場合も、同様に、主観画質は保持しつつ、効率的に符号量を削減できるようになる。

［２］ダウンサンプリング比を適応的に変化させることにより発生する符号化ブロックパターンの変化に対処するための本発明の映像符号化装置および映像復号装置
本発明の映像符号化装置は、２信号成分以上からなる映像信号を符号化対象として、フレーム毎あるいはフレーム内の部分領域毎に設定されたダウンサンプリング比に応じて特定の信号成分がダウンサンプリングされることで生成された映像信号を符号化することを基本的な構成とする。

一方、標準化された映像符号化装置では、符号化により得られた量子化後の各信号成分について、ある大きさのブロック毎に、そのブロックに対して有意係数を含むか否かを示す情報を付与するという構成を採ることがある。このような構成を採ると、有意係数を含まないブロックについては、変換係数の付与を省略できることで符号量の削減を図れるからである。

しかしながら、本発明の映像符号化装置では、特定の信号成分のダウンサンプリング比を適応的に変化させることから、各信号成分についてのブロックの組み合わせパターンが固定なものとはならない。

そこで、本発明において、前記符号化対象映像信号の符号化により得られた量子化後の各信号成分について、ある大きさのブロック毎にそのブロックに対して有意係数を含むか否かを示す情報を付与する場合に、どの位置のブロックの集合が前記特定の信号成分を共有しているのかについて示す情報を、当該ブロックの集合に対して付与する手段を更に備えるようにしても良い。

そして、本発明は、この映像符号化装置により生成された映像信号の符号化データを復号する映像復号装置であって、
前記どの位置のブロックの集合が前記特定の信号成分を共有しているのかについて示す情報の符号化データを復号することで、復号対象のブロック集合が前記特定の信号成分を共有しているブロック集合であるのか否かを判定する手段と、
前記判定手段が、前記特定の信号成分を共有しているブロック集合であると判定したブロック集合について、それが共有する前記特定の信号成分の符号化データを復号することで、符号化側で設定されたダウンサンプリング比に応じてダウンサンプリングされた信号成分を復号する手段と
を備える映像復号装置を提供する。

ここで、以上の各処理手段が動作することで実現される本発明の映像符号化方法や本発明の映像復号方法もまた、コンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の映像符号化装置では、どの位置のブロックの集合が特定の信号成分を共有しているのかについて示す情報を、当該ブロック集合に対して付与する。

そして、本発明は、この映像符号化装置により生成された映像信号の符号化データを復号する映像復号装置であって、
前記どの位置のブロックの集合が前記特定の信号成分を共有しているのかについて示す情報の符号化データを復号することで、復号対象のブロック集合が前記特定の信号成分を共有しているブロック集合であるのか否かを判定する手段と、
前記判定手段が、前記特定の信号成分を共有しているブロック集合であると判定したブロック集合について、それが共有する前記特定の信号成分の符号化データを復号することで、符号化側で設定されたダウンサンプリング比に応じてダウンサンプリングされた信号成分を復号する手段と
を備える映像復号装置を提供する。

この構成に従って、本発明によれば、フレームやフレーム内のスライスを単位としてダウンサンプリング比を適応的に変化させる構成を採るときに、その構成に従って各信号成分についてのブロックの組み合わせパターンが変化することがあっても、ある大きさのブロックに対して量子化信号が有意係数を含むか否かを示す情報を付与するという標準化された映像符号化装置で用いられている構成を、その構成を崩すことなく用いることができるようになる。

［３］ダウンサンプリング比を適応的に変化させることにより発生する参照フレームの補間精度の変化に対処するための本発明の映像符号化装置および映像復号装置
［３−１］ダウンサンプリング比がフレームを単位にして適応的に変化する場合
本発明の映像符号化装置は、２信号成分以上からなる映像信号を符号化対象として、フレーム毎に設定されたダウンサンプリング比に応じて特定の信号成分がダウンサンプリングされることで生成された映像信号を符号化することを基本的な構成とする。

一方、映像符号化装置では、フレーム間予測に小数画素精度の動き補償を用いることがある。このような構成を採ると、高精度の動き補償を実現できるからである。

しかしながら、本発明の映像符号化装置では、フレームを単位にして特定の信号成分のダウンサンプリング比を適応的に変化させることから、フレーム間予測に小数画素精度の動き補償を用いる場合に必要とされる参照フレームの補間精度が固定なものとはならない。

そこで、本発明の上記映像符号化装置において、
前記符号化対象映像信号の符号化において、フレーム間予測に小数画素精度の動き補償を用いる場合に、符号化対象フレームのダウンサンプリング比と、参照フレームのダウンサンプリング比との比率値に応じて、前記参照フレームにおけるダウンサンプリングされた信号成分の補間精度を変化させる手段と、
前記変化させた補間精度に基づいて、前記参照フレームの補間画像を生成する手段と
を更に備えるようにしても良い。

これに対応するものとして、本発明は、上記映像符号化装置により生成された映像信号の符号化データを復号する映像復号装置であって、
フレーム間予測に小数画素精度の動き補償を用いる場合に、復号対象フレームのダウンサンプリング比と、参照フレームのダウンサンプリング比との比率値に応じて、前記参照フレームにおけるダウンサンプリングされた信号成分の補間精度を変化させる手段と、
前記変化させた補間精度に基づいて、前記参照フレームの補間画像を生成する手段とを備える映像復号装置を提供する。

ここで、以上の各処理手段が動作することで実現される本発明の映像符号化方法や本発明の映像復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の映像符号化装置では、符号化対象フレームのダウンサンプリング比と、参照フレームのダウンサンプリング比との比率値に応じて、参照フレームにおけるダウンサンプリングされた信号成分の補間精度を変化させて、その変化させた補間精度に基づいて、前記参照フレームの補間画像を生成する。

また、これに対応した構成を有する本発明の映像復号装置では、復号対象フレームのダウンサンプリング比と、参照フレームのダウンサンプリング比との比率値に応じて、参照フレームにおけるダウンサンプリングされた信号成分の補間精度を変化させて、その変化させた補間精度に基づいて、前記参照フレームの補間画像を生成する。

この構成に従って、本発明によれば、フレームを単位としてダウンサンプリング比を適応的に変化させる構成を採るときに、その構成に従って参照フレームの補間精度が変化することがあっても、要求される動き補償を実現する参照フレームの補間画像を生成することができるようになる。

［３−２］ダウンサンプリング比がフレーム内の部分領域を単位にして適応的に変化する場合
本発明の映像符号化装置は、更に細かく、フレーム内の部分領域毎に設定されたダウンサンプリング比に応じて特定の信号成分がダウンサンプリングされることで生成された映像信号を符号化することもできる。

上述のように、映像符号化装置では、フレーム間予測に小数画素精度の動き補償を用いることがある。このような構成を採ると、高精度の動き補償を実現できるからである。

しかしながら、上記の映像符号化装置では、フレーム内の部分領域を単位にして特定の信号成分のダウンサンプリング比を適応的に変化させることから、フレーム間予測に小数画素精度の動き補償を用いる場合に必要とされる参照フレームの補間精度が固定なものとはならない。

そこで、上記映像符号化装置において、
前記符号化対象映像信号の符号化において、フレーム間予測に小数画素精度の動き補償を用いる場合に、符号化対象フレーム内の各部分領域のダウンサンプリング比と、その部分領域が動き補償の際に参照する参照フレーム内の部分領域のダウンサンプリング比との比率値に応じて、前記参照フレーム内の部分領域におけるダウンサンプリングされた信号成分の補間精度を変化させる手段と、
前記変化させた補間精度に基づいて、前記参照フレーム内の部分領域の補間画像を生成する手段と
を更に備えるようにしても良い。

これに対応するものとして、本発明は、上記映像符号化装置により生成された映像信号の符号化データを復号する映像復号装置であって、
フレーム間予測に小数画素精度の動き補償を用いる場合に、復号対象フレーム内の各部分領域のダウンサンプリング比と、その部分領域が動き補償の際に参照する参照フレーム内の部分領域のダウンサンプリング比との比率値に応じて、前記参照フレーム内の部分領域におけるダウンサンプリングされた信号成分の補間精度を変化させる手段と、
前記変化させた補間精度に基づいて、前記参照フレーム内の部分領域の補間画像を生成する手段と
を備える映像復号装置を提供する。

ここで、以上の各処理手段が動作することで実現される本発明の映像符号化方法や本発明の映像復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の映像符号化装置では、符号化対象フレーム内の部分領域のダウンサンプリング比と、その部分領域が動き補償の際に参照する参照フレーム内の部分領域のダウンサンプリング比との比率値に応じて、参照フレーム内の部分領域におけるダウンサンプリングされた信号成分の補間精度を変化させて、その変化させた補間精度に基づいて、前記参照フレーム内の部分領域の補間画像を生成する。

また、これに対応した構成を有する本発明の映像復号装置では、復号対象フレーム内の部分領域のダウンサンプリング比と、その部分領域が動き補償の際に参照する参照フレーム内の部分領域のダウンサンプリング比との比率値に応じて、参照フレーム内の部分領域におけるダウンサンプリングされた信号成分の補間精度を変化させて、その変化させた補間精度に基づいて、前記参照フレーム内の部分領域の補間画像を生成する。

この構成に従って、本発明によれば、フレーム内のスライスを単位にしてダウンサンプリング比を適応的に変化させる構成を採るときに、その構成に従って参照フレームの補間精度が変化することがあっても、要求される動き補償を実現する参照フレームの補間画像を生成することができるようになる。

本発明によれば、映像を符号化するときに、フレーム毎の性質、あるいはフレーム内の局所的な性質に応じて、特定の信号成分のダウンサンプリング比を適応的に変化させることが可能となり、これにより視覚感度などに応じた効率的な符号量低減を達成できるようになる。

また、本発明によれば、ダウンサンプリング比を適応的に変化させることで各信号成分についてのブロックの組み合わせパターンが変化することがあっても、ある大きさのブロックに対して量子化信号が有意係数を含むか否かを示す情報を付与するという標準化された映像符号化装置で用いられている構成を、その構成を崩すことなく用いることができるようになる。

そして、本発明によれば、フレーム間予測に小数画素精度の動き補償を用いる場合に、ダウンサンプリング比を適応的に変化させることで参照フレームの補間精度が変化することがあっても、要求される動き補償を実現する参照フレームの補間画像を生成することができるようになる。

本発明にによるダウンサンプリング処理の説明図である。 本発明によるダウンサンプリング処理の説明図である。 本発明によるダウンサンプリング処理の説明図である。 本発明によるダウンサンプリング処理の説明図である。 ＣＢＰの説明図である。 輝度成分とダウンサンプリングされた色差成分の一例を示す図である。 色差共有ブロックセットの説明図である。 同様に、色差共有ブロックセットの説明図である。 同様に、色差共有ブロックセットの説明図である。 同様に、色差共有ブロックセットの説明図である。 参照フレームの補間精度の説明図である。 本発明による符号化処理のフローチャートの一実施例である。 図９のフローチャートの続き部分である。 本発明による復号処理のフローチャートの一実施例である。 図１１のフローチャートの続き部分である。 本発明の映像符号化装置の一実施例である。 本発明の映像復号装置の一実施例である。 本発明の参照フレーム補間画像生成装置の一実施例である。 映像符号化装置の装置構成例を示す図である。 映像復号装置の装置構成例を示す図である。 本発明の参照フレーム補間画像生成処理のフローチャートの一実施例である。

符号の説明

１００ 適応処理フラグ設定部
１０１ 適応処理フラグ記憶部
１０２ 輝度信号読込部
１０３ 輝度信号記憶部
１０４ 色差信号読込部
１０５ 色差信号記憶部
１０６ ダウンサンプリング比設定部
１０７ ダウンサンプリング比記憶部
１０８ 色差信号ダウンサンプリング処理部
１０９ 色差信号記憶部
１１０ 有色差マクロブロック位置情報設定部
１１０−１ シーケンス適応処理部
１１０−２ スライス適応処理部
１１０−３ 色差適応処理部
１１１ 符号化ストリーム生成部
１１１−１ ヘッダ情報符号化部
１１１−２ ヘッダ情報符号化ストリーム記憶部
１１１−３ 輝度信号・色差信号符号化処理部
１１１−４ 輝度信号・色差信号符号化ストリーム記憶部
１１１−５ 符号化ストリーム多重化部
１１２ 符号化ストリーム記憶部
１１３ 最終スライス判定部

以下、実施の形態に従って本発明を詳細に説明する。

本発明では、フレーム毎の適応なダウンサンプリング処理や、各フレーム内の領域毎の適応なダウンサンプリング処理を導入することにより、効率的に符号量を削減する新たな映像符号化・復号技術を実現する。

こうした適応的なダウンサンプリング処理導入に必要な符号化器・復号器における機能を以下に示す。

なお、以下の例では、輝度信号（Ｙ）と２つの色差成分（Ｃｂ，Ｃｒ）とから成る色空間における色差成分をダウンサンプリングの対象としているが、本発明の対象は、この色空間の信号に限るものではない。

例えば、本発明は、４：４：４フォーマットの映像信号に対して、任意の色変換を施して得られる３成分に対しても同様に行うことができる。さらに、適応的ダウンサンプリング処理を施す成分の数も特定の数に限定するものではない。例えば、色変換としてＫＬ変換を用いて第一主成分、第二主成分、第三主成分を得た場合に、いずれか一つの成分を対象とすることもできる。また、三成分のうちの二成分（例えば、第二主成分、第三主成分）を対象とするのも一例である。さらに、三成分の全てを対象とすることも、もちろん可能である。

さらに、本発明は、色空間の信号以外の信号をダウンサンプリング対象とする場合にも、同様に適用できるものである。

［１］フレーム単位の適応処理
本発明の第一の態様では、フレーム内の性質に応じて、色差成分に対するフレームダウンサンプリング比を適応的に変化させる。

フレームダウンサンプリング比とは、４：４：４フォーマット映像の第ｔフレームのサイズをＷ［ｔ］×Ｈ［ｔ］［画素］とし、ダウンサンプリング後の色差成分のフレームサイズをＷ' ［ｔ］×Ｈ' ［ｔ］［画素］とした場合、
ｒ_f ［ｔ］＝Ｗ' ［ｔ］／Ｗ［ｔ］＝Ｈ' ［ｔ］／Ｈ［ｔ］
という式で定義されるｒ_f ［ｔ］（＜１）である。

図１に示す例は、フレームダウンサンプリング比を先頭フレームから順に１／２，１／４，１／４に設定した例である。
ここでは、２つの色差成分（Ｃｂ，Ｃｒ成分）のフレームダウンサンプリング比を同一値としている。

ここで、２つの色差成分（Ｃｂ，Ｃｒ成分）に対して、独立にフレームダウンサンプリング比を設定することも可能である。

図２に、この例を示す。ここでは、先頭フレームから順に、Ｃｂ成分のフレームダウンサンプリング比を１／２，１／４，１／２に設定し、Ｃｒ成分のフレームダウンサンプリング比を１／２，１／２，１／４に設定した例を示している。

各フレームに対するダウンサンプリング比の設定方法については、ダウンサンプリングを行う機構とは別に設けられる外部の機構から与えられるものとする。

例えば、フレーム内の変移（変化）量の大きさに応じて、各フレームに対するダウンサンプリング比を設定することができる。
変移量の大きなフレームと変移量の小さなフレームとを比較した場合、前者においては、視覚感度が相対的に低くなる。このため、変移量の大きなフレームでは、変移量の小さなフレームと比較して、大きなダウンサンプリングが行われることになるようにとダウンサンプリング比を小さく設定することができる。

これから、この場合には、ダウンサンプリング比を設定する機構は、フレームについて変移量の大きさを検出して、それに応じたダウンサンプリング比を決定し、ダウンサンプリングを行う機構に対して、その決定したダウンサンプリング比に従ってそのフレームをダウンサンプリングすることを指示することになる。

［２］スライス単位の適応処理
本発明の第二の態様では、フレーム内の性質に応じて、色差成分に対するスライスダウンサンプリング比を適応的に変化させる。

スライスダウンサンプリング比とは、４：４：４フォーマット映像の色差成分の第ｔフレームをいくつかの部分領域（これをスライスと呼ぶ）に分割し、第ｉスライスのサイズをｗ［ｔ，ｉ］×ｈ［ｔ，ｉ］［画素］とし、ダウンサンプリング後の第ｉスライスのサイズをｗ' ［ｔ，ｉ］×ｈ' ［ｔ，ｉ］［画素］とした場合、
ｒ_s ［ｔ，ｉ］＝ｗ' ［ｔ，ｉ］／ｗ［ｔ，ｉ］＝ｈ' ［ｔ，ｉ］／ｈ［ｔ，ｉ］
という式で定義されるｒ_s ［ｔ，ｉ］（＜１）である。
ここで、ｉ＝０，１，... ，Ｉ−１であり、Ｉはフレーム内のスライスの総数である。

図３の上段は、色差成分のフレームを２つのスライスに分割した場合の例を示している。以下では、便宜上、２つのスライスのうち、上に位置するものを第一スライス、下に位置するものを第二スライスと呼ぶ。
この例では、図３の下段に示すように、第一スライスのスライスダウンサンプリング比を１／２に設定し、第二スライスのスライスダウンサンプリング比を１／４に設定している。ここでは、２つの色差成分（Ｃｂ，Ｃｒ成分）のスライスダウンサンプリング比は同一値としている。

ここで、２つの色差成分（Ｃｂ，Ｃｒ成分）に対して、独立にスライスダウンサンプリング比を設定することも可能である。

図４に、この例を示す。上段に示すように、図３と同様のスライス分割設定において、Ｃｂ成分の第一スライスと第二スライスのスライスダウンサンプリング比をそれぞれ１／２，１／４に設定し、Ｃｒ成分の第一スライスと第二スライスのスライスダウンサンプリング比をそれぞれ１／４，１／２に設定している。

前述のフレームダウンサンプリング比がフレーム毎にダウンサンプリング比を可変にしたものであるのに対して、このスライスダウンサンプリング比は、さらに、フレーム内において局所的にダウンサンプリング比を可変にしたものである。

フレームに対するスライスへの分割方法、および、各スライスに対するスライスダウンサンプリング比の設定方法については、スライスダウンサンプリングを行う機構とは別に設けられる外部の機構から与えられるものとする。

例えば、変移（変化）量の大きさに応じて、スライスに領域分割することができる。変移量の大きなスライスと変移量の小さなスライスとを比較した場合、前者においては、視覚感度が相対的に低くなる。このため、変移量の大きなスライスでは、変移量の小さなスライスと比較して、大きなスライスダウンサンプリングが行われることになるようにとスライスダウンサンプリング比を小さく設定することができる。

これから、この場合には、スライスダウンサンプリング比を設定する機構は、フレーム内の各小領域について変移量の大きさを検出して、それに基づいてフレームをスライスに領域分割するとともに、各スライスに対してそのスライス内の変移量に応じたスライスダウンサンプリング比を決定して、その決定したスライスダウンサンプリング比に従って対応するスライスをスライスダウンサンプリングすることを、スライスダウンサンプリングを行う機構に対して指示することになる。

［３］符号化ブロックパターン
次に、本発明による適応的なフレームダウンサンプリングやスライスダウンサンプリングを行うときにおける、ＣＢＰ（後述）に関するビット割り当てについて説明する。

Ｈ.264では、１６×１６［画素］の輝度成分、および、２つの８×８［画素］の色差成分をマクロブロックと呼び、このマクロブロック単位で変換係数を符号化ストリームへ変換している。

この際、図５に示すように、輝度成分の４つの８×８［画素］のサブブロック、および、同一サイズの２つの色差成分のサブブロックからなる６つのサブブロックに対して、各サブブロック内の変換係数が有意係数（非ゼロの係数）を含むか否かを表す６ビットの情報を付与している。この情報を“Coded Block Pattern(ＣＢＰ）”と呼ぶ。
なお、図５におけるサブブロック内の数字は、各サブブロックに対するＣＢＰ内のビットの位置を表す。

ＣＢＰ内の対応するビットが０となるサブブロックについては、ＣＢＰ以外の変換係数の符号化情報は付加されない。これは符号量削減を狙った処理である。一方、同ビットが１となるサブブロックについては、変換係数の情報が付加される。

Ｈ.264では、このようなＣＢＰを使って符号量の削減を図っており、本発明による適応的なフレームダウンサンプリングやスライスダウンサンプリングを行うときには、このＣＢＰを使えるようにするための構成を構築する必要がある。

これから、本発明では、色差成分のダウンサンプリング比が可変になる場合に、このＣＢＰに関するビット割り当てを変更するようにしている。

次に、本発明によるＣＢＰに関するビット割り当てについて説明する。

例として、マクロブロックにおける輝度成分のサイズを１６×１６とし、フレームダウンサンプリング比（あるいは、スライスダウンサンプリング比）をｒ（＜１／２）とした場合を考える。

この場合、構成要素の異なる２種類のマクロブロックが発生する。
つまり、輝度成分の４つの８×８［画素］のサブブロックと同一サイズの２つの色差成分のサブブロックとで構成される６つのサブブロックからなるマクロブロックと、輝度成分の４つの８×８［画素］のサブブロックのみからなるマクロブロックの２種類である。

前者の場合、ＣＢＰは従来と同様に、６ビットで表される。一方、後者の場合、ＣＢＰは４ビットで表される。

図６に、ｒ＝１／４の例を示す。この場合、色差成分と輝度成分の組合せに関しては、図７Ａ〜７Ｄに示す４通りが考えられる。このため、どの位置のマクロブロックが色差成分を保有しているのかを示す情報が必要となる。
色差成分およびその色差成分を共有する輝度成分からなる画素集合を色差共有ブロックセットと呼ぶ。即ち、図７Ａ〜７Ｄのいずれにおいても、あるマクロブロックが保有する色差成分（図中の陰影を施した部分）が、他の３つのマクロブロック（輝度成分のみを有する）で共有される。
また、色差共有ブロックセットにおいて色差成分を保有するマクロブロックの位置を有色差マクロブロック位置と呼ぶ。

この有色差マクロブロック位置の表現方法について、本発明が用いる表現方法について以下に説明する。

［３−１］本発明の第三の態様
予め、有色差マクロブロック位置を定めておく方法である。
例えば、走査順で先頭に最も近いマクロブロックのみが色差成分を保有するように定めるのはこの一例である。この位置を予め、符号化器・復号器で共有しておけば、復号器においては、付加情報無しに復号できる。

［３−２］本発明の第四の態様
シーケンス（圧縮された映像全体）毎に、符号化器側で有色差マクロブロック位置を設定する方法である。
この場合、有色差マクロブロック位置はシーケンス内で一定の値をとる。これに伴い、以下の情報を符号化情報として符号化ストリームに付与する必要がある。

まず、本適応処理の適用の有無を表すフラグ（chroma-position-sequence-adaptive）をヘッダ情報として符号化ストリームに付与する。本適応処理を行う場合、同フラグは１にセットされ、そうでない場合、同フラグは０にセットされる。

さらに、有色差マクロブロック位置は、シーケンス毎に変化するため、各シーケンスに対して有色差マクロブロック位置をシーケンスのヘッダ情報として符号化ストリームに付与する。本処理をシーケンス適応有色差マクロブロック位置可変処理と呼ぶ。

［３−３］本発明の第五の態様
スライス毎に、符号化器側で有色差マクロブロック位置を設定する方法である。
ここで、スライスとは、上述のように、各フレーム内を分割した部分領域を指す。具体的な分割の方法については、外部に設けられるスライス分割を決定する機構から与えられるものとする。
この場合、有色差マクロブロック位置はスライス内で一定の値をとる。これに伴い、以下の情報を符号化情報として符号化ストリームに付与する必要がある。

まず、本適応処理の適用の有無を表すフラグ（chroma-position-slice-adaptive）をヘッダ情報として符号化ストリームに付与する。本適応処理を行う場合
、同フラグは１にセットされ、そうでない場合、同フラグは０にセットされる。

さらに、有色差マクロブロック位置は、スライス毎に変化するため、各スライスに対して有色差マクロブロック位置をスライスのヘッダ情報として符号化ストリームに付与する必要がある。本処理をスライス適応有色差マクロブロック位置可変処理と呼ぶ。

［３−４］本発明の第六の態様
色差共有ブロックセット毎に、符号化器側で有色差マクロブロック位置を設定する方法である。この場合、色差共有ブロックセット毎に有色差マクロブロック位置を変化させることが可能となる。これに伴い、以下の情報を符号化情報として符号化ストリームに付与する必要がある。

まず、本適応処理の適用の有無を表すフラグ（chroma-position-MBs-adaptive）をヘッダ情報として符号化ストリームに付与する。本適応処理を行う場合、同フラグは１にセットされ、そうでない場合、同フラグは０にセットされる。

さらに、有色差マクロブロック位置は、色差共有ブロックセット毎に変化するため、各色差共有ブロックセットに対して有色差マクロブロック位置を色差共有ブロックセットのヘッダ情報として符号化ストリームに付与する必要がある。本処理を色差共有ブロックセット適応有色差マクロブロック位置可変処理と呼ぶ。

［４］動きベクトルの符号化形式
次に、本発明による適応的なフレームダウンサンプリングやスライスダウンサンプリングを行うときにおける、動きベクトルの符号化形式について説明する。

色差共有ブロックセット内において、輝度成分と色差成分とは同一の動きベクトル情報を共有するものとする。ただし、色差に関してはダウンサンプリング比に応じて動きベクトルをスケーリングする必要がある。
例えば、符号化ストリームに付与された動きベクトルがｖ＝（４，８）で、ダウンサンプリング比が１／４の場合、輝度成分の動きベクトルはｖ＝（４，８）であり、色差成分の動きベクトルは（１／４）×ｖ＝（１，２）である。

［４−１］本発明の第七の態様
符号化対象フレーム（第ｔフレーム）および参照フレーム（第ｔ−１フレーム）のフレームダウンサンプリング比に応じて、以下に示す式（１）に基づいて、参照フレームの色差成分の補間精度を変化させ、それに基づいて、参照フレームの色差成分の補間画像を生成する。

なお、以下では、符号化対象フレームのフレームダウンサンプリング比をｒ_f ［ｔ］とし、参照フレームのフレームダウンサンプリング比をｒ_f ［ｔ−１］とする。

第ｔフレームの輝度成分の動き推定精度（動き補償精度）が１／Ｍの場合、参照フレームの色差成分の補間精度Ａは、
Ａ＝（ｒ_f ［ｔ−１］／ｒ_f ［ｔ］）×（１／Ｍ） 式（１）
という式に従って求まる。

例えば、符号化対象フレームの輝度成分の動き推定が１／４画素精度であり、符号化対象フレームの色差成分のダウンサンプリング比が１／４、参照フレームの色差成分のダウンサンプリング比が１／２の場合、参照フレームの色差成分の動き補間精度Ａは、この式（１）に従って、
Ａ＝（１／２）÷（１／４）×（１／４）＝１／２
というように１／２画素精度となる。

これは、以下の理由による。符号化対象フレームの色差成分のダウンサンプリング比が１／４の場合、色差成分の動きベクトルは輝度成分の動きベクトルを１／４にスケーリングしたものが用いられる。このスケーリングにより、動きベクトルの１画素未満の情報は破棄され、符号化対象フレームの色差成分の動き推定精度は１画素精度になる。
一方、参照フレームは、ダウンサンプリング比が１／２であり、輝度信号の半分の解像度となっている。このため、符号化対象フレームの色差成分が要求する整数画素位置の情報を得るためには、参照フレームにおいて１／２画素にあたる位置の情報を補間により得る必要がある。

図８に、輝度成分の動き推定精度を１／４画素精度として、符号化対象フレーム・参照フレームのダウンサンプリング比を１，１／２，１／４で変化させた場合の参照フレームの補間精度（式（１）により求められる補間精度Ａ）をまとめた結果を図示する。

ここで、図８中に示す符号化対象フレーム（の色差成分）に必要な動き推定精度は、
（１／ｒ_f ［ｔ］）×（１／Ｍ）
という式に従って求められるものである。

［４−２］本発明の第八の態様
符号化対象フレーム（第ｔフレーム）および参照フレーム（第ｔ−１フレーム）のスライスダウンサンプリング比に応じて、以下に示す式（２）に基づいて、参照フレームの色差成分のスライスにおける補間精度を変化させ、それに基づいて、参照フレームの色差成分のスライスにおける補間画像を生成する。

なお、以下では、符号化対象フレームの第ｉスライス内のブロックが参照フレームの第ｊスライス内の領域を動き補償時の参照信号とする場合を考える。
このとき、符号化対象フレームの第ｉスライスのスライスダウンサンプリング比をｒ_s ［ｔ，ｉ］とし、参照フレームの第ｊスライスのスライスダウンサンプリング比をｒ_s ［ｔ−１，ｊ］とする。

第ｔフレームの輝度成分の動き推定精度が１／Ｍの場合、参照フレームの色差成分の第ｊスライスにおける補間精度Ａ［ｊ］は、
Ａ［ｊ］＝（ｒ_s ［ｔ−１，ｊ］／ｒ_s ［ｔ，ｉ］）×（１／Ｍ） 式（２）
という式となる。

次に、実施例に従って本発明を詳細に説明する。

図９および図１０に、本発明の実行する符号化処理のフローチャートの一実施例を図示する。このフローチャートに従って、本発明の実行する符号化処理について詳細に説明する。

ステップＳ１００：有色差マクロブロック位置情報の設定に関するフラグ（chroma-position-sequence-adaptive，chroma-position-slice-adaptive，chroma-position-MBs-adaptive）を読み込み、レジスタに書き出す。前述したシーケンス適応有色差マクロブロック位置可変処理を用いるのか、前述したスライス適応有色差マクロブロック位置可変処理を用いるのか、前述した色差共有ブロックセット適応有色差マクロブロック位置可変処理を用いるのかを設定するのである。

ステップＳ１０１：有色差マクロブロック位置情報の設定に関するフラグchroma-position-sequence-adaptiveが１か否かの判定を行い、判定結果が真値（即ちＹ）の場合、ステップＳ１０２に進む。そうでなければ（即ちＮ）、ステップＳ１０３に進む。

ステップＳ１０２：有色差マクロブロック位置情報を設定する処理を行い、有色差マクロブロック位置情報をレジスタに書き出す。
ここで、設定される有色差マクロブロック位置情報はシーケンス全体の符号化を通じて用いられる。これは、前述の第四の態様にあたる。
具体的な設定値については、外部に設けられる有色差マクロブロック位置情報の設定を行う機構から与えられるものとする。例えば、符号化歪みと符号量の加重和をコスト関数として、同コスト関数を最小化するように有色差マクロブロック位置情報を設定するという方法などがある。

ステップＳ１０３：有色差マクロブロック位置情報の設定に関するフラグchroma-position-sequence-adaptiveが１か否かの判定を行い、判定結果が真値の場合、ステップＳ１０６に進む。そうでなければ、ステップＳ１０４に進む。

ステップＳ１０４：有色差マクロブロック位置情報の設定に関するフラグchroma-position-slice-adaptiveが１か否かの判定を行い、判定結果が真値の場合、ステップＳ１０５に進む。そうでなければ、ステップＳ１０６に進む。

ステップＳ１０５：有色差マクロブロック位置情報を設定する処理を行い、有色差マクロブロック位置情報をレジスタに書き出す。
ここで、設定される有色差マクロブロック位置情報はスライス内の符号化を通じて用いられる。これは、前述の第五の態様にあたる。
具体的な設定値については、外部に設けられる有色差マクロブロック位置情報の設定を行う機構から与えられるものとする。例えば、符号化歪みと符号量の加重和をコスト関数として、同コスト関数を最小化するように有色差マクロブロック位置情報を設定するという方法などがある。

ステップＳ１０６：現在着目しているスライスの輝度信号、色差信号を読み込み、レジスタに書き出す。

ステップＳ１０７：色差信号に対するダウンサンプリング比を設定する。ここで、設定されるダウンサンプリング比はスライスダウンサンプリング比である。
具体的な設定値については、外部に設けられるスライスダウンサンプリング比の設定を行う機構から与えられるものとする。例えば、輝度値の低いスライスでは、色差成分に対して、大きなダウンサンプリングが行われることになるようにと小さなダウンサンプリング比を設定するという方法などがある。

ステップＳ１０８：レジスタに書き出した色差信号と設定したダウンサンプリング比とを入力として、入力したダウンサンプリング比に応じた色差成分のダウンサンプリング処理を行い、ダウンサンプリング後の色差成分をレジスタに書き出す。
ダウンサンプリングに用いるフィルタの係数については、ダウンサンプリング比に応じて、外部に設けられるフィルタ係数の決定を行う機構から与えられるものとする。

ステップＳ１０９：有色差マクロブロック位置情報の設定に関するフラグchroma-position-sequence-adaptiveあるいはchroma-position-slice-adaptiveの少なくとも一方が１か否かの判定を行い、判定結果が真値の場合、ステップＳ１１２に進む。そうでなければ、ステップＳ１１０に進む。

ステップＳ１１０：有色差マクロブロック位置情報の設定に関するフラグchroma-position-MBs-adaptiveが１か否かの判定を行い、判定結果が真値の場合、ステップＳ１１１に進む。そうでなければ、ステップＳ１１２に進む。

ステップＳ１１１：有色差マクロブロック位置情報を設定する処理を行い、有色差マクロブロック位置情報をレジスタに書き出す。ここで、設定される有色差マクロブロック位置情報は色差共有ブロックセットの符号化を通じて用いられる。これは、前述の第六の態様にあたる。
具体的な設定値については、外部に設けられる有色差マクロブロック位置情報の設定を行う機構から与えられるものとする。例えば、符号化歪みと符号量の加重和をコスト関数として、同コスト関数を最小化するように有色差マクロブロック位置情報を設定するという方法などがある。

ステップＳ１１２：設定された有色差マクロブロック位置情報、およびダウンサンプリング比を読み込み、レジスタに書き出す。

ステップＳ１１３：ステップＳ１１２でレジスタに書き出した有色差マクロブロック位置情報を入力として、符号化対象のマクロブロックが有色差マクロブロック位置にあるか否かを判定し、判定結果である真偽値を出力する。
出力が真値の場合、ステップＳ１１４に進む。出力が偽値の場合、ステップＳ１１５の処理に移る。

ステップＳ１１４：色差信号を入力として、符号化処理を行い、符号化結果をレジスタに書き出す。
具体的な符号化方法は、用いる符号化アルゴリズムによって異なる。例えば、Ｈ.264、ＭＰＥＧ−２では、動き補償、離散コサイン変換といった処理からなる。

ステップＳ１１５：符号化において発生するヘッダ情報をレジスタに書き出す。
具体的な符号化対象シンボル等は、用いる符号化アルゴリズムによって異なる。例えば、Ｈ.264の場合、同期符号が符号化対象シンボルである（ここで、シンボルとは、情報の構成単位である）。

ステップＳ１１６：輝度信号を入力として、符号化処理を行い、符号化結果をレジスタに書き出す。
具体的な符号化方法は、用いる符号化アルゴリズムによって異なる。例えば、Ｈ.264、ＭＰＥＧ−２では、動き補償、離散コサイン変換といった処理からなる。

ステップＳ１１７，ステップＳ１１８：ステップＳ１１３〜ステップＳ１１６の処理を色差共有ブロックセット内の全てのマクロブロックについて繰り返す。

ステップＳ１１９：ステップＳ１０９〜ステップＳ１１８の処理をスライス内の全ての色差共有ブロックセットについて繰り返す。

ステップＳ１２０：ステップＳ１０３〜ステップＳ１１９の処理をシーケンス内の全てのスライスについて繰り返す。

このようにして、本実施例では、適応的に設定されるスライスダウンサンプリング比に応じて、色差成分に対してスライスダウンサンプリングを行いながら、輝度成分および色差成分を符号化するとともに、どのマクロブロックが色差成分を保有しているのかを示す有色差マクロブロック位置情報を設定してヘッダ情報として符号化するように処理するのである。

図１１および図１２に、図９および図１０のフローチャートの符号化処理により生成された符号化データを復号対象とする、本発明による復号処理のフローチャートの一実施例を図示する。このフローチャートに従って、本発明の実行する復号処理について詳細に説明する。

ステップＳ２００：符号化ストリームを入力として、有色差マクロブロック位置情報の設定に関するフラグ（chroma-position-sequence-adaptive，chroma-position-slice-adaptive，chroma-position-MBs-adaptive）を復号する処理を行い、得られたフラグの値をレジスタに書き出す。

ステップＳ２０１：有色差マクロブロック位置情報の設定に関するフラグchroma-position-sequence-adaptiveが１か否かの判定を行い、判定結果が真値の場合、ステップＳ２０２に進む。そうでなければ、ステップＳ２０３に進む。

ステップＳ２０２：符号化ストリームを入力として、有色差マクロブロック位置情報を復号する処理を行い、得られた有色差マクロブロック位置情報の値をレジスタに書き出す。これは、前述の第四の態様を用いる場合の処理となる。

ステップＳ２０３：符号化ストリームを入力として、ダウンサンプリング比を復号する処理を行い、ダウンサンプリング比の値をレジスタに書き出す。

ステップＳ２０４：有色差マクロブロック位置情報の設定に関するフラグchroma-position-slice-adaptiveが１か否かの判定を行い、判定結果が真値の場合、ステップＳ２０５に進む。そうでなければ、ステップＳ２０６に進む。

ステップＳ２０５：符号化ストリームを入力として、有色差マクロブロック位置情報を復号する処理を行い、得られた有色差マクロブロック位置情報の値をレジスタに書き出す。これは、前述の第五の態様を用いる場合の処理となる。

ステップＳ２０６：有色差マクロブロック位置情報の設定に関するフラグchroma-position-MBs-adaptiveが１か否かの判定を行い、判定結果が真値の場合、ステップＳ２０７に進む。そうでなければ、ステップＳ２０８に進む。

ステップＳ２０７：符号化ストリームを入力として、有色差マクロブロック位置情報を復号する処理を行い、得られた有色差マクロブロック位置情報の値をレジスタに書き出す。これは、前述の第六の態様を用いる場合の処理となる。

ステップＳ２０８：有色差マクロブロック位置情報を入力として、符号化対象のマクロブロックが有色差マクロブロック位置にあるか否かを判定し、判定結果である真偽値を出力する。出力が真値の場合、ステップＳ２０９に進む。出力が偽値の場合、ステップＳ２１０の処理に移る。

ステップＳ２０９：符号化ストリームを入力として、色差成分を復号する処理を行い、復号結果をレジスタに書き出す。

ステップＳ２１０：符号化ストリームを入力として、輝度成分を復号する処理を行い、復号結果をレジスタに書き出す。

ステップＳ２１１，ステップＳ２１２：ステップＳ２０８〜ステップＳ２１０の処理を色差共有ブロックセット内の全てのマクロブロックについて繰り返す。

ステップＳ２１３：ステップＳ２０３で復号されたダウンサンプリング比を入力として、ダウンサンプリング比をアップサンプリング比に換算する処理を行い、算出された値をレジスタに書き出す。
このアップサンプリング比は、ダウンサンプリング比の逆数である。

ステップＳ２１４：ステップＳ２１３で得られたアップサンプリング比と、ステップＳ２０９で復号された色差成分とを入力として、同色差成分に対するアップサンプリング処理を行い、処理後の色差成分をレジスタに書き出す。

ステップＳ２１５：ステップＳ２０６〜ステップＳ２１４の処理をスライス内の全ての色差共有ブロックセットについて繰り返す。

ステップＳ２１６：ステップＳ２０３〜ステップＳ２１５の処理をシーケンス内の全てのスライスについて繰り返す。

このようにして、本発明では、図９および図１０のフローチャートの符号化処理により生成された符号化データを復号対象として、映像信号を復号するように処理するのである。

図１３に、図９および図１０のフローチャートの符号化処理を実行する本発明の映像符号化装置の一実施例を図示する。この図１３に従って、本映像符号化装置の装置構成について説明する。

ここで、図１３中、１００は適応処理フラグ設定部、１０１は適応処理フラグ記憶部、１０２は輝度信号読込部、１０３は輝度信号記憶部、１０４は色差信号読込部、１０５は色差信号記憶部、１０６はダウンサンプリング比設定部、１０７はダウンサンプリング比記憶部、１０８は色差信号ダウンサンプリング処理部、１０９は色差信号記憶部、１１０は有色差マクロブロック位置情報設定部、１１１は符号化ストリーム生成部、１１２は符号化ストリーム記憶部、１１３は最終スライス判定部である。

この有色差マクロブロック位置情報設定部１１０は、シーケンス適応処理部１１０−１と、スライス適応処理部１１０−２と、色差適応処理部１１０−３とを備える。
また、符号化ストリーム生成部１１１は、ヘッダ情報符号化部１１１−１と、ヘッダ情報符号化ストリーム記憶部１１１−２と、輝度信号・色差信号符号化処理部１１１−３と、輝度信号・色差信号符号化ストリーム記憶部１１１−４と、符号化ストリーム多重化部１１１−５とを備える。

次に、これらの各処理部の実行する処理について説明する。

適応処理フラグ設定部１００：有色差マクロブロック位置情報の設定に関するフラグ（chroma-position-sequence-adaptive，chroma-position-slice-adaptive，chroma-position-MBs-adaptive）を読み込み、適応処理フラグ記憶部１０１に書き出す。

輝度信号読込部１０２：輝度信号を読み込み、輝度信号記憶部１０３に書き出す。輝度信号を読み込む単位は、本実施例ではスライスとなっているが、スライスよりも大きな単位、あるいは小さな単位で読み込むことも可能である。

色差信号読込部１０４：色差信号を読み込み、色差信号記憶部１０５に書き出す。色差信号の読み込む単位は、本実施例ではスライスとなっているが、スライスよりも大きな単位、あるいは小さな単位で読み込むことも可能である。

ダウンサンプリング比設定部１０６：ダウンサンプリング比を設定する処理を行い、設定した値をダウンサンプリング比記憶部１０７に書き出す。ここで、設定されるダウンサンプリング比はスライスダウンサンプリング比である。
具体的な設定値については、外部に設けられるスライスダウンサンプリング比の設定を行う機構から与えられるものとする。例えば、輝度値の低いスライスでは、色差成分に対して、大きなダウンサンプリングが行われることになるようにと小さなダウンサンプリング比を設定するという方法などが用いられる。

色差信号ダウンサンプリング処理部１０８：色差信号記憶部１０５から読み出した色差信号と、ダウンサンプリング比記憶部１０７から読み出したダウンサンプリング比とを入力として、入力したダウンサンプリング比に応じた色差成分のダウンサンプリング処理を行い、ダウンサンプリング後の色差成分を色差信号記憶部１０９に書き出す。
ダウンサンプリングに用いるフィルタの係数については、ダウンサンプリング比に応じて、外部に設けられるフィルタ係数の決定を行う機構から与えられるものとする。

有色差マクロブロック位置情報設定部１１０：輝度信号記憶部１０３から読み出した輝度信号と、色差信号記憶部１０５から読み出したダウンサンプリング前の色差信号と、色差信号記憶部１０９から読み出したダウンサンプリング後の色差信号と、ダウンサンプリング比記憶部１０７から読み出したダウンサンプリング比とを入力として、有色差マクロブロック位置情報を設定する処理を行い、得られた有色差マクロブロック位置情報を符号化ストリーム生成部１１１へ与える。
また、得られた有色差マクロブロック位置情報に基づき、色差信号記憶部１０９から出力されるダウンサンプリング後の色差信号を符号化ストリーム生成部１１１へ与える。
なお、有色差マクロブロック位置情報の設定の詳細については、図９および図１０のフローチャートで説明した通りである。

符号化ストリーム生成部１１１：以下に記載するヘッダ情報符号化部１１１−１〜符号化ストリーム多重化部１１１−５の処理からなる。

ヘッダ情報符号化部１１１−１：有色差マクロブロック位置情報、ダウンサンプリング比をその他のヘッダ情報とともに入力として読み込み、符号化処理を行い、得られた符号化ストリームをヘッダ情報符号化ストリーム記憶部１１１−２に書き出す。

輝度信号・色差信号符号化処理部１１１−３：輝度信号記憶部１０３から読み出した輝度信号と、色差信号記憶部１０９から読み出したダウンサンプリング後の色差信号とを入力として、符号化処理を行い、得られた符号化ストリームを輝度信号・色差信号符号化ストリーム記憶部１１１−４に書き出す。

符号化ストリーム多重化部１１１−５：ヘッダ情報符号化ストリーム記憶部１１１−２から読み出したヘッダ情報の符号化ストリームと、輝度信号・色差信号符号化ストリーム記憶部１１１−４から読み出した輝度成分と色差成分に対する符号化ストリームとを入力として、両ストリームを多重化し、符号化ストリーム記憶部１１２に書き出す。

最終スライス判定部１１３：以上の処理をシーケンス内の全てのスライスについて行うため、現在処理を施したスライスが最終スライスであるかを判定するとともに、符号化ストリーム記憶部１１２に記憶された符号化ストリームを出力する。

このようにして、図１３に示す映像符号化装置は、この図１３に示す装置構成に従って、図９および図１０のフローチャートの符号化処理を実行するのである。

図１４に、図１１および図１２のフローチャートの復号処理を実行する本発明の映像復号装置の一実施例を図示する。この図１４に従って、本映像復号装置の装置構成について説明する。

ここで、図１４中、２００はヘッダ情報復号部、２０１は輝度信号復号処理部、２０２は輝度信号記憶部、２０３はダウンサンプリング比記憶部、２０４は有色差マクロブロック位置情報記憶部、２０５は有色差マクロブロック位置情報判定部、２０６は色差信号復号処理部、２０７は色差信号記憶部、２０８は色差信号アップサンプリング処理部、２０９は色差信号記憶部である。

このヘッダ情報復号部２００は、ダウンサンプリング比復号処理部２００−１と、有色差マクロブロック位置情報復号処理部２００−２とを備える。
そして、この有色差マクロブロック位置情報復号処理部２００−２は、シーケンス適応処理フラグ検出部２００−３と、シーケンス適応処理フラグ記憶部２００−４と、シーケンス適応処理判定部２００−５と、スライス適応処理フラグ検出部２００−６と、スライス適応処理フラグ記憶部２００−７と、スライス適応処理判定部２００−８と、色差共有ブロックセット適応処理フラグ検出部２００−９と、色差共有ブロックセット適応処理フラグ記憶部２００−１０と、色差共有ブロックセット適応処理判定部２００−１１と、ストリーム記憶部２００−１２と、有色差マクロブロック位置情報復号部２００−１３とを備える。

次に、これらの各処理部の実行する処理について説明する。

ヘッダ情報復号部２００：符号化ストリームを入力として、ヘッダ情報を復号する処理を行う。復号対象となるのは、ダウンサンプリング比、有色差マクロブロック位置情報、および、その他のヘッダ情報（輝度信号復号処理部２０１、色差信号復号処理部２０６で復号処理の対象とならない信号）である。

ダウンサンプリング比復号処理部２００−１：符号化ストリームを入力として、ダウンサンプリング比を復号する処理を行い、ダウンサンプリング比記憶部２０３に書き出す。

有色差マクロブロック位置情報復号処理部２００−２：符号化ストリームを入力として、有色差マクロブロック位置情報を復号する処理を行い、有色差マクロブロック位置情報記憶部２０４に書き出す。

この有色差マクロブロック位置情報復号処理部２００−２の処理は、以下に記載するシーケンス適応処理フラグ検出部２００−３〜有色差マクロブロック位置情報復号部２００−１３の処理を含む。

シーケンス適応処理フラグ検出部２００−３：符号化ストリームを入力として、有色差マクロブロック位置情報の設定に関するフラグchroma-position-sequence-adaptiveを検出し、得られたフラグの値をシーケンス適応処理フラグ記憶部２００−４に書き出す。

シーケンス適応処理判定部２００−５：シーケンス適応処理フラグ記憶部２００−４から読み出したchroma-position-sequence-adaptiveの値を入力として、その値が１か否かの判定処理を行い、真偽値を出力し、出力が真値の場合、符号化ストリームにおいてフラグchroma-position-sequence-adaptiveの後に続く、有色差マクロブロック位置情報の符号化ストリームをストリーム記憶部２００−１２に書き出す。
そうでなければ、スライス適応処理フラグ検出部２００−６へ符号化ストリームが入力されるようにする。

スライス適応処理フラグ検出部２００−６：符号化ストリームを入力として、有色差マクロブロック位置情報の設定に関するフラグchroma-position-slice-adaptiveを検出し、得られたフラグの値をスライス適応処理フラグ記憶部２００−７に書き出す。

スライス適応処理判定部２００−８：スライス適応処理フラグ記憶部２００−７から読み出したchroma-position-slice-adaptiveの値を入力として、その値が１か否かの判定処理を行い、真偽値を出力し、出力が真値の場合、符号化ストリームにおいてフラグchroma-position-slice-adaptiveの後に続く、有色差マクロブロック位置情報の符号化ストリームをストリーム記憶部２００−１２に書き出す。
そうでなければ、色差共有ブロックセット適応処理フラグ検出部２００−９へ符号化ストリームが入力されるようにする。

色差共有ブロックセット適応処理フラグ検出部２００−９：符号化ストリームを入力として、有色差マクロブロック位置情報の設定に関するフラグchroma-position-MBs-adaptiveを検出し、得られたフラグの値を色差共有ブロックセット適応処理フラグ記憶部２００−１０に書き出す。

色差共有ブロックセット適応処理判定部２００−１１：色差共有ブロックセット適応処理フラグ記憶部２００−１０から読み出したchroma-position-MBs-adaptiveの値を入力として、その値が１か否かの判定処理を行い、真偽値を出力し、出力が真値の場合、符号化ストリームにおいてフラグchroma-position-MBs-adaptiveの後に続く、有色差マクロブロック位置情報の符号化ストリームをストリーム記憶部２００−１２に書き出す。

有色差マクロブロック位置情報復号部２００−１３：ストリーム記憶部２００−１２から読み出した符号化ストリームを入力として、有色差マクロブロック位置情報を復号する処理を行い、復号結果を有色差マクロブロック位置情報記憶部２０４に書き出す。

輝度信号復号処理部２０１：符号化ストリームを入力として、輝度信号を復号する処理を行い、輝度信号記憶部２０２に書き出す。

有色差マクロブロック位置情報判定部２０５：有色差マクロブロック位置情報記憶部２０４から読み出した有色差マクロブロック位置情報を入力として、符号化対象のマクロブロックが有色差マクロブロック位置にあるか否かを判定し、同位置にあると判定された場合、制御信号を送り、色差信号復号処理部２０６の処理を行う。

色差信号復号処理部２０６：符号化ストリームを入力として、色差信号を復号する処理を行い、色差信号記憶部２０７に書き出す。

色差信号アップサンプリング処理部２０８：ダウンサンプリング比記憶部２０３から読み出したダウンサンプリング比と、色差信号記憶部２０７から読み出した色差信号とを入力として、ダウンサンプリング比をもとにアップサンプリング比を算出し、同色差信号に対するアップサンプリング処理を行い、処理後の色差信号を色差信号記憶部２０９に書き出す。

このようにして、図１４に示す映像復号装置は、この図１４に示す装置構成に従って、図１１および図１２のフローチャートの復号処理を実行するのである。

次に、前述した第七の態様で説明したように、本発明では、フレームを単位にして適応的にダウンサンプリング比を変化させるときに、要求される動き補償を実現する参照フレームの補間画像を生成することができるようにしている。

図１５に、この第七の態様を実現する本発明の参照フレーム補間画像生成装置の一実施例を図示する。

このように構成される本発明による参照フレーム補間画像生成装置は、色差信号の動き推定で使用する参照信号を生成する際に用いられるものであり、図１６に示すような構成を採る映像符号化装置の備える参照信号生成処理部１０００に適用されたり、図１７に示すような構成を採る映像復号装置の備える参照信号生成処理部２０００に適用されるものである。

ここで、図１５中、３００，３０１は補間フィルタ係数記憶部、３０２は参照フレーム信号記憶部、３０３，３０４はダウンサンプリング比記憶部、３０５は参照フレーム補間精度算出部、３０６は参照フレーム補間精度記憶部、３０７は参照フレーム補間処理判定部、３０８は参照フレーム補間画素値生成部、３０９は参照フレーム補間画素値記憶部、３１０は出力制御部、３１１は参照フレーム補間処理状態記憶部である。

補間フィルタ係数記憶部３００：動き補償における参照フレームに対する補間フィルタ係数を格納する。

補間フィルタ係数記憶部３０１：同様に、動き補償における参照フレームに対する補間フィルタ係数を格納する。本実施例では、２種類のフィルタ係数を選択的に用いる例を示すために、２通りのフィルタ係数を個別の記憶部にそれぞれ格納している。
例えば、こうしたフィルタ係数は、動き補償における補間位置（１／２画素位置、１／４画素位置）に応じて、切り替える。なお、本発明は、２種類以上のフィルタ係数を用いた場合も、同様に適用できる。

参照フレーム信号記憶部３０２：動き補償における参照フレーム信号を格納する。

ダウンサンプリング比記憶部３０３：動き補償における参照フレームに対するダウンサンプリング比を格納する。

ダウンサンプリング比記憶部３０４：動き補償における対象フレーム（符号化対象フレームや復号対象フレーム）に対するダウンサンプリング比を格納する。

参照フレーム補間精度算出部３０５：ダウンサンプリング比記憶部３０３から読み出した参照フレームに対するダウンサンプリング比と、ダウンサンプリング比記憶部３０４から読み出した対象フレームに対するダウンサンプリング比とを入力として、参照フレームに必要な補間精度を算出する処理を行い、参照フレーム補間精度記憶部３０６に書き出す。具体的な算出方法は、式（１）に従う。

参照フレーム補間処理判定部３０７：参照フレーム補間精度記憶部３０６から読み出した参照フレームの補間精度と、参照フレーム補間処理状態記憶部３１１から読み出した、既に補間処理を終えた画素位置を示す情報（例えば、１／２画素位置に関しては既に補間処理済みといった情報）とを入力として、参照フレームにおける補間画素値を全て生成したのか否かの判定を行い、この判定結果が真の場合、出力制御部３１０を駆動して、参照フレーム補間画素値記憶部３０９の値を出力する（即ち、最終的な参照フレーム補間画像の出力）。
一方、この判定結果が偽の場合、参照フレーム補間画素値生成部３０８の処理に移る。このとき、補間対象となる画素位置を示す情報を参照フレーム補間画素値生成部３０８へ与える。

参照フレーム補間画素値生成部３０８：補間対象となる画素位置を示す情報を入力として、同情報に応じて、補間フィルタ係数記憶部３００または補間フィルタ係数記憶部３０１からフィルタ係数を入力として読み込む。
次に、参照フレーム信号記憶部３０２から読み出した参照フレームの画素値、あるいは、参照フレーム補間画素値記憶部３０９から読み出した補間位置も含めた参照フレームの画素値を入力として、補間処理を行い、その結果を参照フレーム補間画素値記憶部３０９に書き出す。
なお、参照フレーム補間画素値記憶部３０９は、始めは零値で初期化されている。また、各参照フレームの処理が終了するたびに、同様に、零値で初期化される。このように、初期値が格納されている場合、本処理において、参照フレーム補間画素値記憶部３０９から読み込むことは行わない。
さらに、既に補間処理を終えた画素位置を示す情報（例えば、１／２画素位置に関しては補間は既に実行といった情報）を参照フレーム補間処理状態記憶部３１１に書き出す。

このようにして、図１５に示す本発明の参照フレーム補間画像生成装置は、図１６に示すような構成を採る映像符号化装置や、図１７に示すような構成を採る映像復号装置で、フレームを単位としてダウンサンプリング比を適応的に変化させる構成を採るときに、その構成に従って参照フレームの補間精度が変化することに合わせて、要求される動き補償を実現する参照フレームの補間画像を生成するように処理するのである。

図１８に、図１５の装置構成を採る参照フレーム補間画像生成装置の実行するフローチャートの一実施例を図示する。このフローチャートに従って、本参照フレーム補間画像生成装置の実行する処理について説明する。

ステップＳ３００・BR>F動き補償における参照フレームに対する補間フィルタ係数を入力として読み込み、レジスタに書き出す。なお、本発明は、複数種類のフィルタ係数を用いることも可能である。

ステップＳ３０１：動き補償における参照フレームに対するダウンサンプリング比を入力として読み込み、レジスタに書き出す。

ステップＳ３０２：動き補償における対象フレームに対するダウンサンプリング比を入力として読み込み、レジスタに書き出す。

ステップＳ３０３：動き補償における参照フレーム信号を入力として読み込み、レジスタに書き出す。

ステップＳ３０４：参照フレームに対するダウンサンプリング比と、対象フレームに対するダウンサンプリング比とを入力として、参照フレームに必要な補間精度を算出する処理を行い、レジスタに書き出す。具体的な算出方法は、式（１）に従う。

ステップＳ３０５：ステップＳ３０４で算出した参照フレームの補間精度を入力として、その値が１画素未満か否かの判定処理を行い、真偽値を出力し、出力が真値の場合、ステップＳ３０６の処理に移り、出力が偽値の場合、補間を行う必要がないので、処理を終了する。

ステップＳ３０６：参照フレームの現在の補間精度と、ステップＳ３０４で算出した参照フレームの補間精度とを入力として、参照フレームの現在の補間精度がステップＳ３０４で算出した参照フレームの補間精度よりも粗いか否かの判定処理を行い、真偽値を出力し、出力が真値の場合、ステップＳ３０７の処理に移り、出力が偽値の場合、処理を終了する。

ステップＳ３０７：参照フレームの現在の補間精度を入力として、同精度における補間フィルタ係数を選択し、同フィルタ係数をレジスタに書き出す。
具体的なフィルタ係数（補間フィルタ係数記憶部３００，３０１に記憶される）については、外部に設けられるフィルタ係数の決定を行う機構から与えられるものとする。

ステップＳ３０８：参照フレーム信号と、参照フレームの現在の補間精度と、ステップＳ３０７において選択した同精度における補間フィルタ係数とを入力として、補間処理を行い、参照フレームの補間画像を生成する。

ステップＳ３０９：ステップＳ３０８における参照フレームの補間精度を入力として、同補間精度を一段細かくする。
補間精度の段階については、例えば、１／８画素精度に対する補間画像を得ようとする場合、補間精度のフィルタ係数を順次細かくしていくことで、１／２，１／４，１／８画素精度の順に対応する位置での補間画像を生成する。

このようにして、図１５に示す参照フレーム補間画像生成装置は、図１８に示すフローチャーの参照フレーム補間画像生成処理を実行することで、フレームを単位としてダウンサンプリング比を適応的に変化させる構成を採るときに、その構成に従って参照フレームの補間精度が変化することがあっても、要求される動き補償を実現する参照フレームの補間画像を生成するように処理するのである。

本発明は、２信号成分以上からなる映像信号を符号化対象とする場合に適用できるものであり、映像を符号化するときに、特定の信号成分のダウンサンプリング比を適応的に変化させることが可能となり、これにより視覚感度などに応じた効率的な符号量低減を達成できるようになる。

Claims (18)

1. ２信号成分以上からなる映像信号を符号化対象とする映像符号化方法であって、
   フレーム内の性質に応じて、フレームの特定の信号成分に対してのダウンサンプリング比を設定する過程と、
   前記設定したダウンサンプリング比に応じて、フレームの特定の信号成分をダウンサンプリングすることで符号化対象映像信号を生成する過程と、
   前記符号化対象映像信号の符号化により得られた量子化後の各信号成分について、ある大きさのブロック毎にそのブロックに対して有意係数を含むか否かを示す情報を付与する場合に、どの位置のブロックの集合が前記特定の信号成分を共有しているのかについて示す情報を、当該ブロックの集合に対して付与する過程と
   を有する映像符号化方法。
2. ２信号成分以上からなる映像信号を符号化対象とする映像符号化方法であって、
   フレーム内の性質に応じて、フレームの特定の信号成分に対してのダウンサンプリング比を設定する過程と、
   前記設定したダウンサンプリング比に応じて、フレームの特定の信号成分をダウンサンプリングすることで符号化対象映像信号を生成する過程と、
   前記符号化対象映像信号の符号化において、フレーム間予測に小数画素精度の動き補償を用いる場合に、符号化対象フレームのダウンサンプリング比と、参照フレームのダウンサンプリング比との比率値に応じて、前記参照フレームにおけるダウンサンプリングされた信号成分の補間精度を変化させる過程と、
   前記変化させた補間精度に基づいて、前記参照フレームの補間画像を生成する過程と
   を有する映像符号化方法。
3. 前記ダウンサンプリング比を設定する過程は、
   フレーム内の局所的な性質に応じて、フレームを部分領域に分割する過程と、
   各部分領域内の性質に応じて、当該部分領域の特定の信号成分に対してのダウンサンプリング比を設定する過程と、を有し、
   前記符号化対象映像信号を生成する過程は、
   前記設定したダウンサンプリング比に応じて、前記部分領域の特定の信号成分をダウンサンプリングすることで前記符号化対象映像信号を生成する
   請求項１または２に記載の映像符号化方法。
4. 前記符号化対象映像信号の符号化において、フレーム間予測に小数画素精度の動き補償を用いる場合に、符号化対象フレーム内の各部分領域のダウンサンプリング比と、その部分領域が動き補償の際に参照する参照フレーム内の部分領域のダウンサンプリング比との比率値に応じて、前記参照フレーム内の部分領域におけるダウンサンプリングされた信号成分の補間精度を変化させる過程と、
   前記変化させた補間精度に基づいて、前記参照フレーム内の部分領域の補間画像を生成する過程と
   を更に有する請求項３に記載の映像符号化方法。
5. 請求項１記載の映像符号化方法により生成された映像信号の符号化データを復号する映像復号方法であって、
   前記どの位置のブロックの集合が前記特定の信号成分を共有しているのかについて示す情報の符号化データを復号することで、復号対象のブロック集合が前記特定の信号成分を共有しているブロック集合であるのか否かを判定する過程と、
   前記判定過程において、前記特定の信号成分を共有しているブロック集合であると判定したブロック集合について、それが共有する前記特定の信号成分の符号化データを復号することで、符号化側で設定されたダウンサンプリング比に応じてダウンサンプリングされた信号成分を復号する過程と
   を有する映像復号方法。
6. ２信号成分以上からなる映像信号を符号化対象とし、フレーム内の性質に応じて、フレームの特定の信号成分に対してのダウンサンプリング比を設定する過程と、前記設定したダウンサンプリング比に応じて、フレームの特定の信号成分をダウンサンプリングすることで符号化対象映像信号を生成する過程を有する映像符号化方法により生成された映像信号の符号化データを復号する映像復号方法であって、
   フレーム間予測に小数画素精度の動き補償を用いる場合に、復号対象フレームのダウンサンプリング比と、参照フレームのダウンサンプリング比との比率値に応じて、前記参照フレームにおけるダウンサンプリングされた信号成分の補間精度を変化させる過程と、
   前記変化させた補間精度に基づいて、前記参照フレームの補間画像を生成する過程と
   を有する映像復号方法。
7. ２信号成分以上からなる映像信号を符号化対象とし、フレーム内の性質に応じて、フレームの特定の信号成分に対してのダウンサンプリング比を設定する過程と、前記設定したダウンサンプリング比に応じて、フレームの特定の信号成分をダウンサンプリングすることで符号化対象映像信号を生成する過程とを有し、前記ダウンサンプリング比を設定する過程は、フレーム内の局所的な性質に応じて、フレームを部分領域に分割する過程と、各部分領域内の性質に応じて、当該部分領域の特定の信号成分に対してのダウンサンプリング比を設定する過程とを有し、前記符号化対象映像信号を生成する過程は、前記設定したダウンサンプリング比に応じて、前記部分領域の特定の信号成分をダウンサンプリングすることで前記符号化対象映像信号を生成する映像符号化方法により生成された映像信号の符号化データを復号する映像復号方法であって、
   フレーム間予測に小数画素精度の動き補償を用いる場合に、復号対象フレーム内の各部分領域のダウンサンプリング比と、その部分領域が動き補償の際に参照する参照フレーム内の部分領域のダウンサンプリング比との比率値に応じて、前記参照フレーム内の部分領域におけるダウンサンプリングされた信号成分の補間精度を変化させる過程と、
   前記変化させた補間精度に基づいて、前記参照フレーム内の部分領域の補間画像を生成する過程と
   を有する映像復号方法。
8. ２信号成分以上からなる映像信号を符号化対象とする映像符号化装置であって、
   フレーム内の性質に応じて、フレームの特定の信号成分に対してのダウンサンプリング比を設定する手段と、
   前記設定したダウンサンプリング比に応じて、フレームの特定の信号成分をダウンサンプリングすることで符号化対象映像信号を生成する手段と
   を備え、
   前記符号化対象映像信号の符号化により得られた量子化後の各信号成分について、ある大きさのブロック毎にそのブロックに対して有意係数を含むか否かを示す情報を付与する場合に、どの位置のブロックの集合が前記特定の信号成分を共有しているのかについて示す情報を、当該ブロックの集合に対して付与する手段
   を更に備える映像符号化装置。
9. ２信号成分以上からなる映像信号を符号化対象とする映像符号化装置であって、
   フレーム内の性質に応じて、フレームの特定の信号成分に対してのダウンサンプリング比を設定する手段と、
   前記設定したダウンサンプリング比に応じて、フレームの特定の信号成分をダウンサンプリングすることで符号化対象映像信号を生成する手段と
   を備え、
   前記符号化対象映像信号の符号化において、フレーム間予測に小数画素精度の動き補償を用いる場合に、符号化対象フレームのダウンサンプリング比と、参照フレームのダウンサンプリング比との比率値に応じて、前記参照フレームにおけるダウンサンプリングされた信号成分の補間精度を変化させる手段と、
   前記変化させた補間精度に基づいて、前記参照フレームの補間画像を生成する手段と
   を更に備える映像符号化装置。
10. 前記ダウンサンプリング比を設定する手段は、
    フレーム内の局所的な性質に応じて、フレームを部分領域に分割する手段と、
    各部分領域内の性質に応じて、当該部分領域の特定の信号成分に対してのダウンサンプリング比を設定する手段とを備え、
    前記設定したダウンサンプリング比に応じて、前記部分領域の特定の信号成分をダウンサンプリングすることで前記符号化対象映像信号を生成する
    請求項８または９に記載の映像符号化装置。
11. 前記符号化対象映像信号の符号化において、フレーム間予測に小数画素精度の動き補償を用いる場合に、符号化対象フレーム内の各部分領域のダウンサンプリング比と、その部分領域が動き補償の際に参照する参照フレーム内の部分領域のダウンサンプリング比との比率値に応じて、前記参照フレーム内の部分領域におけるダウンサンプリングされた信号成分の補間精度を変化させる手段と、
    前記変化させた補間精度に基づいて、前記参照フレーム内の部分領域の補間画像を生成する手段と
    を更に備える請求項１０に記載の映像符号化装置。
12. 請求項８記載の映像符号化装置により生成された映像信号の符号化データを復号する映像復号装置であって、
    前記どの位置のブロックの集合が前記特定の信号成分を共有しているのかについて示す情報の符号化データを復号することで、復号対象のブロック集合が前記特定の信号成分を共有しているブロック集合であるのか否かを判定する手段と、
    前記判定手段が、前記特定の信号成分を共有しているブロック集合であると判定したブロック集合について、それが共有する前記特定の信号成分の符号化データを復号することで、符号化側で設定されたダウンサンプリング比に応じてダウンサンプリングされた信号成分を復号する手段と
    を備える映像復号装置。
13. ２信号成分以上からなる映像信号を符号化対象とし、フレーム内の性質に応じて、フレームの特定の信号成分に対してのダウンサンプリング比を設定する手段と、前記設定したダウンサンプリング比に応じて、フレームの特定の信号成分をダウンサンプリングすることで符号化対象映像信号を生成する手段とを備える映像符号化装置により生成された映像信号の符号化データを復号する映像復号装置であって、
    フレーム間予測に小数画素精度の動き補償を用いる場合に、復号対象フレームのダウンサンプリング比と、参照フレームのダウンサンプリング比との比率値に応じて、前記参照フレームにおけるダウンサンプリングされた信号成分の補間精度を変化させる手段と、
    前記変化させた補間精度に基づいて、前記参照フレームの補間画像を生成する手段と
    を備える映像復号装置。
14. ２信号成分以上からなる映像信号を符号化対象とし、フレーム内の性質に応じて、フレームの特定の信号成分に対してのダウンサンプリング比を設定する手段と、前記設定したダウンサンプリング比に応じて、フレームの特定の信号成分をダウンサンプリングすることで符号化対象映像信号を生成する手段とを備え、前記ダウンサンプリング比を設定する手段は、フレーム内の局所的な性質に応じて、フレームを部分領域に分割する手段と、各部分領域内の性質に応じて、当該部分領域の特定の信号成分に対してのダウンサンプリング比を設定する手段と、を備え、前記設定したダウンサンプリング比に応じて、前記部分領域の特定の信号成分をダウンサンプリングすることで前記符号化対象映像信号を生成する映像符号化装置により生成された映像信号の符号化データを復号する映像復号装置であって、
    フレーム間予測に小数画素精度の動き補償を用いる場合に、復号対象フレーム内の各部分領域のダウンサンプリング比と、その部分領域が動き補償の際に参照する参照フレーム内の部分領域のダウンサンプリング比との比率値に応じて、前記参照フレーム内の部分領域におけるダウンサンプリングされた信号成分の補間精度を変化させる手段と、
    前記変化させた補間精度に基づいて、前記参照フレーム内の部分領域の補間画像を生成する手段と
    を備える映像復号装置。
15. 請求項１から４のいずれか１項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラム。
16. 請求項１から４のいずれか１項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
17. 請求項５から７のいずれか１項に記載の映像復号方法の実現に用いられる処理をコンピュータに実行させるための映像復号プログラム。
18. 請求項５から７のいずれか１項に記載の映像復号方法の実現に用いられる処理をコンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images