JP3596728B2 - スケーラブル二進映像符号化／復号化方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、二進映像の符号化／復号化に関するもので、特に下層と現在層の相関性を考慮して二進映像の符号化モードを減らし、その相関性に従ってモード符号化ビットを割り当てて符号化ビット量を減らす下層と現在層のモードを利用したスケーラブル二進映像符号化／復号化方法及び装置に関する。
【０００２】
【従来の技術】
伸縮型（Ｓｃａｌａｂｌｅ：スケーラブルとも称す）符号化は、解像度が異なる複数個の層（基本層（ｂａｓｅ ｌａｙｅｒ）、高位層）を伝送し復号化することができる機能である。複数個の異なる解像度を有する情報を伝送するためには、一般的な符号化方法よりさらに多い情報を伝送しなければならない。伝送する情報量を減らすために、図１５に図示のように低解像度の基本層（ｂａｓｅ ｌａｙｅｒ）を利用し、高解像度の高位層（ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ：エンハンスメント階層とも称す）を推定する方法を適用する。
【０００３】
二進映像情報を複数個の層（ｌａｙｅｒ）を用いて伸縮型（Ｓｃａｌａｂｌｅ）符号化する方法においても、前記のように基本層を利用するか、または複数層により構成された場合、高位層では下層を用いて効果的に符号化する。
【０００４】
図１５は、一般的な映像情報の伸縮型符号化方法を示す。
ここでは、高位層の１段階のみ表示したが、一般的に多段階の高位層が含まれる。従って、現在階層（ｃｕｒｒｅｎｔ ｌａｙｅｒ）のすぐ下の下位階層（ｌｏｗｅｒ ｌａｙｅｒ）は最下位階層（基本層）であることもあり、高位層中の一階層であることもある。二進映像（ｂｉｎａｒｙ ｉｍａｇｅ）情報に対する伸縮型符号化方法も、一般的な伸縮型符号化方法と同じ構造を有する。
【０００５】
二進映像に対する高位層を符号化するために、イントラ映像（“Ｉｎｔｒａ‐Ｐｉｃｔｕｒｅ）の高位層の場合は、図１５に図示のようにすぐ下層（ｌｏｗｅｒ ｌａｙｅｒ）から予測して符号化する。高位層の予測映像（Ｐｒｅｄｉｃｔｅｄ‐Ｐｉｃｔｕｒｅ）の場合には、すぐ下層の映像と以前映像の両方から予測して符号化する。
【０００６】
映像情報を符号化する過程においては、ブロック単位（１６×１６の大きさ）の符号化を遂行する。二進映像情報に対するブロック（Ｍａｃｒｏ Ｂｌｏｃｋ：以下、ＭＢと称す）を符号化する際に、高位層のＩ−ピクチャ（Ｉ‐Ｐｉｃｔｕｒｅ）または高位層のＰ−ピクチャ（Ｐ‐Ｐｉｃｔｕｒｅ）において、Ｉｎｔｒａ ＭＢ、すなわち、二進映像から予測せずに、自分の下層のみを使用して符号化しなければならないＭＢは、ＩＳＯ／ＩＥＣ ＷＧ１１のＶＭ（ｖｅｒｉｆｉｃａｔｉｏｎ Ｍｏｄｅｌ）７．０に提示されたスキャンインターリーブ（ｓｃａｎ Ｉｎｔｅｒｌｅａｖｉｎｇ）方法を使用して符号化しなければならない。そして、その以外のＭＢは、基本層の符号化方法であるＣＡＥ方法を使用して符号化する。
【０００７】
スキャンインターリーブ方法が図１６に図示されている。基本層で高位層を符号化するために、下と上の二つの隣接する画素値を利用する。もし、二つの隣接画素値が同一な場合、現在位置の画素値も同一値を有する可能性が高い。従って、二つの隣接画素値が同一で現在位置の画素値も二つの隣接画素値と同一な場合は符号化しなくてもよい。
【０００８】
二つの隣接画素値が異なる場合は、現在位置の画素値を符号化しなければならない。この場合をトランジショナルサンプルデータ（ＴＳＤ：Ｔｒａｎｓｉｔｉｏｎａｌ Ｓａｍｐｌｅ Ｄａｔａ）という。そして、二つの隣接画素値は同一であるが、現在位置の画素値が異なる場合も符号化しなければならない。この場合をエクセプショナルサンプルデータ（ＥＳＤ：Ｅｘｃｅｐｔｉｏｎａｌ Ｓａｍｐｌｅ Ｄａｔａ）という。従って、高位層をスキャンインターリーブ方法を用いて符号化するためには、２種類のデータ（ＴＳＤ、ＥＳＤ）を符号化しなければならない。
【０００９】
スキャンインターリーブ方法を用いて符号化する場合、ＴＳＤとＥＳＤを符号化するために、まず、ＥＳＤの存在有無に対する情報が伝送され、ＥＳＤが存在するＭＢと存在しないＭＢに対してスキャンインターリーブの適用範囲を異なるようにする。
【００１０】
図１７（ａ）及び（ｂ）は、ＣＡＥ（Ｃｏｎｔｅｘｔ‐ｂａｓｅｄ Ａｒｉｔｈｍｅｔｉｃ ＥｎＣｏｄｅ）方法に使用されるコンテキストを示す。図１７（ａ）に図示のように、符号化対象画素Ｙを囲む周辺画素により構成されるコンテキストの位置によってコンテキストインデックス（Ｃｏｎｔｅｘｔ＿ＩＤ）が決定される。Ｘ、Ｙ位置の情報を伝送するためにＣ０−Ｃ６から構成されるコンテキストインデックス（Ｃｏｎｔｅｘｔ＿ＩＤ）形態の発生頻度数によって既に決定されているＡｒｉｔｈｍｅｔｉｃ符号化テーブルにより符号化される。
【００１１】
【発明が解決しようとする課題】
このように、スキャンインターリーブ方法により符号化しないＭＢは、基本層（ｂａｓｅ ｌａｙｅｒ）の符号化方法と同じ方法（例えば、ＣＡＥ方法）を使用して符号化する。その中の高位層のＰ−ピクチャにおいて、Ｉｎｔｅｒ ＭＢは、動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を用いて二進映像から予測して符号化する。
【００１２】
また、他の場合は、ＭＢ内の全ての画素が‘０’値を有するか、または全ての画素が‘２５５’の値を有する場合は符号化する必要がなく、“全ての画素が‘０’である”または“全ての画素画‘２５５’である”という付加情報（Ｍｏｄｅ情報）のみを伝送する。ここで、符号化しようとする映像は二進映像であるので、各画素は‘０’または‘２５５’の２つの値のみを有することができる。一般的に‘０’は背景（ｂａｃｋｇｒｏｕｎｄ）を表し、‘２５５’は物体（ｏｂｊｅｃｔ）を示す。
【００１３】
このように二進映像を符号化するためには、各ＭＢによって符号化方法が異なるように決定され、各ＭＢがどのような符号化方法を使用したかに対する付加情報（Ｍｏｄｅ）を伝送しなければならない。この場合、付加情報（Ｍｏｄｅ）に対する種類と付加情報の符号（ｆｉｒｓｔ ｓｈａｐｅ Ｃｏｄｅ）に対するテーブルが必要である。
【００１４】
Ｉ−ピクチャとＰ−ピクチャ、そしてＢ−ピクチャの高位層に対する既存の付加情報（Ｍｏｄｅ）の構成は下記のとおりである。
【００１５】
＜Ｉ−ピクチャの高位層のモード＞
１）ａｌｌ＿０：ＭＢ内の全ての画素が背景（“０”）
２）ａｌｌ＿２５５：ＭＢ内の全ての画素が物体（“２５５”）
３）Ｉｎｔｒａ ｃｏｄｅｄ：ＥＳＤ（Ｅｘｃｅｐｔｉｏｎａｌ Ｓａｍｐｌｅ Ｄａｔａ）が存在すれば、ＭＢ内の全ての画素に対してスキャンインターリーブ方法を使用して符号化する。ＥＳＤが存在しなければＴＳＤ（Ｔｒａｎｓｉｔｉｏｎａｌ Ｓａｍｐｌｅ Ｄａｔａ）のみスキャンインターリーブ方法を使用して符号化する。
【００１６】
＜Ｐ−ピクチャまたはＢ−ピクチャの高位層のモード＞
１）ａｌｌ＿０：前記の説明と同一
２）ａｌｌ＿２５５：前記の説明と同一
３）Ｉｎｔｒａ ｃｏｄｅｄ：前記の説明と同一
４）Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ：下位階層の領域を補間（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）して作ったＭＢが現在階層のＭＢとの差が基準値以下
５）Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０：動きベクトルを使用して以前映像から持ってきたＭＢと現在ＭＢを使用しＣＡＥ（Ｃｏｎｔｅｘｔ ｂａｓｅｄ Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｉｎｇ）で符号化する。動きベクトルは“０”。
【００１７】
６）Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０：動きベクトルを使用して以前映像から持ってきたＭＢと現在ＭＢの差が基準値以下であり、動きベクトルは“０”。
７）Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０：動きベクトルを使用して以前映像から持ってきたＭＢと現在ＭＢを使用してＣＡＥ符号化。
８）Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０：動きベクトルを使用して以前映像から持ってきたＭＢと現在ＭＢとの差が基準値以下。
【００１８】
前記のように符号化されたデータは下記のように復号化される。二進映像の各ＭＢに対するビットストリーム（ｂｉｔ ｓｔｒｅａｍ）の最初にモードを表示する付加情報が入っている。各ＭＢを復号化するために、まずビットストリームからモード情報を読む。
【００１９】
Ｐ−ピクチャとＢ−ピクチャの高位層に対する既存の付加情報（Ｍｏｄｅ）を伝送するための符号化テーブルが構成されている。この時、伝送されるビット数を減らすために、下の階層または以前映像から予測して構成する。構成方法は、すぐ下の階層の該当ＭＢが“ａｌｌ＿０”または“ａｌｌ＿２５５”の場合とその以外の場合とに対する符号化テーブルが構成される。
【００２０】
すぐ下の階層の該当ＭＢモードのすべてが“ａｌｌ＿０”でもなく“ａｌｌ＿２５５”でもない場合は、すぐ以前の映像の同じ階層の該当ＭＢのモードによって符号化テーブルが構成される。
【００２１】
＜すぐ下の階層の該当ＭＢモードのすべてが“ａｌｌ＿０”の場合＞
Ｍｏｄｅ Ｃｏｄｅ
（１） ０１１１
（２） ０１１０００１
（３） ０１１００００
（４） ０１０
（５） ００
（６） ０１１０１
（７） ０１１００１
（８） １
【００２２】
＜すぐ下の階層の該当ＭＢモードのすべてが“ａｌｌ＿２５５”の場合＞
Ｍｏｄｅ Ｃｏｄｅ
（１） １
（２） ００１０１００
（３） ０００
（４） ００１０１０１
（５） ００１１
（６） ００１０１１
（７） ００１００
（８） ０１
【００２３】
各ＭＢ当たり高位層に対する既存の付加情報（Ｍｏｄｅ）は、Ｉ−ピクチャの場合に３種類（ａｌｌ＿０、ａｌｌ＿２５５、Ｉｎｔｒａ ｃｏｄｅｄ）であり、Ｐ−ピクチャの場合に８種類（ａｌｌ＿０、ａｌｌ＿２５５、Ｉｎｔｒａ ｃｏｄｅｄ、Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ、Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０、Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０、Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０、Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０）である。付加情報の種類が多ければ各モードを表現するためのビット数が多くなり、従って、伝送されるビット量が多いことを意味する。
【００２４】
図１８は現在層（ｃｕｒｒｅｎｔ ｌａｙｅｒ）と下層（ｌｏｗｅｒ ｌａｙｅｒ）間の関係を説明する。現在層と下層の映像は互いに大きさが同一な場合もあり、異なる場合もある。大きさが互いに異なる場合、垂直、水平に共に異なることもあり、一方向のみ異なる場合もある。図１８は、水平のみ異なる場合を説明する。映像の大きさが異なっても、全層の各ＭＢの大きさ（１６×１６）は一定である。従って、現在層の映像が下層の映像より大きい場合は、現在層のＭＢは下層のＭＢ内に含まれる（現在層のＭＢ多数個が下層の１個のＭＢに該当する）。即ち、現在層の映像がダウンサンプリングされ、下層の映像を構成するからである。図１８に図示のように、現在層が下層の２倍の大きさであり、この場合は現在層のＭＢが下層ＭＢの半分（下層の斜線領域）に該当する。
【００２５】
本発明は前記のような従来の問題点を解消するためのもので、本発明の目的は、符号化方法を表示する付加情報の種類と、付加情報の種類を減らして符号化効率を向上させる、下層と現在層のモードを利用したスケーラブル二進映像符号化／復号化方法及び装置を提供するものである。
【００２６】
【課題を解決するための手段】
前記のような目的を達成するために、本発明に係るスケーラブル二進映像符号化方法は、下層映像より高い解像度を有する少なくとも一つのエンハンスメント階層映像を含むスケーラブル二進映像を、エンハンスメント階層の符号化モードを利用して符号化するためのスケーラブル二進映像符号化方法において、エンハンスメント階層の映像を所定大きさのブロックに分割する第１ステップと、前記エンハンスメント階層の現在ブロックと該当領域の下層ブロックを利用して予測されたブロックまたは下層の動きベクトルを利用してエンハンスメント階層の以前ブロックから予測されたブロックを比較する第２ステップと、前記第２ステップでの比較結果、前記エンハンスメント階層にあるブロックがＰ−ＶＯＰである場合、「intra not coded」モードまたは「intra coded」モードのいずれか一つを前記Ｐ−ＶＯＰに対する符号化モードを表す付加情報として伝送する第３ステップと、前記第２ステップでの比較結果、前記エンハンスメント階層にあるブロックがＢ−ＶＯＰである場合、「intra not coded」モード、「intra coded」モード、「inter not coded」モードまたは「inter coded」モードのいずれか一つを前記Ｂ−ＶＯＰに対する符号化モードを表す付加情報として伝送する第４ステップとを含み、前記「 intra not coded 」モードは、各エンハンスメント階層ブロックにある画素の中で、該当領域の下層ブロックを利用して予測されたブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、前記「 intra coded 」モードは、各エンハンスメント階層ブロックにある画素の中で該当領域の下層ブロックを利用して予測されたブロックの画素と異なる値を有する画素の数が基準値より大きい場合を表し、前記「 inter not coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のブロックから予測されたエンハンスメント階層ブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、前記「 inter coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のブロックから予測されたエンハンスメント階層ブロックの画素と異なる値を有する画素数が基準値より大きい場合を表すことを特徴とするものである。
また、本発明に係るスケーラブル二進映像復号化方法は、下層映像より高い解像度を有する少なくとも一つのエンハンスメント階層映像を含むスケーラブル二進映像（scalable shape binary image）を、エンハンスメント階層ブロックの符号化モードを利用して復号化するためのスケーラブル二進映像復号化方法において、（１）「intra not coded」モード、（２）「intra coded」モード、（３）「inter not coded」モードまたは（４）「inter coded」モードのいずれか一つである前記エンハンスメント階層の符号化モードを表す付加情報を受信して、符号化モードを決定する第１ステップと、前記エンハンスメント階層にあるブロックがＰ−ＶＯＰである場合、Ｐ−ＶＯＰに対する符号化モードとして「intra not coded」モードまたは「intra coded」モードのいずれか一つを受信して、前記符号化モードに応じて該当領域の下層ブロックを利用して前記エンハンスメントの現在階層ブロックに存在する画素を再生する第２ステップと、前記エンハンスメント階層にあるブロックがＢ−ＶＯＰである場合、Ｂ−ＶＯＰに対する符号化モードとして「intra not coded」モード、「intra coded」モード、「inter not coded」モードまたは「inter coded」モードのいずれか一つを受信して、前記符号化モードに応じて下層ブロックの動きベクトルとエンハンスメント階層の以前ブロックを利用して前記エンハンスメント階層の現在ブロックを再生する第３ステップとを含み、前記「 intra not coded 」モードは、各エンハンスメント階層ブロックにある画素の中で、該当領域の下層ブロックを利用して予測されたブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、前記「 intra coded 」モードは、各エンハンスメント階層ブロックにある画素の中で該当領域下層の部ブロックを利用して予測された画素と異なる画素を有する画素の数が基準値より大きい場合を表し、前記「 inter not coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のブロックから予測されたエンハンスメント階層ブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、前記「 inter coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のブロックか ら予測されたエンハンスメント階層ブロックの画素と異なる値を有する画素数が基準値より大きい場合を表し、前記第２ステップは、前記符号化モードが「 intra not coded 」であり、前記エンハンスメント階層ブロックに相応する下層ブロックの全画素が「０」である場合、前記エンハンスメント階層ブロック内の全画素を「０」に置き換えるステップと、前記符号化モードが「 intra not coded 」であり、前記エンハンスメント階層ブロックに相応する下層ブロックの全画素が「２５５」である場合、前記エンハンスメント階層ブロック内の全画素を「２５５」に置き換えるステップと、前記符号化モードが「 intra not coded 」であり、前記エンハンスメント階層ブロックに相応する下層ブロックの全画素が「０」でもなく「２５５」でもない場合、前記下層ブロックから予測されて構成されたブロックをエンハンスメント階層ブロックで用いるステップとを備えることを特徴とする。
また、本発明に係るスケーラブル二進映像符号化装置は、下層映像より高い解像度を有する少なくとも一つのエンハンスメント階層映像を含むスケーラブル二進映像を、エンハンスメント階層の符号化モードを利用して符号化するためのスケーラブル二進映像符号化装置において、前記エンハンスメント階層の映像を所定大きさのブロックに分割するための分割手段と、前記エンハンスメント階層の現在ブロックと該当領域の下層ブロックを利用して予測されたブロックまたは下層の動きベクトルを利用してエンハンスメント階層の以前ブロックから予測されたブロックを比較する比較手段と、前記比較手段での比較結果、前記エンハンスメント階層にあるブロックがＰ−ＶＯＰである場合、「intra not coded」モード及び「intra coded」モードのいずれか一つを、前記Ｐ−ＶＯＰに対する符号化モードを表す付加情報として伝送するための第１符号化手段と、前記比較手段での比較結果、前記エンハンスメント階層にあるブロックがＢ−ＶＯＰである場合、「intra not coded」モード、「intra coded」モード、「inter not coded」モード及び「inter coded」モードのいずれか一つを、前記Ｂ−ＶＯＰに対する符号化モードを表す付加情報として伝送するための第２符号化手段とを含み、前記「 intra not coded 」モードは、各エンハンスメント階層ブロックにある画素の中で、該当領域の下層ブロックを利用して予測されたブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、前記「 intra coded 」モードは、各エンハンスメント階層ブロックにある画素の中で該当領域の下層ブロックを利用して予測されたブロックの画素と異なる値を有する画素の数が基準値より大きい場合を表し、前記「 inter not coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のＶＯＰブロックから予測されたエンハンスメント階層ブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、「 inter coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のブロックから予想されたエンハンスメント階層ブロックの画素と異なる値を有する画素数が基準値より大きい場合を表すことを特徴とする。
また、本発明に係るスケーラブル二進映像復号化装置は、下層映像より高い解像度を有する少なくとも一つのエンハンスメント階層映像を含むスケーラブル二進映像を、エンハンスメント階層の符号化モードを利用して復号化するためのスケーラブル二進映像復号化装置において、（１）「intra not coded」モード、（２）「intra coded」モード、（３）「inter not coded」モードまたは（４）「inter coded」モードのいずれか一つである前記エンハンスメント階層の符号化モードを表す付加情報を受信して、符号化モードを決定するための符号化モード決定手段と、前記エンハンスメント階層にあるブロックがＰ−ＶＯＰである場合、Ｐ−ＶＯＰに対する符号化モードに「intra not coded」モード及び「intra coded」モードのいずれか一つを受信して、前記符号化モードに応じて該当領域の下層ブロックを利用して前記エンハンスメント階層の現在ブロックに存在する画素を再生するための第１復号化手段と、前記エンハンスメント階層にあるブロックがＢ−ＶＯＰである場合、Ｂ−ＶＯＰに対する符号化モードに「intra not coded」モード、「intra coded」モード、「inter not coded」モードまたは「inter coded」モードのいずれか一つを受信して、前記符号化モードに応じて下層ブロックの動きベクトルとエンハンスメント階層の以前ブロックを利用して前記エンハンスメント階層の現在ブロックを再生するための第２復号化手段とを含み、前記「 intra not coded 」モードは、各エンハンスメント階層ブロックにある画素の中で該当領域の下層ブロックを利用して予測されたブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、前記「 intra coded 」モードは、各エンハンスメント階層ブロックにある画素の中で該当領域の下層ブロックを利用して予測されたブロックの画素と異なる値を有する画素の数が基準値より大きい場合を表し、前記「 inter not coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のブロックから予測されたエンハンスメント階層ブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、前記「 inter coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のブロックから予測されたエンハンスメント階層ブロックの画素と異なる値を有する画素の数が基準値より大きい場合を表し、前記第１復号化手段は、前記符号化モードが「 intra not coded 」であり、前記エンハンスメント階層ブロックに相応する下層ブロックの全画素が「０」である場合、前記エンハンスメント階層ブロック内の全画素を「０」に置き換える手段と、前記符号化モードが「 intra not coded 」であり、前記エンハンスメント階層ブロックに相応する下層ブロックの全画素が「２５５」である場合、前記エンハンスメント階層ブロック内の全画素を「２５５」に置き換える手段と、前記符号化モードが「 intra not coded 」であり、前記エンハンスメント階層ブロックに相応する下層ブロックの全画素が「０」でもなく「２５５」でもない場合、前記下層ブロックから予測されて構成されたブロックをエンハンスメント階層ブロックで用いる手段とを備えることを特徴とする。
【００５７】
【発明の実施の形態】
本発明においては、“ａｌｌ＿０”、“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”の３種類のモードの代わりに１つのモード“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”のみを使用する。送信端で“ａｌｌ＿０”、“ａｌｌ＿２５５”または“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”に決定されたＭＢは全て“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードに伝送される。受信端では下階層の画素等を参照し、“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードから再び“ａｌｌ＿０”、“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”とを区別する。
【００５８】
“Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０”と“Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０”は、“Ｉｎｔｅｒ ｃｏｄｅｄ”で表現し、“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０”と“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０”は、“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”で表現する。その結果、Ｉ−ピクチャは符号化モードを２種類のモードに減らすことができ、Ｐ−ピクチャ（またはＢ−ピクチャ）は符号化モードを４種類に減らすことができる。このようなモードを使用して符号化テーブルを作る。符号化テーブルは下層と高位層の相関性を考慮して下層モードに対し発生する高位層のモードを符号化する。各下層モードに対し発生確率が高い高位層のモードであるほど少ないビット量を割り当てて符号化する。
以下、本発明の技術的思想に従う一実施の形態をあげて、その構成及び動作を添付図面に基づいて詳細に説明する。
【００５９】
Ｉ−ピクチャ（例えば、ＶＯＰ、フレーム、１６×１６マクロブロック等）の高位層に対する符号化モードは、従来方式のモード中“ａｌｌ＿０”、“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”（下層からアップサンプリングして構成されたＭＢと現在のＭＢとの間の差が基準値以下である場合に該当し、既存方式における“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”を意味する。以後、本発明において新たに定義された“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”と従来の“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”を区別するために、従来の“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”は、“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”と表示する）の３種類のモードを１つのモード“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”のみを使用して表示することにより、Ｉ−ピクチャの高位層に対する符号化モードを、下記のように２種類のモードにする。
【００６０】
（１）“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”
（２）“Ｉｎｔｒａ ｃｏｄｅｄ”
１．符号化モードが“Ｉｎｔｒａ ｃｏｄｅｄ”の場合
１）ＥＳＤの存在有無に対する情報を送る。
２）ＥＳＤが存在するとＭＢ全体をＣＡＥ遂行し、ＥＳＤが存在しなければＴＳＤのみＣＡＥを遂行する。
【００６１】
２．符号化モードが“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”の場合は、下記に説明する３つの場合を含む。
１）下層のＭＢが“ａｌｌ＿０”の場合であり、高位層のＭＢも“ａｌｌ＿０”の場合または高位層のＭＢを“ａｌｌ＿０”とする場合、１ＭＢ内で高位層ＭＢと差異があるピクセル（ｐｉｘｅｌ）個数の和が基準値以下の場合。
２）下層のＭＢが“ａｌｌ＿２５５”の場合であり、高位層のＭＢも“ａｌｌ＿２５５”の場合、または高位層のＭＢを“ａｌｌ＿２５５とする場合、１ＭＢ内で高位層ＭＢと差異があるピクセル個数の和が基準値以下の場合。
【００６２】
３）下層のＭＢが“ａｌｌ＿０”でもなく“ａｌｌ＿２５５”でもない場合、下層のＭＢからアップサンプリング（ｕｐ ｓａｍｐｌｉｎｇ）したとき、１ＭＢ内で高位層のＭＢと差がでるピクセル個数の和が基準値以下の場合（即ち、下階層からアップサンプリングして構成されたＭＢと現在のＭＢとを比較して決定するが、ＭＢを４×４ブロックに分割しアップサンプリングして構成されたＭＢと現在のＭＢと間のエラーが臨界値より小さい場合または同一な場合）。
【００６３】
従って、復号化時には、“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”を表示する付加情報を受信し、下層を参照し、下層が“ａｌｌ＿０”の場合、高位層のＭＢの全てを“０”に詰める。下層が“ａｌｌ＿２５５”の場合、高位層のＭＢの全てを“２５５”に詰める。また下層が“ａｌｌ＿０”や“ａｌｌ＿２５５”でない場合、下層のＭＢからアップサンプリングして高位層のＭＢをつくる。
【００６４】
図１は本発明によるＩ−ピクチャの高位層を符号化する方法を示すフローチャートである。
段階ＳＴ５０１で現在のマクロブロックが“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”であるかを判断する。本発明では“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”が“ａｌｌ＿０”、“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”（従来の“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”である）の３種類のモードを含むので、図２に説明される過程により“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードであるかを判断する。
【００６５】
現在マクロブロックが“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードでない場合、段階ＳＴ５０２で“Ｉｎｔｒａ ｃｏｄｅｄ”モードを表示する付加情報を復号器側に伝送し、現在マクロブロックをスキャンインターリーブ（Ｓｃａｎ Ｉｎｔｅｒｌｅａｖｉｎｇ）方法により符号化して復号器側に伝送する。即ち、ＥＳＤの存在有無に対する情報を送り、ＥＳＤが存在するとＭＢの全体をＣＡＥ遂行し、ＥＳＤが存在しなければＴＳＤのみＣＡＥを遂行する。
【００６６】
現在マクロブロックが“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードの場合、段階ＳＴ５０３で“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードを表示する付加情報を復号化側に伝送する。
本発明では“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”が“ａｌｌ＿０”、“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”（従来の“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”である）を意味するので、図２において説明するように前記３種類の場合に該当するかを判断する。
【００６７】
図２は本発明による高位層映像が“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードであるかを判断する方法を示すフローチャートである。
段階ＳＴ６０１で、現在マクロブロックに該当する下層ＭＢが“ａｌｌ＿０モードであるかを判断する。前記下層ＭＢが“ａｌｌ＿０”の場合、段階ＳＴ６０２で、現在のマクロブロックが“ａｌｌ＿０”モードであるかを判断する。現在マクロブロックと対応する下層領域が同時に“ａｌｌ＿０”モードの場合、“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードを表示する付加情報を復号器側に伝送する。
【００６８】
現在マクロブロックまたは対応する下層ＭＢが“ａｌｌ＿０”モードでない場合、段階ＳＴ６０３で、現在マクロブロックに対応する下層ＭＢが“ａｌｌ＿２５５”モードであるかを判断する。前記の下層ＭＢが“ａｌｌ＿２５５”モードの場合、段階ＳＴ５０４で、現在のマクロブロックが“ａｌｌ＿２５５”モードであるかを判断する。現在マクロブロックと対応する下層ＭＢが同時に“ａｌｌ＿２５５”モードの場合、“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードを表示する付加情報を復号器側に伝送する。現在マクロブロックまたは対応する下層ＭＢが“ａｌｌ＿２５５”モードでない場合、段階ＳＴ６０５で、現在マクロブロックが“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”モードであるかを判断する。現在マクロブロックが “Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”モードの場合、“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードを表示する付加情報を復号器側に伝送する段階に進行する。現在マクロブロックが“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”モードでない場合、“Ｉｎｔｒａ ｃｏｄｅｄ”または“Ｉｎｔｅｒ ｃｏｄｅｄ”モードを符号化する段階に進行する。
【００６９】
復号化受信端では、図３及び図４に図示のように、“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードから復号化し、“ａｌｌ＿０”、“ａｌｌ＿２５５”と“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”とを分離し、それぞれに該当する動作を行う。ビットストリームから復号したモード情報が“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”である場合、図３に図示されたように復号化する。
【００７０】
段階ＳＴ７０１で、下層のＭＢが“ａｌｌ＿０”であるか、または現在マクロブロックのＭＢに該当する下層領域内の全ての画素（ｓａｍｐｌｅ）が０の場合、現在層のＭＢは“ａｌｌ＿０”に該当し、段階ＳＴ７０２で現在層ＭＢ内の全ての画素は０に置換される。
【００７１】
段階ＳＴ７０３で、下層のＭＢが“ａｌｌ＿２５５であるか、または現在層ＭＢに該当する下層領域内の全ての画素が２５５の場合、現在層ＭＢは“ａｌｌ＿２５５”に該当し、段階ＳＴ７０４で、現在層ＭＢ内の全ての画素は２５５に置換される。
【００７２】
下層のＭＢが“ａｌｌ＿０”でもなく“ａｌｌ＿２５５”でもない場合は、現在層ＭＢに該当する下層の領域内に‘０’と‘２５５’を有する画素が共に存在する場合である。既存の方法での“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”に該当する。この場合、段階ＳＴ７０５で、下層から予測されて構成されたＭＢを現在層のＭＢとして使用する。
【００７３】
従来の方式でＰ−ピクチャとＢ−ピクチャの高位層モードは、前述したように８種類から構成されるが、本発明による符号化方法では、３種類のモード“ａｌｌ＿０”、“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”（従来の“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”）は、“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードに符号化され復号化装置に伝送される。これはＩ−ピクチャの高位層モードと同じ方法である。
【００７４】
また、本発明では、動きベクトルを伝送しないことにより、動きベクトルを探すための複雑度を減らす。従って、従来の“Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０”と“Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０”は“Ｉｎｔｅｒ ｃｏｄｅｄ”として表現し、“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０”と“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０”は“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”として表現する。その結果、Ｐ−ピクチャ（またはＢ−ピクチャ）の高位層に対する符号化モードを、下記のように４種類のモードにする。
【００７５】
（１）“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”（“ａｌｌ＿０”、“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”）
（２）“Ｉｎｔｒａ ｃｏｄｅｄ”
（３）“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”（“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０”、“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０”）
（４）“Ｉｎｔｅｒ ｃｏｄｅｄ”（“Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０”、“Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０”）
符号化モードが“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”と“Ｉｎｔｒａ ｃｏｄｅｄ”の場合、Ｉ−ＶＯＰの高位層の“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”と“Ｉｎｔｒａ ｃｏｄｅｄ”の意味と同一である。
【００７６】
“Ｉｎｔｅｒ ｃｏｄｅｄ”と“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”の場合、以前のＶＯＰから動き補償してマクロブロックを持ってくるために動きベクトルが必要である。動きベクトルは基本層（ｂａｓｅ ｌａｙｅｒ）の動きベクトルをＶＯＰ大きさの比率に調整して使用する。現在層の映像がダウンサンプリングされ下層の映像を構成するためである。図１８に示されたように、現在層が下層の水平方向に２倍である場合、現在層のＭＢが下層ＭＢの比率に従って下層の動きベクトルを水平成分を２倍して現在層の動きベクトルとする。
【００７７】
下層が“ＭＶＤｓ＝＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ”または“ＭＶＤｓ！＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ”の場合は動きベクトルが０である。“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”は下層の動きベクトルを利用して、以前映像から持ってきたＭＢと比較して、差がでる画素のＭＢ内の和が基準値以下の場合を意味する。従って、符号化モードが“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”の場合は、下層の動きベクトルを用いて以前映像から持ってきて、追加の符号化または復号化をしない。
【００７８】
下層が“ＭＶＤｓ＝＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ”または“ＭＶＤｓ！＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ”の場合は動きベクトルが０である。“Ｉｎｔｅｒ ｃｏｄｅｄ”は下層の動きベクトルを利用して、以前のＶＯＰから持ってきたＭＢと比較して、差がある画素のＭＢ内の和が基準値以上の場合を意味する。従って、符号化モードが“Ｉｎｔｅｒ ｃｏｄｅｄ”の場合は、下層の動きベクトルを用いて以前映像から持ってきたＭＢを使用してＣＡＥを遂行することによって高位層ＭＢを得る。
【００７９】
本発明では、Ｐ−ピクチャとＢ−ピクチャの高位層（ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ）のモードは、既存方式の８種類モードから４種類モードに減らすことができる。
【００８０】
図５は、本発明のよる高位層Ｐ−ピクチャとＢ−ピクチャを符号化するフローチャートである。段階ＳＴ９０１で、現在マクロブロックが“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”であるかが、前記の図２で説明した方法により判断される。“Ｉｎｔｒａｎｏｔ ｃｏｄｅｄ”の場合は符号化せず、段階ＳＴ９０２で“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードを表示する付加情報のみ伝送される。“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”でなければ，段階ＳＴ９０３で前述した方式のとおりに“Ｉｎｔｅｒ ｃｏｄｅｄ”及び“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”の動きベクトルは基本層（ｂａｓｅ ｌａｙｅｒ）の動きベクトルを現在層の映像と下層の映像の大きさの比率に調整して動きベクトルを再生する。段階ＳＴ９０４で、現在マクロブロックが“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”であるかを判断する。“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”の場合、段階ＳＴ９０５で、現在マクロブロックを符号化せずに、“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”モードを表示する付加情報のみ伝送される。
【００８１】
現在マクロブロックが“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”でない場合、段階ＳＴ９０６で、現在マクロブロックが“Ｉｎｔｒａ ｃｏｄｅｄ”であるかを判断する。現在マクロブロックが“Ｉｎｔｒａ ｃｏｄｅｄ”である場合、段階ＳＴ９０８で、“Ｉｎｔｒａ ｃｏｄｅｄ”モードを表示する付加情報と現在マクロブロックをスキャンインターリーブ方法により符号化したデータを復号化装置に伝送する。“Ｉｎｔｒａ ｃｏｄｅｄ”でない場合、段階ＳＴ９０７で“Ｉｎｔｅｒ ｃｏｄｅｄ”モードを表示する付加情報を伝送し、現在マクロブロックをＣＡＥ（ＣＡＥ：Ｃｏｎｔｅｘｅｄ‐ｂａｓｅｄ Ａｒｉｔｈｍｅｔｉｃ ＥｎＣｏｄｅ）符号化して復号化装置に伝送する。
【００８２】
“Ｉｎｔｅｒ ｃｏｄｅｄ”と“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”の場合、以前の映像から動き補償してＭＢを持ってくるために動きベクトルが必要である。動きベクトルは最下位階層（ｂａｓｅ ｌａｙｅｒ）の動きベクトルを映像の大きさの比率で調整した後に使用する。
最下位階層から動きベクトルを得る方法は下記のとおりである。
【００８３】
１．最下位階層の該当ＭＢのモードが“ａｌｌ＿０”、“ａｌｌ＿２５５”または“ＩｎｔｒａＣＡＥ”の場合、現在階層のＭＢの動きベクトルは０である。
２．最下位階層の該当ＭＢのモードが“ＭＶＤｓ＝＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ”、“ＭＶＤｓ！＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ”、“ＩｎｔｅｒＣＡＥ ＆＆ ＭＶＤｓ＝＝０”または“ＩｎｔｅｒＣＡＥ ＆＆ ＭＶＤｓ！＝０”の場合、最下位階層で再生された動きベクトルを使用する。
【００８４】
このとき、最下位階層の映像と現在階層映像の大きさの比率によって、最下位階層の動きベクトルを調整する。ｘ軸の動きベクトルは、映像のｘ軸大きさの比率によって調整され、ｙ軸の動きベクトルは映像のｙ軸大きさの比率によって調整される。例えば図６において、現在階層の映像１０１が最下位階層の映像１０２よりｘ軸にｎ倍大きいとすれば、現在階層の動きベクトルＶは、基本層の動きベクトルｖをｎ倍掛ける。即ちＶ＝ｎ＊ｖとなる。また、ｙ軸にｍ倍大きいとすれば、現在ＭＢの動きベクトルは、最下位階層の動きベクトルでｙ軸動きベクトルにｍ倍掛けて得る。
【００８５】
図７は、本発明による高位層Ｐ−ピクチャまたはＢ−ピクチャを復号化するフローチャートである。まず、段階ＳＴ１１０でビットストリーム（Ｂｉｔ ｓｔｒｅａｍ）からモードが復号される。段階ＳＴ１１１で“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”の場合、段階ＳＴ１１２で、下層の該当マクロブロックのモードによって復号化せず画素を選択する。
【００８６】
“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”でない場合、段階ＳＴ１１３で、前記において説明した方式のとおり、“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”、“Ｉｎｔｅｒ ｃｏｄｅｄ”及び“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”の動きベクトルは、下層の動きベクトルをそのまま使用して動きベクトルを再生する。段階ＳＴ１１４で、現在マクロブロックが“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”モードであるかを判断する。モードが“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”の場合は、段階ＳＴ１１５で復号化せず以前の映像で動き補償して現在ＭＢの画素を詰める。“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”でない場合、段階ＳＴ１１６で、現在マクロブロックが“Ｉｎｔｒａ ｃｏｄｅｄ”であるかを判断する。“Ｉｎｔｒａ ｃｏｄｅｄ”の場合、段階ＳＴ１１８で、現在マクロブロックをスキャンインターリーブ方法により復号化する。“Ｉｎｔｒａ ｃｏｄｅｄ”でない場合、段階ＳＴ１１７で現在マクロブロックをＣＡＥ復号化する。
【００８７】
図８に本発明による伸縮型符号化装置の構成を示すブロック図が図示される。多数のサブサンプリング手段（１２１０、１２１１、．．．、１２１Ｎ−２、１２１Ｎ−１）は、その前端のサブサンプリング手段等（１２１０、１２１１、．．．、１２１Ｎ−２）から映像が入力されサブサンプリングする。多数のスキャン順序変換手段（１２２０、１２２１、．．．、１２２Ｎ−１、１２２Ｎ）は、前記サブサンプリング手段（１２１０、１２１１、．．．、１２１Ｎ−２、１２１Ｎ−１）でサブサンプリングされた各層の映像が入力され、所定大きさのマクロブロック単位に分割して出力する。
【００８８】
多数の伸縮型符号化手段（１２３０、１２３１、．．．、１２３Ｎ−１、１２３Ｎ）は、前記のスキャン順序変換手段（１２２０、１２２１、．．．、１２２Ｎ−１、１２２Ｎ）から各層の映像マクロブロック及び下層の映像ブロックと各層の以前の映像が入力され、“ａｌｌ＿０”、“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”の３種類のモードを１つのモードに符号化し、“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０”と“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０”とを“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”モードに、そして“Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ＭＶＤ＝０”と“Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０”を“Ｉｎｔｅｒ ｃｏｄｅｄ”に置いて伸縮型符号化する。
【００８９】
入力された映像（Ｐｉｃｔｕｒｅ）は、Ｎ−１層サブサンプリング手段（１２１Ｎ−１）とＮ層スキャン順序変換手段（１２２Ｎ）に入力される。Ｎ層スキャン順序変換手段（１２２Ｎ）は、Ｎ層の映像を所定大きさのマクロブロック（例え、１６×１６マクロブロック等）に分割して出力する。このマクロブロックは、Ｎ層の伸縮型符号化手段（１２３Ｎ）で伸縮型符号化され、ビットストリームで復号器側に伝送される。Ｎ層の伸縮型符号化手段（１２３Ｎ）は、Ｎ層の以前の映像、前記Ｎ層映像のマクロブロックとＮ−１層映像のマクロブロック及び基本層符号化手段（１２３０）の動きベクトルが入力されて伸縮型符号化する。
【００９０】
Ｎ−１層サブサンプリング手段（１２１Ｎ−１層）は、入力された映像をサブサンプリングしてＮ−１層映像に変換して出力する。例えば、映像を２×２マクロブロックに分割し、２×２マクロブロック当たり１つの画素を抽出して、サブサンプリングされた映像をつくる。このようにサブサンプリングされたＮ−１層映像は、Ｎ−１層スキャン順序変換手段（１２２Ｎ−１）で所定大きさのマクロブロックに分割され、Ｎ−１層伸縮型符号化手段（１２３Ｎ−１）に入力される。Ｎ−１層伸縮型符号化手段（１２３Ｎ−１）は、前記Ｎ−１層以前映像、Ｎ−１層映像のマクロブロックとＮ−１層映像のマクロブロック及び基本層符号化手段（１２３０）の動きベクトルが入力されて伸縮型符号化する。
【００９１】
このようにＮ層はＮ−１層に、Ｎ−１層はＮ−２層に、．．．数回サブサンプリングされ、このようにサブサンプリングされた各層の映像マクロブロック及びその下層の映像マクロブロックと各層の以前映像等が、多数の伸縮型符号化手段（１２３０、１２３１、．．．、１２３Ｎ−１、１２３Ｎ）に入力され、“ａｌｌ＿０”、“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”の３種類のモードは“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”のモードに符号化され、“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０”と“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０”は“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”モードに、そして“Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０”と“Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０”を“Ｉｎｔｅｒ ｃｏｄｅｄ”モードに伸縮型符号化される。従って、Ｎ＋１個階層の解像度を有する多数の映像層に伸縮型符号化される。
【００９２】
図９に本発明による伸縮型符号化手段の一実施の形態を示すブロック図が図示されている。各層の伸縮型符号化手段（１２３０、１２３１、．．．１２３Ｎ−１、１２３Ｎ）は同一な構造を有し、説明の便宜上、Ｎ層の伸縮型符号化手段（１２３Ｎ）に関して説明する。
【００９３】
動きベクトル調整手段１３１には、前記の基本層伸縮型符号化手段１２３０から動きベクトルが入力され、現在層と基本層の比率に拡大して出力する。動き補償手段１３２は、現在層（Ｎ層）の以前の映像と前記動きベクトル調整手段１３１から出力される調整された動きベクトルとが入力され、現在層の以前の映像から現在のマクロブロックに該当する部分を探して出力する。ＣＡＥ符号化手段１３３は、現在層映像のマクロブロックと動き補償された現在層の以前の映像が入力されてＣＡＥ符号化する。
【００９４】
スキャンインターリーブ符号化手段１３４には、現在層映像と下層（Ｎ−１層）映像のマクロブロックが入力され、スキャンインターリーブ方法により符号化する。“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モード決定手段１３５には、現在層映像と下層映像のマクロブロックが入力され、そのマクロブロックが“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードであるかを表示する信号を出力する。
【００９５】
“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”モード決定手段１３６には、現在層映像のマクロブロックと前記の動き補償手段１３２から出力される動き補償された現在層の以前の二進映像が入力され、現在層マクロブロックが“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”モードであるかに対する信号を出力する。比較手段１３７は、前記のスキャンインターリーブ符号化手段１３４とＣＡＥ符号化手段１３３から出力されるビットストリームの大きさを比較して小さいものを選択する信号を出力する。
【００９６】
モードテーブル貯蔵手段１３８は、前記の“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モード決定手段１３５、“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”モード決定手段１３６及び比較手段１３７から信号が入力され、その信号の組合によって選択されたモードに該当するデータを出力する。選択手段１３９には、前記の“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モード決定信号、“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”モード決定信号及び比較手段１３７の比較結果信号が入力され、前記のスキャンインターリーブ符号化手段１３４とＣＡＥ符号化手段１３３から出力される信号中のいずれか１つを選択して出力する。
【００９７】
“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モード決定手段１３５には、現在層（例えば、Ｎ層）映像のマクロブロックと下層（例えば、Ｎ−１層）映像のマクロブロックが入力され、前記現在層映像のマクロブロックが“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードであるかを決定し、その結果信号を出力する（図２参照）。
【００９８】
図１０に、本発明による“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モード決定手段の構成を示すブロック図が図示される。物体／背景非符号判断手段１４１は、現在マクロブロックに対応する下層のマクロブロックをアップサンプリングし、現在マクロブロックとの差分絶対値を抽出し、その差が臨界値より小さい値であるかを判断する。下層物体モード判断手段１４２は、現在マクロブロックに対応する下層のマクロブロックが入力されて物体モードであるかを判断する。
【００９９】
下層の背景モード判断手段１４３は、現在マクロブロックに対応する下層のマクロブロックが入力されて背景モードであるかを判断する。現在層の物体モード判断手段１４４は、現在マクロブロックが入力されて背景モードであるかを判断する。現在層背景エラー判断手段１４５は、現在マクロブロックが入力されて物体モードであるかを判断する。論理演算手段１４６は、前記の物体／背景非符号判断手段１４１、下層物体モード判断手段１４２、下層背景モード判断手段１４３、現在層の物体モード判断手段１４４及び現在層背景エラー判断手段１４５から出力される信号等を論理演算し、“ａｌｌ＿０”と“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”中のいずれ１つが発生したかを表示する信号を出力する。
【０１００】
物体／背景非符号判断手段１４１は、現在マクロブロックに対応する下層のマクロブロックをアップサンプリングするアップサンプリング手段１４１ａと、前記のアップサンプリングされた下層マクロブロックと現在マクロブロックとの差分絶対値を抽出する差分絶対値抽出手段１４１ｂと、前記の抽出された差分絶対値が臨界値より小さい値であるかを判断するエラー比較手段１４１ｃとから構成される。
【０１０１】
アップサンプリング手段１４１ａは、現在マクロブロックに対応する下層のマクロブロックを水平、垂直に反復させる補間（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）法等により、現在マクロブロックと同一な大きさのマクロブロックに変換させる。このアップサンプリングされた下層マクロブロックは、差分絶対値抽出手段１４１ｂで、現在マクロブロックとそれぞれ対応する画素同士の差分が計算され、その差分は絶対値が取られる。
【０１０２】
この場合、現在マクロブロックとアップサンプリングされた下層マクロブロックの各画素は、“０”または“２５５”であるので、差分に対する絶対値も“０”または“２５５”の値を有する。すなわち、互いに異なる値を引く場合のみ“２５５”値が出るので“２５５”を有する位置の画素は、現在マクロブロックとアップサンプリングされた下層マクロブロックが相互に異なるということを意味する。
【０１０３】
このように、差分の絶対値からなるマクロブロックがエラー比較手段１４１ｃに入力され、エラーが基準値以下であるかが検査される。即ち、差分の絶対値からなるマクロブロックが４×４大きさのマクロブロックに分割され、全てのマクロブロックのエラーが臨界値より小さい場合や同一な場合、エラーが基準値以下に判断する。エラーが基準値以下であれば“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”となり、前記エラー比較手段１４１ｃは“１”を出力する。
【０１０４】
下層の物体モード判断手段１４２は、現在マクロブロックに対応する下層の領域が全て物体値（例えば“２５５”）を有するかを判断して、全てが物体値の場合“１”を出力し、全てが物体値でない場合、“０”を出力する物体判断手段１４２ａと、下層の以前映像のＭＢモードと、前記物体判断手段１４２ａの出力をオア演算するオアゲート１４２ｂから構成される。
【０１０５】
現在マクロブロックに対応する下層のマクロブロックが、下層物体モード判断手段１４２に入力され、現在マクロブロックに対応する下層の領域を構成する全ての画素が物体値“２５５”値を有すると、“１”を出力して“ａｌｌ＿２５５”モードであることを表示する。そうでなければ、“０”信号を出力する。下層の以前映像のＭＢのモードと物体判断手段１４２ａ中いずれか１つでも“１”を出力すれば、すなわち現在マクロブロックに対応する下層マクロブロックの全ての画素が“２５５”であったり、“２５５”でない画素があってもその数が臨界値よりも小さい“ａｌｌ＿２５５”モードを表示して、オアゲート１４２ｂの出力は“１”になる。
【０１０６】
下層背景モード判断手段１４３は、現在マクロブロックに対応する下層の領域がすべて背景値（例えば“０”）を有するのかを判断し、すべて背景値である場合、“１”を出力し、すべて背景値でない場合、“０”を出力する背景判断手段１４３ａと、下層の以前映像のＭＢモードと上記背景判断手段１４３ａの出力をオア演算するオアゲート１４３ｂで構成される。
【０１０７】
現在マクロブロックに対応する下層のマクロブロックが下層背景モード判断手段１４３に入力され、現在マクロブロックに対応する下層の領域を構成するすべての画素が物体値“０”を有すれば、“１”を出力して“ａｌｌ＿０”モードであることを表示する。そうでない場合は“０”を出力する。下層の以前映像のＭＢのモードと背景判断手段１４３ａ中いずれか１つでも“１”を出力すれば、すなわち、現在マクロブロックに対応する下層マクロブロックの全ての画素が“０”であったり、“０”でない画素があってもその数が臨界値よりも小さい“ａｌｌ＿０”モードを表示して、オアゲート１４３ｂの出力は “１”となる。
【０１０８】
現在層の物体モード判断手段１４４は、入力される現在マクロブロックと全て“０”値を有するマクロブロックとの差分を求め、その絶対値を取る物体差分絶対値抽出手段１４４ａと、前記抽出された差分絶対値が臨界値より小さいかを判断するエラー比較手段１４４ｂから構成される。
【０１０９】
現在層のマクロブロックＭＢは、現在層の物体モード判断手段１４４に入力され、全て“０”値を有するマクロブロックと差分の絶対値が取られる。前記の差分絶対値は、エラー比較手段１４４ｂで臨界値より小さいかが判断される。臨界値より小さければ“ａｌｌ＿２５５”モードとなり、エラー比較手段１４４ｂは“１”を出力する。
【０１１０】
現在層背景エラー比較手段１４５には、現在マクロブロックが入力されて前記の現在マクロブロックを４×４ブロックに分割し、そのマクロブロック等のエラーが臨界値（１６×Ａｌｐｈａ）より小さい場合や同一な場合にエラーが基準値以下であると判断する。エラーが基準値以下であると判断されると、“１”を出力し、現在マクロブロックが“ａｌｌ＿０”モードであることを表示する。
【０１１１】
前記の下層物体モード判断手段１４２と、前記の現在層物体判断手段１４４から同時に“１”が出力されなければアンドゲート（Ｕ１）が“１”を出力しない。即ち、現在層のマクロブロックとそれに対応する下層マクロブロックの両方が物体値を有する場合、アンドゲート（Ｕ１）は“１”を出力する。それと同様に、前記の下層背景モード判断手段１４３と前記の現在層背景モード判断手段１４５から同時に“１”が出力されなければ、アンドゲート（Ｕ２）が“１”を出力しない。即ち、現在層マクロブロックとそれに対応する下層マクロブロックの両方が背景値を有する場合、アンドゲート（Ｕ２）は“１”を出力する。従って、“ａｌｌ＿０”と“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”の中のいずれか１つでも該当すると、アンドゲート（Ｕ４）は“１”を出力する。即ち、“ａｌｌ＿０”と“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”の中のいずれか１つが発生したことを意味する。
【０１１２】
図１１に本発明による“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”モード決定手段の構成を示すブロック図が図示されている。現在マクロブロックと動き補償された以前の映像の対応マクロブロックが入力されて、差分絶対値を取る差分絶対値抽出手段１５１と、前記の差分絶対値が臨界値より小さいかを判断するエラー比較手段１５２と、前記のエラー比較手段１５２の出力と、現在入力される映像がイントラモード（Ｉ）であるか、予測モード（Ｐ）または両方向予測モード（Ｂ）であるかに間する情報（Ｉ／Ｐ、Ｂ）をアンド演算するアンドゲート１５３とから構成される。
【０１１３】
現在マクロブロックと動き補償された以前の映像の対応マクロブロックが入力されて差分絶対値を取ると、互いに異なる値を有する位置の画素のみ“２５５”値を有する。前記のエラー比較手段１５２は、前記の差分絶対値が臨界値より小さいかを判断する。現在映像がイントラモードである場合はＩ／Ｐ、Ｂ信号は“０”であるので、アンドゲート１５３は、現在映像が予測モード（Ｐ）または両方向予測モード（Ｂ）である場合のみエラー比較手段１５２の比較結果を出力する。
【０１１４】
図１２は、本発明による伸縮型復号化装置の構成を示すブロック図である。図８に図示された伸縮型符号化装置と対応するようにＮ＋１個の階層を表示する。多数の伸縮型復号化手段（１６１０、１６１１、．．．、１６１Ｎ−１、１６１Ｎ）は各層のビットストリーム、基本層の動きベクトル、以前の映像及び下層復号化映像とをそれぞれ受信して伸縮型復号化する。映像貯蔵手段１６２は、前記のＮ層伸縮型符号化手段（１６１Ｎ）から入力される現在層の映像マクロブロックを貯蔵する。
【０１１５】
図１３は、本発明による伸縮型復号化手段の構成を示すブロック図である。
各層の伸縮型復号化手段（１６１０、１６１１、．．．、１６１Ｎ−１、１６１Ｎ）は同一構造を有し、説明の便宜上、Ｎ層の伸縮型復号化手段（１６１Ｎ）に関して説明する。
【０１１６】
動きベクトル調整手段１７１には、前記の基本層伸縮型復号化手段（１６１０）から動きベクトルが入力され、現在層と基本層の比率に拡大して出力する。動き補償手段１７２には、現在層（Ｎ層）の以前の映像と前記の動きベクトル調整手段１７１から出力される調整された動きベクトルが入力され、現在層の以前映像から現在マクロブロックに該当するマクロブロック（Ｂ）を動き補償して出力する。モード復号手段１７３には、現在層ビットストリームとＩ／Ｐ、Ｂ信号が入力されてモード情報を復号化する。“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”ブロック構成手段１７４には、下層映像のマクロブロックとそのモードが入力されて、前もって決定された規則によって処理し、現在映像マクロブロック（Ａ）を出力する。
【０１１７】
ＣＡＥ符号化手段１７６は、現在層映像のビットストリームと動き補償された現在層の以前の映像が入力され、ＣＡＥ符号化した信号（Ｄ）を出力する。スキャンインターリーブ復号化手段１７５には、現在層映像のビットストリームと下層（Ｎ−１層）映像のマクロブロック等が入力され、スキャンインターリーブ方法により復号化した信号（Ｃ）を出力する。多重化手段１７７は、前記のモード復号手段１７３で復号されたモードによってＡ、Ｂ、Ｃ、Ｄの中のいずれか１つを出力する。
【０１１８】
図１４は、本発明による伸縮型復号化手段の“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”マクロブロック構成手段の構成を示すブロック図である。物体モード判断手段１８１は、現在マクロブロックに対応する下層マクロブロックの画素の全てが２５５であれば１を出力し、そうでなければ０を出力する。オアゲート（Ｕ１）は下階層のＭＢモードがａｌｌ＿２５５であるか、または前記の物体モード判断手段１８１の出力が１であればその出力は１となる。
【０１１９】
背景モード判断手段１８２は、下階層のＭＢ内の画素の中、現在階層のＭＢに該当する領域内の画素等の全てが０であれば１を出力し、そうでなければ０を出力する。オアゲート（Ｕ２）は下階層のＭＢモードがａｌｌ＿０であるか、背景モード判断手段１８２の出力が１であればその出力は１となる。“ａｌｌ＿０”ブロック発生手段１８３は、全ての画素が０であるＭＢを発生させる。“ａｌｌ＿２５５”ブロック発生手段１８４は、全ての画素が“２５５”であるＭＢを発生させる。
【０１２０】
アップサンプリング手段１８５は、下階層の領域をアップサンプリング（ｕｐ ｓａｍｐｌｉｎｇ）して現在ＭＢを構成する。第１マルチプレクサ（以下、マルチプレクサをＭＵＸと称す）１８６は、オアゲート（Ｕ１）の出力信号に従って、“ａｌｌ＿２５５”ブロック発生手段１８４または前記アップサンプリング手段１８５の出力を選択する。第２マルチプレクサ１８７は、オアゲート（Ｕ２）の出力信号に従って、“ａｌｌ＿０”ブロック発生手段１８３または、前記第１マルチプレクサ１８６の出力を選択する。
【０１２１】
物体モード判断手段１８１は、下階層のＭＢ内の画素等の中の、現在階層のＭＢに該当する領域内の画素等の全てが“２５５”であれば１を出力し、そうでなければ０を出力する。下階層のＭＢのモードが“ａｌｌ＿２５５”であるか物体モード判断手段１８１の出力が１であれば、オアゲート（Ｕ１）の出力は１となる。ここで、ａｌｌ＿０、ａｌｌ＿２５５モードを伝送したりまたは符号化、復号化することには使用しないが、オアゲート（Ｕ１）、（Ｕ２）の出力をａｌｌ＿０、ａｌｌ＿２５５モードとしてＭＢ毎に貯蔵して置いてここで使用する。
【０１２２】
背景モード判断手段１８２は、下階層のＭＢ内の画素の中で現在階層のＭＢに該当する領域内の画素の全てが０であれば１を出力し、そうでなければ０を出力する。下階層のＭＢのモードがａｌｌ＿０であるか背景モード判断手段１８２の出力が１であれば、オアゲート（Ｕ２）の出力は１となる。“ａｌｌ＿０”ブロック発生手段１８３は、全ての画素が０であるＭＢを構成するブロックである。出力されるＭＢの全ての画素は０である。“ａｌｌ＿２５５”ブロック発生手段１８４は、全ての画素が２５５のＭＢを構成するブロックである。出力されるＭＢの全ての画素は２５５である。
【０１２３】
アップサンプリング手段１８５は、下階層の領域をアップサンプリング（ｕｐ ｓａｍｐｌｉｎｇ）して現在ＭＢを構成する。第１ＭＵＸ１８６の出力は、オアゲート（Ｕ１）の出力ａｌｌ＿２５５が１であれば“ａｌｌ＿２５５”ブロック発生手段１８４の出力即ち、全ての画素が２５５であるＭＢが選択され、０であればアップサンプリング手段１８５の出力即ち、アップサンプリングされたＭＢが選択される。第２ＭＵＸ１８７の出力はオアゲート（Ｕ２）の出力ａｌｌ＿０が１であれば“ａｌｌ＿０”ブロック発生手段１８３の出力即ち、全ての画素が０であるＭＢが選択され、０であれば、第１ＭＵＸ１８６の出力が選択される。即ち、全ての画素が２５５のＭＢが選択され、０であればアップサンプリング手段１８５の出力即ち、アップサンプリングされたＭＢが選択される。第２ＭＵＸ１８７の出力はオアゲート（Ｕ２）の出力ａｌｌ＿０が１であれば、“ａｌｌ＿０”ブロック発生手段１８３の出力即ち全ての画素が０であるＭＢが選択され、０であれば第１ＭＵＸ１８６の出力が選択される。
【０１２４】
映像を多数の階層に符号化する時、高位層とそれをダウンサンプリングした下層との間には相関性が高い。即ち、高位層が“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”であれば、その下層も“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”である確率が高い。この相関性を考えてＩ−ピクチャ、Ｐ−ピクチャの高位層（またはＢ−ピクチャ）の符号化モードに対するビットを割り当てることが符号化ビット量を減らすことができる。次に、Ｉ−ピクチャ及びＰ−ピクチャ（またはＢ−ピクチャ）の高位層の符号化モードに対するビット割当方法を説明する。
【０１２５】
下層の符号化モードを知っている場合、高位層の符号化モードに対する発生ビット数を、ホフマン（Ｈｕｆｍａｎ）符号化方式を用いて発生確率が多ければ小さいビット数を割り当て、発生確率が小さければ長いビットを割り当てる。例えば、下層が“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”の場合、現在層も“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”である確率が最も大きいので、最も小さい長さのビットを割り当て、その次に発生確率が大きい符号化モードに２、３、．．．ビットを割り当てる。また、ＭＢの符号化モードは“Ｉｎｔｒａ ｃｏｄｅｄ”が最も多く発生するので、全体符号化モードに関係なく、大部分の“Ｉｎｔｒａ ｃｏｄｅｄ”は１ビットまたは２ビットと比較的に少ないビット数を割り当てる。
【０１２６】
次に本発明による符号化ビットの割当方法により割り当てた例を示す。

【０１２７】
次に、実際に前記の方法のとおり、下層モードを知っている場合、高位層モードに対するコードの実施の形態を示す。ここで、それぞれ高位層の各割り当てられたビットに対するコードは次の２種類を使用する。
（１）１ｂｉｔ：０、２ｂｉｔ：１０、３ｂｉｔ：１１０、他の３ｂｉｔ：１１１
（２）１ｂｉｔ：１、２ｂｉｔ：０１、３ｂｉｔ：００１、他の３ｂｉｔ：０００
Ｉ−ピクチャとＰ−ピクチャそしてＢ−ピクチャの高位層で、本発明の付加情報の構成方法と符号テーブルは下記のとおりである。
【０１２８】
Ｉ−ピクチャの高位層の場合は、下記のようにの２種類のモードを使用する。
（１）“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”
（２）“Ｉｎｔｒａ ｃｏｄｅｄ”
【０１２９】
従来の方式では、Ｉ−ピクチャの高位層の場合、３種類のモード“ａｌｌ＿０”、“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｃｏｄｅｄ”を使用した。本発明では、既存方式における“ａｌｌ＿０”、“ａｌｌ＿２５５”モードと、既存方式のＰ−ピクチャまたはＢ−ピクチャの高位層における“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”を１つのモード“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”として伝送し、受信端では下層の情報を利用して受信された“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”が“ａｌｌ＿０”であるかまたは“ａｌｌ＿２５５”であるかを探し出す方法を使用する。従って、本発明では２種類のモードのみを使用することによって、３種類のモードを使用する従来の方法に比して、モードを伝送することによるｂｉｔ量を減らすことができる。
【０１３０】
各ＭＢに対するモードの符号（Ｃｏｄｅ）を、下記のようなコードテーブルを使用して符号化する。各モードは固定長さとして１ビットが伝送される。
【０１３１】
【表１】

【０１３２】
ＩＳＯ／ＩＥＣ ＷＧ１１で現在標準化が進行中のＭＰＥＧ−４ではビットストリームで映像を区別するために、映像を始まる時２３個の連続する‘０’を表示する。映像内で２３個の連続する‘０’が発生する場合、映像のスタートに判断するようになる。従って映像のスタートでない場合、２３個の連続する‘０’が発生しないようにする必要がある。または、伝送エラーによって一部の‘１’が‘０’に変わって、２３個の連続する‘０’が容易に発生しないように、できるだけ‘１’が多く発生するようにすることが有利である。従って、前記のテーブルにおいて“Ｉｎｔｒａ ｃｏｄｅｄ”のモードに‘１’が含まれるように下記のように変更する。
【０１３３】
【表２】

【０１３４】
Ｐ−ピクチャの下層を符号化する第１番目の方法は下記のとおりである。
（１）“ａｌｌ＿０”または“ａｌｌ＿２５５”または“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”（従来の“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”）
（２）“Ｉｎｔｒａ ＣＡＥまたは“Ｉｎｔｒａ ｃｏｄｅｄ”
（３）“ＭＶＤｓ＝＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ”または“ＭＶＤｓ！＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ”または“ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”
（４）“Ｉｎｔｅｒ ＣＡＥ ＆＆ ＭＶＤｓ＝＝０”または“Ｉｎｔｅｒ ＣＡＥ ＆＆ ＭＶＤｓ！＝０”または“Ｉｎｔｅｒ ｃｏｄｅｄ”
【０１３５】
Ｐ−ピクチャの高位層の符号化モードは、下記のように区分することができる。
（１）“Ｉｎｔｒａ Ｎｏｔ Ｃｏｄｅｄ”
（２）“Ｉｎｔｒａ Ｃｏｄｅｄ”
（３）“Ｉｎｔｅｒ Ｎｏｔ Ｃｏｄｅｄ”
（４）“Ｉｎｔｅｒ Ｃｏｄｅｄ”
【０１３６】
既存方式でＰ−ピクチャとＢ−ピクチャの高位層モードは８種類から構成される。ここで、３種類のモード“ａｌｌ＿０”、“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”は、１つのモード“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードで復号化装置に伝送する。これは高位層Ｉ−ピクチャのモードと同じ方法である。また、本発明では、動きベクトルを伝送しないことによって、動きベクトルを探すための複雑度を減らす。従って、既存方式のモードで“Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０”と“Ｉｎｔｅｒ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０”とは、１つのモード“Ｉｎｔｅｒ ｃｏｄｅｄ”で表現し、“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ＝０”と“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ ＆＆ ＭＶＤ！＝０”は“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”として表現する。“Ｉｎｔｅｒ ｃｏｄｅｄ”と“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”の場合、以前映像から動き補償してＭＢを持ってくるために動きベクトルが必要である。動きベクトルは、最下位階層（ｂａｓｅ層）の動きベクトルを映像の大きさの比率で調整した後に使用する。
【０１３７】
最下位階層（基本層）から動きベクトルを得る方法は下記のとおりである。
１．最下位階層の該当ＭＢのモードが“ａｌｌ＿０”、“ａｌｌ＿２５５”または“Ｉｎｔｒａ ＣＡＥ”の場合、現在階層のＭＢの動きベクトルは０である。
２．最下位階層の該当ＭＢのモードが“ＭＶＤｓ＝＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ”、“ＭＶＤｓ！＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ”、“ＩｎｔｅｒＣＡＥ ＆＆ ＭＶＤｓ＝＝０”または“ＩｎｔｅｒＣＡＥ ＆＆ ＭＶＤｓ！＝０”の場合、最下位階層で再生された動きベクトルを使用する。
【０１３８】
このとき、最下位階層の映像と現在階層の映像の大きさの比率によって、最下位階層の動きベクトルを調整する。ｘ軸動きベクトルは、映像のｘ軸大きさの比率によって調整され、ｙ軸動きベクトルは映像のｙ軸大きさの比率によって調整される。例えば、現在階層の映像が最下位階層の映像よりｘ軸にｎ倍、ｙ軸にｍ倍大きいとすれば、現在ＭＢの動きベクトルは、最下位階層の動きベクトルでＸ軸動きベクトルにｎ倍、ｙ軸動きベクトルにｍ倍掛けて得る。
【０１３９】
本発明において、Ｐ−ピクチャとＢ−ピクチャの高位層のモードは、既存方式の８種類モードから４種類モードに減る。
各ＭＢに対するモードの符号（Ｃｏｄｅ）を下記のような符号化テーブルを使用して符号化する。この場合発生されるビットを減らすために、下記のようにすぐ下階層（ｌｏｗｅｒ層）のモードと画素値等を利用して符号化テーブルを構成する。
【０１４０】
ここで、すぐ下階層のモード符号化方法は２番目の方法は下記のとおりである。
（１）“ａｌｌ＿０”、“ａｌｌ＿２５５”、“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”または現在層のＭＢに該当する下層マクロブロック領域内の全ての画素（ｓａｍｐｌｅ）が０であったり、または全ての画素（ｓａｍｐｌｅ）が２５５である場合
（２）“Ｉｎｔｒａ ＣＡＥ”または“Ｉｎｔｒａ ｃｏｄｅｄ”
（３）“ＭＶＤｓ＝＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ”、“ＭＶＤｓ！＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ”または“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”
（４）“Ｉｎｔｅｒ ＣＡＥ ＆＆ ＭＶＤｓ＝＝０”、“Ｉｎｔｅｒ ＣＡＥ ＆＆ ＭＶＤｓ！＝０”または“Ｉｎｔｅｒ ｃｏｄｅｄ”
すぐ下階層（ｌｏｗｅｒ層）が最下位階層（ｂａｓｅ層）の場合とそうでない場合とを分けて説明すると下記のとおりである。
【０１４１】
まず、すぐ下階層（ｌｏｗｅｒ層）が最下位階層（ｂａｓｅ層）の場合：
（１）“ａｌｌ＿０”または“ａｌｌ＿２５５”または現在層のＭＢに該当する下層の領域内の全ての画素（ｓａｍｐｌｅ）が０の場合または全ての画素（ｓａｍｐｌｅ）が２５５の場合
（２）“Ｉｎｔｒａ ＣＡＥ”
（３）“ＭＶＤｓ＝＝０ ＆＆ ＮｏＵｐｄａｔｅ”または“ＭＶＤｓ！＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ”
（４）“ＩｎｔｅｒＣＡＥ ＆＆ ＭＶＤｓ＝＝０”または“ＩｎｔｅｒＣＡＥ ＆＆ ＭＶＤｓ！＝０”
【０１４２】
すぐ下階層（ｌｏｗｅｒ層）が最下位層（ｂａｓｅ層）でない場合：
（１）“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”または現在層ＭＢに該当する下層の領域内の全ての画素（ｓａｍｐｌｅ）が０の場合、または全ての画素（ｓａｍｐｌｅ）が２５５の場合
（２）“Ｉｎｔｒａ ｃｏｄｅｄ”
（３）“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”
（４）“Ｉｎｔｅｒ ｃｏｄｅｄ”
下層モードを知っている場合、高位層モードに対するコード（ｆｉｒｓｔ ｓｈａｐｅ ｃｏｄｅ）を下記のように定める。
【０１４３】
【表３】

【０１４４】
ＩＳＯ／ＩＥＣ ＷＧ１１で現在標準化が進行中のＭＰＥＧ−４ではビットストリームから映像を区別するために、映像が始まる時、２３個の連続する‘０’を表示する。映像内で２３個の連続した‘０’が発生する場合、映像のスタートに判断するようになる。従って、映像のスタートでない場合、２３個の連続する‘０’が発生しないようにする必要がある。＜コードテーブル１＞は２３個の連続する‘０’が発生することができるので、下記のような表を使用する。
【０１４５】
【表４】

【０１４６】
すぐ下階層（ｌｏｗｅｒ層）が（２）の場合、現在階層（高位層）が（１）の場合より（３）の場合がより多く発生することができるが、その時は次のテーブルを使用する。
【０１４７】
【表５】

【０１４８】
伝送エラーにより一部の‘１’が‘０’に変わって、２３個の連続する‘０’が容易に発生しないように、できるだけ‘１’が多く発生するようにすることが有利である。従って、前記のテーブルにおいて全てのモードに‘１’が必ず含まれるように下記のように変更する。
【０１４９】
＜コードテーブル２＞を修正して下記のようなテーブルを構成する。
【０１５０】
【表６】

【０１５１】
また前記のような理由により＜コードテーブル３＞を修正して下記のようなテーブルを構成する。
【０１５２】
【表７】

【０１５３】
本発明においてモードを決定する順序は、既存の方法を改善して下記のように決定する。データベースから願う映像または二進映像を迅速に探すために、ＭＢ単位で“ａｌｌ＿０”、“ａｌｌ＿２５５”または“ａｌｌ＿０”や“ａｌｌ＿２５５”でないＭＢ（即ちｅｄｇｅに該当するＭＢ）を区分する必要がある。このように区分すると、ＭＢを１個の画素で表示する小さい大きさの二進映像が作られ、小さい大きさの二進映像から全体の映像のおおむねを判断することができ、全体映像が探そうとする映像であるか否かが分かる。
【０１５４】
即ち、“ａｌｌ＿０”ＭＢは０値の画素で表示し、“ａｌｌ＿２５５”ＭＢは２５５の値で表示し、“ａｌｌ＿０”や“ａｌｌ＿２５５”でないＭＢ（即ちｅｄｇｅに該当するＭＢ）は、１２８値に表示することにより、小さい大きさの映像が得られる。このように、“ａｌｌ＿０”、“ａｌｌ＿２５５”または“ａｌｌ＿０”や“ａｌｌ＿２５５”でないＭＢを正確に区分するために、“ａｌｌ＿０”または“ａｌｌ＿２５５”が先に決定されなければならない。従って、下記のような順序によりモードを決定する。
【０１５５】
最下位階層では下記のような順序で決定する。
（１）“ａｌｌ＿０”または“ａｌｌ＿２５５”
（２）“ＭＶＤｓ＝＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ¨または“ＭＶＤｓ！＝０ ＆＆ Ｎｏ Ｕｐｄａｔｅ¨
（３）“Ｉｎｔｒａ ＣＡＥ”と“Ｉｎｔｅｒ ＣＡＥ ＆＆ ＭＶＤｓ＝＝０”または“Ｉｎｔｅｒ ＣＡＥ ＆＆ ＭＶＤｓ！＝０”の中でビットが少なく発生するモード。
【０１５６】
高位層では前記の理由だけでなく、“ａｌｌ＿０”または“ａｌｌ＿２５５”が先だって決定される場合が発生されるビット数が少なくなるので、下記のように高位層Ｉ−ピクチャとＰ−ピクチャに対するモード決定方法を使用する。
【０１５７】
Ｉ−ピクチャの高位層に対するモード決定順序は下記のとおりである。
（１）“ａｌｌ＿０”または“ａｌｌ＿２５５”の場合“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ¨に決定
（２）下層（ｌｏｗｅｒ層）から予測されて構成されたＭＢと現在のＭＢとを比較して、エラーが基準値以下の場合“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ¨に決定
（３）“Ｉｎｔｒａ ｃｏｄｅｄ¨
【０１５８】
Ｐ−ピクチャまたはＢ−ピクチャの高位層に対するモード決定順序は、図５のような順序により決定されるが、“Ｉｎｔｒａ ｐｒｅｄｉｃｔｅｄ”より“Ｉｎｔｅｒｎｏｔ ｃｏｄｅｄ”を先に決定することがビット発生を少なくすることができるが、これを考えて下記のような順序でモードを決定する。
【０１５９】
（１）“ａｌｌ＿０”または“ａｌｌ＿２５５”の場合“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ¨に決定
（２）“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ¨に決定
（３）下層から予測されて構成されたＭＢと現在のＭＢとを比較して、エラーが基準値以下の場合“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ¨に決定
（４）“Ｉｎｔｒａ ｃｏｄｅｄ¨と“Ｉｎｔｅｒ ｃｏｄｅｄ¨によって符号化をそれぞれ遂行し、その中で発生ビットが少ないモードに決定
各ＭＢ毎に前記の順序によりモードが決定され、前記の順序で１つが決定されるとモード決定を終え、次のＭＢモードを決定する。
【０１６０】
【発明の効果】
以上のように、二進映像のモードに従って下層を参照して符号化し、下層と高位層との間の相関性を考慮して符号化ビットを割り当てることによって、符号化ビット量を減らして符号化効率を向上させ得るようになる。
【図面の簡単な説明】
【図１】本発明によるＩ−ピクチャの高位層を符号化する方法を示すフローチャートである。
【図２】本発明による高位層映像が“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モードであるかを判断する方法を示すフローチャートである。
【図３】ビットストリームで復号したモード情報が“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”である場合、復号化する方法を示すフローチャートである。
【図４】図３と同様な復号化する方法を示すフローチャートである。
【図５】本発明による高位層Ｐ−ピクチャとＢ−ピクチャを符号化するフローチャートである。
【図６】最下位階層の映像と現在階層の映像の大きさの比率によって、最下位階層の動きベクトルを調整する方法を示す。
【図７】本発明による高位層Ｐ−ピクチャまたはＢ−ピクチャを復号化するフローチャートである。
【図８】本発明による伸縮型符号化装置の構成を示すブロック図である。
【図９】本発明による伸縮型符号化手段の一実施の形態を示すブロック図である。
【図１０】本発明による“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”モード決定手段の構成を示すブロック図である。
【図１１】本発明による“Ｉｎｔｅｒ ｎｏｔ ｃｏｄｅｄ”モード決定手段の構成を示すブロック図である。
【図１２】本発明による伸縮型復号化装置の構成を示すブロック図である。
【図１３】本発明による伸縮型復号化手段の構成を示すブロック図である。
【図１４】本発明による伸縮型復号化手段の“Ｉｎｔｒａ ｎｏｔ ｃｏｄｅｄ”マクロブロック構成手段の構成を示すブロック図である。
【図１５】一般的な映像情報の伸縮型符号化方法である。
【図１６】スキャンインターリーブ方法である。
【図１７】ＣＡＥ（Ｃｏｎｔｅｘｔ‐ｂａｓｅｄ Ａｒｉｔｈｍｅｔｉｃ ＥｎＣｏｄｅ）方法に使用されるコンテキストの説明図である。
【図１８】空間的伸縮型符号化で、現在層（ｃｕｒｒｅｎｔ ｌａｙｅｒ）と下層（ｌｏｗｅｒ ｌａｙｅｒ）間の関係を説明する説明図である。
【符号の説明】
１３１、１７１：調整手段、１３２：動き補償手段、１３３、１３４：符号化手段、１３５、１３６：モード決定手段、１３８：貯蔵手段、
１４１、１４３、１４４、１４５：判断手段、１４６：論理演算手段、
１５１：抽出手段、１５２：エラー比較手段、１６２：映像貯蔵手段。

Claims (20)

1. 下層映像より高い解像度を有する少なくとも一つのエンハンスメント階層映像を含むスケーラブル二進映像を、エンハンスメント階層の符号化モードを利用して符号化するためのスケーラブル二進映像符号化方法において、
   エンハンスメント階層の映像を所定大きさのブロックに分割する第１ステップと、
   前記エンハンスメント階層の現在ブロックと該当領域の下層ブロックを利用して予測されたブロックまたは下層の動きベクトルを利用してエンハンスメント階層の以前ブロックから予測されたブロックを比較する第２ステップと、
   前記第２ステップでの比較結果、前記エンハンスメント階層にあるブロックがＰ−ＶＯＰである場合、「intra not coded」モードまたは「intra coded」モードのいずれか一つを前記Ｐ−ＶＯＰに対する符号化モードを表す付加情報として伝送する第３ステップと、
   前記第２ステップでの比較結果、前記エンハンスメント階層にあるブロックがＢ−ＶＯＰである場合、「intra not coded」モード、「intra coded」モード、「inter not coded」モードまたは「inter coded」モードのいずれか一つを前記Ｂ−ＶＯＰに対する符号化モードを表す付加情報として伝送する第４ステップと
   を含み、
   前記「 intra not coded 」モードは、各エンハンスメント階層ブロックにある画素の中で、該当領域の下層ブロックを利用して予測されたブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、
   前記「 intra coded 」モードは、各エンハンスメント階層ブロックにある画素の中で該当領域の下層ブロックを利用して予測されたブロックの画素と異なる値を有する画素の数が基準値より大きい場合を表し、
   前記「 inter not coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のブロックから予測されたエンハンスメント階層ブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、
   前記「 inter coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のブロックから予測されたエンハンスメント階層ブロックの画素と異なる値を有する画素数が基準値より大きい場合を表す
   ことを特徴とするスケーラブル二進映像符号化方法。
2. 前記第３ステップは、
   前記符号化モードが「intra not coded」モードである場合、「intra not coded」モードを表す付加情報を伝送するステップと、
   前記符号化モードが「intra coded」モードである場合、エンハンスメント階層ブロックをイントラモード（intra mode）ＣＡＥ（context-based encoding）方式により符号化して第１符号化データを生成し、「intra coded」モードを表す付加情報及び第１符号化データを伝送するステップと
   を含む
   ことを特徴とする請求項１に記載のスケーラブル二進映像符号化方法。
3. 前記第１符号化データを生成するステップは、ＥＳＤが存在するか否かに関する情報を伝送し、ＥＳＤが存在すると、前記エンハンスメント階層ブロック全体を符号化し、ＥＳＤが存在しないと、ＴＳＤ（Transitional Sample Data）のみを符号化する
   ことを特徴とする請求項２に記載のスケーラブル二進映像符号化方法。
4. 前記第４ステップは、
   前記符号化モードが「inter coded」モードである場合、エンハンスメント階層ブロックをインターモード（inter mode）ＣＡＥ方式により符号化して第２符号化データを生成し、「inter coded」モードを表す付加情報及び第２符号化データを伝送するステップを含む
   ことを特徴とする請求項２に記載のスケーラブル二進映像符号化方法。
5. 前記エンハンスメント階層において、Ｂ−ＶＯＰのための前記付加情報は、次の表に記載の値を有し、
   

   

   （１）は「intra not coded」モード、（２）は「intra coded」モード、（３）は「inter not coded」モード、（４）は「inter coded」モードを表す
   ことを特徴とする請求項１に記載のスケーラブル二進映像符号化方法。
6. 前記下層の符号化モード（１）、（２）、（３）及び（４）が基本階層（base layer）の符号化モードである場合、各々次のようにマッピングされる
   （１） all_0 or all_255
   （２） intraCAE
   （３） MVDs==０ && No Update or MVDs!=０ && No Update
   （４） interCAE && MVDs==O or interCAE && MvDs!=０
   ことを特徴とする請求項５に記載のスケーラブル二進映像符号化方法。
7. 前記エンハンスメント階層において、Ｐ−ＶＯＰのための前記付加情報は、次の表に記載の値を有する
   

   

   ことを特徴とする請求項１に記載のスケーラブル二進映像符号化方法。
8. 下層映像より高い解像度を有する少なくとも一つのエンハンスメント階層映像を含むスケーラブル二進映像（scalable shape binary image）を、エンハンスメント階層ブロックの符号化モードを利用して復号化するためのスケーラブル二進映像復号化方法において、
   （１）「intra not coded」モード、（２）「intra coded」モード、（３）「inter not coded」モードまたは（４）「inter coded」モードのいずれか一つである前記エンハンスメント階層の符号化モードを表す付加情報を受信して、符号化モードを決定する第１ステップと、
   前記エンハンスメント階層にあるブロックがＰ−ＶＯＰである場合、Ｐ−ＶＯＰに対する符号化モードとして「intra not coded」モードまたは「intra coded」モードのいずれか一つを受信して、前記符号化モードに応じて該当領域の下層ブロックを利用して前記エンハンスメントの現在階層ブロックに存在する画素を再生する第２ステップと、
   前記エンハンスメント階層にあるブロックがＢ−ＶＯＰである場合、Ｂ−ＶＯＰに対する符号化モードとして「intra not coded」モード、「intra coded」モード、「inter not coded」モードまたは「inter coded」モードのいずれか一つを受信して、前記符号化モードに応じて下層ブロックの動きベクトルとエンハンスメント階層の以前ブロックを利用して前記エンハンスメント階層の現在ブロックを再生する第３ステップと、
   を含み、
   前記「 intra not coded 」モードは、各エンハンスメント階層ブロックにある画素の中で、該当領域の下層ブロックを利用して予測されたブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、
   前記「 intra coded 」モードは、各エンハンスメント階層ブロックにある画素の中で該当領域下層の部ブロックを利用して予測された画素と異なる画素を有する画素の数が基準値より大きい場合を表し、
   前記「 inter not coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のブロックから予測されたエンハンスメント階層ブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、
   前記「 inter coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のブロックから予測されたエンハンスメント階層ブロックの画素と異なる値を有する画素数が基準値より大きい場合を表し、
   前記第２ステップは、
   前記符号化モードが「 intra not coded 」であり、前記エンハンスメント階層ブロックに相応する下層ブロックの全画素が「０」である場合、前記エンハンスメント階層ブロック内の全画素を「０」に置き換えるステップと、
   前記符号化モードが「 intra not coded 」であり、前記エンハンスメント階層ブロックに相応する下層ブロックの全画素が「２５５」である場合、前記エンハンスメント階層ブロック内の全画素を「２５５」に置き換えるステップと、
   前記符号化モードが「 intra not coded 」であり、前記エンハンスメント階層ブロックに相応する下層ブロックの全画素が「０」でもなく「２５５」でもない場合、前記下層ブロックから予測されて構成されたブロックをエンハンスメント階層ブロックで用いるステップと
   を備えるスケーラブル二進映像復号化方法。
9. 前記エンハンスメント階層において、Ｂ−ＶＯＰのための前記付加情報は、次の表に記載の値を有し、
   

   

   （１）は「intra not coded」モード、（２）は「intra coded」モード、（３）「inter not coded」モード、（４）「inter coded」モードを表す
   ことを特徴とする請求項８に記載のスケーラブル二進映像復号化方法。
10. 前記下層の符号化モード、すなわち（１）、（２）、（３）及び（４）が基本階層（base layer）の符号化モードである場合、各々次のようにマッピングされる
    （１） all_0 or all_255
    （２） intraCAE
    （３） MVDs==０ && No Update or MVDs!=０ && No Update
    （４） interCAE && MVDs==O or interCAE && MvDs!=０
    ことを特徴とする請求項９に記載のスケーラブル二進映像復号化方法。
11. 前記エンハンスメント階層において、Ｐ−ＶＯＰのための前記付加情報は、次の表に記載の値を有する
    

    

    ことを特徴とする請求項８に記載のスケーラブル二進映像復号化方法。
12. 下層映像より高い解像度を有する少なくとも一つのエンハンスメント階層映像を含むスケーラブル二進映像を、エンハンスメント階層の符号化モードを利用して符号化するためのスケーラブル二進映像符号化装置において、
    前記エンハンスメント階層の映像を所定大きさのブロックに分割するための分割手段と、
    前記エンハンスメント階層の現在ブロックと該当領域の下層ブロックを利用して予測されたブロックまたは下層の動きベクトルを利用してエンハンスメント階層の以前ブロックから予測されたブロックを比較する比較手段と、
    前記比較手段での比較結果、前記エンハンスメント階層にあるブロックがＰ−ＶＯＰである場合、「intra not coded」モード及び「intra coded」モードのいずれか一つを、前記Ｐ−ＶＯＰに対する符号化モードを表す付加情報として伝送するための第１符号化手段と、
    前記比較手段での比較結果、前記エンハンスメント階層にあるブロックがＢ−ＶＯＰである場合、「intra not coded」モード、「intra coded」モード、「inter not coded」モード及び「inter coded」モードのいずれか一つを、前記Ｂ−ＶＯＰに対する符号化モードを表す付加情報として伝送するための第２符号化手段と
    を含み、
    前記「 intra not coded 」モードは、各エンハンスメント階層ブロックにある画素の中で、該当領域の下層ブロックを利用して予測されたブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、
    前記「 intra coded 」モードは、各エンハンスメント階層ブロックにある画素の中で該当領域の下層ブロックを利用して予測されたブロックの画素と異なる値を有する画素の数が基準値より大きい場合を表し、
    前記「 inter not coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のＶＯＰブロックから予測されたエンハンスメント階層ブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、
    「 inter coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のブロックから予想されたエンハンスメント階層ブロックの画素と異なる値を有する画素数が基準値より大きい場合を表す
    ことを特徴とするスケーラブル二進映像符号化装置。
13. 前記第１符号化手段は、
    前記符号化モードが「intra coded」モードである場合、エンハンスメント階層ブロックを符号化してイントラ（intra）モードＣＡＥ（context-based encoding）方式により第１符号化データを生成し、「intra coded」モードを表す付加情報と第１符号化データを伝送するための手段を含み、
    前記第２符号化手段は、
    前記符号化モードが「inter coded」モードである場合、エンハンスメント階層ブロックを符号化して、インター（inter）モードＣＡＥ方式により第２符号化データを生成し、「inter coded」モードを表す付加情報と第２符号化データとを伝送するための手段と
    を含むことを特徴とする請求項１２に記載のスケーラブル二進映像符号化装置。
14. 前記エンハンスメント階層において、Ｂ−ＶＯＰのための前記付加情報は、次の表に記載の値を有し、
    

    

    （１）は「intra not coded」モード、（２）は「intra coded」モード、（３）「inter not coded」モード、（４）「inter coded」モードを表す
    ことを特徴とする請求項１２に記載のスケーラブル二進映像符号化装置。
15. 前記下層の符号化モード、すなわち、（１）、（２）、（３）及び（４）が基本階層（base layer）の符号化モードである場合、各々次のようにマッピングされる
    （１） all_0 or all_255
    （２） intraCAE
    （３） MVDs==０ && No Update or MVDs!=０ && No Update
    （４） interCAE && MVDs==O or interCAE && MvDs!=０
    ことを特徴とする請求項１４に記載のスケーラブル二進映像符号化装置。
16. 前記エンハンスメント階層において、Ｐ−ＶＯＰのための前記付加情報は、次の表に記載の値を有する
    

    

    ことを特徴とする請求項１２に記載のスケーラブル二進映像符号化方法。
17. 下層映像より高い解像度を有する少なくとも一つのエンハンスメント階層映像を含むスケーラブル二進映像を、エンハンスメント階層の符号化モードを利用して復号化するためのスケーラブル二進映像復号化装置において、
    （１）「intra not coded」モード、（２）「intra coded」モード、（３）「inter not coded」モードまたは（４）「inter coded」モードのいずれか一つである前記エンハンスメント階層の符号化モードを表す付加情報を受信して、符号化モードを決定するための符号化モード決定手段と、
    前記エンハンスメント階層にあるブロックがＰ−ＶＯＰである場合、Ｐ−ＶＯＰに対する符号化モードに「intra not coded」モード及び「intra coded」モードのいずれか一つを受信して、前記符号化モードに応じて該当領域の下層ブロックを利用して前記エンハンスメント階層の現在ブロックに存在する画素を再生するための第１復号化手段と、
    前記エンハンスメント階層にあるブロックがＢ−ＶＯＰである場合、Ｂ−ＶＯＰに対する符号化モードに「intra not coded」モード、「intra coded」モード、「inter not coded」モードまたは「inter coded」モードのいずれか一つを受信して、前記符号化モードに応じて下層ブロックの動きベクトルとエンハンスメント階層の以前ブロックを利用して前記エンハンスメント階層の現在ブロックを再生するための第２復号化手段と
    を含み、
    前記「 intra not coded 」モードは、各エンハンスメント階層ブロックにある画素の中で該当領域の下層ブロックを利用して予測されたブロックの画素と異なる値を有する画素 数が基準値より少ない場合を表し、
    前記「 intra coded 」モードは、各エンハンスメント階層ブロックにある画素の中で該当領域の下層ブロックを利用して予測されたブロックの画素と異なる値を有する画素の数が基準値より大きい場合を表し、
    前記「 inter not coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のブロックから予測されたエンハンスメント階層ブロックの画素と異なる値を有する画素数が基準値より少ない場合を表し、
    前記「 inter coded 」モードは、現在ブロックの画素の中で下層の動きベクトルを利用して以前のブロックから予測されたエンハンスメント階層ブロックの画素と異なる値を有する画素の数が基準値より大きい場合を表し、
    前記第１復号化手段は、
    前記符号化モードが「 intra not coded 」であり、前記エンハンスメント階層ブロックに相応する下層ブロックの全画素が「０」である場合、前記エンハンスメント階層ブロック内の全画素を「０」に置き換える手段と、
    前記符号化モードが「 intra not coded 」であり、前記エンハンスメント階層ブロックに相応する下層ブロックの全画素が「２５５」である場合、前記エンハンスメント階層ブロック内の全画素を「２５５」に置き換える手段と、
    前記符号化モードが「 intra not coded 」であり、前記エンハンスメント階層ブロックに相応する下層ブロックの全画素が「０」でもなく「２５５」でもない場合、前記下層ブロックから予測されて構成されたブロックをエンハンスメント階層ブロックで用いる手段と
    を備えることを特徴とするスケーラブル二進映像復号化装置。
18. 前記エンハンスメント階層において、Ｂ−ＶＯＰのための前記付加情報は、次の表に記載の値を有し、
    

    

    （１）「intra not coded」モード、（２）「intra coded」モード、（３）「inter not coded」モード、（４）「inter coded」モードを表す
    ことを特徴とする請求項１７に記載のスケーラブル二進映像復号化装置。
19. 前記下層の符号化モード（１）、（２）、（３）及び（４）が基本階層（base layer）の符号化モードである場合、各々次のようにマッピングされる
    （１） all_0 or all_255
    （２） intraCAE
    （３） MVDs==０ && No Update or MVDs!=０ && No Update
    （４） interCAE && MVDs==O or interCAE && MvDs!=０
    ことを特徴とする請求項１８に記載のスケーラブル二進映像復号化装置。
20. 前記エンハンスメント階層において、Ｐ−ＶＯＰのための前記付加情報は、次の表に記載の値を有する
    

    

    ことを特徴とする請求項１７に記載のスケーラブル二進映像復号化装置。

Images