JP3301340B2 - 符号化装置および符号化方法、復号装置、並びに復号方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、画像信号
をアナログおよびデジタルの電話回線、および専用のデ
ータ伝送回線などの種々の転送レートを持った伝送装置
を使って伝送したり、また、光／磁気ディスクやＲＡＭ
（random access memory）などの種々の記憶容量を持っ
た蓄積メディアに記録する場合に、画像を効率的に符号
化することができるようにした符号化装置および符号化
方法、その符号化信号を復号する復号装置、並びに復号
方法に関する。

【０００２】

【従来の技術】２値画像の１つにハードキー信号があ
る。ハードキー信号とは、図２２に示すように、物体の
形状をその物体の内側であるか外側であるかによって２
値で表現するもので、画像中の興味のある物体をその形
状に応じて切り出して、他の背景画像に合成するために
使用されている。また、ハードキー信号で切り取られる
画像はフィル画像と呼ばれる。

【０００３】このハードキー信号を用いると、画像を重
要な物体と背景とに分け、重要な物体は細かく量子化
し、背景は荒く量子化して符号化し、それぞれを復号し
てハードキー信号によって合成するといったことができ
る。このとき、背景を荒く量子化したことによる符号の
減少分を、重要な物体を細かく量子化するために用いれ
ば、同じ符号発生量で主観的な画質を向上できるという
利点がある。そのため、このハードキー信号自体を効率
的に符号化する方法が重要となっている。

【０００４】一方、入力画像を空間的解像度について階
層的に符号化する、つまり、一部分を復号することによ
り低解像度の画像（以下、下位の階層の画像或いは下位
画像と呼ぶ）が得られ、全体を復号することにより元の
解像度の画像（以下、上位の階層の画像或いは上位画像
と呼ぶ）が得られるように符号化すると、図２３で表さ
れるように、複数の空間的な解像度の表示装置への表示
に対応することができる。

【０００５】即ち、入力画像を縮小して下位画像を作成
し、次に、入力画像と下位画像をまとめて符号化し、単
一の符号化データとする。符号化データのうちの一部を
復号することにより、低解像度の下位画像を得ることが
でき、それを例えば低解像度画像表示装置に表示するこ
とができる。また、符号化データの全体を復号すること
により、高解像度の上位画像を得ることができ、それを
例えば高解像度画像表示装置に表示させることができ
る。

【０００６】このように、画像を階層的に符号化する
と、下位の階層の画像についての情報を上位の階層の画
像の符号化に用いることができるため、各解像度の画像
を別々に符号化したときより符号発生量を少なくできる
という利点がある。

【０００７】以上のように、画像中の物体毎にその重要
度に応じて画質と符号発生量の制御を可能とするため
に、ハードキー信号を効率よく符号化することが重要で
ある。また、画像を符号化効率を低下させることなく空
間的に階層的に符号化し、複数の解像度での復号ができ
るならば更に望ましい。

【０００８】画像を空間的に階層的に符号化する基本的
な処理は、一般に、図２４に示すような手順で行われ
る。まず、入力画像を縮小処理し、低解像度の下位画像
を作り、下位画像を下位画像符号化器によって符号化す
る。次に、入力された画像である上位画像を下位画像か
ら予測し、最後に、予測された上位画像と実際の上位画
像（入力画像）との差分画像を差分画像符号化器によっ
て符号化する。そして、下位画像符号化器によって符号
化されたビットストリームと、差分画像符号化器によっ
て符号化されたビットストリームを多重化する。これに
より、図２５に示すように、一部分のみを復号すれば低
解像度の下位画像が得られ、全体を復号すれば入力画像
と同じ解像度の上位画像が得られるようなビットストリ
ームができる。

【０００９】通常この図２４、図２５の基本的な処理に
対して、次の変更がなされた処理が、図２６、図２７の
装置によって行われている。即ち、ハードキー信号は２
値画像であるため、差分画像は必要ないので作らない。
また不可逆符号化をして符号化前の画像と復号後の画像
が異なる場合には、符号化装置の中に局所復号器を備え
るようにし、局所復号した画像を符号化器における予測
に用いる。更に、上位画像を予測した画像は作らず、下
位画像の画素をそのまま用いる。

【００１０】図２６は画像入力端子１から入力された画
像を階層的に符号化して階層符号出力端子１０から出力
する符号化装置の一例の構成を示すブロック図である。

【００１１】上位画像フレームメモリ２は、画像入力端
子１から入力された画像を保持するようになされてい
る。画像縮小器３は、上位画像フレームメモリ２の画像
を縦横それぞれ１／２に縮小して下位画像フレームメモ
リ４に書き込むようになされている。下位画像符号化器
６は、下位画像フレームメモリ４の画像を符号化するよ
うになされている。下位画像局所復号器８は、下位画像
符号化器６による符号化結果を局所復号し、下位画像フ
レームメモリ４に書き戻すようになされている。

【００１２】下位画像符号化器６における符号化方法と
しては、次に挙げるいくつかの方法が考えられている。
図２６に示した符号化装置による符号化は、２値画像の
符号化であるという点で、ファクシミリ（ＦＡＸ）の場
合と同様であるので、ＭＭＲ（modified modified REA
D）に基づく方法や、ＪＢＩＧ（Joint Bi-level ImageE
xpert Group：詳細については、テレビジョン学会誌 V
ol.48, No.1, pp.65-68(1994)を参照のこと）に基づく
方法、あるいは、物体の内側と外側との境界線を、その
始点と続く向きによって符号化するチェーンコーディン
グに基づく方法や、すべての葉が同一の場合を省略した
４分木に基づく方法などである。

【００１３】下位画像符号化器６および下位画像局所復
号器８において下位画像が符号化および復号された後、
上位画像符号化器５で上位画像フレームメモリ２上の画
像が符号化される。そのとき、図２８乃至図３０を参照
して後述するように、下位画像フレームメモリ４上に書
き込まれている局所復号された下位画像と、上位画像フ
レームメモリ２上に書き込まれている上位画像が参照さ
れる。符号化結果は上位画像局所復号器７で局所復号さ
れ、上位画像フレームメモリ２に書き戻される。上位画
像符号化器５から出力された上位画像用符号と下位画像
符号化器６から出力された下位画像用符号が、多重化器
９で多重化されて階層符号出力端子１０から出力され
る。

【００１４】次に、上位画像符号化器５における符号化
方法を説明する。上位画像の各画素の値をＰ（ｘ，ｙ）
ｘ＝｛０，１，・・・，Ｗ−１｝，ｙ＝｛０，１，・・
・，Ｈ−１｝、下位画像の各画素の値をＱ（ｘ，ｙ）ｘ
＝｛０，１，・・・，Ｗ／２−１｝，ｙ＝｛０，１，・
・・，Ｈ／２−１｝、で表すことにする。ｘは画像の左
端からの変位の量であり、ｙは画像の上端からの変位の
量である。

【００１５】上位画像符号化器５では、上位画像の各画
素の値Ｐ（ｘ，ｙ）を１つずつ符号化する。その順序
は、ｘ＋ｙ×Ｗの値の小さいものから、つまり、画像を
上のラインから下のラインへの順で、各ラインの中では
左の画素から右の画素へという順で符号化する。上位画
像符号化器５から出力された符号は、出力された順に上
位画像局所復号器７で復号され、復号された画素値は上
位画像フレームメモリ２に書き込まれる。この局所復号
された画素値は、続く画素の符号化において参照され
る。

【００１６】画素Ｐ（ｘ，ｙ）を符号化するときには、
上位画像のＰ（ｘ−１，ｙ−１）、Ｐ（ｘ，ｙ−１）、
Ｐ（ｘ＋１，ｙ−１）、Ｐ（ｘ−１，ｙ）、下位画像の
Ｑ（（ｘ＋１）／２−１，（ｙ＋１）／２−１）、Ｑ
（（ｘ＋１）／２，（ｙ＋１）／２−１）、Ｑ（（ｘ＋
１）／２−１，（ｙ＋１）／２）、Ｑ（（ｘ＋１）／
２，（ｙ＋１）／２）、更に、各座標を２で除した余り
である、ｘ ｍｏｄ ２、およびｙ ｍｏｄ ２の値を
参照することが行われている。

【００１７】参照している上位画像の画素は、符号化し
ようとする画素Ｐ（ｘ，ｙ）に対して画像上で上側また
は左側に位置しているため、上位画像符号化器５および
上位画像局所復号器７によって既に符号化および復号が
終わっている画素で、図２８乃至図３１の各図で示す位
置関係にある。また、参照している下位画像の画素は、
符号化しようとする画素の下位画像上で相当する位置の
周辺の画素で、図２８乃至図３１の各図で示す位置関係
にある。符号化のときに参照する画素の用い方は、参照
した画素の値の組合せによってＶＬＣ（可変長コード）
のテーブルを切り替えて使用する方法、また、参照した
画素の値の組合せをコンテキスト（参照情報）として
（適応）算術符号化する方法が考えられている。

【００１８】図２７は、入力された空間的解像度につい
て階層的に符号化された符号を復号して、２つの解像度
の画像を出力する復号装置の一例の構成を示すブロック
図である。

【００１９】逆多重化器２２は、階層符号入力端子２１
から入力された階層的に符号化された符号を逆多重化
し、下位画像用の符号と上位画像用の符号とに分離する
ようになされている。下位画像復号器２４は、下位画像
フレームメモリ２６より供給される、既に復号されてい
る画素の値に基づいて、逆多重化器２２からの下位画像
用の符号を復号するようになされている。下位画像フレ
ームメモリ２６は、下位画像復号器２４によって復号さ
れた下位画像を記憶するようになされている。下位画像
フレームメモリ２６に記憶された下位画像は、下位画像
出力端子２８より出力されるとともに、上位画像復号器
２３にも供給されるようになされている。

【００２０】上位画像復号器２３は、上位画像フレーム
メモリ２５より供給された既に復号された画素と、下位
画像フレームメモリ２６より供給された既に復号された
画素の値に基づいて、逆多重化器２２からの上位画像用
の符号を復号するようになされている。上位画像フレー
ムメモリ２５は、上位画像復号器２３によって復号され
た上位画像を記憶するようになされている。上位画像フ
レームメモリ２５に記憶された上位画像は、上位画像出
力端子２７より出力されるようになされている。

【００２１】階層符号入力端子２１から入力された階層
的に符号化された符号は、逆多重化器２２において逆多
重化され、下位画像用の符号と上位画像用の符号とに分
離される。下位画像用の符号は下位画像復号器２４で復
号され、下位画像フレームメモリ２６に蓄えられる。低
解像度の画像を観賞する場合、下位画像フレームメモリ
２６の画像が下位画像出力端子２８から出力される。

【００２２】また、高解像度画像を観賞する場合、さら
に、上位画像復号器２３において、図２６に示した符号
化装置における符号化の場合と同一の位置関係にある周
囲の既に復号されている画素を参照して上位画像用の符
号が復号される。復号された画素は上位画像フレームメ
モリ２５に蓄えられ、続く画素の復号のときに参照され
る。上位画像フレームメモリ２５の画像は、上位画像出
力端子２７から出力され、高解像度の画像として観賞さ
れる。

【００２３】この符号化方法においては、上位の階層の
符号を送らないようにすれば、画像の解像度は下がるも
のの、符号発生量を抑えることが可能である。そのた
め、上位の階層の符号を送るか否かによるレートコント
ロールを行うことが考えられている。

【００２４】例えば、上位の階層の符号を送らずに解像
度の低い画像として符号化した場合には、その低解像度
画像のまま表示して空間的なスケーラビリティを持たせ
ることと、補間によって高い解像度ではあるが帯域の低
い画像にしてクオリティスケーラビリティを持たせるこ
とが可能である。後者のクオリティスケーラビリティを
持たせる場合において、補間画素の値を決定する方法と
しては、周囲の画素からの線形補間で決める方法や、算
術符号化のための確率テーブルからより生起確率が高い
として示される方の値に決める方法などが考えられてい
た。

【００２５】

【発明が解決しようとする課題】以上述べたように、従
来の空間的解像度に関する階層的な符号化においては、
下位画像を作る必要があるため、下位画像を作る装置、
下位画像を記憶する装置などを持たなければならず、符
号化装置が複雑になるという課題があった。また、上位
画像の符号化に先立って下位画像を符号化する分だけ、
符号化のための処理量が増大し、発生する符号の量も増
大してしまうという課題があった。さらに、レートコン
トロールをするとき、符号発生量を少なくするために
は、画像を半分の解像度に劣化させなければならず、荒
い調節しかできないという問題点もあった。

【００２６】また、空間的解像度に関する階層的な符号
の復号においても、下位画像を上位画像とは別に復号す
る必要があるため、下位画像を記憶する装置などを持た
なければならず復号装置が複雑になるという課題があ
る。さらには、上位画像の復号に先立って下位画像を復
号する分だけ、復号のための処理量が増大してしまうと
いう課題があった。

【００２７】さらに、低解像度の画像を補間してクオリ
ティスケーラビリティを持たせるようにするために、例
えば線形補間のフィルタを使った補間処理を行うと、図
３２に示すように、図中（ａ）の実線で示すような滑ら
かな画像を得たいような場合であっても、図中（ｂ）の
実線で示すような滑らかでない補間画像が生成されてし
まうという問題がある。また、補間処理のためとして適
応的算術符号を用いた場合には、学習が進むまでの間、
予測を誤ることが多いという問題があった。

【００２８】そこで、本発明はこのような状況に鑑みて
なされたものであり、符号化装置および復号装置の構成
を簡単にし、処理量を少なくするとともに、符号化効率
がよく、レートコントロールの自由度を高くすることが
でき、また、符号化効率のよい空間的スケーラブルな符
号化およびクオリティスケーラブルな符号化を実現する
符号化装置および符号化方法、その符号化に対応する復
号装置、並びに復号方法を提供することを目的とする。

【００２９】

【課題を解決するための手段】本発明の符号化装置にお
いて、符号化器は、入力画像上の所定の位置の画素から
なる第１の階層の画像を符号化する第１の符号化手段
と、第１の階層の画像に対して上位である第２の階層の
画像を符号化する第２の符号化手段とを備え、第２の階
層の画像は入力画像であり、第２の符号化手段は、第２
の階層の画像の画素のうち、第１の階層の画像の画素を
除く画素のみを符号化することにより、上述の課題を解
決する。ここで、本発明の符号化装置では、符号化器に
おいて、第１の符号化手段が、入力画像上の所定の位置
の画素からなる第１の階層の画像を符号化し、第２の符
号化手段が、第１の階層の画像に対して上位である第２
の階層の画像を符号化し、第２の階層の画像は入力画像
であり、第２の符号化手段は、第２の階層の画像の画素
のうち、第１の階層の画像の画素を除く画素のみを符号
化する。また、本発明の符号化装置では、既に値の計算
されている画素間の中央に位置する画素の値を、既に値
の計算されている画素から補間によって計算することを
下位側の階層から順に再帰的に繰り返すことにより求め
るようにしている。

【００３０】また、本発明の符号化方法は、入力画像上
の所定の位置の画素からなる第１の階層の画像を符号化
し、第１の階層の画像に対して上位である第２の階層の
画像としての入力画像を符号化するとき、第２の階層の
画像の画素のうち、第１の階層の画像の画素を除く画素
のみを符号化することにより、上述の課題を解決する。
ここで、本発明の符号化方法においては、入力画像上の
所定の位置の画素からなる第１の階層の画像を符号化
し、第１の階層の画像に対して上位である第２の階層の
画像としての入力画像を符号化するとき、第２の階層の
画像の画素のうち、第１の階層の画像の画素を除く画素
のみを符号化する。

【００３１】一方、本発明の復号装置において、復号器
は、第１の階層の画像を復号する第１の復号手段と、第
１の階層に対して上位の第２の階層の画像を復号する第
２の復号手段とを備え、第２の復号手段は、第１の復号
手段によって復号された第１の階層の画像の所定の画素
を、第２の階層の画像を予測するために用いるととも
に、第１の階層の画像の画素をそのまま、第２の階層の
画像の画素の一部として用いることにより、上述の課題
を解決する。ここで、本発明の復号装置では、復号器に
おいて、第１の復号手段が、第１の階層の画像を復号
し、第２の復号手段が、第１の階層に対して上位の第２
の階層の画像を復号するとき、第１の復号手段によって
復号された第１の階層の画像の所定の画素を、第２の階
層の画像を予測するために用いるとともに、第１の階層
の画像の画素をそのまま、第２の階層の画像の画素の一
部として用いる。また、本発明の復号装置では、既に値
の計算されている画素間の中央に位置する画素の値を、
既に値の計算されている画素から補間によって計算する
ことを下位側の階層から順に再帰的に繰り返すことによ
り求めるようにしている。

【００３２】また、本発明の復号方法は、第１の階層の
画像を復号し、第１の階層に対して上位の第２の階層の
画像を復号するとき、復号された第１の階層の画像の所
定の画素を、第２の階層の画像を予測するために用いる
とともに、第１の階層の画像の画素をそのまま、第２の
階層の画像の画素の一部として用いることにより、上述
の課題を解決する。ここで、本発明の復号方法において
は、第１の階層の画像を復号し、第１の階層に対して上
位の第２の階層の画像を復号するとき、復号された第１
の階層の画像の所定の画素を、第２の階層の画像を予測
するために用いるとともに、第１の階層の画像の画素を
そのまま、第２の階層の画像の画素の一部として用い
る。

【００３３】

【００３４】

【発明の実施の形態】本発明の実施の形態について、以
下、図面とともに詳細に説明する。

【００３５】ここでは、符号化する画像の横、縦の画素
数をそれぞれ、Ｗ、Ｈとし、Ｗ、Ｈはともに偶数である
とする。Ｗ、Ｈが偶数ではない場合、画枠を１画素だけ
拡張することにする。拡張された画素の値は０であると
する。また、画像の各画素の値をＰ（ｘ，ｙ）、ｘ＝
｛０，１，・・・，Ｗ−１｝，ｙ＝｛０，１，・・・，
Ｈ−１｝で表す。ｘは画像の左端からの変位、ｙは画像
の上端からの変位の量である。

【００３６】図１は、本発明の入力された２値画像を空
間的な解像度について３つの階層に分けて符号化する符
号化装置の第１の実施の形態の構成を示すブロック図で
ある。また３つの階層の画素の関係を図２に示す。この
図２に示すように、どの階層の画像も相対的に上位の階
層の画像の一部になっている。下位画像の画素は入力画
像の画素の１／４を占めており、縦横それぞれ１つおき
に並んでいる。

【００３７】中位画像の画素は入力画像の画素の１／４
と、下位画像の画素とからなり、市松模様に並んでい
る。上位画像の画素は入力画像の画素の１／２と、中位
画像の画素とからなり、入力画像と一致する。また、各
階層の画像の半分の画素は、相対的に下位の階層の画像
の画素となっている。

【００３８】フレームメモリ３２は、画像入力端子３１
より入力された画像を記憶するようになされている。下
位画像符号化器３５（第１の符号化手段）は、入力画像
を構成する各画素Ｐ（ｘ，ｙ）のうち、ｘ，ｙがともに
偶数である画素の値を符号化するようになされている。
下位画像局所復号器３８は、下位画像符号化器３５によ
って符号化された符号を復号し、フレームメモリ３２に
書き戻すようになされている。中位画像符号化器３４
（第２の符号化手段）は、画素Ｐ（ｘ，ｙ）のうち、
ｘ，ｙがともに奇数である画素を符号化するようになさ
れている。中位画像局所復号器３７は、中位画像符号化
器３４より出力された符号を復号し、フレームメモリ３
２に書き戻すようになされている。上位画像符号化器３
３（第２の符号化手段）は、画素Ｐ（ｘ，ｙ）のうち、
ｘ＋ｙが奇数となる画素を符号化するようになされてい
る。上位画像局所復号器３６は、上位画像符号化器３３
によって符号化された符号を復号し、フレームメモリ３
２に書き戻すようになされている。

【００３９】多重化器３９は、下位画像符号化器３５、
中位画像符号化器３４、および上位画像符号化器３３よ
り出力された符号を多重化し、階層符号出力端子４０よ
り出力するようになされている。

【００４０】図１に示した第１の実施の形態において、
図２６に示した従来例と大きく異なるのは、画像縮小が
行われず、画像縮小器３も下位画像フレームメモリ４も
ない点と、解像度の階層が３段階あり、従来例より１段
階増えている点である。

【００４１】次に、その動作について説明する。画像入
力端子３１から入力された入力画像はフレームメモリ３
２に蓄えられる。下位画像符号化器３５では、画素Ｐ
（ｘ，ｙ）のうち、ｘ，ｙがともに偶数である画素を符
号化する。符号化方法としては、どのような方法を用い
ても構わない。出力された符号は下位画像局所復号器３
８で復号され、フレームメモリ３２に書き戻される。

【００４２】下位画像符号化器３５における符号化、お
よび下位画像局所復号器３８における復号が終わった
後、中位の画像が処理される。中位画像符号化器３４で
は、画素Ｐ（ｘ，ｙ）のうち、ｘ，ｙがともに奇数であ
る画素を、ｘ＋ｙ×Ｗの値の小さいものから、つまり、
画像を上のラインから下のラインへの順で、１つのライ
ンの中では左の画素から右の画素へという順序で符号化
する。中位画像符号化器３４から出力された符号は、出
力された順に中位画像局所復号器３７で復号され、復号
された画素値はフレームメモリ３２に書き込まれる。

【００４３】図２に示したように、中位の画像の画素の
数は、入力画像の画素の数の１／２であるが、そのうち
の１／２を下位の画像の画素が占める。下位の画像の画
素は既に符号化されているため、中位の画像を符号化す
るために実際に符号化する画素は、中位の画像の画素の
１／２だけでよい。

【００４４】中位画像符号化器３４における符号化の方
法の詳細は以下の通りである。画素Ｐ（ｘ，ｙ）の符号
化で参照される画素は、下位の階層の画素であり、下位
画像符号化器３５および下位画像局所復号器３８によっ
て、既に符号化および復号が終わっている画素Ｐ（ｘ−
１，ｙ−１）、Ｐ（ｘ＋１，ｙ−１）、Ｐ（ｘ−１，ｙ
＋１）、Ｐ（ｘ＋１，ｙ＋１）と、同じ中位の階層の画
素で、符号化しようとする画素Ｐ（ｘ，ｙ）に対して画
像の上側または左側に位置しているため、中位画像符号
化装置３４および中位画像局所復号器３７によって既に
符号化および復号が終わっている画素Ｐ（ｘ，ｙ−
２）、Ｐ（ｘ−２，ｙ）である。

【００４５】これらの画素の位置関係を図３に示す。画
素Ｐ（ｘ，ｙ）の符号化は、これらの６画素をコンテキ
スト（参照情報）として用いた適応算術符号化によって
行われる。即ち、その６つの２値画素を、各値がそれぞ
れ０であるか１であるかによって６４（２の６乗）通り
に分類し、それぞれのパターンに応じて符号化する画素
Ｐ（ｘ，ｙ）がとる値を予測して算術符号を用いて符号
化する。画素Ｐ（ｘ，ｙ）がとる値の予測は、通常の適
応算術符号の場合と同様に、それまでに符号化した画素
の値の統計で求める。

【００４６】中位画像局所復号器３７では、中位画像符
号化装置３４と同じコンテキストを用いて適応算術符号
を復号する。

【００４７】なお、Ｐ（−１，０）のような画枠外の画
素については、その値が０であるものとして扱う。この
ことは以下においても同様である。他の扱い方として、
既に符号化されている最も近い画素と同一の値であると
することも可能である。

【００４８】上位の画像の画素は、入力画像の画素全体
であり、そのうちの１／２の画素が中位または下位の画
像の画素である。中位の画像と下位の画像の画素は既に
符号化されているため、上位の画像を符号化するために
実際に符号化する画素は、上位の画像の画素の１／２だ
けでよい。

【００４９】中位画像符号化器３４における符号化、お
よび中位画像局所復号器３７における復号が終わった
後、上位の画像が処理される。上位画像符号化器３３で
は、画素Ｐ（ｘ，ｙ）のうち、ｘ＋ｙが奇数となる画素
を、ｘ＋ｙ×Ｗの値の小さいものから順に符号化する。
上位画像符号化器３３から出力された符号は、出力され
た順に上位画像局所復号器３６で復号され、復号された
画素値はフレームメモリ３２に書き込まれる。

【００５０】上位画像符号化器３３における符号化の方
法の詳細は以下の通りである。画素Ｐ（ｘ，ｙ）の符号
化で参照される画素は、中位または下位の階層の画素
で、既に符号化および復号が終わっているＰ（ｘ，ｙ−
１）、Ｐ（ｘ−１，ｙ）、Ｐ（ｘ＋１，ｙ）、Ｐ（ｘ，
ｙ＋１）と、同じ上位の階層の画素で、符号化しようと
する画素Ｐ（ｘ，ｙ）に対して画像の上側に位置してい
るため上位画像符号化器３３および上位画像局所復号器
３６によって既に符号化および復号が終わっているＰ
（ｘ−１，ｙ−１）、Ｐ（ｘ＋１，ｙ−１）である。

【００５１】これらの画素の位置関係を図４に示す。画
素Ｐ（ｘ，ｙ）の符号化は、これらの６画素をコンテキ
ストとして用いた適応算術符号化によって行われる。即
ち、それらの６画素を、各画素の値がそれぞれ０である
か１であるかによって６４（２の６乗）通りに分類し、
それぞれのパターンに応じて符号化する画素Ｐ（ｘ，
ｙ）がとる値を予測して算術符号を用いて符号化する。
画素Ｐ（ｘ，ｙ）がとる値の予測は、通常の適応算術符
号の場合と同様に、それまでに符号化した画素の値の統
計で求める。

【００５２】上位画像局所復号器３６では、上位画像符
号化器３３の場合と同一のコンテキストを用いて適応算
術符号を復号する。中位画像符号化のときに参照する画
素と、上位画像符号化のときに参照する画素の位置関係
は、図３および図４に示したように、そのいずれかを４
５度だけ回転させて拡大または縮小することにより一致
するという関係にある。例えば、図３に示したような各
画素を、それぞれ画素Ｐ（ｘ，ｙ）を中心として４５度
だけ時計回りに回転させ、所定の倍率で縮小することに
より、図４に示したような位置関係になる。

【００５３】このように、中位画像符号化のときに参照
する画素と、上位画像符号化のときに参照する画素は、
空間的な配置が相似であるので、同一の算術符号を使う
ことにより算術符号で用いるテーブルを記憶するメモリ
領域を節約することができる。更に、適応算術符号の場
合には入力画像に適応する速度が速くなる。ただし、入
力画像に適応するための充分な余裕があれば、別々の適
応算術符号を使った場合の方が、最終的に各々について
最適なものが学習される点でよい。

【００５４】下位画像符号化器３５で用いる符号化方法
はどのようなものでも構わないと述べたが、上位および
中位の画像符号化器３３，３４で使われている方法と同
様の枠組みからなる方法として次の方法がある。この方
法は、中位および上位画像の符号化方法と共通性のある
方法なので、符号化装置を設計したり、作成することを
容易にするという利点がある。

【００５５】下位画像符号化器３５では、画素Ｐ（ｘ，
ｙ）のうち、その座標値ｘ，ｙがともに偶数である画素
を、ｘ＋ｙ×Ｗの値の小さいものから順に符号化する。
下位画像符号化器３５から出力された符号は、出力され
た順に下位画像局所復号器３８で復号され、復号された
画素値はフレームメモリ３２に書き込まれる。

【００５６】下位画像符号化器３５における符号化の方
法の詳細は以下の通りである。画素Ｐ（ｘ，ｙ）の符号
化で参照される画素は、下位の階層の画素で、符号化し
ようとする画素Ｐ（ｘ，ｙ）に対して、画像の上側また
は左側に位置しているため、下位画像符号化器３５およ
び下位画像局所復号器３８によって既に符号化および復
号が終わっている画素Ｐ（ｘ−２，ｙ−２）、Ｐ（ｘ，
ｙ−２）、Ｐ（ｘ＋２，ｙ−２）、およびＰ（ｘ−２，
ｙ）である。

【００５７】これらの画素の位置関係を図５に示す。画
素Ｐ（ｘ，ｙ）の符号化は、これらの４画素をコンテキ
ストとして用いた適応算術符号化によって行われる。即
ち、それらの４画素を、各画素値がそれぞれ０であるか
１であるかによって１６（２の４乗）通りに分類し、そ
れぞれのパターンに応じて符号化する画素Ｐ（ｘ，ｙ）
がとる値を予測して算術符号を用いて符号化する。画素
Ｐ（ｘ，ｙ）がとる値の予測は、通常の適応算術符号の
場合と同様に、それまでに符号化した画素の値の統計で
求める。

【００５８】以上のように、図１に示した第１の実施の
形態では、入力画像を空間的解像度について階層的に符
号化するときに、各階層の画像の画素の一部を抜き出し
たものを相対的に下の階層の画像の画素として用いるこ
とにより、図２６に示したように、下位の階層の画像を
作る装置（画像縮小器３）および下位の階層の画像を記
憶する装置（下位画像フレームメモリ４）を不用にし、
符号化装置を簡略化することができる。

【００５９】更に、各階層の画素が相対的に上位の階層
の画素でもあるため、上位の階層で符号化する画素の数
が半分に減り、符号化のための処理量と符号の発生量を
従来の場合より低下させることができる。また、階層が
３段階であり、従来より１段階多いため、下位画像のみ
を符号化する段階、下位画像と中位画像を符号化する段
階、下位画像と中位画像と上位画像を符号化する段階と
いう３段階に符号発生量を調節することができ、より柔
軟なレートコントロールを可能とすることができる。

【００６０】このようにして、階層的に符号化されたビ
ットストリームは、光ディスク２００等の記録媒体に記
録される。

【００６１】図６は、本発明の前記第１の実施の形態と
して入力された２値画像を階層的に表す符号を、復号す
る復号装置の構成を示すブロック図である。

【００６２】逆多重化器５２は、光ディスク２００等よ
り階層符号入力端子５１を介して入力された階層的に符
号化された符号を逆多重化し、下位、中位、上位の各画
像用の符号に分離するようになされている。下位画像復
号器５５（第１の復号手段）は、逆多重化器５２より供
給された下位画像用の符号を復号するようになされてい
る。中位画像復号器５４（第２の復号手段）は、逆多重
化器５２より供給された中位画像用の符号を復号するよ
うになされている。また、上位画像復号器５３（第２の
復号手段）は、逆多重化器５２より供給された上位画像
用の符号を復号するようになされている。

【００６３】フレームメモリ５６は、上位画像復号器５
３からの復号された画素、中位画像復号器５４からの復
号された画素、および下位画像復号器５５からの復号さ
れた画素を記憶するようになされている。そして、高解
像度の画像を鑑賞する場合、上位画像を構成する画素か
らなる画像データを上位画像出力端子５７より出力し、
中解像度の画像を鑑賞する場合、中位画像を構成する画
素からなる画像データを中位画像出力端子５８より出力
し、低解像度の画像を鑑賞する場合、下位画像を構成す
る画素からなる画像データを下位画像出力端子５９より
出力するようになされている。さらに、上位画像復号器
５３、中位画像復号器５４、および下位画像復号器５５
に、参照画像を供給するようになされている。

【００６４】図６に示す第１の実施の形態の復号装置の
構成が、図２７に示した従来例と大きく異なるのは、各
階層の画像を記憶するためのフレームメモリが各階層に
よって共有されており、フレームメモリが１つしか存在
しない点、また、解像度の階層が３段階あり、従来例よ
り１段階増えている点である。３つの階層の画素は、図
２に示したような位置関係にある。

【００６５】次に、その動作について説明する。階層符
号入力端子５１から入力された階層的に符号化された符
号は、逆多重化器５２で逆多重化されて下位、中位、上
位の画像用の符号に分離される。下位画像用符号は下位
画像復号器５５で復号され、フレームメモリ５６に蓄え
られる。低解像度の画像で観賞する場合には、この画像
が下位画像出力端子５９より出力される。

【００６６】下位画像の符号の復号は、例えば、図１の
符号化装置の場合と同様に、周囲の既に復号されている
画素を参照して行われる。参照する画素は、図１の符号
化装置の場合と同様、下位の階層の画素で、復号しよう
とする画素Ｐ（ｘ，ｙ）に対して画像の上側または左側
に位置しているため既に復号が終わっているＰ（ｘ−
２，ｙ−２）、Ｐ（ｘ，ｙ−２）、Ｐ（ｘ＋２，ｙ−
２）、およびＰ（ｘ−２，ｙ）である。復号された画素
は、フレームメモリ５６に蓄えられ、続く画素の復号の
ときに参照される。

【００６７】それより高い解像度の画像を観賞する場合
には、続いて中位画像復号器５４で中位画像の符号を復
号する。中位の画像の画素は、上位の画像の画素の１／
２であるが、そのうちの１／２を下位の画像の画素が占
める。下位の画像の画素は既に復号されているため、中
位の画像を復号するために実際に符号化する画素の数
は、中位の画像の画素の数の１／２だけでよい。

【００６８】中位画像の符号の復号は、図１の符号化装
置の場合と同様に、周囲の既に復号されている画素を参
照して行われる。参照する画素は、図１の符号化装置の
場合と同様、下位の階層の画像で、既に復号が終わって
いる画素Ｐ（ｘ−１，ｙ−１）、Ｐ（ｘ＋１，ｙ−
１）、Ｐ（ｘ−１，ｙ＋１）、Ｐ（ｘ＋１，ｙ＋１）
と、同じ中位の階層の画素で、復号しようとする画素Ｐ
（ｘ，ｙ）に対して画像の上側または左側に位置してい
るため、既に復号が終わっているＰ（ｘ，ｙ−２）、Ｐ
（ｘ−２，ｙ）である。復号された画素はフレームメモ
リ５６に蓄えられ、続く画素の復号のときに参照され
る。中解像度の画像で観賞する場合には、この画像が中
位画像出力端子５８に出力される。

【００６９】更に高解像度の画像を観賞する場合には、
続いて上位画像復号器５３で上位画像の符号を復号す
る。上位の画像の画素のうちの１／２の画素が中位また
は下位の画像の画素である。中位の画像と下位の画像の
画素は既に復号されているため、上位の画像を復号する
ために実際に復号する画素の数は、上位の画像の画素の
数の１／２だけでよい。

【００７０】上位画像の符号の復号は、図１の符号化装
置の場合と同様に、周囲の既に復号されている画素を参
照して行われる。参照する画素は、図１の符号化装置の
場合と同じく、中位または下位の画像で既に復号が終わ
っている画素Ｐ（ｘ，ｙ−１）、Ｐ（ｘ−１，ｙ）、Ｐ
（ｘ＋１，ｙ）、Ｐ（ｘ，ｙ＋１）と、同じ上位の画素
で、復号しようとする画素Ｐ（ｘ，ｙ）に対して画像の
上側に位置しているため、既に復号が終わっている画素
Ｐ（ｘ−１，ｙ−１）、Ｐ（ｘ＋１，ｙ−１）である。
復号された画素はフレームメモリ５６に蓄えられ、続く
画素の復号のときに参照される。高解像度の画像を観賞
する場合には、フレームメモリ５６に記憶されている全
画素で構成される上位画像が上位画像出力端子５７より
出力される。

【００７１】以上の説明では、画像を符号化するとき、
適応算術符号を用いるとしたが、固定的な算術符号を用
いてもよいし、複数の画素をまとめた上でＶＬＣ（可変
長符号）を用いてもよい。

【００７２】以上のように、図６に示した第１の実施の
形態の復号装置では、各階層の画像の画素を相対的に上
位の階層の画像の画素の一部とすることにより、下位の
階層の画像を記憶する装置を不用にし、復号装置を簡略
化している。更に、下位の階層で復号した画素が上位の
階層の画素でもあるため、上位の階層で復号する画素の
数を減らすことができ、符号化のための処理量を減らす
ことができる。

【００７３】図７は、下位画像の符号化を行うための構
成として前記図１に示した第１の実施の形態の全体構成
と同じものを用いた、本発明の第２の実施の形態の符号
化装置の構成を示すブロック図である。

【００７４】フレームメモリ６２は、画像入力端子６１
より入力された画像を記憶するようになされている。下
−下位画像符号化器６７は、入力画像を構成する各画素
Ｐ（ｘ，ｙ）のうち、ｘ、ｙ、ｘ／２、ｙ／２がともに
偶数である画素の値を符号化するようになされている。
下−下位画像局所復号器７２は、下−下位画像符号化器
６７によって符号化された符号を復号し、フレームメモ
リ６２に書き戻すようになされている。

【００７５】下−中位画像符号化器６６は、入力画像を
構成する各画素Ｐ（ｘ，ｙ）のうち、ｘ、ｙ、ｘ／２＋
ｙ／２がともに偶数である画素の値を符号化するように
なされている。下−中位画像局所復号器７１は、下−中
位画像符号化器６６によって符号化された符号を復号
し、フレームメモリ６２に書き戻すようになされてい
る。また、下−上位画像符号化器６５は、入力画像を構
成する各画素Ｐ（ｘ，ｙ）のうち、ｘ、ｙがともに偶数
であり、ｘ／２＋ｙ／２が奇数である画素の値を符号化
するようになされている。下−上位画像局所復号器７０
は、下−上位画像符号化器６５によって符号化された符
号を復号し、フレームメモリ６２に書き戻すようになさ
れている。

【００７６】中位画像符号化器６４は、画素Ｐ（ｘ，
ｙ）のうち、ｘ，ｙがともに奇数である画素を符号化す
るようになされている。中位画像局所復号器６９は、中
位画像符号化器６４より出力された符号を復号し、フレ
ームメモリ６２に書き戻すようになされている。上位画
像符号化器６３は、画素Ｐ（ｘ，ｙ）のうち、ｘ＋ｙが
奇数となる画素を符号化するようになされている。上位
画像局所復号器６８は、上位画像符号化器６３によって
符号化された符号を復号し、フレームメモリ６２に書き
戻すようになされている。

【００７７】多重化器７３は、下−下位画像符号化器６
７、下−中位画像符号化器６６、下−上位画像符号化器
６５、中位画像符号化器６４、および上位画像符号化器
６３より出力された符号を多重化し、階層符号出力端子
７４より出力するようになされている。

【００７８】このように、図７に示した第２の実施の形
態の符号化装置では、入力画像を５階層に分けて符号化
している。５つの階層の画素の関係を図８に示す。この
第２の実施の形態では、前記第１の実施の形態において
図２に示したように下位画像であった縦横１つおきの画
素が、図８においては下−上位画像、下−中位画像、下
−下位画像の３つの階層に分かれている。 図７に示し
た第２の実施の形態の符号化装置の構成の動作は、以下
の３つの場合が図１に示した第２の実施の形態の下位画
像の符号化部分（下位画像符号化器３５）と置き代わる
点以外において、図１の第１の実施の形態の場合と同様
である。

【００７９】下−下位画像は、下−下位画像符号化器６
７で適応算術符号化される。このとき用いられるコンテ
キストは、図９に示すように、画素Ｐ（ｘ，ｙ）を符号
化する場合、下−下位画像の画素Ｐ（ｘ−４，ｙ−
４）、Ｐ（ｘ，ｙ−４）、Ｐ（ｘ＋４，ｙ−４）、Ｐ
（ｘ−４，ｙ）の４画素である。

【００８０】下−中位画像は、下−中位画像符号化器６
６で適応算術符号化される。このとき用いられるコンテ
キストは、図１０に示すように、画素Ｐ（ｘ，ｙ）を符
号化する場合、下−下位画像の画素Ｐ（ｘ−２，ｙ−
２）、Ｐ（ｘ＋２，ｙ−２）、Ｐ（ｘ−２，ｙ＋２）、
Ｐ（ｘ＋２，ｙ＋２）と、下−中位画像の既に符号化が
終了している画素Ｐ（ｘ，ｙ−４）、Ｐ（ｘ−４，ｙ）
の６画素である。

【００８１】下−上位画像は下−上位画像符号化器６５
で適応算術符号化される。このとき用いられるコンテキ
ストは、図１１に示すように、画素Ｐ（ｘ，ｙ）を符号
化する場合、下−中位画像または下−下位画像の画素Ｐ
（ｘ，ｙ−２）、Ｐ（ｘ−２，ｙ）、Ｐ（ｘ＋２，
ｙ）、Ｐ（ｘ，ｙ＋２）と、下−上位画像の既に符号化
が終了している画素Ｐ（ｘ−２，ｙ−２）、Ｐ（ｘ＋
２，ｙ−２）の６画素である。

【００８２】このように、この第２の実施の形態におい
ても、前記図１の実施の形態の場合と同様に、各階層の
画像の画素が相対的に上位の階層の画像の画素として使
われるため、階層を増やしたことによる符号化効率の劣
化がほとんどないという利点がある。また、階層を増や
してもフレームメモリの数が増えることはない。

【００８３】また、この第２の実施の形態における、最
下位の画像（下−下位の画像）の符号化方法として、前
記図１に示した第１の実施の形態での符号化方法を用い
ることにより、更に階層の数を増やすことができる。同
様にして、この階層を更に増やしていくことができる
が、符号化効率および処理の容易さから考えて、図１３
乃至図１５を参照して後述するように、前記第１の実施
の形態での階層を４段の階層にして用い、画素を９階層
に分けて符号化する程度が適当である。

【００８４】図１２は、この第２の実施の形態の復号方
法として、前記図６に示した第１の実施の形態の全体構
成と同じものを用いて下位画像の復号を行うようにした
復号装置の構成を示すブロック図である。

【００８５】逆多重化器８２は、階層符号入力端子８１
より入力された階層的に符号化された符号を逆多重化
し、下−下位、下−中位、下−上位、中位、および上位
の各画像用の符号に分離するようになされている。下−
下位画像復号器８７は、逆多重化器８２より供給された
下−下位画像用の符号を復号するようになされている。
下−中位画像復号器８６は、逆多重化器８２より供給さ
れた下−中位画像用の符号を復号するようになされてい
る。下−上位画像復号器８５は、逆多重化器８２より供
給された下−上位画像用の符号を復号するようになされ
ている。中位画像復号器８４は、逆多重化器８２より供
給された中位画像用の符号を復号するようになされてい
る。また、上位画像復号器８３は、逆多重化器８２より
供給された上位画像用の符号を復号するようになされて
いる。

【００８６】フレームメモリ８８は、上位画像復号器８
３からの復号された画素、中位画像復号器８４からの復
号された画素、下−上位画像復号器８５からの復号され
た画素、下−中位画像復号器８６からの復号された画
素、および下−下位画像復号器８７からの復号された画
素を記憶するようになされている。そして、高解像度の
画像を鑑賞する場合、上位画像を構成する画素からなる
画像データを上位画像出力端子８９より出力し、中解像
度の画像を鑑賞する場合、中位画像を構成する画素から
なる画像データを中位画像出力端子９０より出力し、低
解像度の画像を鑑賞する場合、下−上位画像を構成する
画素からなる画像データを下−上位画像出端子９１より
出力するようになされている。また、下−中位画像を構
成する画素からなる画像データを下−中位画像出力端子
９２より出力するようになされている。さらに、下−下
位画像を構成する画素からなる画像データを下−下位画
像出力端子９３より出力するようになされている。

【００８７】また、上位画像復号器８３、中位画像復号
器８４、下−上位画像復号器８５、下−中位画像復号器
８６、および下−下位画像復号器８７に参照画像を供給
するようになされている。

【００８８】このように、図１２に示した第２の実施の
形態の復号装置は、空間的な解像度について５つの階層
を持つ符号を復号する装置である。５つの階層の画素は
図８に示したような位置関係にある。

【００８９】階層符号入力端子８１から入力された階層
的に符号化された符号は、逆多重化器８２で逆多重化さ
れ、下−下位、下−中位、下−上位、中位、および上位
の各画像用の符号に分離される。

【００９０】図１２に示した第２の実施の形態の復号装
置の動作は、以下の３つの場合が前記図６に示した第１
の実施の形態における下位画像の復号部分（下位画像復
号器５５）と置き代わる点以外において、図６に示した
第１の実施の形態の場合と同一である。

【００９１】下−下位画像復号器８７により、下−下位
画像の適応算術符号が復号される。このとき用いられる
コンテキストは、図７に示した符号化装置の場合と同様
に、下−下位画像の画素Ｐ（ｘ−４，ｙ−４）、Ｐ
（ｘ，ｙ−４）、Ｐ（ｘ＋４，ｙ−４）、Ｐ（ｘ−４，
ｙ）の４画素である。

【００９２】下−中位画像復号器８６により、下−中位
画像の適応算術符号が復号される。このとき用いられる
コンテキストは、図７に示した符号化装置の場合と同様
に、下−下位画像の画素Ｐ（ｘ−２，ｙ−２）、Ｐ（ｘ
＋２，ｙ−２）、Ｐ（ｘ−２，ｙ＋２）、Ｐ（ｘ＋２，
ｙ＋２）と、下−中位の画素のＰ（ｘ，ｙ−４）、Ｐ
（ｘ−４，ｙ）の６画素である。

【００９３】下−上位画像復号器８５により、下−上位
画像の適応算術符号が復号される。このとき用いられる
コンテキストは、図７の符号化装置の場合と同様、下−
中位または下−下位画像の画素Ｐ（ｘ，ｙ−２）、Ｐ
（ｘ−２，ｙ）、Ｐ（ｘ＋２，ｙ）、Ｐ（ｘ，ｙ＋２）
と、下−上位の画素のＰ（ｘ−２，ｙ−２）、Ｐ（ｘ＋
２，ｙ−２）の６画素である。

【００９４】このように、第２の実施の形態の復号にお
いては、図６に示した第１の実施の形態の場合と同様
に、各階層の画像の画素が相対的に上の階層の画像の画
素として使われるため、下の階層の画像を記憶する装置
を不用にし、復号装置を簡略化することができる。更
に、下の階層で復号した画素が上の階層の画素でもある
ため、上の階層で復号する画素の数が減り、符号化のた
めの処理量を減らすことができる。また、階層を増やし
たにもかかわらず、フレームメモリの数を１つのままと
することができる。

【００９５】また、この第２の実施の形態における最下
位の符号（下−下位の画像の符号）の復号方法として、
図６に示した第１の実施の形態と同じものを用いること
により、更に階層の数を増やすことができる。同様にし
て、この階層を更に増やしていくことができるが、上述
した符号化装置の場合において、図１に示した第１の実
施の形態における階層を４段の階層にして用い、画素を
９階層に分けて符号化する程度が適当であるのと同様
に、復号装置においても、図６に示した第１の実施の形
態での階層を４段の階層にして用い、９階層の符号を復
号する程度が適当である。

【００９６】図１３は、入力された画像を９階層に分け
て符号化する本発明の第３の実施の形態の符号化装置の
構成を示すブロック図である。

【００９７】フレームメモリ１０２は、画像入力端子１
０１より入力された画像を記憶するようになされてい
る。下−下−下−下位画像符号化器１１１は、入力画像
を構成する各画素Ｐ（ｘ，ｙ）のうち、ｘ、ｙ、ｘ／
２、ｙ／２がともに偶数であり、ｘ／４、ｙ／４がとも
に偶数であり、さらに、ｘ／８、ｙ／８がともに偶数で
ある画素の値を符号化するようになされている。下−下
−下−下位画像局所復号器１２０は、下−下−下−下位
画像符号化器１１１によって符号化された符号を復号
し、フレームメモリ１０２に書き戻すようになされてい
る。

【００９８】下−下−下−中位画像符号化器１１０は、
入力画像を構成する各画素Ｐ（ｘ，ｙ）のうち、ｘ、
ｙ、ｘ／２、ｙ／２がともに偶数であり、ｘ／４、ｙ／
４が偶数であり、さらに、ｘ／８＋ｙ／８が偶数である
画素の値を符号化するようになされている。下−下−下
−中位画像局所復号器１１９は、下−下−下−中位画像
符号化器１１０によって符号化された符号を復号し、フ
レームメモリ１０２に書き戻すようになされている。

【００９９】下−下−下−上位画像符号化器１０９は、
入力画像を構成する各画素Ｐ（ｘ，ｙ）のうち、ｘ、
ｙ、ｘ／２、ｙ／２がともに偶数であり、ｘ／４、ｙ／
４が偶数であり、さらに、ｘ／８＋ｙ／８が奇数である
画素の値を符号化するようになされている。下−下−下
−上位画像局所復号器１１８は、下−下−下−上位画像
符号化器１０９によって符号化された符号を復号し、フ
レームメモリ１０２に書き戻すようになされている。

【０１００】下−下−中位画像符号化器１０８は、入力
画像を構成する各画素Ｐ（ｘ，ｙ）のうち、ｘ、ｙ、ｘ
／２、ｙ／２がともに偶数であり、ｘ／４＋ｙ／４が偶
数である画素の値を符号化するようになされている。下
−下−中位画像局所復号器１１７は、下−下−中位画像
符号化器１０８によって符号化された符号を復号し、フ
レームメモリ１０２に書き戻すようになされている。

【０１０１】下−下−上位画像符号化器１０７は、入力
画像を構成する各画素Ｐ（ｘ，ｙ）のうち、ｘ、ｙ、ｘ
／２、ｙ／２がともに偶数であり、ｘ／４＋ｙ／４が奇
数である画素の値を符号化するようになされている。下
−下−上位画像局所復号器１１６は、下−下−上位画像
符号化器１０７によって符号化された符号を復号し、フ
レームメモリ１０２に書き戻すようになされている。

【０１０２】下−中位画像符号化器１０６は、入力画像
を構成する各画素Ｐ（ｘ，ｙ）のうち、ｘ、ｙ、ｘ／２
＋ｙ／２がともに偶数である画素の値を符号化するよう
になされている。下−中位画像局所復号器１１５は、下
−中位画像符号化器１０６によって符号化された符号を
復号し、フレームメモリ１０２に書き戻すようになされ
ている。

【０１０３】下−上位画像符号化器１０５は、入力画像
を構成する各画素Ｐ（ｘ，ｙ）のうち、ｘ、ｙがともに
偶数であり、ｘ／２＋ｙ／２が奇数である画素の値を符
号化するようになされている。下−上位画像局所復号器
１１４は、下−上位画像符号化器１０５によって符号化
された符号を復号し、フレームメモリ１０２に書き戻す
ようになされている。

【０１０４】中位画像符号化器１０４は、画素Ｐ（ｘ，
ｙ）のうち、ｘ，ｙがともに奇数である画素を符号化す
るようになされている。中位画像局所復号器１１３は、
中位画像符号化器１０４より出力された符号を復号し、
フレームメモリ１０２に書き戻すようになされている。
上位画像符号化器１０３は、画素Ｐ（ｘ，ｙ）のうち、
ｘ＋ｙが奇数となる画素を符号化するようになされてい
る。上位画像局所復号器１１２は、上位画像符号化器１
０３によって符号化された符号を復号し、フレームメモ
リ１０２に書き戻すようになされている。

【０１０５】多重化器１２１は、上位画像符号化器１０
３、中位画像符号化器１０４、下−下−上位画像符号化
器１０５、下−中位画像符号化器１０６、下−下−上位
画像符号化器１０７、下−下−中位画像符号化器１０
８、下−下−下−上位画像符号化器１０９、下−下−下
−中位画像符号化器１１０、および下−下−下−下位画
像符号化器１１１より出力された各階層の符号を多重化
し、階層符号出力端子１２２より出力するようになされ
ている。

【０１０６】このように、図１３に示した符号化装置で
は、入力画像を９階層に分けて符号化している。９つの
階層の画素の関係を図１４に示す。図７に示した第２の
実施の形態においては、前記図８に示すように下−下位
画像であった縦横３つおきの画素が、この第３の実施の
形態では、図１４に示すように、下−下−上位画像（番
号５で表された画素）、下−下−中位画像（番号４で表
された画素）、下−下−下−上位画像（番号３で表され
た画素）、下−下−下−中位画像（番号２で表された画
素）、下−下−下−下位画像（番号１で表された画素）
の５つの階層に分かれている。なお、各階層の画素は反
復して現れており、図１４では左上側以外において、画
素の番号の記入を省略している。

【０１０７】図１３に示した第３の実施の形態の符号化
装置の動作は、以下の５つの場合において、図７に示し
た第２の実施の形態の符号化装置の下−下位画像の符号
化部分と置き代わる点以外において、図７の実施の形態
の場合と同様である。

【０１０８】下−下−下−下位画像は、下−下−下−下
位画像符号化器１１１で適応算術符号化される。このと
き用いられるコンテキストは、画素Ｐ（ｘ，ｙ）を符号
化する場合、下−下−下−下位画像の画素Ｐ（ｘ−１
６，ｙ−１６）、Ｐ（ｘ，ｙ−１６）、Ｐ（ｘ＋１６，
ｙ−１６）、Ｐ（ｘ−１６，ｙ）の４画素である。

【０１０９】下−下−下−中位画像は、下−下−下−中
位画像符号化器１１０で適応算術符号化される。このと
き用いられるコンテキストは、画素Ｐ（ｘ，ｙ）を符号
化する場合、下−下−下−下位画像の画素Ｐ（ｘ−８，
ｙ−８）、Ｐ（ｘ＋８，ｙ−）、Ｐ（ｘ−８，ｙ＋
８）、Ｐ（ｘ＋８，ｙ＋８）と、下−下−下−中位画像
の既に符号化が終了している画素Ｐ（ｘ，ｙ−１６）、
Ｐ（ｘ−１６，ｙ）の６画素である。

【０１１０】下−下−下−上位画像は、下−下−下−上
位画像符号化器１０９で適応算術符号化される。このと
き用いられるコンテキストは、画素Ｐ（ｘ，ｙ）を符号
化する場合、下−下−下−中位画像または下−下−下−
下位画像の画素Ｐ（ｘ，ｙ−８）、Ｐ（ｘ−８，ｙ）、
Ｐ（ｘ＋８，ｙ）、Ｐ（ｘ，ｙ＋８）と、下−下−下−
上位画像の既に符号化が終了している画素Ｐ（ｘ−８，
ｙ−８）、Ｐ（ｘ＋８，ｙ−８）の６画素である。

【０１１１】下−下−中位画像は、下−下−中位画像符
号化器１０８で適応算術符号化される。このとき用いら
れるコンテキストは、画素Ｐ（ｘ，ｙ）を符号化する場
合、下−下−下−下位画像、下−下−下−中位画像、ま
たは下−下−下−上位画像の画素Ｐ（ｘ−４，ｙ−
４）、Ｐ（ｘ＋４，ｙ−４）、Ｐ（ｘ−４，ｙ＋４）、
Ｐ（ｘ＋４，ｙ＋４）と、下−下−中位画像の既に符号
化が終了している画素Ｐ（ｘ，ｙ−８）、Ｐ（ｘ−８，
ｙ）の６画素である。

【０１１２】下−下−上位画像は、下−下−上位画像符
号化器１０７で適応算術符号化される。このとき用いら
れるコンテキストは、画素Ｐ（ｘ，ｙ）を符号化する場
合、下−下−中位画像、下−下−下−下位画像、下−下
−下−中位画像、または下−下−下−上位画像の画素Ｐ
（ｘ，ｙ−４）、Ｐ（ｘ−４，ｙ）、Ｐ（ｘ＋４，
ｙ）、Ｐ（ｘ，ｙ＋４）と、下−下−上位画像の既に符
号化が終了している画素Ｐ（ｘ−４，ｙ−４）、Ｐ（ｘ
＋４，ｙ−４）の６画素である。

【０１１３】図１５は、第３の実施の形態の復号方法と
して、下−下位画像の復号を前記図１２に示した第２の
実施の形態の構成と同じものを用いて行うようにした、
本発明の第３の実施の形態の復号装置の構成を示すブロ
ック図である。

【０１１４】逆多重化器１３２は、階層符号入力端子１
３１より入力された階層的に符号化された符号を逆多重
化し、下−下−下−下位、下−下−下−中位、下−下−
下−上位、下−下−中位、下−下−上位、下−中位、下
−上位、中位、および上位の各画像用の符号に分離する
ようになされている。

【０１１５】下−下−下−下位画像復号器１４１は、逆
多重化器１３２より供給された下−下−下−下位画像用
の符号を復号するようになされている。下−下−下−中
位画像復号器１４０は、逆多重化器１３２より供給され
た下−下−下−中位画像用の符号を復号するようになさ
れている。下−下−下−上位画像復号器１３９は、逆多
重化器１３２より供給された下−下−下−上位画像用の
符号を復号するようになされている。下−下−中位画像
復号器１３８は、逆多重化器１３２より供給された下−
下−中位画像用の符号を復号するようになされている。

【０１１６】また、下−下−上位画像復号器１３７は、
逆多重化器１３２より供給された下−下−上位画像用の
符号を復号するようになされている。下−中位画像復号
器１３６は、逆多重化器１３２より供給された下−中位
画像用の符号を復号するようになされている。下−上位
画像復号器１３５は、逆多重化器１３２より供給された
下−上位画像用の符号を復号するようになされている。
中位画像復号器１３４は、逆多重化器１３２より供給さ
れた中位画像用の符号を復号するようになされている。
また、上位画像復号器１３３は、逆多重化器１３２より
供給された上位画像用の符号を復号するようになされて
いる。

【０１１７】フレームメモリ１４２は、下−下−下−下
位画像復号器１４１からの復号された画素、下−下−下
−中位画像復号器１４０からの復号された画素、下−下
−下−上位画像復号器１３９からの復号された画素、下
−下−中位画像復号器１３８からの復号された画素、下
−下−上位画像復号器１３７からの復号された画素、下
−中位画像復号器１３６からの復号された画素、下−上
位画像復号器１３５からの復号された画素、中位画像復
号器１３４からの復号された画素、および上位画像復号
器１３３からの復号された画素を記憶するようになされ
ている。

【０１１８】そして、９つの階層の画像のうち、最も解
像度の低い画像を鑑賞する場合、フレームメモリ１４２
に記憶された下−下−下−下位画像復号器１４１より出
力された各画素に対応する画像（図１４において、番号
１で表された画素からなる画像）を下−下−下−下位画
像出力端子１５１より出力する。この画像より１つ上の
階層の画像を鑑賞する場合、この画像と、さらに、フレ
ームメモリ１４２に記憶された下−下−下−中位画像復
号器１４０より出力された画素に対応する画像（図１４
において、番号２で表された画素からなる画像）を下−
下−下−中位画像出力端子１５０より出力する。そし
て、最も解像度の高い画像を鑑賞する場合、全階層の画
像を上位画像出力端子１４３より出力する。

【０１１９】また、フレームメモリ１４２は、下−下−
下−下位画像復号器１４１、下−下−下−中位画像復号
器１４０、下−下−下−上位画像復号器１３９、下−下
−中位画像復号器１３８、下−下−上位画像復号器１３
７、下−中位画像復号器１３６、下−上位画像復号器１
３５、中位画像復号器１３４、および上位画像復号器１
３３に対して、それぞれに対応する参照画素を供給する
ようになされている。

【０１２０】このように、図１２に示した復号装置は、
空間的な解像度について９つの階層を持つ符号を復号す
る装置である。９つの階層の画素は図１４に示したよう
な位置関係にある。

【０１２１】階層符号入力端子１３１から入力された階
層的に符号化された符号は、逆多重化器１３２で逆多重
化され、下−下−下−下位、下−下−下−中位、下−下
−下−上位、下−下−中位、下−下−上位、下−中位、
下−上位、中位、および上位の画像用の符号に分離され
る。

【０１２２】図１５に示した第３の実施の形態の復号装
置の動作は、以下の５つの場合が前記図１２に示した第
２の実施の形態での下−下位画像の復号部分（下−下位
画像復号器８７）と置き代わる点以外において、図１２
に示した第２のの実施の形態の場合と同様である。

【０１２３】下−下−下−下位画像復号器１４１によ
り、下−下−下−下位画像の適応算術符号が復号され
る。このとき用いられるコンテキストは、図１３に示し
た符号化装置の場合と同様に、下−下−下−下位画像の
画素Ｐ（ｘ−１６，ｙ−１６）、Ｐ（ｘ，ｙ−１６）、
Ｐ（ｘ＋１６，ｙ−１６）、Ｐ（ｘ−１６，ｙ）の４画
素である。

【０１２４】下−下−下−中位画像復号器１４０によ
り、下−下−下−中位画像の適応算術符号が復号され
る。このとき用いられるコンテキストは、図１３に示し
た符号化装置の場合と同様に、下−下−下−下位画像の
画素Ｐ（ｘ−８，ｙ−８）、Ｐ（ｘ＋８，ｙ−８）、Ｐ
（ｘ−８，ｙ＋８）、Ｐ（ｘ＋８，ｙ＋８）と、下−下
−下−中位画像の画素Ｐ（ｘ，ｙ−１６）、Ｐ（ｘ−１
６，ｙ）の６画素である。

【０１２５】下−下−下−上位画像復号器１３９によ
り、下−下−下−上位画像の適応算術符号が復号され
る。このとき用いられるコンテキストは、図１３に示し
た符号化装置の場合と同様に、下−下−下−中位画像ま
たは下−下−下−下位画像の画素Ｐ（ｘ，ｙ−８）、Ｐ
（ｘ−８，ｙ）、Ｐ（ｘ＋８，ｙ）、Ｐ（ｘ，ｙ＋８）
と、下−下−下−上位画像の画素Ｐ（ｘ−８，ｙ−
８）、Ｐ（ｘ＋８，ｙ−８）の６画素である。

【０１２６】下−下−中位画像復号器１３８により、下
−下−中位画像の適応算術符号が復号される。このとき
用いられるコンテキストは、図１３に示した符号化装置
の場合と同様に、下−下−下−下位画像、下−下−下−
中位画像、または下−下−下−上位画像の画素Ｐ（ｘ−
４，ｙ−４）、Ｐ（ｘ＋４，ｙ−４）、Ｐ（ｘ−４，ｙ
＋４）、Ｐ（ｘ＋４，ｙ＋４）と、下−下−中位画像の
画素Ｐ（ｘ，ｙ−８）、Ｐ（ｘ−８，ｙ）の６画素であ
る。

【０１２７】下−下−上位画像復号器１３７により、下
−下−上位画像の適応算術符号が復号される。このとき
用いられるコンテキストは、図１３に示した符号化装置
の場合と同様に、下−下−中位画像、下−下−下−下位
画像、下−下−下−中位画像または下−下−下−上位画
像の画素Ｐ（ｘ，ｙ−４）、Ｐ（ｘ−４，ｙ）、Ｐ（ｘ
＋４，ｙ）、Ｐ（ｘ，ｙ＋４）と、下−下−上位画像の
画素Ｐ（ｘ−４，ｙ−４）、Ｐ（ｘ＋４，ｙ−４）の６
画素である。

【０１２８】このように、第３の実施の形態において
は、図１２に示した第２の実施の形態の場合と同様に、
各階層の画像の画素が相対的に上の階層の画像の画素と
して使われるため、下の階層の画像を記憶する装置を不
用にし、復号装置を簡略化することができる。更に、下
の階層で復号した画素が上の階層の画素でもあるため、
上の階層で復号する画素の数が減り、符号化のための処
理量を減らすことができる。また、階層を増やしたにも
かかわらず、フレームメモリの数を１つのままとするこ
とができる。

【０１２９】以上のように、ハードキー信号などの２値
画像を、空間的解像度について階層的な符号化をすると
き、各階層の画像を相対的に上の階層の画像の一部の画
像とすることにより、フレームメモリを１つのみとする
ことができるとともに、画像を縮小するための装置を不
用にし、符号化装置の構成を簡単にすることができる。
また、各階層の画像において、符号化しなければならな
い画素の数を半減することができ、符号化のための処理
量を減少させるとともに、符号発生量を減少させること
ができる。さらに、階層の数を従来より増やすことがで
き、より柔軟なレートコントロールを行うことができ
る。

【０１３０】また、上記符号化装置によって、ハードキ
ー信号などの２値画像が空間的解像度について階層的に
符号化された符号を復号するとき、各階層の画像を相対
的に上位の階層の画像の画素の一部とすることにより、
フレームメモリを１つのみとし、復号装置の構成を簡単
にするとともに、復号における処理量を減少させること
ができる。

【０１３１】なお、上記各実施の形態においては、適応
算術符号を用いるものとしたが、固定的な算術符号を用
いてもよいし、複数の画素をまとめた上でＶＬＣ（可変
長符号）を用いてもよい。

【０１３２】また、上記各実施の形態において、コンテ
キスト（参照情報）としてより多くの画素の情報を用い
ることにより、符号化効率を向上させるようにすること
もできる。例えば、中位画像符号化のときに、画素Ｐ
（ｘ＋３，ｙ−１）、Ｐ（ｘ＋３，ｙ＋１）、Ｐ（ｘ−
１，ｙ＋３）、およびＰ（ｘ＋１，ｙ＋３）の４画素を
追加して合計１０画素のコンテキストを用い、上位画像
符号化のときに、画素Ｐ（ｘ−２，ｙ＋１）、Ｐ（ｘ＋
２，ｙ＋１）、Ｐ（ｘ−１，ｙ＋２）、およびＰ（ｘ＋
１，ｙ＋２）の４画素を追加して合計１０画素のコンテ
キストを用いるのがよい。あるいは、その他のコンテキ
ストを用いるようにしてもよい。

【０１３３】また、上記各実施の形態においては、各階
層の画像を符号化するときに、半分の画素は相対的に下
位の画像として既に符号化されているため、実際に符号
化する画素は残りの半分だけでよいとしたが、既に符号
化されている画素も、その画素自身をコンテキストとし
て符号化すると解釈してもよい。そのとき、すべての画
素が符号化されるということになるが、実際には半分の
画素の符号化においては符号発生量が０であり、残りの
半分の画素のみを符号化する場合と全く同じことにな
る。

【０１３４】次に、第１の実施の形態又は第２の実施の
形態の符号化において、ある階層より上位の階層につい
ては符号を送らずに、解像度の低い画像として符号化
し、局所復号器で補間によって高い解像度の画像を再現
することで、クオリティスケーラビリティを持たせるよ
うにした、本発明の第４の実施の形態の符号化方法を、
図１６を用いて説明する。なお、この第４の実施の形態
の符号化方法を実現する符号化装置の構成は、前記図１
に示した第１の実施の形態又は図７に示した第２の実施
の形態の符号化装置と同じであるが、この第４の実施の
形態の場合には、最下位の階層を除くそれぞれの階層の
画像符号化器或いは局所復号器において、より下位側の
階層にて既に求められている画素値を用いて補間画素を
生成するところが異なる。

【０１３５】このときの補間の方法として、例えば未だ
画素の値が決まっていない階層については、その階層よ
りも下位の階層から順に補間して求めるようにする。す
なわち、下位の各階層では、既に符号化又は局所復号或
いは補間が終っていて、これら下位の階層の各画素値は
定まっているいるので、それよりも上位の階層のある画
素を求める際には、その画素の周囲の４つの画素（既に
値が定まっている）を用いた補間を行う。

【０１３６】ここで、それら既に値が定まっている下位
の階層の４つの画素と、それら４つの画素の中心に位置
する補間したい画素の並び方には、図１６の（ａ）、
（ｂ）に示すような２通りがある。なお、この図１６に
おいて、図中ｘは補間によってこれから求められること
になる画素を示し、この画素ｘの周囲のａ，ｂ，ｃ，・
・・，ｌ，ｍ，ｎは、当該画素ｘより以前に符号化又は
局所復号或いは補間が終っている下位の階層の各画素を
示している。すなわち、図１６の（ａ）の例では、下位
の階層の画素として奇数番目の階層までは符号化又は局
所復号、或いは補間が終っているため、補間したい画素
ｘの周囲の各画素値（画素ａ，ｂ，ｃ，ｄの値）はそれ
ぞれ定まっている。同じく、図１６の（ｂ）の例では、
下位の階層の画素として偶数番目の階層までは符号化又
は局所復号、或いは補間が終っているため、画素ｘの周
囲の各画素値（画素ａ，ｂ，ｃ，ｄの値）はそれぞれ定
まっている。なお、図１６の（ａ）と（ｂ）は、それぞ
れ他方を４５度回転して拡大または縮小すると一致し、
どちらについても同じ補間の方法が適用できることがわ
かる。以下、図１６の（ａ）を例に挙げて説明するが、
図１６の（ｂ）でも全く同じである。

【０１３７】この図１６の（ａ）に示すように、既に値
の定まっている画素ａ，ｂ，ｃ，ｄが存在する場合にお
いて、それらの中心の画素ｘを補間により求める処理
は、図１７のフローチャートのような手順となる。

【０１３８】この図１７のフローチャートにおいて、先
ず、ステップＳＴ１及びステップＳＴ３では、画素ｘの
周囲の各画素ａ，ｂ，ｃ，ｄの各値を加算し、そのａ＋
ｂ＋ｃ＋ｄの値が例えば３以上であれば、ステップＳＴ
２により画素ｘの値は１であるとして補間し、ａ＋ｂ＋
ｃ＋ｄの値が３より小さくさらに１以下であれば、ステ
ップＳＴ４により画素ｘの値は０であるとして補間す
る。

【０１３９】すなわち、画素ｘからその周囲の各画素
ａ，ｂ，ｃ，ｄへの距離が全て同じであることを考えた
場合、このステップＳＴ１からステップＳＴ４までの処
理は、線形補間を行なった結果がある上限しきい値以上
であれば上記画素ｘの値を１であるとし、ある下限しき
い値以下であれば０であるとするものである。

【０１４０】これに対して、上記ステップＳＴ１からス
テップＳＴ４の処理では画素ｘの値を決定できないと
き、すなわちａ＋ｂ＋ｃ＋ｄの値が３より小さく且つ１
以上であるときには、前述した第１の実施の形態と第２
の実施の形態の符号化における算術符号化にて用いる生
起確率テーブルを用いて補間を行うようにする。

【０１４１】ここで、前記第１、第２の実施の形態の符
号化において、算術符号化の参照情報として用いている
各画素は、この図１６の（ｃ）或いは（ｄ）に示す各画
素ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊである。な
お、図１６の（ｃ）と（ｄ）は、それぞれ他方を４５度
回転して拡大または縮小すると一致し、どちらについて
も同じ補間の方法が適用できることがわかる。これら参
照情報の各画素値に対して、画素ｘが１となる確率を生
起確率テーブルで調べ、その確率が１／２以上であれば
画素ｘの値を１（ｘ＝１）とし、それ以外の確率であれ
ば画素ｘの値を０（ｘ＝０）とする。すなわち、図１７
のステップＳＴ５では、各画素ａ，ｂ，ｃ，ｄ，ｅ，
ｆ，ｇ，ｈ，ｉ，ｊに対して画素ｘが１となる確率Ｐ
（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ）が１／２
以上となるか否かを調べ、１／２以上となる場合にはス
テップＳＴ６にて画素ｘの値を１（ｘ＝１）に補間し、
１／２より小さくなる場合にはステップＳＴ７にて画素
ｘの値を０（ｘ＝０）に補間する。

【０１４２】これらにより、本実施の形態によれば、参
照情報によって確率テーブルを切替えて用いるという柔
軟性を得ることができる。また、周囲に存在している画
素に明らかな偏りがあるとき、すなわちステップＳＴ１
からステップＳＴ４のときには、確率テーブルを使わな
いため、適応的算術符号化において未だ学習が進んでい
ない場合であっても、大きな誤りは発生しなくなる。

【０１４３】なお、上述した補間の方法はＶＬＣ（可変
長コード）符号化などの確率テーブルを持たない方法に
おいても、算術符号化の場合と同様のテーブルを持つこ
とにより実現できる。そのテーブルにおいては、確率が
１／２以上かどうかのみをテーブルに保持すればよい
し、しきい値によってテーブルが使わない画素の組み合
わせもあり、多くの参照情報の組み合わせについは必要
ない。そのため、ＶＬＣ符号化のときに新たに必要にな
るテーブルは小さい。

【０１４４】上述のような第４の実施の形態の符号化を
行った場合の復号時には、ある階層より上位の階層につ
いては符号が送られてこないことになるため、この復号
時にも補間によって高い解像度の画像を生成して、クオ
リティスケーラブルな復号を行なうことができる。すな
わち、符号が送られてくる階層についてはその符号を復
号し、それより上位の階層については、上述の図１７の
フローチャートと同じようにして補間を行う。なお、こ
の第４の実施の形態の復号装置は、前記図６に示した第
１の実施の形態又は図１２に示した第２の実施の形態の
復号装置と同じであるが、この第４の実施の形態での復
号の場合には、それぞれ上位側の階層の画像復号器或い
は局所復号器において、それぞれの下位側の階層にて求
めた画素値を用いて補間画素を生成するところが異な
る。この第４の実施の形態の復号の場合も、符号化の場
合と同様の効果が得られる。

【０１４５】次に、第５の実施の形態として、第４の実
施の形態にて説明した補間方法の後半部分が異なる補間
方法について、図１８のフローチャートを用いて説明す
る。

【０１４６】この第５の実施の形態では、画素の値が決
まっていない階層については下位の階層から順に補間し
ていくことと、前記図１６の（ａ）のように既に値の定
まっている画素ａ，ｂ，ｃ，ｄについては前記図１７の
ステップＳＴ１からステップＳＴ４と同様に、図１８の
ステップＳＴ１１からステップＳＴ１４までにおいてａ
＋ｂ＋ｃ＋ｄの値が３以上であれば画素ｘの値は１であ
ると補間し、１以下であれば０であると補間すること
は、前述の第４の実施の形態と同じである。

【０１４７】これに対して、当該第５の実施の形態で
は、ステップＳＴ１１からステップＳＴ１４までの処理
で画素ｘの値を決定出来ないときにはステップＳＴ１５
からステップＳＴ２１に示すような処理を行う。

【０１４８】すなわちこの第５の実施の形態では、補間
のために参照する各画素は、図１６の（ｅ）或いは
（ｆ）に示すａ，ｂ，ｃ，ｄ，ｇ，ｈ，ｉ，ｊ，ｋ，
ｌ，ｍ，ｎである。なお、図１６の（ｅ）と（ｆ）は、
それぞれ他方を４５度回転して拡大または縮小すると一
致し、どちらについても同じ補間の方法が適用できるこ
とがわかる。図１８のフローチャートでは、これら参照
する画素ａ，ｂ，ｃ，ｄ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，
ｍ，ｎの内、画素ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｎにつ
いて、ｇ＋ｈ＋ｉ＋ｊ＋ｋ＋ｌ＋ｍ＋ｎを計算し、ステ
ップＳＴ１５のように当該計算結果の値が６以上であれ
ばステップＳＴ１６にて画素ｘの値を０（ｘ＝０）と
し、ステップＳＴ１９にて当該計算結果の値が４か５で
あればステップＳＴ２０のように画素ｘの値を１（ｘ＝
１）に、ステップＳＴ１９にて上記計算結果の値が３で
あればステップＳＴ２１のように画素ｘの値を０（ｘ＝
０）とし、ステップＳＴ１７にて上記計算結果の値が２
以下であればステップＳＴ１８のように画素ｘの値を１
（ｘ＝１）として補間する。

【０１４９】この第５の実施の形態の補間方法によれ
ば、ＶＬＣ符号化などを用いていて生起確率テーブルが
ないときにもテーブルを新しくを持つことなく補間が可
能になる。

【０１５０】この第５の実施の形態にて説明した補間方
法を用いて下位の階層から順に補間した例を、図１９の
（ａ）から（ｅ）に示す。すなわち図１９の（ａ）は最
下位の階層であり、図１９の（ｂ），（ｃ），（ｄ），
（ｅ）の順で階層が上位になっている。この図１９中の
実線が画像の滑らかさに対応している。この図１９の例
から明らかなように、前記図３２にて示した従来例の補
間方法の場合と異なり、滑らかな補間がなされているこ
とがわかる。

【０１５１】なお、この第５の実施の形態の符号化方法
を実現する符号化装置の構成は、前記図１に示した第１
の実施の形態又は図７に示した第２の実施の形態の符号
化装置と同じであるが、この第５の実施の形態の場合に
は、それぞれの階層の画像符号化器或いは局所復号器に
おいて、それぞれ上述したように下位側の階層にて既に
求めた画素値を用いて補間画素を生成するところが異な
る。

【０１５２】また、上述のような第５の実施の形態の符
号化を行った場合の復号時も、前記第４の実施の形態の
復号の場合と同様に、ある階層より上位の階層について
は符号が送られてこないことになるため、この第５の実
施の形態の復号時にも補間によって高い解像度の画像を
生成して、クオリティスケーラブルな復号を行なうこと
になる。すなわち、符号が送られてくる階層については
その符号を復号し、それより上位の階層については、上
述の図１８のフローチャートと同じようにして補間を行
う。なお、この第５の実施の形態の復号装置は、前記図
６に示した第１の実施の形態又は図１２に示した第２の
実施の形態の復号装置と同じであるが、この第５の実施
の形態での復号の場合には、それぞれ上位側の階層の画
像復号器或いは局所復号器において、それぞれの下位側
の階層にて既に求めた画素値を用いて補間画素を生成す
るところが異なる。この第５の実施の形態の復号の場合
も、符号化の場合と同様の効果が得られる。

【０１５３】また、以上の各実施の形態の説明におい
て、各階層の画素の並びかたを図２０及び図２１に示さ
れる通りにすると、すなわち、前記図２の画素の位置関
係を図２０のように置き換え、図８の画素の位置関係を
図２１のように置き換えると、それらの画枠（マクロブ
ロック）毎に符号化を行なうとき（いわゆるＭＰＥＧに
おける結合モード（combined mode）のとき）に、参照
情報として用いる画素がすでに符号化又は局所復号が終
っている画素であることが多く、符号化効率が向上す
る。

【０１５４】なお、上記の各実施の形態において、記録
媒体としては、ＣＤ−ＲＯＭ（compact disc read only
memory）、ＤＶＤ（digital versatile disc）、光デ
ィスク、磁気ディスク、光磁気ディスク、ＲＡＭ、その
他様々な蓄積メディアとすることが可能である。

【０１５５】

【発明の効果】本発明の符号化装置及び符号化方法によ
れば、入力画像上の所定の位置の画素からなる第１の階
層の画像を符号化し、第１の階層の画像に対して上位で
ある第２の階層の画像としての入力画像を符号化すると
き、第２の階層の画像の画素のうち、第１の階層の画像
の画素を除く画素のみを符号化するようにしたので、入
力画像に対して空間的解像度について階層的な符号化を
行うとき、各階層の画像を相対的に上の階層の画像の一
部の画素とすることができ、符号化量を削減するととも
に、階層数を増やすことができる。これにより、装置を
簡単にすることができ、より柔軟なレートコントロール
を行うことが可能となる。

【０１５６】すなわち、本発明の符号化装置および符号
化方法では、ハードキー信号などの２値画像を空間的解
像度について階層的な符号化をするとき、各階層の画像
を相対的に上の階層の画像の一部の画素とすることによ
り、フレームメモリを１つのみにできるとともに、画像
縮小装置を不用にし、符号化装置を簡単にすることがで
きる。更に、各階層の画像で符号化する画素の数が半分
に減り、符号化のための処理量と符号発生量を減少させ
ることが可能である。また、階層の数を従来よりも１つ
増やし、より柔軟なレートコントロールの手段が実現で
きる。さらに、本発明によれば、ある階層までを符号化
し、その上の階層は本発明にかかる補間方法によって求
めることにより、画質のよいクオリティスケーラブルな
符号化方法を実現している。

【０１５７】さらに、本発明の復号装置および復号方法
によれば、第１の階層の画像を復号し、第１の階層に対
して上位の第２の階層の画像を復号するとき、復号され
た第１の階層の画像の所定の画素を、第２の階層の画像
を予測するために用いるとともに、第１の階層の画像の
画素をそのまま、第２の階層の画像の画素の一部として
用いるようにしたので、装置を簡単にし、復号のための
処理量を減らすことが可能となる。

【０１５８】すなわち、本発明に係る復号装置によれ
ば、ハードキー信号などの２値画像の空間的解像度につ
いて階層的な符号を復号するときに、各階層の画像を相
対的に上の階層の画像の画素の一部とすることにより、
フレームメモリを１つのみにして復号装置を簡単にし、
更に、復号のための処理量を減らることが可能である。

【０１５９】また、本発明の記録媒体によれば、入力画
像上の所定の位置の画素からなる第１の階層の画像を符
号化し、第１の階層の画像に対して上位である第２の階
層の画像としての入力画像を符号化するとき、第２の階
層の画像の画素のうち、第１の階層の画像の画素を除く
画素のみを符号化することにより得られた複数階層の画
像に対応するビットストリームが記録されるようにした
ので、効率的に符号化された複数階層の画像を記録する
ことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の符号化装置の構成
を示すブロック回路図である。

【図２】各階層の画素の位置関係を示す図である。

【図３】中位画像符号化のときの画素の位置関係を示す
図である。

【図４】上位画像符号化のときの画素の位置関係を示す
図である。

【図５】下位画像符号化のときの画素の位置関係を示す
図である。

【図６】本発明の第１の実施の形態の復号装置の一実施
の形態の構成を示すブロック回路図である。

【図７】本発明の第２の実施の形態の符号化装置の構成
を示すブロック回路図である。

【図８】図７の符号化装置における各階層の画素の位置
関係を示す図である。

【図９】下−下位画像符号化のときの画素の位置関係を
示す図である。

【図１０】下−中位画像符号化のときの画素の位置関係
を示す図である。

【図１１】下−上位画像符号化のときの画素の位置関係
を示す図である。

【図１２】本発明の第２の実施の形態の復号装置の構成
を示すブロック回路図である。

【図１３】本発明の第３の実施の形態の符号化装置の構
成を示すブロック回路図である。

【図１４】図１３の符号化装置における各階層の画素の
位置関係を示す図である。

【図１５】本発明の第３の実施の形態の復号装置の構成
を示すブロック回路図である。

【図１６】本発明の第４、第５の符号化時に行われる補
間に用いる画素についての説明に用いる図である。

【図１７】本発明の第４の実施の形態における補間処理
の流れを示すフローチャートである。

【図１８】本発明の第５の実施の形態における補間処理
の流れを示すフローチャートである。

【図１９】本発明の第５の実施の形態における補間処理
の効果説明に用いる図である。

【図２０】本発明の各実施の形態における各階層の画素
の位置関係の他の例（図２の位置関係に対応する他の
例）を示す図である。

【図２１】本発明の各実施の形態における各階層の画素
の位置関係の他の例（図８の位置関係に対応する他の
例）を示す図である。

【図２２】ハードキー信号を説明するための図である。

【図２３】単一の符号化データが複数の空間的な解像度
の表示装置に対応している様子を示す図である。

【図２４】画像を空間的に階層的に符号化する基本的な
処理手順を示す図である。

【図２５】空間的に階層的に符号化された画像を復号す
る基本的な処理手順を示す図である。

【図２６】従来の画像を階層的に符号化する符号化装置
の一例の構成を示すブロック回路図である。

【図２７】従来の階層的に符号化された画像を復号する
復号装置の一例の構成を示すブロック回路図である。

【図２８】符号化または復号する画素と参照画像の位置
関係を示す図である。

【図２９】符号化または復号する画素と参照画像の位置
関係を示す図である。

【図３０】符号化または復号する画素と参照画像の位置
関係を示す図である。

【図３１】符号化または復号する画素と参照画像の位置
関係を示す図である。

【図３２】線形補間のフィルタを用いた場合の問題点の
説明に用いる図である。

【符号の説明】

２ 上位画像フレームメモリ，３ 画像縮小器，４ 下
位画像フレームメモリ，５ 上位画像符号化器，６ 下
位画像符号化器，７ 上位画像局所復号器，８下位画像
局所復号器，９ 多重化器，２３ 上位画像復号器，２
４ 下位画像復号器，２５ 上位画像フレームメモリ，
２６ 下位画像フレームメモリ，３２フレームメモリ，
３３ 上位画像符号化器，３４ 中位画像符号化器，３
５下位画像符号化器，３６ 上位画像局所復号器，３７
中位画像局所復号器，３８ 下位画像局所復号器，３
９ 多重化器，５２ 逆多重化器，５３ 上位画像復号
器，５４ 中位画像復号器，５５ 下位画像復号器，５
６ フレームメモリ，６２ フレームメモリ，６３ 上
位画像符号化器，６４ 中位画像符号化器，６５ 下−
上位像符号化器，６６ 下−中位画像符号化器，６７
下−下位画像符号化器，６８ 上位画像局所復号器，６
９ 中位画像局所復号器，７０ 下−上位画像局所復号
器，７１ 下−中位画像局所復号器，７２ 下−下位画
像局所復号器，７３ 多重化器，８２ 逆多重化器，８
３ 上位画像復号器，８４ 中位画像復号器，８５ 下
−上位画像復号器，８６ 下−中位画像復号器，８７下
−下位画像復号器，８８ フレームメモリ，１０２ フ
レームメモリ，１０３上位画像符号化器，１０４ 中位
画像符号化器，１０５ 下−上位画像符号化器，１０６
下−中位画像符号化器，１０７ 下−下−上位画像符
号化器，１０８ 下−下−中位画像符号化器，１０９
下−下−下−上位画像符号化器，１１０ 下−下−下−
中位画像符号化器，１１１ 下−下−下−下位画像符号
化器，１１２ 上位画像局所復号器，１１３ 中位画像
局所復号器，１１４ 下−上位画像局所復号器，１１５
下−中位画像局所復号器，１１６ 下−下−上位画像
局所復号器，１１７ 下−下−中位画像局所復号器，１
１８ 下−下−下−上位画像局所復号器，１１９ 下−
下−下−中位画像局所復号器，１２０ 下−下−下−下
位画像局所復号器，１２１ 多重化器，１３２ 逆多重
化器，１３３ 上位画像復号器，１３４ 中位画像復号
器，１３５ 下−上位画像復号器，１３６下−中位画像
復号器，１３７ 下−下−上位画像復号器，１３８ 下
−下−中位画像復号器，１３９ 下−下−下−上位画像
復号器，１４０ 下−下−下−中位画像復号器，１４１
下−下−下−下位画像復号器，１４２ フレームメモ
リ，２００ 光ディスク

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 入力した２値画像を空間的解像度につい
   て階層的に符号化する符号化装置において、上記入力画像を格納する１つのフレームメモリと、 上記フレームメモリに格納された 入力画像上の所定位置
   の画素を抽出してなる第１の階層の画像を符号化する第
   １の符号化手段と、上記フレームメモリに格納された 入力画像上の上記所定
   位置以外の画素を抽出してなり、上記第１の階層より上
   位となる第２の階層の画像を符号化する第２の符号化手
   段とを備え、 上記第１の符号化手段は、上記第１の符号化手段によっ
   て既に符号化された上記第１の階層の画像をコンテキス
   トとして用いる算術符号化を行い、 上記第２の符号化手段は、上記第２の符号化手段によっ
   て既に符号化された上記第２の階層の画像、及び上記第
   １の符号化手段によって既に符号化された上記第１の階
   層の画像をコンテキストとして用いる算術符号化を行う
   ことを特徴とする符号化装置。
2. 【請求項２】 入力した２値画像を空間的解像度につい
   て階層的に符号化する符号化方法において、上記 入力画像を１つのフレームメモリに格納し、 上記フレームメモリに格納された 入力画像上の所定位置
   の画素を抽出してなる第１の階層の画像を符号化する第
   １の符号化ステップと、上記フレームメモリに格納された 入力画像上の上記所定
   位置以外の画素を抽出してなり、上記第１の階層より上
   位となる第２の階層の画像を符号化する第２の符号化ス
   テップとを備え、 上記第１の符号化ステップでは、上記第１の符号化ステ
   ップによって既に符号化された上記第１の階層の画像を
   コンテキストとして用いる算術符号化を行い、 上記第２の符号化ステップでは、上記第２の符号化ステ
   ップによって既に符号化された上記第２の階層の画像、
   及び上記第１の符号化ステップによって既に符号化され
   た上記第１の階層の画像をコンテキストとして用いる算
   術符号化を行うことを特徴とする符号化方法。
3. 【請求項３】 ２値画像を空間的解像度について階層的
   に符号化したビットストリームを入力とし、入力された
   ビットストリームを復号する復号装置において、 上記画像上の所定位置の画素からなる第１の階層の画像
   が符号化された第１の符号化信号を復号する第１の復号
   手段と、 上記画像上の上記所定位置以外の画素からなり、上記第
   １の階層より上位となる第２の階層の画像が符号化され
   た第２の符号化信号を復号する第２の復号手段と、 上記復号された第１の階層の画像と、上記復号された第
   ２の階層の画像とを合成する１つのフレームメモリと を
   備え、 上記第１の復号手段は、上記第１の復号手段によって既
   に復号された上記第１の階層の画像をコンテキストとし
   て用いる算術復号を行い、 上記第２の復号手段は、上記第２の復号手段によって既
   に復号された上記第２の階層の画像、及び上記第１の復
   号手段によって既に復号された上記第１の階層の画像を
   コンテキストとして用いる算術復号を行うことを特徴と
   する復号装置。
4. 【請求項４】 ２値画像を空間的解像度について階層的
   に符号化したビットストリームを入力とし、入力された
   ビットストリームを復号する復号方法において、 上記画像上の所定位置の画素からなる第１の階層の画像
   が符号化された第１の符号化信号を復号する第１の復号
   ステップと、 上記画像上の上記所定位置以外の画素からなり、上記第
   １の階層より上位となる第２の階層の画像が符号化され
   た第２の符号化信号を復号する第２の復号ステップと、 上記復号された第１の階層の画像と、上記復号された第
   ２の階層の画像とを１つのフレームメモリに合成するス
   テップとからなり、 上記第１の復号ステップでは、上記第１の復号ステップ
   によって既に復号された上記第１の階層をコンテキスト
   として用いる算術復号を行い、 上記第２の復号ステップでは、上記第２の復号ステップ
   によって既に復号された上記第２の階層の画像、及び上
   記第１の復号ステップによって既に復号された上記第１
   の階層の画像をコンテキストとして用いる算術復号を行
   うことを特徴とする復号方法。