JPH10257505A - 画像処理方法及び画像処理装置、並びにデータ記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 物体の形状情報を有する画像信号を、符号化
効率の低下を招くことなく階層符号化することができる
階層画像符号化装置１０１を得る。 【解決手段】 階層画像符号化装置１０１において、画
像入力信号である高解像度画像信号ＨＳｇをサブサンプ
ルして低解像度画像信号ＬＳｇを生成するサブサンプル
器２と、該低解像度画像信号ＬＳｇを、複数の画素から
なるブロック毎に順次符号化する低解像度符号化部１０
１Ｌと、上記高解像度画像信号を、複数の画素からなる
ブロック毎に順次符号化する高解像度符号化部１０１Ｈ
とを備え、上記高解像度画像信号ＨＳｇの符号化処理の
際、符号化処理の対象となる対象高解像度ブロックの空
間位置と同一の空間位置に位置する参照低解像度ブロッ
クに対応する低解像度画像信号ＬＳｇを参照するように
した。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理方法及び
画像処理装置、並びにデータ記録媒体に関し、特に画像
信号の記録あるいは伝送を、より少ないビット数でもっ
て画質を損なうことなく行うための階層符号化処理及び
階層復号化処理、並びにこれらの階層符号化処理あるい
は階層復号化処理を実現するためのプログラムを格納し
た記録媒体に関するものである。

【０００２】

【従来の技術】画像処理を表示画面上に表示されている
個々の物体（オブジェクト）単位で行うことを可能とす
るためには、画像信号として、通常の輝度信号及び色差
信号の他に物体の形状を表す形状信号が必要である。な
お、以下の説明では、これらの輝度信号，色差信号に加
えて形状信号を含む、つまり物体の形状情報を有する画
像信号を、単に画像信号という。

【０００３】このような画像信号は、物体単位で扱える
という観点から、画像情報や音声情報等を同時に関連づ
けて表すマルチメディアに適しており、 この画像信号の
符号化処理に関する技術は、現在ＩＳＯ／ＩＥＣ(Inter
national Organization forStandardization/Internati
onal Electrotechnical Commission Joint Technical C
ommission) の作業グループであるＭＰＥＧ(Moving Pic
ture Experts Group)４により標準化活動が行われてい
る。

【０００４】以下、従来の画像信号の階層符号化処理に
ついて説明する。図２２は解像度の異なる画像信号に対
応する表示画面（以下、フレームとも言う。）を示す。
図中、ＬＦは低解像度画像信号に対応する表示画面（図
２２(a)）、ＨＦは高解像度画像信号に対応する表示画
面（図２２(b) ）である。また、Ｌｏｂは低解像度画像
信号により上記フレームＬＦ上に表示される１つの物体
の画像、Ｈｏｂは高解像度画像信号により上記フレーム
ＨＦ上に表示される１つの物体の画像であり、ドット表
示領域が各物体内部の領域である。

【０００５】従来の画像符号化処理（現在のＭＰＥＧ４
の最新評価モデル方式）では、１フレーム上に、個々の
物体に対応する、該物体を包含する矩形領域を設定し、
この矩形領域を更にブロック（ＭＰＥＧ４の評価モデル
では１６×１６画素の正方ブロック）に分割する。そし
て、個々の物体に対する画像信号の符号化処理は、上記
矩形領域を構成するブロック単位で行う。

【０００６】従って、ＭＰＥＧ４に対応した階層符号化
処理では、図２２(c) に示すように、低解像度フレーム
ＬＦ上で物体Ｌｏｂに対応した低解像度矩形領域ＬＲを
設定するとともに、図２２(d) に示すように、高解像度
フレームＨＦ上で物体Ｈｏｂに対応した高解像度矩形領
域ＨＲを設定する必要がある。

【０００７】このような階層符号化処理では、矩形領域
の設定の際に、低解像度画像信号に対する矩形領域ＬＲ
の設定と、高解像度画像信号に対する矩形領域ＨＲの設
定とを独立して行うこととなり、その結果として、符号
化処理は簡単であるが、物体に対する各ブロックの空間
位置（つまりフレーム上での各ブロックの位置）は、低
解像度矩形領域のブロックと高解像度矩形領域のブロッ
クとの間で一致せず、また、低解像度矩形領域と高解像
度矩形領域との間でのブロックの対応もとれない場合が
ある。

【０００８】以下詳述すると、図２３は従来の階層画像
符号化装置を説明するためのブロック図である。この従
来の画像符号化装置２００ａは、画像入力信号を受け、
この画像入力信号を高解像度画像信号ＨＳｇとして階層
符号化処理を行う構成となっている。つまりこの階層画
像符号化装置２００ａは、該高解像度画像信号ＨＳｇを
サブサンプルして低解像度画像信号ＬＳｇを生成するサ
ブサンプル器２と、該低解像度画像信号ＬＳｇに対して
符号化処理を施して低解像度符号化信号ＬＥｇを生成す
る低解像度符号化部２０１Ｌとを有している。また、こ
の階層画像符号化装置２００ａは、上記低解像度符号化
信号ＬＥｇを復号化する復号化器９ａと、該復号化器９
ａの出力Ｌｄｇをアップサンプルするアップサンプル器
１０ａと、該アップサンプル器１０ａの出力ＬＡｇに基
づいて、上記高解像度画像信号ＨＳｇに対して符号化処
理を施して、高解像度符号化信号ＨＥｇを出力する高解
像度符号化部２０１Ｈとを有している。

【０００９】上記低解像度符号化部２０１Ｌは、上記低
解像度画像信号ＬＳｇに基づいて、低解像度フレームＬ
Ｆ上での個々の物体に対応する低解像度矩形領域ＬＲの
位置や大きさ等の情報を検出し、該情報を矩形信号ＬＲ
ｇとして出力する領域検出器３と、該矩形信号ＬＲｇに
基づいて、上記低解像度画像信号ＬＳｇから、上記矩形
領域ＬＲに対応する画像信号ＬＯｇを抽出する領域抽出
器５とを有している。さらに、上記符号化部２０１Ｌ
は、上記矩形領域ＬＲに対応する画像信号（物体対応画
像信号）ＬＯｇを、該矩形領域を区分する１６×１６画
素からなるブロックＭＢに対応するよう分割して、各ブ
ロックに対応する画像信号（ブロック化画像信号）ＬＢ
ｇを出力するブロック化器６と、該ブロック化画像信号
ＬＢｇを符号化して、低解像度符号化信号ＬＥｇを出力
する符号化器７とを有している。

【００１０】また、上記高解像度符号化部２０１Ｈは、
上記高解像度画像信号ＨＳｇに基づいて、高解像度フレ
ームＨＦ上での個々の物体に対応する高解像度矩形領域
ＨＲの位置や大きさ等の情報を検出し、該情報を矩形信
号ＨＲｇとして出力する領域検出器１２と、該矩形信号
ＨＲｇに基づいて、上記高解像度画像信号ＨＳｇから、
上記矩形領域ＨＲに対応する画像信号ＨＯｇを抽出する
領域抽出器１４とを有している。さらに、上記符号化部
２０１Ｈは、上記矩形領域ＨＲに対応する画像信号（物
体対応画像信号）ＨＯｇを、該矩形領域を区分する１６
×１６画素からなるブロックＭＢに対応するよう分割し
て、各ブロックに対応する画像信号（ブロック化画像信
号）ＨＢｇを出力するブロック化器１５と、該ブロック
化画像信号ＨＢｇを符号化して、高解像度符号化信号Ｈ
Ｅｇを出力する符号化器１６とを有している。

【００１１】次に動作について説明する。本画像符号化
装置２００ａに画像入力信号として高解像度画像信号Ｈ
Ｓｇが入力されると、サブサンプル器２では上記高解像
度画像信号ＨＳｇがそのサブサンプルにより低解像度画
像信号ＬＳｇに変換される。

【００１２】上記低解像度符号化部２０１Ｌの領域検出
器３では、上記低解像度画像信号ＬＳｇに基づいて、図
２２(c) に示すように低解像度フレームＬＦ上にて、処
理対象となる物体Ｌｏｂを包含する矩形領域ＬＲの範囲
を検出し、該矩形領域ＬＲの位置及び大きさ等の情報を
矩形信号ＬＲｇとして出力する。すると、上記符号化部
２０１Ｌの領域抽出器５ではこの矩形信号ＬＲｇに基づ
いて、上記低解像度画像信号ＬＳｇから、上記矩形領域
ＬＲに対応する物体対応画像信号ＬＯｇが抽出される。
さらに、上記符号化部２０１Ｌのブロック化器６では、
図２２(c) に示すように、上記物体対応画像信号ＬＯｇ
が、上記低解像度矩形領域ＬＲを区分する複数のブロッ
クＭＢの各々に対応するよう分割され、各ブロックＭＢ
に対応するブロック化画像信号ＬＢｇとして符号化器７
に出力される。そして、該符号化器７にて上記ブロック
化画像信号ＬＢｇの符号化処理が行われて、上記符号化
部２０１Ｌから低解像号化信号ＬＥｇが出力される。

【００１３】この低解像度符号化信号ＬＥｇは、復号化
器９ａにて復号化処理により低解像度復号化信号Ｌｄｇ
に変換され、この復号化信号Ｌｄｇはアップサンプル器
１０ａにて補間処理により、高解像度画像信号と同じ空
間解像度の補間復号化信号ＬＡｇに変換され、高解像度
符号化部２０１Ｈの符号化器１６に出力される。このと
き、上記高解像度符号化部２０１Ｈでは、上記低解像度
符号化部２０１Ｌとほぼ同様な処理が行われる。

【００１４】つまり、この符号化部２０１Ｈの領域検出
器１２では、上記高解像度画像信号ＨＳｇに基づいて、
図２２(d) に示すように高解像度フレームＨＦ上にて、
処理対象となる物体Ｈｏｂを包含する矩形領域ＨＲの範
囲を検出し、該矩形領域ＨＲの位置及び大きさ等の情報
を矩形信号ＨＲｇとして出力する。すると、上記符号化
部２０１Ｈの領域抽出器１４ではこの矩形信号ＨＲｇに
基づいて、上記高解像度画像信号ＨＳｇから、上記矩形
領域ＨＲに対応する物体対応画像信号ＨＯｇが抽出され
る。さらに、上記符号化部２０１Ｈのブロック化器１５
では、図２２(d) に示すように、上記物体対応画像信号
ＨＯｇが、上記高解像度矩形領域ＨＲを区分する複数の
ブロックＭＢの各々に対応するよう分割され、各ブロッ
クＭＢに対応するブロック化画像信号ＨＢｇとして符号
化器１６に出力される。そして、該符号化器１６では、
上記ブロック化画像信号ＨＢｇの符号化処理が、上記補
間復号化信号ＬＡｇにいて行われて、上記符号化部２０
１Ｈから高解像度符号化信号ＨＥｇが出力される。

【００１５】上記のような階層画像符号化装置２００ａ
により符号化された低解像度符号化信号ＬＥｇに対して
は、これと矩形信号ＬＲｇとに基づいて、低解像度画像
信号ＬＳｇに相当する復号化信号を生成する復号化処理
を行うことができ、また、上記符号化装置２００ａによ
り符号化された高解像度符号化信号ＨＥｇに対しては、
上記低解像度符号化信号ＬＥｇ，矩形信号ＬＲｇ，高解
像度符号化信号ＨＥｇ，及び矩形信号ＨＲｇに基づい
て、高解像度画像信号ＨＳｇに相当する復号化信号を生
成する復号化処理を行うことができる。しかも、高解像
度画像信号ＨＳｇの符号化処理では、低解像度画像信号
ＬＳｇを参照して該両画像信号ＬＳｇ及びＨＳｇ間での
画素値の相関を利用することにより、高解像度画像信号
ＨＳｇを、これを独立して符号化する場合に比べて、よ
り少ないビット数で符号化することができる。

【００１６】図２４は従来の階層画像復号化装置を説明
するためのブロック図である。この階層画像復号化装置
２００ｂは、図２３に示す従来の画像符号化装置２００
ａにより符号化された低解像度符号化信号ＬＥｇ及び高
解像度符号化信号ＨＥｇを入力信号として、階層復号化
処理を行うものである。

【００１７】すなわち、この階層画像復号化装置２００
ｂは、上記低解像度符号化信号ＬＥｇに対して復号化処
理を施して低解像度再生信号ＬＣｇを生成する低解像度
復号化部２０２Ｌと、該復号化部２０２Ｌでの復号化処
理途中の信号ＬＤｇをアップサンプルにより補間するア
ップサンプル器１０ｂと、該アップサンプル器１０ｂの
出力ＡＤｇに基づいて上記高解像度符号化信号ＨＥｇに
対して復号化処理を施して高解像度再生信号ＨＣｇを生
成する高解像度復号化部２０２Ｈとを有している。

【００１８】上記低解像度復号化部２０２Ｌは、上記低
解像度符号化信号ＬＥｇに対する復号化処理を行って、
各ブロックに対応する低解像度復号化信号ＬＤｇを生成
する復号化器９と、該低解像度復号化信号ＬＤｇを統合
して、上記矩形領域ＬＲに対応する復号化統合信号ＬＩ
ｇを生成する逆ブロック化器２０と、該矩形領域ＬＲに
対応する復号化統合信号ＬＩｇを、上記符号化装置２０
０ａからの矩形信号ＬＲｇが示す低解像度フレームＬＦ
上の位置に該矩形領域ＬＲが配置されるよう、１フレー
ムを形成するその他の画像信号と合成する領域合成器２
１とを有している。

【００１９】また、上記高解像度復号化部２０２Ｈは、
上記アップサンプル器１０ｂの出力ＡＤｇに基づいて高
解像度符号化信号ＨＥｇに対する復号化処理を行って、
各ブロックに対応する高解像度復号化信号ＨＤｇを生成
する復号化器３０と、該高解像度復号化信号ＨＤｇを統
合して、上記矩形領域ＨＲに対応する復号化統合信号Ｈ
Ｉｇを生成する逆ブロック化器３１と、該矩形領域ＨＲ
に対応する復号化統合信号ＨＩｇを、上記符号化装置２
００ａからの矩形信号ＨＲｇが示すフレームＨＦ上の位
置に該矩形領域ＨＲが配置されるよう、１フレームを形
成するその他の画像信号と合成する領域合成器３２とを
有している。

【００２０】次に動作について説明する。本画像復号化
装置２００ｂに上記低解像度符号化信号ＬＥｇ及び高解
像度符号化信号ＨＥｇが入力されると、該低解像度符号
化信号ＬＥｇは上記低解像度復号化部２０２Ｌの復号化
器９にて復号化処理が施されて低解像度復号化信号ＬＤ
ｇが生成される。この低解像度復号化信号ＬＤｇは、上
記アップサンプル器１０ｂにてアップサンプル処理によ
り補間されて、上記高解像度に対応する空間解像度を有
する補間復号化信号ＡＤｇに変換される。また、上記低
解像度復号化信号ＬＤｇは、さらに逆ブロック化器２０
により統合されて、上記矩形領域ＬＲに対応する復号化
統合信号ＬＩｇが生成される。そして、この復号化統合
信号ＬＩｇは、領域合成器２１にて上記符号化装置２０
０ａからの矩形信号ＬＲｇに基づいて、１フレームを形
成するその他の画像信号と合成されて、低解像度再生信
号ＬＣｇとして出力される。なお、この合成処理によ
り、上記矩形信号ＬＲｇが示すフレームＬＦ上の位置
に、復号化統合信号ＬＩｇによる矩形領域ＬＲの画像が
配置される。

【００２１】一方、上記高解像度符号化信号ＨＥｇは上
記高解像度復号化部２０２Ｈの復号化器３０にて、アッ
プサンプル器１０ｂの出力ＡＤｇに基づいて復号化処理
が施されて、高解像度復号化信号ＨＤｇが生成される。
この高解像度復号化信号ＨＤｇは、さらに逆ブロック化
器３１により統合されて、上記矩形領域ＨＲ内の画像に
対応する復号化統合信号ＨＩｇが生成される。そして、
この復号化統合信号ＨＩｇは、領域合成器３２にて上記
符号化装置２００ａからの矩形信号ＨＲｇに基づいて、
１フレームに対応するその他の画像信号と合成されて、
高解像度再生信号ＨＣｇとして出力される。なお、この
合成処理により、上記矩形信号ＨＲｇが示すフレームＨ
Ｆ上の位置に、復号化統合信号ＨＩｇによる矩形領域Ｈ
Ｒの画像が配置される。

【００２２】このような構成の階層画像復号化装置２０
０ｂでは、低解像度符号化信号ＬＥｇに復号化処理及び
逆ブロック化処理を順次施した後、矩形領域ＬＲがフレ
ームＬＦ内の所定位置に配置されるよう、該矩形領域Ｌ
Ｒに対応する低解像度復号化信号ＬＩｇに領域合成処理
を施すので、フレームＦＬ内の個々の物体に対応する矩
形領域ＬＲを対象とした符号化処理により得られる低解
像度符号化信号ＬＥｇを復号化することができる。

【００２３】また、高解像度符号化信号ＨＥｇを低解像
度復号化信号ＬＤｇを参照して復号化して高解像度復号
化信号ＨＤｇを生成し、その後この復号化信号ＨＤｇに
逆ブロック化処理を施し、さらに矩形領域ＨＲがフレー
ムＨＦ内の所定位置に配置されるよう、該矩形領域ＨＲ
に対応する高解像度復号化信号ＨＩｇに領域合成処理を
施すので、フレームＨＦ内の個々の物体に対応する矩形
領域ＨＲを対象とした階層符号化処理により得られる高
解像度符号化信号ＨＥｇを、正しく復号化することがで
きる。

【００２４】

【発明が解決しようとする課題】ところが、従来の階層
画像符号化装置２００ａでは、低解像度フレームＬＦ内
における矩形領域ＬＲの範囲を検出する処理と、高解像
度フレームＨＦ内における矩形領域ＨＲの範囲を検出す
る処理とが独立して行われており、このため、図２２
(c) ，図２２(d) に示すように、低解像度矩形領域ＬＲ
を区分する各ブロックＭＢの、低解像度画像Ｌｏｂに対
する空間位置と、高解像度矩形領域ＨＲを区分する各ブ
ロックＭＢの、高解像度画像Ｈｏｂに対する空間位置と
が一致しない。この場合、上記高解像度矩形領域ＨＲに
対応する高解像度画像信号ＨＯｇをブロック毎に符号化
する際、被符号化高解像度ブロックに対する低解像度ブ
ロックの対応づけが困難となって、高解像度画像信号と
低解像度画像信号との差分値の演算処理が複雑となる。
この結果、被符号化高解像度ブロックに対する符号化処
理の際に、この被符号化高解像度ブロックとの間で空間
位置が完全に一致する低解像度ブロックを参る場合より
も、階層符号化処理における予測効率が劣化することと
なり、符号化効率の低下にもつながるという問題があっ
た。

【００２５】本発明は上記のような問題点を解決するた
めになされたもので、フレーム内の個々の物体に対応す
る矩形領域を対象とする階層符号化処理を行う際、低解
像度画像信号を参照する高解像度画像信号の符号化処理
を符号化効率の低下を招くことなく行うことができる階
層符号化処理、及びこれに対応する階層復号化処理を実
現できる画像処理方法及び画像処理装置、並びに上記階
層符号化処理及び階層復号化処理をソフトウエアにより
実現することができるプログラムを格納したデータ記録
媒体を得ることを目的とする。

【００２６】

【課題を解決するための手段】この発明（請求項１）に
係る画像処理方法は、物体の形状情報を有する画像入力
信号に基づいて、空間解像度が異なる複数の画像空間を
形成する階層画像信号として、少なくとも低解像度画像
信号及び高解像度画像信号を生成し、上記高解像度画像
信号を、高解像度画像空間における所定数の画素からな
る高解像度ブロックに対応するよう区分するとともに、
上記低解像度画像信号を、低解像度画像空間における所
定数の画素からなる低解像度ブロックに対応するよう区
分し、処理対象となる対象高解像度ブロックを形成する
高解像度画像信号に対する符号化処理を、該高解像度ブ
ロックに対応する低解像度ブロックを形成する低解像度
画像信号を参照して順次行う階層画像符号化方法であっ
て、上記符号化処理の際に参照される参照低解像度ブロ
ックを、その低解像度画像空間における空間位置が、該
参照低解像度ブロックに対応する上記対象高解像度ブロ
ックの、高解像度画像空間における空間位置に対応付け
られた低解像度ブロックとしたものである。

【００２７】この発明（請求項２）は、請求項１記載の
画像処理方法において、上記高解像度画像空間を構成す
る個々の画素を、上記低解像度画像空間の解像度変換に
より得られる、空間解像度が上記高解像度画像空間と等
しい解像度変換画像空間における個々の画素と一対一に
対応させたものである。

【００２８】この発明（請求項３）は、請求項１記載の
画像処理方法において、上記参照低解像度ブロックを構
成する画素の数と、上記対象高解像度ブロックを構成す
る画素の数とを一致させたものである。

【００２９】この発明（請求項４）は、請求項１記載の
画像処理方法において、上記参照低解像度ブロックの低
解像度画像空間における相対位置と、対象高解像度ブロ
ックの高解像度画像空間における相対位置とを一致させ
たものである。

【００３０】この発明（請求項５）は、請求項１記載の
画像処理方法において、上記参照低解像度ブロックに対
する、符号化処理方法を識別するための符号化モードに
応じて、上記対象高解像度ブロックに対する、符号化処
理方法を識別するための符号化モードを示すモード信号
の符号化方式を切換えるものである。

【００３１】この発明（請求項６）は、請求項５記載の
画像処理方法において、上記符号化モードを、画像空間
上に表示される物体の形状の境界が上記対象高解像度ブ
ロック内に含まれるか否かを示す符号化モードとしたも
のである。

【００３２】この発明（請求項７）は、請求項５記載の
画像処理方法において、上記符号化モードを、上記参照
低解像度ブロックに対応する画像信号を画素毎に順次符
号化する符号化処理が、水平走査方向と垂直走査方向の
いずれの走査方向に沿って行われているかを示す符号化
モードとしたものである。

【００３３】この発明（請求項８）は、請求項１記載の
画像処理方法において、上記参照低解像度ブロックに対
応する、上記低解像度画像空間での物体の動きを示す動
き情報を参照して、上記対象高解像度ブロックに対応す
る、上記高解像度画像空間での物体の動きを示す動き情
報の符号化方法を切換えるものである。

【００３４】この発明（請求項９）は、請求項１記載の
画像処理方法において、符号化処理がすでに施された処
理済高解像度ブロックの、高解像度画像空間での物体の
動きを示す動き情報、及び上記参照低解像度ブロックに
対応する、上記低解像度画像空間での物体の動きを示す
動き情報を参照して、上記対象高解像度ブロックに対応
する、上記高解像度画像空間での物体の動きを示す動き
情報の符号化方法を切換えるものである。

【００３５】この発明（請求項１０）に係る画像処理方
法は、物体の形状情報を有する画像信号に階層符号化処
理を施して得られる少なくとも２つのブロック化された
階層符号化信号のうちの低解像度符号化信号を復号化し
て、低解像度画像空間における所定数の画素からなる低
解像度ブロックに対応した低解像度復号化信号を生成
し、該低解像度復号化信号を統合して上記低解像度画像
空間に対応する低解像度統合信号を生成し、上記２つの
ブロック化された階層符号化信号のうちの高解像度符号
化信号を、対応する低解像度復号化信号を参照して復号
化して、高解像度画像空間における所定数の画素からな
る高解像度ブロックに対応した高解像度復号化信号を生
成し、該高解像度復号化信号を統合して上記高解像度画
像空間に対応する高解像度統合信号を生成する階層画像
復号化方法であって、上記高解像度符号化信号の復号化
処理の際に参照される参照低解像度ブロックを、その低
解像度画像空間における空間位置が、該参照低解像度ブ
ロックに対応する上記復号化処理の対象となる対象高解
像度ブロックの、高解像度画像空間における空間位置に
対応付けられた低解像度ブロックとしたものである。

【００３６】この発明（請求項１１）は、請求項１０記
載の画像処理方法において、上記高解像度画像空間を構
成する個々の画素を、上記低解像度画像空間の解像度変
換により得られる、空間解像度が上記高解像度画像空間
と等しい解像度変換画像空間における個々の画素と一対
一に対応させたものである。

【００３７】この発明（請求項１２）は、請求項１０記
載の画像処理方法において、上記参照低解像度ブロック
を構成する画素の数と、上記対象高解像度ブロックを構
成する画素の数とを一致させたものである。

【００３８】この発明（請求項１３）は、請求項１０記
載の画像処理方法において、上記参照低解像度ブロック
の低解像度画像空間における相対位置と、対象高解像度
ブロックの高解像度画像空間における相対位置とを一致
させたものである。

【００３９】この発明（請求項１４）は、請求項１０記
載の画像処理方法において、上記参照低解像度ブロック
に対する、復号化処理方法を識別するための符号化モー
ドに応じて、上記対象高解像度ブロックに対する、復号
化処理方法を識別するための符号化モードを示すモード
符号化信号の復号化方式を切換えるものである。

【００４０】この発明（請求項１５）は、請求項１４記
載の画像処理方法において、上記符号化モードを、画像
空間上に表示される物体の形状の境界が上記対象高解像
度ブロック内に含まれるか否かを示す符号化モードとし
たものである。

【００４１】この発明（請求項１６）は、請求項１４記
載の画像処理方法において、上記符号化モードを、参照
低解像度ブロックに対応する画像信号を画素毎に順次復
号化する復号化処理が、水平走査方向と垂直走査方向の
いずれの走査方向に沿って行われているかを示す符号化
モードとしたものである。

【００４２】この発明（請求項１７）は、請求項１０記
載の画像処理方法において、上記参照低解像度ブロック
に対応する、上記低解像度画像空間での物体の動きを示
す動き情報を参照して、上記対象高解像度ブロックに対
応する、上記高解像度画像空間での物体の動きを示す動
き情報の復号化方法を切換えるものである。

【００４３】この発明（請求項１８）は、請求項１０記
載の画像処理方法において、復号化処理がすでに施され
た処理済高解像度ブロックの、高解像度画像空間での物
体の動きを示す動き情報、及び上記参照低解像度ブロッ
クに対応する、上記低解像度画像空間での物体の動きを
示す動き情報を参照して、上記対象高解像度ブロックに
対応する、上記高解像度画像空間での物体の動きを示す
動き情報の復号化方法を切換えるものである。

【００４４】この発明（請求項１９）に係る画像処理装
置は、物体の形状情報を有する画像入力信号を受け、空
間解像度が異なる複数の画像空間を形成する階層画像信
号を符号化する階層画像符号化装置であって、上記画像
入力信号をサブサンプルして低解像度画像信号を生成す
るサブサンプル手段と、 該低解像度画像信号を、低解像
度画像空間における所定数の画素からなる低解像度ブロ
ックに対応するようブロック化する第１のブロック化手
段と、符号化処理の対象となる低解像度ブロックを形成
する低解像度画像信号に対する符号化処理を順次行う第
１の符号化手段と、上記画像入力信号を高解像度画像信
号として、高解像度画像空間における所定数の画素から
なる高解像度ブロックに対応するようブロック化する第
２のブロック化手段と、符号化処理の対象となる高解像
度ブロックを形成する高解像度画像信号に対する符号化
処理を、該高解像度ブロックに対応する低解像度ブロッ
クを形成する低解像度画像信を参照して順次行う第２の
符号化手段とを備え、上記符号化処理の際に参照される
参照低解像度ブロックを、その低解像度画像空間におけ
る空間位置が、該参照低解像度ブロックに対応する上記
対象高解像度ブロックの、高解像度画像空間における空
間位置に対応付けられた低解像度ブロックとしたもので
ある。

【００４５】この発明（請求項２０）に係る画像処理装
置は、物体の形状情報を有する画像信号に階層符号化処
理を施して得られる少なくとも２つのブロック化された
階層符号化信号を復号化する階層画像復号化装置であっ
て、上記２つのブロック化された階層符号化信号のうち
の低解像度符号化信号を復号化して、低解像度画像空間
における所定数の画素からなる低解像度ブロックに対応
した低解像度復号化信号を生成する第１の復号化手段
と、該各低解像度ブロックに対応した低解像度復号化信
号を統合して、上記低解像度画像空間に対応する低解像
度統合信号を生成する第１の逆ブロック化手段と、上記
２つのブロック化された階層符号化信号のうちの高解像
度符号化信号を、対応する低解像度復号化信号を参照し
て復号化して、高解像度画像空間における所定数の画素
からなる高解像度ブロックに対応した高解像度復号化信
号を生成する第２の復号化手段と、該各高解像度ブロッ
クに対応する高解像度復号化信号を統合して、上記高解
像度画像空間に対応する高解像度統合信号を生成する第
２の逆ブロック化手段とを備え、上記高解像度符号化信
号の復号化処理の際に参照される参照低解像度ブロック
を、その低解像度画像空間における空間位置が、該参照
低解像度ブロックに対応する上記復号化処理の対象とな
る対象高解像度ブロックの、高解像度画像空間における
空間位置に対応付けられた低解像度ブロックとしたもの
である。

【００４６】この発明（請求項２１）に係るデータ記録
媒体は、コンピュータに階層画像符号化処理を行わせる
ためのプログラムを格納したデータ記録媒体であって、
上記プログラムを、請求項１記載の画像処理方法による
階層画像符号化処理を、コンピュータが行うよう構成し
たものである。

【００４７】この発明（請求項２２）に係るデータ記録
媒体は、コンピュータに階層画像復号化処理を行わせる
ためのプログラムを格納したデータ記録媒体であって、
上記プログラムを、請求項１０記載の画像処理方法によ
る階層画像復号化処理を、コンピュータが行うよう構成
したものである。

【００４８】

【発明の実施の形態】以下、本発明の実施の形態につい
て図１から図２１を用いて説明する。 実施の形態１．図１は本発明の実施の形態１による画像
処理装置（階層画像符号化装置）を説明するためのブロ
ック図である。また、図２(a) 〜図２(d) は上記実施の
形態１の階層画像符号化装置による符号化処理を説明す
るための模式図である。図中、ＬＦは低解像度画像信号
に対応する表示画面（図２(a) 参照）、ＨＦは高解像度
画像信号に対応する表示画面（図２(b) 参照）である。
また、Ｌｏｂは低解像度画像信号により上記フレーム
（表示画面）ＬＦ上に表示される１つの物体の画像、Ｈ
ｏｂは高解像度画像信号により上記フレーム（表示画
面）ＨＦ上に表示される１つの物体の画像であり、各画
像Ｌｏｂ及びＨｏｂのドット表示領域が各物体内部の領
域である。

【００４９】この実施の形態１の階層画像符号化装置１
０１は、画像入力信号を受け、この画像入力信号を高解
像度画像信号ＨＳｇとして階層符号化処理を行う構成と
なっている。

【００５０】すなわち、この階層画像符号化装置１０１
は、従来の階層画像符号化装置２００ａと同様、上記高
解像度画像信号ＨＳｇをサブサンプルするサブサンプル
器２と、該サブサンプル器２の出力である低解像度画像
信号ＬＳｇを符号化する低解像度符号化部１０１Ｌと、
その出力である低解像度符号化信号ＬＥｇを復号化する
復号化器９ａと、該復号化器９ａの出力Ｌｄｇをアップ
サンプルするアップサンプル器１０ａと、該アップサン
プル器１０ａの出力ＬＡｇに基づいて、上記高解像度画
像信号ＨＳｇを符号化する高解像度符号化部１０１Ｈと
を有している。

【００５１】また、上記各符号化部１０１Ｌ及び１０１
Ｈはそれぞれ、従来の階層画像符号化装置２００ａと同
様、領域検出器３０ａ及び１２、領域抽出器５及び１
４、ブロック化器６及び１５，符号化器７及び１６ａを
有している。

【００５２】そして、本実施の形態１では、上記領域検
出器３０ａのみ従来の階層画像符号化装置２００ａにお
けるものと構成が異なっている。つまり、該領域検出器
３０ａは、高解像度フレームＨＦ（図２(b) 参照）上に
おける個々の物体Ｈｏｂに対応する矩形領域ＨＲの範囲
を示す矩形信号ＨＲｇを参照して、低解像度フレームＬ
Ｆ（図２(a) 参照）上における個々の物体Ｌｏｂに対応
する矩形領域ＬＲの範囲を検出する構成となっている。
具体的には、上記領域検出器３０ａでは、高解像度矩形
信号ＨＲｇから高解像度矩形領域ＨＲの空間位置ＨＲｐ
が検出され、 低解像度画像信号ＬＳｇのアップサンプル
により得られる補間矩形領域ＡＲの空間位置ＡＲｐが上
記高解像度矩形領域ＨＲの空間位置ＨＲｐと一致するよ
う、低解像度矩形領域ＬＲの空間位置ＬＲｐが決定され
る。

【００５３】なお、このような構成の領域検出器３０ａ
では、低解像度矩形領域ＬＲの空間位置ＬＲｐの検出
は、補間矩形領域ＡＲの空間位置ＡＲｐが上記高解像度
矩形領域ＨＲの空間位置ＨＲｐと一致するよう行われれ
ばよく、必ずしも低解像度矩形領域ＬＲの空間位置ＬＲ
ｐと高解像度矩形領域ＨＲの空間位置ＨＲｐとが一致す
るよう、上記領域の位置検出が行われる必要はない。ま
た、上記符号化器１６ａは、従来の階層画像符号化装置
２００ａにおける符号化器１６と全く同一構成となって
いる。

【００５４】次に動作について説明する。本画像符号化
装置１０１ａに画像入力信号として高解像度画像信号Ｈ
Ｓｇが入力されると、サブサンプル器２では上記高解像
度画像信号ＨＳｇがそのサブサンプルにより低解像度画
像信号ＬＳｇに変換される。そして、各符号化部１０１
Ｈ及び１０１Ｌにてそれぞれ、高解像度画像信号ＨＳｇ
及び低解像度画像信号ＬＳｇの符号化処理が行われる。

【００５５】ここでは、上記高解像度符号化部１０１Ｈ
では、従来の階層画像符号化装置２００ａにおける高解
像度符号化部２０１Ｈと全く同一の画像信号の処理が行
われる。また、上記低解像度符号化部１０１Ｌでは、領
域検出器３０ａによるフレームＬＦ上での低解像度矩形
領域ＬＲの位置検出処理以外は、従来の階層画像符号化
装置２００ａにおける低解像度符号化部２０１Ｌと全く
同様な処理が行われる。

【００５６】そこで、以下、上記低解像度符号化部１０
１Ｌによる符号化処理について、上記領域検出器３０ａ
の動作を主として説明する。この実施の形態１では、高
解像度符号化部１０１Ｈの領域検出器１２により高解像
度画像信号ＨＳｇに基づいて対応する物体Ｈｏｂの矩形
領域ＨＲを検出し（図２(b) 参照）、上記領域検出器３
０ａにより、低解像度画像信号ＬＳｇの矩形領域ＬＲの
空間位置ＬＲｐを、上記高解像度矩形領域ＨＲの空間位
置ＨＲｐに基づいて検出する（図２(a) 参照）。

【００５７】つまり、上記領域検出器３０ａでは、高解
像度矩形領域ＨＲの基準位置ＨＲｐが高解像度フレーム
ＨＦの基準位置ＨＦｐから水平方向に距離（ＨΔｘ）だ
け、垂直方向に距離（ＨΔｙ）だけ離れている場合、低
解像度矩形領域ＬＲを、その基準位置ＬＲｐと低解像度
フレームＬＦの基準位置ＬＦｐとの水平方向の距離が
（ＬΔｘ）、垂直方向の距離が（ＬΔｙ）となるよう、
低解像度フレームＬＦ上に配置する。このとき、上記距
離（ＨΔｘ）／距離（ＬΔｘ）、及び距離（ＨΔｙ）／
距離（ＬΔｙ）は、高解像度画像の空間解像度と低解像
度画像の空間解像度の比率（ここでは２／１とする。）
と一致するようにしている。

【００５８】このようにして低解像度フレームＬＦ上に
て矩形領域ＬＲの位置を設定することにより、低解像度
フレームＬＦ上での低解像度矩形領域ＬＲの空間位置
（基準位置）を、高解像度フレームＨＦ上での高解像度
矩形領域ＨＲの空間位置（基準位置）に一致させること
ができる。

【００５９】そして、上記のように低解像度フレームＬ
Ｆ上に設定された低解像度矩形領域ＬＲに対応する画像
信号ＬＯｇがブロック化器６にて、上記矩形領域ＬＲを
区分する各ブロックＬＭＢに対応するよう分割される。
さらにブロック化された画像信号ＬＢｇが符号化器７に
て符号化されて、低解像度符号化信号ＬＥｇとして出力
される。ここで、上記ブロックＬＭＢは１６×１６画素
からなる画像空間である。

【００６０】また、この低解像度符号化信号ＬＥｇは、
復号化器９ａにより低解像度復号化信号Ｌｄｇに変換さ
れ、さらにこの信号Ｌｄｇはアップサンプル器１０ａに
より補間されて、空間解像度が高解像度画像信号ＨＳｇ
と等しい補間画像信号ＬＡｇに変換される。この場合、
上記低解像度符号化信号ＬＥｇのアップサンプルにより
得られる補間画像信号ＬＡｇに対応する補間矩形領域Ａ
Ｒを区分するブロックＡＭＢは、３２×３２画素からな
る画像空間となる。

【００６１】図２(c) は、上記補間画像信号ＬＡｇに対
応する、高解像度フレームＨＦと同一の空間解像度を有
する補間フレームＡＦ、及び該補間フレームＡＦにおけ
る、補間画像信号ＬＡｇに対応する補間画像Ａｏｂを示
しており、上記補間フレームＡＦに対する、該補間画像
に対応する補間矩形領域ＡＲの相対的な位置は、高解像
度フレームＨＦに対する高解像度矩形領域ＨＲの相対的
な位置と一致している。

【００６２】一方、高解像度画像信号ＨＳｇが領域抽出
器１４に入力されると、該領域抽出器１４では、上記領
域検出器１２からの矩形信号ＨＲｇに基づいて、高解像
度矩形領域ＨＲに対応する画像信号ＨＯｇが抽出され、
さらに、ブロック化器１５にて、該画像信号ＨＯｇが該
矩形領域ＨＲを区分する各ブロックＨＭＢ１に対応する
よう分割され、各ブロックＨＭＢ１に対応する画像信号
ＨＢｇが出力される。そして、符号化器１６ａにて、該
ブロック化画像信号ＨＢｇは、上記補間画像信号ＬＡｇ
を参照して符号化処理により高解像度符号化信号ＨＥｇ
に変換される。

【００６３】ここで上記ブロックＨＭＢ１は３２×３２
画素からなる画像空間である。

【００６４】このとき、上記補間矩形領域ＡＲの、フレ
ームＡＦ上での相対的な位置は、高解像度矩形領域ＨＲ
の、フレームＨＦ上での相対的な位置と一致するため、
上記符号化器１６ａでは、各矩形領域のブロック単位で
容易にブロック化画像信号の差分値を計算することがで
き、高解像度画像を構成する画素の画像値と、補間画像
を構成する画素の画素値との差分値を簡単に符号化する
ことができる。なお、図２(d) は、上記差分値（誤差）
に対応する差分画像Ｄを高解像度フレームＨＦ上にて示
している。

【００６５】このように本実施の形態１では、高解像度
矩形領域ＨＲを構成するブロックＨＭＢ１の空間位置
と、低解像度矩形領域ＬＲを解像度変換して得られる補
間矩形領域ＡＲを構成するブロックＡＭＢの空間位置と
が一致するので、高解像度フレームＨＦ内の個々の物体
に対応する矩形領域ＨＲを対象とする階層符号化処理を
行う際、高解像度画像信号ＨＳｇの符号化処理を低解像
度画像信号ＬＳｇを参照して、符号化効率の低下を招く
ことなく行うことができる。

【００６６】実施の形態２．図３は本発明の実施の形態
２による画像処理装置（階層画像符号化装置）を説明す
るためのブロック図である。上記実施の形態１では、階
層画像符号化装置として、低解像度画像信号を解像度変
換した補間画像信号と、高解像度画像信号との差分値を
誤差として符号化する構成のものを示したが、画像信号
が２値の画像信号，つまり２値形状信号である場合は、
ブロックの差分値を直接符号化するよりも有効な方法が
ある。

【００６７】そこで、この実施の形態２の階層画像符号
化装置１０２は、低解像度画像信号を解像度変換して得
られる補間画像信号と高解像度画像信号との差分値を符
号化する実施の形態１の符号化器１６ａに代えて、低解
像度画像信号から得られる画像の境界と、高解像度画像
信号から得られる画像の境界とのずれの大きさを符号化
する符号化器１６ｂを備えた構成としたものであり、そ
の他の構成は実施の形態１の階層画像符号化装置１０１
と同一である。つまりこの実施の形態２の階層画像符号
化装置１０２を構成する低解像度符号化部１０２Ｌは、
上記実施の形態１のものと同一構成であり、またこの階
層画像符号化装置１０２を構成する高解像度符号化部１
０２Ｈは、符号化器１６ｂの構成のみ上記実施の形態１
のものと異なっている。

【００６８】次に作用効果について説明する。図４は、
上記実施の形態２の階層画像符号化装置による符号化処
理を説明するための模式図であり、図４(a) は低解像度
画像信号に対応するフレームＬＦ、図４(b) は高解像度
画像信号に対応するフレームＨＦ、図４(c) は解像度変
換画像信号（補間画像信号）に対応するフレームＡＦを
示している。また、図４(d) はフレームＨＦ上に設定さ
れた矩形領域ＨＲ内の物体Ｈｏｂの境界ＨＢ、図４(e)
はフレームＡＦ上に設定された矩形領域ＡＲ内の物体Ａ
ｏｂの境界ＡＢを示している。図４(f) は、上記フレー
ムＨＦ上にて高解像度画像信号に対応する物体Ｈｏｇの
境界ＨＢと、補間画像信号に対応する物体Ａｏｂの境界
ＡＢとを重ね合わせて示している。ここで物体の境界と
は、画像信号を構成する２値の形状信号の値が空間的に
変化する画素の位置である。

【００６９】この実施の形態２では、上記実施の形態１
と同様、高解像度符号化部１０２Ｈの領域検出器１２に
より高解像度画像信号ＨＳｇに基づいて対応する物体の
矩形領域ＨＲが検出され（図４(b) 参照）、低解像度符
号化部１０２Ｌの領域検出器３０ａにより、この矩形領
域ＨＲと空間位置が一致するように低解像度画像信号Ｌ
Ｓｇの矩形領域ＬＲの空間位置ＬＲｐが検出される（図
４(a) 参照）。

【００７０】このようにして低解像度フレームＬＦ上に
て矩形領域ＬＲの位置ＬＲｐを設定することにより、低
解像度フレームＬＦ上での低解像度矩形領域ＬＲの位置
ＬＲｐを、高解像度フレームＨＦ上での高解像度矩形領
域ＨＲの位置ＨＲｐに一致させることができる。

【００７１】そして、上記のように低解像度フレーム上
に設定された低解像度矩形領域に対応する画像信号ＬＯ
ｇがブロック化器６にてブロック化され、さらに該ブロ
ック化された画像信号ＬＢｇが符号化器７にて符号化さ
れて、低解像度符号化信号ＬＥｇとして出力される。こ
の低解像度符号化信号ＬＥｇは、復号化器９ａによる復
号化処理及びアップサンプル器１０ａによる補間処理が
施されて、高解像度画像信号と等しい空間解像度を有す
る補間画像信号ＬＡｇに変換される（図４(c)参照）。

【００７２】一方、領域抽出器１４では、高解像度画像
信号ＨＳｇから、高解像度矩形領域ＨＲに対応する画像
信号ＨＯｇが抽出され、この画像信号ＨＯｇは、ブロッ
ク化器１５にてブロック化される。

【００７３】そして、符号化器１６ｂでは、該ブロック
化された画像信号ＨＢｇから得られる物体Ｈｏｂの境界
位置ＨＢと、上記補間画像信号ＬＡｇから得られる物体
Ａｏｂの境界位置ＡＢとに基づいて、両者のずれ量ΔＢ
が符号化されて高解像度符号化信号ＨＥｇとして出力さ
れる。

【００７４】このように本実施の形態２では、低解像度
画像信号から得られる補間画像の境界と、高解像度画像
信号から得られる画像の境界とのずれの大きさを符号化
する符号化器１６ｂを備えたので、画像信号が２値画像
信号である場合に階層符号化処理を符号化効率よく行う
ことが可能となる。

【００７５】なお、上記実施の形態２では、高解像度画
像Ｈｏｂの境界ＨＢと、補間画像Ａｏｂの境界ＡＢとの
ずれを符号化する階層符号化処理を示したが、２値画像
信号に対する階層符号化処理は、低解像度画像信号から
得られる補間画像信号に応じて、高解像度画像信号の符
号化処理に用いる符号化テーブルを画素毎に切り替える
ようにしてもよい。

【００７６】実施の形態３．図５は本発明の実施の形態
３による画像処理装置（階層画像符号化装置）を説明す
るためのブロック図である。上記実施の形態１では、低
解像度矩形領域を解像度変換して得られる補間矩形領域
における各ブロックの位置と、高解像度矩形領域におけ
る各ブロックの位置が完全に一致する例を示したが、高
解像度矩形領域の複数のブロックを統合した統合ブロッ
クが、補間矩形領域の１つのブロックと一致する場合
も、上記実施の形態１と同様に符号化効率の低下を回避
しつつ階層符号化処理を行うことができる。

【００７７】そこで、この実施の形態３の階層画像符号
化装置１０３は、ブロック化した補間画像信号とブロッ
ク化した高解像度画像信号とを比較して差分値を求める
構成の符号化器１６ａに代えて、ブロック化した高解像
度画像信号を統合した統合信号を、ブロック化した補間
画像信号と比較して、該統合信号と補間画像信号との差
分値を求め、この差分値を符号化する符号化器１６ｃを
備えた構成としている。また、この実施の形態３では、
高解像度矩形領域ＨＲを構成する高解像度ブロックＨＭ
Ｂ２（図６(b) 参照）は、低解像度矩形領域ＬＲを構成
する低解像度ブロックＬＭＢ（図６(a) 参照）と同様、
１６×１６画素からなる画像空間とし、補間矩形領域Ａ
Ｒを構成する補間ブロックＡＭＢ（図６(c) 参照）は、
３２×３２画素からなる画像空間としている。従って、
この実施の形態３では、ブロック化器１５は、高解像度
画像信号のブロック化処理を、１６×１６画素からなる
ブロックＨＭＢ２として行う構成となっている。そし
て、この実施の形態３の階層画像符号化装置１０３にお
けるその他の構成は上記実施の形態１の階層画像符号化
装置１０１と同一としている。つまりこの実施の形態３
の階層画像符号化装置１０３を構成する低解像度符号化
部１０３Ｌは、上記実施の形態１のものと同一構成であ
り、またこの階層画像符号化装置１０３を構成する高解
像度符号化部１０３Ｈは、符号化器１６ｃの構成のみ上
記実施の形態１のものと異なっている。

【００７８】次に作用効果について説明する。図６は、
上記実施の形態３の階層画像符号化装置による符号化処
理を説明するための模式図であり、図６(a) は低解像度
画像信号に対応する表示画面（フレーム）ＬＦを、図６
(b) は高解像度画像信号に対応する表示画面（フレー
ム）ＨＦを示す。また、図６(c) は、低解像度画像信号
を解像度変換した補間画像信号に対応する表示画面（フ
レーム）ＡＦを示す。

【００７９】この実施の形態３では、領域検出器１２に
より高解像度画像信号ＨＳｇに基づいて、この信号に対
応する物体Ｈｏｂの矩形領域ＨＲを検出し（図６(b) 参
照）、領域検出器３０ａにより、上記矩形領域ＨＲの空
間位置ＨＲｐと補間矩形領域ＡＲの空間位置ＡＲｐとが
一致するよう、低解像度画像信号ＬＳｇの矩形領域ＬＲ
の空間位置ＬＲｐを検出する（図６(a) 参照）。

【００８０】このようにして低解像度フレームＬＦ上に
て矩形領域ＬＲの空間位置ＬＲｐを設定することによ
り、低解像度フレームＬＦ上での低解像度矩形領域ＬＲ
の空間位置ＬＲｐを、高解像度フレームＨＦ上での高解
像度矩形領域ＨＲの空間位置ＨＲｐに実質的に一致させ
ることができる。

【００８１】そして、上記のように低解像度フレームＬ
Ｆ上に設定された低解像度矩形領域に対応する画像信号
ＬＯｇがブロック化器６にてブロック化され、さらに該
ブロック化された画像信号ＬＢｇが符号化器７にて符号
化されて、低解像度符号化信号ＬＥｇとして出力され
る。この低解像度符号化信号ＬＥｇは、復号化器９ａに
よる復号化処理及びアップサンプル器１０ａによる補間
処理が施されて、高解像度画像信号と等しい空間解像度
を有する補間画像信号ＬＡｇに変換される（図６(c)
）。

【００８２】一方、領域抽出器１４では、高解像度画像
信号ＨＳｇから、矩形領域ＨＲに対応する画像信号ＨＯ
ｇが抽出され、この画像信号ＨＯｇは、ブロック化器１
５にて１６×１６画素からなるブロックＨＭＢ２に対応
するようブロック化される。

【００８３】このとき、上記補間画像Ａｏｂの矩形領域
ＡＲを構成する１つのブロックＡＭＢと、高解像度画像
Ｈｏｂの矩形領域ＨＲを構成する４つのブロックＨＭＢ
２を統合した領域とが一致するため、上記符号化器１６
ｃでは、１つのブロックＡＭＢに対応する補完画像信号
を参照して、該ブロックに一致する、高解像度矩形領域
の４つのブロックＨＭＢ２に対応する画像信号ＨＢｇを
符号化する。つまり、該４つのブロックＨＭＢ２に対応
する画像信号ＨＯｇと上記１つのブロックＡＭＢに対応
する補完画像信号ＬＡｇとの差分値を符号化して、高解
像度符号化信号ＨＥｇとして出力する。

【００８４】このように本実施の形態３では、４つの高
解像度ブロックＨＭＢ２を統合した統合領域に対応する
高解像度画像信号ＨＯｇと、該統合領域と一致する１つ
の補間ブロックＡＭＢに対応する補完画像信号ＡＬｇと
の差分信号を符号化するので、高解像度ブロックと補間
ブロックとが一対一に対応しない場合でも、高解像度ブ
ロックにおける画素と、補間ブロックにおける画素との
対応を取ることができ、低解像度画像信号を参照して高
解像度画像信号を符号化することができる。

【００８５】また、上記のように高解像度ブロックと補
間ブロックとの対応をとることができるため、ブロック
単位の情報（符号化モード情報等）の予測符号化を容易
に実現でき、しかも両ブロック間での空間位置の対応が
とれるため、符号化効率も向上する。

【００８６】また、この実施の形態３では、低解像度矩
形領域を分割するブロックのサイズと高解像度矩形領域
を分割するブロックとが同じサイズであるため、低解像
度符号化部における符号化器７と高解像度符号化部にお
ける符号化器１７の構成が殆ど同じとなり、時分割処理
等により符号化部のハードウェア資源の共用化を容易に
実現できる。

【００８７】実施の形態４．図７は本発明の実施の形態
４による画像処理装置（階層画像符号化装置）を説明す
るためのブロック図である。この実施の形態４の階層画
像符号化装置１０４は、実施の形態１における低解像度
画像信号に対応する領域検出器３０ａを省略し、実施の
形態１の領域抽出器５に代えて、実施の形態１における
領域検出器１２の出力ＨＲｇに基づいて、低解像度フレ
ームＬＦ上にて高解像度矩形領域ＨＲの空間位置に対応
する空間位置にある低解像度矩形領域ＬＲを抽出する領
域抽出器３１ｄを備えたものである。

【００８８】つまり、この実施の形態４の階層画像符号
化装置１０４の低解像度符号化部１０４Ｌは、上記領域
抽出器３１ｄと、その出力をブロック化するブロック化
器６と、ブロックされた画像信号を符号化する符号化器
７とから構成されている。また、上記階層画像符号化装
置１０４の高解像度符号化部１０４Ｈは、実施の形態１
の高解像度符号化部１０１Ｈと全く同様、領域検出器１
２，領域抽出器１４，ブロック化器１５，及び符号化器
１６ａとから構成されている。

【００８９】次に作用効果について説明する。サブサン
プル器２の空間解像度変換方法の動作原理から、低解像
度画像信号を解像度変換して得られる補間画像信号に対
応する物体の形状が、常に、高解像度画像信号に対応す
る物体の形状の大きさよりも大きくならないことが分か
っている場合には、矩形信号ＨＲｇが示す高解像度矩形
領域ＨＲに対応する空間位置ＨＲｐ（図２(b) 参照）
を、これに対応する低解像度矩形領域ＬＲの空間位置Ｌ
Ｒｐ（図２(a) 参照）とすることによって、低解像度画
像信号の物体Ｌｏｂを低解像度矩形領域ＬＲに完全に包
含できる。

【００９０】このことは、実施の形態１における、低解
像度画像信号ＬＳｇから、物体を含む矩形領域ＬＲに対
応する矩形信号ＬＲｇを抽出することが不要であること
を意味するので、 上記サブサンプル器２が上記条件を満
足するものであれば、実施の形態１の画像符号化装置と
同じ効果をより簡単な構成で実現できる。

【００９１】つまり、この実施の形態４の階層画像符号
化装置１０４では、画像入力信号である高解像度画像信
号ＨＳｇは、高解像度符号化部１０４Ｈにより上記実施
の形態１と全く同様な処理が施される。

【００９２】また、上記高解像度画像信号ＨＳｇのサブ
サンプルにより得られる低解像度画像信号ＬＳｇは、上
記実施の形態１とほぼ同様な処理により、低解像度符号
化部１０４Ｌにて符号化される。このとき、領域抽出器
３１ｄでは、低解像度画像信号ＬＳｇを受け、高解像度
符号化部１０４Ｈの領域検出器１２の出力ＨＲｇに基づ
いて、低解像度フレーム上での矩形領域の位置を決定
し、該矩形領域に対応する画像信号ＬＯｇをブロック化
器６に出力する。該画像信号ＬＯｇはブロック化器６に
てブロック化され、さらにブロック化された画像信号Ｌ
Ｂｇが符号化器７にて符号化され、低解像度符号化部１
０４Ｌから各ブロックに対応した低解像度符号化信号Ｌ
Ｅｇが出力される。

【００９３】この低解像度符号化信号ＬＥｇは復号化器
９ａにて復号化され、該復号化器９ａの出力Ｌｄｇはア
ップサンプル器１０ａにて、高解像度画像信号と同じ空
間解像度を有する補完画像信号ＬＡｇに変換されて高解
像度符号化部１０４Ｈの符号化器１６ａに出力される。

【００９４】このように本実施の形態４では、低解像度
符号化部１０４Ｌの領域抽出器３１ｄでは、高解像度符
号化部１０４Ｈの領域検出器１２の出力である矩形信号
ＨＲｇに基づいて、低解像度フレーム上での矩形領域Ｌ
Ｒの位置を決定するので、低解像度符号化部１０４Ｌで
は領域抽出のための回路構成が不要となり、実施の形態
１の画像符号化装置と同じ効果をより簡単な構成で実現
できる。

【００９５】実施の形態５．図８は本発明の実施の形態
５による画像処理装置（階層画像復号化装置）を説明す
るためのブロック図である。この実施の形態５の階層画
像復号化装置１０５は、図７に示す実施の形態４の階層
画像符号化装置１０４により符号化された低解像度符号
化信号ＬＥｇ及び高解像度符号化信号ＨＥｇを入力信号
として、階層復号化処理を行う構成となっている。つま
り、この階層画像復号化装置１０５は、従来の階層画像
復号化装置２００ｂと同様、上記低解像度符号化信号Ｌ
Ｅｇに対して復号化処理を施して、低解像度再生信号Ｌ
Ｃｇを生成する低解像度復号化部１０５Ｌと、該復号化
部１０５Ｌでの復号化信号ＬＤｇをアップサンプルによ
り補間するアップサンプル器１０ｂと、該アップサンプ
ル器１０ｂの出力ＬＡｇに基づいて上記高解像度符号化
信号ＨＥｇを復号化して高解像度再生信号ＨＣｇを生成
する高解像度復号化部１０５Ｈとを有している。

【００９６】ここで、上記各復号化部１０５Ｌ及び１０
５Ｈはそれぞれ、従来の階層画像復号化装置２００ｂと
同様、復号化器９及び３０、逆ブロック化器２０及び３
１、領域合成器３４及び３２を有している。

【００９７】そして本実施の形態５では、上記領域合成
器３４は、上記実施の形態４の階層画像符号化装置１０
４からの高解像度矩形信号ＨＲｇを参照して、低解像度
フレーム上の、該矩形信号ＨＲｇが示す位置に低解像度
矩形領域が配置されるよう、該矩形領域に対応する画像
信号ＬＩｇを、フレームに対応するその他の画像信号に
合成する構成となっており、この点のみ図２４に示す従
来の階層画像復号化装置２００ｂと異なっている。

【００９８】次に動作について説明する。本階層画像復
号化装置１０５に、上記実施の形態４の階層画像符号化
装置１０４の出力である低解像度符号化信号ＬＥｇ及び
高解像度符号化信号ＨＥｇが入力されると、低解像度符
号化信号ＬＥｇは低解像度復号化部１０５Ｌにて、復号
化器９により復号化され、さらに復号化器９の出力ＬＤ
ｇが逆ブロック化器２０により統合され、さらに逆ブロ
ック化器２０の出力ＬＩｇが、高解像度矩形信号ＨＲｇ
に基づいて、低解像度フレームに対応する画像信号と合
成される。このとき、上記復号化器９の出力ＬＤｇはア
ップサンプル器１０ｂにて補間されて高解像度復号化部
１０５Ｈに出力される。

【００９９】また、上記高解像度符号化信号ＨＥｇは高
解像度符号化部１０５Ｈにて、上記従来の階層画像復号
化装置２００ｂと全く同様にして、上記アップサンプル
器１０ｂからの補間画像信号ＡＤｇ及び高解像度矩形信
号ＨＲｇに基づいて復号化される。

【０１００】このように本実施の形態５では、実施の形
態４の階層画像符号化装置１０４からの符号化信号ＬＥ
ｇ及びＨＥｇ、並びに矩形信号ＨＲｇを受け、領域合成
器３４では、実施の形態４の領域抽出器３０ｄと同様な
動作により、低解像度矩形領域を、低解像度フレーム上
の、高解像度矩形信号ＨＲｇが示す空間位置に合成する
ことができる。

【０１０１】従って、低解像度フレーム上に設定された
低解像度空間領域内に、逆ブロック化器２０により統合
された画像復号化信号に対応する画像を配置することに
より、上記実施の形態４の階層画像符号化装置で符号化
した符号化信号ＬＥｇおよびＨＥｇを正しく復号化する
ことができる。

【０１０２】実施の形態６．図９(a) 及び図９(b) は本
発明の実施の形態６による画像処理装置（階層画像符号
化装置）を説明するためのブロック図である。この実施
の形態６の階層画像符号化装置１０６は、図１に示す実
施の形態１の階層画像符号化装置１０３と同様、サブサ
ンプル器２と、低解像度符号化部１０６Ｌと、復号化器
９ａと、アップサンプル器１０ａと、高解像度符号化部
１０６Ｈとを有している。ここで、上記実施の形態１と
同一符号を付したものは、実施の形態１と全く同一構成
となっている。

【０１０３】そしてこの実施の形態６では、低解像度画
像信号ＬＳｇを符号化する低解像度符号化部１０６Ｌ
は、実施の形態１の低解像度符号化部１０１Ｌにおける
符号化器７に代えて、ブロック化された低解像度画像信
号ＬＢｇに対応する低解像度符号化信号ＬＥｇととも
に、該各ブロック化画像信号ＬＢｇの符号化モードを示
す符号化モード信号Ｍｇを生成して出力する符号化器７
ｆを有しており、その他の構成は実施の形態１と全く同
一である。

【０１０４】また、本実施の形態６では、高解像度画像
信号ＨＳｇを符号化する高解像度符号化部１０６Ｈは、
上記実施の形態１の高解像度符号化部１０１Ｈにおける
符号化器１６ａに代えて、アップサンプル器１０ａの出
力ＬＡｇだけでなく上記符号化モード信号Ｍｇにも基づ
いて、ブロック化された高解像度画像信号ＨＢｇの符号
化処理を行う符号化器１６ｆを有しており、その他の構
成は実施の形態１と全く同一となっている。

【０１０５】この符号化器１６ｆは、上記ブロック化さ
れた高解像度画像信号ＨＢｇを受け、その符号化モード
を判定して高解像度ブロックの符号化モード信号ＭＤを
出力するモード判定器５０と、該符号化モード信号ＭＤ
を、ブロック化された低解像度画像信号ＬＢｇの符号化
モード信号Ｍｇに基づいて符号化してモード符号化信号
ＥＭｇを出力するモード符号化器５１と、高解像度ブロ
ック化画像信号ＨＢｇに対する符号化方法が異なる第１
及び第２の符号化器５３及び５４とを有している（図９
(b) 参照）。

【０１０６】ここで第１の符号化器５３は、低解像度復
号化信号Ｌｄｇをアップサンプルして得られる補間信号
ＬＡｇを参照して、高解像度ブロック化画像信号ＨＢｇ
の符号化処理を行う構成となっており、上記第２の符号
化器５４は、上記補間信号ＬＡｇを参照せずに、高解像
度ブロック化画像信号ＨＢｇの符号化処理を行う構成と
なっている。さらに、上記モード判定器５０は、具体的
には、上記高解像度ブロック化画像信号ＨＢｇに基づい
て、該ブロック化画像信号ＨＢｇを低解像度画像信号に
対応する補間信号ＬＡｇを参照して符号化すべきか、該
画像信号ＨＢｇを該補間信号ＬＡｇを参照せずに符号化
すべきかを判定する構成となっている。

【０１０７】また、上記符号化器１６ｆは、上記モード
判定器５０の出力（符号化モード信号）ＭＤに応じて、
上記高解像度ブロック化画像信号ＨＢｇを上記第１及び
第２の符号化器５３，５４のいずれか一方に供給する前
段スイッチ５２と、上記モード判定器５０の出力ＭＤに
応じて、上記第１及び第２の符号化器５３，５４のいず
れかの出力ＨＥｇ１あるいはＨＥｇ２を選択する後段ス
イッチ５５と、該後段スイッチ５５の出力ＳＨＥｇと上
記モード符号化信号ＥＭｇとを多重化する多重化器５６
とを有している。

【０１０８】次に作用効果について説明する。本階層画
像符号化装置１０６に画像入力信号である高解像度画像
信号ＨＳｇが入力されると、サブサンプル器２では、高
解像度画像信号ＨＳｇのサブサンプルにより低解像度画
像信号ＬＳｇが生成され、この信号ＬＳｇが上記低解像
度符号化部１０６Ｌにて符号化される。この符号化部１
０６Ｌの符号化器７ｆでは、低解像度ブロック化画像信
号ＬＢｇの符号化処理の際、該画像信号ＬＢｇに対応す
る符号化モード信号Ｍｇを出力する。

【０１０９】一方、高解像度符号化部１０６Ｈでは、高
解像度画像信号ＨＳｇに対する、実施の形態１と同様な
領域検出処理及び領域抽出処理により、高解像度矩形領
域ＨＲに対応する画像信号ＨＯｇが生成され、さらにブ
ロック化処理により、画像信号ＨＯｇから高解像度ブロ
ックＨＭＢ１に対応するブロック化画像信号ＨＢｇが生
成される。そして、このブロック化画像信号ＨＢｇは、
符号化器１６ｆにて、上記アップサンプル出力ＬＡｇ及
び符号化モード信号Ｍｇに基づいて符号化される。

【０１１０】つまり、この実施の形態６の階層画像符号
化装置１０６による階層符号化処理では、低解像度符号
化部１０６Ｌの符号化器７ｆから、符号化モード信号Ｍ
ｇが高解像度符号化部１０６Ｈの符号化器１６ｆに出力
され、この符号化器１６ｆにて、低解像度ブロック化画
像信号ＬＢｇの符号化モードＭｇを参照して、ブロック
化された高解像度画像信号ＨＢｇが符号化される点で、
上記実施の形態１の符号化処理と異なっている。

【０１１１】以下、上記符号化器１６ｆの詳細な動作に
ついて簡単に説明する。上記符号化器１６ｆでは、モー
ド判定器５０でのモード判定により、ブロック化された
高解像度画像信号ＨＢｇに基づいて、該画像信号ＨＢｇ
に対する符号化方法が決定される。つまり該画像信号Ｈ
Ｂｇを補間信号ＡＬｇを参照して符号化するか、あるい
は該画像信号ＨＢｇを補間信号ＡＬｇを参照せずに符号
化するかが決定される。すると、このモード判定結果に
対応する符号化モード信号ＭＤが上記モード判定器５０
から出力され、上記各スイッチ５２及び５５では、該符
号化モード信号ＭＤに応じて、上記第１及び第２の符号
化器５３及び５４のいずれかが選択される。これによ
り、上記高解像度画像信号ＨＢｇは、選択された符号化
器５３あるいは５４にて符号化されて多重化器５６に出
力される。

【０１１２】またこのとき、上記モード符号化器５１で
は、上記符号化モード信号ＭＤの符号化処理が、低解像
度ブロックの符号化モードＭｇに基づいて行われてお
り、上記多重化器５６では上記スイッチ５５の出力ＳＨ
Ｅｇと上記モード符号化器５１の出力ＥＭｇとが多重化
されて、高解像度符号化信号ＨＥｇとして出力される。

【０１１３】このように本実施の形態６では、符号化器
１６ｆにて、低解像度ブロックの符号化モードを参照し
て、高解像度ブロックの符号化処理を行うので、さらに
符号化効率のよい階層符号化処理を実現することができ
る。

【０１１４】つまり、上記高解像度ブロックの符号化モ
ードは、対応する低解像度ブロックの符号化モードと相
関がある。例えば、低解像度ブロックが物体の境界部分
に位置する場合には、対応する高解像度ブロックも境界
部分に位置する確率が高く、同様に、低解像度ブロック
が物体外部あるいは物体内部に位置する場合は、対応す
る高解像度ブロックも物体外部あるいは物体内部に位置
する確率が高い。

【０１１５】このように低解像度ブロックの符号化モー
ドと、高解像度ブロックの符号化モードとは一致する確
率が高いため、高解像度符号化部１０６Ｈにおける符号
化器１６ｆにて、低解像度ブロックの符号化モード信号
Ｍｇを参照し、この符号化モード信号Ｍｇとモードが同
じである高解像度ブロックの符号化モード信号に短い符
号を割り当てる予測符号化を行うことにより、 低解像度
ブロックの符号化モード信号Ｍｇを参照しない場合より
も符号化ビット数を削減することができる。

【０１１６】なお、上記実施の形態６では、低解像度ブ
ロックの符号化モードに応じて、高解像度画像信号の符
号化方法を切り替えるとともに、高解像度ブロックの符
号化モードの符号化方法を切り替える構成を示したが、
低解像度ブロックの符号化モードに応じて、高解像度画
像信号の符号化方法及び高解像度ブロックの符号化方法
の一方のみを切り替えるようにしてもよい。

【０１１７】また、この実施の形態６では、階層画像符
号化装置１０６として、図１に示す上記実施の形態１の
階層画像符号化装置１０１における階層符号化処理を、
低解像度画像信号だけでなく低解像度ブロックの符号化
モードにも基づいて行う構成のものを示したが、このよ
うな階層画像符号化装置は、上記実施の形態６のものに
限らず、例えば、図５に示す上記実施の形態３における
階層符号化処理を、低解像度画像信号と低解像度ブロッ
クの符号化モードとに基づいて行う構成としたものでも
よい。

【０１１８】この場合、１６×１６画素からなる低解像
度ブロックＬＭＢ（図６(a) 参照）に対応する符号化モ
ードを参照する、１６×１６画素からなる高解像度ブロ
ックＨＭＢ２（図６(b) 参照）に対応する符号化モード
の符号化処理は、上記低解像度ブロックＬＭＢの解像度
変換処理により得られる３２×３２画素からなる１つの
補間ブロックＡＭＢ（図６(c) 参照）に対応する、４つ
の高解像度ブロックＨＭＢ２からなる統合領域を単位と
して行われる。ただしこの場合も、低解像度ブロックＬ
ＭＢより小さい単位に対応する情報（つまり画素値の予
測誤差等）については、上記実施の形態３と同様、例え
ば、図６(d) に示すように画素単位で、高解像度フレー
ムＨＦに対応する画素値（図６(b) ）と、解像度変換
（補間）フレームＡＦに対応する画素値（図６(c) ）と
の誤差（差分画像Ｄ）を計算し、この誤差信号を１６×
１６画素からなる小さいブロック単位で符号化処理を行
う。

【０１１９】実施の形態７．図１０(a) 及び図１０(b)
は本発明の実施の形態７による画像処理装置（階層画像
復号化装置）を説明するためのブロック図である。この
実施の形態７の階層画像復号化装置１０７は、図２４に
示す従来の階層画像復号化装置２００ｂと同様、低解像
度復号化部１０７Ｌと、アップサンプル器１０ｂと、高
解像度復号化部１０７Ｈとを有している。ここで、上記
従来の階層画像復号化装置２００ｂにおけるものと同一
符号を付したものは、従来の階層画像復号化装置２００
ｂのものと全く同一の構成となっており、この実施の形
態７による階層画像復号化装置１０７では、低解像度の
復号化器９ｇから出力される符号化モードＭｇを参照し
て、高解像度符号化信号ＨＥｇの復号化処理が行われる
点で、上記図２４に示す従来の階層画像復号化装置２０
０ｂと異なっている。

【０１２０】つまりこの実施の形態７では、低解像度符
号化信号ＬＥｇを復号化する低解像度復号化部１０７Ｌ
は、従来の階層画像復号化装置２００ｂの低解像度符号
化部２０２Ｌにおける復号化器９に代えて、低解像度復
号化信号ＬＤｇとともに符号化モード信号Ｍｇを出力す
る復号化器９ｇを有しており、その他の構成は従来の階
層画像復号化装置２００ｂの構成と全く同一である。

【０１２１】また、本実施の形態７では、高解像度符号
化信号ＨＥｇを復号化する高解像度復号化部１０７Ｈ
は、上記従来の階層画像復号化装置２００ｂの高解像度
符号化部２０１Ｈにおける復号化器３０に代えて、上記
アップサンプル器１０ｂの出力ＡＤｇだけでなく上記符
号化モード信号Ｍｇにも基づいて、入力された高解像度
符号化信号ＨＥｇの復号化処理を行う復号化器４０ｇを
有しており、その他の構成は従来の階層画像復号化装置
２００ｂと全く同一となっている。

【０１２２】この復号化器４０ｇは、上記高解像度符号
化信号ＨＥｇからモード符号化信号ＥＭｇを分離して抽
出する分離器６０と、該分離されたモード符号化信号Ｅ
Ｍｇを復号化するモード復号化器６１と、該モード符号
化信号ＥＭｇと分離された高解像度符号化信号ＳＨＥｇ
に対する復号化方法が異なる第１及び第２の復号化器６
３及び６４とを有している。

【０１２３】また、上記復号化器４０ｇは、上記モード
復号化器６１にて復号化された符号化モード信号ＤＭｇ
に基づいて、上記高解像度符号化信号ＳＨＥｇを上記第
１及び第２の復号化器６３及び６４のいずれか一方に供
給する前段スイッチ６２と、上記モード復号化器６１に
て復号化された符号化モード信号ＤＭｇに基づいて、上
記第１及び第２の復号化器６３及び６４のいずれかの出
力ＨＤｇ１あるいはＨＤｇ２を選択して高解像度復号化
信号ＨＤｇとして出力する後段スイッチ６５とを有して
いる。

【０１２４】ここで、上記第１の復号化器６３は、低解
像度復号化信号ＬＤｇをアップサンプルして得られる補
間信号ＡＤｇを参照して高解像度符号化信号ＨＥｇの復
号化処理を行う構成となっており、また第２の復号化器
６４は、上記補間信号ＡＤｇを参照せずに、高解像度符
号化信号ＨＥｇの復号化処理を行う構成となっている。

【０１２５】次に作用効果について説明する。本階層画
像復号化装置１０７に高解像度符号化信号ＨＥｇ及び低
解像度符号化信号ＬＥｇが入力されると、低解像度符号
化部１０７Ｌでは、上記符号化信号ＬＥｇに対する復号
化処理、逆ブロック化処理が順次行われ、該逆ブロック
化処理により統合された、所定の矩形領域に対応する低
解像度復号化信号ＬＩｇが領域合成器２１により、フレ
ームに対応するその他の画像信号と合成される。

【０１２６】この復号化処理の際には復号化器９ｇから
は低解像度復号化信号ＬＤｇとともに符号化モード信号
Ｍｇが出力され、該低解像度復号化信号ＬＤｇはアップ
サンプル器１０ｂにより補間されて、空間解像度が高解
像度復号化信号ＬＤｇと等しい補間復号化信号ＡＤｇに
変換される。

【０１２７】また、高解像度符号化部１０７Ｈでは、上
記高解像度符号化信号ＨＥｇに対する復号化器４０ｇに
よる復号化処理が、上記符号化モード信号Ｍｇ及び補間
復号化信号ＡＤｇに基づいて行われ、さらに復号化器４
０ｇの出力ＨＤｇに逆ブロック化器３１にて逆ブロック
化処理が施される。そして該逆ブロック化処理により統
合された、所定の矩形領域に対応する高解像度復号化信
号ＨＩｇが領域合成器３２により、フレームに対応する
その他の画像信号と合成される。

【０１２８】以下、上記復号化器４０ｇの詳細な動作に
ついて説明する。上記復号化器４０ｇでは、分離器６０
にて、高解像度符号化信号ＨＥｇは、符号化モードに対
応する符号部分ＥＭｇとその他の符号部分ＳＨＥｇとに
分離され、符号化モードに対応する符号部分ＥＭｇがモ
ード復号化器６１に出力され、その他の符号部分ＳＨＥ
ｇが前段スイッチ６２に出力される。このとき上記モー
ド復号化器６１では、低解像度ブロックの符号化モード
信号Ｍｇを参照して、高解像度ブロックに対応するモー
ド符号化信号が復号化される。上記各スイッチ６２及び
６５では、高解像度ブロックの、復号化された符号化モ
ード信号ＤＭｇを参照して、 第１の復号化器６３及び第
２の復号化器６４のいずれか一方が選択され、いずれか
の復号化器の出力ＨＤｇ１あるいはＨＤｇ２が復号化器
４０ｇの出力ＨＤｇとして出力される。

【０１２９】このように本実施の形態７では、高解像度
符号化信号ＬＥｇの復号化処理を、低解像度復号化信号
ＬＤｇをアップサンプルにより補間した補間復号化信号
ＡＤｇだけでなく、低解像度ブロックの符号化モード信
号Ｍｇにも基づいて行うようにしたので、図９に示す実
施の形態６の階層画像符号化装置１０６により符号化さ
れた高解像度符号化信号ＨＥｇが、復号化器４０ｇにて
符号化モード信号Ｍｇを参照して復号化されることとな
り、実施の形態６における符号化器１６ｆによる符号化
処理に対応した復号化処理を行うことができる。このた
め、 実施の形態６の階層画像符号化装置で符号化した低
解像度符号化信号ＬＥｇおよび高解像度符号化信号ＨＥ
ｇを正しく復号化することができる。

【０１３０】なお、上記実施の形態７では、低解像度ブ
ロックの符号化モードに応じて、高解像度符号化信号の
復号化方法及び高解像度符号化の符号化モードの復号化
方法を切り替えるようにしたが、上記高解像度符号化信
号の復号化方法及び高解像度ブロックの符号化モードの
復号化方法の一方のみを、低解像度ブロックの符号化モ
ードに応じて切り替えるようにしてもよい。

【０１３１】実施の形態８．図１１は、本発明の実施の
形態８による画像処理装置（階層画像符号化装置）を説
明するための図であり、図１１(a) はその全体構成を示
すブロック図、図１１(b) は、該階層画像符号化装置を
構成する符号化器の詳細な構成を示すブロック図であ
る。

【０１３２】この実施の形態８の階層画像符号化装置１
０８は、図９に示す実施の形態６の階層画像復号化装置
１０６における符号化器１６ｆに代えて、物体の形状に
応じて符号化方式を切り替える符号化器１６ｈを備えた
ものであり、その他の構成は、上記実施の形態６の階層
画像符号化装置１０６と同一である。

【０１３３】そして、この実施の形態８の符号化器１６
ｈは、ブロック化された高解像度符号化信号ＨＢｇを受
け、この画像信号に対応するブロック内に物体の境界が
含まれるか否かを判定して、判定結果に対応した判定信
号ＢＤを出力するとともに、該ブロック内に物体の境界
が含まれることを示す判定信号ＢＤ１を出力する境界判
定器７０と、上記高解像度符号化信号ＨＢｇ及び上記判
定信号ＢＤ１を受け、上記ブロック内に物体の境界が含
まれるときに、低解像度画像信号ＬＳｇを参照すべきか
否かを示す識別信号ＭＤ１を出力するモード判定器７５
とを有している。

【０１３４】また、上記符号化器１６ｈは、該判定信号
ＢＤ及び識別信号ＭＤ１を低解像度符号化信号ＬＥｇの
符号化モード信号Ｍｇに基づいて符号化してモード符号
化信号ＥＭｇを出力するモード符号化器７１と、高解像
度画像信号ＨＳｇに対する任意形状符号化処理の方法が
異なる第１及び第２の任意形状符号化器７３ａ及び７３
ｂと、高解像度画像信号ＨＳｇに対して固定形状符号化
処理を施す固定形状符号化器７４とを有している。

【０１３５】ここで、上記第１の任意形状符号化器７３
ａは、低解像度復号化信号Ｌｄｇをアップサンプルして
得られる補間信号ＬＡｇを参照して高解像度画像信号Ｈ
Ｓｇの任意形状符号化処理を行う構成となっており、上
記第２の任意形状符号化器７３ｂは、低解像度復号化信
号をアップサンプルして得られる補間信号ＬＡｇを参照
せずに高解像度画像信号ＨＳｇの任意形状符号化処理を
行う構成となっている。

【０１３６】また、上記符号化器１６ｈは、上記境界判
定器７０の出力ＢＤ及びモード判定器７５の出力ＭＤ１
に基づいて、上記高解像度画像信号ＨＳｇを、上記第
１，第２の任意形状符号化器７３ａ，７３ｂ、及び固定
形状符号化器７４のいずれかに供給する前段スイッチ５
２と、上記境界判定器７０の出力ＭＤ及びモード判定器
７５の出力ＭＤ１に基づいて、上記第１，第２の任意形
状符号化器７３ａ，７３ｂ，及び固定形状符号化器７４
のいずれかの出力を選択する後段スイッチ５５と、該後
段スイッチ５５の出力と上記モード符号化信号ＥＭｇと
を多重化する多重化器５６とを有している。

【０１３７】次に作用効果について説明する。物体の形
状情報を有する画像信号に対しては、物体の形状に応じ
て符号化方式を切換えることが有効である。すなわち、
高解像度ブロック内に物体境界が含まれる場合は、任意
形状符号化器７３ａあるいは７３ｂにより物体形状に応
じた任意形状符号化処理を行い、 該高解像度ブロックが
物体外部に位置する場合あるいは高解像度ブロックが物
体内部に位置する場合は、ブロック内の画像信号（固定
形状）を効率よく符号化できる固定形状復号化器７４で
符号化を行う。

【０１３８】また、低解像度ブロック内に物体境界が含
まれる場合は、対応する高解像度ブロック内にも物体境
界が含まれ、低解像度ブロックが物体内部または物体外
部に位置する場合は、対応する高解像度ブロックも物体
内部および物体外部に位置する確率が高い。従って、高
解像度ブロックに対する符号化処理を、低解像度ブロッ
クに対する符号化モード（つまり、低解像度ブロックと
物体の境界との位置関係）を参照して行うことが、符号
化効率を高める上で有効なものとなる。

【０１３９】以下詳述すると、図１２は、低解像度矩形
領域及び高解像度矩形領域が物体内部にあるか物体外部
にあるかを示す図である。図１２(a) は図２(a) に示す
低解像度矩形領域ＬＲを構成する各ブロックＬＭＢが物
体Ｌｏｂ内にあるか否かを示し、図１２(b) は図２(b)
に示す高解像度矩形領域ＨＲを構成する各ブロックＨＭ
Ｂ１が物体Ｈｏｂ内にあるか否かを示している。また、
第１２(c) は、図２(c) に示す補間矩形領域ＡＲを構成
するブロックＡＭＢが物体Ａｏｂ内にあるか否かを示
し、図１２(d) は、図６(d) に示す高解像度矩形領域Ｈ
Ｒを構成する各ブロックＨＭＢ２が物体Ｈｏｂ内にある
か否かを示している。ここでは、記号Ｉを付したブロッ
クは、物体内部に位置するブロックであり、記号Ｏを付
したブロックは、物体外部に位置するブロックであり、
記号ＩＯを付したブロックは、物体境界に位置するブロ
ックである。

【０１４０】図１２から明らかなように、低解像度画像
信号ＬＳｇを解像度変換した補間画像信号ＬＡｇに対応
する補間矩形領域ＡＲ（図１２(c) ）を、高解像度画像
信号ＨＳｇに対応する矩形領域ＨＲ（図１２(b) あるい
は図１２(d) ）と比較すると、低解像度ブロックＬＭＢ
が物体内部，物体外部，あるいは物体境界のいずれの位
置に位置するかの判定結果と、高解像度ブロックＨＭＢ
１あるいはＨＭＢ２が物体内部，物体外部，物体境界の
いずれの位置にあるかの判定結果との間に大きな相関が
ある。

【０１４１】そこで、境界判定器７０により、物体の境
界が高解像度ブロックに含まれるかどうかを判断し、高
解像度画像の境界の有無を示す符号化モード信号ＢＤ
を、低解像度画像の境界の有無を表す符号化モード信号
Ｍｇを参照してモード符号化器７１により符号化する
際、低解像度ブロックとこれに対応する高解像度ブロッ
クとの間で物体境界の有無が一致する場合に、上記高解
像度ブロックの符号化モード信号ＢＤ及びＢＤ１に短い
符号長の符号を割り当てることにより、符号化ビット数
を節約できる。

【０１４２】以下、上記符号化器１６ｈの具体的な動作
について簡単に説明する。上記符号化器１６ｈでは、境
界判定器７０により、ブロック化された高解像度画像信
号ＨＢｇに基づいて、該画像信号ＨＢｇに対して任意形
状符号化処理を施すか、あるいは固定形状符号化処理を
施すかが決定される。また、モード判定器７５では、境
界判定器７０からの判定結果に対応する判定信号ＢＤ
１、及びブロック化された高解像度画像信号ＨＢｇに基
づいて、低解像度復号化信号Ｌｄｇを補間して得られる
補間画像信号ＬＡｇを参照して高解像度画像信号ＨＢｇ
に対する任意形状符号化処理を行うか、該補間画像信号
ＬＡｇを参照せずに高解像度画像信号ＨＢｇに対する任
意形状符号化処理を行うかが決定される。

【０１４３】すると、上記各スイッチ５２及び５５で
は、上記各判定器７０及び７５での判定結果に応じて、
上記第１，第２の任意形状符号化器７３ａ，７３ｂ、及
び固定形状符号化器７４のいずれかが選択される。これ
により、上記高解像度画像信号ＨＢｇは、選択された符
号化器７３ａ，７３ｂ，あるいは７４にて符号化されて
多重化器５６に出力される。

【０１４４】またこのとき、上記モード符号化器７１で
は、上記境界判定器７０の判定信号ＢＤ及びモード判定
器７５の判定信号ＭＤ１の符号化処理が、低解像度ブロ
ックの符号化モードＭｇに基づいて行われており、上記
多重化器５６には上記スイッチ５６の出力ＳＨＥｇと上
記モード符号化器７１の出力ＥＭｇとが多重化されて、
高解像度符号化信号ＨＥｇとして出力される。

【０１４５】このように本実施の形態８では、符号化器
１６ｈにて、低解像度ブロックの符号化モードＭｇを参
照して高解像度ブロックの符号化モードを符号化するの
で、符号化モードの符号化に必要なビット数を削減する
ことができる。

【０１４６】また、高解像度ブロックと物体との位置関
係を判定し、かつ高解像度ブロックに対する符号化処理
の方法を判定して、これらの判定結果に応じて、低解像
度画像信号を参照した任意形状符号化処理，低解像度画
像信号を参照しない任意形状符号化処理，及び固定形状
符号化処理のいずれかを、高解像度画像信号に施すよう
にしたので、より一層符号化効率の高い階層符号化処理
を行うことができる。

【０１４７】なお、上記実施の形態８では、低解像度ブ
ロックの符号化モードに応じて、高解像度画像信号の符
号化方法を切り替えるとともに、高解像度ブロックの符
号化モードの符号化方法を切り替える構成を示したが、
低解像度ブロックの符号化モードに応じて、高解像度画
像信号の符号化方法及び高解像度ブロックの符号化方法
の一方のみを切り替えるようにしてもよい。

【０１４８】実施の形態９．図１３は本発明の実施の形
態９による画像処理装置（階層画像復号化装置）を説明
するための図であり、図１３(a) は、その全体構成を示
すブロック図、図１３(b) は、該階層画像復号化装置を
構成する復号化器の詳細な構成を示すブロック図であ
る。

【０１４９】この実施の形態９の階層画像復号化装置１
０９は、図１１に示す実施の形態８の階層画像符号化装
置１０８により符号化した低解像度符号化信号及び高解
像度符号化信号を復号化するものであり、図１０に示す
実施の形態７の階層画像符号化装置１０７における復号
化器４０ｇに代えて、復号化した符号化モード信号に応
じて復号化方式を切り替える復号化器４０ｉを備えてい
る。そしてこの階層画像符号化装置１０９におけるその
他の構成は、上記実施の形態７の階層画像符号化装置１
０７と同一である。

【０１５０】そして、この実施の形態９の復号化器４０
ｉは、上記高解像度符号化信号ＨＥｇからモード符号化
信号ＥＭｇを分離して抽出する分離器６０と、該分離さ
れたモード符号化信号ＥＭｇを、低解像度画像信号の符
号化モード信号Ｍｇを参照して復号化するモード復号化
器７５ａと、高解像度符号化信号ＨＳｇに対する復号化
方法が異なる第１及び第２の任意形状復号化器７６ａ及
び７６ｂと、固定形状復号化器７７とを有している。こ
こで、上記第１の任意形状復号化器７６ａは、低解像度
復号化信号をアップサンプルした補間信号を参照して高
解像度符号化信号の復号化処理を行う構成となってお
り、上記第２の任意形状復号化器７６ｂは、低解像度復
号化信号をアップサンプルした補間信号を参照せずに、
高解像度符号化信号の復号化処理を行う構成となってい
る。

【０１５１】また、上記復号化器４０ｉは、上記モード
復号化器７５ａにて復号化された符号化モード信号ＤＭ
ｇに基づいて、上記高解像度符号化信号ＨＥｇを上記第
１，第２の任意形状復号化器７６ａ，７６ｂ及び固定形
状復号化器７７のいずれかに供給する前段スイッチ６２
と、上記モード復号化器７５ａにて復号化された符号化
モード信号ＤＭｇに基づいて、上記第１，第２の任意形
状復号化器７６ａ，７６ｂ及び固定形状復号化器７７の
いずれかの出力を選択して高解像度復号化信号ＨＤｇと
して出力する後段スイッチ６５とを有している。

【０１５２】次に作用効果について説明する。本実施の
形態９の階層画像復号化装置１０９では、復号化器４０
ｉ以外の動作は、上記実施の形態７の階層画像復号化装
置１０７と全く同一であるので、以下には復号化器４０
ｉの動作についてのみ説明する。

【０１５３】上記復号化器４０ｉのモード復号化器７５
ａでは、低解像度画像の符号化モード信号Ｍｇ（即ち物
体の内であるか外部であるか）を参照して高解像度画像
のモード符号化信号ＥＭｇを復号化する。上記前段スイ
ッチ６２及び後段スイッチ６５では、復号化した高解像
度画像の符号化モードに応じて上記３つの復号化器のい
ずれか１つを選択することとなる。

【０１５４】これにより任意形状符号化された画像符号
化信号は、第１あるいは第２の任意形状復号化器７６に
より復号化され、固定形状符号化された画像信号は固定
形状復号化器７７により復号化される。

【０１５５】このようにして、上記実施の形態８の階層
画像符号化装置１０８により物体の形状に応じて符号化
された符号化信号を、正しく復号化することができる。

【０１５６】実施の形態１０．図１４は、本発明の実施
の形態１０による画像符号化装置（階層画像符号化装
置）を説明するための図であり、図１４(a) はその全体
構成を示すブロック図、図１４(b) は、該階層画像符号
化装置を構成する符号化器の詳細な構成を示すブロック
図である。

【０１５７】この実施の形態１０の階層画像符号化装置
１１０は、図９に示す実施の形態６の階層画像符号化装
置１０６における符号化器１６ｆに代えて、画素値の相
関の大きい走査方向に応じて符号化方式を切り替える符
号化器１６ｊを備えたものであり、その他の構成は、上
記実施の形態６の階層画像符号化装置１０６と同一であ
る。

【０１５８】上記符号化器１６ｊは、ブロック化された
高解像度符号化信号ＨＢｇを受け、各ブロックにおける
画像値の相関の大きい走査方向を判定する走査方向判定
器８０と、該判定結果を示す信号ＳＤを、低解像度符号
化信号ＬＥｇに対する、画素値の相関の大きい走査方向
を示すモード信号Ｍｇに基づいて符号化してモード符号
化信号ＥＭｇを出力するモード符号化器８１と、高解像
度画像信号ＨＳｇに対して水平走査符号化処理を行う水
平走査符号化器８３と、上記高解像度画像信号ＨＳｇに
対して垂直方向符号化処理を行う垂直方向符号化器８４
とを有している。

【０１５９】また、上記符号化器１６ｊは、上記走査方
向判定器８０の出力ＳＤに基づいて、上記高解像度画像
信号ＨＳｇを、上記水平走査符号化器８３及び垂直走査
符号化器８４のいずれかに供給する前段スイッチ５２
と、上記走査方向判定器８０の出力ＳＤに基づいて、上
記水平走査符号化器８３及び垂直走査符号化器８４のい
ずれかの出力を選択する後段スイッチ５５と、該後段ス
イッチ５５の出力と上記モード符号化信号ＥＭｇとを多
重化する多重化器５６とを有している。

【０１６０】次に作用効果について説明する。この実施
の形態１０の階層画像符号化装置では、符号化器１６ｊ
以外の動作は実施の形態６の階層画像符号化装置１０６
と全く同様に行われるため、符号化器１６ｊに関する動
作についてのみ説明する。

【０１６１】画像信号を走査線方向に符号化する符号化
方式の場合は、 走査方向によって符号化効率が変化す
る。即ち、 画素値の水平方向の相関が大きい画像信号で
は水平走査方向に沿って順次各画素の画素値を符号化す
ることにより、水平方向の相関を有効に利用した符号化
が可能であり、 また画素値の垂直方向の相関が大きい画
像信号では垂直走査方向に沿って順次各画素の画素値を
符号化することにより、画素値の垂直方向の相関を有効
に利用した符号化が可能である。

【０１６２】そこで、この実施の形態１０の階層画像符
号化装置１１０における符号化器１６ｊでは、走査方向
判定器８０により画素値の相関の大きい走査方向を判定
し、その判定結果に基づいて水平走査符号化器８３と垂
直走査符号化器８４のいずれかをスイッチ５２及び５５
により選択し、該選択した符号化器により、高解像度画
像信号に対する符号化処理を行うようにしている。これ
により階層符号化処理における符号化効率を向上するこ
とができる。

【０１６３】また、高解像度画像は、低解像度画像との
間で画素値に関する相関が大きいものであるので、 低解
像度画像における画素値の相関の大きい走査方向と、高
解像度画像における画素値の相関の大きい走査方向との
間にも相関がある。

【０１６４】そこで、本実施の形態１０では、走査方向
判定器８０により判定した、高解像度画像における画素
値の相関の大きい走査方向を示す符号化モード信号を、
低解像度画像における画素値の相関の大きい走査方向を
表す符号化モード信号Ｍｇを参照してモード符号化器８
１で符号化する際に、低解像度画像と高解像度画像との
間で画素値の相関の大きい走査方向が一致する場合に、
上記高解像度画像信号に対応する符号化モード信号に短
い符号長の符号を割り当てるようにしている。これによ
り、符号化モード信号の符号化に必要な符号化ビット数
を一層節約できる。

【０１６５】実施の形態１１．図１５は本発明の実施の
形態１１による画像処理装置（階層画像復号化装置）を
説明するための図であり、図１５(a) は、その全体構成
を示すブロック図、図１５(b) は、該階層画像復号化装
置を構成する復号化器の詳細な構成を示すブロック図で
ある。

【０１６６】この実施の形態１１の階層画像復号化装置
１１１は、図１４に示す実施の形態１０の階層画像符号
化装置１１０により符号化した低解像度符号化信号及び
高解像度符号化信号を復号化するものであり、上記実施
の形態７における復号化器４０ｇに代えて、復号化した
符号化モード信号に応じて復号化方式を切り替える復号
化器４０ｋを備えている。そして、この階層画像符号化
装置１１０におけるその他の構成は、図１０に示す実施
の形態７の階層画像符号化装置１０７と同一である。

【０１６７】そして、この実施の形態１１の復号化器４
０ｋは、上記高解像度符号化信号ＨＥｇからモード符号
化信号ＥＭｇを分離して抽出する分離器６０と、該分離
されたモード符号化信号ＥＭｇを復号化するモード復号
化器８５と、高解像度符号化信号ＨＳｇに対して水平走
査復号化処理を行う水平走査復号化器８６と、高解像度
符号化信号ＨＳｇに対して垂直走査復号化処理を行う垂
直走査復号化器８７とを有している。

【０１６８】また、上記復号化器４０ｋは、上記モード
復号化器８５にて復号化された符号化モード信号ＤＭｇ
に基づいて、上記高解像度符号化信号ＨＥｇを上記水平
走査復号化器８６及び垂直走査復号化器８７のいずれか
に供給する前段スイッチ６２と、上記モード復号化器８
５にて復号化された符号化モード信号ＤＭｇに基づい
て、上記水平走査復号化器８６及び垂直走査復号化器８
７のいずれかの出力を選択して高解像度復号化信号ＨＤ
ｇとして出力する後段スイッチ６５とを有している。

【０１６９】次に作用効果について説明する。この実施
の形態１１の階層画像復号化装置１１１では、復号化器
４０ｋ以外の動作は、上記実施の形態７の階層画像復号
化装置１０７と全く同様に行われるため、復号化器４０
ｋの動作についてのみ説明する。

【０１７０】上記復号化器４０ｋのモード復号化器８５
では、低解像度画像の符号化モードＭｇ（即ち、画素値
の相関の大きい走査方向）を参照して高解像度画像のモ
ード符号化信号ＥＭｇを復号化する。復号化した高解像
度画像の符号化モード信号（画素値の相関の大きい走査
方向を示す信号）ＤＭｇに応じてスイッチ６２及びスイ
ッチ６５を切換えることにより、水平走査符号化処理さ
れた画像信号は水平走査復号化器８６で復号化され、垂
直走査符号化処理された画像信号は垂直走査復号化器８
７で復号化される。

【０１７１】このように本実施の形態１１では、物体の
形状に応じて水平走査符号化処理あるいは垂直走査符号
化処理が施された符号化信号を、正しく復号化すること
ができる。

【０１７２】実施の形態１２．図１６は、本発明の実施
の形態１２による画像処理装置（階層画像符号化装置）
を説明するための図であり、図１６(a) はその全体構成
を示すブロック図、図１６(b) は、該階層画像符号化装
置を構成する符号化器１６ｍの詳細な構成を示すブロッ
ク図、図１６(c) は、該符号化器１６ｍを構成する第２
の符号化器５４ｍの具体的な構成を示すブロック図であ
る。

【０１７３】この実施の形態１２の階層画像符号化装置
１１２は、上記実施の形態６における符号化器１６ｆに
代えて、低解像度画像の動きベクトルを参照して高解像
度画像信号の符号化を行う符号化器１６ｍを備えたもの
であり、その他の構成は、図９に示す実施の形態６の階
層画像符号化装置１０６と同一である。

【０１７４】この符号化器１６ｍは、上記実施の形態６
の符号化器１６ｆにおける第２の符号化器５４を、必要
に応じて画面間予測符号化を行う構成としたものであ
り、その他の構成は、上記符号化器１６ｆと同一であ
る。

【０１７５】すなわち、この実施の形態における符号化
器１６ｍを構成する第２の符号化器５４ｍは、予測信号
Ｐｃに基づいて高解像度画像信号ＨＢｇを符号化して高
解像度符号化信号ＨＥｇを出力する符号化器９２と、上
記予測信号Ｐｃに基づいて高解像度符号化信号ＨＥｇを
復号化して高解像度局所復号化信号Ｈｄｇを出力する局
所復号化器９３と、該高解像度局所復号化信号Ｈｄｇを
記憶するメモリ９４とを有している。また、上記第２の
符号化器５４ｍは、上記高解像度画像信号ＨＢｇを受
け、上記メモリ９４に記憶された高解像度局所復号化信
号Ｈｄｇ、及び低解像度画像の符号化モードＭｇとして
の動きベクトルＬＭＶを参照して、高解像度画像に対応
する動きベクトルＨＭＶを検出する動き検出器９０と、
該動きベクトルＨＭＶに基づいて、上記メモリ９４から
上記予測信号Ｐｃを抽出する動き補償器９１と、上記高
解像度画像の動きベクトルＨＭＶを、低解像度画像の動
きベクトルＬＭＶに基づいて符号化して動きベクトル符
号化信号ＨＭＶｃを出力する動き符号化器９５と、該動
きベクトル符号化信号ＨＭＶｃと上記高解像度符号化信
号ＨＥｇとを多重化して出力する多重化器５６ｍとを有
している。

【０１７６】次に作用効果について説明する。この実施
の形態１２の階層画像符号化装置１１２では、符号化器
１６ｍ以外の動作は実施の形態６の階層画像符号化装置
１０６と全く同様に行われるため、符号化器１６ｍに関
する動作についてのみ説明する。

【０１７７】画像信号は時間方向の相関，つまり前後の
フレーム間での画素値の相関があるので、動きベクトル
を用いて動き補償することにより、符号化効率が向上す
ることが知られている。

【０１７８】上記符号化器１６ｍの動き検出器９０で
は、メモリ９４に記憶された復号化済画像信号Ｈｄｇ及
びブロック化された高解像度画像信号ＨＢｇに基づいて
高解像度画像の動きベクトルＨＭＶが検出され、 動き補
償器９１では、検出した高解像度画像の動きベクトルＨ
ＭＶに基づいて動き補償画像（予測信号）Ｐｃが生成さ
れる。

【０１７９】そして符号化器９２では、動き補償画像Ｐ
ｃを参照して高解像度画像のブロック化画像信号ＨＢｇ
に対する符号化処理が行われる。この処理により得られ
る高解像度符号化信号ＨＥｇは復号化器９３により復号
化されて、高解像度局所復号化信号Ｈｄｇとしてメモリ
９４に記憶される。

【０１８０】また、高解像度画像と低解像度画像との間
では画素値の相関が大きいので、 低解像度画像の動きベ
クトルＬＭＶと高解像度画像の動きベクトルＨＭＶとの
間にもベクトル値の相関がある。

【０１８１】そこで、動き符号化器９５では、低解像度
画像の動きベクトルＬＭＶに相当する符号化モード信号
Ｍｇを参照して、動き検出器９０にて検出した高解像度
画像の動きベクトルＨＭＶを符号化する際に、低解像度
画像と高解像度画像との間で動きベクトルが一致する場
合に、該高解像度画像の動きベクトルＨＭＶに短い符号
長の符号を割り当てるようにしている。これにより、高
解像度画像の動きベクトルの符号化に要する符号化ビッ
ト数を節約できる。

【０１８２】実施の形態１３．図１７は、本発明の実施
の形態１３による画像処理装置（階層画像復号化装置）
を説明するための図であり、図１７(a) はその全体構成
を示すブロック図、図１７(b) は、該階層画像復号化装
置を構成する復号化器４０ｎの詳細な構成を示すブロッ
ク図、図１７(c) は、該復号化器４０ｎを構成する第２
の復号化器６４ｎの具体的な構成を示すブロック図であ
る。

【０１８３】この実施の形態１３の階層画像復号化装置
１１３は、図１６に示す実施の形態１２の階層画像符号
化装置１１２により符号化された符号化信号を階層復号
化するものである。この階層画像復号化装置１１３は、
図１０に示す実施の形態７における復号化器４０ｇに代
えて、低解像度画像の動きベクトルを参照して高解像度
符号化信号の復号化を行う復号化器４０ｎを備えたもの
であり、その他の構成は、図１０に示す実施の形態７の
階層画像復号化装置１０７と同一である。

【０１８４】また、上記復号化器４０ｎを構成する復号
化器６４ｎは、上記実施の形態７の復号化器１０７にお
ける第２の復号化器６４を、必要に応じて画面間予測復
号化を行う構成としたものであり、その他の構成は上記
実施の形態７の復号化器４０ｇと同一である。

【０１８５】すなわち、この実施の形態における復号化
器４０ｎを構成する第２の復号化器６４ｎは、予測信号
Ｐｄに基づいて高解像度符号化信号ＨＥｇを復号化して
高解像度復号化信号ＨＤｇ２を出力する復号化器９３ｂ
と、該高解像度復号化信号Ｈｄｇ２を記憶するメモリ９
４ｂとを有している。また、上記第２の復号化器６４ｎ
は、低解像度画像の符号化モード（動きベクトル）ＬＭ
Ｖを参照して、分離されたモード符号化信号ＥＭｇに対
する復号化処理を施して、高解像度画像の動きベクトル
ＨＭＶを再生する動き復号化器９６と、該再生動きベク
トルＨＭＶに基づいて、メモリ９４ｂに記憶された高解
像度復号化信号ＨＤｇ２から予測信号Ｐｄを抽出する動
き補償器９１ｂとを有している。

【０１８６】次に動作について説明する。この実施の形
態１３の階層画像復号化装置１１３では、復号化器４０
ｎ以外の動作は、上記実施の形態７の階層画像復号化装
置１０７と全く同様に行われるため、復号化器４０ｎに
関する動作についてのみ説明する。

【０１８７】上記復号化器４０ｎにおける分離器６０で
は、高解像度符号化信号ＨＥｇからモード情報（動きベ
クトル情報）ＥＭｇに対応する符号部分が分離される。

【０１８８】そして、該モード情報ＥＭｇ及び高解像度
符号化信号ＨＥｇが上記復号化器４０ｎを構成する第２
の復号化器６４ｎに供給されると、該復号化器６４ｎで
は、動き復号化器９６により、低解像度画像の符号化モ
ードＭｇ（即ち動きベクトルＬＭＶ）を参照して、分離
器６０で分離したモード情報の符号から高解像度画像の
動きベクトルＨＭＶが復号化され、この動きベクトルＨ
ＭＶが動き補償器９１ｂに供給される。

【０１８９】すると、上記動き補償器９１ｂではメモリ
９４ｂに記憶された復号化済高解像度画像信号Ｐｄを参
照して動き補償が行われ、復号化器９３ｂでは、動き補
償器９１ｂの出力Ｐｄを参照して、高解像度符号化信号
ＨＥｇのモード情報以外の符号部分が復号化され、高解
像度復号化信号ＨＤｇ２が出力される。この復号化信号
ＨＤｇ２は、メモリ９４ｂに記憶され、 後続のブロック
の復号化処理の際に参照される。このように本実施の形
態１３では、実施の形態１２の階層画像符号化装置１１
２にて低解像度画像の動きベクトルＬＭＶを参照して符
号化された高解像度符号化信号ＨＥｇを正しく復号化す
ることができる。

【０１９０】実施の形態１４．図１８は、本発明の実施
の形態１４による画像処理装置（階層画像符号化装置）
を説明するための図であり、図１８(a) はその全体構成
を示すブロック図、図１８(b) は、該階層画像符号化装
置を構成する符号化器１６ｐの詳細な構成を示すブロッ
ク図、図１８(c) は、該符号化器１６ｐを構成する第２
の符号化器５４ｐの具体的な構成を示すブロック図であ
る。

【０１９１】この実施の形態１４の階層画像符号化装置
１１４は、図９に示す実施の形態６における符号化器１
６ｆに代えて、低解像度画像の動きベクトル及び符号化
済の高解像度画像の動きベクトルから予測した予測ベク
トルを参照して、高解像度画像信号の符号化を行う符号
化器１６ｐを備えたものであり、その他の構成は、上記
実施の形態６の階層画像符号化装置１０６と同一であ
る。

【０１９２】この符号化器１６ｐは、上記実施の形態６
の符号化器１６ｆにおける第２の符号化器５４を、必要
に応じて画面間予測符号化を行う構成としたものであ
り、その他の構成は上記符号化器１６ｆと同一である。

【０１９３】すなわち、この実施の形態１４における符
号化器１６ｐを構成する第２の符号化器５４ｐは、図１
６に示す実施の形態１２における符号化器１６ｍを構成
する第２の符号化器５４ｍの構成に加えて、低解像度画
像に対応する動きベクトルの符号化信号と、符号化済の
高解像度画像に対応する動きベクトルの符号化信号とに
基づいて、予測動きベクトルＰＭＶを生成する動きベク
トル予測器９７を備えたものであり、その他の構成は上
記実施の形態１２における符号化器１６ｍを構成する第
２の符号化器５４ｍと同一である。

【０１９４】次に作用効果について説明する。この実施
の形態１４における第２の符号化器５４ｐと、実施の形
態１２の第２の符号化器５４ｍとの違いは、図１６に示
す実施の形態１２の符号化器５４ｍでは、低解像度画像
の動きベクトルを参照して、高解像度画像の動きベクト
ルを符号化するのに対し、 図１８に示す実施の形態１４
の符号化器５４ｐでは、低解像度の画像の動きベクトル
と符号化済の高解像度画像の動きベクトルから予測生成
した動きベクトルを参照して、高解像度画像の動きベク
トルを符号化する点である。

【０１９５】図１９は動きベクトルの参照に関する説明
図である。図１９(a) は低解像度画像の動きベクトルＬ
ＭＶ、図１９(b) は高解像度画像の動きベクトルＨＭ
Ｖ、図１９(c) は低解像度画像を解像度変換した補間動
きベクトルＡＭＶを示す。

【０１９６】詳述すると、図１９(d) に示す高解像度画
像に対する被符号化ブロックＢｘの動きベクトルを、同
じ空間位置の低解像度画像の動きベクトルＬＭＶ（図１
９(a) 参照）から得られる補間動きベクトルＡＭＶ（図
１９(c) 参照）と、符号化済高解像度画像の動きベクト
ルＭＭＶ１〜ＨＭＶ３（図１９(b) 参照）とから予測生
成する。これにより、単純に同じ空間位置の低解像度画
像の動きベクトルのみを参照して、高解像度画像の動き
ベクトルを符号化する場合より、動きベクトルの符号化
効率を向上できる。そこで、動き予測器９７では、動き
符号化器９５で符号化した、高解像度画像の動きベクト
ルＨＭＶ（ＨＭＶ１〜ＨＭＶ３）の符号化信号ＨＥｍｖ
と、低解像度画像の動きベクトルの符号化信号Ｍｇ（Ｌ
Ｅｍｖ）とを参照して高解像度画像の動きベクトルの予
測値ＰＭＶを生成し、 動き符号化器９５では、予測生成
した動きベクトルＰＭＶを参照して、動き検出器９０で
検出した高解像度画像の動きベクトルＨＭＶを符号化す
る。なお、上記動き符号化器９５で符号化された予測動
きベクトルＰＥｍｖは、多重化器５６ｍにて、符号化器
９２の出力である高解像度符号化信号と多重化されて、
第２の符号化器５４ｐの出力ＨＤｇ２として出力され
る。

【０１９７】このように本実施の形態１４では、低解像
度画像の動きベクトルと高解像度画像の動きベクトルか
ら予測生成した予測動きベクトルを参照して、高解像度
画像の動きベクトルを符号化するので、上記実施の形態
１２に比べて、高解像度画像の動きベクトルに対する符
号化ビット数をより大きく節約できる。

【０１９８】なお、上記実施の形態１２，１４では、動
き検出器９０により、メモリ９４に記憶された局所復号
化信号から、符号化処理の対象となっている対象高解像
度ブロックに対応する予測信号（予測領域）を抽出する
際には、低解像度画像の動きベクトルにできるだけ近い
値を持つ動きベクトルが高解像度画像の動きベクトルと
して選択されるようにする、つまり上記対象高解像度ブ
ロックからできるだけ近い予測領域が選択されるように
することにより、動き符号化器９５の符号化ビット数を
より削減することができる。

【０１９９】また、上記実施の形態１２，１４では、低
解像度画像の符号化モードに応じて、高解像度画像信号
の符号化方法及び高解像度画像信号の符号化モードの符
号化方法を切り替えるようにしているが、低解像度画像
の符号化モードに応じて、高解像度画像信号の符号化方
法とその符号化モードの符号化方法の一方のみを切り替
えるようにしてもよい。

【０２００】実施の形態１５．図２０は、本発明の実施
の形態１５による画像処理装置（階層画像復号化装置）
を説明するための図であり、図２０(a) はその全体構成
を示すブロック図、図２０(b) は、該階層画像復号化装
置を構成する復号化器４０ｑの詳細な構成を示すブロッ
ク図、図２０(c) は、該復号化器４０ｑを構成する第２
の復号化器６４ｑの具体的な構成を示すブロック図であ
る。

【０２０１】この実施の形態１５の階層画像復号化装置
１１５は、図１８に示す実施の形態１４の階層画像符号
化装置１１４により符号化された符号化信号を階層復号
化するものである。この階層画像復号化装置１１５は、
図１０に示す実施の形態７における符号化器４０ｇに代
えて、低解像度画像の動きベクトル及び符号化済の高解
像度画像の動きベクトルから予測した予測ベクトルを参
照して、高解像度画像信号の復号化を行う復号化器４０
ｑを備えたものであり、その他の構成は、上記実施の形
態７の階層画像復号化装置１０７と同一である。

【０２０２】この復号化器４０ｑは、上記実施の形態７
の復号化器４０ｇにおける第２の符号化器６４を、必要
に応じて画面間予測符号化を行う構成としたものであ
り、その他の構成は上記復号化器４０ｇと同一である。

【０２０３】すなわち、この実施の形態における復号化
器４０ｑを構成する第２の復号化器６４ｑは、図１７に
示す実施の形態１３における第２の復号化器６４ｎの構
成に加えて、低解像度画像に対応する動きベクトルＬＭ
Ｖと、符号化済の高解像度画像に対応する動きベクトル
ＨＭＶとに基づいて、予測動きベクトルＰＭＶを生成す
る動きベクトル予測器９８を備えたものであり、その他
の構成は上記実施の形態１３における第２の復号化器６
４ｎと同一である。

【０２０４】次に作用効果について説明する。この実施
の形態１５の階層画像復号化装置１１５では、復号化器
４０ｑにおける第２の復号化器６４ｑ以外の動作は、上
記実施の形態１３の階層画像復号化装置１１３と全く同
様に行われるため、復号化器４０ｑにおける第２の復号
化器６４ｑに関する動作についてのみ説明する。

【０２０５】上記第２の復号化器６４ｑにおける動き予
測器９８では、動き復号化器９６で復号化した高解像度
画像の動きベクトルＨＭＶと、モード復号化器６１から
供給される低解像度画像の動きベクトルＬＭＶ（ＤＭ
ｇ）を参照して、高解像度画像ブロックの動きベクトル
の予測値ＰＭＶが生成される。すると、 動き復号化器９
６では、上記予測生成した動きベクトルＰＭＶを参照し
て、高解像度画像に対する動きベクトルの符号化信号Ｅ
Ｍｇが復号化される。その他の動作は図１７の実施の形
態１３の階層画像復号化装置１１３と同じである。この
ようにして本実施の形態１５では、符号化済の高解像度
画像の動きベクトルと低解像度画像の動きベクトルとを
参照して符号化された動きベクトル符号化信号を正しく
復号化できる。

【０２０６】なお、上記各実施の形態で示した画像符号
化処理および画像復号化処理を実現するための符号化あ
るいは復号化プログラムを、フロッピーディスク等のデ
ータ記録媒体に記録するようにすることにより、上記各
実施の形態で示した処理を、独立したコンピュータシス
テムにおいて簡単に実施することが可能となる。

【０２０７】図２１は、上記各実施の形態の画像処理装
置による階層画像符号化処理、あるいは階層画像復号化
処理を、これらの画像処理に対応したプログラムを格納
したフロッピーディスクを用いて、コンピュータシステ
ムにより実施する場合を説明するための図である。

【０２０８】図２１(b) は、フロッピーディスクＦＤの
正面からみた外観、断面構造、及び記録媒体であるフロ
ッピーディスク本体を示し、図２１(a) は、フロッピー
ディスク本体Ｄの物理フォーマットの例を示している。
フロッピーディスク本体ＤはケースＦ内に内蔵され、該
ディスク本体Ｄの表面には、同心円状に外周から内周に
向かって複数のトラックＴｒが形成され、各トラックは
角度方向に１６のセクタＳｅに分割されている。従っ
て、上記プログラムを格納したフロッピーディスク本体
Ｄでは、上記フロッピーディスク本体Ｄ上に割り当てら
れた領域に、上記プログラムとしてのデータが記録され
ている。

【０２０９】また、図２１(c) は、フロッピーディスク
ＦＤに対する上記プログラムの記録再生を行うための構
成を示す。上記プログラムをフロッピーディスクＦＤに
記録する場合は、コンピュータシステムＣｓから上記プ
ログラムとしてのデータをフロッピーディスクドライブ
ＦDDを介してフロッピディスクＦＤに書き込む。また、
フロッピーディスクＦＤ内のプログラムにより上記復号
化方法をコンピュータシステムＣｓ中に構築する場合
は、フロッピーディスクドライブＦDDによりプログラム
をフロッピーディスクＦＤから読み出し、コンピュータ
システムＣｓに転送する。

【０２１０】なお、上記説明では、データ記録媒体とし
てフロッピーディスクを用いたコンピュータシステムに
よる画像処理の説明を行ったが、この画像処理は、光デ
ィスクを用いても同様に行うことができる。また、記録
媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、
プログラムを記録できるものであれば同様に上記画像処
理を実施することができる。

【０２１１】また、実施の形態６、実施の形態８および
実施の形態１０の符号化器では、モード判定器５０（図
９(b) 参照）、境界判定器７０（図１１(b) 参照）およ
び走査方向判定器８０（図１４(b) 参照）は、符号化処
理前に、外部から入力される高解像度画像信号に基づい
て符号化方式を判定する構成としているが、これらの判
定器は、複数の符号化方式で符号化した結果（符号化信
号）を比較して、符号化方式，つまり符号化モードを決
定するようにしてもよい。

【０２１２】

【発明の効果】以上のようにこの発明（請求項１）に係
る画像処理方法によれば、高解像度画像信号の符号化処
理の際には、低解像度画像空間にて、符号化処理の対象
となる対象高解像度ブロックの空間位置と相関のある空
間位置に位置する低解像度ブロックの画像信号が参照さ
れることとなり、物体の形状情報を有する画像信号に対
する階層符号化処理を、符号化効率の劣化を招くことな
く行うことができる。

【０２１３】この発明（請求項２）によれば、請求項１
記載の画像処理方法において、上記高解像度画像空間を
構成する個々の画素を、上記低解像度画像空間の解像度
変換により得られる、空間解像度が上記高解像度画像空
間と等しい解像度変換画像空間における個々の画素と一
対一に対応させたので、高解像度ブロックにおける複数
の画素がすべて、低解像度ブロックを解像度変換した解
像度変換ブロックにおける所定の画素に対応することと
なり、これにより、階層符号化処理における符号化効率
をより高めることができる。

【０２１４】この発明( 請求項３) によれば、請求項１
記載の画像処理方法において、上記参照低解像度ブロッ
クを構成する画素の数と、上記対象高解像度ブロックを
構成する画素の数とを一致させたので、高解像度画像信
号と低解像度画像信号の間でブロック化器及び符号化器
を共用することが可能となり、回路構成のコンパクト化
を図ることができる。

【０２１５】この発明（請求項４）によれば、請求項１
記載の画像処理方法において、対象高解像度ブロックの
空間位置と参照低解像度ブロックの空間位置とが一致す
るため、高解像度ブロックを構成する各画素の画素値
と、低解像度ブロックを構成する各画素の画素値との差
分が不必要に大きくなることがなく、階層符号化処理を
高い符号化効率でもって行うことができる。

【０２１６】この発明（請求項５）によれば、請求項１
記載の画像処理方法において、上記参照低解像度ブロッ
クに対する、符号化処理方法を識別するための符号化モ
ードに応じて、上記対象高解像度ブロックに対する、符
号化処理方法を識別するための符号化モードを示すモー
ド信号の符号化方式を切換えるので、低解像度ブロック
に対する符号化モードに一致する高解像度ブロックに対
する符号化モードに短い符号を割り当てることにより、
高解像度画像信号の符号化モードを示すモード信号の符
号化処理における符号化ビット数を削減することができ
る。

【０２１７】この発明（請求項６）によれば、請求項５
記載の画像処理方法において、上記符号化モードを、画
像空間上に表示される物体の形状の境界が上記対象高解
像度ブロック内に含まれるか否かを示す符号化モードと
したので、高解像度ブロックと物体の位置関係と、低解
像度ブロックと物体の位置関係とが一致する場合に、高
解像度画像信号の符号化モードを示すモード信号に短い
符号を割り当てることにより、該符号化モード信号の符
号化に必要な符号化ビット数を削減することができる。

【０２１８】この発明（請求項７）によれば、請求項５
記載の画像処理方法において、上記符号化モードを、上
記参照低解像度ブロックに対応する画像信号を画素毎に
順次符号化する符号化処理が、水平走査方向と垂直走査
方向のいずれの走査方向に沿って行われているかを示す
符号化モードとしたので、高解像度画像信号がこれを構
成する画素値の相関が大きい走査方向に沿って符号化さ
れることとなり、このため、低解像度画像信号と高解像
度画像信号との間で、画素値の相関が大きい走査方向が
一致する場合に、高解像度画像信号の符号化モードを示
すモード信号に短い符号を割り当てることにより、該符
号化モード信号の符号化に必要な符号化ビット数を削減
することができる。

【０２１９】この発明（請求項８）によれば、請求項１
記載の画像処理方法において、上記参照低解像度ブロッ
クに対応する、上記低解像度画像空間での物体の動きを
示す動き情報を参照して、上記対象高解像度ブロックに
対応する、上記高解像度画像空間での物体の動きを示す
動き情報の符号化方法を切換えるので、高解像度画像信
号と低解像度画像信号との間には画素値に関する大きな
相関があることから、高解像度ブロックとこれに対応す
る低解像度ブロックとの間で動きベクトルが一致する場
合に、高解像度画像信号の動きベクトル（符号化モー
ド）を示すモード信号に短い符号を割り当てることによ
り、動きベクトルの符号化に必要な符号化ビット数を削
減することができる。

【０２２０】この発明（請求項９）によれば、請求項１
記載の画像処理方法において、対象高解像度ブロックに
対応する処理済高解像度ブロックの動きベクトルと、対
象高解像度ブロックに対応する低解像度ブロックの動き
ベクトルとから予測ベクトルを生成し、該予測ベクトル
に基づいて、対象高解像度ブロックの動きベクトルを符
号化するので、画像信号が画面間で画素値に関する相関
があり、また高解像度画像信号と低解像度画像信号との
間には画素値に関する大きな相関があることから、対象
高解像度ブロックの動きベクトルと予測動きベクトルと
の誤差が小さくなり、高解像度画像信号の動きベクトル
の符号化に必要な符号化ビット数を削減することができ
る。

【０２２１】この発明（請求項１０）に係る画像処理方
法では、高解像度画像信号の復号化処理の際には、低解
像度画像空間にて、復号化処理の対象となる対象高解像
度ブロックの空間位置と相関のある空間位置に位置する
低解像度ブロックの復号化信号が参照されることとな
り、符号化効率の劣化を抑えた、物体の形状情報を有す
る画像信号の階層符号化処理に対応した階層復号化処理
を実現することができる。

【０２２２】この発明（請求項１１）によれば、請求項
１０記載の画像処理方法において、上記高解像度画像空
間を構成する個々の画素を、上記低解像度画像空間の解
像度変換により得られる、空間解像度が上記高解像度画
像空間と等しい解像度変換画像空間における個々の画素
と一対一に対応させたので、高解像度ブロックにおける
複数の画素がすべて、低解像度ブロックの解像度変換に
より得られる解像度変換ブロックにおける所定の画素に
対応することとなり、これにより、符号化効率の高い階
層符号化処理に対する階層復号化処理を得ることができ
る。

【０２２３】この発明（請求項１２）によれば、請求項
１０記載の画像処理方法において、上記参照低解像度ブ
ロックを構成する画素の数と、上記対象高解像度ブロッ
クを構成する画素の数とを一致させたので、高解像度符
号化信号と低解像度符号化信号の間で復号化器及び逆ブ
ロック化器を共用することが可能となり、回路構成のコ
ンパクト化を図ることができる。

【０２２４】この発明（請求項１３）によれば、請求項
１０記載の画像処理方法において、上記参照低解像度ブ
ロックの低解像度画像空間における相対位置と、対象高
解像度ブロックの高解像度画像空間における相対位置と
を一致させたので、高解像度ブロックを構成する各画素
の画素値と、低解像度ブロックを構成する各画素の画素
値との差分が不必要に大きくなることがない符号化効率
のよい階層符号化処理に対応した階層復号化処理を実現
できる。

【０２２５】この発明（請求項１４）によれば、請求項
１０記載の画像処理方法において、上記参照低解像度ブ
ロックに対する、復号化処理方法を識別するための符号
化モードに応じて、上記対象高解像度ブロックに対す
る、復号化処理方法を識別するための符号化モードを示
すモード符号化信号の復号化方式を切換えるので、低解
像度ブロックに対する符号化モードに一致する高解像度
ブロックの符号化モードを示すモード信号に短い符号を
割り当てることにより高解像度画像信号の符号化モード
を示すモード信号の符号化に用いる符号化ビット数を削
減した階層符号化処理に対応した階層復号化処理を、実
現することができる。

【０２２６】この発明（請求項１５）によれば、請求項
１４記載の画像処理方法において、上記符号化モード
を、画像空間上に表示される物体の形状の境界が上記対
象高解像度ブロック内に含まれるか否かを示す符号化モ
ードとしたので、高解像度ブロックと物体の位置関係
と、低解像度ブロックと物体の位置関係とが一致する場
合に、高解像度画像信号の符号化モードを示すモード信
号に短い符号を割り当てることにより、符号化ビット数
を削減した階層復号化処理に対応した階層復号化処理を
実現することができる。

【０２２７】この発明（請求項１６）によれば、請求項
１４記載の画像処理方法において、上記符号化モード
を、参照低解像度ブロックに対応する画像信号を画素毎
に順次復号化する復号化処理が、水平走査方向と垂直走
査方向のいずれの走査方向に沿って行われているかを示
す符号化モードとしたので、低解像度画像信号と高解像
度画像信号との間で、画素値の相関が大きい走査方向が
一致する場合に、高解像度画像信号の符号化モードを示
すモード信号に短い符号を割り当てて符号化することに
より、符号化ビット数を削減した階層符号化処理に対応
した階層復号化処理を実現できる。

【０２２８】この発明（請求項１７）によれば、請求項
１０記載の画像処理方法において、上記参照低解像度ブ
ロックに対応する、上記低解像度画像空間での物体の動
きを示す動き情報を参照して、上記対象高解像度ブロッ
クに対応する、上記高解像度画像空間での物体の動きを
示す動き情報の復号化方法を切換えるので、高解像度ブ
ロックとこれに対応する低解像度ブロックとの間で、動
きベクトルが一致する場合に、高解像度画像信号の動き
ベクトル（符号化モード）を示すモード信号に短い符号
を割り当てることにより符号化ビット数を削減した階層
符号化処理に対応した階層復号化処理を、実現すること
ができる。

【０２２９】この発明（請求項１８）によれば、請求項
１０記載の画像処理方法において、復号化処理がすでに
施された処理済高解像度ブロックの、高解像度画像空間
での物体の動きを示す動き情報、及び上記参照低解像度
ブロックに対応する、上記低解像度画像空間での物体の
動きを示す動き情報を参照して、上記対象高解像度ブロ
ックに対応する、上記高解像度画像空間での物体の動き
を示す動き情報の復号化方法を切換えるので、対象高解
像度ブロックの動きベクトルと予測動きベクトルとの誤
差が小さい、符号化ビット数を削減した階層符号化処理
に対応した階層復号化処理を実現できる。

【０２３０】この発明（請求項１９）に係る画像処理装
置によれば、高解像度画像信号の符号化処理の際には、
低解像度画像空間にて、符号化処理の対象となる対象高
解像度ブロックの空間位置と相関のある空間位置に位置
する低解像度ブロックの画像信号が参照されることとな
り、物体の形状情報を有する画像信号に対する階層符号
化処理を、符号化効率の劣化を招くことなく行うことが
できる。

【０２３１】この発明（請求項２０）に係る画像処理装
置によれば、高解像度画像信号の復号化処理の際には、
低解像度画像空間にて、復号化処理の対象となる対象高
解像度ブロックの空間位置と相関のある空間位置に位置
する低解像度ブロックの画像復号化信号が参照されるこ
ととなり、符号化効率の劣化を抑えた、物体の形状情報
を有する画像信号の階層符号化処理に対応した階層復号
化処理を実現することができる。

【０２３２】この発明（請求項２１）に係るデータ記録
媒体によれば、コンピュータに階層画像符号化処理を行
わせるためのプログラムを、請求項１記載の画像処理方
法による階層画像符号化処理が行われるよう構成したの
で、高解像度画像信号の符号化処理の際には、低解像度
画像空間にて、符号化処理の対象となる対象高解像度ブ
ロックの空間位置と相関のある空間位置に位置する低解
像度ブロックの画像信号が参照されることとなり、物体
の形状情報を有する画像信号に対する、符号化効率の劣
化を招くことのない階層符号化処理を、コンピュータに
より実現することができる。

【０２３３】この発明（請求項２２）に係るデータ記録
媒体によれば、コンピュータに階層画像復号化処理を行
わせるためのプログラムを、請求項１０記載の画像処理
方法による階層画像復号化処理が行われるよう構成した
ので、高解像度画像信号の復号化処理の際には、低解像
度画像空間にて、復号化処理の対象となる対象高解像度
ブロックの空間位置と相関のある空間位置に位置する低
解像度ブロックの画像復号化信号が参照されることとな
り、符号化効率の劣化を抑えた、物体の形状情報を有す
る画像信号の階層符号化処理に対応した階層復号化処理
を、コンピュータにより実現することができる。

【０２３４】このように本発明に係る画像処理方法及び
画像処理装置、並びにデータ記録媒体は、画像信号の圧
縮処理における符号化効率の向上を図ることができ、画
像信号の伝送や記憶を行うシステムにおける画像符号化
処理や画像復号化処理を実現するものとして極めて有用
であり、特に、ＭＰＥＧ４等の規格に準拠した動画像の
圧縮，伸長処理に適している。

【図面の簡単な説明】

【図１】本発明の実施の形態１による画像処理装置とし
て階層画像符号化装置を説明するためのブロック図であ
る。

【図２】上記実施の形態１の階層画像符号化装置の動作
（図(a) 〜図(d) ）を説明するための図である。

【図３】本発明の実施の形態２による画像処理装置とし
て階層画像符号化装置を説明するためのブロック図であ
る。

【図４】本発明の実施の形態２による階層画像符号化装
置の動作（図(a) 〜図(f) ）を説明するための図であ
る。

【図５】本発明の実施の形態３による画像処理装置とし
て階層画像符号化装置を説明するためのブロック図であ
る。

【図６】上記実施の形態３による階層画像符号化装置の
動作（図(a) 〜図(d) ）を説明するための図である。

【図７】本発明の実施の形態４による画像処理装置とし
て階層画像符号化装置を説明するためのブロック図であ
る。

【図８】本発明の実施の形態５による画像処理装置とし
て階層画像復号化装置を説明するためのブロック図であ
る。

【図９】本発明の実施の形態６による画像処理装置であ
る階層画像符号化装置（図(a)）及び該階層画像符号化
装置を構成する符号化器（図(b) ）を説明するためのブ
ロック図である。

【図１０】本発明の実施の形態７による画像処理装置で
ある階層画像復号化装置（図(a)）及び該階層画像復号
化装置を構成する復号化器（図(b) ）を説明するための
ブロック図である。

【図１１】本発明の実施の形態８による画像処理装置で
ある階層画像符号化装置（図１１(a) ）及び該階層画像
符号化装置を構成する符号化器（図(b) ）を説明するた
めのブロック図である。

【図１２】上記実施の形態８の階層画像符号化装置の動
作（図(a) 〜図(d) ）を説明するための図である。

【図１３】本発明の実施の形態９による画像処理装置で
ある階層画像復号化装置（図(a)）及び該階層画像復号
化装置を構成する復号化器（図(b) ）を説明するための
ブロック図である。

【図１４】本発明の実施の形態１０による画像処理装置
である階層画像符号化装置（図(a) ）及び該階層画像符
号化装置を構成する符号化器（図(b) ）を説明するため
のブロック図である。

【図１５】本発明の実施の形態１１による画像処理装置
である階層画像復号化装置（図(a) ）及び該階層画像復
号化装置を構成する復号化器（図(b) ）を説明するため
のブロック図である。

【図１６】本発明の実施の形態１２による画像処理装置
である階層画像符号化装置（図(a) ）、該階層画像符号
化装置を構成する符号化器（図(b) ）、及び該符号化器
を構成する第２の符号化器（図(c) ）を説明するための
ブロック図である。

【図１７】本発明の実施の形態１３による画像処理装置
である階層画像復号化装置（図(a) ）、該階層画像復号
化装置を構成する復号化器（図(b) ）、及び該復号化器
を構成する第２の復号化器（図(c) ）を説明するための
ブロック図である。

【図１８】本発明の実施の形態１４による画像処理装置
である階層画像符号化装置（図(a) ）、該階層画像符号
化装置を構成する符号化器（図(b) ）、及び該符号化器
を構成する第２の符号化器（図(c) ）を説明するための
ブロック図である。

【図１９】上記実施の形態１４の階層画像符号化装置の
動作（図(a) 〜図(d) ）を説明するための図である。

【図２０】本発明の実施の形態１５による画像処理装置
である階層画像復号化装置（図(a) ）、該階層画像復号
化装置を構成する復号化器（図(b) ）、該復号化器を構
成する第２の復号化器（図(c) ）を説明するためのブロ
ック図である。

【図２１】上記各実施の形態の画像処理装置による階層
符号化処理あるいは階層復号化処理をコンピュータシス
テムにより実現するためのプログラムを格納したデータ
記録媒体（図(a) 〜図(c) ）を示す図である。

【図２２】従来の階層画像符号化処理を説明するための
模式図である。

【図２３】従来の画像処理装置である階層画像符号化装
置を説明するためのブロック図である。

【図２４】従来の画像処理装置である階層画像復号化装
置を説明するためのブロック図である。

【符号の説明】

２ サブサンプル器 ５，１４ 領域抽出器 ６，１５ ブロック化器 ７，７ｆ，１６ａ〜１６ｃ，１６ｆ，１６ｈ，１６ｊ，
１６ｍ，１６ｐ 符号化器 ９，９ａ，３０ 復号化器 １０ａ，１０ｂ アップサンプル器 １２，３０ａ，３１ｄ 領域検出器 ２０，３１ 逆ブロック化器 ２１，３２，３４ 領域合成器 ４０ｇ，４０ｉ，４０ｋ，４０ｎ，４０ｑ 復号化器 １０１〜１０４，１０６，１０８，１１０，１１２，１
１４ 階層画像符号化装置 １０１Ｌ〜１０４Ｌ，１０６Ｌ，１０８Ｌ，１１０Ｌ，
１１２Ｌ，１１４Ｌ低解像度符号化部 １０１Ｈ〜１０４Ｈ，１０６Ｈ，１０８Ｈ，１１０Ｈ，
１１２Ｈ，１１４Ｈ高解像度符号化部 １０５，１０７，１０９，１１１，１１３，１１５ 階
層画像復号化装置 １０５Ｌ，１０７Ｌ，１０９Ｌ，１１１Ｌ，１１３Ｌ，
１１５Ｌ 低解像度復号化部 １０５Ｈ，１０７Ｈ，１０９Ｈ，１１１Ｈ，１１３Ｈ，
１１５Ｈ 高解像度復号化部 ＡＢ，ＨＢ 境界 ＡＦ 補間フレーム Ａｏｂ 補間画像 ＡＲ 補間矩形領域 ＡＭＢ 補間ブロック Ｄ 差分画像 ＬＣｇ 低解像度再生信号 ＬＥｇ 低解像度符号化信号 ＬＦ 低解像度フレーム ＬＳｇ 低解像度画像信号 Ｌｏｂ 低解像度画像 ＬＲ 低解像度矩形領域 ＬＲｇ 低解像度矩形信号 ＬＭＢ 低解像度ブロック ＨＣｇ 高解像度再生信号 ＨＥｇ 高解像度符号化信号 ＨＦ 高解像度フレーム Ｈｏｂ 高解像度画像 ＨＳｇ 高解像度画像信号 ＨＲ 高解像度矩形領域 ＨＲｇ 高解像度矩形信号 ＨＭＢ１，ＨＭＢ２ 高解像度ブロック

Claims (22)

【特許請求の範囲】
1. 【請求項１】 物体の形状情報を有する画像入力信号に
   基づいて、空間解像度が異なる複数の画像空間を形成す
   る階層画像信号として、少なくとも低解像度画像信号及
   び高解像度画像信号を生成し、 上記高解像度画像信号を、高解像度画像空間における所
   定数の画素からなる高解像度ブロックに対応するよう区
   分するとともに、上記低解像度画像信号を、低解像度画
   像空間における所定数の画素からなる低解像度ブロック
   に対応するよう区分し、 処理対象となる対象高解像度ブロックを形成する高解像
   度画像信号に対する符号化処理を、該高解像度ブロック
   に対応する低解像度ブロックを形成する低解像度画像信
   号を参照して順次行う階層画像符号化方法であって、 上記符号化処理の際に参照される参照低解像度ブロック
   は、その低解像度画像空間における空間位置が、該参照
   低解像度ブロックに対応する上記対象高解像度ブロック
   の、高解像度画像空間における空間位置に対応付けられ
   た低解像度ブロックであることを特徴とする画像処理方
   法。
2. 【請求項２】 請求項１記載の画像処理方法において、 上記高解像度画像空間を構成する個々の画素は、上記低
   解像度画像空間の解像度変換により得られる、空間解像
   度が上記高解像度画像空間と等しい解像度変換画像空間
   における個々の画素と一対一に対応することを特徴とす
   る画像処理方法。
3. 【請求項３】 請求項１記載の画像処理方法において、 上記参照低解像度ブロックを構成する画素の数と、上記
   対象高解像度ブロックを構成する画素の数とが一致する
   ことを特徴とする画像処理方法。
4. 【請求項４】 請求項１記載の画像処理方法において、 上記参照低解像度ブロックの低解像度画像空間における
   相対位置と、対象高解像度ブロックの高解像度画像空間
   における相対位置とが一致することを特徴とする画像処
   理方法。
5. 【請求項５】 請求項１記載の画像処理方法において、 上記参照低解像度ブロックに対する、符号化処理方法を
   識別するための符号化モードに応じて、上記対象高解像
   度ブロックに対する、符号化処理方法を識別するための
   符号化モードを示すモード信号の符号化方式を切換える
   ことを特徴とする画像処理方法。
6. 【請求項６】 請求項５記載の画像処理方法において、 上記符号化モードは、画像空間上に表示される物体の形
   状の境界が上記対象高解像度ブロック内に含まれるか否
   かを示す符号化モードであることを特徴とする画像処理
   方法。
7. 【請求項７】 請求項５記載の画像処理方法において、 上記符号化モードは、参照低解像度ブロックに対応する
   画像信号を画素毎に順次符号化する符号化処理が、水平
   走査方向と垂直走査方向のいずれの走査方向に沿って行
   われているかを示す符号化モードであることを特徴とす
   る画像処理方法。
8. 【請求項８】 請求項１記載の画像処理方法において、 上記参照低解像度のブロックに対応する、上記低解像度
   画像空間での物体の動きを示す動き情報を参照して、上
   記対象高解像度ブロックに対応する、上記高解像度画像
   空間での物体の動きを示す動き情報の符号化方法を切換
   えることを特徴とする画像処理方法。
9. 【請求項９】 請求項１記載の画像処理方法において、 符号化処理がすでに施された処理済高解像度ブロック
   の、高解像度画像空間での物体の動きを示す動き情報、
   及び上記参照低解像度ブロックに対応する、上記低解像
   度画像空間での物体の動きを示す動き情報を参照して、
   上記対象高解像度ブロックに対応する、上記高解像度画
   像空間での物体の動きを示す動き情報の符号化方法を切
   換えることを特徴とする画像処理方法。
10. 【請求項１０】 物体の形状情報を有する画像信号に階
    層符号化処理を施して得られる少なくとも２つのブロッ
    ク化された階層符号化信号のうちの低解像度符号化信号
    を復号化して、低解像度画像空間における所定数の画素
    からなる低解像度ブロックに対応した低解像度復号化信
    号を生成し、 該低解像度復号化信号を統合して上記低解像度画像空間
    に対応する低解像度統合信号を生成し、 上記２つのブロック化された階層符号化信号のうちの高
    解像度符号化信号を、対応する低解像度復号化信号を参
    照して復号化して、高解像度画像空間における所定数の
    画素からなる高解像度ブロックに対応した高解像度復号
    化信号を生成し、 該高解像度復号化信号を統合して上記高解像度画像空間
    に対応する高解像度統合信号を生成する階層画像復号化
    方法であって、 上記高解像度符号化信号の復号化処理の際に参照される
    参照低解像度ブロックは、その低解像度画像空間におけ
    る空間位置が、該参照低解像度ブロックに対応する、上
    記復号化処理の対象となる対象高解像度ブロックの、高
    解像度画像空間における空間位置に対応付けられた低解
    像度ブロックであることを特徴とする画像処理方法。
11. 【請求項１１】 請求項１０記載の画像処理方法におい
    て、 上記高解像度画像空間を構成する個々の画素は、上記低
    解像度画像空間の解像度変換により得られる、空間解像
    度が上記高解像度画像空間と等しい解像度変換画像空間
    における個々の画素と一対一に対応することを特徴とす
    る画像処理方法。
12. 【請求項１２】 請求項１０記載の画像処理方法におい
    て、 上記参照低解像度ブロックを構成する画素の数と、上記
    対象高解像度ブロックを構成する画素の数とが一致する
    ことを特徴とする画像処理方法。
13. 【請求項１３】 請求項１０記載の画像処理方法におい
    て、 上記参照低解像度ブロックの低解像度画像空間における
    相対位置と、対象高解像度ブロックの高解像度画像空間
    における相対位置とが一致することを特徴とする画像処
    理方法。
14. 【請求項１４】 請求項１０記載の画像処理方法におい
    て、 上記参照低解像度ブロックに対する、復号化処理方法を
    識別するための符号化モードに応じて、上記対象高解像
    度ブロックに対する、復号化処理方法を識別するための
    符号化モードを示すモード符号化信号の復号化方式を切
    換えることを特徴とする画像処理方法。
15. 【請求項１５】 請求項１４記載の画像処理方法におい
    て、 上記符号化モードは、画像空間上に表示される物体の形
    状の境界が上記対象高解像度ブロック内に含まれるか否
    かを示す符号化モードであることを特徴とする画像処理
    方法。
16. 【請求項１６】 請求項１４記載の画像処理方法におい
    て、 上記符号化モードは、参照低解像度ブロックに対応する
    画像信号を画素毎に順次復号化する復号化処理が、水平
    走査方向と垂直走査方向のいずれの走査方向に沿って行
    われているかを示す符号化モードであることを特徴とす
    る画像処理方法。
17. 【請求項１７】 請求項１０記載の画像処理方法におい
    て、 上記参照低解像度のブロックに対応する、上記低解像度
    画像空間での物体の動きを示す動き情報を参照して、上
    記対象高解像度ブロックに対応する、上記高解像度画像
    空間での物体の動きを示す動き情報の復号化方法を切換
    えることを特徴とする画像処理方法。
18. 【請求項１８】 請求項１０記載の画像処理方法におい
    て、 復号化処理がすでに施された処理済高解像度ブロック
    の、高解像度画像空間での物体の動きを示す動き情報、
    及び上記参照低解像度ブロックに対応する、上記低解像
    度画像空間での物体の動きを示す動き情報を参照して、
    上記対象高解像度ブロックに対応する、上記高解像度画
    像空間での物体の動きを示す動き情報の復号化方法を切
    換えることを特徴とする画像処理方法。
19. 【請求項１９】 物体の形状情報を有する画像入力信号
    を受け、空間解像度が異なる複数の画像空間を形成する
    階層画像信号を符号化する階層画像符号化装置であっ
    て、 上記画像入力信号をサブサンプルして低解像度画像信号
    を生成するサブサンプル手段と、 該低解像度画像信号を、低解像度画像空間における所定
    数の画素からなる低解像度ブロックに対応するようブロ
    ック化する第１のブロック化手段と、 符号化処理の対象となる低解像度ブロックを形成する低
    解像度画像信号に対する符号化処理を順次行う第１の符
    号化手段と、 上記画像入力信号を高解像度画像信号として、高解像度
    画像空間における所定数の画素からなる高解像度ブロッ
    クに対応するようブロック化する第２のブロック化手段
    と、符号化処理の対象となる高解像度ブロックを形成す
    る高解像度画像信号に対する符号化処理を、該高解像度
    ブロックに対応する低解像度ブロックを形成する低解像
    度画像信号を参照して順次行う第２の符号化手段とを備
    え、 上記符号化処理の際に参照される参照低解像度ブロック
    は、その低解像度画像空間における空間位置が、該参照
    低解像度ブロックに対応する上記対象高解像度ブロック
    の、高解像度画像空間における空間位置に対応付けられ
    た低解像度ブロックであることを特徴とする画像処理装
    置。
20. 【請求項２０】 物体の形状情報を有する画像信号に階
    層符号化処理を施して得られる少なくとも２つのブロッ
    ク化された階層符号化信号を復号化する階層画像復号化
    装置であって、 上記２つのブロック化された階層符号化信号のうちの低
    解像度符号化信号を復号化して、低解像度画像空間にお
    ける所定数の画素からなる低解像度ブロックに対応した
    低解像度復号化信号を生成する第１の復号化手段と、 該各低解像度ブロックに対応した低解像度復号化信号を
    統合して、上記低解像度画像空間に対応する低解像度統
    合信号を生成する第１の逆ブロック化手段と、 上記２つのブロック化された階層符号化信号のうちの高
    解像度符号化信号を、対応する低解像度復号化信号を参
    照して復号化して、高解像度画像空間における所定数の
    画素からなる高解像度ブロックに対応した高解像度復号
    化信号を生成する第２の復号化手段と、 該各高解像度ブロックに対応する高解像度復号化信号を
    統合して、上記高解像度画像空間に対応する高解像度統
    合信号を生成する第２の逆ブロック化手段とを備え、 上記高解像度符号化信号の復号化処理の際に参照される
    参照低解像度ブロックは、その低解像度画像空間におけ
    る空間位置が、該参照低解像度ブロックに対応する上記
    復号化処理の対象となる対象高解像度ブロックの、高解
    像度画像空間における空間位置に対応付けられた低解像
    度ブロックであることを特徴とする画像処理装置。
21. 【請求項２１】 コンピュータに階層画像符号化処理を
    行わせるためのプログラムを格納したデータ記録媒体で
    あって、 上記プログラムは、 請求項１記載の画像処理方法による階層画像符号化処理
    を、コンピュータが行うよう構成されていることを特徴
    とするデータ記録媒体。
22. 【請求項２２】 コンピュータに階層画像復号化処理を
    行わせるためのプログラムを格納したデータ記録媒体で
    あって、 上記プログラムは、 請求項１０記載の画像処理方法による階層画像復号化処
    理を、コンピュータが行うよう構成されていることを特
    徴とするデータ記録媒体。