JP3308767B2 - 画像符号化復号化装置、画像復号化装置 - Google Patents

画像符号化復号化装置、画像復号化装置

Info

Publication number
JP3308767B2
JP3308767B2 JP15014295A JP15014295A JP3308767B2 JP 3308767 B2 JP3308767 B2 JP 3308767B2 JP 15014295 A JP15014295 A JP 15014295A JP 15014295 A JP15014295 A JP 15014295A JP 3308767 B2 JP3308767 B2 JP 3308767B2
Authority
JP
Japan
Prior art keywords
image
low
edge
decoding
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15014295A
Other languages
English (en)
Other versions
JPH08181993A (ja
Inventor
志雄 呉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP15014295A priority Critical patent/JP3308767B2/ja
Priority to DE69525127T priority patent/DE69525127T2/de
Priority to EP95307558A priority patent/EP0709809B1/en
Priority to US08/548,943 priority patent/US5761341A/en
Priority to KR1019950037906A priority patent/KR100388377B1/ko
Publication of JPH08181993A publication Critical patent/JPH08181993A/ja
Priority to US09/069,870 priority patent/US5878172A/en
Priority to US09/081,104 priority patent/US5991448A/en
Priority to US09/081,780 priority patent/US5949910A/en
Priority to US09/082,729 priority patent/US6101277A/en
Application granted granted Critical
Publication of JP3308767B2 publication Critical patent/JP3308767B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、エッジ解析とウェーブ
レット逆変換の方法を用いた圧縮画像の符号化および復
号化を実現する画像符号化装置、画像復号化装置、及び
画像符号化復号化装置に関する。
【0002】
【従来の技術】従来、画像の低ビットレート・高能率符
号化・復号化装置、画像伝送装置、画像処理装置などに
用いられる画像の高能率符号化・復号化の技術として
は、例えば、次のような文献に記載されるものがあっ
た。
【0003】文献:アイシーエーエスエスピー プロシ
ーディングス(ICASSP Proceedings)、M9.9、1991、IEEE、
(米)、Stephane Mallat他著、"COMPACT IMAGE CODING
FROM EDGES WITH WAVELETS"、PP.2745-2748. 前記文献には、入力された画像をウェーブレット変換
し、該ウェーブレット変換された画像の局所ピーク(エ
ッジ)の位置、及び大きさを検出し、符号化することに
より、画像の低ビットレート、高能率符号化を実現する
方法が記載されている。
【0004】図2は、前記文献に記載されたウェーブレ
ット変換及びエッジ検出による画像の符号化を行う従来
の画像符号化装置の機能ブロック図である。
【0005】この画像符号化装置では、n(n≧1)段
に縦続接続されているウェーブレット変換手段1−i
(i=1〜n)を備えており、入力された画像X0 に対
してウェーブレット変換を行う。すなわち、前段のウェ
ーブレット変換手段1−(i−1)から出力される画像
の低周波成分X(i-1)Lに対してウェーブレット変換を実
行して、n段の高周波成分XiHと1段の低周波成分XnL
に分割する。
【0006】ピーク検出手段2−iでは、高周波成分X
iH(i=1〜n)に対して画像のピーク情報Si(局所
ピーク値の位置と大きさ)を検出する。選択手段3によ
り、各段のピーク情報Si の中から1段のピーク情報S
00を選出する。エッジ符号化手段4では、選出されたピ
ーク情報S00に対して、チェーン符号化などの符号化を
行う。
【0007】また、低周波数成分XnLに対しては、サン
プリング手段5によりダウンサンプリングし、低周波成
分符号化手段6により符号化(例えば、予測誤差符号化
あるいは離散コサイン変換(DCT)符号化など)を行
う。そして、多重化手段7により、符号化されたピーク
情報Cs と低周波成分Cr を多重化し、多重化信号Cを
例えば通信回線や半導体記憶装置などの入出力装置30
に送出する。
【0008】図3は、図2の画像符号化装置により符号
化された画像を復号する画像復号化装置の機能ブロック
図である。
【0009】この画像復号化装置では、入力される符号
化及び多重化された画像信号Cを分離手段11により、
ピーク情報Cs と低周波成分Cr に分離する。
【0010】低周波成分Cr については、図2中の符号
化手段6と対をなす低周波成分復号手段12によって、
例えば符号化手段6がDCT符号化手段の時には逆DC
Tによる復号を実行する。さらに、図2中のサンプリン
グ手段5によりダウンサンプリングされた画像を元の入
力画像X0 と同サイズとなるまで、補間手段13により
アップサンプリングする。
【0011】ピーク情報Cs については、図2中のエッ
ジ符号化手段4と対をなすエッジ復号手段14によって
復号し、分配手段15により、図2中のウェーブレット
変換手段1−iと同じ段数に分配し、ウェーブレット写
像手段16−i(i=1〜n)に出力する。各段のピー
ク情報Si に対してそれぞれウェーブレット写像手段1
6−iにより、ピーク情報Si を初期値としてウェーブ
レット変換領域に変換し、高周波成分XiHを得る。そし
て、これら高周波成分XiHと、後段のウェーブレット逆
変換手段17−(i+1)の出力である低周波成分X
(i+1)Lとから逐次にウェーブレット逆変換して、画像の
低周波数成分XiLを生成する。
【0012】生成された各段の低周波数成分XiLを、さ
らにウェーブレット変換手段18−iによってウェーブ
レット変換し、高周波成分XiH′を抽出する。この抽出
された高周波成分XiH′に対して、ピーク写像手段19
−iによりピーク情報領域に写像し、再びウェーブレッ
ト写像手段16−iに入力する。これらの処理を、再生
画像X0′が収束と判断されるまで繰り返す。
【0013】図4は、従来のウェーブレット変換を説明
するブロック図である。入力された各段の低周波数成分
XiLは、縦方向のローパスフィルタ81と横方向のロー
パスフィルタ82により、順次により低周波の成分が抜
き出される。また、横方向のハイパスフィルタ83によ
り水平方向の高周波成分が、縦方向のハイパスフィルタ
84により垂直方向の高周波成分がそれぞれ抜き出さ
れ、ピーク検出に使用される。
【0014】図5は、従来のウェーブレット逆変換を説
明するブロック図である。横方向のローパスフィルタ9
1と縦方向のローパスフィルタ92により、順次に低周
波成分が抜き出され、縦方向のローパスフィルタ93と
横方向のハイパスフィルタ94により水平方向の高周波
成分が、横方向のローパスフィルタ95と縦方向のハイ
パスフィルタ96により垂直方向の高周波成分がそれぞ
れ抜き出され、これら3つの出力が加算器97で重ね合
わせられる。
【0015】
【発明が解決しようとする課題】しかしながら、従来の
画像符号化装置及び画像復号化装置で、次のような問題
(1),(2)があり、それを解決することが困難であ
った。
【0016】(1)従来の画像符号化装置では、ウェー
ブレット変換関数が低域通過フィルタで用いるスムージ
ング関数の1次微分あるいは2次微分関数となるときの
み、ウェーブレット変換後の高周波成分の最大値及び最
小値(1次微分の場合)あるいはゼロ点(2次微分の場
合)が画像のエッジ点に相当し、ピーク検出手段2−i
(i=1〜n)によってそれらの検出が行える。そのた
め、ウェーブレット変換関数に制限を受けるという問題
があった。
【0017】(2)従来の画像復号化装置では、ピーク
情報のウェーブレット変換領域への写像とウェーブレッ
ト変換係数のピーク情報領域への写像などの複雑な処理
が必要な上に再生画像が収束と判断されるまでに上記の
処理を繰り返す必要がある。そのため、画像の復号化処
理に時間を要し、その上、収束条件の判断も困難であ
り、装置に負担がかかるという問題があった。
【0018】本発明は、このような課題を解決するため
になされたものであり、簡単な構成であって、しかも符
号化、復号化の処理を容易に行える画像符号化装置、画
像復号化装置、及び画像符号化復号化装置を提供するこ
とである。
【0019】
【課題を解決するための手段】第1の発明は、前記課題
を解決するために、画像符号化装置において、ディジタ
ル画像が入力される入力端子と、前記ディジタル画像か
ら低周波成分を取り出すスムージングフィルタと、前記
ディジタル画像のエッジを検出するエッジ検出手段と、
前記最終段のスムージングフィルタの出力画像をダウン
サンプリングして前記ディジタル画像を圧縮するサンプ
リング手段と、前記エッジ検出手段及びサンプリング手
段に接続され、前記ディジタル画像のエッジ情報及び圧
縮された画像を符号化する符号化手段とを備えている。
【0020】第2の発明は、前記課題を解決するため
に、画像符号化復号化装置において、ディジタル画像が
入力される入力端子と、前記ディジタル画像の低周波成
分を取り出すn(n≧1の任意の正の整数)段の縦続接
続された2次元低域通過手段と、前記ディジタル画像の
横方向及び縦方向の画素が形成するエッジ位置及びその
大きさを隣接画素間の濃度値の差分値の大きさによって
検出するエッジ検出手段と、前記エッジ検出手段及び前
記最終段の2次元低域通過手段に接続され、前記ディジ
タル画像のエッジ情報及び画像の低周波成分を符号化す
る符号化手段と、前記符号化手段によって符号化された
画像のエッジ情報と低周波成分の画素情報とを復号する
復号手段と、前記復号手段により復号された画像のエッ
ジ情報の低周波成分を順次抽出する(n−1)段の縦続
接続された低域通過手段と、前記復号手段により復号さ
れた画像のエッジ情報及び前記各段の低域通過手段の出
力をそれぞれ累積してエッジの高周波成分を合成するこ
とによってウェーブレット変換係数に変換するn段の波
形合成手段と、前記復号手段によって復号された画像の
低周波成分、及び前記各段の波形合成手段より出力され
るウェーブレット変換係数に対して順次ウェーブレット
逆変換するn段のウェーブレット逆変換手段とを備えて
いる。
【0021】第3の発明は、前記課題を解決するため
に、前記画像符号化復号化装置において入力端子と前記
エッジ検出手段との間に、ディジタル画像の縦方向及び
横方向の低周波成分をそれぞれ独立して抽出する1次元
低域通過手段を設けている。
【0022】第4の発明は、前記課題を解決するため
に、前記画像符号化復号化装置において前記符号化手段
は、時間的に隣接して入力する動画像信号のエッジにつ
いての動き情報及び動き補償後のエッジの予測誤差情報
を抽出する第1の動き補償予測手段と、前記最終段の2
次元低域通過手段からの低周波成分に基づいて、時間的
に隣接して入力する動画像信号の低周波成分についての
動き情報及び動き補償後の低周波成分の予測誤差情報を
抽出する第2の動き補償予測手段とを有する。
【0023】第5の発明は、前記課題を解決するため
に、前記画像符号化復号化装置において前記入力端子と
前記エッジ検出手段との間に、時間的に隣接して入力す
る動画像の画像信号から動き情報及び動き補償後の画像
の予測誤差情報を抽出する動き補償予測手段を設けてい
る。
【0024】第6の発明は、前記課題を解決するため
に、画像復号化装置において、前記画像のエッジ情報と
低周波成分の画素情報とを復号する復号手段と、前記復
号手段により復号された画像のエッジ情報の低周波成分
を取り出すスムージングフィルタと、前記復号手段によ
り復号された画像のエッジ情報又は前記スムージングフ
ィルタの出力に基づいて画像の高周波成分を合成する波
形合成手段と、前記復号手段によって復号された低周波
成分の画素情報を所定のサイズにアップサンプリングす
る補間手段と、前記波形合成手段より出力される画像の
高周波成分と前記補間手段より出力される低周波成分と
に対してウェーブレット逆変換してディジタル画像を出
力するウェーブレット逆変換手段とを備えている。
【0025】第7の発明は、前記課題を解決するため
に、画像復号化装置において、前記画像のエッジ情報と
低周波成分の画素情報とを復号する復号手段と、前記復
号手段により復号された画像のエッジ情報の低周波成分
を順次抽出する(n−1)(n≧1の任意の正の整数)
段の縦続接続された低域通過手段と、前記第1の復号手
段により復号された画像のエッジ情報及び前記各段の低
域通過手段の出力をウェーブレット変換係数に変換する
n段の波形合成手段と、前記第2の復号手段によって復
号された画像の低周波成分、及び前記各段の波形合成手
段より出力されるウェーブレット変換係数に対して順次
ウェーブレット逆変換するn段のウェーブレット逆変換
手段とを備えている。
【0026】第8の発明は、前記課題を解決するため
に、前記画像符号化復号化装置において前記復号手段
は、前画像と現画像の間のエッジの復号した動き情報に
基づいて、現画像のエッジの復号した予測誤差情報と、
第1の記憶手段に格納されている前画像のエッジ情報と
を用いて、現画像のエッジ情報を動き補償補間により復
元する第1の動き補償補間手段と、前記動き補償補間手
段で動き補償補間されたエッジ情報を格納する第1の記
憶手段とを有する。
【0027】第9の発明は、前記課題を解決するため
に、画像復号化装置において、前記画像の横方向及び縦
方向の画素が形成するエッジ位置及びその大きさを隣接
画素間の濃度値の差分値の大きさによって検出して得ら
れたエッジ情報と前記画像の低周波成分とを復号する復
号手段と、前記復号手段により復号された画像のエッジ
情報の低周波成分を順次抽出する(n−1)(n≧2の
任意の正の整数)段の縦続接続された低域通過手段と、
記復号手段により復号された画像のエッジ情報及び前
記各段の低域通過手段の出力をそれぞれ累積してエッジ
の高周波成分を合成することによってウェーブレット変
換係数に変換するn段の波形合成手段と、前記復号手段
によって復号された画像の低周波成分、及び前記各段の
波形合成手段より出力されるウェーブレット変換係数に
対して順次ウェーブレット逆変換するn段のウェーブレ
ット逆変換手段と、前記復号手段によって復号された前
画像と現画像の間の動き情報に基づいて、前記ウェーブ
レット逆変換手段により復号された現画像の予測誤差情
報と、記憶手段に格納されている前画像とを用いて、現
画像を動き補償補間により復元する動き補償補間手段
と、前記動き補償補間手段から出力された画像情報を格
納する記憶手段とを備えている。
【0028】第10の発明は、前記課題を解決するため
に、画像符号化復号化装置において、各段毎に奇数タッ
プの偶対称なフィルタ係数を有し、ディジタル画像の低
周波成分を取り出すn(n≧1の任意の正の整数)段の
縦続接続された第1のスムージングフィルタと、前記デ
ィジタル画像の横方向及び縦方向の画素が形成するエッ
ジ位置及びその大きさを隣接画素間の濃度値の差分値の
大きさによって検出するエッジ検出手段と、前記エッジ
検出手段により検出された画像のエッジ情報を符号化す
る第1の符号化手段と、前記最終段のスムージングフィ
ルタの出力画像をダウンサンプリングするサンプリング
手段と、前記ダウンサンプリングされた画像を符号化す
る第2の符号化手段と、前記第1の符号化手段によって
符号化された画像のエッジ情報と前記第2の符号化手段
によって符号化された画像の低周波成分とを多重化する
多重化手段と、前記多重化手段により多重化された画像
信号を画像のエッジ情報と画像の低周波成分とに分離す
る分離手段と、前記分離手段により分離された画像のエ
ッジ情報を復号する第1の復号手段と、前記分離手段に
より分離された画像の低周波成分を復号する第2の復号
手段と、前記第1の復号手段により復号された画像のエ
ッジ情報又は前段のスムージングフィルタによって出力
された画像のエッジ情報の低周波成分を取り出す(n−
1)段の縦続接続された第2のスムージングフィルタ
と、前記第1のスムージングフィルタと対をなす偶対称
なフィルタ係数を有する高域通過フィルタのフィルタ係
数と前記第1の復号手段により復号された画像のエッジ
情報又は前記各段の第2のスムージングフィルタの出力
とを用いて、画像の横方向及び縦方向の高周波成分に合
成するn段の波形合成手段と、前記第2の復号手段によ
って復号された画像の低周波成分を所定のサイズにアッ
プサンプリングする補間手段と、第1の積和演算と第2
の積和演算とを行い、該第1と第2の積和演算の結果を
加算してウェーブレット逆変換するn段のウェーブレッ
ト逆変換手段とを備え、前記第1の積和演算は、前記後
段のウェーブレット逆変換手段又は前記補間手段により
出力される画像の低周波成分と、前記第1のスムージン
グフィルタと共役なフィルタ係数との積和演算であり、
前記第2の積和演算は、前記各段の波形合成手段より出
力される横方向及び縦方向の高周波成分と、前記高域通
過フィルタと共役なフィルタ係数と、式(1)に示す関
数F(ω)を奇数タップ長に逆フーリエ変換して得られ
るフィルタ係数との積和演算である。
【0029】 F(ω)=(1+|H(ω)| )/2 ・・・(1) 但し、ω;角周波数 H(ω);前記第1のスムージングフィルタの周波数特
性 第11の発明は、前記課題を解決するために、画像符号
化復号化装置において、各段毎に偶数タップの偶対称な
フィルタ係数を有し、ディジタル画像の低周波成分を取
り出すn(n≧1の任意の正の整数)段の縦続接続され
た第1のスムージングフィルタと、前記ディジタル画像
の横方向及び縦方向の画素が形成するエッジ位置及びそ
の大きさを隣接画素間の濃度値の差分値の大きさによっ
検出するエッジ検出手段と、前記エッジ検出手段によ
り検出された画像のエッジ情報を符号化する第1の符号
化手段と、前記最終段のスムージングフィルタの出力画
像をダウンサンプリングするサンプリング手段と、前記
ダウンサンプリングされた画像を符号化する第2の符号
化手段と、前記第1の符号化手段によって符号化された
画像のエッジ情報と前記第2の符号化手段によって符号
化された画像の低周波成分とを多重化する多重化手段
と、前記多重化手段により多重化された画像信号を画像
のエッジ情報と画像の低周波成分とに分離する分離手段
と、前記分離手段により分離された画像のエッジ情報を
復号する第1の復号手段と、前記分離手段により分離さ
れた画像の低周波成分を復号する第2の復号手段と、前
記第1の復号手段により復号された画像のエッジ情報又
は前段のスムージングフィルタによって出力された画像
のエッジ情報の低周波成分を取り出す(n−1)段の縦
続接続された第2のスムージングフィルタと、前記第1
のスムージングフィルタと対をなす偶対称なフィルタ係
数を有する高域通過フィルタのフィルタ係数と前記第1
の復号手段により復号された画像のエッジ情報又は前記
各段の第2のスムージングフィルタの出力とを用いて、
高周波成分の差分を求め、該差分を順次足し合わせるこ
とにより横方向及び縦方向の高周波成分に合成するn段
の波形合成手段と、前記第2の復号手段によって復号さ
れた画像の低周波成分を所定のサイズにアップサンプリ
ングする補間手段と、第1の積和演算と第2の積和演算
とを行い、該第1と第2の積和演算の結果を加算してウ
ェーブレット逆変換するn段のウェーブレット逆変換手
段とを備え、前記第1の積和演算は、前記後段のウェー
ブレット逆変換手段又は前記補間手段により出力される
画像の低周波成分と、前記第1のスムージングフィルタ
と共役なフィルタ係数との積和演算であり、前記第2の
積和演算は、各段の前記波形合成手段より出力される横
方向及び縦方向の高周波成分と、前記高域通過フィルタ
と共役なフィルタ係数と、式(2)に示す関数F(ω)
を偶数タップ長に逆フーリエ変換して得られるフィルタ
係数との積和演算であ
【0030】 F(ω)=(1+|H(ω)| )/2 ・・・(2) 但し、ω;角周波数 H(ω);前記第1のスムージングフィルタの周波数特
性 第12の発明は、前記課題を解決するために、画像符号
化復号化装置において、時間的に隣接する動画像の画像
信号から動き情報及び動き補償後の画像の予測誤差情報
を抽出する動き補償予測手段と、前記予測誤差情報の低
周波成分を取り出すn(n≧1の任意の正の整数)段の
縦続接続された低域通過手段と、前記予測誤差情報から
画像の横方向及び縦方向の画素が形成するエッジ位置及
びその大きさを隣接画素間の濃度値の差分値の大きさに
よって検出するエッジ検出手段と、前記エッジ検出手段
により検出された画像のエッジ情報を符号化する第1の
符号化手段と、前記最終段の低域通過手段からの予測誤
差情報の低周波成分を符号化する第2の符号化手段と、
前記動画像の動き情報を含む追加情報を符号化する第3
の符号化手段と、前記第1の符号化手段により符号化さ
れた画像のエッジ情報と前記第2の符号化手段により符
号化された予測誤差情報の低周波成分と前記第3の符号
化手段により符号化された動画像の追加情報とを多重化
して出力する多重化手段と、ディジタル画像信号に含ま
れる符号化及び多重化された画像のエッジ情報と予測誤
差情報の低周波成分と動画像の追加情報とをそれぞれ分
離する分離手段と、符号化された画像のエッジ情報を復
号する第1の復号手段と、符号化された予測誤差情報の
低周波成分を復号する第2の復号手段と、前記分離手段
と前記第1及び第2の符号化手段のいずれかを切り換え
て前記第1及び第2の復号手段に接続し、これら復号手
段に対してそれぞれ画像のエッジ情報及び予測誤差情報
の低周波成分を供給する第1の切り換え手段と、前記分
離手段により分離された動画像の追加情報を復号する第
3の復号手段と、前記第1の復号手段により復号された
画像のエッジ情報の低周波成分を順次抽出する(n−
1)(n≧2の任意の正の整数)段の縦続接続された低
域通過手段と、前記第1の復号手段により復号された画
像のエッジ情報及び前記各段の低域通過手段の出力を
れぞれ累積してエッジの高周波成分を合成することによ
ってウェーブレット変換係数に変換するn段の波形合成
手段と、前記第2の復号手段により復号された予測誤差
情報の低周波成分と前記各段の波形合成手段より出力さ
れるウェーブレット変換係数とに対して順次ウェーブレ
ット逆変換するn段のウェーブレット逆変換手段と、
記動き補償予測手段または前記第3の復号手段からの動
き動き情報に基づいて、前記ウェーブレット逆変換手段
により復号された現画像の予測誤差情報と、記憶手段に
格納されている前画像とを用いて、現画像を動き補償補
間により復元する動き補償補間手段と、前記第3の復号
手段と前記動き補償予測手段のいずれかを切り換えて前
記動き補償補間手段に接続し、この動き補償補間手段に
対して動き情報を供給する第2の切り換え手段と、前記
動き補償補間手段から出力された画像情報を格納する記
憶手段とを備えている。
【0031】第13の発明は、前記課題を解決するため
に、画像符号化復号化装置において、時間的に隣接する
動画像の画像信号から動き情報及び動き補償後の画像の
予測誤差情報を抽出する動き補償予測手段と、前記予測
誤差情報の低周波成分を取り出すn(n≧1の任意の正
の整数)段の縦続接続された2次元低域通過手段と、前
記予測誤差情報の縦方向及び横方向の低周波成分をそれ
ぞれ独立して抽出する1次元低域通過手段と、前記1次
元低域通過手段で抽出された画像の予測誤差情報から画
像の横方向及び縦方向の画素が形成するエッジ位置及び
その大きさを隣接画素間の濃度値の差分値の大きさによ
って検出するエッジ検出手段と、前記エッジ検出手段に
より検出された画像のエッジ情報を符号化する第1の符
号化手段と、前記最終段の低域通過手段からの予測誤差
情報の低周波成分を符号化する第2の符号化手段と、前
記動画像の動き情報を含む追加情報を符号化する第3の
符号化手段と、前記第1の符号化手段により符号化され
た画像のエッジ情報と前記第2の符号化手段により符号
化された予測誤差情報の低周波成分と前記第3の符号化
手段により符号化された動画像の追加情報とを多重化し
て出力する多重化手段と、ディジタル画像信号に含まれ
る符号化及び多重化された画像のエッジ情報と予測誤差
情報の低周波成分と動画像の追加情報とをそれぞれ分離
する分離手段と、符号化された画像のエッジ情報を復号
する第1の復号手段と、符号化された予測誤差情報の低
周波成分を復号する第2の復号手段と、前記分離手段と
前記第1及び第2の符号化手段のいずれかを切り換えて
前記第1及び第2の復号手段に接続し、これら復号手段
に対してそれぞれ画像のエッジ情報及び予測誤差情報の
低周波成分を供給する第1の切り換え手段と、前記分離
手段により分離された動画像の追加情報を復号する第3
の復号手段と、前記第1の復号手段により復号された画
像のエッジ情報の低周波成分を順次抽出する(n−1)
(n≧2の任意の正の整数)段の縦続接続された低域通
過手段と、前記第1の復号手段により復号された画像の
エッジ情報及び前記各段の低域通過手段の出力をそれぞ
れ累積してエッジの高周波成分を合成することによって
ウェーブレット変換係数に変換するn段の波形合成手段
と、前記第2の復号手段により復号された予測誤差情報
の低周波成分と前記各段の波形合成手段より出力される
ウェーブレット変換係数とに対して順次ウェーブレット
逆変換するn段のウェーブレット逆変換手段と、前記動
き補償予測手段または前記第3の復号手段からの動き動
き情報に基づいて、前記ウェーブレット逆変換手段によ
り復号された現画像の予測誤差情報と、記憶手段に格納
されている前画像とを用いて、現画像を動き補償補間に
より復元する動き補償補間手段と、前記第3の復号手段
と前記動き補償予測手段のいずれかを切り換えて前記動
き補償補間手段に接続し、この動き補償補間手段に対し
て動き情報を供給する第2の切り換え手段と、前記動き
補償補間手段から出力された画像情報を格納する記憶手
段とを備えている。
【0032】
【作用】第1の発明の画像符号化装置によれば、n(n
≧1の任意の正の整数)段の縦続接続されたスムージン
グフィルタにより、入力画像の低周波数成分を取り出
し、エッジ検出手段により、入力画像のエッジを検出す
る。サンプリング手段により、最終段のスムージングフ
ィルタの出力画像をダウンサンプリングして圧縮する。
符号化手段により、エッジ検出手段から出力された画像
のエッジ情報を符号化し、ダウンサンプリングされた画
像を符号化する。
【0033】第2の発明によれば、n(n≧1の任意の
正の整数)段の縦続接続された2次元低域通過手段によ
り、入力画像の低周波数成分を取り出し、エッジ検出手
段により、入力画像の横方向及び縦方向の画素が形成す
るエッジ位置及びその大きさを隣接画素間の濃度値の差
分値の大きさによって検出する。符号化手段により、エ
ッジ検出手段から出力された画像のエッジ情報を符号化
し、画像の低周波成分を符号化する。復号手段により画
像のエッジ情報と画像の低周波成分を復号する。(n−
1)段の縦続接続された低域通過手段により、復号手段
で復号された画像のエッジ情報又は前段の低域通過手段
によって出力された画像のエッジ情報の低周波成分を取
り出す。この低域通過手段と波形合成手段とを組み合わ
せることによって取り出される画像のエッジ情報の高周
波成分で、帯域分割されて出力される。n段の波形合成
手段により、復号手段で復号された画像のエッジ情報又
は各段の低域通過手段の出力を画像の高周波成分に合成
する。n段のウェーブレット逆変換手段により、各段の
波形合成手段から出力される高周波成分と後段のウェー
ブレット逆変換手段から出力される低周波成分とに対し
てウェーブレット逆変換する。
【0034】第3の発明によれば、1次元低域通過手段
によってディジタル画像の縦方向及び横方向の低周波成
分をそれぞれ独立して抽出するようにしているので、縦
方向、横方向および斜め方向のエッジを検出できる。
【0035】第4の発明によれば、前記符号化手段に第
1、第2の動き補償予測手段を設けて、時間的に隣接し
て入力する動画像信号のエッジについての動き情報及び
動き補償後のエッジの予測誤差情報と、最終段の2次元
低域通過手段からの低周波成分に基づいて、時間的に隣
接して入力する動画像信号の低周波成分についての動き
情報及び動き補償後の低周波成分の予測誤差情報とを抽
出している。したがって、現画像の動き補償を行うこと
により、動画像を対象とする効率良い符号化を行える。
【0036】第5の発明によれば、入力端子とエッジ検
出手段との間に動き補償予測手段を設けているので、時
間的に隣接して入力する動画像の画像信号から動き情報
及び動き補償後の画像の予測誤差情報を抽出して、動画
像を対象とする効率良い符号化を行える。
【0037】第6の発明の画像復号化装置によれば、復
号手段により画像のエッジ情報と画像の低周波成分を復
号する。スムージングフィルタにより、復号手段で復号
された画像のエッジ情報の低周波成分を取り出す。この
スムージングフィルタと波形合成手段とを組み合わせる
ことによって取り出される画像のエッジ情報の高周波成
分で、帯域分割されて出力される。波形合成手段によ
り、復号手段で復号された画像のエッジ情報又はスムー
ジングフィルタの出力を画像の高周波成分に合成する。
補間手段により、復号手段で復号された画像の低周波成
分を所定のサイズにアップサンプリングする。ウェーブ
レット逆変換手段により、波形合成手段から出力される
高周波成分と補間手段から出力される低周波成分とに対
してウェーブレット逆変換する。
【0038】第7の発明によれば、復号手段により画像
のエッジ情報と画像の低周波成分を復号する。(n−
1)段の縦続接続された低域通過手段により、第1の復
号手段で復号された画像のエッジ情報又は前段の低域通
過手段によって出力された画像のエッジ情報の低周波成
分を取り出す。この低域通過手段と波形合成手段とを組
み合わせることによって取り出される画像のエッジ情報
の高周波成分で、帯域分割されて出力される。n段の波
形合成手段により、復号手段で復号された画像のエッジ
情報又は各段の低域通過手段の出力を画像の高周波成分
に合成する。n段のウェーブレット逆変換手段により、
各段の波形合成手段から出力される高周波成分と後段の
ウェーブレット逆変換手段から出力される低周波成分と
に対してウェーブレット逆変換する。
【0039】第8の発明によれば、前記復号手段におい
て動き補償補間手段と記憶手段とを有して、時間的に隣
接して入力する画像信号の前画像と現画像の間のエッジ
の動き情報に基づいて現画像のエッジの予測誤差情報と
前画像のエッジ情報とを用いて現画像のエッジ情報を動
き補償補間により復元するとともに、動き補償補間され
たエッジ情報を格納するようにしている。
【0040】第9の発明によれば、復号手段により画像
の横方向及び縦方向の画素が形成するエッジ位置及びそ
の大きさを隣接画素間の濃度値の差分値の大きさによっ
て検出して得られたエッジ情報と画像の低周波成分を復
号する。(n−1)段の縦続接続された低域通過手段に
より、復号手段で復号された画像のエッジ情報又は前段
の低域通過手段によって出力された画像のエッジ情報の
低周波成分を取り出す。この低域通過手段と波形合成手
段とを組み合わせることによって取り出される画像のエ
ッジ情報の高周波成分で、帯域分割されて出力される。
n段の波形合成手段により、復号手段で復号された画像
のエッジ情報又は各段の低域通過手段の出力を画像の高
周波成分に合成する。n段のウェーブレット逆変換手段
により、各段の波形合成手段から出力される高周波成分
と後段のウェーブレット逆変換手段から出力される低周
波成分とに対してウェーブレット逆変換する。さらに動
き補償補間手段により、時間的に隣接して入力する画像
信号の前画像と現画像の動き情報に基づいて現画像の予
測誤差情報と前画像とを用いて現画像を動き補償補間に
より復元するとともに、動き補償補間された画像情報を
記憶手段に格納する。
【0041】第10の発明の画像符号化復号化装置によ
れば、各段毎に奇数タップの偶対称なフィルタ係数を用
いて、低周波フィルタ処理して入力画像の低周波数成分
を取り出す。エッジ検出手段により、入力画像の横方向
及び縦方向の画素が形成するエッジ位置及びその大きさ
を隣接画素間の濃度値の差分値の大きさによって検出
し、第1の符号化手段により、エッジ検出手段で検出さ
れた画像のエッジ情報を符号化する。サンプリング手段
により、最終段のスムージングフィルタの出力画像をダ
ウンサンプリングし、第2の符号化手段により、ダウン
サンプリングされた画像を符号化する。多重化手段によ
り、第1の符号化手段で符号化された画像のエッジ情報
と第2の符号化手段で符号化された画像の低周波成分と
を多重化する。
【0042】分離手段により、多重化手段で多重化され
た画像信号を画像のエッジ情報と画像の低周波成分とに
分離し、第1の復号手段により、分離手段で分離された
画像のエッジ情報を復号し、第2の復号手段により、分
離手段で分離された画像の低周波成分を復号する。第2
のスムージングフィルタにより、画像のエッジ情報の低
周波成分を取り出す。
【0043】奇数タップの偶対称なフィルタと対をなす
高域通過フィルタを用いて入力画像をフィルタ処理した
高周波成分と画像のエッジと高域通過フィルタの係数と
の関係式が、エッジの構造をもとにして得られるので、
n段の波形合成手段により、この関係式に高域通過フィ
ルタの係数と第1の復号手段で復号された画像のエッジ
情報又は各段の第2のスムージングフィルタの出力とを
代入することにより、画像の横方向及び縦方向の高周波
成分に合成する。
【0044】補間手段により、第2の復号手段で復号さ
れた画像の低周波成分を所定のサイズにアップサンプリ
ングする。ウェーブレット逆変換手段により、第1の積
和演算(すなわち、後段のウェーブレット逆変換手段又
は補間手段から出力される画像の低周波成分と第1のス
ムージングフィルタのフィルタ係数の共役との積和演
算)と、第2の積和演算(すなわち、各段の波形合成手
段から出力される横方向及び縦方向の高周波成分と高域
通過フィルタのフィルタ係数の共役と式(1)に示す関
数F(ω)を奇数タップ長に逆フーリエ変換して得られ
るフィルタ係数との積和演算)を行う。そして、これら
の第1と第2の積和演算結果を加算して画像を復元す
る。
【0045】第11の発明によれば、偶数タップの偶対
称なフィルタと対をなす偶数タップの奇対称な高域通過
フィルタを用いて画像をフィルタ処理した高周波成分の
隣接画素の差分と画像のエッジと高域通過フィルタの係
数との関係式が、エッジ構造をもとにして得られる。そ
こで、n段の波形合成手段により、この関係式に、高域
通過フィルタの係数と第1の復号手段で復号された画像
のエッジ情報又は各段の第2のスムージングフィルタの
出力とを代入し、高周波成分の差分を求める。
【0046】そして、この差分を順次足し合わせること
により横方向及び縦方向の高周波成分に合成する。ウェ
ーブレット逆変換手段により、第1の積和演算(すなわ
ち、後段のウェーブレット逆変換手段又は補間手段から
出力される画像の低周波成分と第1のスムージングフィ
ルタのフィルタ係数の共役との積和演算)と、第2の積
和演算(すなわち、各段の波形合成手段から出力される
横方向及び縦方向の高周波成分と高域通過フィルタのフ
ィルタ係数の共役と式(2)に示す関数F(ω)を偶数
タップ長に逆フーリエ変換して得られるフィルタ係数と
の積和演算)とを行う。さらに、これらの第1と第2の
積和演算結果を加算し、画像を復元する。
【0047】第12の発明によれば、スイッチを切り換
えることによって、画像符号化装置或いは画像復号化装
置として動作させて、第1の入力端子に入力した動画像
データを符号化された多重化信号に変換して、入出力装
置に出力し、また、第2の入力端子に入力した符号化及
び多重化された画像信号から現画像の予測誤差を動き補
補間した画像データを入出力装置に出力できる。
【0048】第13の発明によれば、前記画像符号化復
号化装置の動き補償予測手段とエッジ検出手段との間
に、入力画像の誤差情報が入力される1次元低域通過手
段を配置している。これによってディジタル画像の縦方
向及び横方向の低周波成分をそれぞれ独立して抽出する
ようにしているので、縦方向、横方向および斜め方向の
エッジを検出できる。
【0049】
【実施例】以下、本発明の実施例を図面を参照しながら
説明する。
【0050】2次元のディジタル画像は整数値i、jに
対してi行、j列で構成される画素データx(i,j)
により表現される。この場合に、画素データは例えば画
像の濃度値を表す。
【0051】ハイパスフィルタとは画像を構成する画素
データの小さな変化を強調して、大きな変化を抑制する
フィルタである。ローパスフィルタとは、反対に画素デ
ータの大きな変化を強調して、小さな変化を抑制するフ
ィルタである。平滑化フィルタ(スムージングフィル
タ)とは、ローパスフィルタの一種であって、画像の各
画素データを一定の領域で平均化して出力するフィルタ
である。これらのフィルタの特性は、ディジタルフーリ
エ変換によって表現される。
【0052】実施例1. 図1の構成 図1は、本発明の第1の実施例を示す画像符号化装置の
機能ブロック図である。
【0053】図に示す様に、この符号化装置は、入力端
子10、エッジ検出手段21、n段縦続接続されたスム
ージング(平滑化)フィルタ22−1〜22−n、サンプ
リング手段23、及び一対の符号化手段24−1,24
−2と多重化手段25とを有する符号化回路部41から
構成されている。ディジタル画像信号X0 は、それぞれ
入力端子10から平滑化フィルタ22−1とエッジ検出
手段21への入力である。本実施例の画像符号化装置が
従来の画像符号化装置と異なる点は、従来のウェーブレ
ット変換手段1−i及びピーク検出手段2−iを無く
し、その代わりに入力画像の低周波成分を取り出すn段
の縦続接続されたスムージングフィルタ22−iと入力
画像のエッジを検出するエッジ検出手段21を設け、装
置の構成を簡単にしたことである。
【0054】この画像符号化装置では、入力画像X0
エッジ情報S0 を検出するエッジ検出手段21と、その
入力画像X0 の低周波成分X1 を抽出する初段のスムー
ジングフィルタ22−1とを有している。スムージング
フィルタ22−1の出力側には、2段目のスムージング
フィルタ22−2が接続され、そのスムージングフィル
タ22−2の出力側には、3段目のスムージングフィル
タ22−3が接続されるという具合に、n段(n≧1)
の各スムージングフィルタ22−i(i=1,…,n)
が縦続接続されている。
【0055】最終段のスムージングフィルタ22−nの
出力側には、画像の低周波成分Xnをダウンサンプリン
グするサンプリング手段23が接続され、さらにそのサ
ンプリング手段23の出力側に、サンプリングされた画
像の低周波成分Rを符号化する第2の符号化手段24−
2が接続されている。一方、エッジ検出手段21の出力
側には、画像のエッジ情報S0 を符号化する第1の符号
化手段24−1が接続されている。
【0056】第1の符号化手段24−1と第2の符号化
手段24−2の出力側には、符号化されたエッジ情報C
s と符号化された低周波成分Cr とを多重化する多重化
手段25が接続されている。そして、この多重化手段2
5の出力端子から出力される符号化データCを、例えば
通信回線や半導体記憶装置などの入出力装置30に出力
するようになっている。
【0057】図1の動作 次に、図1の画像符号化装置の動作の説明をする。
【0058】入力端子より入力される2次元のディジタ
ル画像X0 がエッジ検出手段21及び初段のスムージン
グフィルタ22−1に入力される。
【0059】スムージングフィルタ22−1では、低域
通過フィルタを掛け、次段のスムージングフィルタ22
−2に出力する。スムージングフィルタ22−1が有す
る低域通過フィルタとしては、次式(3)、(4)、及
び、(5)又は(6)を満たす偶対称フィルタを用い
る。
【0060】 |H(0)|=1 ・・・(3) |H(ω)|2 +|H(ω+π)|2 =1 ・・・(4) ho(−k)=ho(k) (k=1,2,…,N) ・・・(5) he(−k)=he(k−1) (k=1,2,…,N) ・・・(6) ここで、ωは角周波数を表し、H(ω)は低域通過フィ
ルタの周波数特性を表す。ho(k)は奇数タップの低
域通過フィルタのフィルタ係数を表し、he は偶数タッ
プの低域通過フィルタのフィルタ係数を表す。N はフィ
ルタのタップ数を決定する任意の正整数であり、奇数タ
ップの場合にはフィルタのタップ数は(2N+1)となり、
偶数タップの場合にはフィルタのタップ数は(2N)とな
る。式(3)は直流成分は全て通過することを示す。式
(4)は低周波成分と高周波成分により画像を再構成す
るために必要な条件である。
【0061】式(3)、(4)、及び(5)で表される
奇数タップの低域通過フィルタを用いると、スムージン
グフィルタ22−1の出力は、次式(7)で表される。
また、式(3)、(4)、及び(6)で表される偶数タ
ップの低域通過フィルタを用いると、スムージングフィ
ルタ22−1の出力は、次式(8)で表される。
【0062】
【数1】 ここで、x(*)は入力されるディジタル画像の画素値
を表し、その画素位置は簡単のために1次元で表してい
る。また、注目画素について、左又は上に画素が存在し
ない場合には、その画素については注目画素に関して対
称な位置の画素を代用するものとする。
【0063】エッジ検出手段21では、画像の横方向及
び縦方向のエッジを例えば、次のような方法で検出し、
該エッジの位置及び大きさの情報S0 を第1の符号化手
段24−1に出力する。
【0064】図6は、画像のエッジの構造を示す図であ
る。この図に示すように、画像のエッジは2直線L1 と
L2 の交わりの頂点Pにおいて検出されるものと仮定で
きるので、直線L1 と水平線L3 との角度をθ1 、直線
L2 と水平線L3 との角度をθ2 とするとき、検出され
るエッジの大きさは(Θ=tanθ1 +tanθ2 )で
表すことができる。
【0065】このように、画像のエッジが2直線L1 と
L2 の交わりの頂点Pにできると仮定できるので、直線
L1 と水平線L3 との角度をθ1 、直線L2 と水平線L
3 との角度をθ2 とすると、該エッジの大きさを(Θ=
tanθ1 +tanθ2 )で表すことができる。このエ
ッジの横方向及び縦方向の大きさは、頂点Pの近傍画素
を用いてそれぞれ以下のようにして求められる。ここ
で、画像のエッジとは、入力画像をある直線で切断した
時の注目画素と隣接する画素との濃度値の傾きの急峻な
ものをいう。
【0066】横方向のエッジを検出する場合には、まず
入力画像X0 の注目画素x(i,j)の横方向の隣合う
画素間で以下の式(9)の演算をし、差分sh (i,
j)を求める。この差分値sh (i,j)の絶対値と閾
値Tを比較し、閾値Tよりも大きいものをエッジとして
抽出する。
【0067】 sh (i,j)=x(i+1,j)−2x(x,y)+x(i−1,j) ・・・(9) ここで、x(i−1,j)−x(i,j)が前記tan
θ1 に対応し、x(i+1,j)−x(i,j)が前記
tanθ2 に対応する。
【0068】縦方向のエッジを求める場合も横方向と同
様であるが、式(9)の代わりに次式(10)を用い
る。
【0069】 sv (i,j)=X(i,j+1)−2x(x,y)+x(i,j−1) ・・・(10) 式(9)及び(10)により検出されたエッジの位置と
横方向及び縦方向のエッジの情報S0 は、そのまま第1
の符号化手段24−1に出力することも可能であるが、
式(11)及び(12)のようにエッジの大きさと方向
に変換して出力することも可能である。
【0070】 s(i,j)=(sh (i,j)2 +sv (i,j)21/2 ・・・(11) θ(i,j)=arctan(sv (i,j)/sh (i,j))・・・(12) また、各段のスムージングフィルタ22−i(i≧2)
は、初段のスムージングフィルタ22−1と同じ動作を
するが、このスムージングフィルタ22−iの低域通過
フィルタのカットオフ周波数特性は、前段のスムージン
グフィルタ22−(i−1)の低域通過フィルタのカッ
トオフ周波数特性の半分である。このような低域通過フ
ィルタは例えば、前段の低域通過フィルタのフィルタ係
数を1個置きにゼロを1個挿入することにより構成する
ことができる。このようなスムージングフィルタ22−
iのタップ数は、前段のスムージングフィルタのタップ
数を2m+1(奇数タップ数)又は2m(偶数タップ
数)とすると、4m+1又は4mとなる。以下、説明を
簡単にするために、各段で共通に2N+1(奇数タップ数の
場合)又は2N(偶数タップ数の場合)として記載する。
【0071】サンプリング手段23では、最終段のスム
ージングフィルタ22−nのフィルタの出力Xn をダウ
ンサンプリングし、該サンプリング結果Rを第2の符号
化手段24−2に出力する。サンプリングの手法として
は、例えば、1/n2 のスケールにダウンサンプリング
する場合に、n×nの2次元入力データに対して1個の
代表値(中心値あるいは平均値)を出力する方法があ
る。
【0072】第1の符号化手段24−1では、入力され
る画像のエッジ情報S0 を圧縮符号化し、その符号Cs
を多重化手段25に出力する。圧縮符号化手法として
は、例えば、エッジの位置を1次元あるいは2次元ラン
レングス符号化、またはチェーン符号化し、エッジの大
きさを順次差分符号化する方法がある。また、式(1
1)及び(12)のような2次元のエッジの大きさ及び
方向が入力された場合には、エッジの大きさのみを前記
符号化方法で符号化して出力し、エッジの方向を連続す
るエッジ点の進行方向に垂直な方向で符号化することも
できる。
【0073】第2の符号化手段24−2では、ダウンサ
ンプリングされた画像データRを、例えば2次元離散コ
サイン変換(DCT)し、その変換係数を量子化し、可
変長符号化して、多重化手段25に出力する。または、
ダウンサンプリングされた画像データRを予測符号化
(DPCM)などして多重化手段25に出力する。
【0074】多重化手段25では、第1の符号化手段2
4−1及び第2の符号化手段24−2により符号化され
たエッジ情報Cs 及び低周波成分Cr を多重化して出力
する。
【0075】以上のように、第1の実施例は第1の発明
に対応するものであって、次のような利点がある。
【0076】従来の画像符号化装置では、ウェーブレッ
ト変換手段1−i(i=1,…,n)が必要であった
が、本実施例では、低域通過フィルタのみとなり、また
エッジ検出手段21も1段のみとなっているので、画像
符号化装置の構成を簡単にすることができる。また、従
来のウェーブレット変換手段1−iは、後続のピーク検
出手段2−iでピークを検出するために、そのウェーブ
レット関数をスムージング関数の1次微分あるいは2次
微分関数とする必要があったが、本実施例ではその必要
がなく、ウェーブレット関数を幅広く選択して、その処
理の手順を簡単にすることができる。
【0077】実施例2. 図7の構成 図7は、本発明の第2の実施例を示す画像復号化装置の
機能ブロック図である。
【0078】図に示す様に、この復号化装置は、分離手
段31とエッジ情報の復号手段32−1と低周波数情報
の復号手段32−2とを有する復号回路部42、(n−
1)段縦続接続されたスムージング(平滑化)フィルタ3
3−2〜33−n、波形合成手段34−1〜34−n、
補間手段35及びウェーブレット逆変換手段36−1〜
36−nから構成されている。分離手段31は、例えば
通信回線や半導体記憶装置などの入出力装置30と接続
され、符号化及び多重化された画像信号Cが入力するよ
うになっている。本実施例の画像復号化装置が従来の画
像復号化装置と異なる点は、分配手段13と、n段のウ
ェーブレット写像手段14−i、n段のウェーブレット
逆変換手段15−i、n段のウェーブレット変換手段1
5−i、及びn段のピーク写像手段17−iを無くし、
その代わりに(n−1)段のスムージングフィルタ33
−i、n段の波形合成手段34−i、及びn段のウェー
ブレット逆変換手段36−iを設け、装置の構成を簡単
にしたことである。
【0079】この画像復号化装置では、符号化及び多重
化された画像信号Cをエッジ情報Cs と低周波成分Cr
に分離する分離手段31を有している。分離手段31の
出力側には、符号化されたエッジ情報Cs を復号する第
1の復号手段32−1と符号化された画像の低周波成分
Cr を復号する第2の復号手段32−2とが接続されて
いる。第2の復号手段の32−2の出力側には、図1中
のサンプリング手段23を補間する補間手段35が接続
されている。
【0080】第1の復号手段32−1の出力側には、エ
ッジ情報S0′から高周波成分Y0を合成する波形合成手
段34−1、及びエッジ情報S0′の低周波成分 S1
抽出する初段のスムージングフィルタ33−2が接続さ
れている。スムージングフィルタ33−2の出力側に
は、波形合成手段34−2及び2段目のスムージングフ
ィルタ33−3が接続され、スムージングフィルタ33
−3の出力側には、波形合成手段34−3及び3段目の
スムージングフィルタ33−4が接続されるといった具
合に、(n−1)段のスムージングフィルタ33−i
(i=2,…,n)が縦続接続されている。スムージン
グフィルタ33−iは、図1中のスムージングフィルタ
22−iと同じ特性を持つ低域通過フィルタである。ま
た、スムージングフィルタ33−iの出力側には、この
スムージングフィルタ33−iの出力Si-1を画像の高
周波成分に合成する波形合成手段34−iが接続されて
いる。最終段のスムージングフィルタ33−nの出力側
には、波形合成手段34−nのみが接続されている。
【0081】第2の復号手段32−2の出力側には、復
号された画像の低周波成分R′を補間する補間手段35
が接続されている。また、各波形合成手段34−i(i
=1〜n)の出力側には、これらの波形合成手段34−
iより出力される高周波成分Yi-1、及び後段のウェー
ブレット逆変換手段36−(i+1)の出力Xi′、又
は補間手段35からの出力Xn′に対してウェーブレッ
ト逆変換するウェーブレット逆変換手段36−iが接続
されている。ウェーブレット逆変換手段36−i(i=
2〜n)の出力側には、前段のウェーブレット逆変換手
段36−(i−1)が接続されている。初段のウェーブ
レット逆変換手段36−1の出力端子から、復号された
画像データX0′を、例えば画像表示装置や半導体記憶
装置などの入出力装置37に出力するようになってい
る。
【0082】図7の動作 次に、図7の画像復号化装置の動作の説明をする。
【0083】図1中の第1の符号化手段24−1及び第
2の符号化手段24−2により符号化され、多重化手段
25により多重化された画像信号Cが、入出力装置30
より分離手段31に入力される。
【0084】分離手段31では、図1中の多重化手段2
5と逆の手法により、エッジ情報Cs 及び低周波成分C
r に分離し、エッジ情報Cs は第1の復号手段32−1
に出力し、低周波成分Cr は第2の復号手段32−2に
出力する。
【0085】第2の復号手段32−2では、符号化され
た画像の低周波成分Cr に対して、図1中の第2の符号
化手段24−2と逆の手法、例えば第2の符号化手段2
4−2で2次元離散コサイン変換と量子化と可変長符号
化を用いた場合には、可変長復号、逆量子化、及び逆離
散コサイン変換を順次施して、画像の低周波成分R′を
復元し、補間手段35に出力する。
【0086】補間手段35では、第2の復号手段32−
2により復号された画像の低周波成分R′に対して、図
1中のサンプリング手段23と逆の処理で画像を元のサ
イズにアップサンプリングし、最終段のウェーブレット
逆変換手段36−nに出力する。例えば、サンプリング
手段23において、n×nの2次元入力データを1個の
代表値で出力した場合、補間手段35ではその代表値を
n×n個コピーし、n×nの2次元データに伸張して出
力する。
【0087】第1の復号手段32−1では、符号化され
た画像のエッジ情報Cs に対して、図1中の第1の符号
化手段24−1と対をなす復号方法で復号し、エッジの
位置及び大きさの情報S0′を初段のスムージングフィ
ルタ33−2及び波形合成手段34−1に出力する。例
えば、第1の符号化手段24−1でエッジの位置をラン
レングス符号化あるいはチェーン符号化し、エッジの大
きさを順次差分符号化した場合には、該復号手段32−
1では、該ランレングス符号あるいはチェーン符号から
エッジの位置を算出し、エッジの大きさを順次予測復号
してスムージングフィルタ33−2及び波形合成手段3
4−1に出力する。
【0088】スムージングフィルタ33−i(2≦i≦
n)では、図1中のスムージングフィルタ22−iと同
じ動作をし、その結果Si-1をそれぞれ次段のスムージ
ングフィルタ33−(i+1)及び波形合成手段34−
iに出力する。但し、最終段のスムージングフィルタ3
3−nの結果Sn-1は、波形合成手段34−nのみに出
力される。スムージングフィルタ33−iのカットオフ
周波数は、前段のスムージングフィルタ33−(i−
1)のカットオフ周波数の半分となる。そして、このス
ムージングフィルタ33−iの処理と、後述する波形合
成手段34−iの高周波成分を合成する処理とを組み合
わせることにより、高周波成分Yi-1が出力される周波
数帯域が、各段のスムージングフィルタ33−iと波形
合成手段34−iとによって分割される。これにより、
高周波成分をウェーブレット逆変換するウェーブレット
逆変換手段36−iが選択される。
【0089】波形合成手段34−iでは、第1の復号手
段32−1より出力される画像のエッジ情報S0′、又
はスムージングフィルタ33−i(i≦n−1)より出
力される画像のエッジ情報Si-1に対して、それぞれ横
方向及び縦方向の高周波成分Yi-1に合成し、ウェーブ
レット逆変換手段36−iに出力する。このような波形
合成方法としては、例えば、以下のような方法がある。
【0090】図1中のスムージングフィルタ22−iの
低域通過フィルタと対をなす高域通過フィルタは、低域
通過フィルタのフィルタ係数ho (k)(奇数タップの
場合)又はhe (k)(偶数タップの場合)を用いて、
次式(13)又は(14)のように求められる。
【0091】 go(k)=(−1)k ho (−k) (K=-N, …,N) ・・・(13) ge(k)=(−1)k he (−k) (K=-N+1, …,N)・・・(14) 式(13)及び(14)の周波数特性をG(ω)とする
と、次式(15)が成り立つ。
【0092】 |G(ω)|2 =|H(ω+π)|2 ・・・(15) 式(15)を式(4)に代入することにより、次式(1
6)が得られる。
【0093】 |H(ω)|2 +|G(ω)|2 =1 ・・・(16) そして、式(15)に示される偶対称なフィルタ係数又
は(16)に示される奇対称なフィルタ係数を用いる
と、入力画像に対する高域通過フィルタ処理は次式(1
7)(奇数タップの場合)、又は(18)(偶数タップ
の場合)のように表される。
【0094】
【数2】 ここで、go (k)は奇数タップの高域通過フィルタの
フィルタ係数を表し、ge (k)は偶数タップの高域通
過フィルタのフィルタ係数を表す。x(*)は入力画像
である。
【0095】波形合成手段34−iでは、図1中のスム
ージングフィルタ22−iのタップ数が奇数タップ又は
偶数タップの場合に応じて、以下の処理を行う。
【0096】まず、奇数タップの場合には、式(16)
に図6のエッジ構造(θ1 とθ2 の角度を持ち、Pを始
点とする2直線)を代入すると、次式(19)が成り立
つ。
【0097】
【数3】 ここで、t≧0である。
【0098】次式(20),(21)を用いると、式
(19)の右辺の第1項がゼロとなって、式(22)が
成り立つ。
【0099】
【数4】 一方、同様に次式(23)が成り立つ。
【0100】
【数5】 よって、エッジとその高周波成分との関係は、次式(2
4)のように表される。
【0101】
【数6】 ここで、高周波成分y(P±t)はエッジ点Pを中心と
し±N の幅の広がりを持ち、その他の点ではゼロとな
る。また、この高周波成分は周波数は低くなるにつれて
広がりの幅が大きくなり、高周波成分の周波数が低くな
っても、エッジ点の近傍の高周波成分が抽出される。
【0102】そこで、波形合成手段34−iでは、式
(24)にエッジ情報sh (i,j)及びsv (i,
j)をそれぞれ代入して、該エッジ点の近傍の横方向及
び縦方向の高周波成分をそれぞれ式(25)及び(2
6)のように求める。
【0103】
【数7】 一方、偶数タップの場合、図5に示すエッジとその高周
波成分との関係は、次式(27)のように求められる。
【0104】
【数8】 そこで、波形合成手段34−iでは、まず、式(27)
にエッジ情報sh (i,j)及びsv (i,j)を代入
して、式(28)及び(29)に示す高周波成分の差分
を求める。
【0105】
【数9】 そして、波形合成手段34−iでは、差分を式(30)
及び(31)のように順次足し合わせていくことによ
り、該エッジ点の近傍における横方向及び縦方向の高周
波成分が得られる。
【0106】 yh (i,j)=ysh(i,j)+yh (i−1,j) ・・・(30) yv (i,j)=ysv(i,j)+yv (i,j−1) ・・・(31) エッジ点は複数存在するので、そのエッジ点を中心とし
た高周波成分の横方向又は縦方向の広がりは互いに重な
り合う。そこで、波形合成手段34−iでは、さらに、
すべてのエッジ点の横方向及び縦方向の高周波成分が重
なり合う点を足し合わせて全体の横方向及び縦方向の高
周波成分Yi-1を構成し、ウェーブレット逆変換手段3
6−iに出力する。
【0107】各段のウェーブレット逆変換手段36−i
では、次段のウェーブレット変換手段36−(i+1)
により入力される画像の低周波成分Xi′(最終段のウ
ェーブレット変換手段36−nでは、補間手段35によ
り入力される画像の低周波成分Xn′)、及び波形合成
手段34−iにより入力される横方向及び縦方向の高周
波成分Yi-1に対して、奇数タップのフィルタの場合
は、次の式(32)の1項で示される低域通過フィル
タ、2項及び3項で示される横方向及び縦方向の高域通
過フィルタを用いて、画像をウェーブレット逆変換し、
その結果Xi-1′を前段のウェーブレット逆変換手段3
6−(i−1)へ、もしくは最初段のウェーブレット逆
変換手段36−1においては、復元画像X0′として外
部の入出力手段37へ出力する。
【0108】偶数タップフィルタの場合は、次式(3
3)の1項で示される低域通過フィルタ、2項及び3項
で示される横方向及び縦方向の高域通過フィルタを用い
て、画像をウェーブレット逆変換し、その結果s36−
iを前段のウェーブレット逆変換手段36−(i−1)
へ、もしくは最初段のウェーブレット逆変換手段36−
1においては、復元画像X0′として外部の入出力手段
37へ出力する。
【0109】
【数10】 ここで、fo (*)及びfe (*)は、次式(34)の
F(ω)をそれぞれ奇数タップ長及び偶数タップ長に逆
フーリエ変換して求められた低域通過フィルタのフィル
タ係数である。また、式(32)及び(33)のフィル
タ係数ho (*)又はhe (*)及び、go (*)又は
ge (*)として、共役なフィルタ係数が使用される
が、式(5)、(6)、(13)、(14)を用いて共
役なフィルタ係数に代入し、式を整理している。
【0110】 F(ω)=(1+|H(ω)|2 )/2 ・・・(34) 次に、奇数タップの場合に、式(32)で示されるウェ
ーブレット逆変換画像x′(i,j)が、図1中の入力
画像x(i,j)の復元画像となっていることを以下に
示す。
【0111】ウェーブレット変換式は、式(35),
(36),(37)で表される。
【0112】
【数11】 ここで、x(i,j)は、復元したい元の画像である。
【0113】式(35),(36),(37)で表され
るウェーブレット変換を、式(32)で表されるウェー
ブレット逆変換を行った結果が、次式(38)で表され
る。
【0114】
【数12】 ここで、フィルタ係数の* は共役を表す。
【0115】式(35),(36),(37)のウェー
ブレット変換式を、式(38)の逆変換式に代入して周
波数領域に変換する。ウェーブレット逆変換により画像
が再構成されるためには、次式(39)が成り立てばよ
い。
【0116】 X(ωx ,ωy )=X(ωx ,ωy )|G(ωx )|2 F(ωx ) +X(ωx ,ωy )|G(ωy )|2 F(ωy ) +X(ωx ,ωy )|H(ωx )|2 |H(ωy )|2 ・・・(39) ここで、ωx 及びωy は横方向及び縦方向の角周波数を
表す。
【0117】H(ωx )=H(ωy )、G(ωx )=G
(ωy )、F(ωx )=F(ωy )を代入すると、次式
(40)が成り立つ。
【0118】 2F(ω)|G(ω)|2 =1−|H(ω)|4 ・・・(40) 式(40)に式(16)を代入すると、式(34)が成
り立つ。
【0119】すなわち、式(32)で示されるウェーブ
レット逆変換により得られた画像は、もとの画像を完全
に再構成したものとなっていることが分かる。
【0120】また、同様に式(33)で示されるウェー
ブレット逆変換により得られた画像は、もとの画像を完
全に再構成したものとなっていることが分かる。
【0121】以上のように、第2の実施例は第6の発明
に対応するものであって、次のような利点がある。
【0122】従来の画像復号化装置では、ピーク情報を
ウェーブレット変換領域へ写像するためのウェーブレッ
ト写像手段14−i、及びウェーブレット変換係数をピ
ーク情報領域へ写像するためのピーク写像手段17−i
がそれぞれn段必要で、また再生画像が収束と判断され
るまで処理を繰り返す必要があり、負担が大きい。これ
に対し、本実施例の画像復号化装置では、複数個の加算
器によって簡単に構成することのできる波形合成手段3
4−iがn段あれば良く、装置が簡単な上に、繰り返し
処理の必要もなく、高速にかつ正確に画像を復元でき
る。
【0123】実施例3. 図8の構成 図8は、本発明の第3の実施例を示す画像符号化装置の
機能ブロック図である。
【0124】図に示す様に、この画像符号化装置は、入
力端子10、エッジ検出手段21、n段縦続接続された
2次元ローパス(低域通過)フィルタ26−1〜26−
n、及び一対の符号化手段24−1,24−2と多重化
手段25とを有する符号化回路部43から構成されてい
る。ディジタル画像信号X0 は、それぞれ入力端子10
から低域通過フィルタ26−1とエッジ検出手段21へ
の入力である。本実施例の画像符号化装置が実施例1の
画像符号化装置と異なる点は、入力画像の低周波成分を
取り出すn段の縦続接続されたスムージングフィルタ2
2−iとサンプリング手段23の代わりに、入力画像の
低周波数成分を取り出すn(n≧1の任意の正の整数)
段の縦続接続された2次元低域通過手段であるローパス
フィルタ26を設け、装置の構成をさらに簡単にしたこ
とである。
【0125】この画像符号化装置では、最終段のローパ
スフィルタ26−nの出力側には、画像の低周波成分X
nを符号化する第2の符号化手段24−2が接続されて
いる。一方、エッジ検出手段21の出力側には、画像の
エッジ情報S0 を符号化する第1の符号化手段24−1
が接続されている。
【0126】第1の符号化手段24−1と第2の符号化
手段24−2の出力側には、符号化されたエッジ情報C
s と符号化された低周波成分Cr とを多重化する多重化
手段25が接続されている。そして、この多重化手段2
5の出力端子から出力される符号化データCを、例えば
通信回線や半導体記憶装置などの入出力装置30に出力
するようになっている。
【0127】図8の動作 次に、図8の画像符号化装置の動作の説明をする。
【0128】入力端子より入力される2次元のディジタ
ル画像X0 がエッジ検出手段21及び初段のローパスフ
ィルタ26−1に入力される。
【0129】ローパスフィルタ26−1は、例えば図1
0に示すように、縦方向の1次元低域通過フィルタ(V
LPF)101、縦方向のサンプラー(VSUB)10
2、横方向の1次元低域通過フィルタ(HLPF)10
3及び横方向のサンプラー(HSUB)104から構成
されている。VLPF101では、入力される2次元デ
ィジタル画像に対して、まず入力画像の縦方向に対して
1次元の低域通過フィルタが掛り、次に、VSUB10
2では入力画像の縦方向のデータから一個置きに1個を
間引くサブサンプリングが実行される。また、HLPF
103では、入力画像の横方向に対して1次元の低域通
過フィルタが掛り、更に、HSUB104では入力画像
の横方向のデータから一個置きに1個を間引くサブサン
プリングが実行される。その結果、ローパスフィルタ2
6−1からは入力画像X0 の最初の低周波成分X1 が次
段のローパスフィルタ26−2に出力される。ローパス
フィルタ26−1が有する低域通過フィルタVLPF、
HLPFとしては、例えば式(3)、(4)、及び、
(5)又は(6)を満たす偶対称フィルタを用いる。
【0130】エッジ検出手段21では、画像の横方向及
び縦方向のエッジを例えば、実施例1で説明したような
方法で検出し、該エッジの位置及び大きさの情報S0
第1の符号化手段24−1に出力する。
【0131】また、各段のローパスフィルタ26−i
(i≧2)は、初段のローパスフィルタ26−1と同じ
ものである。
【0132】最終段のローパスフィルタ26−nのフィ
ルタの出力Xn は、第2の符号化手段24−2に出力さ
れる。
【0133】第1の符号化手段24−1では、入力され
る画像のエッジ情報S0 を圧縮符号化し、その符号Cs
を多重化手段25に出力する。圧縮符号化手法として
は、例えば、エッジの位置を1次元あるいは2次元ラン
レングス符号化、またはチェーン符号化し、エッジの大
きさを順次差分符号化する方法がある。
【0134】第2の符号化手段24−2では、n段の低
域通過フィルタ処理された画像がXn として入力され、
これを例えば2次元離散コサイン変換(DCT)し、そ
の変換係数を量子化し、可変長符号化して、多重化手段
25に出力する。または、予測符号化(DPCM)など
を施してから多重化手段25に出力する。
【0135】多重化手段25では、第1の符号化手段2
4−1及び第2の符号化手段24−2により符号化され
たエッジ情報Cs 及び低周波成分Cr を多重化して出力
する。
【0136】以上のように構成され、動作する第3の実
施例の画像符号化装置は第3の発明に対応するものであ
って、次のような利点がある。
【0137】従来の画像符号化装置では、ウェーブレッ
ト変換手段1−i(i=1,…,n)が必要であった
が、本実施例では、低域通過フィルタのみとなり、また
エッジ検出手段21も1段のみとなっているので、画像
符号化装置をより簡単に構成することができる。また、
従来のウェーブレット変換手段1−iは、後続のピーク
検出手段2−iでピークを検出するために、ウェーブレ
ット関数がスムージング関数の1次微分あるいは2次微
分関数とする必要があったが、本実施例ではその必要が
なくウェーブレット関数を幅広く選択することができ
る。
【0138】実施例4. 図9の構成 図9は、本発明の第4の実施例を示す画像復号化装置の
機能ブロック図である。
【0139】図に示す様に、この復号化装置は、分離手
段31とエッジ情報の復号手段32−1と低周波数情報
の復号手段32−2とを有する復号回路部44、(n−
1)段縦続接続されたローパス(低域通過)フィルタ38
−2〜38−n、波形合成手段34−1〜34−n及び
ウェーブレット逆変換手段36−1〜36−nから構成
されている。分離手段31は、例えば通信回線や半導体
記憶装置などの入出力装置30と接続され、符号化及び
多重化された画像信号Cが入力するようになっている。
本実施例の画像復号化装置が実施例2の画像復号化装置
と異なる点は、補間手段35を無くしていること、及び
(n−1)段のスムージングフィルタ33−iに代え
て、復号された画像のエッジ情報の低周波成分を順次抽
出する(n−1)(n≧1の任意の正の整数)段の低域
通過手段としてローパスフィルタ38−2〜38−nを
設け、装置の構成と処理の手順を簡単にしたことであ
る。
【0140】この画像復号化装置では、符号化及び多重
化された画像信号Cをエッジ情報Cs と低周波成分Cr
に分離する分離手段31を有している。分離手段31の
出力側には、符号化されたエッジ情報Cs を復号する第
1の復号手段32−1と符号化された画像の低周波成分
Cr を復号する第2の復号手段32−2とが接続されて
いる。
【0141】第1の復号手段32−1の出力側には、エ
ッジ情報S0′から高周波成分Y0を合成する波形合成手
段34−1、及びエッジ情報S0′の低周波成分 S1
抽出する初段のローパスフィルタ38−2が接続されて
いる。ローパスフィルタ38−2の出力側には、波形合
成手段34−2及び2段目のローパスフィルタ38−3
が接続され、ローパスフィルタ38−3の出力側には、
波形合成手段34−3及び3段目のローパスフィルタ3
8−4が接続されるといった具合に、(n−1)段のロ
ーパスフィルタ38−i(i=2,…,n)が縦続接続
されている。ローパスフィルタ38−iは、図8中のロ
ーパスフィルタ26−iと同じ特性を持つ低域通過フィ
ルタである。また、ローパスフィルタ38−iの出力側
には、このローパスフィルタ38−iの出力Si-1を画
像の高周波成分に合成する波形合成手段34−iが接続
されている。最終段のローパスフィルタ38−nの出力
側には、波形合成手段34−nのみが接続されている。
【0142】各波形合成手段34−i(i=1〜n)の
出力側には、これらの波形合成手段34−iより出力さ
れる高周波成分Yi-1、及び後段のウェーブレット逆変
換手段36−(i+1)の出力Xi′、又は第2の復号
手段32−2からの出力Xn′に対してウェーブレット
逆変換するウェーブレット逆変換手段36−iが接続さ
れている。ウェーブレット逆変換手段36−i(i=2
〜n)の出力側には、前段のウェーブレット逆変換手段
36−(i−1)が接続されている。初段のウェーブレ
ット逆変換手段36−1の出力端子から、復号された画
像データX0′を、例えば画像表示装置や半導体記憶装
置などの入出力装置37に出力するようになっている。
【0143】図9の動作 次に、図9の画像復号化装置の動作の説明をする。
【0144】図8中の第1の符号化手段24−1及び第
2の符号化手段24−2により符号化され、多重化手段
25により多重化された画像信号Cが、入出力装置30
より分離手段31に入力される。
【0145】分離手段31では、図8中の多重化手段2
5と逆の手法により、エッジ情報Cs 及び低周波成分C
r に分離し、エッジ情報Cs は第1の復号手段32−1
に出力し、低周波成分Cr は第2の復号手段32−2に
出力する。
【0146】第2の復号手段32−2では、復号化され
た画像の低周波成分Cr に対して、図8中の第2の符号
化手段24−2と逆の手法、例えば第2の符号化手段2
4−2で2次元離散コサイン変換と量子化と可変長符号
化を用いた場合には、可変長復号、逆量子化、及び逆離
散コサイン変換を順次施して、画像の低周波成分X′を
復元する。
【0147】第1の復号手段32−1では、復号化され
た画像のエッジ情報Cs に対して、図8中の第1の符号
化手段24−1と対をなす復号方法で復号し、エッジの
位置及び大きさの情報S0′を初段の2次元低域通過手
段であるローパスフィルタ38−2及び波形合成手段3
4−1に出力する。例えば、第1の符号化手段24−1
でエッジの位置をランレングス符号化あるいはチェーン
符号化し、エッジの大きさを順次差分符号化した場合に
は、該復号手段32−1では、該ランレングス符号ある
いはチェーン符号からエッジの位置を算出し、エッジの
大きさを順次予測復号してローパスフィルタ38−2及
び波形合成手段34−1に出力する。
【0148】ローパスフィルタ38−i(2≦i≦n)
では、図8中のローパスフィルタ26−iと同じ動作を
し、その結果Si-1をそれぞれ次段のローパスフィルタ
38−(i+1)及び波形合成手段34−iに出力す
る。但し、最終段のローパスフィルタ38−nの結果S
n-1は、波形合成手段34−nのみに出力される。ロー
パスフィルタ38−iのカットオフ周波数は、前段のロ
ーパスフィルタ38−(i−1)のカットオフ周波数の
半分となる。そして、このローパスフィルタ38−iの
処理と、後述する波形合成手段34−iの高周波成分を
合成する処理とを組み合わせることにより、高周波成分
i-1が出力される周波数帯域が、各段のローパスフィ
ルタ38−iと波形合成手段34−iとによって分割さ
れる。これにより、高周波成分をウェーブレット逆変換
するウェーブレット逆変換手段36−iが選択される。
【0149】波形合成手段34−iでは、第1の復号手
段32−1より出力される画像のエッジ情報S0′、又
はローパスフィルタ38−i(i≦n−1)より出力さ
れる画像のエッジ情報Si-1に対して、それぞれ横方向
及び縦方向の高周波成分Yi-1に合成し、ウェーブレッ
ト逆変換手段36−iに出力する。この波形合成方法に
ついては、例えば、実施例2で説明したような方法があ
る。
【0150】その場合に、エッジ点は複数存在するの
で、そのエッジ点を中心とした高周波成分の横方向、又
は縦方向の広がりは互いに重なり合う。そこで、波形合
成手段34−iでは、さらに、すべてのエッジ点の横方
向、及び縦方向の高周波成分が重なり合う点を足し合わ
せて全体の横方向、及び縦方向の高周波成分を構成す
る。さらに、この波形合成手段34−iでは、横方向の
高周波成分に対して、横方向にデータ1個置きに該デー
タに先行して1個データを間引きし、縦方向にデータ1
個置きにデータ1個を間引きする処理を行う。また、縦
方向の高周波成分に対して、縦方向にデータ1個置きに
該データに先行して1個データを間引きし、横方向にデ
ータ1個置きにデータ1個を間引きする処理を行って、
ウェーブレット逆変換手段36−iに出力する。
【0151】各段のウェーブレット逆変換手段36−i
では、次段のウェーブレット変換手段36−(i+1)
により入力される画像の低周波成分Xi′(最終段のウ
ェーブレット変換手段36−nでは、第2の復号手段3
2−2より入力される画像の低周波成分Xn′)に対し
ては、縦方向及び横方向にデータ1個置きに該データの
後にゼロを1つ挿入して、補間を行う。波形合成回路3
4−iから入力される横方向の高周波成分に対しては、
横方向に先頭からデータ1個置きにゼロを1個挿入し、
縦方向にはデータ1個置きに該データの後にゼロを1個
挿入する。また、波形合成回路34−iから入力される
縦方向の高周波成分に対しては、縦方向に先頭からデー
タ1個置きにゼロを1個挿入し、横方向にはデータ1個
置きに該データの後にゼロを1個挿入する。
【0152】奇数タップのフィルタの場合は、式(3
2)の1項で示される低域通過フィルタ、2項及び3項
で示される横方向及び縦方向の高域通過フィルタを用い
て、画像をウェーブレット逆変換し、その結果Xi′を
2倍して前段のウェーブレット逆変換手段36−iに、
もしくは最初段のウェーブレット逆変換手段36−1に
おいては、復元画像X0′として外部へ出力する。
【0153】偶数タップのフィルタの場合には、式(3
3)の1項で示される低域通過フィルタ、2項及び3項
で示される横方向及び縦方向の高域通過フィルタを用い
て、画像をウェーブレット逆変換している。
【0154】図11は、本発明におけるウェーブレット
逆変換回路のブロック構成図である。
【0155】HLPF、VLPFは、それぞれ前述した
横方向及び縦方向の低域通過フィルタを示し、またHH
PF、VHPFは、それぞれ前述した横方向及び縦方向
の高域通過フィルタを示している。また、HLPF2、
VLPF2は、それぞれ横方向及び縦方向の補間用フィ
ルタであり、H補間、V補間は、それぞれ前述した縦方
向、及び横方向でのゼロ挿入による補間手段を示してい
る。なお、105は加算器である。
【0156】以上のように、第4の実施例は第2の発明
および第7の発明に対応するものであって、次のような
利点がある。
【0157】従来の画像復号化装置では、ピーク情報を
ウェーブレット変換領域へ写像するためのウェーブレッ
ト写像手段14−i、及びウェーブレット変換係数をピ
ーク情報領域へ写像するためのピーク写像手段17−i
がそれぞれn段必要で、また再生画像が収束と判断され
るまで処理を繰り返す必要があり、負担が大きい。これ
に対し、本実施例の画像復号化装置では、複数個の加算
器によって簡単に構成することのできる波形合成手段3
4−iがn段あれば良く、装置が簡単な上に、繰り返し
処理の必要もなく、高速にかつ正確に画像を復元でき
る。
【0158】実施例5. 図12の構成 図12は、本発明の第5の実施例を示す画像符号化装置
の機能ブロック図である。
【0159】図に示す様に、この画像符号化装置は、入
力端子10、1次元ローパス(低域通過)フィルタ2
7、エッジ検出手段21、n段縦続接続されたローパス
フィルタ26−1〜26−n、及び一対の符号化手段2
4−1,24−2と多重化手段25とを有する符号化回
路部45から構成されている。ディジタル画像信号X0
は、それぞれ入力端子10からローパスフィルタ26−
1とローパスフィルタ27への入力である。本実施例の
画像符号化装置が実施例3の画像符号化装置と異なる点
は、入力画像のエッジ検出に先立って、1次元ローパス
フィルタによって画像の低周波成分を抽出して、斜め方
向についてもエッジ検出を行うようにしていることであ
る。
【0160】この画像符号化装置では、入力画像X0
低周波成分X1 を抽出する初段のローパスフィルタ26
−1を有し、さらに入力画像X0 の入力端子10とエッ
ジ情報S0 を検出するエッジ検出手段21との間には、
1次元低域通過手段であるローパスフィルタ27を配置
している。
【0161】最終段のローパスフィルタ26−nの出力
側には、画像の低周波成分Xnを符号化する第2の符号
化手段24−2が接続されている。一方、エッジ検出手
段21の出力側には、画像のエッジ情報S0 を符号化す
る第1の符号化手段24−1が接続されている。
【0162】第1の符号化手段24−1と第2の符号化
手段24−2の出力側には、符号化されたエッジ情報C
s と符号化された低周波成分Cr とを多重化する多重化
手段25が接続されている。そして、この多重化手段2
5の出力端子から出力される符号化データCを、例えば
通信回線や半導体記憶装置などの入出力装置30に出力
するようになっている。
【0163】図12の動作 次に、図12の画像符号化装置の動作の説明をする。
【0164】入力端子より入力される2次元のディジタ
ル画像X0 が初段のローパスフィルタ26−1と、ロー
パスフィルタ27を介してエッジ検出手段21とに入力
される。
【0165】1次元ローパスフィルタ27は、例えば図
13に示すように、縦方向の1次元低域通過フィルタ
(VLPF)106、縦方向のサンプラー(VSUB)
107、横方向の1次元低域通過フィルタ(HLPF)
108及び横方向のサンプラー(HSUB)109から
構成され、2次元のディジタル画像を縦方向及び横方向
に別々にフィルタ処理して出力している。
【0166】エッジ検出手段21には、縦方向のサンプ
ラー(VSUB)107から出力される縦方向にフィル
タ処理された画像データXv、横方向のサンプラー(H
SUB)109から出力される横方向にフィルタ処理さ
れた画像データXh、及び入力端子10からのディジタ
ル画像の画素データX0 が供給される。そして、画像の
横方向、縦方向、及び斜め方向のエッジを例えば、次の
ような方法で検出し、該エッジの位置及び大きさの情報
0を第1の符号化手段24−1に出力する。
【0167】横方向のエッジを検出する場合には、まず
縦方向にフィルタ処理された画像データXv の注目画素
x(i,j)の横方向の隣合う画素間で式(9)の演算
をし、差分を求める。この差分値sh (i,j)の絶対
値を閾値Tと比較し、閾値Tよりも大きいものをエッジ
として抽出する。
【0168】縦方向のエッジを求める場合も、横方向と
同様にフィルタ処理された画像データXh について演算
処理を行うが、差分は式(9)の代わりに次式(10)
を用いて求める。
【0169】斜め方向のエッジを検出するには、フィル
タ処理されていない画素データX0について、その注目
画素x(i,j)の横方向の隣合う画素間で式(9)の
演算をして、差分を求める。さらにこの差分値sh
(i,j)に対して、式(10)を用いて縦方向の差分
を演算し、その差分値shv(i,j)の絶対値を閾値T
と比較し、閾値Tよりも大きいものを斜め方向のエッジ
として抽出する。
【0170】以上のように検出されたエッジの位置と横
方向、縦方向及び斜め方向のエッジの情報S0 は、その
まま第1の符号化手段24−1に出力することも可能で
あるが、エッジの細線化や、連結などの処理を施してか
ら出力することも可能である。
【0171】最終段のローパスフィルタ26−nのフィ
ルタの出力Xn は、第2の符号化手段24−2に出力さ
れる。
【0172】第1の符号化手段24−1では、入力され
る画像のエッジ情報S0 を圧縮符号化し、その符号Cs
を多重化手段25に出力する。圧縮符号化手法として
は、例えば、エッジの位置を1次元あるいは2次元ラン
レングス符号化、またはチェーン符号化し、エッジの大
きさを順次差分符号化する方法がある。
【0173】第2の符号化手段24−2では、n段の低
域通過フィルタ処理された画像がXn として入力され、
これを例えば2次元離散コサイン変換(DCT)し、そ
の変換係数を量子化し、可変長符号化して、多重化手段
25に出力する。または、予測符号化(DPCM)など
を施してから多重化手段25に出力する。
【0174】多重化手段25では、第1の符号化手段2
4−1及び第2の符号化手段24−2により符号化され
たエッジ情報Cs 及び低周波成分Cr を多重化して出力
する。
【0175】以上のように、第5の実施例は第3の発明
に対応するものであって、次のような利点がある。
【0176】従来の画像符号化装置では、ウェーブレッ
ト変換手段1−i(i=1,…,n)が必要であった
が、第5の実施例では、低域通過フィルタのみとなり、
またエッジ検出手段21も1段のみとなっているので、
画像符号化装置を簡単にすることができる。また、従来
のウェーブレット変換手段1−iは、後続のピーク検出
手段2−iでピークを検出するために、ウェーブレット
関数がスムージング関数の1次微分あるいは2次微分関
数とする必要があったが、本実施例ではその必要がなく
ウェーブレット関数を幅広く選択することができる。
【0177】なお、第5の実施例と第3の実施例では、
構成においてはローパスフィルタ27を設けているか否
かの相違でしかないが、第3の実施例でN×Nの大きさ
のエッジ画像を検出しているとすれば、第5の実施例で
はN×N/2の大きさで縦と横のエッジ化像を検出し、
N×Nの大きさで斜めのエッジ画像を検出できる。
【0178】したがって、第3の実施例で符号化された
画像情報を第4の実施例で説明したような画像復号化装
置によって復号するとき、式(32)又は(33)に示
すような3種類のフィルタh(k),g(k),f
(k)で構成する必要がある。しかし、第5の実施例の
画像符号化装置で符号化されたものでは、例えば次の式
(41)、(42)のように、2種類のフィルタh
(k),g(k)で構成されたウェーブレット逆変換手
段によって画像を再現できる。
【0179】
【数13】 奇数タップのフィルタの場合は、式(41)の1項で示
される低域通過フィルタと、2項及び3項で示されるそ
れぞれ横方向又は縦方向の1次元高域通過フィルタと、
4項で示される横方向及び縦方向の2次元高域通過フィ
ルタとを用いて、画像をウェーブレット逆変換し、その
結果Xi′を2倍して前段のウェーブレット逆変換手段
36−iに、もしくは最初段のウェーブレット逆変換手
段36−1においては、復元画像X0′として外部へ出
力する。
【0180】偶数タップのフィルタの場合には、式(4
2)の1項で示される低域通過フィルタと、2項及び3
項で示されるそれぞれ横方向又は縦方向の高域通過フィ
ルタと、4項で示される横方向及び縦方向の2次元高域
通過フィルタとを用いて、画像をウェーブレット逆変換
している。
【0181】図14は、本発明におけるウェーブレット
変換回路のブロック構成図である。
【0182】図15は、図11とは別の本発明における
ウェーブレット逆変換回路のブロック構成図である。
【0183】HLPF、VLPFは、それぞれ前述した
横方向及び縦方向の低域通過フィルタを示し、またHH
PF、VHPFは、それぞれ前述した横方向及び縦方向
の高域通過フィルタを示している。また、HSUB、V
SUBは、それぞれ横方向及び縦方向の2分の1のサブ
サンプリング用フィルタであり、H補間、V補間は、そ
れぞれ前述した縦方向、及び横方向でのゼロ挿入による
補間を示している。なお、110〜112はそれぞれ加
算器である。
【0184】実施例6. 図16の構成 図16は、本発明の第6の実施例を示す動画像符号化装
置の機能ブロック図である。
【0185】図に示す様に、この動画像符号化装置は、
第3の実施例(図8)と同様に入力端子10、エッジ検
出手段21、n段縦続接続されたローパス(低域通過)
フィルタ26−1〜26−n、及び符号化回路部46か
ら構成されている。そして、符号化回路部46は第1、
第2の動き補償予測手段28−1,28−2、符号化手
段24−1〜24−3、多重化手段25、復号手段32
−1,32−2、第1、第2の動き補償補間手段29−
1,29−2及び第1、第2のメモリ39−1,39−
2を含んでいる。ディジタル画像信号X0 は、それぞれ
入力端子10から低域通過フィルタ26−1とエッジ検
出手段21への入力である。本実施例の動画像符号化装
置が第3の実施例の画像符号化装置と異なる点は、動き
補償予測手段28によって、時間的に隣接して入力する
動画像のエッジ間の動き情報を検出し、その動きによる
エッジ情報の移動量を補正した後に、両エッジ間の予測
誤差信号を出力するようにしたことである。
【0186】この動画像符号化装置の符号化回路部46
では、入力画像X0 のエッジ情報S0 がエッジ検出手段
21から第1の動き補償予測手段28−1に入力され、
画像の低周波成分Xn が最終段のローパスフィルタ26
−nから第2の動き補償予測手段28−1に入力されて
いる。第1の動き補償予測手段28−1では、2枚の画
像のエッジ間の動き情報を検出し、これに基づいて動き
補償後のエッジの予測誤差情報を抽出している。画像の
エッジの誤差情報Ds は、それを符号化するエッジ符号
化手段24−1に出力され、追加情報である動画像の動
きベクトル情報などの動き情報Ms は、それを符号化す
る追加情報符号化手段24−3と、第1の動き補償補間
手段29−1とに出力するように接続されている。ま
た、第2の動き補償予測手段28−2は、画像の低周波
成分の誤差情報Dr を符号化する低周波成分符号化手段
24−2と、追加情報である低周波成分の動きベクトル
情報などの動き情報Mr を符号化する追加情報符号化手
段24−3と、第1の動き補償補間手段29−1とに接
続されている。
【0187】第1、第2の動き補償補間手段29−1,
29−2には、それぞれ動き補償された画像データ
0′,Xn′を格納するメモリ39−1,39−2が接
続され、さらにこれらのメモリ39−1,39−2の出
力はそれぞれ動き補償予測手段28−1,28−2と動
き補償補間手段29−1,29−2とに供給されるよう
に構成されている。エッジ符号化手段24−1、低周波
成分符号化手段24−2及び追加情報符号化手段24−
3の出力側には、符号化されたエッジの誤差情報Cs と
符号化された低周波成分の誤差情報Cr と追加情報Cm
とを多重化する多重化手段25が接続されている。そし
て、この多重化手段25の出力端子から出力される符号
化データCを、例えば通信回線や半導体記憶装置などの
入出力装置30に出力するようになっている。
【0188】図16の動作 次に、図16の動画像符号化装置の動作の説明をする。
【0189】入力端子10より入力される2次元のディ
ジタル画像X0 がエッジ検出手段21及び初段のローパ
スフィルタ26−1に入力される。エッジ検出手段21
では、画像の横方向及び縦方向のエッジを例えば、実施
例1で説明したような方法で検出し、該エッジの位置及
び大きさの情報S0 を動き補償予測手段28−1に入力
する。ここで、メモリ39−1に格納されている先行し
て入力されたエッジ情報S0″との間の動き情報Ms
と、エッジ情報S0 とS0″との間の誤差情報Dsが演算
される。動き情報Ms は、追加情報符号化手段24−3
及び動き補償補間手段29−1に入力され、誤差情報D
s はエッジ符号化手段24−1に入力される。
【0190】ローパスフィルタ26−1からは入力画像
0 の誤差情報Xd についての最初の低周波成分X1
次段のローパスフィルタ26−2に出力される。ローパ
スフィルタ26−1が有する低域通過フィルタVLP
F、HLPFとしては、例えば式(3)、(4)、及
び、(5)又は(6)を満たす偶対称フィルタを用い
る。
【0191】最終段のローパスフィルタ26−nのフィ
ルタの出力Xn は、動き補償予測手段28−2に入力さ
れる。ここで、メモリ39−2に格納されている先行し
て入力された低周波成分Xn″との間の動き情報Mr
と、低周波成分Xn とXn″との間の誤差情報Dr が演
算される。動き情報Mr は、追加情報符号化手段24−
3及び動き補償補間手段29−2に入力され、誤差情報
Dr は低周波成分符号化手段24−2に入力される。
【0192】エッジ符号化手段24−1では、入力され
る画像のエッジの誤差情報Ds を圧縮符号化し、その符
号Cs を多重化手段25及びエッジ復号手段32−1に
出力する。圧縮符号化手法としては、例えば、エッジの
位置を1次元あるいは2次元ランレングス符号化、また
はチェーン符号化し、エッジの大きさを順次差分符号化
する方法がある。
【0193】エッジ復号手段32−1では、エッジ符号
化手段24−1と対をなす復号方法で復号し、エッジの
位置及び大きさの情報S0′を初段の2次元低域通過手
段であるローパスフィルタ38−2及び波形合成手段3
4−1に出力する。例えば、エッジ符号化手段24−1
でエッジの位置をランレングス符号化あるいはチェーン
符号化し、エッジの大きさを順次差分符号化した場合に
は、該復号手段32−1では、該ランレングス符号ある
いはチェーン符号からエッジの位置を算出し、エッジの
大きさを順次予測復号したDs′として、動き補償補間
手段29−1に出力する。
【0194】第1の動き補償補間手段29−1では、エ
ッジ復号手段32−1からの出力である現画像のエッジ
の予測誤差情報と、第1のメモリ39−1からの出力で
ある前画像のエッジ情報を用いて、第1の動き補償予測
手段28−1より出力される動き情報Ms に従って、動
き補償補間を実行する。このようにして新たに構成され
た画像のエッジ情報を第1のメモリ39−1に格納す
る。
【0195】第1のメモリ39−1では、第1の動き補
償予測手段28−1、及び第1の動き補償補間手段29
−1の要求に従って、エッジ情報S0″をそれぞれに出
力する。
【0196】低周波成分符号化手段24−2では、n段
の低域通過フィルタ処理された画像の誤差情報がDr と
して入力され、これを例えば2次元離散コサイン変換
(DCT)し、その変換係数を量子化し、可変長符号化
した符号Cs を多重化手段25及び低周波成分復号手段
32−2に出力する。または、予測符号化(DPCM)
などを施してから出力する。なお、低周波成分復号手段
32−2において予測復号されたDr′は第2の動き補
償補間手段29−2で動き補償補間され、第1のメモリ
39−1に新たに構成された画像の低周波成分情報とし
て格納される。
【0197】追加情報符号化手段24−3では、動き補
償予測手段28−1,28−2でそれぞれ演算された画
像の動き情報Ms ,Mr などの追加情報が入力され、こ
れを量子化し、可変長符号化して、多重化手段25に出
力する。
【0198】多重化手段25では、エッジ符号化手段2
4−1、低周波成分符号化手段24−2及び追加情報符
号化手段24−3によりそれぞれ符号化されたエッジ及
び低周波成分の誤差情報Cs 、Cr と追加情報Cm とを
多重化して出力する。
【0199】以上のように構成され、動作する第6の実
施例の動画像符号化装置は、第4の発明に対応するもの
であって、符号化回路部46に動き補償機能を持たせて
おり、動画像を符号化するうえで次のような利点があ
る。
【0200】従来の画像符号化装置では、ウェーブレッ
ト変換手段1−i(i=1,…,n)が必要であった
が、本実施例では、低域通過フィルタのみとなり、また
エッジ検出手段21も1段のみとなっているので、動画
像の符号化装置を簡単に構成することができる。また、
従来のウェーブレット変換手段1−iは、後続のピーク
検出手段2−iでピークを検出するために、ウェーブレ
ット関数がスムージング関数の1次微分あるいは2次微
分関数とする必要があったが、本実施例ではその必要が
なくウェーブレット関数を幅広く選択することができ
る。
【0201】しかも、エッジ情報及び低周波成分に対し
て、それぞれ動き補償予測手段及びメモリを設けて、動
き補償付きの予測を可能としているから、動画像の時間
的冗長性を除去でき、より一層、符号化効率が向上す
る。
【0202】実施例7.図17は、本発明の第7実施例
を示す動画像符号化装置の機能ブロック図である。
【0203】図に示す様に、この動画像符号化装置は、
第3実施例と同様に入力端子10、エッジ検出手段2
1、n段縦続接続されたローパス(低域通過)フィルタ
26−1〜26−n、及び符号化回路部47から構成さ
れている。そして、符号化回路部47では、第6実施例
の画像符号化装置における符号化回路46と異なって、
2つの動き補償予測手段28−1,28−2が信号線W
で結合されている。そして、第1の動き補償予測手段2
8−1によって検出された動画像のエッジ間の動き情報
を、信号線Wを介して第2の動き補償予測手段28−2
に送って低周波成分の予測に際して参照できるようにし
た。あるいは、第2の動き補償予測手段28−2によっ
て検出された動画像の低周波成分の動き情報を、信号線
Wを介して第2の動き補償予測手段28−2に送ってエ
ッジの動き補償予測に際して参照できるようにしたこと
である。これにより、動画像の符号化に際して、動き検
出処理の時間を短縮し、かつ検出精度を高めることが容
易になる。
【0204】実施例8. 図18の構成 図18は、本発明の第8実施例を示す動画像復号化装置
の機能ブロック図である。
【0205】図に示す様に、この復号化装置は、復号回
路部48、動き補償補間手段29−1,29−2、メモ
リ39−1,39−2、(n−1)段縦続接続されたロ
ーパス(低域通過)フィルタ38−2〜38−n、波形合
成手段34−1〜34−n及びウェーブレット逆変換手
段36−1〜36−nから構成されている。そして、復
号回路部48は分離手段31、エッジ情報の復号手段3
2−1、低周波数情報の復号手段32−2及び追加情報
の復号手段32−3を含んでいる。分離手段31は、例
えば通信回線や半導体記憶装置などの入出力装置30と
接続され、符号化及び多重化された画像信号Cが入力す
るようになっている。
【0206】本実施例の動画像復号化装置は、先に説明
した第4実施例の画像復号化装置に対応するものである
が、第4実施例の画像復号化装置と異なる点は、復号さ
れたエッジの誤差情報DS′と低周波成分の誤差情報D
r′をそれぞれ第1、第2の動き補償補間手段29−
1,29−2で補間する際に、エッジや低周波成分の動
きベクトル情報などの動き情報MS′,Mr′などの追加
情報に基づいて、 エッジ情報S0′や動き補償された画
像の低周波成分Xn′を出力するようにしたことであ
る。
【0207】この動画像復号化装置の復号回路部48
は、符号化及び多重化された画像信号Cをエッジの誤差
情報Cs と低周波成分の誤差情報Cr と追加情報Cm に
分離する分離手段31を有している。分離手段31の出
力側には、エッジの誤差情報Ds′を復号するエッジ復
号手段32−1と、低周波成分の誤差情報Dr′を復号
する低周波成分復号手段32−2と、符号化された追加
情報Cm を復号して動き情報Mr,Ms を出力する追加
情報復号手段32−3が接続されている。
【0208】エッジ復号手段32−1の出力側には、エ
ッジの誤差情報Ds′から時間的に隣接して入力する画
像信号のエッジ情報S0′を補間する動き補償補間手段
29−1が接続されている。また、低周波成分復号回路
32−2の出力側には、低周波成分の誤差情報Dr′か
ら時間的に隣接して入力する画像信号の低周波成分X
n′を補間する動き補償補間手段29−2が接続されて
いる。
【0209】再生されたエッジ情報S0′と低周波成分
Xn′とから現画像の予測誤差を補間した画像データ
0′を入出力装置37に出力するための構成は、第4
実施例の動画像復号化装置と同一であるので、説明は省
略する。
【0210】図18の動作 次に、図18の動画像復号化装置の動作の説明をする。
【0211】図16中のエッジ符号化手段24−1及び
低周波成分符号化手段24−2により符号化され、多重
化手段25により多重化された画像信号Cが、入出力装
置30より分離手段31に入力される。
【0212】分離手段31では、図16中の多重化手段
25と逆の手法により、エッジの誤差情報Cs 、低周波
成分の差分情報Cr 及び追加情報Cm に分離し、エッジ
の誤差情報Cs はエッジ復号手段32−1に出力され、
低周波成分の差分情報Cr は低周波成分復号手段32−
2に出力され、追加情報Cm は追加情報復号手段32−
3に出力される。
【0213】追加情報復号手段32−3では、符号化さ
れた画像の追加情報Cm に対して、図16中の追加情報
符号化手段24−3と逆の手法で復号し、その画像の動
き情報Ms′とMr′を復元して、動き補償補間手段29
−1,29−2にそれぞれ出力する。
【0214】低周波成分復号手段32−2では、分離さ
れた画像の低周波成分の差分情報Cr に対して、図16
中の低周波成分復号化手段32−2と同一の手法で復号
し、その差分データを第2の動き補償補間手段29−2
に出力する。例えば低周波成分符号化手段24−2で2
次元離散コサイン変換と量子化と可変長符号化を用いた
場合には、可変長復号、逆量子化、及び逆離散コサイン
変換を順次施して、画像の低周波成分の差分Dr′を復
元する。
【0215】第2の動き補償補間手段29−2では、メ
モリ39−2より入力される前画像の低周波成分Xn″
を低周波成分の動き情報Mr′だけ動かした後、画像の
低周波成分の差分Dr′に基づいて、現画像の低周波成
分の補間を実行する。こうして補間された現画像の低周
波成分Xn′を復元し、それを最終段のウェーブレット
逆変換手段36−nと第2のメモリ39−2に出力して
いる。
【0216】エッジ復号手段32−1では、分離された
画像のエッジの誤差情報Cs に対して、図16中のエッ
ジ復号化手段32−1と同一の方法で復号し、エッジの
位置及び大きさの差分情報Cs を第1の動き補償補間手
段29−1に出力する。例えばエッジの符号化手段24
−1でエッジの位置をランレングス符号化あるいはチェ
ーン符号化し、エッジの大きさを順次差分符号化した場
合には、該復号手段32−1では、該ランレングス符号
あるいはチェーン符号からエッジの位置を算出し、エッ
ジの大きさを順次予測復号する。
【0217】第1の動き補償補間手段29−1では、メ
モリ39−1より入力される前画像のエッジ情報S0
を動き情報Ms′だけ動かした後、現画像のエッジの予
測誤差情報Ds′に基づいて、現画像のエッジの補間を
実行する。こうして補間された現画像のエッジ情報
0′を初段のローパスフィルタ38−2及び波形合成
手段34−1に出力する。
【0218】以下、ローパスフィルタ38−i、波形合
成手段34−i、及びウェーブレット逆変換手段36−
iにおいては、先の第4実施例で説明した場合と同一の
方法で、波形合成とウェーブレット逆変換を実行して、
現画像データX0′を再現して、例えば画像表示装置や
半導体記憶装置などの入出力装置37に出力される。
【0219】以上のように構成され、動作する第8の実
施例の画像復号化装置は、第8の発明に対応するもので
あって、復号化回路部48の後段に動き補償補間手段を
配置しているから、動画像を復号するうえでは次のよう
な利点がある。
【0220】従来の画像復号化装置では、ピーク情報を
ウェーブレット変換領域へ写像するためのウェーブレッ
ト写像手段14−i、及びウェーブレット変換係数をピ
ーク情報領域へ写像するためのピーク写像手段17−i
がそれぞれn段必要で、また再生画像が収束と判断され
るまで処理を繰り返す必要があり、負担が大きい。これ
に対し、本実施例の動画像復号化装置では、複数個の加
算器によって簡単に構成することのできる波形合成手段
34−iがn段あれば良く、装置が簡単な上に、繰り返
し処理の必要もなく、高速にかつ正確に画像を復元でき
る。
【0221】実施例9.図19は、本発明の第9実施例
を示す動画像符号化装置の機能ブロック図である。
【0222】図に示す様に、この動画像符号化装置は、
第5の実施例(図12)と同様に入力端子10、1次元
低域通過手段27、エッジ検出手段21、n段縦続接続
されたローパス(低域通過)フィルタ26−1〜26−
n、及び符号化回路部49から構成されている。そし
て、符号化回路部49は第1、第2の動き補償予測手段
28−1,28−2、符号化手段24−1〜24−3、
多重化手段25、復号手段32−1,32−2、第1、
第2の動き補償補間手段29−1,29−2及び第1、
第2のメモリ39−1,39−2を含んでいる。ディジ
タル画像信号X0は、それぞれ入力端子10から低域通
過フィルタ26−1と1次元低域通過手段27への入力
である。本実施例の動画像符号化装置が第5の実施例の
画像符号化装置と異なる点は、動き補償予測手段28に
よって、時間的に隣接して入力する動画像のエッジ間の
動き情報を検出し、その動きによるエッジ情報の移動量
を補正した後に、両エッジ間の予測誤差信号を出力する
ようにしたことである。
【0223】この動画像符号化装置の符号化回路部49
は、先に説明した第6の実施例(図16)の符号化回路
部46と同様に、入力画像X0 のエッジ情報S0 がエッ
ジ検出手段21から第1の動き補償予測手段28−1に
入力され、画像の低周波成分Xn が最終段のローパスフ
ィルタ26−nから第2の動き補償予測手段28−1に
入力されている。第1の動き補償予測手段28−1で
は、2枚の画像のエッジ間の動き情報を検出し、これに
基づいて動き補償後のエッジの予測誤差情報を抽出して
いる。画像のエッジの誤差情報Ds は、それを符号化す
るエッジ符号化手段24−1に出力され、追加情報であ
る動画像の動きベクトル情報などの動き情報Ms は、そ
れを符号化する追加情報符号化手段24−3と、第1の
動き補償補間手段29−1とに出力するように接続され
ている。また、第2の動き補償予測手段28−2は、画
像の低周波成分の誤差情報Dr を符号化する低周波成分
符号化手段24−2と、追加情報である低周波成分の動
きベクトル情報などの動き情報Mr を符号化する追加情
報符号化手段24−3と、第1の動き補償補間手段29
−1とに接続されている。
【0224】第1、第2の動き補償補間手段29−1,
29−2には、それぞれ動き補償された画像データ
0′,Xn′を格納するメモリ39−1,39−2が接
続され、さらにこれらのメモリ39−1,39−2の出
力はそれぞれ動き補償予測手段28−1,28−2と動
き補償補間手段29−1,29−2とに供給されるよう
に構成されている。エッジ符号化手段24−1、低周波
成分符号化手段24−2及び追加情報符号化手段24−
3の出力側には、符号化されたエッジの誤差情報Cs と
符号化された低周波成分の誤差情報Cr と追加情報Cm
とを多重化する多重化手段25が接続されている。そし
て、この多重化手段25の出力端子から出力される符号
化データCを、例えば通信回線や半導体記憶装置などの
入出力装置30に出力するようになっている。なお、本
実施例の動作は、先行する実施例の説明から容易に理解
されるものであり、ここでは省略する。
【0225】以上のように構成された第9の実施例の動
画像符号化装置は、第4の発明に対応するものであっ
て、符号化回路部49に動き補償機能を持たせており、
動画像を符号化するうえで次のような利点がある。
【0226】従来の画像符号化装置では、ウェーブレッ
ト変換手段1−i(i=1,…,n)が必要であった
が、本実施例では、低域通過フィルタのみとなり、また
エッジ検出手段21も1段のみとなっているので、動画
像の符号化装置を簡単に構成することができる。また、
従来のウェーブレット変換手段1−iは、後続のピーク
検出手段2−iでピークを検出するために、ウェーブレ
ット関数がスムージング関数の1次微分あるいは2次微
分関数とする必要があったが、本実施例ではその必要が
なくウェーブレット関数を幅広く選択することができ
る。
【0227】しかも、エッジ情報及び低周波成分に対し
て、それぞれ動き補償予測手段及びメモリを設けて、動
き補償付きの予測を可能としているから、動画像の時間
的冗長性を除去でき、より一層、符号化効率が向上す
る。
【0228】実施例10. 図20の構成 図20は、本発明の第10実施例を示す動画像復号化装
置の機能ブロック図である。
【0229】図に示す様に、この動画像符号化装置は、
第5実施例と同様に入力端子10、1次元低域通過手段
27、エッジ検出手段21、n段縦続接続されたローパ
ス(低域通過)フィルタ26−1〜26−n、及び符号
化回路部50から構成されている。そして、符号化回路
部50では、第9実施例の画像符号化装置における符号
化回路49と異なって、2つの動き補償予測手段28−
1,28−2が信号線Wで結合されている。そして、第
1の動き補償予測手段28−1によって検出された動画
像のエッジ間の動き情報を、信号線Wを介して第2の動
き補償予測手段28−2に送って低周波成分の予測に際
して参照できるようにした。あるいは、第2の動き補償
予測手段28−2によって検出された動画像の低周波成
分の動き情報を、信号線Wを介して第2の動き補償予測
手段28−2に送ってエッジの動き補償予測に際して参
照できるようにしたことである。これにより、動画像の
符号化に際して、動き検出処理の時間を短縮し、かつ検
出精度を高めることが容易になる。
【0230】実施例11. 図21の構成 図21は、本発明の第11の実施例を示す動画像符号化
装置の機能ブロック図である。
【0231】図に示す様に、この動画像符号化装置は、
入力端子10、動き補償予測手段28、エッジ検出手段
21、n段縦続接続されたローパス(低域通過)フィル
タ26−1〜26−n、符号化手段24−1,24−
2,24−3、多重化手段25、復号手段32−1,3
2−2、(n−1)段縦続接続されたローパスフィルタ
38−2〜38−n、波形合成手段34−1〜34−
n、ウェーブレット逆変換手段36−1〜36−n、動
き補償補間手段29及びメモリ39から構成されてい
る。ディジタル画像信号X0 は、入力端子10から動き
補償予測手段28への入力である。本実施例の動画像符
号化装置が実施例3の画像符号化装置(図8)と異なる
点は、低域通過フィルタ26−1とエッジ検出手段21
への入力画像に対して動き補償を行って、しかる後にエ
ッジ情報、低周波成分を分離して符号化するように構成
したことである。
【0232】この動画像符号化装置では、時間的に隣接
する動画像の画像信号から動き情報を検出し、この動き
情報によって画像のずれを補正した後に、2枚の画像の
間の予測誤差情報Xd を抽出する動き補償予測手段28
を入力端子10の直後に接続している。動き補償予測手
段28には追加情報である動画像の動きベクトル情報な
どの動き情報Xm を符号化する追加情報符号化手段24
−3と、入力画像X0の縦方向及び横方向のエッジ情報
0 を検出するエッジ検出手段21と、入力画像X0
予測誤差情報Xd から低周波成分X1 を抽出する初段の
ローパスフィルタ26−1とが接続されている。ローパ
スフィルタ26−1の出力側には、2段目のローパスフ
ィルタ26−2が接続され、そのローパスフィルタ26
−2の出力側には、3段目のローパスフィルタ26−3
が接続されるという具合に、n段(n≧1)の各ローパ
スフィルタ26−i(i=1,…,n)が縦続接続され
ている。
【0233】最終段のローパスフィルタ26−nの出力
側には、画像の低周波成分Xnを符号化する低周波成分
符号化手段24−2が接続されている。一方、エッジ検
出手段21の出力側には、画像のエッジ情報S0 を符号
化するエッジ符号化手段24−1が接続されている。
【0234】エッジ符号化手段24−1、低周波成分符
号化手段24−2及び追加情報符号化手段24−3の出
力側には、符号化されたエッジ情報Cs と符号化された
低周波成分の差分情報Cr と追加情報Cm とを多重化す
る多重化手段25が接続されている。そして、この多重
化手段25の出力端子から出力される符号化データC
を、例えば通信回線や半導体記憶装置などの入出力装置
30に出力するようにっている。
【0235】一方、エッジ符号化手段24−1は、符号
化されたエッジ情報Cs を復号するエッジ復号手段32
−1と接続され、また、低周波成分符号化手段24−2
は、符号化された画像の低周波成分の差分情報Cr を復
号する低周波成分復号手段32−2にも接続されてい
る。
【0236】エッジ復号手段32−1の出力側には、エ
ッジ情報S0′から高周波成分Y0を合成する波形合成手
段34−1、及びエッジ情報S0′の低周波成分S1
抽出する初段のローパスフィルタ38−2が接続されて
いる。ローパスフィルタ38−2の出力側には、波形合
成手段34−2及び2段目のローパスフィルタ38−3
が接続され、ローパスフィルタ38−3の出力側には、
波形合成手段34−3及び3段目のローパスフィルタ3
8−4が接続されるといった具合に、(n−1)段のロ
ーパスフィルタ38−i(i=2,…,n)が縦続接続
されている。ローパスフィルタ38−iは、図21中の
ローパスフィルタ26−iと同じ特性を持つ低域通過フ
ィルタである。また、ローパスフィルタ38−iの出力
側には、このローパスフィルタ38−iの出力Si-1
画像の高周波成分に合成する波形合成手段34−iが接
続されている。最終段のローパスフィルタ38−nの出
力側には、波形合成手段34−nのみが接続されてい
る。
【0237】各波形合成手段34−i(i=1〜n)の
出力側には、これらの波形合成手段34−iより出力さ
れる高周波成分Yi-1、及び後段のウェーブレット逆変
換手段36−(i+1)の出力Xi′、又は低周波成分
復号手段32−2からの出力Xn′に対してウェーブレ
ット逆変換するウェーブレット逆変換手段36−i(i
=2〜n)が接続されている。ウェーブレット逆変換手
段36−iの出力側には、前段のウェーブレット逆変換
手段36−(i−1)が接続されている。初段のウェー
ブレット逆変換手段36−1の出力端子は、復号された
画像の予測誤差情報Xd′が動き補償補間手段29に出
力されるように接続されている。この動き補償補間手段
29には、動き補償された画像を格納するメモリ39が
接続され、さらにこのメモリ39の出力は動き補償予測
手段28と動き補償補間手段29とに供給されるように
構成されている。
【0238】図21の動作 次に、図21の動画像符号化装置の動作の説明をする。
【0239】入力端子10より入力される2次元のディ
ジタル画像X0 は、まず動き補償予測手段28に入力さ
れ、ここで、メモリ39に格納されている先行して入力
された画像データX0″との間の動き情報Xm と、画像
0 とX0″との間の誤差情報Xd が演算される。動き
情報Xm は、追加情報符号化手段24−3及び動き補償
補間手段29に入力され、誤差情報Xd は、それぞれエ
ッジ検出手段21−1及び初段のローパスフィルタ26
−1に入力される。
【0240】ローパスフィルタ26−1からは入力画像
0 の誤差情報Xd についての最初の低周波成分X1
次段のローパスフィルタ26−2に出力される。ローパ
スフィルタ26−1が有する低域通過フィルタVLP
F、HLPFとしては、例えば式(3)、(4)、及
び、(5)又は(6)を満たす偶対称フィルタを用い
る。
【0241】エッジ検出手段21では、画像の誤差情報
Xd に対して、それぞれ横方向及び縦方向のエッジを例
えば、次のような方法で検出し、該エッジの位置及び大
きさの情報S0 をエッジ符号化手段24−1に出力す
る。
【0242】また、各段のローパスフィルタ26−i
(i≧2)は、初段のローパスフィルタ26−1と同じ
ものである。
【0243】最終段のローパスフィルタ26−nのフィ
ルタの出力Xn は、低周波成分符号化手段24−2に出
力される。
【0244】エッジ符号化手段24−1では、入力され
る画像のエッジ情報S0 を圧縮符号化し、その符号Cs
を多重化手段25及びエッジ復号手段32−1に出力す
る。圧縮符号化手法としては、例えば、エッジの位置を
1次元あるいは2次元ランレングス符号化、またはチェ
ーン符号化し、エッジの大きさを順次差分符号化する方
法がある。
【0245】低周波成分符号化手段24−2では、n段
の低域通過フィルタ処理された画像がXn として入力さ
れ、これを例えば2次元離散コサイン変換(DCT)
し、その変換係数を量子化し、可変長符号化して、多重
化手段25及び低周波成分復号手段32−2に出力す
る。または、予測符号化(DPCM)などを施してから
出力する。
【0246】追加情報符号化手段24−3では、動き補
償予測手段28で演算された画像の動き情報Xm などの
追加情報が入力され、これを量子化し、可変長符号化し
て、多重化手段25に出力する。
【0247】多重化手段25では、エッジ符号化手段2
4−1、低周波成分符号化手段24−2及び追加情報符
号化手段24−3により符号化されたエッジ情報Cs 、
低周波成分の差分情報Cr 及び追加情報Cm を多重化し
て出力する。
【0248】低周波成分復号手段32−2では、低周波
成分符号化手段24−2と逆の手法で画像の低周波成分
Xn′を復元する。すなわち、例えば低周波成分符号化
手段24−2で2次元離散コサイン変換と量子化と可変
長符号化を用いた場合には、可変長復号、逆量子化、及
び逆離散コサイン変換を順次施して、低周波成分Xn′
を最終段のウェーブレット逆変換手段26−nに出力し
ている。
【0249】エッジ復号手段32−1では、エッジ符号
化手段24−1と対をなす復号方法で復号し、エッジの
位置及び大きさの情報S0′を初段の2次元低域通過手
段であるローパスフィルタ38−2及び波形合成手段3
4−1に出力する。例えば、エッジ符号化手段24−1
でエッジの位置をランレングス符号化あるいはチェーン
符号化し、エッジの大きさを順次差分符号化した場合に
は、該復号手段32−1では、該ランレングス符号ある
いはチェーン符号からエッジの位置を算出し、エッジの
大きさを順次予測復号して、次段のローパスフィルタ3
8−2及び波形合成手段34−1に出力する。
【0250】各段のローパスフィルタ38−i(2≦i
≦n)では、入力される画像のエッジ情報に対して、ロ
ーパスフィルタ26−iと同じフィルタリング及びサン
プリング動作をし、その結果Si-1をそれぞれ次段のロ
ーパスフィルタ38−(i+1)及び波形合成手段34
−iに出力する。但し、最終段のローパスフィルタ38
−nの結果Sn-1は、波形合成手段34−nのみに出力
される。
【0251】各段の波形合成手段34−iでは、エッジ
復号手段32−1より出力される画像のエッジ情報
0′、又はローパスフィルタ38−i(i≦n−1)
より出力される画像のエッジ情報Si-1に対して、それ
ぞれ横方向及び縦方向の高周波成分Yi-1に合成し、ウ
ェーブレット逆変換手段36−iに出力する。波形合成
方法については、すでに説明した。
【0252】この場合にエッジ点は複数存在するので、
そのエッジ点を中心とした高周波成分の横方向、又は縦
方向の広がりは互いに重なり合う。そこで、波形合成手
段34−iでは、さらに、すべてのエッジ点の横方向、
及び縦方向の高周波成分が重なり合う点を足し合わせて
全体の横方向、及び縦方向の高周波成分を構成する。さ
らに、この波形合成手段34−iでは、横方向の高周波
成分に対して、横方向にデータ1個置きに該データに先
行して1個データを間引きし、縦方向にデータ1個置き
にデータ1個を間引きする処理を行う。また、縦方向の
高周波成分に対して、縦方向にデータ1個置きに該デー
タに先行して1個データを間引きし、横方向にデータ1
個置きにデータ1個を間引きする処理を行って、ウェー
ブレット逆変換手段36−iに出力する。
【0253】各段のウェーブレット逆変換手段36−i
では、次段のウェーブレット変換手段36−(i+1)
により入力される画像の低周波成分Xi′(最終段のウ
ェーブレット変換手段36−nでは、低周波成分復号手
段32−2より入力される画像の低周波成分Xn′)に
対しては、縦方向及び横方向にデータ1個置きに該デー
タの後にゼロを1つ挿入して、補間を行う。波形合成回
路34−iから入力される横方向の高周波成分に対して
は、横方向に先頭からデータ1個置きにゼロを1個挿入
し、縦方向にはデータ1個置きに該データの後にゼロを
1個挿入する。また、波形合成回路34−iから入力さ
れる縦方向の高周波成分に対しては、縦方向に先頭から
データ1個置きにゼロを1個挿入し、横方向にはデータ
1個置きに該データの後にゼロを1個挿入する。
【0254】奇数タップのフィルタの場合は、式(3
2)の1項で示される低域通過フィルタ、2項及び3項
で示される横方向及び縦方向の高域通過フィルタを用い
て、画像をウェーブレット逆変換し、その結果Xi′を
2倍して前段のウェーブレット逆変換手段36−iに、
もしくは最初段のウェーブレット逆変換手段36−1に
おいては、復元された誤差情報Xd′として動き補償補
間手段29へ出力する。
【0255】偶数タップのフィルタの場合には、式(3
3)の1項で示される低域通過フィルタ、2項及び3項
で示される横方向及び縦方向の高域通過フィルタを用い
て、画像をウェーブレット逆変換している。
【0256】動き補償補間手段29では、動き補償予測
手段28から入力される画像の動き情報Xm と、ウェー
ブレット逆変換手段36−1から入力される画像の誤差
情報Xd′と、メモリ39からの先行して入力された画
像データX0″とに基づいて、前画像を動き情報量分だ
け動かした後に、現画像の予測誤差を補間している。
【0257】以上のように構成され、動作する第11実
施例の動画像符号化装置は第5の発明に対応するもので
あって、次のような利点がある。
【0258】従来の画像符号化装置では、ウェーブレッ
ト変換手段1−i(i=1,…,n)が必要であった
が、本実施例では、低域通過フィルタのみとなり、また
エッジ検出手段21も1段のみとなっているので、動画
像符号化装置を簡単にすることができる。また、従来の
ウェーブレット変換手段1−iは、後続のピーク検出手
段2−iでピークを検出するために、ウェーブレット関
数がスムージング関数の1次微分あるいは2次微分関数
とする必要があったが、本実施例ではその必要がなくウ
ェーブレット関数を幅広く選択することができる。
【0259】しかもエッジ情報及び低周波成分に対し
て、それぞれ動き補償予測手段及びメモリを設けて、動
き補償付きの予測を可能としているから、動画像の時間
的冗長性を除去でき、より一層、符号化効率が向上す
る。
【0260】実施例12. 図22の構成 図22は、本発明の第12実施例を示す動画像復号化装
置の機能ブロック図である。
【0261】図に示す様に、この復号化装置は、分離手
段31、エッジ情報の復号手段32−1、低周波数情報
の復号手段32−2、追加情報の復号手段32−3、
(n−1)段縦続接続されたローパス(低域通過)フィル
タ38−2〜38−n、波形合成手段34−1〜34−
n、ウェーブレット逆変換手段36−1〜36−n、動
き補償補間手段29及びメモリ39から構成されてい
る。分離手段31は、例えば通信回線や半導体記憶装置
などの入出力装置30と接続され、符号化及び多重化さ
れた画像信号Cが入力するようになっている。本実施例
の動画像復号化装置は、先に説明した第11実施例の動
画像符号化装置に対応するものである。
【0262】この動画像復号化装置では、符号化及び多
重化された画像信号Cをエッジ情報Cs と低周波成分の
差分情報Cr と追加情報Cm に分離する分離手段31を
有している。分離手段31の出力側には、符号化された
エッジ情報Cs を復号するエッジ復号手段32−1と、
符号化された画像の低周波成分の差分情報Cr を復号す
る低周波成分復号手段32−2と、符号化された追加情
報Cm を復号する追加情報復号手段32−3が接続され
ている。
【0263】エッジ復号手段32−1の出力側には、エ
ッジ情報S0′から高周波成分Y0を合成する波形合成手
段34−1、及びエッジ情報S0′の低周波成分 S1
抽出する初段のローパスフィルタ38−2が接続されて
いる。ローパスフィルタ38−2の出力側には、波形合
成手段34−2及び2段目のローパスフィルタ38−3
が接続され、ローパスフィルタ38−3の出力側には、
波形合成手段34−3及び3段目のローパスフィルタ3
8−4が接続されるといった具合に、(n−1)段のロ
ーパスフィルタ38−i(i=2,…,n)が縦続接続
されている。ローパスフィルタ38−iは、図21中の
ローパスフィルタ26−iと同じ特性を持つ低域通過フ
ィルタである。また、ローパスフィルタ38−iの出力
側には、このローパスフィルタ38−iの出力Si-1
画像の高周波成分に合成する波形合成手段34−iが接
続されている。最終段のローパスフィルタ38−nの出
力側には、波形合成手段34−nのみが接続されてい
る。
【0264】各波形合成手段34−i(i=1〜n)の
出力側には、これらの波形合成手段34−iより出力さ
れる高周波成分Yi-1、及び後段のウェーブレット逆変
換手段36−(i+1)の出力Xi′、又は低周波成分
復号手段32−2からの出力Xn′に対してウェーブレ
ット逆変換するウェーブレット逆変換手段36−iが接
続されている。ウェーブレット逆変換手段36−i(i
=2〜n)の出力側には、前段のウェーブレット逆変換
手段36−(i−1)が接続されている。そして、初段
のウェーブレット逆変換手段36−1の出力端子は動き
補償補間手段29と接続されている。この動き補償補間
手段29には、動き補償された画像を格納するメモリ3
9が接続され、動き補償補間手段29に入力される画像
の予測誤差情報Xd′、画像の動き情報Xm′、及びメモ
リ39からの前画像データX0″に基づいて、現画像の
予測誤差を補間した画像データX0′が、例えば画像表
示装置や半導体記憶装置などの入出力装置37に出力さ
れるようになっている。
【0265】図22の動作 次に、図22の動画像復号化装置の動作の説明をする。
【0266】図21中のエッジ符号化手段24−1及び
低周波成分符号化手段24−2により符号化され、多重
化手段25により多重化された画像信号Cが、入出力装
置30より分離手段31に入力される。
【0267】分離手段31では、図21中の多重化手段
25と逆の手法により、エッジ情報Cs 、低周波成分の
差分情報Cr 及び追加情報Cm に分離し、エッジ情報C
s はエッジ復号手段32−1に出力され、低周波成分の
差分情報Cr は低周波成分復号手段32−2に出力さ
れ、追加情報Cm は追加情報復号手段32−3に出力さ
れる。
【0268】追加情報復号手段32−3では、符号化さ
れた画像の追加情報Cm に対して、図21中の追加情報
符号化手段24−3と逆の手法で復号し、画像の動き情
報Xm ′を復元して動き補償補間手段29に出力する。
【0269】低周波成分復号手段32−2では、分離さ
れた画像の低周波成分の差分情報Cr に対して、図21
中の低周波成分復号化手段32−2と同一の手法で復号
し、画像の低周波成分Xn′を復元して最終段のウェー
ブレット逆変換手段36−nに出力する。
【0270】エッジ復号手段32−1では、分離された
画像のエッジ情報Cs に対して、図21中のエッジ復号
化手段32−1と同一の方法で復号し、エッジの位置及
び大きさの情報S0′を初段のローパスフィルタ38−
2及び波形合成手段34−1に出力する。
【0271】以下、ローパスフィルタ38−i、波形合
成手段34−i、及びウェーブレット逆変換手段36−
iにおいては、先の第11実施例で説明した場合と同一
の方法で、誤差情報Xd′を復元して動き補償補間手段
29に出力する。
【0272】動き補償補間手段29では、追加情報復号
手段32−3で復元された画像の動き情報Xm 、ウェー
ブレット逆変換手段36−1から入力される画像の予測
誤差情報Xd′及びメモリ39からの先行して入力され
た画像データX0″に基づいて、前画像を動き情報量分
だけ動かした後に、予測誤差を補間して再現される現画
像データX0′が、例えば画像表示装置や半導体記憶装
置などの入出力装置37に出力される。
【0273】以上のように構成され、動作する第12実
施例の動画像復号化装置は第9の発明に対応するもので
あって、次のような利点がある。
【0274】従来の画像復号化装置では、ピーク情報を
ウェーブレット変換領域へ写像するためのウェーブレッ
ト写像手段14−i、及びウェーブレット変換係数をピ
ーク情報領域へ写像するためのピーク写像手段17−i
がそれぞれn段必要で、また再生画像が収束と判断され
るまで処理を繰り返す必要があり、負担が大きい。これ
に対し、本実施例の動画像復号化装置では、複数個の加
算器によって簡単に構成することのできる波形合成手段
34−iがn段あれば良く、装置が簡単な上に、繰り返
し処理の必要もなく、高速にかつ正確に画像を復元でき
る。
【0275】実施例13.図23は、本発明の第13実
施例を示す動画像符号化装置の機能ブロック図である。
【0276】図に示す様に、この動画像符号化装置は、
入力端子10、動き補償予測手段28、1次元低域通過
手段27、エッジ検出手段21、n段縦続接続されたロ
ーパス(低域通過)フィルタ26−1〜26−n、符号
化手段24−1,24−2,24−3、多重化手段2
5、復号手段32−1,32−2、(n−1)段縦続接
続されたローパスフィルタ38−2〜38−n、波形合
成手段34−1〜34−n、ウェーブレット逆変換手段
36−1〜36−n、動き補償補間手段29及びメモリ
39から構成されている。ディジタル画像信号X0 は、
入力端子10から動き補償予測手段28への入力であ
る。そして、第11の実施例(図21)と同様に、時間
的に隣接する動画像の画像信号から動き情報を検出し、
この動き情報によって画像のずれを補正した後に、2枚
の画像の間の予測誤差情報Xd を抽出する動き補償予測
手段28を入力端子10の直後に接続している。動き補
償予測手段28には追加情報である動画像の動きベクト
ル情報などの動き情報Xm を符号化する追加情報符号化
手段24−3と、入力画像X0 の縦方向及び横方向のエ
ッジ情報S0 を検出するエッジ検出手段21と、入力画
像X0 の予測誤差情報Xd から低周波成分X1 を抽出す
る初段のローパスフィルタ26−1とが接続されてい
る。ローパスフィルタ26−1の出力側には、2段目の
ローパスフィルタ26−2が接続され、そのローパスフ
ィルタ26−2の出力側には、3段目のローパスフィル
タ26−3が接続されるという具合に、n段(n≧1)
の各ローパスフィルタ26−i(i=1,…,n)が縦
続接続されている。
【0277】本実施例の動画像符号化装置が第11の実
施例の画像符号化装置と異なる点は、動き補償予測手段
28とエッジ検出手段21との間には、入力画像X0
誤差情報Xd が入力される1次元低域通過手段であるロ
ーパスフィルタ27を配置していることである。なお、
本実施例の動作は、先行する実施例の説明から容易に理
解されるものであり、ここでは省略する。
【0278】以上のように構成された第13の実施例の
動画像符号化装置は、第5の発明に対応するものであっ
て、エッジ情報及び低周波成分に対して、それぞれ動き
補償予測手段及びメモリを設けて、動き補償付きの予測
を可能としているから、動画像の時間的冗長性を除去で
き、より一層、符号化効率が向上する。
【0279】実施例14. 図24の構成 図24は、本発明の第14実施例を示す動画像符号化復
号化装置の機能ブロック図である。
【0280】図に示す様に、この動画像符号化復号化装
置は、入力端子10−1,10−2、動き補償予測手段
28、エッジ検出手段21、n段縦続接続されたローパ
ス(低域通過)フィルタ26−1〜26−n、符号化手
段24−1,24−2,24−3、多重化手段25、分
離手段31、復号手段32−1〜32−3、(n−1)
段縦続接続されたローパスフィルタ38−2〜38−
n、波形合成手段34−1〜34−n、ウェーブレット
逆変換手段36−1〜36−n、動き補償補間手段2
9、メモリ39及びスイッチ40−1〜40−3から構
成されている。ディジタル画像信号X0 は、第一の入力
端子10−1から動き補償予測手段28への入力であ
る。また、第二の入力端子10−2から分離手段31へ
の入力は、符号化及び多重化された画像信号Cである。
本実施例の動画像符号化復号化装置は、第11実施例の
画像符号化装置において、画像信号Cを入力する第2の
入力端子10−2、分離手段31、復号手段32−3及
びスイッチ40−1〜40−3を設けて、復号機能をも
たせたものである。
【0281】この動画像符号化復号化装置では、第2の
入力端子10−2が分離手段31と接続されている。第
2の入力端子10−2に入力した画像信号Cから分離さ
れる3つの出力のうち、符号化されたエッジ情報Cs と
符号化された低周波成分の差分情報Cr は、それぞれス
イッチ40−1,40−2の一方入力を介してエッジ復
号手段32−1、低周波成分復号手段32−2に入力さ
れる。また、分離された追加情報Cm は追加情報復号手
段32−3に直接入力し、ここで復号化された後に、ス
イッチ40−3の一方入力を介して動き補償補間手段2
9に入力される。
【0282】これらのスイッチ40−1〜40−3は、
第1の入力端子10−1に動画像のディジタルデータX
0 が入力している間、エッジ復号手段32−1、低周波
成分復号手段32−2及び動き補償補間手段29をそれ
ぞれエッジ符号化手段24−1、低周波成分符号化手段
24−2及び動き補償予測手段28と接続するように、
図の端子a側に切り換えられている。そして、符号化及
び多重化された画像信号Cが第2の入力端子10−2に
入力すると、分離手段31からエッジ復号手段32−
1、低周波成分復号手段32−2にそれぞれエッジ情報
Cs 、低周波成分の差分情報Cr を供給するように、ス
イッチ40−1,40−2は図の端子b側に切り換えら
れる。また、スイッチ40−3も図の端子b側に切り換
えられ、追加情報復号手段32−3からこのスイッチ4
0−3を介して復元された画像の動き情報Xm′が動き
補償補間手段29に出力される。
【0283】このように、スイッチ40−1〜40−3
を端子a側に切り換えた場合には、先の第11実施例の
画像符号化装置と同じ動作によって、第1の入力端子1
0−1に入力した動画像データX0 を符号化された多重
化信号に変換して、入出力装置30に出力できる。ま
た、スイッチ40−1〜40−3を端子b側に切り換え
た場合には、先の第12実施例の画像復号化装置と同じ
動作によって、第2の入力端子10−2に入力した符号
化及び多重化された画像信号Cから現画像の予測誤差を
補間した画像データX0′が入出力装置37に出力でき
る。
【0284】したがって、第11実施例の画像符号化装
置と第12実施例の画像復号化装置とを単純に一体した
場合に較べて、この実施例の動画像符号化復号化装置で
は少量の追加部品で動画像の復号化が可能になる。
【0285】実施例15. 図25の構成 図25は、本発明の第15実施例を示す動画像符号化復
号化装置の機能ブロック図である。
【0286】本実施例の動画像符号化復号化装置は第1
4実施例と同様に構成されているため、少量の追加部品
で動画像の復号化が可能になるという効果を有する。第
14実施例の画像符号化符号化装置と異なる点は、動き
補償予測手段28とエッジ検出手段21との間に、入力
画像X0 の誤差情報Xd が入力される1次元低域通過手
段であるローパスフィルタ27を配置していることであ
る。なお、本実施例の動作は、先行する実施例の説明か
ら容易に理解されるものであり、ここでは省略する。
【0287】変形例 なお、本発明は、上記実施例に限定されず種々の変形が
可能である。その変形例としては、例えば次の(i) ,(i
i)のようなものがある。
【0288】(i) スムージングフィルタ22−iなど
低域通過手段として使用する低域通過フィルタは、横方
向に偶数タップ、縦方向に奇数タップのフィルタ係数を
用いてもよい。この場合、波形合成手段34−i及びウ
ェーブレット逆変換手段36−iでは、それぞれ横方向
と縦方向で奇数タップの場合、偶数タップの場合を別々
に実施例を適用すればよい。
【0289】(ii) 偶数タップの場合に、注目画素を中
心として左又は上にN 個のタップ、右又は下にN+1 個の
タップを用いてもよい。
【0290】
【発明の効果】以上詳細に説明したように、第1の発明
によれば、スムージングフィルタとエッジ検出手段とを
設けたので、画像符号化装置の構成が簡単になる。
【0291】第2の発明によれば、n段の縦続接続され
た2次元低域通過手段からの入力画像の低周波数成分を
エッジ検出手段に直接入力して、入力画像のエッジを検
出できるから、サンプリング手段および補間手段を必要
とせず、画像符号化復号化装置の構成及び処理が簡単に
なる。
【0292】第3の発明によれば、1次元低域通過手段
によってディジタル画像の縦方向及び横方向の低周波成
分をそれぞれ独立して抽出するようにしているので、縦
方向、横方向および斜め方向のエッジを検出でき、画像
の符号化、復号化処理が簡単になる。
【0293】第4の発明によれば、符号化手段に第1、
第2の動き補償予測手段によって現画像の動き補償を行
うことにより、動画像を対象とする効率良い符号化を行
える。
【0294】第5の発明によれば、入力端子とエッジ検
出手段との間に動き補償予測手段を設けているので、時
間的に隣接して入力する動画像の画像信号から動き情報
及び動き補償後の画像の予測誤差情報を抽出して、動画
像を対象とする効率良い符号化を行える。
【0295】第6の発明によれば、スムージングフィル
タと波形合成手段とウェーブレット逆変換手段とを設け
たので、画像復号化装置の構成及び処理が簡単になる。
【0296】第7の発明によれば、補間手段をなくし
て、さらに画像復号化装置の構成及び処理を簡単にでき
る。
【0297】第8の発明によれば、復号化回路部の後段
に動き補償補間手段を配置して、装置が簡単な上に、繰
り返し処理の必要もなく、高速にかつ正確に画像を復元
できる。
【0298】第9の発明によれば、動き補償補間手段に
よって、時間的に隣接して入力する画像信号と動き情報
とから動き補償付き補間された動画像を出力でき、正確
に画像を復元できる。
【0299】第10及び第11の発明によれば、第1の
スムージングフィルタとエッジ検出手段と第2のスムー
ジングフィルタと波形合成手段とウェーブレット逆変換
手段とを設けたので、画像符号化復号化装置の構成及び
処理が簡単になる。
【0300】第12の発明によれば、スイッチを切り換
えることによって、画像符号化装置或いは画像復号化装
置として動作させて、第1の入力端子に入力した動画像
データを符号化された多重化信号に変換して、入出力装
置に出力し、また、第2の入力端子に入力した符号化及
び多重化された画像信号から現画像の予測誤差を補間し
た画像データを入出力装置に出力できる。
【0301】第13の発明によれば、前記画像符号化復
号化装置の動き補償予測手段とエッジ検出手段との間
に、入力画像の誤差情報が入力される1次元低域通過手
段を配置している。これによってディジタル画像の縦方
向及び横方向の低周波成分をそれぞれ独立して抽出する
ようにしているので、縦方向、横方向および斜め方向の
エッジを検出できる。
【図面の簡単な説明】
【図1】 本発明の第1実施例を示す画像符号化装置の
機能ブロック図である。
【図2】 従来の画像符号化装置の機能ブロック図であ
る。
【図3】 従来の画像復号化装置の機能ブロック図であ
る。
【図4】 従来のウェーブレット変換を説明する機能ブ
ロック図である。
【図5】 従来のウェーブレット逆変換を説明する機能
ブロック図である。
【図6】 エッジ構造を示す図である。
【図7】 本発明の第2実施例を示す画像復号化装置の
機能ブロック図である。
【図8】 本発明の第3実施例を示す画像符号化装置の
機能ブロック図である。
【図9】 本発明の第4実施例を示す画像復号化装置の
機能ブロック図である。
【図10】 2次元ローパスフィルタの一例を示すブロ
ック図である。
【図11】 本発明のウェーブレット逆変換を説明する
機能ブロック図である。
【図12】 本発明の第5実施例を示す画像符号化装置
の機能ブロック図である。
【図13】 1次元ローパスフィルタの一例を示すブロ
ック図である。
【図14】 本発明のウェーブレット変換を説明する機
能ブロック図である。
【図15】 本発明のウェーブレット逆変換を説明する
機能ブロック図である。
【図16】 本発明の第6実施例を示す動画像符号化装
置の機能ブロック図である。
【図17】 本発明の第7実施例を示す動画像符号化装
置の機能ブロック図である。
【図18】 本発明の第8実施例を示す動画像復号化復
号化装置の機能ブロック図である。
【図19】 本発明の第9実施例を示す動画像符号化装
置の機能ブロック図である。
【図20】 本発明の第10実施例を示す動画像符号化
装置の機能ブロック図である。
【図21】 本発明の第11実施例を示す動画像符号化
装置の機能ブロック図である。
【図22】 本発明の第12実施例を示す動画像復号化
装置の機能ブロック図である。
【図23】 本発明の第13実施例を示す動画像符号化
装置の機能ブロック図である。
【図24】 本発明の第14実施例を示す動画像符号化
復号化装置の機能ブロック図である。
【図25】 本発明の第15実施例を示す動画像符号化
復号化装置の機能ブロック図である。
【符号の説明】
10 入力端子 21 エッジ検出手段 22−i(i=1〜n) スムージングフィルタ 23 サンプリング手段 24−1,24−2 第1,第2の符号化手段 25 多重化手段 31 分離手段 32−1,32−2 第1,第2の復号手段 33−i(i=1〜n−1) スムージングフィルタ 34−i(i=1〜n) 波形合成手段 35 補間手段 36−1(i=1〜n) ウェーブレット逆変換手

Claims (29)

    (57)【特許請求の範囲】
  1. 【請求項1】 ディジタル値で表現される複数の画素か
    ら構成されたディジタル画像を符号化し、符号化された
    エッジ情報と低周波成分の画素情報とで表現されるディ
    ジタル画像を復号する画像符号化復号化装置において、 ディジタル画像が入力される入力端子と、 前記ディジタル画像の低周波成分を取り出すn(n≧1
    の任意の正の整数)段の縦続接続された2次元低域通過
    手段と、 前記ディジタル画像の横方向及び縦方向の画素が形成す
    るエッジ位置及びその大きさを隣接画素間の濃度値の差
    分値の大きさによって検出するエッジ検出手段と、 前記エッジ検出手段及び前記最終段の2次元低域通過手
    段に接続され、前記ディジタル画像のエッジ情報及び画
    像の低周波成分を符号化する符号化手段と、 前記符号化手段によって符号化された画像のエッジ情報
    と低周波成分の画素情報とを復号する復号手段と、 前記復号手段により復号された画像のエッジ情報の低周
    波成分を順次抽出する(n−1)段の縦続接続された低
    域通過手段と、 前記復号手段により復号された画像のエッジ情報及び前
    記各段の低域通過手段の出力をそれぞれ累積してエッジ
    の高周波成分を合成することによってウェーブレット変
    換係数に変換するn段の波形合成手段と、 前記復号手段によって復号された画像の低周波成分、及
    び前記各段の波形合成手段より出力されるウェーブレッ
    ト変換係数に対して順次ウェーブレット逆変換するn段
    のウェーブレット逆変換手段とを備えたことを特徴とす
    る画像符号化復号化装置。
  2. 【請求項2】 前記2次元低域通過手段は、 ディジタル画像の横方向及び縦方向に対してそれぞれ作
    用する1次元の低域通過フィルタと、 ディジタル画像の横方向及び縦方向のデータから一個置
    きに1個を間引くサブサンプリング手段とを有すること
    を特徴とする請求項1記載の画像符号化復号化装置。
  3. 【請求項3】 前記エッジ検出手段は、前記ディジタル
    画像の注目画像の横方向又は縦方向の隣接2画素の和と
    該注目画素の2倍との差の絶対値が閾値よりも大きい
    時、その差を該注目画素の横方向及び縦方向のエッジの
    大きさとする構成としたことを特徴とする請求項1記載
    の画像符号化復号化装置。
  4. 【請求項4】 前記符号化手段は、前記符号化手段によ
    って符号化された画像のエッジ情報と画像の低周波成分
    とを多重化する多重化手段を有することを特徴とする請
    求項1記載の画像符号化復号化装置。
  5. 【請求項5】 前記入力端子と前記エッジ検出手段との
    間に、ディジタル画像の縦方向及び横方向の低周波成分
    をそれぞれ独立して抽出する1次元低域通過手段を設け
    たことを特徴とする請求項1又は請求項3の画像符号化
    復号化装置。
  6. 【請求項6】 前記エッジ検出手段は、前記1次元低域
    通過手段で抽出された低域成分の画像データに対して横
    方向及び縦方向のエッジを、ディジタル画像の画像デー
    タに対して斜め方向のエッジをそれぞれ検出する構成と
    したことを特徴とする請求項5記載の画像符号化復号化
    装置。
  7. 【請求項7】 前記エッジ検出手段は、 前記画像データの注目画素の横方向又は縦方向の隣接2
    画素の和と該注目画素の2倍との差の絶対値が閾値より
    も大きい時、該注目画素位置及びその差の絶対値をそれ
    ぞれ横方向又は縦方向のエッジ位置及びエッジの大きさ
    として検出する手段と、 前記画像データの注目画素の横方向の隣接2画素の和と
    該注目画素の2倍との差を横方向の差分値として求め、
    さらにこの横方向の差分値について縦方向の隣接2画素
    の和と該注目画素の2倍との差の絶対値が閾値よりも大
    きい時、該注目画素位置及びその差の絶対値を斜め方向
    のエッジ位置及びエッジの大きさとして検出する手段と
    を有することを特徴とする請求項5記載の画像符号化復
    号化装置。
  8. 【請求項8】 前記符号化手段は、 時間的に隣接して入力する動画像信号のエッジについて
    の動き情報及び動き補償後のエッジの予測誤差情報を抽
    出する第1の動き補償予測手段と、 前記エッジの予測誤差情報を符号化する第1の符号化手
    段と、 前記最終段の2次元低域通過手段からの低周波成分に基
    づいて、時間的に隣接して入力する動画像信号の低周波
    成分についての動き情報及び動き補償後の低周波成分の
    予測誤差情報を抽出する第2の動き補償予測手段と、 前記低周波成分の予測誤差情報を符号化する第2の符号
    化手段とを有することを特徴とする請求項1又は請求項
    のいずれかに記載の画像符号化復号化装置。
  9. 【請求項9】 前記符号化手段は、さらに前記第1、第
    2の動き補償予測手段でそれぞれ検出されたエッジ及び
    低周波成分の動き情報を含む追加情報を符号化する第3
    の符号化手段を有することを特徴とする請求項8記載の
    画像符号化復号化装置。
  10. 【請求項10】 前記符号化手段は、前記第1の符号化
    手段により符号化されたエッジの予測誤差情報と前記第
    2の符号化手段により符号化された低周波成分の予測誤
    差情報と前記第3の符号化手段により符号化された動画
    像の追加情報とを多重化して出力する多重化手段を有す
    ることを特徴とする請求項9記載の画像符号化復号化装
    置。
  11. 【請求項11】 前記第1の動き補償予測手段と前記第
    2の動き補償予測手段との間を接続する信号線を有し、 前記第1の動き補償予測手段と前記第2の動き補償予測
    手段とのいずれか一方の動き情報を他方の予測手段にお
    いて参照するように構成したことを特徴とする請求項
    8、請求項9又は請求項10のいずれかに記載の画像符
    号化復号化装置。
  12. 【請求項12】 前記符号化手段は、 前記第1の符号化手段により符号化されたエッジの予測
    誤差情報を復号する第1の復号手段と、 前記動き補償予測手段で抽出された前画像と現画像の間
    エッジの動き情報に基づいて、前記第1の復号手段で
    復号された現画像のエッジの予測誤差情報と、第1の記
    憶手段に格納されている前画像のエッジ情報とを用い
    て、現画像のエッジ情報を動き補償補間により復元する
    第1の動き補償補間手段と、 前記動き補償補間手段からのエッジ情報を格納する第1
    の記憶手段とを有することを特徴とする請求項8、請求
    項9又は請求項10のいずれかに記載の画像符号化復号
    化装置。
  13. 【請求項13】 前記符号化手段は、 前記第2の符号化手段により符号化された低周波成分の
    予測誤差情報を復号する第2の復号手段と、 前記動き補償予測手段で抽出された前画像と現画像の間
    低周波成分の動き情報に基づいて、前記第2の復号手
    段で復号された現画像の低周波成分の予測誤差情報と、
    第2の記憶手段に格納されている前画像の低周波成分と
    を用いて、現画像の低周波成分を動き補償補間により復
    元する第2の動き補償補間手段と、 前記動き補償補間手段からの低周波成分を格納する第2
    の記憶手段とを有することを特徴とする請求項12記載
    の画像符号化復号化装置。
  14. 【請求項14】 前記入力端子と前記エッジ検出手段と
    の間に、時間的に隣接して入力する動画像の画像信号か
    ら動き情報及び動き補償後の画像の予測誤差情報を抽出
    する動き補償予測手段を設けたことを特徴とする請求項
    1又は請求項5のいずれかに記載の画像符号化復号化装
    置。
  15. 【請求項15】 前記符号化手段は、前記エッジ検出手段により前記予測誤差情報から画像の
    横方向及び縦方向の画素が形成するエッジ位置及びその
    大きさを隣接画素間の濃度値の差分値の大きさによって
    検出され、 前記符号化手段により符号化された画像のエ
    ッジ情報を復号する第1の復号手段と、 前記符号化手段により符号化された予測誤差情報の低周
    波成分を復号する第2の復号手段と、 前記第1の復号手段により復号された画像のエッジ情報
    の低周波成分を順次抽出する(n−1)(n≧2の任意
    の正の整数)段の縦続接続された低域通過手段と、 前記第1の復号手段により復号された画像のエッジ情報
    及び前記各段の低域通過手段の出力をそれぞれ累積して
    エッジの高周波成分を合成することによってウェーブレ
    ット変換係数に変換するn段の波形合成手段と、 前記第2の復号手段により復号された予測誤差情報の低
    周波成分と前記各段の波形合成手段より出力されるウェ
    ーブレット変換係数とに対して順次ウェーブレット逆変
    換するn段のウェーブレット逆変換手段と、 前記動き補償予測手段から出力された前画像と現画像の
    間の動き情報に基づいて、前記ウェーブレット逆変換手
    段により復号された現画像の予測誤差情報と、記憶手段
    に格納されている前画像とを用いて、現画像を動き補償
    補間により復元する動き補償補間手段と、 前記動き補償補間手段からの画像情報を格納する記憶手
    段とを有することを特徴とする請求項14記載の画像符
    号化復号化装置。
  16. 【請求項16】 前記波形合成手段は、 前記画像の横方向の各エッジ点に対して、独立に該各エ
    ッジ点の横方向の近傍ウェーブレット変換係数を合成
    し、合成された各エッジ点のウェーブレット変換係数の
    横方向の重なりを足し合せて、全体の横方向のウェーブ
    レット変換係数を出力する手段と、 前記画像の縦方向の各エッジ点に対して、独立に該各エ
    ッジ点の縦方向の近傍ウェーブレット変換係数を合成
    し、合成された各エッジ点のウェーブレット変換係数の
    縦方向の重なりを足し合せて、全体の縦方向のウェーブ
    レット変換係数を出力する手段と、 前記横方向及び縦方向のウェーブレット変換係数に対し
    て、それぞれ横方向及び縦方向にサブサンプリングする
    サンプリング手段とを有することを特徴とする請求項1
    記載の画像符号化復号化装置。
  17. 【請求項17】 前記サンプリング手段は、 横方向のウェーブレット変換係数に対して、横方向に先
    頭データから1個置きに1個間引くようなサブサンプリ
    ングを行い、縦方向には2番目のデータから1個置きに
    1個間引くようなサブサンプリングを行い、 縦方向のウェーブレット変換係数に対して、縦方向に先
    頭データから1個置きに1個間引くようなサブサンプリ
    ングを行い、横方向には2番目のデータから1個置きに
    1個間引くようなサブサンプリングを行うことを特徴と
    する請求項16記載の画像符号化復号化装置。
  18. 【請求項18】 前記ウェーブレット逆変換手段は、 低周波成分の入力に対して、横方向も縦方向もデータ1
    個置きにゼロを1個挿入する補間手段と、 横方向の高周波成分に対して、横方向に先頭データから
    1個置きにゼロを1個挿入し、縦方向には2番目のデー
    タから1個置きにゼロを1個挿入する補間手段と、 縦方向の高周波成分に対して、縦方向に先頭データから
    1個置きにゼロを1個挿入し、横方向には2番目のデー
    タから1個置きにゼロを1個挿入する補間手段と、 前記各補間手段のフィルタリング出力を加算する加算手
    段とを有することを特徴とする請求項16記載の画像符
    号化復号化装置。
  19. 【請求項19】 前記波形合成手段は、 前記画像の横方向の各エッジ点に対して、独立に該各エ
    ッジ点の横方向の近傍ウェーブレット変換係数を合成
    し、合成された各エッジ点のウェーブレット変換係数の
    横方向の重なりを足し合せて、全体の横方向のウェーブ
    レット変換係数を出力する手段と、 前記画像の縦方向の各エッジ点に対して、独立に該各エ
    ッジ点の縦方向の近傍ウェーブレット変換係数を合成
    し、合成された各エッジ点のウェーブレット変換係数の
    縦方向の重なりを足し合せて、全体の縦方向のウェーブ
    レット変換係数を出力する手段と、 前記画像の斜め方向の各エッジ点に対して、独立に該各
    エッジ点の横方向及び縦方向の近傍ウェーブレット変換
    係数を合成し、合成された各エッジ点のウェーブレット
    変換係数の横方向及び縦方向の重なりを足し合せて、全
    体の斜め方向のウェーブレット変換係数を出力する手段
    とを有することを特徴とする請求項1記載の画像符号化
    復号化装置。
  20. 【請求項20】 前記復号手段は、前画像と現画像の間のエッジの復号した動き情報に基づ
    いて、現画像のエッジの復号した予測誤差情報と、第1
    の記憶手段に格納されている前画像のエッジ情報とを用
    いて、現画像のエッジ情報を動き補償補間により復元す
    第1の動き補償補間手段と、 前記動き補償補間手段で動き補償補間されたエッジ情報
    を格納する第1の記憶手段とを有することを特徴とする
    請求項1記載の画像符号化復号化装置。
  21. 【請求項21】 前記復号手段は、復号した低周波成分の動き情報に基づいて、復号した現
    画像の低周波成分の予測誤差情報と、第2の記憶手段に
    格納されている前画像の低周波成分とを用いて、現画像
    の低周波成分を動き補償補間により復元する 第2の動き
    補償補間手段と、 前記動き補償補間手段で動き補償補間された低周波成分
    を格納する第2の記憶手段とを有することを特徴とする
    請求項1記載の画像符号化復号化装置。
  22. 【請求項22】 符号化されたエッジ情報と低周波成分
    の画素情報とで表現されるディジタル画像を復号する画
    像復号化装置において、前記画像の横方向及び縦方向の画素が形成するエッジ位
    置及びその大きさを隣接画素間の濃度値の差分値の大き
    さによって検出して得られたエッジ情報と前記画像の低
    周波成分と を復号する復号手段と、 前記復号手段により復号された画像のエッジ情報の低周
    波成分を順次抽出する(n−1)(n≧2の任意の正の
    整数)段の縦続接続された低域通過手段と、 前記復号手段により復号された画像のエッジ情報及び前
    記各段の低域通過手段の出力をそれぞれ累積してエッジ
    の高周波成分を合成することによってウェーブレット変
    換係数に変換するn段の波形合成手段と、 前記復号手段によって復号された画像の低周波成分、及
    び前記各段の波形合成手段より出力されるウェーブレッ
    ト変換係数に対して順次ウェーブレット逆変換するn段
    のウェーブレット逆変換手段と、前記復号手段によって復号された前画像と現画像の間の
    動き情報に基づいて、前記ウェーブレット逆変換手段に
    より復号された現画像の予測誤差情報と、記憶手段に格
    納されている前画像とを用いて、現画像を動き補償補間
    により復元する 動き補償補間手段と、 前記動き補償補間手段から出力された画像情報を格納す
    る記憶手段とを備えたことを特徴とする画像復号化装
    置。
  23. 【請求項23】 前記復号手段は、 符号化及び多重化されたディジタル画像信号を画像のエ
    ッジ情報と画像の低周波成分とに分離する分離手段と、 前記分離手段により分離された画像のエッジ情報を復号
    する第1の復号手段と、 前記分離手段により分離された画像の低周波成分を復号
    する第2の復号手段とを有することを特徴とする請求項
    22記載の画像復号化装置。
  24. 【請求項24】 前記波形合成手段は、 前記画像の各エッジ点に対して、独立に該各エッジ点の
    近傍においてウェーブレット逆変換によって元の画像が
    得られる高周波成分を横方向又は縦方向に合成し、前記
    エッジ点の重なりにおいて前記合成された横方向又は縦
    方向の高周波成分を足し合わせて全体の横方向又は縦方
    向の高周波成分に合成する構成としたことを特徴とする
    請求項22記載の画像復号化装置。
  25. 【請求項25】 前記復号手段は、 符号化及び多重化されたディジタル画像信号を画像のエ
    ッジの予測誤差情報と低周波成分の予測誤差情報と動画
    像の追加情報とに分離する分離手段と、 前記分離手段により分離された画像のエッジ情報を復号
    する第1の復号手段と、 前記分離手段により分離された画像の低周波成分を復号
    する第2の復号手段と、 前記分離手段により分離された動画像の追加情報を復号
    する第3の復号手段とを有することを特徴とする請求項
    22記載の画像復号化装置。
  26. 【請求項26】 各段毎に奇数タップの偶対称なフィル
    タ係数を有し、ディジタル画像の低周波成分を取り出す
    n(n≧1の任意の正の整数)段の縦続接続された第1
    のスムージングフィルタと、 前記ディジタル画像の横方向及び縦方向の画素が形成す
    るエッジ位置及びその大きさを隣接画素間の濃度値の差
    分値の大きさによって検出するエッジ検出手段と、 前記エッジ検出手段により検出された画像のエッジ情報
    を符号化する第1の符号化手段と、 前記最終段のスムージングフィルタの出力画像をダウン
    サンプリングするサンプリング手段と、 前記ダウンサンプリングされた画像を符号化する第2の
    符号化手段と、 前記第1の符号化手段によって符号化された画像のエッ
    ジ情報と前記第2の符号化手段によって符号化された画
    像の低周波成分とを多重化する多重化手段と、 前記多重化手段により多重化された画像信号を画像のエ
    ッジ情報と画像の低周波成分とに分離する分離手段と、 前記分離手段により分離された画像のエッジ情報を復号
    する第1の復号手段と、 前記分離手段により分離された画像の低周波成分を復号
    する第2の復号手段と、 前記第1の復号手段により復号された画像のエッジ情報
    又は前段のスムージングフィルタによって出力された画
    像のエッジ情報の低周波成分を取り出す(n−1)段の
    縦続接続された第2のスムージングフィルタと、 前記第1のスムージングフィルタと対をなす偶対称なフ
    ィルタ係数を有する高域通過フィルタのフィルタ係数と
    前記第1の復号手段により復号された画像のエッジ情報
    又は前記各段の第2のスムージングフィルタの出力とを
    用いて、画像の横方向及び縦方向の高周波成分に合成す
    るn段の波形合成手段と、 前記第2の復号手段によって復号された画像の低周波成
    分を所定のサイズにアップサンプリングする補間手段
    と、 第1の積和演算と第2の積和演算とを行い、該第1と第
    2の積和演算の結果を加算してウェーブレット逆変換す
    るn段のウェーブレット逆変換手段とを備え、 前記第1の積和演算は、前記後段のウェーブレット逆変
    換手段又は前記補間手段により出力される画像の低周波
    成分と、前記第1のスムージングフィルタと共役なフィ
    ルタ係数との積和演算であり、 前記第2の積和演算は、前記各段の波形合成手段より出
    力される横方向及び縦方向の高周波成分と、前記高域通
    過フィルタと共役なフィルタ係数と、式(1)に示す関
    数F(ω)を奇数タップ長に逆フーリエ変換して得られ
    るフィルタ係数との積和演算であることを特徴とする画
    像符号化復号化装置。 F(ω)=(1+|H(ω)| )/2 ・・・(1) 但し、ω;角周波数 H(ω);前記第1のスムージングフィルタの周波数特
  27. 【請求項27】 各段毎に偶数タップの偶対称なフィル
    タ係数を有し、ディジタル画像の低周波成分を取り出す
    n(n≧1の任意の正の整数)段の縦続接続された第1
    のスムージングフィルタと、 前記ディジタル画像の横方向及び縦方向の画素が形成す
    るエッジ位置及びその大きさを隣接画素間の濃度値の差
    分値の大きさによって検出するエッジ検出手段と、 前記エッジ検出手段により検出された画像のエッジ情報
    を符号化する第1の符号化手段と、 前記最終段のスムージングフィルタの出力画像をダウン
    サンプリングするサンプリング手段と、 前記ダウンサンプリングされた画像を符号化する第2の
    符号化手段と、 前記第1の符号化手段によって符号化された画像のエッ
    ジ情報と前記第2の符号化手段によって符号化された画
    像の低周波成分とを多重化する多重化手段と、 前記多重化手段により多重化された画像信号を画像のエ
    ッジ情報と画像の低周波成分とに分離する分離手段と、 前記分離手段により分離された画像のエッジ情報を復号
    する第1の復号手段と、 前記分離手段により分離された画像の低周波成分を復号
    する第2の復号手段と、 前記第1の復号手段により復号された画像のエッジ情報
    又は前段のスムージングフィルタによって出力された画
    像のエッジ情報の低周波成分を取り出す(n−1)段の
    縦続接続された第2のスムージングフィルタと、 前記第1のスムージングフィルタと対をなす偶対称なフ
    ィルタ係数を有する高域通過フィルタのフィルタ係数と
    前記第1の復号手段により復号された画像のエッジ情報
    又は前記各段の第2のスムージングフィルタの出力とを
    用いて、高周波成分の差分を求め、該差分を順次足し合
    わせることにより横方向及び縦方向の高周波成分に合成
    するn段の波形合成手段と、 前記第2の復号手段によって復号された画像の低周波成
    分を所定のサイズにアップサンプリングする補間手段
    と、 第1の積和演算と第2の積和演算とを行い、該第1と第
    2の積和演算の結果を加算してウェーブレット逆変換す
    るn段のウェーブレット逆変換手段とを備え、 前記第1の積和演算は、前記後段のウェーブレット逆変
    換手段又は前記補間手段により出力される画像の低周波
    成分と、前記第1のスムージングフィルタと共役なフィ
    ルタ係数との積和演算であり、 前記第2の積和演算は、各段の前記波形合成手段より出
    力される横方向及び縦方向の高周波成分と、前記高域通
    過フィルタと共役なフィルタ係数と、式(2)に示す関
    数F(ω)を偶数タップ長に逆フーリエ変換して得られ
    るフィルタ係数との積和演算であることを特徴とする画
    像符号化復号化装置。 F(ω)=(1+|H(ω)| )/2 ・・・(2) 但し、ω;角周波数 H(ω);前記第1のスムージングフィルタの周波数特
  28. 【請求項28】 時間的に隣接する動画像の画像信号か
    ら動き情報及び動き補償後の画像の予測誤差情報を抽出
    する動き補償予測手段と、 前記予測誤差情報の低周波成分を取り出すn(n≧1の
    任意の正の整数)段の縦続接続された低域通過手段と、 前記予測誤差情報から画像の横方向及び縦方向の画素が
    形成するエッジ位置及びその大きさを隣接画素間の濃度
    値の差分値の大きさによって検出するエッジ検出手段
    と、 前記エッジ検出手段により検出された画像のエッジ情報
    を符号化する第1の符号化手段と、 前記最終段の低域通過手段からの予測誤差情報の低周波
    成分を符号化する第2の符号化手段と、 前記動画像の動き情報を含む追加情報を符号化する第3
    の符号化手段と、 前記第1の符号化手段により符号化された画像のエッジ
    情報と前記第2の符号化手段により符号化された予測誤
    差情報の低周波成分と前記第3の符号化手段により符号
    化された動画像の追加情報とを多重化して出力する多重
    化手段と、 ディジタル画像信号に含まれる符号化及び多重化された
    画像のエッジ情報と予測誤差情報の低周波成分と動画像
    の追加情報とをそれぞれ分離する分離手段と、 符号化された画像のエッジ情報を復号する第1の復号手
    段と、 符号化された予測誤差情報の低周波成分を復号する第2
    の復号手段と、 前記分離手段と前記第1及び第2の符号化手段のいずれ
    かを切り換えて前記第1及び第2の復号手段に接続し、
    これら復号手段に対してそれぞれ画像のエッジ情報及び
    予測誤差情報の低周波成分を供給する第1の切り換え手
    段と、 前記分離手段により分離された動画像の追加情報を復号
    する第3の復号手段と、 前記第1の復号手段により復号された画像のエッジ情報
    の低周波成分を順次抽出する(n−1)(n≧2の任意
    の正の整数)段の縦続接続された低域通過手段と、 前記第1の復号手段により復号された画像のエッジ情報
    及び前記各段の低域通過手段の出力をそれぞれ累積して
    エッジの高周波成分を合成することによってウェーブレ
    ット変換係数に変換するn段の波形合成手段と、 前記第2の復号手段により復号された予測誤差情報の低
    周波成分と前記各段の波形合成手段より出力されるウェ
    ーブレット変換係数とに対して順次ウェーブレット逆変
    換するn段のウェーブレット逆変換手段と、前記動き補償予測手段または前記第3の復号手段からの
    動き動き情報に基づいて、前記ウェーブレット逆変換手
    段により復号された現画像の予測誤差情報と、記憶手段
    に格納されている前画像とを用いて、現画像を動き補償
    補間により復元する 動き補償補間手段と、 前記第3の復号手段と前記動き補償予測手段のいずれか
    を切り換えて前記動き補償補間手段に接続し、この動き
    補償補間手段に対して動き情報を供給する第2の切り換
    え手段と、 前記動き補償補間手段から出力された画像情報を格納す
    る記憶手段とを備えたことを特徴とする画像符号化復号
    化装置。
  29. 【請求項29】 時間的に隣接する動画像の画像信号か
    ら動き情報及び動き補償後の画像の予測誤差情報を抽出
    する動き補償予測手段と、 前記予測誤差情報の低周波成分を取り出すn(n≧1の
    任意の正の整数)段の縦続接続された2次元低域通過手
    段と、 前記予測誤差情報の縦方向及び横方向の低周波成分をそ
    れぞれ独立して抽出する1次元低域通過手段と、 前記1次元低域通過手段で抽出された画像の予測誤差情
    から画像の横方向及び縦方向の画素が形成するエッジ
    位置及びその大きさを隣接画素間の濃度値の差分値の大
    きさによって検出するエッジ検出手段と、 検出するエッジ検出手段と、 前記エッジ検出手段により検出された画像のエッジ情報
    を符号化する第1の符号化手段と、 前記最終段の低域通過手段からの予測誤差情報の低周波
    成分を符号化する第2の符号化手段と、 前記動画像の動き情報を含む追加情報を符号化する第3
    の符号化手段と、 前記第1の符号化手段により符号化された画像のエッジ
    情報と前記第2の符号化手段により符号化された予測誤
    差情報の低周波成分と前記第3の符号化手段により符号
    化された動画像の追加情報とを多重化して出力する多重
    化手段と、 ディジタル画像信号に含まれる符号化及び多重化された
    画像のエッジ情報と予測誤差情報の低周波成分と動画像
    の追加情報とをそれぞれ分離する分離手段と、 符号化された画像のエッジ情報を復号する第1の復号手
    段と、 符号化された予測誤差情報の低周波成分を復号する第2
    の復号手段と、 前記分離手段と前記第1及び第2の符号化手段のいずれ
    かを切り換えて前記第1及び第2の復号手段に接続し、
    これら復号手段に対してそれぞれ画像のエッジ情報及び
    予測誤差情報の低周波成分を供給する第1の切り換え手
    段と、 前記分離手段により分離された動画像の追加情報を復号
    する第3の復号手段と、 前記第1の復号手段により復号された画像のエッジ情報
    の低周波成分を順次抽出する(n−1)(n≧2の任意
    の正の整数)段の縦続接続された低域通過手段と、 前記第1の復号手段により復号された画像のエッジ情報
    及び前記各段の低域通過手段の出力をそれぞれ累積して
    エッジの高周波成分を合成することによってウェーブレ
    ット変換係数に変換するn段の波形合成手段と、 前記第2の復号手段により復号された予測誤差情報の低
    周波成分と前記各段の波形合成手段より出力されるウェ
    ーブレット変換係数とに対して順次ウェーブレット逆変
    換するn段のウェーブレット逆変換手段と、前記動き補償予測手段または前記第3の復号手段からの
    動き動き情報に基づいて、前記ウェーブレット逆変換手
    段により復号された現画像の予測誤差情報と、記憶手段
    に格納されている前画像とを用いて、現画像を動き補償
    補間により復元する 動き補償補間手段と、 前記第3の復号手段と前記動き補償予測手段のいずれか
    を切り換えて前記動き補償補間手段に接続し、この動き
    補償補間手段に対して動き情報を供給する第2の切り換
    え手段と、 前記動き補償補間手段から出力された画像情報を格納す
    る記憶手段とを備えたことを特徴とする画像符号化復号
    化装置。
JP15014295A 1994-10-28 1995-06-16 画像符号化復号化装置、画像復号化装置 Expired - Fee Related JP3308767B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP15014295A JP3308767B2 (ja) 1994-10-28 1995-06-16 画像符号化復号化装置、画像復号化装置
DE69525127T DE69525127T2 (de) 1994-10-28 1995-10-24 Gerät und Verfahren zur Kodierung und Dekodierung von Bildern unter Verwendung einer Kantensynthese und einer Wavelet-Rücktransformation
EP95307558A EP0709809B1 (en) 1994-10-28 1995-10-24 Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform
US08/548,943 US5761341A (en) 1994-10-28 1995-10-26 Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform
KR1019950037906A KR100388377B1 (ko) 1994-10-28 1995-10-28 화상부호화장치복호화장치
US09/069,870 US5878172A (en) 1994-10-28 1998-04-30 Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform
US09/081,104 US5991448A (en) 1994-10-28 1998-05-19 Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform
US09/081,780 US5949910A (en) 1994-10-28 1998-05-20 Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform
US09/082,729 US6101277A (en) 1994-10-28 1998-05-21 Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP26483594 1994-10-28
JP6-264835 1994-10-28
JP15014295A JP3308767B2 (ja) 1994-10-28 1995-06-16 画像符号化復号化装置、画像復号化装置

Publications (2)

Publication Number Publication Date
JPH08181993A JPH08181993A (ja) 1996-07-12
JP3308767B2 true JP3308767B2 (ja) 2002-07-29

Family

ID=26479836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15014295A Expired - Fee Related JP3308767B2 (ja) 1994-10-28 1995-06-16 画像符号化復号化装置、画像復号化装置

Country Status (1)

Country Link
JP (1) JP3308767B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7114321B2 (ja) * 2018-04-26 2022-08-08 キヤノン株式会社 データ処理装置及びその方法

Also Published As

Publication number Publication date
JPH08181993A (ja) 1996-07-12

Similar Documents

Publication Publication Date Title
KR100388377B1 (ko) 화상부호화장치복호화장치
US5659363A (en) Coding and decoding of video signals
JP3104439B2 (ja) 高能率符号化及び/又は復号化装置
US20020041632A1 (en) Picture decoding method and apparatus
JPH09214972A (ja) デコーダ回路、mpegビデオストリーム復号化方法およびコンピュータ
JP2000514987A (ja) Hdtvダウン変換システムのためのアップサンプリングフィルタおよび半画素生成器
US6996593B2 (en) Filter processing apparatus and its control method, program, and storage medium
JP6170614B2 (ja) アップサンプリング及び信号強調
US7242717B2 (en) Wavelet domain motion compensation system
US6553396B1 (en) Filter bank constituting method and filter bank apparatus
JP3687101B2 (ja) データ処理方法及びデータ処理装置
JP3308767B2 (ja) 画像符号化復号化装置、画像復号化装置
Nijim et al. Differentiation applied to lossless compression of medical images
JP3036392B2 (ja) サブバンド信号上の動き補正装置
JP3619534B2 (ja) サブバンド分離及び結合方式
JP2938655B2 (ja) サブバンド分割フィルタとサブバンド合成フィルタ
JPH07288807A (ja) 画像符号化装置及び画像復号化装置
JP3178140B2 (ja) 画像データ圧縮装置
JPH07288815A (ja) 動画像符号化装置及び動画像復号化装置
JP3034696B2 (ja) 動き補償予測符号化/復号化装置
JP2008005343A (ja) 分析フィルタバンク装置、分析フィルタバンク方法及び分析フィルタバンクプログラム、合成フィルタバンク装置、合成フィルタバンク方法及び合成フィルタバンクプログラム、画像圧縮装置及び画像圧縮方法、並びに画像伸長装置及び画像伸長方法
JP2004206725A (ja) サブバンド分割、合成方法及び装置
JPH07303029A (ja) フィルタリング装置およびそれを用いた映像信号符号化装置および映像信号復号化装置ならびにフィルタリング方法
JPH05219490A (ja) ディジタルビデオ信号符号化・復号化装置
JP2010028218A (ja) 画像符号化装置、画像復号装置、画像帯域分割装置及び画像帯域合成装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020507

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080517

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090517

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100517

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100517

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110517

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120517

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130517

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140517

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees