JP4443784B2 - 画像符号化・復号方法、画像符号化装置及び画像復号装置 - Google Patents
画像符号化・復号方法、画像符号化装置及び画像復号装置 Download PDFInfo
- Publication number
- JP4443784B2 JP4443784B2 JP2001072904A JP2001072904A JP4443784B2 JP 4443784 B2 JP4443784 B2 JP 4443784B2 JP 2001072904 A JP2001072904 A JP 2001072904A JP 2001072904 A JP2001072904 A JP 2001072904A JP 4443784 B2 JP4443784 B2 JP 4443784B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- pixel
- edge
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 155
- 238000009499 grossing Methods 0.000 claims abstract description 123
- 239000011159 matrix material Substances 0.000 claims description 179
- 238000004364 calculation method Methods 0.000 claims description 41
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000002093 peripheral effect Effects 0.000 claims description 15
- 238000002945 steepest descent method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 2
- 238000003707 image sharpening Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 13
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000003708 edge detection Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像、静止画像などの原画像を符号化し、その符号化された画像を復号する画像符号化・復号方法に係り、詳しくは、MPEG1/2/4などの標準化されたアルゴリズムを適用しつつ、復号時にノイズの低減を図れる画像符号化・復号方法に関する。
【０００２】
また、本発明は、そのような画像符号化・復号方法に従って画像の符号化、復号を行う画像符号化装置及び画像復号装置に関する。
【０００３】
【従来の技術】
従来、JPEGやMPEGシリーズなどの標準画像・動画符号化方式では、種々の理由により離散コサイン変換（ＤＣＴ）が用いられてきた。特に、それらの符号化方式は、画像の性質への適応性という観点から採用された経緯がある。
【０００４】
通常、画像を空間周波数領域で表現する場合、低周波領域に電力が集中するという性質がある。上記ＤＣＴは、画像信号（濃淡情報）空間の例えば８×８画素から構成されるブロックを直交変換することによって、所定の基底セットの組み合わせに分解して構成基底の係数値を得るものである。ＤＣＴの特徴は、係数値、即ち、周波数成分の偏りの度合いを高めることができるという点にある。特に、画像の性質上、低周波領域により集中の度合いが高くなること、その部分が視覚的に重要であることなどから、適応ビット配分を行うことにより圧縮効率を向上させることができる。
【０００５】
一方、極めて低いビットレートで符号化を行う場合は、量子化が粗くなり、係数値の再現性が悪くなるため、本来、信号の表現にとって重要である基底が復元できなくなるなどの不具合が発生する。また、ＤＣＴは、８×８の画素ブロックに閉じた処理を行うため、この符号化の歪みがブロック境界に顕著に表れる傾向にある。これがブロック歪みを発生させ、視覚的に本来信号に含まれていない成分が画像上に現れるため、非常に目立つノイズとして検知されてしまう。特に、ステップエッジのような急激な輝度（濃度）変化のある波形部分では、忠実な再現には多数の基底が必要となるが、一般に高周波成分にあたる係数は視覚の重みを考慮して低周係数よりも軽視された符号割当が行われるため、エッジの再現に重要な高域係数が失われることになる。このような制御がなされると、エッジ部分でＤＣＴ固有の目立ったノイズが現れ、画質劣化を引き起こすことになる。
【０００６】
そこで、ＤＣＴと差分パルス符号変調（ＤＰＣＭ）とを絵柄に応じて適応的に切り換えるようにした画像符号化装置が提案されている（例えば、特開平５−２７６５０６）。この従来の画像符号化装置では、エッジ部分の処理ではＤＣＴを使用せずにＤＰＣＭを使用することで、ＤＣＴの信号表現上の問題を回避している。
【０００７】
【発明が解決しようとする課題】
しかし、上記のような従来の画像符号化装置では、既存のＤＣＴを用いた標準符号化方式をそのまま適用することができず、その標準化された符号化方式以外の何らかの符号化方式が必要となる。既にＤＣＴを用いた標準符号化方式に準拠する製品は極めて多く、そのような標準符号化方式に従って画像の符号化及び復号を行えることは重要である。
【０００８】
そこで、本発明の第一の課題は、ＤＣＴを用いた標準符号化・復号方式をそのまま適用しても歪みの少ない復号画像を得られるようにした画像符号化・復号方法を提供することである。
【０００９】
また、本発明の第二の課題は、そのような画像符号化・復号方法に従って画像の符号化、復号を行う画像符号化装置及び画像復号装置を提供することである。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、本発明は、請求項１に記載されるように、画像符号化装置が原画像を符号化して得られる符号化情報を画像復号装置に伝送し、その符号化情報を入力する画像復号装置がその符号化情報を復号して原画像を得る際の画像符号化・復号方法において、上記画像符号化装置は、原画像からそのエッジ部分を表すエッジ情報を抽出する手順と、上記原画像を表す濃淡情報に対して該原画像のエッジ部分の平滑化を行う処理を施してエッジ平滑化画像の濃淡情報を得る手順と、抽出されたエッジ情報を第一の符号化アルゴリズムに従って符号化して符号化エッジ情報を得る手順と、上記エッジ平滑化画像の濃淡情報を第二の符号化アルゴリズムに従って符号化して符号化濃淡情報を得る手順とに従って得られた上記符号化エッジ情報と符号化濃淡情報を符号化情報として画像復号装置に伝送し、上記画像復号装置は、上記符号化エッジ情報を上記第一の符号化アルゴリズムに対応した第一の復号アルゴリズムに従って復号してエッジ情報を得る手順と、上記濃淡情報を上記第二の符号化アルゴリズムに対応した第二の復号アルゴリズムに従って復号してエッジ平滑画像の濃淡情報を得る手順と、上記エッジ平滑化画像の濃淡情報に対して、上記エッジ情報を用いて該エッジ平滑化画像のエッジ部分を先鋭化するための処理を施す手順とに従って該エッジ平滑化画像のエッジ部分が先鋭化された再生画像を得るように構成される。
【００１１】
このような画像符号化・復号方法では、画像符号化装置が原画像のエッジ部分を抽出すると共に、その原画像のエッジ部分の平滑化を行ってエッジ平滑化画像を得る。そして、そのエッジ部分を表すエッジ情報を第一の符号化アルゴリズムに従って得られる符号化エッジ情報と、そのエッジ平滑化画像の濃淡情報を第二の符号化アルゴリズムに従って得られる符号化濃淡情報とが原画像の符号化情報として画像符号化装置から画像復号装置に伝送される。
【００１２】
画像復号装置は、第一の復号アルゴリズムに従って上記符号化エッジ情報から得たエッジ情報を用いて、第二の復号アルゴリズムに従って符号化濃淡情報から得たエッジ平滑化画像のエッジ部分の先鋭化を行う。そのエッジ平滑化画像のエッジ部分を先鋭化した画像が原画像として得られる。
【００１３】
上記エッジ平滑化画像は、原画像のエッジ部分が平滑化されたものであるので、比較的高い空間周波数成分が少なくなることから、上記第二の符号化アルゴリズムとしてＤＣＴを用いた標準符号化方式を適用しても、その符号化により欠落する情報は少なくなる。
【００１４】
上記エッジ情報を符号化するために使用される第一の符号化アルゴリズムと、上記エッジ平滑化画像の濃淡情報を符号化するために使用される第二の符号化アルゴリズムは、同一であっても異なっていてもよい。
【００１５】
上記エッジ部分を表すエッジ情報は、そのエッジ部分の位置（画素）が特定できれば、どのような情報であってもよい。
【００１６】
上記濃淡情報は、濃度や輝度などの画像の濃淡の状態を表す情報であり、その形式は特に限定されない。
【００１７】
原画像のエッジ部分の平滑化を行う処理が比較的容易にできるという観点から、本発明は、請求項２に記載されるように、上記画像符号化・復号方法において、上記画像符号化装置にてなされる原画像のエッジ部分の平滑化を行う処理は、原画像を画素毎に順次走査する過程で、上記原画像のエッジ部分またはその所定近傍領域にある画素とその所定周囲領域の各画素にて構成されるブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記次数に対応した次数の正方行列であって、そのブロックの各画素の濃淡情報に平滑化のための各係数が作用するように当該係数が配列された平滑化正方行列とを用いて行列演算を行い、上記原画像の画素毎の走査の過程で、上記行列演算手段にて得られるそのブロック内の各画素の濃淡情報を画素毎に重ね合わせて平滑化された後の各画素の濃淡情報を得るように構成することができる。
【００１８】
このような画像符号化・復号方法では、上記ブロック濃淡情報ベクトルと上記平滑化正方行列を用いた行列演算によりエッジ平滑化画像の濃淡情報を得ることができる。
【００１９】
また、エッジ平滑化画像のエッジ部分を容易に先鋭化できるという観点から、本発明は、請求項３に記載されるように、上記画像符号化・復号方法において、上記画像復号装置にてなされるエッジ平滑化画像のエッジ部分を先鋭化する処理は、上記エッジ平滑化画像を画素毎に走査する過程で、上記第一の復号アルゴリズムに従って得られたエッジ情報にて表されるエッジ部分またはその所定近傍領域にある画素とその上記所定周囲領域の画素にて構成される上記ブロックに対応するブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記平滑化正方行列の逆行列となる先鋭化正方行列とを用いた行列演算を行い、上記エッジ平滑化画像の画素毎の走査の過程で、その行列演算手段にて得られるそのブロック内の各画素の濃淡情報を画素毎に重ね合わせて先鋭化された後の各画素の濃淡情報を求めるように構成することができる。
【００２０】
このような画像符号化・復号方法では、上記ブロック濃淡情報ベクトルと、上記平滑化正方行列の逆行列となる先鋭化正方行列とを用いた行列演算により、先鋭化された各画素の濃淡情報を得ることができる。
【００２１】
先鋭化処理にてより精度のよい再生画像を得ることができるという観点から、本発明は、請求項４に記載されるように、上記画像符号化・復号方法において、上記画像符号化装置にてなされる原画像のエッジ部分の平滑化を行う処理は、そのエッジ部分の画素の濃淡情報ｘと、その周辺画素の濃淡情報に基づいて定められるその画素の周辺の濃淡状態を表す周辺濃淡情報Ｃとを用い、
【００２２】
【数８】
に従ってその画素の平滑化後の濃淡情報ｘ’を得るように構成することができる。
【００２３】
上記周辺濃淡情報Ｃは、上記画素の周辺画素の濃淡情報に基づいて定められるものであって、その画素の周囲の濃淡の状態を表すものであれば、特に限定されず、例えば、周辺画素の各濃淡情報の平均値、トータル加算値、所定の重みをつけた濃度情報の加算値、その平均値など、任意に定めることができる。上記式［数８］のλの値は、その周辺濃淡情報Ｃの決め方に依存する。
【００２４】
上記式［数８］にて平滑化された画像を再生するという観点から本発明は、請求項５に記載されるように、上記画像符号化・復号方法において、上記画像復号装置にてなされるエッジ平滑化画像のエッジ部分を先鋭化する処理は、上記エッジ平滑化画像のエッジ部分の画素の濃淡情報ｘ’と、その周辺画素の濃淡情報に基づいて定められるその画素の周辺の濃淡状態を表す周辺濃淡情報とを用い、上記式［数８］から定式化される上記濃淡情報ｘ’と先鋭化後の濃淡情報との関係に基づいて定義される所定の関係式から最急降下法に従ってその先鋭化後の濃淡情報を求めるように構成される。
【００２５】
上記式［数８］から定式化される上記濃淡情報ｘ’と先鋭化後の濃淡情報との関係に基づいて定義される上記所定の関係式は、例えば、請求項６に記載されるように、
【００２６】
【数９】
とすることができ、その関係式におけるe(X)の値を最小にするＸの値を最急降下法に従って求め、そのe(X)の値を最小とするＸの値を先鋭化された後のその画素の濃淡情報とすることができる。
【００２７】
更に、上記最急降下法の具体的手法を提供するという観点から、本発明は、請求項７に記載されるように、上記画像符号化・復号方法において、上記最急降下法に従った処理では、繰り返しカウント値ｎを順次インクリメントする過程で、
【００２８】
【数１０】
の式に従ってＸ（ｎ＋１）を求めるための演算を、そのＸ（ｎ＋１）が最小値であると見なし得る所定の条件を満足するまで繰り返し行うように構成することができる。
【００２９】
上記第二の課題を解決するため、本発明は、請求項８に記載されるように、原画像からそのエッジ部分を表すエッジ情報を抽出するエッジ抽出手段と、該原画像を表す濃淡情報に対して該原画像のエッジ部分の平滑化を行う処理を施してエッジ平滑化画像の濃淡情報を得るエッジ平滑化手段と、抽出されたエッジ情報を第一の符号化アルゴリズムに従って符号化して符号化エッジ情報を得る第一の符号化手段と、上記エッジ平滑化手段にて得られたエッジ平滑化画像の濃淡情報を第二の符号化アルゴリズムに従って符号化して符号化濃淡情報を得る第二の符号化手段とを有し、上記第一及び第二の符号化手段にて得られた上記符号化エッジ情報と符号化濃淡情報とを原画像の符号化情報とするように構成される。
【００３０】
この符号化情報として得られた符号化エッジ情報と符号化濃淡情報とを利用して原画像の復号が可能となる。
【００３１】
また、上記符号化濃淡情報だけを復号した場合、エッジ平滑化画像が再現されることになる。
【００３２】
上記エッジ平滑化画像を得る具体的な手法を提供するという観点から、本発明は、請求項９に記載されるように、上記画像符号化装置において、上記エッジ平滑化手段は、該原画像のエッジ部分の所定近傍領域においてエッジ部分を横切る方向に並ぶ各画素の濃淡情報にて表される濃淡レベルの変化量を小さくするように当該各画素の濃淡情報を補正する濃淡情報補正手段を有するように構成することができる。
【００３３】
上記のように原画像のエッジ部分の所定近傍領域においてエッジ部分を横切る方向に並ぶ各画素の濃淡情報で表される濃淡レベルの変化量が小さくなることから、そのエッジ部分の所定近傍領域において濃淡レベルの急激な変化が無くなりエッジ部分の平滑化がなされる。
【００３４】
上記エッジ平滑化画像を得る更に具体的な手法を提供するという観点から、本発明は、請求項１０に記載されるように、上記画像符号化装置において、上記濃淡情報補正手段は、上記原画像のエッジ部分の所定近傍領域を含む所定領域内の各画素の濃淡情報にて表される濃淡レベルの平均値を演算する平均値演算手段と、上記エッジ近傍領域において、各画素の濃淡情報にて表される濃淡レベルが上記平均値より高いか低いかを判定する濃淡レベル判定手段とを有し、該濃淡レベル判定手段にて濃淡レベルが上記平均値より高いと判定された画素についてその濃淡レベルが下がるように濃淡情報を補正し、該濃淡レベル判定手段にて濃淡レベルが上記平均値より低いと判定された画素についてその濃淡レベルが上がるように濃淡情報を補正するように構成することができる。
【００３５】
上記所定領域は、エッジ部分の所定近傍領域を含むものであればそのサイズ、形状は特に限定されない。上記第二の符号化アルゴリズムとしてＤＣＴを用いた標準化された符号化アルゴリズムを適用する場合、上記所定領域として、ＤＣＴの処理単位となるＤＣＴブロック（８×８画素）を使用することが好ましい。
【００３６】
原画像の全体的な濃淡状態に変化を与えないという観点から、本発明は、請求項１１に記載されるように、上記画像符号化装置において、上記濃淡情報補正手段は、上記所定領域について求められた各画素の濃淡情報にて表される濃淡レベルの平均値が変化しないように、上記各画素についての濃淡情報の補正を行うように構成することができる。
【００３７】
このような処理により、各ブロック毎に各画素について濃淡情報の補正を行っても、そのブロックにおける各画素の濃淡情報にて表される濃淡レベルの平均値は変化することがない。
【００３８】
また、原画像のエッジ部分の平滑化を行う処理が比較的容易にできるという観点から、本発明は、請求項１２に記載されるように、上記画像符号化装置において、上記エッジ平滑化手段は、上記原画像のエッジ部分を含む所定ブロック毎に、そのブロックに含まれる各画素の濃淡情報を並べて得られる当該画素数に対応した次数のブロック濃淡情報ベクトルとの行列演算を行うべき正方行列であって、その行列演算によりそのブロックに含まれるエッジ部分及びその所定近傍領域における各画素の濃淡情報に平滑化のための各係数が作用するように当該係数が配列された平滑化正方行列を生成する平滑化正方行列生成手段と、該平滑化正方行列生成手段にて生成された平滑化正方行列と上記ブロック濃淡情報ベクトルとを用いた行列演算を行って平滑化された後における当該ブロック内の各画素の濃淡情報を求める行列演算手段とを有するように構成することができる。
【００３９】
このような画像符号化装置では、各所定ブロック毎に、ブロック濃淡情報ベクトルと平滑化正方行列を用いた行列演算を行うことにより、そのブロック内の全ての画像について平滑化された後における濃淡情報を得ることができる。
【００４０】
上記所定ブロックは、前述した場合と同様、任意の画素数を包含するブロックに設定することができる。そして、上記第二の符号化アルゴリズムとしてＤＴＣを用いた標準化された符号化アルゴリズムを適用する場合、上記所定ブロックとして、ＤＣＴの処理単位となるＤＣＴブロック（８×８画素）を使用することが好ましい。
【００４１】
上記ブロック毎に生成される上記平滑化正方行列は、ブロック濃淡情報ベクトルとの行列演算によりそのブロックに含まれるエッジ部分およびその所定近傍領域における各画像の濃淡情報に平滑化のための係数が作用するように当該係数が配列されるので、その配列状態は、そのブロックに含まれるエッジ部分およびその所定近傍領域の位置に依存する。
【００４２】
上記のように所定ブロック毎に平滑化の処理を行うと、ブロックの境界部分において濃淡情報が不連続になる可能性がある。このようなことを防止できるという観点から、本発明は、請求項１３に記載されるように、上記画像符号化装置において、上記エッジ平滑化手段は、原画像を画素毎に順次走査する過程で各画素が該原画像のエッジ部分またはその所定近傍領域にあるか否かを判定する画素判定手段と、該画素判定手段にて画素が上記エッジ部分またはその所定近傍領域にあると判定されときに、その画素とその所定周囲領域の各画素にて構成されるブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記次数に対応した次数の正方行列であって、そのブロックの各画素の濃淡情報に平滑化のための各係数が作用するように当該係数が配列された平滑化正方行列とを用いた行列演算を行う行列演算手段と、上記原画像の画素毎の走査の過程で、上記行列演算手段にて得られるそのブロック内の各画素の濃淡情報を画素毎に重ね合わせて平滑化された後の各画素の濃淡情報を求める演算手段とを有するように構成できる。
【００４３】
このような画像符号化装置では、原画像を画素毎に順次操作する過程で上記ブロック濃淡情報と平滑化正方行列とを用いた行列演算及びその演算結果の画素毎の重ね合わせが行われるので、原画像に対して画素単位に連続的に処理を行うことができる。
【００４４】
上記画素判定手段の具体的な構成を提供するという観点から、本発明は、請求項１４に記載されるように、上記画像符号化装置において、上記画素判定手段は、上記エッジ部分と各画素との距離を表す距離情報を生成する距離変換手段と、
該距離変換手段にて得られた各画素に対する距離情報が所定値以下であるか否かを判定する距離判定手段とを有し、該距離判定手段にて距離情報が所定値以下であると判定されたときに、その距離情報に対応した画素が原画像のエッジ部分またはその所定近傍領域にあると判定するように構成することができる。
【００４５】
また、上記第二の課題を解決するため、本発明は、請求項１６に記載されるように、原画像のエッジ部分を表す符号化エッジ情報と、原画像のエッジ部分を平滑化したエッジ平滑化画像を表す符号化濃淡情報とを有する符号化情報を復号する画像復号装置において、上記符号化エッジ情報を第一の復号アルゴリズムに従って復号して原画像のエッジ部分を表すエッジ情報を得る第一の復号手段と、上記符号化濃淡情報を第二の復号アルゴリズムに従って復号してエッジ平滑化画像の濃淡情報を得る第二の復号手段と、上記第二の復号手段にて得られたエッジ平滑化画像の濃淡情報に対して、上記第一の復号手段にて得られたエッジ情報を用いて該エッジ平滑化画像のエッジ部分を先鋭化するための処理を施すエッジ先鋭化処理手段とを有し、該エッジ先鋭化処理手段にて得られた濃淡情報によって表される再生画像を得るように構成される。
【００４６】
このような画像復号装置では、上記第一の復号アルゴリズム及び第二の復号アルゴリズムのそれぞれを請求項８に記載される第一の符号化アルゴリズム及び第二の符号化アルゴリズムに対応するように定めることにより、請求項８に記載される画像符号化装置にて得られる符号化情報を的確に復号できるようになる。
【００４７】
上記エッジ平滑化画像を先鋭化させる具体的な手法を提供するという観点から、本発明は、請求項１７に記載されるように、上記画像復号装置において、上記エッジ先鋭化処理手段は、上記第二の復号手段にて得られたエッジ平滑化画像の濃淡情報に対して、上記第一の復号手段にて得られエッジ情報にて表されるエッジ部分の所定近傍領域においてエッジ部分を横切る方向に並ぶ各画素の濃淡情報にて表される濃淡レベルの変動量を大きくするように当該各画素の濃淡情報を補正する濃淡情報補正手段を有するように構成できる。
【００４８】
上記のようにエッジ平滑化画像の上記エッジ情報にて表されるエッジ部分の所定近傍領域においてエッジ部分を横切る方向に並ぶ各画素の濃淡情報で表される濃淡レベルの変化量が大きく、そのエッジ部分の所定近傍領域において濃淡レベルの変化が急激になりエッジ部分の先鋭化が図られる。
【００４９】
このような画像復号装置では、上記第一の復号アルゴリズム及び第二の復号アルゴリズムのそれぞれを請求項８に記載される第一の符号化アルゴリズム及び第二の符号化アルゴリズムに対応するように定めると共に、濃淡レベルの変化量を大きくする程度を請求項９に記載されるエッジ平滑化画像を得る際に行われる濃淡レベルの変動を小さくする程度と対応するように定めることにより、請求項９に記載される画像符号化装置にて得られる符号化情報を的確に復号できるようになる。
【００５０】
上記濃淡情報補正手段は、請求項１８に記載されるように、上記エッジ部分の所定近傍領域を含む所定領域内の各画素の濃淡情報にて表される濃淡レベルの平均値を演算する平均値演算手段と、上記エッジ近傍において、各画素の濃淡情報に表される濃淡レベルが上記平均値より高いか低いかを判定する濃淡レベル判定手段を有し、該濃淡レベル判定手段にて濃淡レベルが上記平均値より高いと判定された画素についてその濃淡レベルが上がるように濃淡情報を補正し、該濃淡レベル判定手段にて濃淡レベルが上記平均値より低いと判定された画素についてその濃淡レベルが下がるように濃淡情報を補正するように構成することができる。
【００５１】
復号時において各ブロックの平均的な濃度レベルを変動を変化させないという観点から、本発明は、請求項１９に記載されるように、上記画像復号装置において、上記濃淡情報補正手段は、上記所定領域について求められた各画素の濃淡情報にて表される濃淡レベルの平均値が変化しないように、上記各画素についての濃淡情報を補正するように構成することができる。
【００５２】
また、上記エッジ平滑化画像を先鋭化させる具体的な手法を提供するという観点から、本発明は、請求項２０に記載されるように、上記画像復号装置において、上記エッジ先鋭化処理手段は、上記第二の復号手段にて得られた濃淡情報にて表されるエッジ平滑化画像の上記第一の復号手段にて得られたエッジ情報にて表されるエッジ部分を含む上記所定のブロック毎に、そのブロックに含まれる各画素の濃淡情報を並べて得られる当該画素数に対応した次数のブロック濃淡情報ベクトルと行列演算を行うべき正方行列であって、その行列演算によりそのブロックに含まれるエッジ部分及びその近傍領域における各画素の濃度情報に先鋭化のための各係数が作用するように当該係数が配列された先鋭化正方行列を生成する先鋭化正方行列生成手段と、該先鋭化正方行列生成手段にて生成された先鋭化正方行列と上記ブロック濃淡情報ベクトルとを用いた行列演算を行って先鋭化された後における当該ブロック内の各画素の濃淡情報を求める行列演算手段とを有するように構成することができる。
【００５３】
このような画像復号装置では、ブロック濃淡情報ベクトルと先鋭化正方行列とを用いた行列演算によりエッジ部分の先鋭化がなされた画像における当該ブロック内の各画素の濃淡情報を得ることができる。
【００５４】
このような画像復号装置は、請求項１２に記載された画像符号化装置にて得られる符号化情報を復号するのに適したものとすることができる。この場合、容易に先鋭化の処理を行うことができるという観点から、本発明は、請求項２１に記載されるように、上記画像復号装置において、上記第二の復号手段により処理すべき上記符号化濃淡情報が、原画像のエッジ部分を含む上記所定ブロック毎に、そのブロックに含まれる各画素の濃淡情報を並べて得られる当該画素数に対応した次数のブロック濃淡情報ベクトルとの行列演算を行うべき正方行列であって、その行列演算によりそのブロックに含まれるエッジ部分及びその所定近傍領域における各画素の濃淡情報に平滑化のための係数が作用するように当該係数が配列された平滑正方行列と、上記ブロック濃淡情報ベクトルとを用いた行列演算を行って得られたエッジ平滑化画像の濃淡情報を上記第二の復号アルゴリズムに対応した符号化アルゴリズムに従って符号化して得られる者である場合、上記先鋭化正方行列生成手段は、上記ブロックに含まれるエッジ部分の画素位置に基づいて上記平滑化正方行列の逆行列を上記先鋭化正方行列として生成するように構成することができる。
【００５５】
このような画像復号装置では、原画像の平滑化に用いられた平滑化正方行列の逆行列を求めることによってエッジ平滑化画像のエッジ部分の先鋭化に用いられる先鋭化正方行列を得ることができる。
【００５６】
また更に、上記エッジ平滑化画像を先鋭化させる具体的な手法を提供するという観点から、本発明は、請求項２２に記載されるように、上記画像復号装置において、上記エッジ先鋭化処理手段は、上記第二の復号手段にて得られる濃淡情報にて表されるエッジ平滑化画像を画素毎に走査する過程で各画素が上記第一の復号手段にて得られたエッジ情報にて表されるエッジ部分またはその所定近傍領域にあるか否かを判定する画素判定手段と、該画素判定手段にて画素が上記エッジ部分またはその所定近傍領域にあると判定されたときに、その画素とその上記所定周囲領域の画素にて構成されるブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記次数に対応した次数の正方行列であって、そのブロックの各画素の濃淡情報に先鋭化のための係数が作用するように当該係数が配列された先鋭化正方行列とを用いた行列演算を行う行列演算手段と、上記エッジ平滑化画像の画素毎の走査の過程で、上記行列演算手段にて得られるそのブロック内の各画素の濃淡情報を画素毎に重ね合わせて先鋭化された後の各画素の濃淡情報を求める演算手段とを有するように構成することができる。
【００５７】
このような画像復号装置では、エッジ平滑化画像の画素毎の走査の過程で、上記ブロック濃淡情報ブロックと先鋭化正方行列とを用いた行列演算により、エッジ部分の先鋭化のなされた画像における当該ブロック内の各画素の濃淡情報を得ることができる。
【００５８】
このような画像復号装置は、請求項１３に記載された画像符号化装置にて得られる符号化情報を復号するのに適したものとすることができる。この場合、容易に先鋭化の処理を行うことができるという観点から、本発明は、請求項２４に記載されるように、上記画復号装置において、上記第二の復号手段により処理すべき上記符号化濃淡情報が、原画像を画素毎に順次走査する過程で該原画像のエッジ部分またはその所定の近傍領域にあると判定された画素とその所定周囲領域の各画素にて構成される上記ブロックに対応するブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記次数に対応した次数の正方行列であって、そのブロックの各画素の濃淡情報に平滑化のための各係数が作用するように当該係数が配列された平滑化正方行列とを用いた行列演算を行って得られるそのブロック内の各画素の濃淡情報を各画素毎に重ね合わせて平滑化された後の各画素の濃淡情報を求めることによって得られたエッジ平滑化画像の濃淡情報を上記第二の復号アルゴリズムに対応した符号化アルゴリズムに従って符号化して得られたものである場合、上記先鋭化正方行列は、上記平滑化正方行列の逆行列に定められるように構成できる。
【００５９】
このような画像復号装置では、原画像の平滑化に用いられた平滑化正方行列の逆行列を求めることによってエッジ平滑化画像のエッジ部分の先鋭化に用いられる先鋭化正方行列を得ることができる。
【００６０】
更に、上記第二の課題を解決するため、本発明は、請求項２８に記載されるように、画像の符号化情報を復号する画像復号装置において、上記画像のエッジ部分を表すエッジ情報を取得するエッジ情報取得手段と、上記符号化濃淡情報を所定の復号アルゴリズムに従って復号して画像の濃淡情報を得る復号手段と、該復号手段にて得られた画像の濃淡情報に対して、上記エッジ情報取得手段にて得られたエッジ情報で表されるエッジ部分を先鋭化するための処理を施すエッジ先鋭化処理手段とを有し、該エッジ先鋭化処理手段にて得られた濃淡情報によって表される再生画像を得るように構成される。
【００６１】
上記エッジ情報取得手段は、当該エッジ情報を外部から直接取得しても、符号化されたエッジ情報を復号することによって取得してもよい。
【００６２】
後者の場合、本発明は、請求項２９に記載されるように、上記画像復号装置において、上記エッジ情報取得手段は、当該画像復号装置に提供される符号化エッジ情報を所定の復号アルゴリズムに従って復号して上記エッジ情報を得るエッジ復号手段を有するように構成することができる。
【００６３】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００６４】
本発明の実施の一形態に係る画像符号化装置での処理の原理は、例えば、図１に示すようになっている。
【００６５】
図１において、画素単位の濃淡情報Ｏ（例えば、輝度レベル）にて表現される原画像ＩCからそのエッジ部分ＩEを表すエッジ情報Ａが抽出される。この抽出されたエッジ情報ＡをJBIG等の標準符号化アルゴリズムに従って符号化して符号化エッジ情報ＡCが得られる。一方、上記抽出されたエッジ情報Ａに基づいて、上記原画像ＩOを表す濃淡情報に対して当該エッジ部分ＩEの平滑化を行う処理が施してエッジ平滑化画像Ｉ1の画素単位の濃淡情報Ｂが得られる。このエッジ平滑化画像Ｉ1の濃淡情報ＢがJPEG等の標準符号化アルゴリズムに従って符号化され、符号化濃淡情報ＢCが得られる。この画像符号化装置は、上記符号化エッジ情報ＡCと符号化濃淡情報ＢCとを符号化情報として出力する。
【００６６】
このような画像符号化装置によれば、原画像ＩOのエッジ部分ＩEを平滑化して得られた比較的高い空間周波数成分の少ないるエッジ平滑化画像Ｉ1を符号化しているので、JPEGのようなＤＣＴを用いた標準符号化アルゴリズムを使用しても、符号化において欠落する情報を少なくすることができる。また、上記のように比較的高い空間周波数成分の少ないエッジ平滑化画像Ｉ1をＤＣＴを用いて符号化する場合、エッジ平滑化画像Ｉ1のエッジ周辺でのＤＣＴによる符号化効率を向上させることができ、エッジ部分ＩEを個別に符号化を行っても、全体として符号化効率の低下を防止することができる。
【００６７】
また、本発明の実施の一形態に係る画像復号装置での処理の原理は、例えば、図２に示すようになっている。
【００６８】
図２において、上記符号化エッジ情報ＡCを上記標準符号化アルゴリズム（例えば、JBIG）に対応したJBIG等の標準復号アルゴリズムに従って復号し、原画像のエッジ部分ＩEを表すエッジ情報Ａを取得する。一方、上記符号化濃淡情報ＢCを上記標準符号化アルゴリズム（例えば、JPEG）に対応したJPEG等の標準化復号アルゴリズムに従って復号して、エッジ平滑化画像Ｉ’1の濃淡情報Ｂ’を取得する。このエッジ平滑化画像Ｉ’1の濃淡情報Ｂ’に対して、上記エッジ情報Ａを用いて該エッジ平滑化画像Ｉ’1のエッジを先鋭化するための先鋭化処理が施される。その先鋭化処理にて得られた画素単位の濃淡情報Ｏ’にて表される画像が原画像ＩＯに対応した再生画像Ｉ’Oとして得られる。
【００６９】
このよう画像復号装置では、上記のように符号化情報として得られた符号化エッジ情報ＡCとエッジ平滑化画像ＩEに対応した符号化濃淡情報ＢCとを復号する。この符号化エッジ情報Ａを復号することにより原画像ＩOのエッジ部分ＩEに対応したエッジ情報を再現することができる。そして、上記符号化濃淡情報ＢCを復号して得られたエッジ平滑化画像Ｉ’1のエッジ部分を上記のようにして得られたエッジ情報を用いて先鋭化することにより再生画像Ｉ’Oが得られる。
【００７０】
なお、上記符号化装置にて得られたエッジ平滑化画像ＩEは、エッジ周辺部の空間解像度が低下しているものの、画像信号（濃淡情報）がもつ本来の視覚情報を大きく損なうものではない。そのため、符号化エッジ情報Ａを復号して、エッジ平滑化画像ＩEのエッジの先鋭化を行わなくても、ある程度の画質の画像を得ることができる。従って、エッジ情報は原画像のエンハンスト情報として扱うことができ、例えば、画像符号化装置からネットワークを介して画像復号装置に符号化情報を伝送するシステムでは、ネットワークが混雑して十分な情報を伝送できない場合、エッジ平滑化画像ＩEの符号化濃淡情報だけを符号化情報として伝送させるなど、必要に応じてエッジ情報を利用するように画像伝送システムを構成することも可能となる。
【００７１】
この場合、画像符号化装置と画像復号装置との間でネゴシエーションを行って符号化エッジ情報の伝送についての是非を決定することができる。また、符号化エッジ情報とエッジ平滑化画像の符号化情報とに優先度をつけてＩＰパケット化することで、インターネットルータなどにおいて優先度の高い情報を的確に復号側へ伝送させるようにすることもできる。
【００７２】
次に、本発明の実施の一形態に係る画像符号化装置と画像復号装置を含む画像伝送システムの一例を説明する。
【００７３】
この画像伝送システムは、例えば、図３に示すように構成される。この例では、画像符号化装置１０及び画像復号装置２０は、JPEG等の標準化された静止画像符号化方式及び復号方式を用いて、静止画像の圧縮及び伸張を行っている。画像符号化装置１０は、原画像のうち被写体の輪郭や文字領域などのステップエッジ周辺に関して圧縮効率を高めると共に、エッジ情報を原画像から分離して別途階層的に送信する仕組みを備えている。これにより、画像復号装置２０において、復号により得られた画像のエッジ周辺での主観的品質を向上させることができる。
【００７４】
図３において、この画像伝送システムは、画像符号化装置１０からの原画像についての符号化情報（符号化エッジ情報、符号化濃淡情報）が伝送路３０を介して画像復号装置２０に伝送される。そして、画像復号装置２０がそれらの符号化情報を復号することによって再生画像を得る。
【００７５】
上記画像符号化装置１０は、エッジ検出部１１、JBIG符号化部１２、距離変換部１３、エッジ平滑化部１４及びJPEG符号化部１５を有している。エッジ検出部１１は、入力画像（原画像）からエッジ部分を検出し、そのエッジ部分を表すエッジ情報を出力する。このエッジ検出部１１での検出手法として従来から知られる手法を適用することができる。例えば、Sobelのオペレータなどの汎用手法を用いたり、エッジの連続性を考慮して平滑化すべきエッジの検出精度を最適化する処理を施すこともできる。エッジ検出部１１から出力されるエッジ情報は、白黒の二値情報である。
【００７６】
JBIG符号化部１２は、エッジ検出部１１からの二値情報となるエッジ情報をJBIG符号化方式に従って無歪み（可逆）圧縮を行う。また、上記エッジ情報は距離変換部１３にて距離マップに変換される。この距離変換部１３にてなされる距離変換処理は、画像上の位置（ｉ，ｊ）と位置（ｍ、ｎ）との間の距離の分布を求める処理であり、例えば、ユークリッド距離、４近傍距離、８近傍距離などで定義された距離ｄ（ｆij，ｆmn）にてエッジ部分の画素からその近傍画像までの距離が表される。上記距離マップは、エッジ部分の画素からその近傍画像までの距離値の状態を表し、例えば、その距離値を４近傍距離（ｄ（ｆij，ｆmn）＝｜ｉ−ｍ｜＋｜ｊ−ｎ｜）で定義した場合、図４に示すような距離マップが得られる。なお、図４において、各矩形領域が画素を表すと共に、斜線部の矩形領域がエッジ部分の画素となる。
【００７７】
エッジ平滑化部１４は、上記距離変換部１３からの距離マップ（図４参照）と入力画像（原画像）とを入力し、入力画像におけるエッジ近傍に対する平滑化処理を行ってエッジ平滑化画像を得る。この平滑化処理の詳細については後述する。この平滑化処理によって入力画像におけるステップエッジ等の急峻に濃淡が変化するエッジ部分の平滑化がなされる。
【００７８】
JPEG符号化部１５は、エッジ平滑化部１４からのエッジ平滑化画像を表す濃淡情報をJPEGに従って符号化する。この符号化の際にＤＣＴ（離散コサイン変換）及び量子化がなされるが、エッジ部分が平滑化されたエッジ平滑化画像に対してそれらの処理がなされることから、ＤＣＴ係数を量子化することに起因して復号画像に生ずるブロック歪み、モスキートノイズなどの視覚的に目立つ画質劣化が抑えられると共に、符号化における符号量の低減を図ることが可能となる。
【００７９】
画像符号化装置１０は、JBIG符号化部１２からの符号化エッジ情報とJPEG符号化部１５からのエッジ平滑化画像に対応した符号化濃淡情報となるJPEG符号を符号化情報として出力する。その際、それらの符号化情報及び同一のフレームであることを同定するための同期情報等が多重化されて、その多重化情報が伝送路３０を介して画像符号化装置１０から画像復号装置２０に伝送される。
【００８０】
上記エッジ平滑化部１４での具体的な処理について説明説する。
【００８１】
その処理の概要は、距離マップ（図４参照）によって定められるエッジ近傍領域に属する画素に対して、逆行列を有する平滑化フィルタ行列を適用する。行列演算では、平滑化フィルタ行列が作用する画素ブロックの境界での視覚的影響を抑えるために、オーバラップ演算の手法が用いられる。
【００８２】
まず、入力画像の画素位置（ｉ，ｊ）のサンプル（画素）をｐij、距離マップ（図４）上の画素位置（ｉ，ｊ）の距離値をｄ（ｐij）とする。エッジ近傍領域Ｒを、図５に示すように、Ｒ＝｛ｐｉｊ｜ｄ（ｐij）＜ε｝と定義する。平滑化処理は、エッジ近傍領域Ｒの全てのｐijに対して行う。
【００８３】
平滑化処理は、例えば、図６に示す手順に従って行われる。
【００８４】
図６において、画素位置（ｉ，ｊ）の初期化（ｉ＝０、ｊ＝０）がなされると共に、出力画像バッファの全て値がゼロに初期化される（Ｓ１）。この状態で、入力画像を画素毎に走査する（ｉ、ｊをインクリメントする）過程で、その画素ｐijがエッジ近傍領域Ｒに含まれているか否かが判定される（Ｓ２）。具体的には、その画素の距離値ｄ（ｐij）がｄ（ｐij）＜εを満たすか否かが判定される。そして、その画素ｐijがエッジ近傍領域Ｒに含まれていると判定されると（Ｓ２でＹ）、その画素ｐijを中心とした３×３の画素ブロック内の９個の各画素の画素値Ｉ（濃淡情報）を並べて得られる９次の画素ブロックベクトルｖij、
【００８５】
【数１１】
と、平滑化のために定義された９次の正則となる平滑化フィルタ行列Ｅとを用いた行列演算、
【００８６】
【数１２】
が行われる（Ｓ３−１）。
【００８７】
この平滑化フィルタ行列Ｅは、上記画素ブロックベクトルｖijの各画素の画素値Ｉに、例えば、図７に示すような平滑化フィルタの各係数が、行列演算（Ｅｖij）にて上記画素ブロックベクトルｖijに含まれる各画素値に作用するように配列されている。即ち、この平滑化フィルタ行列Ｅは、図８（ａ）に示すように構成された９×９次元の正則行列となる。なお、この平滑化フィルタ行列Ｅは、９×９次元の正則行列としたが、これに限定されるものではなく、行列演算を行う単位となる画素ブロックベクトルｖijの次元に対応する次元であればよい。また、その係数も、施したい平滑化演算によって任意に設定することができる。このように、この平滑フィルタ行列Ｅは、後述するような復号で用いられるその逆行列が存在することを条件に任意に定めることができる。
【００８８】
平滑化フィルタ（図７参照）の各係数が配列された平滑フィルタ行列Ｅと上記各画素の画素値Ｉを並べた画素ブロックベクトルｖijとの行列演算を行うことは、画素ｐijを中心とした３×３画素ブロックに平滑化フィルタ（図７参照）が作用したことと等価になる。従って、上記のような行列演算により画素ｐijに対する平滑化が行われたことになる。
【００８９】
一方、画素ｐijがエッジ近傍領域に含まれていないと判定されると（Ｓ２でＮ）、上記画素ブロックベクトルｖijと、図８（ｂ）に示すような９次の単位行列Ｐとを用いた演算、
【００９０】
【数１３】
が行われる（Ｓ３−２）。このように画素ブロックベクトルｖijに単位行列Ｐを作用させる場合、画素ブロックベクトルｖijは変化しない（Ｐｖij＝ｖij）。従って、この場合、特に平滑化の処理がなされたことにはならない。
【００９１】
なお、上記各行列演算
【００９２】
【数１４】
で用いられる行列Ｏは、図９にて表される構成となっている。順次対象となる画素ｐijをずらして上述した演算がなされることから、上記３×３の画素ブロックに対応した平滑化フィルタ（図７参照）がオーバラップしながら（各画素が３×３画素ブロックの中心画素になったり、周辺画素となったりしながら）、平滑化処理がなされてゆく。この行列Ｏは、そのオーバラップ演算のための加算の重みを与える行列である。
【００９３】
上記のような行列演算にて得られた演算結果
【００９４】
【数１５】
は、３×３画素ブロックの各画素についての平滑化処理後の画素値Ｉ’を表す。その各画素ｐmnの画素値Ｉ’（ｐmn）が、出力画像バッファ上で各画素ｐmn毎に加算される（Ｓ４）。
【００９５】
その後、サンプルする画素をずらすため、ｉとｊがインクリメントされ（Ｓ５）、更に、夫々が、入力画像の最終画素を表す値Ｓを超えたか否かが判定される（Ｓ６）。このｉ、ｊがその値Ｓを超えて否ければ、上述した処理（Ｓ２、Ｓ３−１またはＳ３−２、Ｓ４、Ｓ５、Ｓ６）が繰返し実行される。その結果、入力画像を画素毎に走査する過程で、エッジ近傍領域Ｒに属する画素ｐijに対する平滑化処理が行われる。そして、ｉ、ｊが上記値Ｓを超えたときに平滑化処理が終了される。この終了時点で出力画像バッファに格納されている画素単位の値Ｉ’は、エッジ平滑化画像を表す濃淡情報（画素値データ）となる。
【００９６】
図３に戻って、画像復号装置２０は、JBIG復号部２１、JPEG復号部２２、距離変換部２３、エッジ先鋭化部２４を有している。この画像復号装置２０は、前述したような画像符号化装置１０から符号化情報として伝送される符号化エッジ情報とエッジ平滑化画像に対応したJPEG符号（符号化濃淡情報）をそれぞれ分離された状態で受信する。
【００９７】
JBIG復号部２１は、JBIGの復号方式に従って受信された符号化エッジ情報を復号してエッジ情報を生成する。JPEG復号部２２は、JPEGの復号方式に従って受信されたJPEG符号を復号してエッジ平滑化画像を表す濃淡情報を生成する。距離変換部２３は、画像符号化装置１０の距離変換部１３と同様に、JBIG復号部２１からのエッジ情報に基づいて距離マップ（図４参照）を生成する。そして、エッジ先鋭化部２４は、その距離マップに記述されるエッジ近傍領域の各画素の距離値に基づいて、JPEG復号部２２からのエッジ平滑化画像におけるエッジ部分の先鋭化、即ち、エッジ部分の強度復元を行う。
【００９８】
このエッジ先鋭化部２４では、例えば、次のようなエッジ先鋭化処理がなされる。
【００９９】
その処理の概要は、距離マップによって定められるエッジ近傍領域に属する画素に対して、上記平滑化フィルタ行列Ｅの逆行列となる先鋭化フィルタ行列Ｅ-1を作用させている。その処理手順は、図６に示す手順と同様であり、図６に示すステップＳ３−２において、平滑化フィルタ行列Ｅに代えて先鋭化フィルタ行列Ｅ-1を用いた行列演算がなされる。
【０１００】
即ち、エッジ平滑化画像を画素毎に走査する過程で、エッジ近傍領域に属する画素ｐijを中心とした３×３画素ブロックに含まれる各画素の画素値を並べて得られる９次の画素ブロックベクトルｖ’ij
【０１０１】
【数１６】
と上記先鋭化フィルタ行列Ｅ-1とを用いた行列演算
【０１０２】
【数１７】
が行われる。その結果、画素ｐijについての先鋭化がなされる。
【０１０３】
そして、エッジ平滑化画像の全ての画素について同様の処理が終了した時点で、出力画像バッファに格納されている各画素の画素値が原画像に対応した濃淡情報となり、それが出力画像情報として画像復号装置２０が出力される。
【０１０４】
上記のような画像伝送システムでは、画像符号化装置１０において、原画像（入力画像）のエッジ位置を検出し、そのエッジ近傍の画素に対して平滑化処理を行うことによって、エッジに起因した符号化の際の情報の欠落が防止されると共に、その符号化効率の低下が防止される。また、数学的に逆行列が存在する平滑化フィルタ行列を用いた行列演算によってエッジの平滑化処理がなされることから、画像復号装置２０において、平滑化処理での逆演算を行うことで容易にエッジの先鋭化、即ち、エッジ領域での本来の解像度の復元が可能となる。
【０１０５】
また、画像復号装置２０におけるJPEG復号部２２のエッジ平滑化画像に対応した出力は、それだけで画像データ（濃淡情報）として画像表示等の利用が可能である。エッジ情報は、必要に応じてエッジ強度復元に利用することができる。これは、現在広く流通する標準画像符号化方式に準拠した製品に対してエッジ先鋭化の機能を追加することで復元画像における本来のエッジ部分の質感を復元することができることを意味する。従って、広く流通する既存の標準画像符号化方式をサポートする画像復号装置の基本構成を大きく変更することなく、画像の圧縮・伸張を行うシステムを構成することができる。エッジ強度復元を行う場合に追加する機能に対応した処理は、JPEGなどの圧縮符号化処理に比べればその処理量が少ないため、例えば、ソフトウエアモジュールなどの形で画像復号装置に追加することができる。
【０１０６】
次に、上記画像符号化装置１０におけるエッジ平滑化部１４及び上記画像復号装置２０におけるエッジ先鋭化部２４それぞれでの処理の他の例について説明する。
【０１０７】
まず、最初の例では、エッジ平滑化部１４は、入力画像（原画像）をＮ×Ｎ画素ブロックＢ（例えば、８×８画素のＤＣＴブロック）に分割し、原画像のエッジ部分を含む各ブロックＢ毎に次のような処理を行う。処理の対象となるブロックＢには複数のエッジ部分を含んでもよい。
【０１０８】
ブロックＢ内の各画素ｋの画素値（濃淡情報：輝度値）をＩk（ｋ∈Ｂ）とする。ブロックＢ内の各画素ｋの輝度値Ｉkの平均値ＥBが演算される。距離変換部１３にて生成された距離マップ（図４参照）の各画素の距離値ｄkに基づいて、ブロックＢ内の各画素ｋがエッジ近傍領域（ｄk＜ε）内にあるか否かが判定される。そして、エッジ近傍領域Ｒにあると判定された画素ｋの輝度値Ｉkに対してその距離値ｄｋに応じた輝度補正を行う。
【０１０９】
なお、上記平均値ＥBは、上記ブロックＢに限られず、エッジ部分を含む予め定められた領域内の各画素の輝度値に基づいて演算することができる。
【０１１０】
この輝度補正では、ブロックＢ内の各画素ｋの輝度値Ｉkが上記のように演算された平均値ＥBより高いか低いかの判定が行われる。そして、図１０に示すように、その平均値ＥBより高い輝度値を有すると判定された画素ｐ2の当該輝度値は低下させる（↓）一方、その平均値ＥBより低い輝度値を有すると判定された画素ｐ0の当該輝度値は大きくされる（↑）。
【０１１２】
このような処理により、エッジ近傍領域において、エッジ部分を横切る方向に並ぶ各画素ｋの輝度値の変化量が小さくなるように（平均値ＥBに近づくように）各画素ｋの輝度値Ｉkが補正される。従って、原画像のエッジ部分における輝度変化が小さくなって、エッジ部分の平滑化がなされる。
【０１１３】
上記のような手順に従って平滑化処理がなされた結果得られたエッジ平滑化画像の先鋭化を行う画像復号装置２０におけるエッジ先鋭化部２４では、上記平滑化処理と同様の手順に従って処理が行われる。
【０１１４】
JPEG復号部２２にて得られたエッジ平滑画像が上記と同様のＮ×Ｎ画素ブロックＢに分割され、そのブロックＢ毎に処理が行われる。即ち、エッジ部分を含むブロックＢにおいて、エッジ近傍領域にある画素ｋの輝度値Ｉ’kが、そのブロックＢの輝度値の平均値Ｅ’Bより高いときには、その輝度値Ｉ’kが更に高くなるように、また、その平均値Ｅ’Ｂより低いときには、その輝度値Ｉ’kが更に低くなるように補正される。具体的には、
【０１１５】
【数１８】
にて補正後（先鋭化後）の各画素の輝度値Ｉkが演算される。
【０１１６】
このような先鋭化処理により、エッジ平滑化画像のエッジ近傍領域において、エッジ部分を横切る方向に並ぶ各画素ｋの輝度値の変化量が大きくなるように（平均値ＥBから遠ざかるように）各画素ｋの輝度値Ｉ’kが補正される。従って、エッジ平滑化画像のエッジ部分における輝度変化が大きくなって、エッジ部分の先鋭化（エッジ強度復元）がなされる。
【０１１７】
次の例では、画像符号化装置１０におけるエッジ平滑化部１４は、入力画像（原画像）を８×画素ブロックＢ（ＤＣＴブロック）に分割し、原画像のエッジ部分を含む各ブロックＢ毎に次のような処理を行う。処理の対象となるブロックＢには複数のエッジ部分を含んでもよい。
【０１１８】
このエッジ部分を含むブロックＢ（８×８画素ブロック）に含まれる各画素（６４画素）の画素値Ｉ（濃淡情報）を並べて得られる６４次元の画素ブロックベクトルｖとの行列演算を行うべき６４×６４次元の正方行列となる平滑化フィルタ行列Ａが、エッジ検出部１１からのエッジ情報及び距離変換部１３からの距離マップに基づいて生成される。この平滑化フィルタ行列Ａの構成は、ブロックＢに含まれるエッジの位置に依存する。
【０１１９】
平滑化フィルタ行列Ａは、上記画素ブロックベクトルｖとの行列演算によって、上記８×８の画素ブロックの各画素のうちエッジ部分及びその近傍領域に対応した各画素（図４における斜線部分）を中心に、例えば、図１１に示すような３×３画素ブロックの平滑化フィルタを作用させた際に、各画素の画素値にその係数が作用するのと等価となるように、その係数が配列されたものとなっている。具体的には図１２に示すように構成される。この平滑化フィルタＡの構成は、位置（ｍ、ｎ）の画素だけがエッジ部分またはその近傍領域に含まれる場合の構成である。
【０１２０】
このような平滑化フィルタ行列Ａが上記エッジ情報及び距離マップに基づいて得られると、ブロックＢに対応した画素ブロックベクトルｖと平滑化フィルタ行列Ａを用いた行列演算
ｖ’＝Ａｖ
が行われる。このような行列演算により得られたベクトルｖ’の各成分（補正画素値）が平滑化後のブロック内の各画素の画素値となる。これにより、そのブロック内での平滑化処理がなされたことになる。
【０１２１】
なお、上記平滑フィルタ行列Ａの構成（図１２参照）、考慮する平滑化フィルタ（図１１参照）の構成は、上述した例に限定されるものではなく、適宜定めることができる。
【０１２２】
上記のような手順に従って平滑化処理がなされた結果得られたエッジ平滑化画像の先鋭化を行う画像復号装置２０におけるエッジ先鋭化部２４では、上記平滑化処理と同様の手順に従って処理が行われる。その際、ブロック（８×８画素ブロック）毎に、エッジ情報及び距離マップに基づいて定められるそのブロック内のエッジ部分及びその近傍領域に基づいて、上記平滑化フィルタ行列Ａの逆行列となる先鋭化フィルタ行列Ａ-1が生成される。そして、エッジ平滑化画像に設定されたブロック毎に、そのブロックに含まれる画素の画素値で構成された画素ブロックベクトルｖ’とその先鋭化フィルタ行列Ａ-1とを用いた行列演算
ｖ＝Ａ-1ｖ’
により、エッジが先鋭化（エッジ強度復元）された画像における各画素値が得られる。
【０１２３】
このような画像符号化、復号方法では、ブロック毎にそのエッジ位置に応じた平滑化フィルタ行列Ａとその逆行列Ａ-1を生成する必要があるが、垂直、水平各最大８次のタップを有するフィルタを構成することができるため、所望の平滑化特定を得やすくなる。
【０１２４】
また次の例では、画像符号化装置１０におけるエッジ平滑化部１４は、入力画像（原画像）において上記エッジ近傍領域Ｒ（図５参照）内であると判定された各画素ｐ（ｐ∈Ｒ）の画素値ｘ（濃淡情報）に対して次のような処理を施すことによって、各画素ｐの平滑化後の画素値ｘ’を演算する。
【０１２５】
例えば、図１３に示すように、画素ｘを中心とした３画素×３画素のマスク領域を定め、そのマスク領域内における画素ｐの周辺８画素ｐ1〜ｐ8の画素値ｘ1〜ｘ8の平均値Ｃを求める。そして、その画素ｐの平滑化後の画素値ｘ’を、その周辺画素の画素値ｘ1〜ｘ8の平均値Ｃを考慮して、
【０１２６】
【数１９】
に従って求める。なお、上式において、λは、０．５以下の正の定数として任意に定められる。λの値が大きければ大きいほど、画素値ｘ’に反映される周辺画素の画素値（その平均値Ｃ）の割合が大きくなり、平滑化の度合いが強くなる。なお、Ｃの値は、対象となる画素ｐの周辺８画素ｐ1〜ｐ8の画素値の平均値としたが、周辺画素の濃淡状態が反映されるものであれば、他の手法にて決めることもできる。この場合、λの値は、そのＣの値の決め方に応じて正の値に決めることができる。
【０１２７】
一方、画像復号装置２０においては、エッジ先鋭化部２４が上記のような平滑化処理により得られたエッジ平滑化画像（実際には、JPEG復号部２２から出力されるエッジ平滑化画像）のエッジ部分の先鋭化を行う。この先鋭化の処理は、例えば、次のようにしてなされる。
【０１２８】
距離変換部２３からのエッジ情報に基づいて得られたエッジ近傍領域Ｒの各画素の画素値ｘ'と上記式［数１９］で表される関係にある元の画素値ｘを復元することになるが、この場合、処理の対象がエッジ平滑化画像であるので、周辺画素の画素値の平均値Ｃは、入力画像（現画像）を処理の対象とする上記平滑化処理にて用いられた平均値Ｃと同じ値を用いることができない。従って、最急降下法に従った反復演算により元の画素値ｘを復元する。その復元画素値を
【０１２９】
【数２０】
とする。上記式［数１９］より、
【０１３０】
【数２１】
であるので、
【０１３１】
【数２２】
を定める。そして、このｅ（Ｘ）を最小にするＸを復元画素値とする。ここで、Ｃは、Ｘの算出過程に依存して値が変更されるため、その演算の繰り返し回数ｎに依存するものとして記述した。
【０１３２】
最急降下法によれば、上記ｅ（Ｘ）を最小化するＸは、下式によって定められる漸化式の収束値で与えられる。
【０１３３】
【数２３】
上記式において、Ｇは微小定数であり、各画素の画素値の復元値にて表される実際の画像の状態等に基づいて最適な値に定められる。
【０１３４】
上記式［数２２］に従ってなされる繰り返し演算により各画素の復元画素値を求めるための処理は、例えば、図１４に示す手順に従って行われる。
【０１３５】
図１４において、まず、出力バッファの初期化が行われる（Ｓ１１）と共に、各変数の初期値設定が行われる（Ｓ１２）。即ち、繰り返しカウント値ｎが初期値「０」（ｎ＝０）に設定され、画素ｐijの復元画素値Ｘijの初期値Ｘij（０）が上記エッジ平滑化画像での画素値ｘ’に設定される。更に、この初期値設定において、各画素ｐijに対応させたフラグFlag（i,j）が「０」（Flag（i,j）＝０）に設定される。このフラグFlag（i,j）は、画素ｐijの復元画素値が後述するような繰り返し演算により収束したか否かを表す。
【０１３６】
この状態で、エッジ平滑化画像における画素ｐijの周辺８画素の画素値の平均値Ｃij（ｎ）が演算され（Ｓ１３）、更に、上記式［数２２］におけるｅ（Ｘ）の微分値
【０１３７】
【数２４】
が演算される（Ｓ１４）。そして、その微分値が
【０１３８】
【数２５】
の条件を満足するか否かが判定される（Ｓ１５）。
【０１３９】
この条件が満たされない場合（Ｓ１５でＮ）、即ち、当該画素ｐijについての復元画素値がある値に収束したと見なされない場合、上記Ｃij（ｎ）及び上記微分値を用い、上記式［数２３］に従って、Ｘij（ｎ＋１）が演算される（Ｓ１６）。このように復元画素値Ｘij（ｎ＋１）が得られると、上記出力バッファにおける画素ｐijの復元画素値Ｘij（ｎ）がＸij（ｎ＋１）に更新される（Ｓ１７）。
【０１４０】
その後、エッジ平滑化画像のエッジ近傍領域Ｒの全ての画素に対して処理が終了したか否かが判定される（Ｓ１８）。まだ、その全ての画素に対する処理が終了していなければ（Ｓ１８でＮ）、（ｉ，ｊ）がインクリメントされ（Ｓ１９）、処理の対象となる画素が変更される。
【０１４１】
このように処理の対象となる画素が変更されると、その画素に対応したフラグFlag（i,j）が「０」であるか否かが判定される（Ｓ２０）。このフラグFlag（i,j）が「０」である場合、その画素の復元画素値が収束していないとして、上記と同様に、その画素に対して、周辺８画素の画素値（復元画素値）の平均値Ｃ（ｎ）が演算される（Ｓ１３）と共に上記式［数２４］に従った微分値が演算される（Ｓ１４）。そして、上記式［数２５］にて表される条件が満足される（復元画素値が収束したと見なされる）か否かが判定される（Ｓ１５）。この条件が満足されない場合（Ｓ１５でＮ）、上記と同様に、上記式［数２３］に従って、Ｘij（ｎ＋１）が演算され（Ｓ１６）、出力バッファにおける当該画素ｐijの復元画素値がＸij（ｎ＋１）に更新される（Ｓ１７）。
【０１４２】
以下、同様の処理（Ｓ１８、Ｓ１９、Ｓ２０、Ｓ１３〜Ｓ１７）が繰り返し実行される。そして、エッジ平滑化画像のエッジ近傍領域Ｒの全ての画素に対して上記処理が終了したと判定されると（Ｓ１８でＹ）、更に、その全ての画素に対応した各フラグFlag（i,j）が「１」であるか否か、即ち、全ての画素の復元画素値が収束したと見なし得るか否かが判定される（Ｓ２１）。
【０１４３】
この全ての画素に対応した各フラグFlag（i,j）が「１」となっていない場合（Ｓ２１でＮ）、繰り返しカウント値ｎがインクリメントされると共に、（ｉ，ｊ）が初期値（０，０）に設定されて、最初に処理された画素ｐ00が再び処理対象となる画素として選択される（Ｓ２２）。そして、その画素ｐ00に対応したフラグFlag（0,0）が「０」であるか否かが判定される（Ｓ２０）。このフラグFlag（0,0）が「０」である場合、上述した処理（Ｓ１３〜Ｓ１７）に従って、その画素ｐ00の復元画素値が更新される。その後、処理の対象となる画素を順次変更させながら、上述した処理（Ｓ２０、Ｓ１３〜Ｓ１９、Ｓ２１）が繰り返し実行される。
【０１４４】
そのような処理の過程で、上記式［数２５］にて表される条件が満足されたと判定されると（Ｓ１５でＹ）、出力バッファに格納されたその画素ｐijに対する復元画素値Ｘij（ｎ）が収束しているとして、その画素ｐijに対応するフラグFlag（i,j）が「１」に設定される（Ｓ２３）。以後、上述した処理（Ｓ１８〜Ｓ２０、Ｓ１３〜Ｓ１７、Ｓ１８、Ｓ２１、Ｓ２２）が繰り返し実行される。その過程で、上記式［数２５］にて表される条件が満足されたと判定される毎に（Ｓ１５でＹ）、その画素ｐijに対応したフラグFlag（i,j）が「１」にセットされる。
【０１４５】
そして、処理対象となる全ての画素の各フラグFlag（i,j）が「１」となっていると判定されると（Ｓ２１でＹ）、即ち、処理対象となる全ての画素の復元画素値が収束したと見なされると、当該エッジ平滑化画像のエッジ部分の先鋭化処理が終了する。その時点で、そのすべての画素に対する復元画素値Ｘが出力バッファに保存された状態になる。
【０１４６】
上述したような、原画像のエッジ部分の平滑化処理、及びその平滑化処理にて得られたエッジ平滑化画像のエッジ部分の先鋭化処理によれば、上記式［数１９］に従った各画素の平滑化の度合いに係わらず、上述したような繰り返し演算によって、比較的高い精度で復元画素値を得ることができるようになる。また、エッジ復元（先鋭化）の過程におけるパラメータを適切に設定することにより、上記繰り返し演算におけるその繰り返し回数を低減することができ、結果としてその処理時間を短縮することができる。
【０１４７】
更に、画像符号化装置１０及び画像復号装置２０の他の構成例を説明する。
【０１４８】
図１５に示す画像伝送システムでは、動画像の符号化及び復号が行われる。従って、上述した例（図３参照）にて述べた画像符号化装置１０におけるJPEG符号化部１５及び画像復号装置２０におけるJPEG復号部２２のそれぞれに代えて、MPEG-4映像符号化部１６及びMPEG-4映像復号部２５が用いられる。
【０１４９】
画像符号化装置１０では、入力画像に対するエッジ平滑処理にて得られたエッジ平滑画像のフレーム画像が、MPEG-4映像符号化部１６にてMPEG-4の標準方式に従って映像圧縮符号化される。その結果、MPEG-4符号が符号化情報として得られる。
【０１５０】
画像復号装置２０では、MPEG-4符号が、MPEG-4映像復号部２５にてフレーム画像単位に復号される。これら各フレーム復号画像のそれぞれに対して、対応するエッジ情報を用いてエッジ先鋭化部２４がエッジ先鋭化処理を施す。それにより、画像復号装置２０から原画像（動画像）に対応した動画像出力が得られる。
【０１５１】
図１６に示す画像伝送システムでは、動画像の符号化及び復号が行われる。だだし、上述した例（図１５参照）にて述べた画像符号化装置１０にてエッジ情報の符号化を行うJBIG符号化部１２及び画像復号装置２０にて符号化エッジ情報を復号するJBIG復号部２１のそれぞれに代えて、MPEG-4形状符号化部１７及びMPEG-4形状復号部２６が用いられる。
【０１５２】
画像符号化装置１０において、エッジ情報がMPEG-4形状符号化部１７にて無歪み圧縮符号化される。これにより、エッジ画像は個々のフレームに閉じた符号化ではなく、時間方向のフレーム間相関も利用して圧縮できるので、エッジ情報自体の圧縮効率を高めることができる。更に、MPEG-4形状符号化部１７の出力（符号化エッジ情報）は、MPEG-4コアプロファイルのBINARY ONLY符号化モードによって、二値画像データのみの符号（MPEG-4形状符号）とすることができる。そして、MPEG-4コアプロファイルに準拠した復号部（MPEG-4形状復号部２６及びMPEG-4映像復号部２５）を備えるだけで、MPEG-4形状符号に対する処理（距離変換した後に、エッジ先鋭化に利用する）の機能を備えるだけで所望の動作を行う画像復号装置２０を構成することができる。
【０１５３】
なお、上述した各例では、画像復号装置２０は、画像符号化装置１０から伝送される復号エッジ情報及びエッジ平滑化画像の濃淡情報を符号化して得られた符号化濃淡情報を復号するものであったが、上記各符号化情報は、ＭＯ（光磁気ディスク）などの記録媒体にて画像復号装置２０に提供されるものであってもよい。
【０１５４】
また、エッジ平滑化画像の濃淡情報を符号化して得られた符号化濃淡情報と符号化されていないエッジ情報を画像復号装置２０に提供するようにしてもよい。この場合、画像復号装置２０は、なんらかの手段（伝送路から受信、記録媒体から読み出しなど）にて取得したエッジ情報に基づいて、上記符号化濃淡情報を復号して得られたエッジ平滑化画像の濃淡情報に対して先鋭化処理を施して再生画像を得る。
【０１５５】
【発明の効果】
以上、説明したように、請求項１乃至７記載の本願発明によれば、原画像からエッジ部分を平滑化して得られるエッジ平滑化画像は、比較的高い空間周波数成分が少なくなり、標準符号化アルゴリズムに従って符号化しても、その符号化により欠落する情報が少なくなる。その結果、ＤＣＴを用いた標準符号化・復号方式をそのまま適用しても歪みの少ない復号画像を得られるようにした画像符号化・復号方法を実現することができるようになる。
【０１５６】
また、請求項８乃至２９記載の本願発明によれば、そのような画像符号化・復号方法に従って画像の符号化、復号を行う画像符号化装置及び画像復号装置を実現することができるようになる。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係る画像符号化装置での処理の原理を表す図である。
【図２】本発明の実施の一形態に係る画像復号装置での処理の原理を表す図である。
【図３】本発明の実施の一形態に係る画像符号化装置及び画像復号装置を含む画像伝送システムの構成例を示すブロック図である。
【図４】距離マップの一例を示す図である。
【図５】エッジ部分の近傍領域の一例を表す図である。
【図６】画像符号化装置のエッジ平滑化部での処理手順の一例を示すフローチャートである。
【図７】平滑化フィルタの一例を示す図である。
【図８】 平滑化フィルタ行列、単位行列のための行列の例を示す図である。
【図９】 重み演算のための行列の例を示す図である。
【図１０】平滑化処理における輝度補正の手法の一例を示す図である。
【図１１】平滑化フィルタの一例を示す図である。
【図１２】平滑化フィルタ行列の他の一例を示す図である。
【図１３】平滑化処理に用いられるマスク領域に一例を示す図である。
【図１４】エッジ平滑化画像のエッジ部分を復元（先鋭化）するための処理の一例を示すフローチャートである。
【図１５】画像符号化装置及び画像復号装置を含む画像伝送システムの他の構成例を示すブロック図である。
【図１６】画像符号化装置及び画像復号装置を含む画像伝送システムの更に構成例を示すブロック図である。
【符号の説明】
１０ 画像符号化装置
１１ エッジ検出部
１２ JBIG符号化部
１３ 距離変換部
１４ エッジ平滑化部
１５ JPEG符号化部
１６ MPEG-4映像符号化部
１７ MPEG-4形状符号化部
２０ 画像復号装置
２１ JBIG復号部
２２ JPEG復号部
２３ 距離変換部
２４ エッジ先鋭化部
２５ MPEG-4映像復号部
２６ MPEG-4形状復号部
【発明の属する技術分野】
本発明は、動画像、静止画像などの原画像を符号化し、その符号化された画像を復号する画像符号化・復号方法に係り、詳しくは、MPEG1/2/4などの標準化されたアルゴリズムを適用しつつ、復号時にノイズの低減を図れる画像符号化・復号方法に関する。
【０００２】
また、本発明は、そのような画像符号化・復号方法に従って画像の符号化、復号を行う画像符号化装置及び画像復号装置に関する。
【０００３】
【従来の技術】
従来、JPEGやMPEGシリーズなどの標準画像・動画符号化方式では、種々の理由により離散コサイン変換（ＤＣＴ）が用いられてきた。特に、それらの符号化方式は、画像の性質への適応性という観点から採用された経緯がある。
【０００４】
通常、画像を空間周波数領域で表現する場合、低周波領域に電力が集中するという性質がある。上記ＤＣＴは、画像信号（濃淡情報）空間の例えば８×８画素から構成されるブロックを直交変換することによって、所定の基底セットの組み合わせに分解して構成基底の係数値を得るものである。ＤＣＴの特徴は、係数値、即ち、周波数成分の偏りの度合いを高めることができるという点にある。特に、画像の性質上、低周波領域により集中の度合いが高くなること、その部分が視覚的に重要であることなどから、適応ビット配分を行うことにより圧縮効率を向上させることができる。
【０００５】
一方、極めて低いビットレートで符号化を行う場合は、量子化が粗くなり、係数値の再現性が悪くなるため、本来、信号の表現にとって重要である基底が復元できなくなるなどの不具合が発生する。また、ＤＣＴは、８×８の画素ブロックに閉じた処理を行うため、この符号化の歪みがブロック境界に顕著に表れる傾向にある。これがブロック歪みを発生させ、視覚的に本来信号に含まれていない成分が画像上に現れるため、非常に目立つノイズとして検知されてしまう。特に、ステップエッジのような急激な輝度（濃度）変化のある波形部分では、忠実な再現には多数の基底が必要となるが、一般に高周波成分にあたる係数は視覚の重みを考慮して低周係数よりも軽視された符号割当が行われるため、エッジの再現に重要な高域係数が失われることになる。このような制御がなされると、エッジ部分でＤＣＴ固有の目立ったノイズが現れ、画質劣化を引き起こすことになる。
【０００６】
そこで、ＤＣＴと差分パルス符号変調（ＤＰＣＭ）とを絵柄に応じて適応的に切り換えるようにした画像符号化装置が提案されている（例えば、特開平５−２７６５０６）。この従来の画像符号化装置では、エッジ部分の処理ではＤＣＴを使用せずにＤＰＣＭを使用することで、ＤＣＴの信号表現上の問題を回避している。
【０００７】
【発明が解決しようとする課題】
しかし、上記のような従来の画像符号化装置では、既存のＤＣＴを用いた標準符号化方式をそのまま適用することができず、その標準化された符号化方式以外の何らかの符号化方式が必要となる。既にＤＣＴを用いた標準符号化方式に準拠する製品は極めて多く、そのような標準符号化方式に従って画像の符号化及び復号を行えることは重要である。
【０００８】
そこで、本発明の第一の課題は、ＤＣＴを用いた標準符号化・復号方式をそのまま適用しても歪みの少ない復号画像を得られるようにした画像符号化・復号方法を提供することである。
【０００９】
また、本発明の第二の課題は、そのような画像符号化・復号方法に従って画像の符号化、復号を行う画像符号化装置及び画像復号装置を提供することである。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、本発明は、請求項１に記載されるように、画像符号化装置が原画像を符号化して得られる符号化情報を画像復号装置に伝送し、その符号化情報を入力する画像復号装置がその符号化情報を復号して原画像を得る際の画像符号化・復号方法において、上記画像符号化装置は、原画像からそのエッジ部分を表すエッジ情報を抽出する手順と、上記原画像を表す濃淡情報に対して該原画像のエッジ部分の平滑化を行う処理を施してエッジ平滑化画像の濃淡情報を得る手順と、抽出されたエッジ情報を第一の符号化アルゴリズムに従って符号化して符号化エッジ情報を得る手順と、上記エッジ平滑化画像の濃淡情報を第二の符号化アルゴリズムに従って符号化して符号化濃淡情報を得る手順とに従って得られた上記符号化エッジ情報と符号化濃淡情報を符号化情報として画像復号装置に伝送し、上記画像復号装置は、上記符号化エッジ情報を上記第一の符号化アルゴリズムに対応した第一の復号アルゴリズムに従って復号してエッジ情報を得る手順と、上記濃淡情報を上記第二の符号化アルゴリズムに対応した第二の復号アルゴリズムに従って復号してエッジ平滑画像の濃淡情報を得る手順と、上記エッジ平滑化画像の濃淡情報に対して、上記エッジ情報を用いて該エッジ平滑化画像のエッジ部分を先鋭化するための処理を施す手順とに従って該エッジ平滑化画像のエッジ部分が先鋭化された再生画像を得るように構成される。
【００１１】
このような画像符号化・復号方法では、画像符号化装置が原画像のエッジ部分を抽出すると共に、その原画像のエッジ部分の平滑化を行ってエッジ平滑化画像を得る。そして、そのエッジ部分を表すエッジ情報を第一の符号化アルゴリズムに従って得られる符号化エッジ情報と、そのエッジ平滑化画像の濃淡情報を第二の符号化アルゴリズムに従って得られる符号化濃淡情報とが原画像の符号化情報として画像符号化装置から画像復号装置に伝送される。
【００１２】
画像復号装置は、第一の復号アルゴリズムに従って上記符号化エッジ情報から得たエッジ情報を用いて、第二の復号アルゴリズムに従って符号化濃淡情報から得たエッジ平滑化画像のエッジ部分の先鋭化を行う。そのエッジ平滑化画像のエッジ部分を先鋭化した画像が原画像として得られる。
【００１３】
上記エッジ平滑化画像は、原画像のエッジ部分が平滑化されたものであるので、比較的高い空間周波数成分が少なくなることから、上記第二の符号化アルゴリズムとしてＤＣＴを用いた標準符号化方式を適用しても、その符号化により欠落する情報は少なくなる。
【００１４】
上記エッジ情報を符号化するために使用される第一の符号化アルゴリズムと、上記エッジ平滑化画像の濃淡情報を符号化するために使用される第二の符号化アルゴリズムは、同一であっても異なっていてもよい。
【００１５】
上記エッジ部分を表すエッジ情報は、そのエッジ部分の位置（画素）が特定できれば、どのような情報であってもよい。
【００１６】
上記濃淡情報は、濃度や輝度などの画像の濃淡の状態を表す情報であり、その形式は特に限定されない。
【００１７】
原画像のエッジ部分の平滑化を行う処理が比較的容易にできるという観点から、本発明は、請求項２に記載されるように、上記画像符号化・復号方法において、上記画像符号化装置にてなされる原画像のエッジ部分の平滑化を行う処理は、原画像を画素毎に順次走査する過程で、上記原画像のエッジ部分またはその所定近傍領域にある画素とその所定周囲領域の各画素にて構成されるブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記次数に対応した次数の正方行列であって、そのブロックの各画素の濃淡情報に平滑化のための各係数が作用するように当該係数が配列された平滑化正方行列とを用いて行列演算を行い、上記原画像の画素毎の走査の過程で、上記行列演算手段にて得られるそのブロック内の各画素の濃淡情報を画素毎に重ね合わせて平滑化された後の各画素の濃淡情報を得るように構成することができる。
【００１８】
このような画像符号化・復号方法では、上記ブロック濃淡情報ベクトルと上記平滑化正方行列を用いた行列演算によりエッジ平滑化画像の濃淡情報を得ることができる。
【００１９】
また、エッジ平滑化画像のエッジ部分を容易に先鋭化できるという観点から、本発明は、請求項３に記載されるように、上記画像符号化・復号方法において、上記画像復号装置にてなされるエッジ平滑化画像のエッジ部分を先鋭化する処理は、上記エッジ平滑化画像を画素毎に走査する過程で、上記第一の復号アルゴリズムに従って得られたエッジ情報にて表されるエッジ部分またはその所定近傍領域にある画素とその上記所定周囲領域の画素にて構成される上記ブロックに対応するブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記平滑化正方行列の逆行列となる先鋭化正方行列とを用いた行列演算を行い、上記エッジ平滑化画像の画素毎の走査の過程で、その行列演算手段にて得られるそのブロック内の各画素の濃淡情報を画素毎に重ね合わせて先鋭化された後の各画素の濃淡情報を求めるように構成することができる。
【００２０】
このような画像符号化・復号方法では、上記ブロック濃淡情報ベクトルと、上記平滑化正方行列の逆行列となる先鋭化正方行列とを用いた行列演算により、先鋭化された各画素の濃淡情報を得ることができる。
【００２１】
先鋭化処理にてより精度のよい再生画像を得ることができるという観点から、本発明は、請求項４に記載されるように、上記画像符号化・復号方法において、上記画像符号化装置にてなされる原画像のエッジ部分の平滑化を行う処理は、そのエッジ部分の画素の濃淡情報ｘと、その周辺画素の濃淡情報に基づいて定められるその画素の周辺の濃淡状態を表す周辺濃淡情報Ｃとを用い、
【００２２】
【数８】
【００２３】
上記周辺濃淡情報Ｃは、上記画素の周辺画素の濃淡情報に基づいて定められるものであって、その画素の周囲の濃淡の状態を表すものであれば、特に限定されず、例えば、周辺画素の各濃淡情報の平均値、トータル加算値、所定の重みをつけた濃度情報の加算値、その平均値など、任意に定めることができる。上記式［数８］のλの値は、その周辺濃淡情報Ｃの決め方に依存する。
【００２４】
上記式［数８］にて平滑化された画像を再生するという観点から本発明は、請求項５に記載されるように、上記画像符号化・復号方法において、上記画像復号装置にてなされるエッジ平滑化画像のエッジ部分を先鋭化する処理は、上記エッジ平滑化画像のエッジ部分の画素の濃淡情報ｘ’と、その周辺画素の濃淡情報に基づいて定められるその画素の周辺の濃淡状態を表す周辺濃淡情報とを用い、上記式［数８］から定式化される上記濃淡情報ｘ’と先鋭化後の濃淡情報との関係に基づいて定義される所定の関係式から最急降下法に従ってその先鋭化後の濃淡情報を求めるように構成される。
【００２５】
上記式［数８］から定式化される上記濃淡情報ｘ’と先鋭化後の濃淡情報との関係に基づいて定義される上記所定の関係式は、例えば、請求項６に記載されるように、
【００２６】
【数９】
【００２７】
更に、上記最急降下法の具体的手法を提供するという観点から、本発明は、請求項７に記載されるように、上記画像符号化・復号方法において、上記最急降下法に従った処理では、繰り返しカウント値ｎを順次インクリメントする過程で、
【００２８】
【数１０】
【００２９】
上記第二の課題を解決するため、本発明は、請求項８に記載されるように、原画像からそのエッジ部分を表すエッジ情報を抽出するエッジ抽出手段と、該原画像を表す濃淡情報に対して該原画像のエッジ部分の平滑化を行う処理を施してエッジ平滑化画像の濃淡情報を得るエッジ平滑化手段と、抽出されたエッジ情報を第一の符号化アルゴリズムに従って符号化して符号化エッジ情報を得る第一の符号化手段と、上記エッジ平滑化手段にて得られたエッジ平滑化画像の濃淡情報を第二の符号化アルゴリズムに従って符号化して符号化濃淡情報を得る第二の符号化手段とを有し、上記第一及び第二の符号化手段にて得られた上記符号化エッジ情報と符号化濃淡情報とを原画像の符号化情報とするように構成される。
【００３０】
この符号化情報として得られた符号化エッジ情報と符号化濃淡情報とを利用して原画像の復号が可能となる。
【００３１】
また、上記符号化濃淡情報だけを復号した場合、エッジ平滑化画像が再現されることになる。
【００３２】
上記エッジ平滑化画像を得る具体的な手法を提供するという観点から、本発明は、請求項９に記載されるように、上記画像符号化装置において、上記エッジ平滑化手段は、該原画像のエッジ部分の所定近傍領域においてエッジ部分を横切る方向に並ぶ各画素の濃淡情報にて表される濃淡レベルの変化量を小さくするように当該各画素の濃淡情報を補正する濃淡情報補正手段を有するように構成することができる。
【００３３】
上記のように原画像のエッジ部分の所定近傍領域においてエッジ部分を横切る方向に並ぶ各画素の濃淡情報で表される濃淡レベルの変化量が小さくなることから、そのエッジ部分の所定近傍領域において濃淡レベルの急激な変化が無くなりエッジ部分の平滑化がなされる。
【００３４】
上記エッジ平滑化画像を得る更に具体的な手法を提供するという観点から、本発明は、請求項１０に記載されるように、上記画像符号化装置において、上記濃淡情報補正手段は、上記原画像のエッジ部分の所定近傍領域を含む所定領域内の各画素の濃淡情報にて表される濃淡レベルの平均値を演算する平均値演算手段と、上記エッジ近傍領域において、各画素の濃淡情報にて表される濃淡レベルが上記平均値より高いか低いかを判定する濃淡レベル判定手段とを有し、該濃淡レベル判定手段にて濃淡レベルが上記平均値より高いと判定された画素についてその濃淡レベルが下がるように濃淡情報を補正し、該濃淡レベル判定手段にて濃淡レベルが上記平均値より低いと判定された画素についてその濃淡レベルが上がるように濃淡情報を補正するように構成することができる。
【００３５】
上記所定領域は、エッジ部分の所定近傍領域を含むものであればそのサイズ、形状は特に限定されない。上記第二の符号化アルゴリズムとしてＤＣＴを用いた標準化された符号化アルゴリズムを適用する場合、上記所定領域として、ＤＣＴの処理単位となるＤＣＴブロック（８×８画素）を使用することが好ましい。
【００３６】
原画像の全体的な濃淡状態に変化を与えないという観点から、本発明は、請求項１１に記載されるように、上記画像符号化装置において、上記濃淡情報補正手段は、上記所定領域について求められた各画素の濃淡情報にて表される濃淡レベルの平均値が変化しないように、上記各画素についての濃淡情報の補正を行うように構成することができる。
【００３７】
このような処理により、各ブロック毎に各画素について濃淡情報の補正を行っても、そのブロックにおける各画素の濃淡情報にて表される濃淡レベルの平均値は変化することがない。
【００３８】
また、原画像のエッジ部分の平滑化を行う処理が比較的容易にできるという観点から、本発明は、請求項１２に記載されるように、上記画像符号化装置において、上記エッジ平滑化手段は、上記原画像のエッジ部分を含む所定ブロック毎に、そのブロックに含まれる各画素の濃淡情報を並べて得られる当該画素数に対応した次数のブロック濃淡情報ベクトルとの行列演算を行うべき正方行列であって、その行列演算によりそのブロックに含まれるエッジ部分及びその所定近傍領域における各画素の濃淡情報に平滑化のための各係数が作用するように当該係数が配列された平滑化正方行列を生成する平滑化正方行列生成手段と、該平滑化正方行列生成手段にて生成された平滑化正方行列と上記ブロック濃淡情報ベクトルとを用いた行列演算を行って平滑化された後における当該ブロック内の各画素の濃淡情報を求める行列演算手段とを有するように構成することができる。
【００３９】
このような画像符号化装置では、各所定ブロック毎に、ブロック濃淡情報ベクトルと平滑化正方行列を用いた行列演算を行うことにより、そのブロック内の全ての画像について平滑化された後における濃淡情報を得ることができる。
【００４０】
上記所定ブロックは、前述した場合と同様、任意の画素数を包含するブロックに設定することができる。そして、上記第二の符号化アルゴリズムとしてＤＴＣを用いた標準化された符号化アルゴリズムを適用する場合、上記所定ブロックとして、ＤＣＴの処理単位となるＤＣＴブロック（８×８画素）を使用することが好ましい。
【００４１】
上記ブロック毎に生成される上記平滑化正方行列は、ブロック濃淡情報ベクトルとの行列演算によりそのブロックに含まれるエッジ部分およびその所定近傍領域における各画像の濃淡情報に平滑化のための係数が作用するように当該係数が配列されるので、その配列状態は、そのブロックに含まれるエッジ部分およびその所定近傍領域の位置に依存する。
【００４２】
上記のように所定ブロック毎に平滑化の処理を行うと、ブロックの境界部分において濃淡情報が不連続になる可能性がある。このようなことを防止できるという観点から、本発明は、請求項１３に記載されるように、上記画像符号化装置において、上記エッジ平滑化手段は、原画像を画素毎に順次走査する過程で各画素が該原画像のエッジ部分またはその所定近傍領域にあるか否かを判定する画素判定手段と、該画素判定手段にて画素が上記エッジ部分またはその所定近傍領域にあると判定されときに、その画素とその所定周囲領域の各画素にて構成されるブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記次数に対応した次数の正方行列であって、そのブロックの各画素の濃淡情報に平滑化のための各係数が作用するように当該係数が配列された平滑化正方行列とを用いた行列演算を行う行列演算手段と、上記原画像の画素毎の走査の過程で、上記行列演算手段にて得られるそのブロック内の各画素の濃淡情報を画素毎に重ね合わせて平滑化された後の各画素の濃淡情報を求める演算手段とを有するように構成できる。
【００４３】
このような画像符号化装置では、原画像を画素毎に順次操作する過程で上記ブロック濃淡情報と平滑化正方行列とを用いた行列演算及びその演算結果の画素毎の重ね合わせが行われるので、原画像に対して画素単位に連続的に処理を行うことができる。
【００４４】
上記画素判定手段の具体的な構成を提供するという観点から、本発明は、請求項１４に記載されるように、上記画像符号化装置において、上記画素判定手段は、上記エッジ部分と各画素との距離を表す距離情報を生成する距離変換手段と、
該距離変換手段にて得られた各画素に対する距離情報が所定値以下であるか否かを判定する距離判定手段とを有し、該距離判定手段にて距離情報が所定値以下であると判定されたときに、その距離情報に対応した画素が原画像のエッジ部分またはその所定近傍領域にあると判定するように構成することができる。
【００４５】
また、上記第二の課題を解決するため、本発明は、請求項１６に記載されるように、原画像のエッジ部分を表す符号化エッジ情報と、原画像のエッジ部分を平滑化したエッジ平滑化画像を表す符号化濃淡情報とを有する符号化情報を復号する画像復号装置において、上記符号化エッジ情報を第一の復号アルゴリズムに従って復号して原画像のエッジ部分を表すエッジ情報を得る第一の復号手段と、上記符号化濃淡情報を第二の復号アルゴリズムに従って復号してエッジ平滑化画像の濃淡情報を得る第二の復号手段と、上記第二の復号手段にて得られたエッジ平滑化画像の濃淡情報に対して、上記第一の復号手段にて得られたエッジ情報を用いて該エッジ平滑化画像のエッジ部分を先鋭化するための処理を施すエッジ先鋭化処理手段とを有し、該エッジ先鋭化処理手段にて得られた濃淡情報によって表される再生画像を得るように構成される。
【００４６】
このような画像復号装置では、上記第一の復号アルゴリズム及び第二の復号アルゴリズムのそれぞれを請求項８に記載される第一の符号化アルゴリズム及び第二の符号化アルゴリズムに対応するように定めることにより、請求項８に記載される画像符号化装置にて得られる符号化情報を的確に復号できるようになる。
【００４７】
上記エッジ平滑化画像を先鋭化させる具体的な手法を提供するという観点から、本発明は、請求項１７に記載されるように、上記画像復号装置において、上記エッジ先鋭化処理手段は、上記第二の復号手段にて得られたエッジ平滑化画像の濃淡情報に対して、上記第一の復号手段にて得られエッジ情報にて表されるエッジ部分の所定近傍領域においてエッジ部分を横切る方向に並ぶ各画素の濃淡情報にて表される濃淡レベルの変動量を大きくするように当該各画素の濃淡情報を補正する濃淡情報補正手段を有するように構成できる。
【００４８】
上記のようにエッジ平滑化画像の上記エッジ情報にて表されるエッジ部分の所定近傍領域においてエッジ部分を横切る方向に並ぶ各画素の濃淡情報で表される濃淡レベルの変化量が大きく、そのエッジ部分の所定近傍領域において濃淡レベルの変化が急激になりエッジ部分の先鋭化が図られる。
【００４９】
このような画像復号装置では、上記第一の復号アルゴリズム及び第二の復号アルゴリズムのそれぞれを請求項８に記載される第一の符号化アルゴリズム及び第二の符号化アルゴリズムに対応するように定めると共に、濃淡レベルの変化量を大きくする程度を請求項９に記載されるエッジ平滑化画像を得る際に行われる濃淡レベルの変動を小さくする程度と対応するように定めることにより、請求項９に記載される画像符号化装置にて得られる符号化情報を的確に復号できるようになる。
【００５０】
上記濃淡情報補正手段は、請求項１８に記載されるように、上記エッジ部分の所定近傍領域を含む所定領域内の各画素の濃淡情報にて表される濃淡レベルの平均値を演算する平均値演算手段と、上記エッジ近傍において、各画素の濃淡情報に表される濃淡レベルが上記平均値より高いか低いかを判定する濃淡レベル判定手段を有し、該濃淡レベル判定手段にて濃淡レベルが上記平均値より高いと判定された画素についてその濃淡レベルが上がるように濃淡情報を補正し、該濃淡レベル判定手段にて濃淡レベルが上記平均値より低いと判定された画素についてその濃淡レベルが下がるように濃淡情報を補正するように構成することができる。
【００５１】
復号時において各ブロックの平均的な濃度レベルを変動を変化させないという観点から、本発明は、請求項１９に記載されるように、上記画像復号装置において、上記濃淡情報補正手段は、上記所定領域について求められた各画素の濃淡情報にて表される濃淡レベルの平均値が変化しないように、上記各画素についての濃淡情報を補正するように構成することができる。
【００５２】
また、上記エッジ平滑化画像を先鋭化させる具体的な手法を提供するという観点から、本発明は、請求項２０に記載されるように、上記画像復号装置において、上記エッジ先鋭化処理手段は、上記第二の復号手段にて得られた濃淡情報にて表されるエッジ平滑化画像の上記第一の復号手段にて得られたエッジ情報にて表されるエッジ部分を含む上記所定のブロック毎に、そのブロックに含まれる各画素の濃淡情報を並べて得られる当該画素数に対応した次数のブロック濃淡情報ベクトルと行列演算を行うべき正方行列であって、その行列演算によりそのブロックに含まれるエッジ部分及びその近傍領域における各画素の濃度情報に先鋭化のための各係数が作用するように当該係数が配列された先鋭化正方行列を生成する先鋭化正方行列生成手段と、該先鋭化正方行列生成手段にて生成された先鋭化正方行列と上記ブロック濃淡情報ベクトルとを用いた行列演算を行って先鋭化された後における当該ブロック内の各画素の濃淡情報を求める行列演算手段とを有するように構成することができる。
【００５３】
このような画像復号装置では、ブロック濃淡情報ベクトルと先鋭化正方行列とを用いた行列演算によりエッジ部分の先鋭化がなされた画像における当該ブロック内の各画素の濃淡情報を得ることができる。
【００５４】
このような画像復号装置は、請求項１２に記載された画像符号化装置にて得られる符号化情報を復号するのに適したものとすることができる。この場合、容易に先鋭化の処理を行うことができるという観点から、本発明は、請求項２１に記載されるように、上記画像復号装置において、上記第二の復号手段により処理すべき上記符号化濃淡情報が、原画像のエッジ部分を含む上記所定ブロック毎に、そのブロックに含まれる各画素の濃淡情報を並べて得られる当該画素数に対応した次数のブロック濃淡情報ベクトルとの行列演算を行うべき正方行列であって、その行列演算によりそのブロックに含まれるエッジ部分及びその所定近傍領域における各画素の濃淡情報に平滑化のための係数が作用するように当該係数が配列された平滑正方行列と、上記ブロック濃淡情報ベクトルとを用いた行列演算を行って得られたエッジ平滑化画像の濃淡情報を上記第二の復号アルゴリズムに対応した符号化アルゴリズムに従って符号化して得られる者である場合、上記先鋭化正方行列生成手段は、上記ブロックに含まれるエッジ部分の画素位置に基づいて上記平滑化正方行列の逆行列を上記先鋭化正方行列として生成するように構成することができる。
【００５５】
このような画像復号装置では、原画像の平滑化に用いられた平滑化正方行列の逆行列を求めることによってエッジ平滑化画像のエッジ部分の先鋭化に用いられる先鋭化正方行列を得ることができる。
【００５６】
また更に、上記エッジ平滑化画像を先鋭化させる具体的な手法を提供するという観点から、本発明は、請求項２２に記載されるように、上記画像復号装置において、上記エッジ先鋭化処理手段は、上記第二の復号手段にて得られる濃淡情報にて表されるエッジ平滑化画像を画素毎に走査する過程で各画素が上記第一の復号手段にて得られたエッジ情報にて表されるエッジ部分またはその所定近傍領域にあるか否かを判定する画素判定手段と、該画素判定手段にて画素が上記エッジ部分またはその所定近傍領域にあると判定されたときに、その画素とその上記所定周囲領域の画素にて構成されるブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記次数に対応した次数の正方行列であって、そのブロックの各画素の濃淡情報に先鋭化のための係数が作用するように当該係数が配列された先鋭化正方行列とを用いた行列演算を行う行列演算手段と、上記エッジ平滑化画像の画素毎の走査の過程で、上記行列演算手段にて得られるそのブロック内の各画素の濃淡情報を画素毎に重ね合わせて先鋭化された後の各画素の濃淡情報を求める演算手段とを有するように構成することができる。
【００５７】
このような画像復号装置では、エッジ平滑化画像の画素毎の走査の過程で、上記ブロック濃淡情報ブロックと先鋭化正方行列とを用いた行列演算により、エッジ部分の先鋭化のなされた画像における当該ブロック内の各画素の濃淡情報を得ることができる。
【００５８】
このような画像復号装置は、請求項１３に記載された画像符号化装置にて得られる符号化情報を復号するのに適したものとすることができる。この場合、容易に先鋭化の処理を行うことができるという観点から、本発明は、請求項２４に記載されるように、上記画復号装置において、上記第二の復号手段により処理すべき上記符号化濃淡情報が、原画像を画素毎に順次走査する過程で該原画像のエッジ部分またはその所定の近傍領域にあると判定された画素とその所定周囲領域の各画素にて構成される上記ブロックに対応するブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記次数に対応した次数の正方行列であって、そのブロックの各画素の濃淡情報に平滑化のための各係数が作用するように当該係数が配列された平滑化正方行列とを用いた行列演算を行って得られるそのブロック内の各画素の濃淡情報を各画素毎に重ね合わせて平滑化された後の各画素の濃淡情報を求めることによって得られたエッジ平滑化画像の濃淡情報を上記第二の復号アルゴリズムに対応した符号化アルゴリズムに従って符号化して得られたものである場合、上記先鋭化正方行列は、上記平滑化正方行列の逆行列に定められるように構成できる。
【００５９】
このような画像復号装置では、原画像の平滑化に用いられた平滑化正方行列の逆行列を求めることによってエッジ平滑化画像のエッジ部分の先鋭化に用いられる先鋭化正方行列を得ることができる。
【００６０】
更に、上記第二の課題を解決するため、本発明は、請求項２８に記載されるように、画像の符号化情報を復号する画像復号装置において、上記画像のエッジ部分を表すエッジ情報を取得するエッジ情報取得手段と、上記符号化濃淡情報を所定の復号アルゴリズムに従って復号して画像の濃淡情報を得る復号手段と、該復号手段にて得られた画像の濃淡情報に対して、上記エッジ情報取得手段にて得られたエッジ情報で表されるエッジ部分を先鋭化するための処理を施すエッジ先鋭化処理手段とを有し、該エッジ先鋭化処理手段にて得られた濃淡情報によって表される再生画像を得るように構成される。
【００６１】
上記エッジ情報取得手段は、当該エッジ情報を外部から直接取得しても、符号化されたエッジ情報を復号することによって取得してもよい。
【００６２】
後者の場合、本発明は、請求項２９に記載されるように、上記画像復号装置において、上記エッジ情報取得手段は、当該画像復号装置に提供される符号化エッジ情報を所定の復号アルゴリズムに従って復号して上記エッジ情報を得るエッジ復号手段を有するように構成することができる。
【００６３】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００６４】
本発明の実施の一形態に係る画像符号化装置での処理の原理は、例えば、図１に示すようになっている。
【００６５】
図１において、画素単位の濃淡情報Ｏ（例えば、輝度レベル）にて表現される原画像ＩCからそのエッジ部分ＩEを表すエッジ情報Ａが抽出される。この抽出されたエッジ情報ＡをJBIG等の標準符号化アルゴリズムに従って符号化して符号化エッジ情報ＡCが得られる。一方、上記抽出されたエッジ情報Ａに基づいて、上記原画像ＩOを表す濃淡情報に対して当該エッジ部分ＩEの平滑化を行う処理が施してエッジ平滑化画像Ｉ1の画素単位の濃淡情報Ｂが得られる。このエッジ平滑化画像Ｉ1の濃淡情報ＢがJPEG等の標準符号化アルゴリズムに従って符号化され、符号化濃淡情報ＢCが得られる。この画像符号化装置は、上記符号化エッジ情報ＡCと符号化濃淡情報ＢCとを符号化情報として出力する。
【００６６】
このような画像符号化装置によれば、原画像ＩOのエッジ部分ＩEを平滑化して得られた比較的高い空間周波数成分の少ないるエッジ平滑化画像Ｉ1を符号化しているので、JPEGのようなＤＣＴを用いた標準符号化アルゴリズムを使用しても、符号化において欠落する情報を少なくすることができる。また、上記のように比較的高い空間周波数成分の少ないエッジ平滑化画像Ｉ1をＤＣＴを用いて符号化する場合、エッジ平滑化画像Ｉ1のエッジ周辺でのＤＣＴによる符号化効率を向上させることができ、エッジ部分ＩEを個別に符号化を行っても、全体として符号化効率の低下を防止することができる。
【００６７】
また、本発明の実施の一形態に係る画像復号装置での処理の原理は、例えば、図２に示すようになっている。
【００６８】
図２において、上記符号化エッジ情報ＡCを上記標準符号化アルゴリズム（例えば、JBIG）に対応したJBIG等の標準復号アルゴリズムに従って復号し、原画像のエッジ部分ＩEを表すエッジ情報Ａを取得する。一方、上記符号化濃淡情報ＢCを上記標準符号化アルゴリズム（例えば、JPEG）に対応したJPEG等の標準化復号アルゴリズムに従って復号して、エッジ平滑化画像Ｉ’1の濃淡情報Ｂ’を取得する。このエッジ平滑化画像Ｉ’1の濃淡情報Ｂ’に対して、上記エッジ情報Ａを用いて該エッジ平滑化画像Ｉ’1のエッジを先鋭化するための先鋭化処理が施される。その先鋭化処理にて得られた画素単位の濃淡情報Ｏ’にて表される画像が原画像ＩＯに対応した再生画像Ｉ’Oとして得られる。
【００６９】
このよう画像復号装置では、上記のように符号化情報として得られた符号化エッジ情報ＡCとエッジ平滑化画像ＩEに対応した符号化濃淡情報ＢCとを復号する。この符号化エッジ情報Ａを復号することにより原画像ＩOのエッジ部分ＩEに対応したエッジ情報を再現することができる。そして、上記符号化濃淡情報ＢCを復号して得られたエッジ平滑化画像Ｉ’1のエッジ部分を上記のようにして得られたエッジ情報を用いて先鋭化することにより再生画像Ｉ’Oが得られる。
【００７０】
なお、上記符号化装置にて得られたエッジ平滑化画像ＩEは、エッジ周辺部の空間解像度が低下しているものの、画像信号（濃淡情報）がもつ本来の視覚情報を大きく損なうものではない。そのため、符号化エッジ情報Ａを復号して、エッジ平滑化画像ＩEのエッジの先鋭化を行わなくても、ある程度の画質の画像を得ることができる。従って、エッジ情報は原画像のエンハンスト情報として扱うことができ、例えば、画像符号化装置からネットワークを介して画像復号装置に符号化情報を伝送するシステムでは、ネットワークが混雑して十分な情報を伝送できない場合、エッジ平滑化画像ＩEの符号化濃淡情報だけを符号化情報として伝送させるなど、必要に応じてエッジ情報を利用するように画像伝送システムを構成することも可能となる。
【００７１】
この場合、画像符号化装置と画像復号装置との間でネゴシエーションを行って符号化エッジ情報の伝送についての是非を決定することができる。また、符号化エッジ情報とエッジ平滑化画像の符号化情報とに優先度をつけてＩＰパケット化することで、インターネットルータなどにおいて優先度の高い情報を的確に復号側へ伝送させるようにすることもできる。
【００７２】
次に、本発明の実施の一形態に係る画像符号化装置と画像復号装置を含む画像伝送システムの一例を説明する。
【００７３】
この画像伝送システムは、例えば、図３に示すように構成される。この例では、画像符号化装置１０及び画像復号装置２０は、JPEG等の標準化された静止画像符号化方式及び復号方式を用いて、静止画像の圧縮及び伸張を行っている。画像符号化装置１０は、原画像のうち被写体の輪郭や文字領域などのステップエッジ周辺に関して圧縮効率を高めると共に、エッジ情報を原画像から分離して別途階層的に送信する仕組みを備えている。これにより、画像復号装置２０において、復号により得られた画像のエッジ周辺での主観的品質を向上させることができる。
【００７４】
図３において、この画像伝送システムは、画像符号化装置１０からの原画像についての符号化情報（符号化エッジ情報、符号化濃淡情報）が伝送路３０を介して画像復号装置２０に伝送される。そして、画像復号装置２０がそれらの符号化情報を復号することによって再生画像を得る。
【００７５】
上記画像符号化装置１０は、エッジ検出部１１、JBIG符号化部１２、距離変換部１３、エッジ平滑化部１４及びJPEG符号化部１５を有している。エッジ検出部１１は、入力画像（原画像）からエッジ部分を検出し、そのエッジ部分を表すエッジ情報を出力する。このエッジ検出部１１での検出手法として従来から知られる手法を適用することができる。例えば、Sobelのオペレータなどの汎用手法を用いたり、エッジの連続性を考慮して平滑化すべきエッジの検出精度を最適化する処理を施すこともできる。エッジ検出部１１から出力されるエッジ情報は、白黒の二値情報である。
【００７６】
JBIG符号化部１２は、エッジ検出部１１からの二値情報となるエッジ情報をJBIG符号化方式に従って無歪み（可逆）圧縮を行う。また、上記エッジ情報は距離変換部１３にて距離マップに変換される。この距離変換部１３にてなされる距離変換処理は、画像上の位置（ｉ，ｊ）と位置（ｍ、ｎ）との間の距離の分布を求める処理であり、例えば、ユークリッド距離、４近傍距離、８近傍距離などで定義された距離ｄ（ｆij，ｆmn）にてエッジ部分の画素からその近傍画像までの距離が表される。上記距離マップは、エッジ部分の画素からその近傍画像までの距離値の状態を表し、例えば、その距離値を４近傍距離（ｄ（ｆij，ｆmn）＝｜ｉ−ｍ｜＋｜ｊ−ｎ｜）で定義した場合、図４に示すような距離マップが得られる。なお、図４において、各矩形領域が画素を表すと共に、斜線部の矩形領域がエッジ部分の画素となる。
【００７７】
エッジ平滑化部１４は、上記距離変換部１３からの距離マップ（図４参照）と入力画像（原画像）とを入力し、入力画像におけるエッジ近傍に対する平滑化処理を行ってエッジ平滑化画像を得る。この平滑化処理の詳細については後述する。この平滑化処理によって入力画像におけるステップエッジ等の急峻に濃淡が変化するエッジ部分の平滑化がなされる。
【００７８】
JPEG符号化部１５は、エッジ平滑化部１４からのエッジ平滑化画像を表す濃淡情報をJPEGに従って符号化する。この符号化の際にＤＣＴ（離散コサイン変換）及び量子化がなされるが、エッジ部分が平滑化されたエッジ平滑化画像に対してそれらの処理がなされることから、ＤＣＴ係数を量子化することに起因して復号画像に生ずるブロック歪み、モスキートノイズなどの視覚的に目立つ画質劣化が抑えられると共に、符号化における符号量の低減を図ることが可能となる。
【００７９】
画像符号化装置１０は、JBIG符号化部１２からの符号化エッジ情報とJPEG符号化部１５からのエッジ平滑化画像に対応した符号化濃淡情報となるJPEG符号を符号化情報として出力する。その際、それらの符号化情報及び同一のフレームであることを同定するための同期情報等が多重化されて、その多重化情報が伝送路３０を介して画像符号化装置１０から画像復号装置２０に伝送される。
【００８０】
上記エッジ平滑化部１４での具体的な処理について説明説する。
【００８１】
その処理の概要は、距離マップ（図４参照）によって定められるエッジ近傍領域に属する画素に対して、逆行列を有する平滑化フィルタ行列を適用する。行列演算では、平滑化フィルタ行列が作用する画素ブロックの境界での視覚的影響を抑えるために、オーバラップ演算の手法が用いられる。
【００８２】
まず、入力画像の画素位置（ｉ，ｊ）のサンプル（画素）をｐij、距離マップ（図４）上の画素位置（ｉ，ｊ）の距離値をｄ（ｐij）とする。エッジ近傍領域Ｒを、図５に示すように、Ｒ＝｛ｐｉｊ｜ｄ（ｐij）＜ε｝と定義する。平滑化処理は、エッジ近傍領域Ｒの全てのｐijに対して行う。
【００８３】
平滑化処理は、例えば、図６に示す手順に従って行われる。
【００８４】
図６において、画素位置（ｉ，ｊ）の初期化（ｉ＝０、ｊ＝０）がなされると共に、出力画像バッファの全て値がゼロに初期化される（Ｓ１）。この状態で、入力画像を画素毎に走査する（ｉ、ｊをインクリメントする）過程で、その画素ｐijがエッジ近傍領域Ｒに含まれているか否かが判定される（Ｓ２）。具体的には、その画素の距離値ｄ（ｐij）がｄ（ｐij）＜εを満たすか否かが判定される。そして、その画素ｐijがエッジ近傍領域Ｒに含まれていると判定されると（Ｓ２でＹ）、その画素ｐijを中心とした３×３の画素ブロック内の９個の各画素の画素値Ｉ（濃淡情報）を並べて得られる９次の画素ブロックベクトルｖij、
【００８５】
【数１１】
【００８６】
【数１２】
【００８７】
この平滑化フィルタ行列Ｅは、上記画素ブロックベクトルｖijの各画素の画素値Ｉに、例えば、図７に示すような平滑化フィルタの各係数が、行列演算（Ｅｖij）にて上記画素ブロックベクトルｖijに含まれる各画素値に作用するように配列されている。即ち、この平滑化フィルタ行列Ｅは、図８（ａ）に示すように構成された９×９次元の正則行列となる。なお、この平滑化フィルタ行列Ｅは、９×９次元の正則行列としたが、これに限定されるものではなく、行列演算を行う単位となる画素ブロックベクトルｖijの次元に対応する次元であればよい。また、その係数も、施したい平滑化演算によって任意に設定することができる。このように、この平滑フィルタ行列Ｅは、後述するような復号で用いられるその逆行列が存在することを条件に任意に定めることができる。
【００８８】
平滑化フィルタ（図７参照）の各係数が配列された平滑フィルタ行列Ｅと上記各画素の画素値Ｉを並べた画素ブロックベクトルｖijとの行列演算を行うことは、画素ｐijを中心とした３×３画素ブロックに平滑化フィルタ（図７参照）が作用したことと等価になる。従って、上記のような行列演算により画素ｐijに対する平滑化が行われたことになる。
【００８９】
一方、画素ｐijがエッジ近傍領域に含まれていないと判定されると（Ｓ２でＮ）、上記画素ブロックベクトルｖijと、図８（ｂ）に示すような９次の単位行列Ｐとを用いた演算、
【００９０】
【数１３】
【００９１】
なお、上記各行列演算
【００９２】
【数１４】
【００９３】
上記のような行列演算にて得られた演算結果
【００９４】
【数１５】
【００９５】
その後、サンプルする画素をずらすため、ｉとｊがインクリメントされ（Ｓ５）、更に、夫々が、入力画像の最終画素を表す値Ｓを超えたか否かが判定される（Ｓ６）。このｉ、ｊがその値Ｓを超えて否ければ、上述した処理（Ｓ２、Ｓ３−１またはＳ３−２、Ｓ４、Ｓ５、Ｓ６）が繰返し実行される。その結果、入力画像を画素毎に走査する過程で、エッジ近傍領域Ｒに属する画素ｐijに対する平滑化処理が行われる。そして、ｉ、ｊが上記値Ｓを超えたときに平滑化処理が終了される。この終了時点で出力画像バッファに格納されている画素単位の値Ｉ’は、エッジ平滑化画像を表す濃淡情報（画素値データ）となる。
【００９６】
図３に戻って、画像復号装置２０は、JBIG復号部２１、JPEG復号部２２、距離変換部２３、エッジ先鋭化部２４を有している。この画像復号装置２０は、前述したような画像符号化装置１０から符号化情報として伝送される符号化エッジ情報とエッジ平滑化画像に対応したJPEG符号（符号化濃淡情報）をそれぞれ分離された状態で受信する。
【００９７】
JBIG復号部２１は、JBIGの復号方式に従って受信された符号化エッジ情報を復号してエッジ情報を生成する。JPEG復号部２２は、JPEGの復号方式に従って受信されたJPEG符号を復号してエッジ平滑化画像を表す濃淡情報を生成する。距離変換部２３は、画像符号化装置１０の距離変換部１３と同様に、JBIG復号部２１からのエッジ情報に基づいて距離マップ（図４参照）を生成する。そして、エッジ先鋭化部２４は、その距離マップに記述されるエッジ近傍領域の各画素の距離値に基づいて、JPEG復号部２２からのエッジ平滑化画像におけるエッジ部分の先鋭化、即ち、エッジ部分の強度復元を行う。
【００９８】
このエッジ先鋭化部２４では、例えば、次のようなエッジ先鋭化処理がなされる。
【００９９】
その処理の概要は、距離マップによって定められるエッジ近傍領域に属する画素に対して、上記平滑化フィルタ行列Ｅの逆行列となる先鋭化フィルタ行列Ｅ-1を作用させている。その処理手順は、図６に示す手順と同様であり、図６に示すステップＳ３−２において、平滑化フィルタ行列Ｅに代えて先鋭化フィルタ行列Ｅ-1を用いた行列演算がなされる。
【０１００】
即ち、エッジ平滑化画像を画素毎に走査する過程で、エッジ近傍領域に属する画素ｐijを中心とした３×３画素ブロックに含まれる各画素の画素値を並べて得られる９次の画素ブロックベクトルｖ’ij
【０１０１】
【数１６】
【０１０２】
【数１７】
【０１０３】
そして、エッジ平滑化画像の全ての画素について同様の処理が終了した時点で、出力画像バッファに格納されている各画素の画素値が原画像に対応した濃淡情報となり、それが出力画像情報として画像復号装置２０が出力される。
【０１０４】
上記のような画像伝送システムでは、画像符号化装置１０において、原画像（入力画像）のエッジ位置を検出し、そのエッジ近傍の画素に対して平滑化処理を行うことによって、エッジに起因した符号化の際の情報の欠落が防止されると共に、その符号化効率の低下が防止される。また、数学的に逆行列が存在する平滑化フィルタ行列を用いた行列演算によってエッジの平滑化処理がなされることから、画像復号装置２０において、平滑化処理での逆演算を行うことで容易にエッジの先鋭化、即ち、エッジ領域での本来の解像度の復元が可能となる。
【０１０５】
また、画像復号装置２０におけるJPEG復号部２２のエッジ平滑化画像に対応した出力は、それだけで画像データ（濃淡情報）として画像表示等の利用が可能である。エッジ情報は、必要に応じてエッジ強度復元に利用することができる。これは、現在広く流通する標準画像符号化方式に準拠した製品に対してエッジ先鋭化の機能を追加することで復元画像における本来のエッジ部分の質感を復元することができることを意味する。従って、広く流通する既存の標準画像符号化方式をサポートする画像復号装置の基本構成を大きく変更することなく、画像の圧縮・伸張を行うシステムを構成することができる。エッジ強度復元を行う場合に追加する機能に対応した処理は、JPEGなどの圧縮符号化処理に比べればその処理量が少ないため、例えば、ソフトウエアモジュールなどの形で画像復号装置に追加することができる。
【０１０６】
次に、上記画像符号化装置１０におけるエッジ平滑化部１４及び上記画像復号装置２０におけるエッジ先鋭化部２４それぞれでの処理の他の例について説明する。
【０１０７】
まず、最初の例では、エッジ平滑化部１４は、入力画像（原画像）をＮ×Ｎ画素ブロックＢ（例えば、８×８画素のＤＣＴブロック）に分割し、原画像のエッジ部分を含む各ブロックＢ毎に次のような処理を行う。処理の対象となるブロックＢには複数のエッジ部分を含んでもよい。
【０１０８】
ブロックＢ内の各画素ｋの画素値（濃淡情報：輝度値）をＩk（ｋ∈Ｂ）とする。ブロックＢ内の各画素ｋの輝度値Ｉkの平均値ＥBが演算される。距離変換部１３にて生成された距離マップ（図４参照）の各画素の距離値ｄkに基づいて、ブロックＢ内の各画素ｋがエッジ近傍領域（ｄk＜ε）内にあるか否かが判定される。そして、エッジ近傍領域Ｒにあると判定された画素ｋの輝度値Ｉkに対してその距離値ｄｋに応じた輝度補正を行う。
【０１０９】
なお、上記平均値ＥBは、上記ブロックＢに限られず、エッジ部分を含む予め定められた領域内の各画素の輝度値に基づいて演算することができる。
【０１１０】
この輝度補正では、ブロックＢ内の各画素ｋの輝度値Ｉkが上記のように演算された平均値ＥBより高いか低いかの判定が行われる。そして、図１０に示すように、その平均値ＥBより高い輝度値を有すると判定された画素ｐ2の当該輝度値は低下させる（↓）一方、その平均値ＥBより低い輝度値を有すると判定された画素ｐ0の当該輝度値は大きくされる（↑）。
【０１１２】
このような処理により、エッジ近傍領域において、エッジ部分を横切る方向に並ぶ各画素ｋの輝度値の変化量が小さくなるように（平均値ＥBに近づくように）各画素ｋの輝度値Ｉkが補正される。従って、原画像のエッジ部分における輝度変化が小さくなって、エッジ部分の平滑化がなされる。
【０１１３】
上記のような手順に従って平滑化処理がなされた結果得られたエッジ平滑化画像の先鋭化を行う画像復号装置２０におけるエッジ先鋭化部２４では、上記平滑化処理と同様の手順に従って処理が行われる。
【０１１４】
JPEG復号部２２にて得られたエッジ平滑画像が上記と同様のＮ×Ｎ画素ブロックＢに分割され、そのブロックＢ毎に処理が行われる。即ち、エッジ部分を含むブロックＢにおいて、エッジ近傍領域にある画素ｋの輝度値Ｉ’kが、そのブロックＢの輝度値の平均値Ｅ’Bより高いときには、その輝度値Ｉ’kが更に高くなるように、また、その平均値Ｅ’Ｂより低いときには、その輝度値Ｉ’kが更に低くなるように補正される。具体的には、
【０１１５】
【数１８】
【０１１６】
このような先鋭化処理により、エッジ平滑化画像のエッジ近傍領域において、エッジ部分を横切る方向に並ぶ各画素ｋの輝度値の変化量が大きくなるように（平均値ＥBから遠ざかるように）各画素ｋの輝度値Ｉ’kが補正される。従って、エッジ平滑化画像のエッジ部分における輝度変化が大きくなって、エッジ部分の先鋭化（エッジ強度復元）がなされる。
【０１１７】
次の例では、画像符号化装置１０におけるエッジ平滑化部１４は、入力画像（原画像）を８×画素ブロックＢ（ＤＣＴブロック）に分割し、原画像のエッジ部分を含む各ブロックＢ毎に次のような処理を行う。処理の対象となるブロックＢには複数のエッジ部分を含んでもよい。
【０１１８】
このエッジ部分を含むブロックＢ（８×８画素ブロック）に含まれる各画素（６４画素）の画素値Ｉ（濃淡情報）を並べて得られる６４次元の画素ブロックベクトルｖとの行列演算を行うべき６４×６４次元の正方行列となる平滑化フィルタ行列Ａが、エッジ検出部１１からのエッジ情報及び距離変換部１３からの距離マップに基づいて生成される。この平滑化フィルタ行列Ａの構成は、ブロックＢに含まれるエッジの位置に依存する。
【０１１９】
平滑化フィルタ行列Ａは、上記画素ブロックベクトルｖとの行列演算によって、上記８×８の画素ブロックの各画素のうちエッジ部分及びその近傍領域に対応した各画素（図４における斜線部分）を中心に、例えば、図１１に示すような３×３画素ブロックの平滑化フィルタを作用させた際に、各画素の画素値にその係数が作用するのと等価となるように、その係数が配列されたものとなっている。具体的には図１２に示すように構成される。この平滑化フィルタＡの構成は、位置（ｍ、ｎ）の画素だけがエッジ部分またはその近傍領域に含まれる場合の構成である。
【０１２０】
このような平滑化フィルタ行列Ａが上記エッジ情報及び距離マップに基づいて得られると、ブロックＢに対応した画素ブロックベクトルｖと平滑化フィルタ行列Ａを用いた行列演算
ｖ’＝Ａｖ
が行われる。このような行列演算により得られたベクトルｖ’の各成分（補正画素値）が平滑化後のブロック内の各画素の画素値となる。これにより、そのブロック内での平滑化処理がなされたことになる。
【０１２１】
なお、上記平滑フィルタ行列Ａの構成（図１２参照）、考慮する平滑化フィルタ（図１１参照）の構成は、上述した例に限定されるものではなく、適宜定めることができる。
【０１２２】
上記のような手順に従って平滑化処理がなされた結果得られたエッジ平滑化画像の先鋭化を行う画像復号装置２０におけるエッジ先鋭化部２４では、上記平滑化処理と同様の手順に従って処理が行われる。その際、ブロック（８×８画素ブロック）毎に、エッジ情報及び距離マップに基づいて定められるそのブロック内のエッジ部分及びその近傍領域に基づいて、上記平滑化フィルタ行列Ａの逆行列となる先鋭化フィルタ行列Ａ-1が生成される。そして、エッジ平滑化画像に設定されたブロック毎に、そのブロックに含まれる画素の画素値で構成された画素ブロックベクトルｖ’とその先鋭化フィルタ行列Ａ-1とを用いた行列演算
ｖ＝Ａ-1ｖ’
により、エッジが先鋭化（エッジ強度復元）された画像における各画素値が得られる。
【０１２３】
このような画像符号化、復号方法では、ブロック毎にそのエッジ位置に応じた平滑化フィルタ行列Ａとその逆行列Ａ-1を生成する必要があるが、垂直、水平各最大８次のタップを有するフィルタを構成することができるため、所望の平滑化特定を得やすくなる。
【０１２４】
また次の例では、画像符号化装置１０におけるエッジ平滑化部１４は、入力画像（原画像）において上記エッジ近傍領域Ｒ（図５参照）内であると判定された各画素ｐ（ｐ∈Ｒ）の画素値ｘ（濃淡情報）に対して次のような処理を施すことによって、各画素ｐの平滑化後の画素値ｘ’を演算する。
【０１２５】
例えば、図１３に示すように、画素ｘを中心とした３画素×３画素のマスク領域を定め、そのマスク領域内における画素ｐの周辺８画素ｐ1〜ｐ8の画素値ｘ1〜ｘ8の平均値Ｃを求める。そして、その画素ｐの平滑化後の画素値ｘ’を、その周辺画素の画素値ｘ1〜ｘ8の平均値Ｃを考慮して、
【０１２６】
【数１９】
【０１２７】
一方、画像復号装置２０においては、エッジ先鋭化部２４が上記のような平滑化処理により得られたエッジ平滑化画像（実際には、JPEG復号部２２から出力されるエッジ平滑化画像）のエッジ部分の先鋭化を行う。この先鋭化の処理は、例えば、次のようにしてなされる。
【０１２８】
距離変換部２３からのエッジ情報に基づいて得られたエッジ近傍領域Ｒの各画素の画素値ｘ'と上記式［数１９］で表される関係にある元の画素値ｘを復元することになるが、この場合、処理の対象がエッジ平滑化画像であるので、周辺画素の画素値の平均値Ｃは、入力画像（現画像）を処理の対象とする上記平滑化処理にて用いられた平均値Ｃと同じ値を用いることができない。従って、最急降下法に従った反復演算により元の画素値ｘを復元する。その復元画素値を
【０１２９】
【数２０】
【０１３０】
【数２１】
【０１３１】
【数２２】
【０１３２】
最急降下法によれば、上記ｅ（Ｘ）を最小化するＸは、下式によって定められる漸化式の収束値で与えられる。
【０１３３】
【数２３】
【０１３４】
上記式［数２２］に従ってなされる繰り返し演算により各画素の復元画素値を求めるための処理は、例えば、図１４に示す手順に従って行われる。
【０１３５】
図１４において、まず、出力バッファの初期化が行われる（Ｓ１１）と共に、各変数の初期値設定が行われる（Ｓ１２）。即ち、繰り返しカウント値ｎが初期値「０」（ｎ＝０）に設定され、画素ｐijの復元画素値Ｘijの初期値Ｘij（０）が上記エッジ平滑化画像での画素値ｘ’に設定される。更に、この初期値設定において、各画素ｐijに対応させたフラグFlag（i,j）が「０」（Flag（i,j）＝０）に設定される。このフラグFlag（i,j）は、画素ｐijの復元画素値が後述するような繰り返し演算により収束したか否かを表す。
【０１３６】
この状態で、エッジ平滑化画像における画素ｐijの周辺８画素の画素値の平均値Ｃij（ｎ）が演算され（Ｓ１３）、更に、上記式［数２２］におけるｅ（Ｘ）の微分値
【０１３７】
【数２４】
【０１３８】
【数２５】
【０１３９】
この条件が満たされない場合（Ｓ１５でＮ）、即ち、当該画素ｐijについての復元画素値がある値に収束したと見なされない場合、上記Ｃij（ｎ）及び上記微分値を用い、上記式［数２３］に従って、Ｘij（ｎ＋１）が演算される（Ｓ１６）。このように復元画素値Ｘij（ｎ＋１）が得られると、上記出力バッファにおける画素ｐijの復元画素値Ｘij（ｎ）がＸij（ｎ＋１）に更新される（Ｓ１７）。
【０１４０】
その後、エッジ平滑化画像のエッジ近傍領域Ｒの全ての画素に対して処理が終了したか否かが判定される（Ｓ１８）。まだ、その全ての画素に対する処理が終了していなければ（Ｓ１８でＮ）、（ｉ，ｊ）がインクリメントされ（Ｓ１９）、処理の対象となる画素が変更される。
【０１４１】
このように処理の対象となる画素が変更されると、その画素に対応したフラグFlag（i,j）が「０」であるか否かが判定される（Ｓ２０）。このフラグFlag（i,j）が「０」である場合、その画素の復元画素値が収束していないとして、上記と同様に、その画素に対して、周辺８画素の画素値（復元画素値）の平均値Ｃ（ｎ）が演算される（Ｓ１３）と共に上記式［数２４］に従った微分値が演算される（Ｓ１４）。そして、上記式［数２５］にて表される条件が満足される（復元画素値が収束したと見なされる）か否かが判定される（Ｓ１５）。この条件が満足されない場合（Ｓ１５でＮ）、上記と同様に、上記式［数２３］に従って、Ｘij（ｎ＋１）が演算され（Ｓ１６）、出力バッファにおける当該画素ｐijの復元画素値がＸij（ｎ＋１）に更新される（Ｓ１７）。
【０１４２】
以下、同様の処理（Ｓ１８、Ｓ１９、Ｓ２０、Ｓ１３〜Ｓ１７）が繰り返し実行される。そして、エッジ平滑化画像のエッジ近傍領域Ｒの全ての画素に対して上記処理が終了したと判定されると（Ｓ１８でＹ）、更に、その全ての画素に対応した各フラグFlag（i,j）が「１」であるか否か、即ち、全ての画素の復元画素値が収束したと見なし得るか否かが判定される（Ｓ２１）。
【０１４３】
この全ての画素に対応した各フラグFlag（i,j）が「１」となっていない場合（Ｓ２１でＮ）、繰り返しカウント値ｎがインクリメントされると共に、（ｉ，ｊ）が初期値（０，０）に設定されて、最初に処理された画素ｐ00が再び処理対象となる画素として選択される（Ｓ２２）。そして、その画素ｐ00に対応したフラグFlag（0,0）が「０」であるか否かが判定される（Ｓ２０）。このフラグFlag（0,0）が「０」である場合、上述した処理（Ｓ１３〜Ｓ１７）に従って、その画素ｐ00の復元画素値が更新される。その後、処理の対象となる画素を順次変更させながら、上述した処理（Ｓ２０、Ｓ１３〜Ｓ１９、Ｓ２１）が繰り返し実行される。
【０１４４】
そのような処理の過程で、上記式［数２５］にて表される条件が満足されたと判定されると（Ｓ１５でＹ）、出力バッファに格納されたその画素ｐijに対する復元画素値Ｘij（ｎ）が収束しているとして、その画素ｐijに対応するフラグFlag（i,j）が「１」に設定される（Ｓ２３）。以後、上述した処理（Ｓ１８〜Ｓ２０、Ｓ１３〜Ｓ１７、Ｓ１８、Ｓ２１、Ｓ２２）が繰り返し実行される。その過程で、上記式［数２５］にて表される条件が満足されたと判定される毎に（Ｓ１５でＹ）、その画素ｐijに対応したフラグFlag（i,j）が「１」にセットされる。
【０１４５】
そして、処理対象となる全ての画素の各フラグFlag（i,j）が「１」となっていると判定されると（Ｓ２１でＹ）、即ち、処理対象となる全ての画素の復元画素値が収束したと見なされると、当該エッジ平滑化画像のエッジ部分の先鋭化処理が終了する。その時点で、そのすべての画素に対する復元画素値Ｘが出力バッファに保存された状態になる。
【０１４６】
上述したような、原画像のエッジ部分の平滑化処理、及びその平滑化処理にて得られたエッジ平滑化画像のエッジ部分の先鋭化処理によれば、上記式［数１９］に従った各画素の平滑化の度合いに係わらず、上述したような繰り返し演算によって、比較的高い精度で復元画素値を得ることができるようになる。また、エッジ復元（先鋭化）の過程におけるパラメータを適切に設定することにより、上記繰り返し演算におけるその繰り返し回数を低減することができ、結果としてその処理時間を短縮することができる。
【０１４７】
更に、画像符号化装置１０及び画像復号装置２０の他の構成例を説明する。
【０１４８】
図１５に示す画像伝送システムでは、動画像の符号化及び復号が行われる。従って、上述した例（図３参照）にて述べた画像符号化装置１０におけるJPEG符号化部１５及び画像復号装置２０におけるJPEG復号部２２のそれぞれに代えて、MPEG-4映像符号化部１６及びMPEG-4映像復号部２５が用いられる。
【０１４９】
画像符号化装置１０では、入力画像に対するエッジ平滑処理にて得られたエッジ平滑画像のフレーム画像が、MPEG-4映像符号化部１６にてMPEG-4の標準方式に従って映像圧縮符号化される。その結果、MPEG-4符号が符号化情報として得られる。
【０１５０】
画像復号装置２０では、MPEG-4符号が、MPEG-4映像復号部２５にてフレーム画像単位に復号される。これら各フレーム復号画像のそれぞれに対して、対応するエッジ情報を用いてエッジ先鋭化部２４がエッジ先鋭化処理を施す。それにより、画像復号装置２０から原画像（動画像）に対応した動画像出力が得られる。
【０１５１】
図１６に示す画像伝送システムでは、動画像の符号化及び復号が行われる。だだし、上述した例（図１５参照）にて述べた画像符号化装置１０にてエッジ情報の符号化を行うJBIG符号化部１２及び画像復号装置２０にて符号化エッジ情報を復号するJBIG復号部２１のそれぞれに代えて、MPEG-4形状符号化部１７及びMPEG-4形状復号部２６が用いられる。
【０１５２】
画像符号化装置１０において、エッジ情報がMPEG-4形状符号化部１７にて無歪み圧縮符号化される。これにより、エッジ画像は個々のフレームに閉じた符号化ではなく、時間方向のフレーム間相関も利用して圧縮できるので、エッジ情報自体の圧縮効率を高めることができる。更に、MPEG-4形状符号化部１７の出力（符号化エッジ情報）は、MPEG-4コアプロファイルのBINARY ONLY符号化モードによって、二値画像データのみの符号（MPEG-4形状符号）とすることができる。そして、MPEG-4コアプロファイルに準拠した復号部（MPEG-4形状復号部２６及びMPEG-4映像復号部２５）を備えるだけで、MPEG-4形状符号に対する処理（距離変換した後に、エッジ先鋭化に利用する）の機能を備えるだけで所望の動作を行う画像復号装置２０を構成することができる。
【０１５３】
なお、上述した各例では、画像復号装置２０は、画像符号化装置１０から伝送される復号エッジ情報及びエッジ平滑化画像の濃淡情報を符号化して得られた符号化濃淡情報を復号するものであったが、上記各符号化情報は、ＭＯ（光磁気ディスク）などの記録媒体にて画像復号装置２０に提供されるものであってもよい。
【０１５４】
また、エッジ平滑化画像の濃淡情報を符号化して得られた符号化濃淡情報と符号化されていないエッジ情報を画像復号装置２０に提供するようにしてもよい。この場合、画像復号装置２０は、なんらかの手段（伝送路から受信、記録媒体から読み出しなど）にて取得したエッジ情報に基づいて、上記符号化濃淡情報を復号して得られたエッジ平滑化画像の濃淡情報に対して先鋭化処理を施して再生画像を得る。
【０１５５】
【発明の効果】
以上、説明したように、請求項１乃至７記載の本願発明によれば、原画像からエッジ部分を平滑化して得られるエッジ平滑化画像は、比較的高い空間周波数成分が少なくなり、標準符号化アルゴリズムに従って符号化しても、その符号化により欠落する情報が少なくなる。その結果、ＤＣＴを用いた標準符号化・復号方式をそのまま適用しても歪みの少ない復号画像を得られるようにした画像符号化・復号方法を実現することができるようになる。
【０１５６】
また、請求項８乃至２９記載の本願発明によれば、そのような画像符号化・復号方法に従って画像の符号化、復号を行う画像符号化装置及び画像復号装置を実現することができるようになる。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係る画像符号化装置での処理の原理を表す図である。
【図２】本発明の実施の一形態に係る画像復号装置での処理の原理を表す図である。
【図３】本発明の実施の一形態に係る画像符号化装置及び画像復号装置を含む画像伝送システムの構成例を示すブロック図である。
【図４】距離マップの一例を示す図である。
【図５】エッジ部分の近傍領域の一例を表す図である。
【図６】画像符号化装置のエッジ平滑化部での処理手順の一例を示すフローチャートである。
【図７】平滑化フィルタの一例を示す図である。
【図８】 平滑化フィルタ行列、単位行列のための行列の例を示す図である。
【図９】 重み演算のための行列の例を示す図である。
【図１０】平滑化処理における輝度補正の手法の一例を示す図である。
【図１１】平滑化フィルタの一例を示す図である。
【図１２】平滑化フィルタ行列の他の一例を示す図である。
【図１３】平滑化処理に用いられるマスク領域に一例を示す図である。
【図１４】エッジ平滑化画像のエッジ部分を復元（先鋭化）するための処理の一例を示すフローチャートである。
【図１５】画像符号化装置及び画像復号装置を含む画像伝送システムの他の構成例を示すブロック図である。
【図１６】画像符号化装置及び画像復号装置を含む画像伝送システムの更に構成例を示すブロック図である。
【符号の説明】
１０ 画像符号化装置
１１ エッジ検出部
１２ JBIG符号化部
１３ 距離変換部
１４ エッジ平滑化部
１５ JPEG符号化部
１６ MPEG-4映像符号化部
１７ MPEG-4形状符号化部
２０ 画像復号装置
２１ JBIG復号部
２２ JPEG復号部
２３ 距離変換部
２４ エッジ先鋭化部
２５ MPEG-4映像復号部
２６ MPEG-4形状復号部
Claims (19)
- 画像符号化装置が原画像を符号化して得られる符号化情報を画像復号装置に伝送し、その符号化情報を入力する画像復号装置がその符号化情報を復号して再生画像を得る際の画像符号化・復号方法において、
上記画像符号化装置は、
原画像からそのエッジ部分を表すエッジ情報を抽出する手順と、
該原画像のエッジ部分からの距離を求め、上記原画像を表す濃淡情報に対して、求められた距離に基づいて該原画像のエッジ部分の平滑化を行う処理を施してエッジ平滑化画像の濃淡情報を得る手順と、
抽出されたエッジ情報を第一の符号化アルゴリズムに従って符号化して符号化エッジ情報を得る手順と、
上記エッジ平滑化画像の濃淡情報を第二の符号化アルゴリズムに従って符号化して符号化濃淡情報を得る手順と
に従って得られた上記符号化エッジ情報と符号化濃淡情報を符号化情報として画像復号装置に伝送し、
上記画像復号装置は、
上記符号化エッジ情報を上記第一の符号化アルゴリズムに対応した第一の復号アルゴリズムに従って復号してエッジ情報を得る手順と、
上記濃淡情報を上記第二の符号化アルゴリズムに対応した第二の復号アルゴリズムに従って復号してエッジ平滑画像の濃淡情報を得る手順と、
上記エッジ平滑化画像の濃淡情報に対して、上記エッジ情報を用いてエッジ部分からの距離に基づいて該エッジ平滑化画像のエッジ部分を先鋭化するための処理を施す手順と
に従って該エッジ平滑化画像のエッジ部分が先鋭化された再生画像を得るようにした画像符号化・復号方法。 - 請求項１記載の画像符号化・復号方法において、
上記画像符号化装置にてなされる原画像のエッジ部分の平滑化を行う処理は、
原画像を画素毎に順次走査する過程で、上記原画像のエッジ部分またはそのエッジ部分から所定の距離内の所定近傍領域にある画素とその画素を中心とした所定数のブロック内の所定周囲領域の各画素にて構成されるブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記次数に対応した次数の正方行列であって、そのブロックの各画素の濃淡情報に平滑化のための各係数が作用するように当該係数が配列された平滑化正方行列とを用いて行列演算を行い、
上記原画像の画素毎の走査の過程で、上記行列演算手段にて得られるそのブロック内の各画素の濃淡情報を画素毎に重ね合わせて平滑化された後の各画素の濃淡情報を得るようにした画像符号化・復号方法。 - 請求項２記載の画像符号化・復号方法において、
上記画像復号装置にてなされるエッジ平滑化画像のエッジ部分を先鋭化する処理は、
上記エッジ平滑化画像を画素毎に走査する過程で、上記第一の復号アルゴリズムに従って得られたエッジ情報にて表されるエッジ部分またはその所定近傍領域にある画素とその上記所定周囲領域の画素にて構成される上記ブロックに対応するブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記平滑化正方行列の逆行列となる先鋭化正方行列とを用いた行列演算を行い、
上記エッジ平滑化画像の画素毎の走査の過程で、その行列演算手段にて得られるそのブロック内の各画素の濃淡情報を画素毎に重ね合わせて先鋭化された後の各画素の濃淡情報を得るようにした画像符号化・復号方法。 - 請求項１記載の画像符号化・復号方法において、
上記画像符号化装置にてなされる原画像のエッジ部分の平滑化を行う処理は、そのエッジ部分の画素の濃淡情報ｘと、その周辺画素の濃淡情報に基づいて定められるその画素の周辺の濃淡情報の平均値、トータル加算値又は所定の重みをつけた加算値を表す周辺濃淡情報Ｃとを用い、
- 請求項４記載の画像符号化・復号方法において、
上記画像復号装置にてなされるエッジ平滑化画像のエッジ部分を先鋭化する処理は、
上記エッジ平滑化画像のエッジ部分の画素の濃淡情報ｘ'と、その周辺画素の濃淡情報に基づいて定められるその画素の周辺の濃淡情報の平均値、トータル加算値又は所定の重みをつけた加算値を表す周辺濃淡情報とを用い、上記式［数１］から定式化される上記濃淡情報ｘ'と先鋭化後の濃淡情報との関係に基づいて定義される以下の関係式
におけるe(X)の値を最小にするＸの値を最急降下法に従った反復演算により求め、そのe(X)の値を最小とするＸの値を先鋭化後の濃淡情報とする画像符号化・復号方法。 - 請求項５記載の画像符号化・復号方法において、
上記最急降下法に従った処理では、繰り返しカウント値ｎを順次インクリメントする過程で、
- 原画像からそのエッジ部分を表すエッジ情報を抽出するエッジ抽出手段と、
該原画像のエッジ部分からの距離を求め、該原画像を表す濃淡情報に対して、求められた距離に基づいて該原画像のエッジ部分の平滑化を行う処理を施してエッジ平滑化画像の濃淡情報を得るエッジ平滑化手段と、
抽出されたエッジ情報を第一の符号化アルゴリズムに従って符号化して符号化エッジ情報を得る第一の符号化手段と、
上記エッジ平滑化手段にて得られたエッジ平滑化画像の濃淡情報を第二の符号化アルゴリズムに従って符号化して符号化濃淡情報を得る第二の符号化手段とを有し、
上記第一及び第二の符号化手段にて得られた上記符号化エッジ情報と符号化濃淡情報とを原画像の符号化情報とする画像符号化装置。 - 請求項７記載の画像符号化装置において、
上記エッジ平滑化手段は、
上記原画像のエッジ部分を含む所定ブロック毎に、そのブロックに含まれる各画素の濃淡情報を並べて得られる当該画素数に対応した次数のブロック濃淡情報ベクトルとの行列演算を行うべき正方行列であって、その行列演算によりそのブロックに含まれるエッジ部分及びそのエッジ部分から所定の距離内の所定近傍領域における各画素の濃淡情報に平滑化のための各係数が作用するように当該係数が配列された平滑化正方行列を生成する平滑化正方行列生成手段と、
該平滑化正方行列生成手段にて生成された平滑化正方行列と上記ブロック濃淡情報ベクトルとを用いた行列演算を行って平滑化された後における当該ブロック内の各画素の濃淡情報を求める行列演算手段とを有する画像符号化装置。 - 請求項７記載の画像符号化装置において、
上記エッジ平滑化手段は、
原画像を画素毎に順次走査する過程で各画素が該原画像のエッジ部分またはそのエッジ部分から所定の距離内の所定近傍領域にあるか否かを判定する画素判定手段と、
該画素判定手段にて画素が上記エッジ部分またはその所定近傍領域にあると判定されときに、その画素とその画素を中心とした所定数のブロック内の所定周囲領域の各画素にて構成されるブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記次数に対応した次数の正方行列であって、そのブロックの各画素の濃淡情報に平滑化のための各係数が作用するように当該係数が配列された平滑化正方行列とを用いた行列演算を行う行列演算手段と、
上記原画像の画素毎の走査の過程で、上記行列演算手段にて得られるそのブロック内の各画素の濃淡情報を画素毎に重ね合わせて平滑化された後の各画素の濃淡情報を求める演算手段とを有する画像符号化装置。 - 請求項９記載の画像符号化装置において、
上記画素判定手段は、上記エッジ部分と各画素との距離を表す距離情報を生成する距離変換手段と、
該距離変換手段にて得られた各画素に対する距離情報が所定値以下であるか否かを判定する距離判定手段とを有し、
該距離判定手段にて距離情報が所定値以下であると判定されたときに、その距離情報に対応した画素が原画像のエッジ部分またはその所定近傍領域にあると判定するようにした画像符号化装置。 - 請求項７記載の画像符号化装置において、
上記エッジ平滑化手段は、
該原画像のエッジ部分の画素の濃淡情報ｘと、その周辺画素の濃淡情報に基づいて定められるその画素の周辺の濃淡情報の平均値、トータル加算値又は所定の重みをつけた加算値を表す周辺濃淡情報Ｃとを用い、
- 原画像のエッジ部分を表す符号化エッジ情報と、原画像のエッジ部分を平滑化したエッジ平滑化画像を表す符号化濃淡情報とを有する符号化情報を復号する画像復号装置において、
上記符号化エッジ情報を第一の復号アルゴリズムに従って復号して原画像のエッジ部分を表すエッジ情報を得る第一の復号手段と、
上記符号化濃淡情報を第二の復号アルゴリズムに従って復号してエッジ平滑化画像の濃淡情報を得る第二の復号手段と、
上記第二の復号手段にて得られたエッジ平滑化画像の濃淡情報に対して、上記第一の復号手段にて得られたエッジ情報を用いてエッジ部分からの距離に基づいて該エッジ平滑化画像のエッジ部分を先鋭化するための処理を施すエッジ先鋭化処理手段とを有し、
該エッジ先鋭化処理手段にて得られた濃淡情報によって表される再生画像を得るようにした画像復号装置。 - 請求項１２記載の画像復号装置において、
上記エッジ先鋭化処理手段は、
上記第二の復号手段にて得られた濃淡情報にて表されるエッジ平滑化画像の上記第一の復号手段にて得られたエッジ情報にて表されるエッジ部分を含む上記所定のブロック毎に、そのブロックに含まれる各画素の濃淡情報を並べて得られる当該画素数に対応した次数のブロック濃淡情報ベクトルと行列演算を行うべき正方行列であって、その行列演算によりそのブロックに含まれるエッジ部分及びそのエッジ部分から所定の距離内の所定近傍領域における各画素の濃度情報に先鋭化のための各係数が作用するように当該係数が配列された先鋭化正方行列を生成する先鋭化正方行列生成手段と、
該先鋭化正方行列生成手段にて生成された先鋭化正方行列と上記ブロック濃淡情報ベクトルとを用いた行列演算を行って先鋭化された後における当該ブロック内の各画素の濃淡情報を求める行列演算手段とを有する画像復号装置。 - 請求項１３記載の画像復号装置において、
上記第二の復号手段により処理すべき上記符号化濃淡情報が、原画像のエッジ部分を含む上記所定ブロック毎に、そのブロックに含まれる各画素の濃淡情報を並べて得られる当該画素数に対応した次数のブロック濃淡情報ベクトルとの行列演算を行うべき正方行列であって、その行列演算によりそのブロックに含まれるエッジ部分及びそのエッジ部分から所定の距離内の所定近傍領域における各画素の濃淡情報に平滑化のための係数が作用するように当該係数が配列された平滑正方行列と、上記ブロック濃淡情報ベクトルとを用いた行列演算を行って得られたエッジ平滑化画像の濃淡情報を上記第二の復号アルゴリズムに対応した符号化アルゴリズムに従って符号化して得られたものである場合、
上記先鋭化正方行列生成手段は、上記ブロックに含まれるエッジ部分の画素位置に基づいて上記平滑化正方行列の逆行列を上記先鋭化正方行列として生成するようにした画像復号装置。 - 請求項１２記載の画像復号装置において、
上記エッジ先鋭化処理手段は、
上記エッジ部分と各画素との距離を表す距離情報を生成する距離変換手段と、
該距離変換手段にて得られた各画素に対する距離情報が所定値以下であるか否かを判定する距離判定手段と、
上記第二の復号手段にて得られる濃淡情報にて表されるエッジ平滑化画像を画素毎に走査する過程で、該距離判定手段を用いて、各画素が上記第一の復号手段にて得られたエッジ情報にて表されるエッジ部分またはそのエッジ部分から所定の距離内の所定近傍領域にあるか否かを判定する画素判定手段と、
該画素判定手段にて画素が上記エッジ部分またはその所定近傍領域にあると判定されたときに、その画素とその画素を中心とした所定数のブロック内の所定周囲領域の画素にて構成されるブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記次数に対応した次数の正方行列であって、そのブロックの各画素の濃淡情報に先鋭化のための係数が作用するように当該係数が配列された先鋭化正方行列とを用いた行列演算を行う行列演算手段と、
上記エッジ平滑化画像の画素毎の走査の過程で、上記行列演算手段にて得られるそのブロック内の各画素の濃淡情報を画素毎に重ね合わせて先鋭化された後の各画素の濃淡情報を求める演算手段とを有する画像復号装置。 - 請求項１５記載の画像復号装置において、
上記第二の復号手段により処理すべき上記符号化濃淡情報が、原画像を画素毎に順次走査する過程で該原画像のエッジ部分またはその所定の近傍領域にあると判定された画素とその所定周囲領域の各画素にて構成される上記ブロックに対応するブロックに含まれた各画素の濃淡情報を並べて得られるその画素数に対応した次数のブロック濃淡情報ベクトルと、上記次数に対応した次数の正方行列であって、そのブロックの各画素の濃淡情報に平滑化のための各係数が作用するように当該係数が配列された平滑化正方行列とを用いた行列演算を行って得られるそのブロック内の各画素の濃淡情報を各画素毎に重ね合わせて平滑化された後の各画素の濃淡情報を求めることによって得られたエッジ平滑化画像の濃淡情報を上記第二の復号アルゴリズムに対応した符号化アルゴリズムに従って符号化して得られたものである場合、
上記先鋭化正方行列は、上記平滑化正方行列の逆行列に定められた画像復号装置。 - 請求項１２記載の画像復号装置において、
上記エッジ先鋭化処理手段は、
におけるe(X)の値を最小にするＸの値を最急降下法に従った反復演算により求め、そのe(X)の値を最小とするＸの値を先鋭化後の濃淡情報として各画素の濃淡情報を求めるようにした画像復号装置。 - 請求項１７記載の画像復号装置において、
上記エッジ先鋭化処理手段における上記最急降下法に従った処理では、繰り返しカウント値ｎを順次インクリメントする過程で、
- 画像の符号化情報を復号する画像復号装置において、
当該画像復号装置に提供される符号化エッジ情報を所定の復号アルゴリズムに従って復号して、上記画像のエッジ部分を表すエッジ情報を取得するエッジ情報取得手段と、
上記符号化情報を所定の復号アルゴリズムに従って復号して画像の濃淡情報を得る復号手段と、
該復号手段にて得られた画像の濃淡情報に対して、上記エッジ情報取得手段にて得られたエッジ情報にて表されるエッジ部分を、エッジ部分からの距離に基づいて先鋭化するための処理を施すエッジ先鋭化処理手段とを有し、
該エッジ先鋭化処理手段にて得られた濃淡情報によって表される再生画像を得るようにした画像復号装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001072904A JP4443784B2 (ja) | 2000-12-07 | 2001-03-14 | 画像符号化・復号方法、画像符号化装置及び画像復号装置 |
| EP20010310198 EP1213928B1 (en) | 2000-12-07 | 2001-12-05 | Image coding/decoding method, image coding apparatus and image decoding apparatus |
| US10/003,113 US7532762B2 (en) | 2000-12-07 | 2001-12-06 | Image coding/decoding method, image coding apparatus and image decoding apparatus for obtaining decoded images having small distortion in DCT based standard coding/decoding |
| CNB011396946A CN1180627C (zh) | 2000-12-07 | 2001-12-07 | 图像编码/解码方法,图像编码装置和图像解码装置 |
| US12/394,765 US20090161972A1 (en) | 2000-12-07 | 2009-02-27 | Image coding/decoding method, image coding apparatus and image decoding apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-373462 | 2000-12-07 | ||
| JP2000373462 | 2000-12-07 | ||
| JP2001072904A JP4443784B2 (ja) | 2000-12-07 | 2001-03-14 | 画像符号化・復号方法、画像符号化装置及び画像復号装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002238054A JP2002238054A (ja) | 2002-08-23 |
| JP4443784B2 true JP4443784B2 (ja) | 2010-03-31 |
Family
ID=26605459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001072904A Expired - Lifetime JP4443784B2 (ja) | 2000-12-07 | 2001-03-14 | 画像符号化・復号方法、画像符号化装置及び画像復号装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US7532762B2 (ja) |
| EP (1) | EP1213928B1 (ja) |
| JP (1) | JP4443784B2 (ja) |
| CN (1) | CN1180627C (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004017546A (ja) * | 2002-06-19 | 2004-01-22 | Ricoh Co Ltd | 画像形成装置、画像処理装置、プリンタドライバ及び画像処理方法 |
| JP4066803B2 (ja) * | 2002-12-18 | 2008-03-26 | 株式会社ニコン | 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ |
| JP4042563B2 (ja) | 2002-12-27 | 2008-02-06 | セイコーエプソン株式会社 | 画像ノイズの低減 |
| US7430339B2 (en) * | 2004-08-09 | 2008-09-30 | Microsoft Corporation | Border matting by dynamic programming |
| JP4154374B2 (ja) * | 2004-08-25 | 2008-09-24 | 株式会社日立ハイテクノロジーズ | パターンマッチング装置及びそれを用いた走査型電子顕微鏡 |
| KR100727316B1 (ko) * | 2005-06-01 | 2007-06-12 | 삼성전자주식회사 | 저밀도채리티체크 채널 디코딩 방법 및 장치 |
| JP2007312304A (ja) * | 2006-05-22 | 2007-11-29 | Fujitsu Ltd | 画像処理装置および画像処理方法 |
| US7848571B2 (en) * | 2006-06-26 | 2010-12-07 | Keystream Corporation | Computer-implemented method for efficient image segmentation using automated saddle-point detection |
| TWI332351B (en) * | 2006-10-05 | 2010-10-21 | Realtek Semiconductor Corp | Image processing method and device thereof for reduction mosquito noise |
| EP1962513A1 (en) | 2007-02-26 | 2008-08-27 | Vestel Elektronik Sanayi ve Ticaret A.S. | Methods and apparatus for processing of a digital image |
| KR101341096B1 (ko) * | 2007-09-12 | 2013-12-13 | 삼성전기주식회사 | 영상 복원 장치 및 방법 |
| JP4966893B2 (ja) * | 2008-03-13 | 2012-07-04 | 株式会社日立ハイテクノロジーズ | 一致度計算装置及び方法、プログラム |
| CN102957914B (zh) | 2008-05-23 | 2016-01-06 | 松下知识产权经营株式会社 | 图像解码装置、图像解码方法、图像编码装置、以及图像编码方法 |
| US8351734B2 (en) * | 2008-07-14 | 2013-01-08 | Sharp Kabushiki Kaisha | Video signal processing device and video display device |
| JP5147597B2 (ja) * | 2008-08-13 | 2013-02-20 | キヤノン株式会社 | 画像形成装置、画像形成方法およびプログラム |
| JP5099275B2 (ja) * | 2009-03-16 | 2012-12-19 | 株式会社ニコン | 画像をシャープにする為の順応型オーバーシュート制御 |
| WO2011040021A1 (ja) * | 2009-09-29 | 2011-04-07 | パナソニック株式会社 | 表示装置および表示方法 |
| US20110123121A1 (en) * | 2009-10-13 | 2011-05-26 | Sony Corporation | Method and system for reducing blocking artefacts in compressed images and video signals |
| JP4703759B2 (ja) * | 2009-11-27 | 2011-06-15 | 株式会社東芝 | 画像処理装置および同装置における画像処理方法 |
| US9083959B2 (en) * | 2013-02-20 | 2015-07-14 | Intel Corporation | Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video |
| KR101961385B1 (ko) * | 2014-07-07 | 2019-03-25 | 에이치에프아이 이노베이션 인크. | 인트라 블록 카피 검색 및 보상 범위의 방법 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4162482A (en) * | 1977-12-07 | 1979-07-24 | Burroughs Corporation | Pre-processing and feature extraction system for character recognition |
| USRE35414E (en) * | 1988-08-11 | 1996-12-31 | Mitsubishi Denki Kabushiki Kaisha | Picture coding and decoding apparatus using vector quantization |
| US5133020A (en) * | 1989-07-21 | 1992-07-21 | Arch Development Corporation | Automated method and system for the detection and classification of abnormal lesions and parenchymal distortions in digital medical images |
| JPH04501628A (ja) * | 1989-08-28 | 1992-03-19 | イーストマン・コダック・カンパニー | 重なり平面近似に基づいた計算機準拠式ディジタル画像雑音低減方法 |
| US5703965A (en) * | 1992-06-05 | 1997-12-30 | The Regents Of The University Of California | Image compression/decompression based on mathematical transform, reduction/expansion, and image sharpening |
| JP3466705B2 (ja) * | 1993-05-28 | 2003-11-17 | ゼロックス・コーポレーション | 圧縮画像の圧縮解除方法 |
| US5432870A (en) * | 1993-06-30 | 1995-07-11 | Ricoh Corporation | Method and apparatus for compressing and decompressing images of documents |
| US5453844A (en) * | 1993-07-21 | 1995-09-26 | The University Of Rochester | Image data coding and compression system utilizing controlled blurring |
| KR970003799B1 (ko) * | 1993-12-29 | 1997-03-21 | 양승택 | 영상 프레임차를 이용한 영상신호 전송장치 |
| US5426673A (en) * | 1994-02-09 | 1995-06-20 | The Regents Of The University Of California | Discrete cosine transform-based image coding and decoding method |
| JPH10503132A (ja) * | 1994-07-26 | 1998-03-24 | インターナショナル データ マトリックス インコーポレイテッド | 修正不可能な自己確認物品 |
| JPH08126003A (ja) | 1994-10-04 | 1996-05-17 | Texas Instr Inc <Ti> | 画像処理装置及びその方法 |
| IL114838A0 (en) * | 1995-08-04 | 1996-11-14 | Spiegel Ehud | Apparatus and method for object tracking |
| JPH09252468A (ja) * | 1996-03-15 | 1997-09-22 | Minolta Co Ltd | 画像圧縮装置 |
| JPH10118367A (ja) * | 1996-10-18 | 1998-05-12 | Brother Ind Ltd | 画像データ処理装置及び刺繍データ処理装置 |
| US6343158B1 (en) * | 1996-12-18 | 2002-01-29 | Fujitsu Limited | Apparatus for converting gray levels of an image, a method thereof, a program storage device thereof, and an infrared camera |
| GB2332117A (en) * | 1997-11-28 | 1999-06-09 | Martin Audio Ltd | Multidriver horn loudspeaker and loudspeaker systems |
| US6229578B1 (en) * | 1997-12-08 | 2001-05-08 | Intel Corporation | Edge-detection based noise removal algorithm |
| US6363526B1 (en) * | 1998-04-03 | 2002-03-26 | Ultimatte Corporation | Edge enhancement correction for improved image quality |
| US6330371B1 (en) * | 1998-10-19 | 2001-12-11 | Raytheon Company | Adaptive non-uniformity compensation using feedforward shunting and min-mean filter |
| US6788824B1 (en) * | 2000-09-29 | 2004-09-07 | Adobe Systems Incorporated | Creating image-sharpening profiles |
| US7474337B1 (en) * | 2000-10-24 | 2009-01-06 | Sony Corporation | Method and apparatus to provide edge enhancements as part of a demosaicing process |
-
2001
- 2001-03-14 JP JP2001072904A patent/JP4443784B2/ja not_active Expired - Lifetime
- 2001-12-05 EP EP20010310198 patent/EP1213928B1/en not_active Expired - Lifetime
- 2001-12-06 US US10/003,113 patent/US7532762B2/en not_active Expired - Lifetime
- 2001-12-07 CN CNB011396946A patent/CN1180627C/zh not_active Expired - Lifetime
-
2009
- 2009-02-27 US US12/394,765 patent/US20090161972A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20090161972A1 (en) | 2009-06-25 |
| US20020102029A1 (en) | 2002-08-01 |
| CN1180627C (zh) | 2004-12-15 |
| EP1213928A3 (en) | 2008-07-30 |
| CN1358028A (zh) | 2002-07-10 |
| US7532762B2 (en) | 2009-05-12 |
| JP2002238054A (ja) | 2002-08-23 |
| EP1213928B1 (en) | 2013-06-05 |
| EP1213928A2 (en) | 2002-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4443784B2 (ja) | 画像符号化・復号方法、画像符号化装置及び画像復号装置 | |
| EP0482180B1 (en) | Block adaptive linear predictive coding with adaptive gain and bias | |
| JP4365957B2 (ja) | 画像処理方法及びその装置及び記憶媒体 | |
| JP2794281B2 (ja) | デイザ信号の符号復号処理装置 | |
| JPH06177777A (ja) | 適応型ダイナミックレンジ符号化装置 | |
| US20020186770A1 (en) | Color video codec method and system | |
| JP3119371B2 (ja) | 画像処理方法 | |
| JP3105335B2 (ja) | 画像の直交変換符号化による圧縮・伸張方法 | |
| JP2004528791A (ja) | インターフレーム符号化方法および装置 | |
| JPH04144485A (ja) | 画像処理装置 | |
| Ekstrand | Lossless compression of grayscale images via context tree weighting | |
| JPH0951504A (ja) | 画像符号化装置及び画像復号化装置 | |
| US20060147120A1 (en) | Image processing method for facilitating data transmission | |
| JPH08204971A (ja) | 予測符号化と誤差拡散を用いた画像圧縮方法 | |
| JPH06178122A (ja) | カラー画像の適応符号化装置 | |
| JP3108526B2 (ja) | 画像の量子化とその符号化方法 | |
| JPH10271497A (ja) | 画像処理装置 | |
| JP2942243B2 (ja) | 画像符号化装置及びその方法 | |
| JP4494554B2 (ja) | 試験画像生成装置、試験画像生成方法及びパラメタ決定方法 | |
| JPH05183755A (ja) | データ圧縮装置及びデータ伸張装置 | |
| JP3958033B2 (ja) | 動画像情報の圧縮方法およびそのシステム | |
| JP2584854B2 (ja) | 画像符号化方法 | |
| 古川功 et al. | Visual Quality Balancing between Enhanced High-resolution and OrdinaryJPEG-decoded Images in Steganographic Image Compression System | |
| JP2698641B2 (ja) | カラー画像データ符号化方法及び複号方法 | |
| JP2001177848A (ja) | 画像データ符号化方法、その装置、画像データ復号方法、その装置および画像圧縮伸長方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070222 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070406 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091210 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100113 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4443784 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140122 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |