JP3634345B2 - 画像符号化方法及び画像符号化装置 - Google Patents

Description

【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術
発明が解決しようとする課題（図１３〜図１７）
課題を解決するための手段（図１、図３、図５、図１０）
作用（図１、図３、図５、図１０）
実施例（図１〜図１２）
（１）３ＣＣのエンコード及びデコード処理手順（図１及び図２）
（２）第１実施例のテクスチヤ符号化処理手順（図３〜図７）
（３）第２実施例のテクスチヤ符号化処理手順（図８〜図１２）
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像符号化方法及び画像符号化装置に関し、特に画像を限られた伝送容量の伝送媒体で伝送したりテープレコーダ等へ記録し及び再生するために、画像中の物体の輪郭線を重点的に保存する高能率符号化方法を用いる場合の大局的輝度信号の再生に適用し得る。
【０００３】
【従来の技術】
従来、画像信号の高能率符号化方法は、画像信号の持つ相関の高さを利用して冗長性を削減するものであり、画像信号の伝送や記録の際に必要不可欠なものである。従来の画像信号の高能率符号化方法として、予測符号化のような画像を画素単位に扱う符号化方法や、離散コサイン変換（ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ））に代表される直交変換符号化やウエーブレツト変換のようなサブバンド符号化等が存在する。
【０００４】
予測符号化は、代表的な手法としてフレーム内ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）等があり、原画素と復号化した近傍画素の差分を量子化して符号化するものである。このような予測符号化方法は、必要な圧縮率が１／２〜１／４程度とそれほど高くない場合には有効であるが、それ以上の高圧縮率符号化には適さない。一方、直交変換符号化やサブバンド符号化は、圧縮率が１／１０以上と高い場合に用いられており、現在はＤＣＴを用いた符号化方法が一般的に多く用いられている。これはＤＣＴが高速アルゴリズムを有し、ハード化が容易である等の理由によるものであり、国際標準（ＪＰＥＧ、ＭＰＥＧ）にも採用されている。
【０００５】
ＤＣＴを用いた画像信号符号化方法の基本原理は、画像信号の低周波成分の電力がきわめて大きいという特徴を利用し、ＤＣＴによつて求められた画像信号の周波数成分を量子化する際に、低周波成分の量子化ステツプサイズは小さく、高周波成分のステツプサイズは大きくすることによつて、全体として情報量を圧縮する方法である。しかし量子化を行うことによつてブロツク歪みとモスキート雑音が生じてしまうという問題があり、特にマクロブロツクを単位とした処理であることに起因するブロツク歪みは、符号化速度が低い場合に顕著になる。このため、超低ビツトレートの画像符号化を行うためには新たな高能率符号化方法が必要である。
【０００６】
【発明が解決しようとする課題】
そこで超低ビツトレートでの伝送や記録を目的とした画像符号化方法として、人間の視覚特性が物体の輪郭線に特に敏感であるということを考慮し、原画像中の輪郭線部分を重点的に保存することにより、低ビツトレートでも視覚的に優れた復元性を実現しようとする方法が提案されている。このような原画像中の輪郭線部分を重点的に保存する画像信号符号化方法においては、いかに効率良く物体の輪郭線を抽出するかが重要になる。
【０００７】
原画像から輪郭線部分を抽出するエツジ領域抽出手順を図１３に示す。すなわち入力される原画像の画像信号ＡＤ０は、ソーベルフイルタ等のエツジ検出オペレータを用いてエツジ抽出を行うエツジ強度算出処理部ＡＰ１、ＡＰ２に入力され、この結果エツジ強度信号ＡＤ１、ＡＤ２を得る。このエツジ強度算出処理部ＡＰ１、ＡＰ２では、図１４に示す３×３のタツプ係数のソーベルフイルタが用いられ、それぞれ水平方向のエツジ強度を示すエツジ強度信号ＡＤ１と、垂直方向のエツジ強度を示すエツジ強度信号ＡＤ２を求める。
【０００８】
このエツジ強度信号ＡＤ１、ＡＤ２は、注目画素のエツジ強度の絶対値和を得るため、それぞれ乗算器ＡＰ４、ＡＰ５において自乗され、水平方向のエツジ強度信号電力ＡＤ４、垂直方向のエツジ強度信号電力ＡＤ５となる。次に水平方向のエツジ強度信号電力ＡＤ４と垂直方向のエツジ強度信号電力ＡＤ５は、加算器ＡＰ７によつて加算され注目画素のエツジ強度を示す信号ＡＤ７を得る。
【０００９】
ここで、物体の輪郭や物体間の境界線などのエツジ領域と、テクスチヤ内のエツジ領域の特性の違いを考慮に入れた場合、エツジ領域とテクスチヤ領域を分離するための特徴量として、局所的な階調値の変化特性と、大局的な変化特性を示す指標値を用いる手法が有効である。
【００１０】
そこでまず、階調値の局所的な変化特性を表す特徴量として、エツジ領域か否かを判定する際に用いる重要な特徴量として注目画素のエツジ強度がある。またその他に、物体の輪郭や物体間の境界とテクスチヤ領域内のエツジの特性の違いとして、注目画素周辺の空間周波数の変化が上げられ、ハイパスフイルタ（ＨＰＦ）等の出力値が用いられる。このエツジ領域抽出に用いるハイパスフイルタとしては、図１４に上述した３×３のソーベルフイルタなどがあるが、この他に５×５、７×７等、タツプ数やタツプ係数が異なるフイルタも適用できる。
【００１１】
また大局的な特性を表す特徴量として、局所的な変化特性を表す特徴量であるハイパスフイルタの出力値の一定領域内における平均値などを用いる。そこで、このような大局的な変化特性を示す特徴量を求める際に必要な局所的特徴量を得るためのマスク領域を、注目領域周辺に設定する。このマスク領域の種類として、図１５に示されるような窓領域がある。このマスク領域ＭＳＫ１、ＭＳＫ２は、注目画素ＰＬが持つエツジ強度の法線方向にある注目画素ＰＬを境とする注目画素ＰＬの両側の１次元の領域であり、片側の１次元の領域をそれぞれ第１、第２のマスク領域ＭＳＫ１、ＭＳＫ２とする。これはエツジ領域を境界として大きく変わる階調値の変化を、エツジの両側の特徴量の関係から得ようとするものである。
【００１２】
このような各種の特徴量を用いたエツジ領域抽出のためのしきい値決定の処理手順は、図１３において、処理部ＡＰ３、ＡＰ６、ＡＰ８を用いて表される。まず原画像の画素信号ＡＤ０が、フイルタリング処理部ＡＰ３に入力されて得られる出力信号ＡＤ３を、マスク領域設定処理部ＡＰ６に入力する。ここで設定されたマスク領域内から求められる特徴量ＡＤ６を算出し、しきい値決定処理部ＡＰ８において、エツジ強度を示す信号ＡＤ７と特徴量ＡＤ６をパラメータとするしきい値関数Ｆ（）に応じて、しきい値ＡＤ８が求められる。
【００１３】
なお関数Ｆ（）は、テクスチヤ領域とエツジ領域を分離するために最適だと思われるしきい値を取れるように、シミユレーシヨンによつて決定される。しきい値決定処理部ＡＰ８において用いられるしきい値関数の例を、図９に示す。しきい値関数の例として、図１６に示されるような注目画素のエツジ強度Ｅと２つのマスク領域内の平均値Ｍ_１ 、Ｍ_２ の関係を示す関数Ｆ_１ （）が用いられる。しきい値関数Ｆ_１ （）は、次式
【数１】

で示され、マスク領域内の平均値Ｍ_１ 、Ｍ_２ の値により、しきい値Ｔとなるエツジ強度Ｅが得られる。
【００１４】
しきい値が決定された後、エツジ強度を示す信号ＡＤ７としきい値決定処理部ＡＰ８から出力されるしきい値信号ＡＤ８を比較器ＡＰ９に入力することによつて、注目画素がテクスチヤ領域かエツジ領域かを判断する。比較器ＡＰ９からの出力信号ＡＤ９として、注目領域がテクスチヤ領域のとき「０」を、エツジ領域のとき「１」を得る。従つて、比較器ＡＰ９からの出力信号ＡＤ９を各画素の画素値として得られる画像は、エツジ領域抽出によつて抽出されたエツジ領域を示す画像であり、以下これをマスク画像と呼ぶ。さらに輝度変化の少ない領域においても、物体間の輪郭や物体間の境界を抽出するために、輝度信号だけでなく色差信号からもエツジ情報を求めて合成するエツジ分離方法が用いられている。
【００１５】
このようにして得られたエツジ画像には、原画像中の物体の輪郭や境界線等の大局的な特徴が含まれているが、階調値の小さな変化等の情報はほとんど含まれていない。そこで原画像とエツジ画像の差分画像を、物体の模様等の階調値の微細な変化等を含む情報として、再構成後のエツジ画像に加える必要がある。原画像とエツジ画像の差分画像を、テクスチヤ画像と呼び、再構成後のエツジ画像に加えることにより、芝生や森の微妙な凹凸を再現できるようにする。
【００１６】
従来のテクスチヤ画像の符号化処理手順を、図１７に示す。原画像とエツジ画像の差分画像信号ＢＤ０は、テクスチヤ画像信号として直交変換処理部（ＤＣＴ）ＢＰ１に入力され、直交変換係数信号ＢＤ１となる。この際直交変換としてＤＣＴ又はＨａａｒ変換を用いて、画像全体に対してマクロブロツク毎に変換を行う。この直交変換係数信号ＢＤ１は、量子化処理部ＢＰ２に入力され量子化代表値信号ＢＤ２に変換された後、可変長符号化処理部（ＶＬＣ）ＢＰ３において符号化テクスチヤ信号ＢＤ３に変換される。
【００１７】
符号化テクスチヤ信号ＢＤ３は、ビツトレート調整用のバツフアＢＰ４において一旦保持された後、原画像全体に対する符号化テクスチヤ画像信号ＢＤ４として出力される。その際、量子化処理部ＢＰ２に符号化テクスチヤ信号ＢＤ４はフイードバツクされ、ビツトレート調整のために量子化ステツプを変化させる。このように従来の方式で伝送されるテクスチヤ情報は、原画像とエツジ画像の差分画像全体に対して、ＤＣＴやＨａａｒ変換等の直交変換を行つて得られる直交変換係数を量子化した後に、ハフマン符号化などの統計的特徴量を用いたエントロピー符号化を用いて情報量の削減を行う方法が用いられている。
【００１８】
このように超低ビツトレートにおける画像信号符号化を行う際に、原画像の輪郭線を重点的に保存する符号化方法を用いる場合、原画像中の重要な輪郭線を抽出することによつて得られるエツジ画像は、原画像中の階調値の細かい変化を含んでいない。そこで原画像とエツジ画像の差分画像をテクスチヤ画像とし、エツジ画像とは別に符号化を行い、再構成する際にエツジ画像に加えることにより、原画像中の細かな変化を再現できるようにしている。
【００１９】
ところが従来のテクスチヤ画像符号化方法は、原画像の全面に対するテクスチヤ画像を直交変換し、一様な量子化ステツプで量子化するため、符号化後のエツジ情報とテクスチヤ情報を併せた場合、テクスチヤ情報の割合が大きくなり圧縮率を上げることが困難となつていた。このため復元画像の画質をできるだけ損なわずに符号化後のテクスチヤ情報のデータ量を削減する必要が生じた。
【００２０】
本発明は以上の点を考慮してなされたもので、原画像をエツジ情報とテクスチヤ情報に分離し符号化する際、復元画像の画質をできるだけ損なわず符号化後のテクスチヤ情報のデータ量を削減し得る画像符号化方法及び画像符号化装置を提案しようとするものである。
【００２１】
【課題を解決するための手段】
かかる課題を解決するため本発明は、原画像をエツジ情報とテクスチヤ情報に分離し、符号化する画像符号化方法において、テクスチヤ画像を第１の領域ごとに直交変換された結果得られるテクスチヤ画像の直交変換係数を、各第１の領域それぞれについて、複数の第２の領域に分割する（全ての第２の領域が単一の直交変換係数からなる分割を除く）第１のステツプと、分割した各第２の領域における直交変換係数のうち、最大の直交変換係数又は最大から降順に所定個数の直交変換係数を選択する第２のステツプと、選択した直交変換係数のうち、閾値よりも小さい直交変換係数を一定値として符号化する第３のステツプとを設けるようにした。
【００２２】
また本発明は、原画像をエツジ情報とテクスチヤ情報に分離し、符号化する画像符号化装置において、テクスチヤ画像を第１の領域ごとに直交変換された結果得られるテクスチヤ画像の直交変換係数を、各第１の領域それぞれについて、複数の第２の領域に分割する（全ての第２の領域が単一の直交変換係数となる分割を除く）分割手段と、分割手段により分割された各第２の領域における直交変換係数のうち、最大の直交変換係数又は最大から降順に所定個数の直交変換係数を選択する選択手段と、選択手段により選択された直交変換係数のうち、閾値よりも小さい直交変換係数を一定値として符号化する符号化手段とを設けるようにした。
【００２９】
【作用】
テクスチヤ画像（ＣＤ４（ＥＤ０、ＦＤ０））の符号化を行う際にテクスチヤ画像（ＥＤ０、ＦＤ０）を直交変換して得られる直交変換係数（ＥＤ１、ＦＤ１）を全て符号化するのではなく、ある一定の領域又は代表的な係数（ＥＤ７、ＦＤ７）のみを符号化することにより、従来の手法を用いた場合より符号化後のテクスチヤ情報のデータ量を削減でき、同一のデータ量においても視覚的に優れた再構成画像を得ることができる。
【００３１】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００３２】
（１）３ＣＣのエンコード及びデコード処理手順
図１〜図１２に本発明の実施例を説明する。本発明は原画像のエツジ情報を取り除いたテクスチヤ情報を符号化する手法であり、超低ビツトレートにおける画像符号化方法の一部として用いる。この実施例においては、原画像からエツジ情報を取り除いたテクスチヤ情報の符号化について示す。物体の輪郭線の保存に重点を置いた画像符号化方法の代表的なものとして、３ＣＣ（３ Ｃｏｍｐｏｎｅｎｔ Ｃｏｄｉｎｇ）がある。３ＣＣとは原画像を画像のもつ視覚的重要度に応じて局所輝度情報、エツジ情報及びテクスチヤ情報に分割し、それぞれ情報の重要度に応じて符号化を行うものである。３ＣＣのエンコード処理手順を図１に、デコード処理手順を図２に示す。
【００３３】
３ＣＣのエンコード処理は、図１において、まず入力画像信号ＣＤ０から画像の大局的な輝度情報を表す局所輝度（Ｌｏｃａｌ Ｌｕｍｉｎａｎｃｅ ）成分を求めて符号化する局所輝度発生及び符号化処理部ＣＰ１から出力される局所輝度信号ＣＤ１と、画像の輪郭線すなわちエツジ情報（Ｅｄｇｅ Ｉｎｆｏｒｍａｔｏｉｎ）部分を抽出して符号化するエツジ情報検出及び符号化処理部ＣＰ２から出力されるエツジ情報信号ＣＤ２をそれぞれ得る。さらに局所輝度信号ＣＤ１とエツジ情報信号ＣＤ２から、エツジ画像を再構成するエツジ情報復号化及び再構成処理部ＣＰ３において得られた再構成エツジ画像信号ＣＤ３と、入力画像信号ＣＤ０との差分を求めることによりテクスチヤ画像信号ＣＤ４を得る。テクスチヤ画像信号ＣＤ４は、エントロピー符号化を行うテクスチヤ情報符号化処理部ＣＰ４によつて符号化され出力信号ＣＤ５となる。従つて入力画像信号ＣＤ０は最終的に、符号化されたＬＬ信号ＣＤ１、符号化されたエツジ情報信号ＣＤ２及び符号化されたテクスチヤ信号ＣＤ５に変換される。
【００３４】
一方３ＣＣのデコード処理は、図２において、まず符号化された局所輝度信号ＤＤ１が、局所輝度復号化及び再構成処理部ＤＰ１に入力され、復元された信号ＤＤ４を得る。符号化されたエツジ情報信号ＤＤ２と局所輝度を復元した信号ＤＤ４をエツジ情報復号化及び再構成処理部ＤＰ２に入力することにより、エツジ再構成画像信号ＤＤ５を得る。また符号化されたテクスチヤ信号ＤＤ３もテクスチヤ情報復号化処理部ＤＰ３において復号化され、テクスチヤ画像信号ＤＤ６となる。最後にエツジ再構成画像信号ＤＤ５とテクスチヤ画像信号ＤＤ６を加算することにより再構成画像信号ＤＤ７を得る。
【００３５】
従つて３ＣＣではエンコード処理手順中のテクスチヤ画像の符号化処理過程ＣＰ４において、図１７について上述した処理過程ＢＰ１〜ＢＰ４に相当するテクスチヤ画像の直交変換処理と、エントロピー符号化処理を行つている。３ＣＣでは、物体の輪郭線の保存に重点をおいて画像の符号化を行つており、輪郭線等の画像情報の大部分は、局所輝度信号ＣＤ１とエツジ情報信号ＣＤ２に含まれている。
【００３６】
しかし画像中の細かな模様等の高周波成分は、テクスチヤ画像信号ＣＤ４に含まれているため、再構成後の画質を向上させるには、テクスチヤ画像の情報が必要であり、テクスチヤ画像中の重要な情報を効率良く符号化する手法が必要となる。従来の手法のように、テクスチヤ画像の直交変換係数を全て符号化した場合、再構成画像においてそれほど重要ではない情報も一様に含まれてしまい、一定の画質を得る際に必要以上のデータ量を必要としてしまう。
この実施例では、再構成画像の画質を判定する上で、テクスチヤ画像の直交変換係数の内、重要でないと思われる係数、または符号化効率を悪化させると思われる係数を削除することにより、符号化後のデータ量を削減する。
【００３７】
（２）第１実施例のテクスチヤ符号化処理手順
（２−１）直交変換領域選択符号化
この実施例では、再構成画像の画質を判定する上で、テクスチヤ画像の直交変換係数の内、重要でないと思われる係数、または符号化効率を悪化させると思われる係数を削除することにより、符号化後のデータ量を削減する。このテクスチヤ符号化処理手順について、図３〜図７を用いて説明する。テクスチヤ符号化処理手順として、まず直交変換領域選択による符号化処理手順を図３及び図４に示す。この手法は直交変換して得られる係数をいくつかの領域に分割し、再構成画像の画質に重要だと思われる領域内の係数を保存し、その他の係数を「０」に置き換えることにより、エントロピー符号化の際のゼロランを増やし、符号化後のデータ量を削減するものである。
【００３８】
図３のテクスチヤ画像符号化処理において、入力信号としてテクスチヤ画像信号ＥＤ０の他に、伝送する直交変換係数領域を判別するためのしきい値信号ＥＤ５を用いる。まずテクスチヤ画像信号ＥＤ０は直交変換処理部（ＤＣＴ）ＥＰ１に入力され、直交変換係数信号ＥＤ１となる。直交変換信号ＥＤ１は、量子化処理部ＥＰ２に入力され量子化代表値信号ＥＤ２に変換された後、領域分割処理部ＥＰ３において複数の領域に分割される。ここで図４（Ａ）に８×８のマクロブロツク単位でテクスチヤ画素をＤＣＴして得られた直交変換係数を示す。このとき図４（Ａ）中の太線で区切られた領域のように、領域分割処理部ＥＰ３において直交変換係数が分割される。
【００３９】
各領域内の直交変換係数信号ＥＤ３は、各領域内毎の特徴量算出のため特徴量算出処理部ＥＰ４に入力され特徴量ＥＤ４を得る。特徴量ＥＤ４としきい値信号ＥＤ５は比較器ＥＰ５に入力され、特徴量ＥＤ４がしきい値信号ＥＤ５より大きい場合、判定信号ＥＤ６として「１」を出力し、小さい場合は「０」を出力する。図４（Ａ）に示される信号に対して、特徴量として各領域内の係数の平均値を用いしきい値信号ＥＤ５を「１０」として処理した場合、比較器ＥＰ５において判定信号ＥＤ６が「１」となつた領域は、斜線で示される領域となる。
【００４０】
次に判定信号ＥＤ６は領域内直交変換係数信号ＥＤ３と共に、乗算回路（ＭＵＸ）ＥＰ６に入力され、判定信号ＥＤ６が「１」を示す部分のみの係数を保持し、その他の領域の係数は全て「０」を持つ直交変換係数信号ＥＤ７となる。図４（Ａ）中の信号に対する直交変換係数信号ＥＤ７を図４（Ｂ）に示す。最後に直交変換係数信号ＥＤ７は、可変長符号化処理部（ＶＬＣ）ＥＰ７に入力され符号化係数信号ＥＤ８となる。
【００４１】
このとき直交変換係数信号ＥＤ７には、係数「０」が多く含まれており符号化する際にゼロランを長く取れるため、圧縮率を高めることができる一方で、逆直交変換の際に必要な、主要な係数部分を保持しているため、画質の劣化を最小限に止めることができる。さらに直交変換係数信号ＥＤ７は、最終的にビツトレート調整用のバツフアＥＰ８において一旦保持された後、マクロブロツク全体に対する符号化係数信号ＥＤ９となる。なおビツトレート調整用のために、符号化係数信号ＥＤ９は量子化処理部ＥＰ２にフイードバツクされ、量子化ステツプを変化させる。
【００４２】
（２−２）直交変換係数選択符号化
次にテクスチヤ符号化処理手順として、直交変換係数選択により符号化処理手順にを図５及び図６に示す。この手法は直交変換して得られる係数をいくつかの領域に分割し、その領域内において特定の条件を満たす係数のみを保存し、その他の係数を「０」に置き換えることにより、エントロピー符号化の際のゼロランを増やし、符号化後のデータ量を削減するものである。そこで用いる特定の条件とは、領域内の最大値、Ｎランク、最小値、平均値以上等種々の条件がある。
【００４３】
図５のテクスチヤ画像符号化処理において、入力信号としてテクスチヤ画像信号ＦＤ０の他に、伝送する直交変換係数の個数を決定するためのしきい値信号ＦＤ５を用いる。まずテクスチヤ画像信号ＦＤ０は直交変換処理部（ＤＣＴ）ＦＰ１に入力され、直交変換係数信号ＦＤ１となる。直交変換信号ＦＤ１は量子化処理部ＦＰ２に入力され、量子化代表値信号ＦＤ２に変換された後、領域分割処理部ＦＰ３において複数の領域に分割される。ここで図６（Ａ）に８×８のマクロブロツク単位でテクスチヤ画素をＤＣＴして得られた直交変換係数を示す。このとき図６（Ａ）中の太線で囲んだように、領域分割処理部ＦＰ３において直交変換係数が分割される。
【００４４】
ここでは保存する係数の条件として、各領域内の最大値及び２番目の値をもつ係数を保存するものとする。そこで各領域内の直交変換係数信号ＦＤ３は、各領域内の係数の順位付けを行うために、直交変換係数ソート回路ＦＰ４に入力され、ソート済直交変換係数信号ＦＤ４を得る。ソート済直交変換係数信号ＦＤ４としきい値信号ＦＤ５は比較器ＦＰ５に入力され、ソート済直交変換係数信号ＦＤ４の順位がしきい値信号ＦＤ５より大きい場合、判定信号ＦＤ６として「１」を出力し、小さい場合は「０」を出力する。
【００４５】
図６（Ａ）に示される信号に対して、しきい値信号ＦＤ５を「２」として処理した場合、比較器ＦＰ５において判定信号ＦＤ６が「１」となる係数は、点線で丸く囲まれた部分になる。次に判定信号ＦＤ６は領域内直交変換係数信号ＦＤ３と共に乗算回路（ＭＵＸ）ＦＰ６に入力され、判定信号ＦＤ６が「１」を示す部分のみの係数を保持し、その他の領域の係数は全て「０」を持つ直交変換係数信号ＦＤ７となる。図６（Ａ）中の信号に対する直交変換係数信号ＦＤ７を、図６（Ｂ）に示す。最後に直交変換係数信号ＦＤ７は、可変長符号化処理部（ＶＬＣ）ＦＰ７に入力され符号化係数信号ＦＤ８となる。
【００４６】
このとき直交変換係数信号ＦＤ７には、係数「０」が多く含まれており符号化する際にゼロランを長く取るれるため、圧縮率を高めることができる一方で、逆直交変換の際に必要な主要な係数部分を保持しているため、画質の劣化を最小限に止めることができる。さらに直交変換係数信号ＦＤ７は、最終的にビツトレート調整用のバツフアＦＰ８において一旦保持された後、マクロブロツク全体に対する符号化係数信号ＦＤ９となる。この際ビツトレート調整用のために、符号化係数信号ＦＤ９は量子化処理部ＦＰ２にフイードバツクされ、量子化ステツプを変化させる。
【００４７】
（２−３）第１実施例の効果
このように上述した直交変換領域選択及び直交変換係数選択による符号化手順によれば、再構成後の画質をそれほど損なうことなく符号化後のテクスチヤ情報量を抑えることができ、より圧縮率を高めたり削減できたデータ量をエツジ情報に割り当てることにより、さらに再構成後の画質を高めることができる。またマクロブロツク内の直交変換係数を、複数の領域に分割するのではなく、単一の領域としてマクロブロツク内の全ての係数の中から、特定の係数のみを選択して保存するようにしても良い。
【００４８】
さらに直交変換領域選択による符号化に、図７に示すフイードバツク回路を加えることにより、テクスチヤ符号化後の発生情報量を調節することのできる符号化アルゴリズムを得ることができる。図７において発生情報量調節は、量子化処理部ＧＰ２による調節では不充分であると判断された場合に、出力テクスチヤ画像信号ＧＤ６を判定信号決定回路ＧＰ６に入力することにより、発生情報量の多い場合にはしきい値を下げ、発生情報量が少ない場合にはしきい値を上げることによつて行なわれる。なお図７に示されるフイードバツク回路は、図３に上述した直交変換領域選択符号化回路に対する回路であり、図５に上述した直交変換係数選択符号化回路においても同様に発生情報量により、しきい値を変化させることができる。
【００４９】
以上の構成によれば、テクスチヤ画像を符号化する際に、直交変換した後にエントロピー符号化を行いて得られた直交変換係数を複数の領域に分割し、その各領域内ごとの直交変換係数の内、最大値、Ｎランク等の特定の特徴を示す係数のみを符号化したり、特定の特徴を示す領域内の係数のみを符号化することにより、再構成後の画質をそれほど損なうことなく符号化後のテクスチヤ情報量を抑えることが出来、より圧縮率を高めたり削減できたデータ量をエツジ情報に割り当てることにより、さらに再構成後の画質を高めることが出来る。
【００５０】
（３）第２実施例のテクスチヤ符号化処理手順
ここで従来のように、テクスチヤ画像全体を符号化した場合、再構成画像においてそれほど重要ではない情報も一様に含まれてしまい、一定の画質を得る際に必要以上のデータ量を必要としてしまうおそれがある。そこで再構成画像の画質を判定する上で、テクスチヤ画像中で重要でないと思われる領域、または符号化効率を悪化させると思われる領域においてテクスチヤ情報を削除することにより、符号化後のデータ量を削減することができる。符号化効率を悪化させる領域としては、エツジ領域として抽出された領域の近傍が上げられる。
【００５１】
例えば図８（Ａ）に示すような階調値を持つ信号があつた場合、エツジ領域として、網掛けで示される画素が選ばれるとする。３ＣＣでは、エツジとして抽出された画素の画素値は保存され、その他の画素値は局所輝度信号成分として原画素の画素値をＬＰＦによつて平滑化した後、サンプリングして得られる画素値から復元される。エツジ画像の再構成処理において、エツジ画素の画素値と局所輝度信号から復元された画素値を、図８（Ｂ）において実線で示す。ただし、全ての原画素の画素値は点線で示されている。
【００５２】
このとき、エツジ画像を再構成する場合の手法としてデイフユージヨン（Ｄｉｆｆｕｓｉｏｎ ）処理を用いた場合、エツジ近辺の画素は周囲の画素値の影響を受けて原画素の値からずれやくすなるという問題がある。この結果、再構成後の画素値と原画素の画素値の誤差は図８（Ｃ）のようになり、エツジ周辺において誤差が大きくなることが分かる。また３ＣＣはエツジ符号化処理の段階でエツジ画素の画素値を量子化するため、エツジ画素自体の画素値に誤差が生じ、さらにエツジ画素周辺の誤差が増大することになる。このようにエツジ再構成画像ではエツジ領域の近傍において原画像との誤差が多いことから、直交変換後の係数が大きくなり、符号化後のテクスチヤ情報量の増大につながつている。
【００５３】
そこでこの実施例では、従来のようにテクスチヤ画像全体を符号化するのではなく、符号化する際に図９のようにエツジ領域近傍を取り除いて符号化する。図中実線はエツジ領域を示し、点線内の領域はエツジ領域から一定距離内のテクスチヤ領域を示す。このテクスチヤ画像の符号化処理方法では、点線内の領域のテクスチヤ情報を削除し、それ以外の領域のテクスチヤ情報のみを符号化する。
【００５４】
このテクスチヤ符号化手順について、図１０〜図１２を用いて説明する。まず第１のテクスチヤ画像領域限定による符号化処理手順を図１０に示す。このテクスチヤ画像の符号化処理において、入力信号としてテクスチヤ画像信号ＨＤ１の他に、エツジ画像信号ＨＤ２及びテクスチヤを削除する範囲を決定する距離信号ＨＤ３を用いる。まずテクスチヤ画像信号ＨＤ１はエツジ画像信号ＨＤ２と共に、２点間距離算出回路ＨＰ１に入力されテクスチヤ画像の各画素に対して、エツジ画素との最小距離を求める。注目画素とエツジ画素の最小距離信号ＨＤ４は、比較器ＨＰ２に入力され距離信号ＨＤ３と比較される。この際最小距離信号ＨＤ４が距離信号ＨＤ３より大きい場合は判定信号ＨＤ５として「１」を出力し、小さい場合は「０」を出力する。
【００５５】
次に判定信号ＨＤ５はテクスチヤ画像信号ＨＤ１と共に、バツフアＨＰ３に入力され、判定信号ＨＤ５が「１」の場合には出力画像信号ＨＤ６としてテクスチヤ画像の画素値を出力し、判定信号ＨＤ５が「０」の場合には出力画像信号ＨＤ６は「０」となり、この結果テクスチヤ画像情報が削除される。従つてテクスチヤ情報として符号化対象となるテクスチヤ領域は、最も近いエツジ画素からの距離が規定距離よりも大きい領域になる。出力画像信号ＨＤ６は、図１７に示されるテクスチヤ画像符号化処理回路に入力され、図１に示される３ＣＣ処理部中の符号化後テクスチヤ画像信号ＣＤ５となる。この回路を用いることにより、テクスチヤ画像中の比較的大きな値を持つ領域を削除できるため直交変換後の係数を小さくでき、エントロピー符号化の効率を上げることができる。
【００５６】
また第２のテクスチヤ画像の符号化処理は、上述のように符号化するテクスチヤ領域を限定するのではなく、直交変換を行う前に予めエツジからの距離に従つてテクスチヤ画像の各画素の階調値に重み付けし、直交変換後の係数が大きくならないようにする。テクスチヤ画像の各画素に対する重み付け係数を図１１に示す。この図において、横軸はエツジ画素からの距離を示し、縦軸は各画素に対する重み付け係数の値を示す。重み付け係数は値「０．０ 」〜「１．０ 」をとり、各画素に重み付け係数を掛けたものが符号化処理対象となるテクスチヤ画像の画素値となる。
【００５７】
上述した第１のテクスチヤ画像の符号化処理を重み付け係数で示すと、図１１（Ａ）となるのに対し、この第２の符号化処理では図１１（Ｂ）のように、エツジ画素からの距離に比例して重み付け係数を増加させる。これにより第１の場合に比較して第２の処理によつて得られる再構成後の画像が、テクスチヤ画像を付加する領域と付加しない領域の境が明瞭にならないという特徴がある。またこの第２の処理で用いられる重み付け係数を決定する関数は、図１１（Ｂ）のような一次関数だけでなく、２次関数やさらに高次の関数を適用しても良い。
【００５８】
このような符号化手順を用いることにより、再構成後の画質をそれほど損なうことなく符号化後のテクスチヤ情報量を抑えることが出来、より圧縮率を高めたり、削減できたデータ量をエツジ情報に割り当てることによりさらに再構成後の画質を高めることが出来る。
【００５９】
さらに上述したテクスチヤ画像領域限定による符号化処理に、図１２に示すフイードバツク回路を付加することにより、テクスチヤ符号化後の発生情報量を調節できる符号化アルゴリズムを実現できる。図１２において発生情報量の調節は出力テクスチヤ画像信号ＩＤ６を判定信号決定回路に入力することにより、発生情報量の多い場合には削除する範囲を広げ、発生情報量が少ない場合には削除する範囲を狭めることによつて行う。同様に上述の第２の符号化処理に発生情報量を調節するためのフイードバツク回路を加えたものでは、出力信号のデータ量により重み付け係数を決定する関数を変化させるようにしても良い。
【００６０】
以上の構成によれば、テクスチヤ画像を符号化する際に、テクスチヤ画像全体を符号化するのではなく、重要度に応じてテクスチヤ画像を符号化して保存する領域を限定したり、エツジ領域からの距離に応じてテクスチヤ情報に対する重み付け係数を変化させることにより、符号化後のデータ量の削減を行うことが出来る。
【００６１】
【発明の効果】
上述のように本発明によれば、テクスチヤ画像を第１の領域ごとに直交変換された結果得られるテクスチヤ画像の直交変換係数を、各第１の領域それぞれについて、複数の第２の領域に分割し（全ての第２の領域が単一の直交変換係数となる分割を除く）、当該分割した各第２の領域における直交変換係数のうち、最大の直交変換係数又は最大から降順に所定個数の直交変換係数を選択し、当該選択した直交変換係数のうち、閾値よりも小さい直交変換係数を一定値として符号化するようにしたことにより、従来の手法を用いた場合より符号化後のテクスチヤ情報のデータ量を削減でき、同一のデータ量においても視覚的に優れた再構成画像を得ることができる画像符号化方法及び画像符号化装置を実現できる。
【図面の簡単な説明】
【図１】本発明による画像符号化方法の前提となる３ＣＣのエンコード処理手順を示すブロツク図である。
【図２】３ＣＣのデコード処理手順を示すブロツク図である。
【図３】本発明による直交変換領域選択符号化回路を示すブロツク図である。
【図４】８×８のＤＣＴ変換係数と領域選択処理後の変換係数を示す略線図である。
【図５】本発明による直交変換係数選択符号化回路を示すブロツク図である。
【図６】８×８のＤＣＴ変換係数と係数選択処理後の変換係数を示す略線図である。
【図７】フイードバツク回路付き直交変換領域選択符号化回路を示すブロツク図である。
【図８】テクスチヤ情報の画素値分布の説明に供する略線図である。
【図９】テクスチヤ画像領域の説明に供する略線図である。
【図１０】テクスチヤ画像領域判定回路を示すブロツク図である。
【図１１】テクスチヤ情報における画素値分布の説明に供する特性曲線図である。
【図１２】フイードバツク回路付きテクスチヤ画像領域判定回路を示すブロツク図である。
【図１３】従来の画像信号中のエツジ領域抽出手順を示すブロツク図である。
【図１４】水平方向と垂直方向のエツジ領域抽出に用いるソーベルフイルタのタツプ係数を示す略線図である。
【図１５】階調値の大局的な特性を得るために用いる１次元のマスク領域の説明に供する略線図である。
【図１６】適応型しきい値処理のためのしきい値決定関数の説明に供する特性曲線図である。
【図１７】従来のテクスチヤ符号化処理手順を示すブロツク図である。
【符号の説明】
ＣＰ１……局所輝度発生及び符号化処理部、ＣＰ２……エツジ情報検出及び符号化処理部、ＣＰ３……エツジ情報復号化及び再構成処理部、ＣＰ４……テクスチヤ情報符号化処理部、ＤＰ１……局所輝度復号化及び再構成処理部、ＤＰ２……エツジ情報復号化及び再構成処理部、ＤＰ３……テクスチヤ情報復号化処理部、ＥＰ１、ＦＤ１、ＧＰ１……直交変換処理部（ＤＣＴ）、ＥＰ２、ＦＰ２、ＧＰ２……量子化処理部、ＥＰ３、ＦＰ３、ＧＰ３……領域分割処理部、ＥＰ４、ＧＰ４……特徴量算出処理部、ＥＰ５、ＦＰ５、ＧＰ５、ＨＰ２、ＩＰ２……比較器、ＥＰ６、ＦＰ６、ＧＰ６……乗算回路（ＭＵＸ）、ＥＰ７、ＦＰ７、ＧＰ７……可変長符号化処理部、ＥＰ８、ＦＰ８、ＧＰ８、ＨＰ３、ＩＰ３……バツフア、ＦＰ４……直交変換ソート回路、ＨＰ１、ＩＰ１……２点間距離算出回路。

Claims (2)

1. 原画像をエツジ情報とテクスチヤ情報に分離し、符号化する画像符号化方法において、
   テクスチヤ画像を第１の領域ごとに直交変換された結果得られる上記テクスチヤ画像の直交変換係数を、各上記第１の領域それぞれについて、複数の第２の領域に分割する（全ての第２の領域が単一の直交変換係数からなる分割を除く）第１のステツプと、
   分割した各上記第２の領域における上記直交変換係数のうち、最大の直交変換係数又は最大から降順に所定個数の直交変換係数を選択する第２のステツプと、
   選択した上記直交変換係数のうち、閾値よりも小さい上記直交変換係数を一定値として符号化する第３のステツプと
   を具えることを特徴とする画像符号化方法。
2. 原画像をエツジ情報とテクスチヤ情報に分離し、符号化する画像符号化装置において、
   テクスチヤ画像を第１の領域ごとに直交変換された結果得られる上記テクスチヤ画像の直交変換係数を、各上記第１の領域それぞれについて、複数の第２の領域に分割する（全ての第２の領域が単一の直交変換係数からなる分割を除く）分割手段と、
   上記分割手段により分割された各上記第２の領域における上記直交変換係数のうち、最大の直交変換係数又は最大から降順に所定個数の直交変換係数を選択する選択手段と、
   上記選択手段により選択された上記直交変換係数のうち、閾値よりも小さい上記直交変換係数を一定値として符号化する符号化手段と
   を具えることを特徴とする画像符号化装置。

Images