JPH0816793A - エッジ領域検出方法 - Google Patents

Abstract

(57)【要約】 【目的】 画素信号ＤＤ０をエッジ領域とそれ以外のテ
クスチャ領域に識別する際、確実かつ効率良く識別す
る。 【構成】 画素信号ＤＤ０のエッジ領域を抽出する際
に、注目画素周辺の所定のマスク領域内の画素が持つ統
計的特徴量としての信号ＤＤ８と、注目画素が持つ特徴
量としてのエッジ強度信号ＤＤ５とに応じて、エッジ領
域とそれ以外を識別するしきい値ＤＤ９を変化させるよ
うにする。一定のしきい値を用いてエッジ領域を識別す
る従来の方法に較べ、確実かつ効率的にエッジ領域を識
別し得る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はエッジ領域検出方法に関
し、特に画像を限られた伝送容量の伝送媒体で伝送した
りテープレコーダ等へ記録し及び又は再生するために、
画像中の物体の輪郭線を重点的に保存する高能率符号化
方法を用いて輪郭線抽出する場合に適用して好適なエッ
ジ領域検出方法に関する。

【０００２】

【従来の技術】画像信号の高能率符号化は、画像信号の
持つ相関の高さを利用して冗長性を削減するものであ
り、画像信号の伝送や記録の際に必要不可欠なものであ
る。従来の画像信号の高能率符号化方法として、予測符
号化のような画像を画素単位に扱う符号化方法、離散コ
サイン変換（ＤＣＴ（Discrete Cosine Transform ））
に代表される直交変換符号化方法、ウエーブレット変換
のようなサブバンド符号化方法等が存在する。

【０００３】予測符号化方法には、代表的な手法として
フレーム内ＤＰＣＭ（DifferentialPulse Code Modulat
ion）等があり、これは原画素と復号化した近傍画素の
差分を量子化して符号化するものである。この予測符号
化方法は、必要な圧縮率が１／２乃至１／４程度とそれ
ほど高くない場合には有効であるが、それ以上の高圧縮
率符号化には適さない。一方、直交変換符号化やサブバ
ンド符号化は、圧縮率が１／１０以上と高い場合に用い
られており、その中でも、現在は、ＤＣＴを用いた符号
化方法が一般的に多く用いられている。これはＤＣＴが
高速アルゴリズムを有し、ハード化が容易である等の理
由によるものであり、国際標準（ＪＰＥＧ、ＭＰＥＧ）
にも採用されている。

【０００４】ＤＣＴを用いた画像信号符号化方法は、基
本的に、画像信号の低周波成分の電力がきわめて大きい
という特徴を利用するものであり、ＤＣＴによって求め
られた画像信号の周波数成分を量子化する際に、低周波
成分の量子化ステップサイズは小さくし、高周波成分の
ステップサイズは大きくすることによって、全体として
情報量を圧縮するようにしている。しかしながら、量子
化を行うことによってブロック歪みとモスキート雑音が
生じてしまうという問題があり、特にマクロブロックを
単位とした処理であることに起因するブロック歪みは、
符号化速度が低い場合に顕著になる。このため、超低ビ
ットレートの画像符号化を行うためには新たな高能率符
号化方法が望まれていた。

【０００５】

【発明が解決しようとする課題】そこで超低ビットレー
トでの伝送や記録を目的とした画像符号化方法として、
人間の視覚特性が物体の輪郭線に特に敏感であるという
ことを考慮し、原画像中の輪郭線部分を重点的に保存す
ることにより、低ビットレートでも視覚的に優れた復元
性を実現しようとする方法が提案されている。このよう
な原画像中の輪郭線部分を重点的に保存する画像信号符
号化方法においては、いかに効率良く物体の輪郭線を抽
出（検出）するかが重要になる。

【０００６】原画像から輪郭線部分を抽出する従来のエ
ッジ領域抽出手順を図１８に示す。すなわち入力画像信
号ＡＤ０は、ソーベルフィルタ等のエッジ検出オペレー
タを用いてエッジ抽出を行うエッジ強度算出処理部ＡＰ
１、ＡＰ２に入力され、そこで処理されてエッジ強度信
号ＡＤ１、ＡＤ２が出力される。エッジ強度算出処理部
ＡＰ１、ＡＰ２においては、図１９に示す３×３のタッ
プ係数を有するソーベルフィルタを用いて、それぞれ水
平方向のエッジ強度信号ＡＤ１と、垂直方向のエッジ強
度信号ＡＤ２を求める。このエッジ強度信号ＡＤ１、Ａ
Ｄ２は、注目画素のエッジ強度の絶対値和を得るため、
それぞれ乗算器ＡＰ３、ＡＰ４において自乗され、水平
方向のエッジ強度信号電力ＡＤ３、垂直方向のエッジ強
度信号電力ＡＤ４となる。

【０００７】次に水平方向のエッジ強度信号電力ＡＤ３
と垂直方向のエッジ強度信号電力ＡＤ４は、加算器ＡＰ
５によって加算され、注目画素のエッジ強度を示す信号
ＡＤ５を得る。このエッジ強度を示す信号ＡＤ５としき
い値Ｔを比較器ＡＰ６に入力することによって、注目画
素がテクスチャ領域かエッジ領域かを判断する。その判
断方法は、次のようなものである。すなわち、エッジ強
度を示す信号ＡＤ５がしきい値Ｔより大きい場合には、
注目領域内に物体の輪郭線等のエッジが含まれていると
判断してエッジ領域とし、エッジ強度を示す信号ＡＤ５
がしきい値Ｔより小さい場合には、注目領域内に強いエ
ッジが無いと判断してテクスチャ領域とする。

【０００８】この比較器ＡＰ６に入力されたエッジの強
度を示す信号ＡＤ５がしきい値Ｔよりも小さければテク
スチャ領域としてフラグ０を、エッジの強度を示す信号
ＡＤ５がしきい値Ｔ以上であればエッジ領域としてフラ
グ１をエッジ検出回路の出力ＡＤ６として比較器ＡＰ６
から送出することによって、エッジ領域の分割（検出）
を行う。

【０００９】このような従来の方法によると、人物の衣
服の皺や模様、頭髪、木の幹の模様、家屋の屋根の瓦な
どは、強いエッジ強度を持ち、パターンも複雑なため、
エッジを抽出（検出）した際に、非常に短いエッジの集
まりとして（エッジ領域として）検出される。

【００１０】超低ビットレートでの画像圧縮方法におい
ては、例えばエッジ領域の符号化を、その各画素の位置
情報とエッジの強度を用いてチェーンコーディングとハ
フマン符号化（Huffman Coding）で行い、テクスチャ領
域の符号化を、ＤＣＴとハフマン符号化を用いて行う
が、上述したような微細なエッジを多数有する領域は、
エッジ領域として扱い、短い多数のエッジを個々にチェ
ーンコーディングによって符号化するより、テクスチャ
領域として扱い、ＤＣＴ等を用いて符号化した方が効率
が良い。

【００１１】しかしながら、従来の方法は、原画像から
導出されるエッジの強度に対し、一定のしきい値を用い
てエッジ領域の検出処理を行うようにしているため、テ
クスチャ内のエッジと、物体間の輪郭部分のエッジを識
別することが困難である課題があった。

【００１２】また、従来のエッジ抽出方法では、エッジ
検出用のフィルタとして図１９に示すように、３×３の
ソーベルフィルタを用い、水平方向と垂直方向のフィル
タリング値の自乗和をエッジ強度ＡＤ５として、しきい
値処理を行っていた。しかしながら図２０に示すよう
に、線幅が１画素（画素ｃ）の輪郭線である場合、その
線が細すぎるため（周波数が高すぎるため）、エッジ強
度ＡＤ５の極大点が一箇所（画素ｄ）しか得られない、
すなわち、輪郭線の片側エッジしか抽出できない（画素
ｂが抽出できない）という課題があった。

【００１３】輪郭線のエッジを完全に抽出できない（一
方しか検出できない）と、図２０に示すように、再構成
画像の画質が劣化する。すなわち、図２０の上の図にお
いて、横軸は画素の位置を示し、縦軸は原画素値を示
し、図中の実線は原画素の大きさ（輝度値）を示してい
る。この図に示される画素列に対するソーベルフィルタ
によるエッジ強度ＡＤ５は、図２０の中央の図に示され
るように、画素ｄにおいてのみ極大値を示すため、マス
ク画素（エッジ領域の画素）として検出される画素は画
素ｄのみとなり、他方の輪郭線の画素である画素ｂはマ
スク画素として検出されない。

【００１４】マスク画素として検出された画素ｄの画素
値は、エッジ強度ＡＤ５の法線方向（図２０の水平方
向）の両脇の画素である画素ｃと画素ｅの画素値ととも
に、エッジ情報として保存される。これらの画素ｃ，
ｄ，ｅの画素値と併せて、原画像中から一定間隔でサン
プリングして抽出された局所輝度信号としての画素ａ，
ｆの画素値が、原画像を再構成する過程において用いら
れる。

【００１５】再構成画像は、これらの画素ａ，ｃ，ｄ，
ｅ，ｆの画素値を直線補間して求められ、図２０の下の
図中の実線で示されるような画素値が得られることとな
る。原画像と再構成画像を比較した場合、画素幅１の輪
郭線近傍において、エッジとして検出された画素ｄの側
の画像は再現することが出来ているが、エッジとして検
出できていない画素ｂの側においては、点線で示される
原画素と実線で示される再構成画素値の間に差が生じて
いる（原画像が正確に再現されていない）ことが分か
る。

【００１６】このように、画像の輪郭線とサンプリング
された画素から画像を補間して復元画像を得る様な超低
ビットレートでの画像圧縮の手法において、輪郭線抽出
が不十分であると、原画像を再構成する際に色漏れが生
じ、画質が著しく劣化する課題あった。

【００１７】本発明は以上の点を考慮してなされたもの
で、画像信号をエッジ領域とそれ以外の領域に分割（識
別）する際、確実かつ効率良くエッジを検出し得るエッ
ジ領域検出方法を提案するものである。また、原画像の
再構成の際に色漏れの発生を抑制することが出来るエッ
ジ領域検出方法を提案するものである。

【００１８】

【課題を解決するための手段】請求項１に記載のエッジ
領域検出方法は、入力画像信号のエッジ領域を検出する
エッジ領域検出方法において、検出対象となる注目画素
周辺の所定の領域をマスク領域とし、マスク領域内の画
素が持つ統計的特徴量と、注目画素が持つ特徴量とに応
じて、エッジ領域とエッジ領域以外の部分を検出するし
きい値を適応的に変化させるようにしたことを特徴とす
る。

【００１９】請求項８に記載のエッジ領域検出方法は、
入力画像信号のエッジ領域を検出するエッジ領域検出方
法において、入力画像信号を、所定の空間周波数でフィ
ルタリング処理してエッジ領域を検出し、入力画像信号
をフィルタリング処理して得られた信号と、フィルタリ
ング処理していない信号とから、フィルタリング処理の
空間周波数以外の空間周波数を有するエッジ領域を検出
し、２つの検出結果を合成することを特徴とする。

【００２０】

【作用】請求項１に記載のエッジ領域検出方法において
は、マスク領域内の画素が有する統計的特徴量と、注目
画素が有する特徴量とに応じて、エッジ領域を検出する
ためのしきい値が適応的に変化される。

【００２１】したがって、テクチャ内のエッジと、物体
間の輪郭部分のエッジとを区別することが可能となり、
より効率的な符号化ができるようになる。

【００２２】また、請求項８に記載のエッジ領域検出方
法においては、フィルタリング処理して検出された所定
の空間周波数を有するエッジ領域と、その空間周波数以
外の空間周波数を有するエッジ領域とが検出され、２つ
の検出結果が合成される。したがって、細いエッジ（周
波数の高いエッジ）領域でも検出することが出来、原画
像の再構成の際における色漏れを抑制することができ
る。

【００２３】

【実施例】以下、図面を参照して、本発明の実施例を詳
述する。

【００２４】（１）第１の実施例 本発明は、画像の輪郭線部分の符号化を効率良く行うた
めの方法を提供するものであり、超低ビットレートにお
ける画像信号符号化方法の一部として用いられる。物体
の輪郭線の保存に重点を置いた画像信号符号化方法の代
表的なものとして、３ＣＣ（3 Component Coding）があ
る。３ＣＣは、原画像信号を、画像のもつ視覚的重要度
に応じて局所輝度情報、エッジ情報及びテクスチャ情報
に分割し、それぞれ情報の重要度に応じて符号化を行う
ものである。

【００２５】３ＣＣのエンコード処理手順を図１に、デ
コード処理手順を図２に示す。

【００２６】図１の３ＣＣのエンコード処理において、
まず入力画像信号ＢＤ０から画像の局所的な輝度情報を
表す局所輝度（Local Luminance ）成分を求めて符号化
する局所輝度発生及び符号化処理部ＢＰ１から出力され
る局所輝度信号ＢＤ１と、画像の輪郭線すなわちエッジ
情報（Edge Information）部分を抽出して符号化するエ
ッジ情報検出及び符号化処理部ＢＰ２から出力されるエ
ッジ情報信号ＢＤ２をそれぞれ得る。

【００２７】さらに局所輝度信号ＢＤ１とエッジ情報信
号ＢＤ２から、エッジ画像を再構成するエッジ情報復号
化及び再構成処理部ＢＰ３において得られた再構成エッ
ジ画像信号ＢＤ３と、入力画像信号ＢＤ０との差分を加
算器（減算器）ＢＰ４で求めることによりテクスチャ画
像信号ＢＤ４を得る。テクスチャ画像信号ＢＤ４は、エ
ントロピー符号化を行うテクスチャ情報符号化処理部Ｂ
Ｐ５によって符号化され、出力信号ＢＤ５となる。従っ
て入力画像信号ＢＤ０は最終的に、符号化された局所輝
度信号ＢＤ１、符号化されたエッジ情報信号ＢＤ２及び
符号化されたテクスチャ信号ＢＤ５に変換される。

【００２８】一方、図２の３ＣＣのデコード処理におい
ては、まず符号化された局所輝度信号ＣＤ１（図１のＢ
Ｄ１に対応する）が、局所輝度復号化及び再構成処理部
ＣＰ１に入力され、復元された信号ＣＤ４を得る。また
符号化されたエッジ情報信号ＣＤ２（図１のＢＤ２に対
応する）と、局所輝度を復元した信号ＣＤ４がエッジ情
報復号化及び再構成処理部ＣＰ２に入力され、これによ
りエッジ再構成画像信号ＣＤ５を得る。さらに符号化さ
れたテクスチャ信号ＣＤ３（図１のＢＤ５に対応する）
もテクスチャ情報復号化処理部ＣＰ３において復号化さ
れ、テクスチャ画像信号ＣＤ６となる。最後にエッジ再
構成画像信号ＣＤ５とテクスチャ画像信号ＣＤ６を加算
器ＣＰ４で加算することにより再構成画像信号ＣＤ７を
得る。

【００２９】図１のエッジ情報検出および符号化処理部
ＢＰ２のエッジ領域の符号化処理においては、まずエッ
ジ領域の各画素の位置情報と振幅情報を用いてチェーン
コーディングを行なった後に、エントロピー符号化を行
っている。一方、テクスチャ情報符号化処理部ＢＰ５の
テクスチャ領域の符号化には、ＤＣＴに代表される変換
符号化方法とハフマン符号化が併せて用いられている。
そこで極端に短いエッジ領域を多数符号化した場合、そ
の領域をエッジ領域としてチェーンコーディングすると
符号化効率が極端に悪化してしまう恐れがある。

【００３０】従って原画像からソーベルフィルタ等を用
いてエッジの強度を求めた後、その注目領域をエッジ領
域として符号化するか、テクスチャ領域として符号化す
るかを注目領域の特性によって区別する必要が生じてく
る。そこでこの実施例では、エッジ情報検出および符号
化処理部ＢＰ２において、注目領域をエッジ領域又はテ
クスチャ領域に分割する際のしきい値を、原画像の特性
を考慮して可変にするようにした。このエッジ領域抽出
手順を、図３に示す。

【００３１】図３において、原画像の画素信号ＤＤ０
（図１のＢＤ０に対応する）はソーベルフィルタを用い
たエッジ強度算出処理部ＤＰ１、ＤＰ２に入力され、エ
ッジ強度信号ＤＤ１、ＤＤ２を得る。このときエッジ強
度算出処理部ＤＰ１、ＤＰ２では、図１９において示し
た場合と同様に、３×３のタップ係数を有するソーベル
フィルタが用いられ、水平方向のエッジ強度を示すエッ
ジ強度信号ＤＤ１と、垂直方向のエッジ強度を示すエッ
ジ強度信号ＤＤ２を得る。このエッジ強度信号ＤＤ１、
ＤＤ２は、それぞれ乗算器ＤＰ３、ＤＰ４において自乗
され、水平方向のエッジ強度信号電力ＤＤ３と、垂直方
向のエッジ強度信号電力ＤＤ４となる。

【００３２】次に水平方向のエッジ強度信号電力ＤＤ３
と垂直方向のエッジ強度信号電力ＤＤ４は、加算器ＤＰ
５によって加算され、注目画素のエッジ強度を示す信号
ＤＤ５を得る。この処理部までの処理は、図１８に示し
た従来のエッジ領域抽出手順の処理と同じであるが、こ
の実施例では、これに加えて、エッジ領域とテクスチャ
領域を分割（検出）するためのしきい値を注目領域の特
性によって適正化する。

【００３３】物体の輪郭や物体間の境界線などのエッジ
領域と、テクスチャ内のエッジ領域の特性の違いを考慮
に入れた場合、エッジ領域とテクスチャ領域を分割（識
別）するための特徴量として、画素値（階調値）の局所
的な変化特性と、大局的な変化特性を示す指標値を用い
るのが有効である。階調値の局所的な変化特性を表す特
徴量としては、エッジ領域か否かを判定する際に用いる
重要な特徴量である注目画素のエッジ強度がある。ま
た、大局的な特徴量としては、注目画素周辺の空間周波
数の分布をあげることができる。

【００３４】この実施例では、画素値の大局的な変化特
性を示す特徴量として、空間周波数を示す特徴量を用い
るようにする。このため、フィルタリング処理部ＤＰ７
において、ＨＰＦ（ハイパスフィルタ）、ＢＰＦ（バン
ドパスフィルタ）またはＬＰＦ（ローパスフィルタ）の
処理を行うようにする。このハイパスフィルタの例とし
ては、図１９に示したソーベルフィルタなどがあり、バ
ンドパスフィルタの例としては図４に示されるタップ係
数のものが上げられる。図４や図１９に示されたフィル
タは、タップ数が３×３であるが、この他に５×５、７
×７などのタップ数が異なるフィルタも適用することが
できる。

【００３５】大局的な特性を表す特徴量としては、局所
的な変化特性を表す特徴量である空間周波数を示す特徴
量の一定領域内における平均値、分散値、最小値、最大
値、Ｎランク、モードなどを用いる。ここで用いるＮラ
ンクとは、領域内の出力値をソートした後に得られるＮ
番目の値を意味し、モードは領域内の出力値をソートし
た後に得られる最多頻度値を意味する。そしてこのよう
に大局的な変化特性を示す特徴量を求める際に必要な局
所的特徴量を得るためのマスク領域を、マスク領域設定
処理部ＤＰ８で、注目画素周辺に設定する。

【００３６】このマスク領域の種類として、図５乃至図
８に示されるような矩形形状の領域が用いられる。図５
に示すマスク領域ＭＳＫ１は、注目画素ＰＬを中心とす
る２次元の方形（この実施例の場合、正方形）窓領域で
あり、注目画素ＰＬ周辺の一定領域内の大局的な変化特
性を、このマスク領域ＭＳＫ１内で得ることができる。

【００３７】また図６に示すマスク領域ＭＳＫ２は、注
目画素ＰＬが持つエッジ強度の法線方向（図中左右方
向）にある１次元の領域であり、これは一般的に画像の
特性はエッジ領域を境として大きく変わると考えられる
ため、エッジ強度の法線方向に１次元の窓を設定するこ
とにより、階調値（画素値）の変化をより確実に得よう
とするものである。

【００３８】さらに図７に示すマスク領域ＭＳＫ３１、
ＭＳＫ３２は、注目画素ＰＬが持つエッジ強度の法線方
向にある注目画素ＰＬを境とする注目画素ＰＬの両側の
１次元の領域であり、片側の１次元のマスク領域をそれ
ぞれ第１のマスク領域ＭＳＫ３１、第２のマスク領域Ｍ
ＳＫ３２とする。これはエッジ領域を境として大きく変
わる階調値の変化を、エッジの両側の特徴量の関係から
得ようとするものである。

【００３９】さらにまた図８に示すマスク領域は、図７
のマスク領域ＭＳＫ３１、ＭＳＫ３２を改良したもので
あり、局所的な特徴量を求める際に用いられるハイパス
フィルタやバンドパスフィルタのタップがかからない画
素（３×３のタップの外側の画素）のみを第１及び第２
のマスク領域ＭＳＫ４１、ＭＳＫ４２とするものであ
る。これはエッジの両側の特徴量に注目画素の影響が含
まれることにより、階調値の変化が不明瞭になることを
避けようとするものである。

【００４０】例えばフィルタリング処理部ＤＰ７の処理
をハイパスフィルタ処理とし、図５のマスク領域ＭＳＫ
１内において、局所的特性としてハイパスフィルタから
の出力値を得、さらにマスク領域設定処理部ＤＰ８にお
いて、大局的特性としてその（ハイパスフィルタ出力
の）平均値、分散値、最小値、Ｎランク又はモードを得
ることができる。ハイパスフィルタの代わりにバンドパ
スフィルタやローパスフィルタを用いても良い。同様に
図６のマスク領域ＭＳＫ２内において、ハイパスフィル
タ、バンドパスフィルタ又はローパスフィルタからの局
所的な特性としての出力値を得、大局的な特性としての
その平均値、分散値、最小値、Ｎランク又はモード等の
各種の特性を表す特徴量を得ることができる。

【００４１】また図７又は図８に示すマスク領域ＭＳＫ
３１、ＭＳＫ３２又はＭＳＫ４１、ＭＳＫ４２を用いる
場合は、ハイパスフィルタ、バンドパスフィルタ又はロ
ーパスフィルタからの出力値の平均値、分散値、最小
値、Ｎランク又はモード等を、上述した各種の大局的な
特性を表す特徴量とする以外に、２つのマスク領域ＭＳ
Ｋ３１、ＭＳＫ３２又はＭＳＫ４１、ＭＳＫ４２の平均
値の和と差、あるいは２つのマスク領域ＭＳＫ３１、Ｍ
ＳＫ３２又はＭＳＫ４１、ＭＳＫ４２の平均値の和と差
の比を特徴量とすることができる。

【００４２】以上のような各種の特徴量を用いた本発明
のしきい値決定の処理手順は、図３において、処理部Ｄ
Ｐ７、ＤＰ８、ＤＰ９において行われる。まず、原画像
の画素信号ＤＤ０がフィルタリング処理部ＤＰ７に入力
され、そこでハイパスフィルタ、バンドパスフィルタま
たはローパスフィルタ処理が行われ、その結果得られる
出力信号ＤＤ７がマスク領域設定処理部ＤＰ８に入力さ
れる。ここでは、所定のマスク領域（図５乃至図８に示
したようなマスク領域）を設定し、設定されたマスク領
域内から大局的な特徴量ＤＤ８が算出される。しきい値
決定処理部ＤＰ９においては、加算器ＤＰ５が出力する
エッジ強度を示す信号ＤＤ５（局所的な特徴量）と、マ
スク領域設定処理部ＤＰ８が出力する大局的な特徴量Ｄ
Ｄ８をパラメータとするしきい値関数Ｆ（）に応じてし
きい値ＤＤ９が求められる。

【００４３】なお、しきい値関数Ｆ（）は、テクスチャ
領域とエッジ領域を分割（識別）するために最適だと思
われるしきい値を取れるようにシミュレーションによっ
て決定されるものである。しきい値が決定された後、エ
ッジ強度を示す信号ＤＤ５としきい値決定処理部ＤＰ９
から出力されるしきい値信号ＤＤ９を比較器ＤＰ６に入
力することによって、注目画素がテクスチャ領域かエッ
ジ領域かを判断する。比較器ＤＰ６からの出力信号ＤＤ
６として、注目領域がテクスチャ領域のとき０を、エッ
ジ領域のとき１を得る。

【００４４】以上の方法によれば、注目画素周辺の特性
として、注目画素周辺のマスク領域内の画素値に対する
ハイパスフィルタ、バンドパスフィルタ又はローパスフ
ィルタの出力値から求められる統計的特徴量（大局的な
特徴量）と、注目画素に応じたエッジ強度（局所的な特
徴量）を組み合わせて、エッジ領域とそれ以外の部分を
分割（識別）するしきい値を変化させるようにしたこと
により、従来の一定のしきい値を用いる方法に比較し
て、一段と確実かつ効率的に画像領域を分割して画像中
のエッジ領域を抽出し得る。

【００４５】かくして、平坦な領域中に存在するエッジ
は視覚的に重要であるとみなし、比較的弱いエッジ強度
を持つ領域でもエッジ領域として抽出する一方、階調値
（画素値）の変化が大きい領域のエッジはテクスチャ内
に存在する場合が多いため、比較的強いエッジ強度を持
つ領域でもエッジ領域として抽出しない（テクスチャ領
域として検出する）ようにすることができる。

【００４６】（２）第２の実施例 次に、エッジ抽出の特徴量として、マスク領域内の画素
をハイパスフィルタ処理して得られた出力値の平均値、
又は２つのマスク領域内の画素をハイパスフィルタ処理
して得られた出力値の各々の平均値と、注目画素のエッ
ジ強度とを用いたしきい値処理の実施例を、図９乃至図
１１を用いて説明する。前者で使用される特徴量は、注
目画素のエッジ強度Ｅと、１つのマスク領域内の画素を
ハイパスフィルタ処理して得られた出力の平均値Ｍの２
つであり、後者で使用される特徴量は、注目画素のエッ
ジ強度Ｅと、２つのマスク領域内の画素をハイパスフィ
ルタ処理して得られた出力の平均値Ｍ₁、Ｍ₂の３つであ
る。

【００４７】このエッジ領域抽出処理手順を図９に示す
（この処理も、図１のエッジ情報検出及び符号化処理部
ＢＰ２において行われる）。すなわち、原画像の画素信
号ＤＤ０がソーベルフィルタを用いたエッジ強度算出処
理部ＤＰ１、ＤＰ２に入力される。エッジ強度算出処理
部ＤＰ１、ＤＰ２では、図１９において示し場合たと同
様に、３×３のタップ係数を有するソーベルフィルタが
用いられ、水平方向のエッジ強度を示すエッジ強度信号
ＤＤ１と、垂直方向のエッジ強度を示すエッジ強度信号
ＤＤ２を得る。

【００４８】このエッジ強度信号ＤＤ１、ＤＤ２は、そ
れぞれ乗算器ＤＰ３、ＤＰ４において自乗され、水平方
向のエッジ強度信号電力ＤＤ３と、垂直方向のエッジ強
度信号電力ＤＤ４となる。次に水平方向のエッジ強度信
号電力ＤＤ３と垂直方向のエッジ強度信号電力ＤＤ４
は、加算器ＤＰ５によって加算され、注目画素のエッジ
強度を示す信号ＤＤ５を得る。

【００４９】一方、マスク領域内の画素をハイパスフィ
ルタ処理（この実施例の場合、このハイパスフィルタ処
理は、エッジ強度算出処理部ＤＰ１、ＤＰ２のソーベル
フィルタにより行われる）して得られる出力の平均値Ｍ
又はＭ₁ 、Ｍ₂ を求めるため、まず水平方向のエッジ強
度信号ＤＤ１と、垂直方向のエッジ強度信号ＤＤ２をマ
スク領域設定処理部ＥＰ３に入力し、エッジ強度信号Ｄ
Ｄ１とエッジ強度信号ＤＤ２の比からエッジの法線方向
を求め、マスク領域の位置情報ＥＤ３を決定する。次に
マスク領域の位置情報ＥＤ３と注目画素のエッジ強度を
示す信号ＤＤ５を、ハイパスフィルタの出力の平均値Ｍ
又はＭ₁ 、Ｍ₂ を算出する平均値算出処理部ＥＰ７に入
力することによって、そこでハイパスフィルタの出力の
平均値信号ＥＤ７を得る。

【００５０】ここで求まったハイパスフィルタの出力の
平均値信号ＥＤ７と注目画素のエッジ強度を示す信号Ｄ
Ｄ５をしきい値決定処理部ＥＰ８に入力することによっ
て、しきい値ＥＤ８を得る。しきい値決定処理部ＥＰ８
において用いられるしきい値関数として、前者の場合
（平均値Ｍを用いる場合）、図１０に示されるような注
目画素のエッジ強度Ｅと、マスク領域内の平均値Ｍの関
係を示す一次関数Ｆ₁ （）が用いられる。この一次関数
Ｆ₁ （）を用いた場合、ハイパスフィルタの出力の平均
信号ＥＤ７がｘ１のとき、しきい値Ｔは一次関数Ｆ
₁ （）によってＴ₁ ＝Ｆ₁ （ｘ₁ ）として求められ、出
力信号ＥＤ７がｘ₂ （＞ｘ₁ ）のとき、しきい値ＴはＴ
₂ ＝Ｆ₁ （ｘ₂ ）となる（Ｔ₁ ＜Ｔ₂ ）。

【００５１】このように、ハイパスフィルタの出力値が
大きいとき、しきい値Ｔを大きくすることによって、ラ
ンダムノイズや細かいパターンをエッジ領域として認識
しにくくすることができる。なおしきい値関数Ｆ₁ （）
は図１０に示されるような一次関数だけでなく、二次以
上の高次関数を適用するようにしても良い。

【００５２】また後者の場合（平均値Ｍ₁，Ｍ₂を用いる
場合）、しきい値関数として、図１１に示されるような
しきい値Ｔと２つのマスク領域内の平均値Ｍ₁ 、Ｍ₂ の
関係を示す関数Ｆ₂ （）が用いられる。しきい値関数Ｆ
₂ （）の例として、次式 ｛Ｍ₁−（ａＴ−ｂ）｝｛Ｍ₂−（ａＴ−ｂ）｝＝ｃ・・・（１） （但し、ａ，ｂ，ｃは定数である）があげられる。
（１）式に従って、マスク領域内の平均値Ｍ₁ 、Ｍ₂ の
値に対応して、しきい値Ｔ（エッジ強度Ｅ）が得られ
る。

【００５３】（３）第３の実施例 ところで、３ＣＣを用いた画像圧縮方法を実用化する際
に、異なる原画像に対する符号化効率を一定にする必要
が生じる。このため、図１２に示すように、符号化後の
データ量によってエッジ領域として抽出する割合を調節
できるエッジ領域抽出手順を用いる。すなわち、このエ
ッジ領域抽出手順では、原画像の入力信号ＢＤ０が局所
輝度成分ＢＤ１、エッジ情報成分ＢＤ２、およびテクス
チャ成分ＢＤ５へと変換処理された後、バッファメモリ
ＦＰ６に入力される。

【００５４】バッファメモリＦＰ６の出力信号ＦＤ６
は、画像圧縮後の出力結果となると同時に、エッジ情報
検出及び符号化処理部ＢＰ２にフィードバックされ、符
号化処理後の圧縮率の調整に使用される。エッジ情報検
出及び符号化処理部ＢＰ２では、図１３のエッジ領域抽
出手順に示すように、バッファメモリＦＰ６の出力信号
ＦＤ６がしきい値決定処理部ＤＰ９に入力されることに
よって、しきい値を決定する関数Ｆ（）の調整が行われ
る。このように、このエッジ領域検出方法を用いること
により注目領域の特性に合った符号化手法を選択するこ
とができ、符号化効率の向上をはかることができる。

【００５５】（４）第４の実施例 ところで、上述したように、３ＣＣにおいて画像の再構
成を行うと、エッジ抽出手順で得られたエッジ領域の画
素値と、一定間隔でサンプリングして得られた画素値を
用いて線形補間を行うため、エッジ領域が抽出できなか
った領域においては、色漏れや画質の劣化が発生する。
これを抑制するため、エッジ情報検出及び符号化処理部
ＢＰ２において、図１４に示すエッジ領域抽出手順を採
用することができる。

【００５６】図１４において、入力画像信号ＤＤ０は、
ソーベルフィルタ等のエッジ検出オペレータを用いてエ
ッジ抽出を行うエッジ強度算出処理部ＤＰ１、ＤＰ２に
入力され、そこで処理されてエッジ強度信号ＤＤ１、Ｄ
Ｄ２が出力される。エッジ強度算出処理部ＤＰ１、ＤＰ
２においては、図１９に示す３×３のタップ係数を有す
るソーベルフィルタを用いて、それぞれ水平方向のエッ
ジ強度信号ＤＤ１と、垂直方向のエッジ強度信号ＤＤ２
を求める。このエッジ強度信号ＤＤ１、ＤＤ２は、注目
画素のエッジ強度の絶対値和を得るため、それぞれ乗算
器ＤＰ３、ＤＰ４において自乗され、水平方向のエッジ
強度信号電力ＤＤ３、垂直方向のエッジ強度信号電力Ｄ
Ｄ４となる。

【００５７】次に水平方向のエッジ強度信号電力ＤＤ３
と垂直方向のエッジ強度信号電力ＤＤ４は、加算器ＤＰ
５によって加算され、注目画素のエッジ強度を示す信号
ＤＤ５を得る。このエッジ強度を示す信号ＤＤ５としき
い値Ｔを比較器ＤＰ６に入力することによって、注目画
素がテクスチャ領域かエッジ領域かを判断する。すなわ
ち、エッジ強度を示す信号ＤＤ５がしきい値Ｔより大き
い場合には、注目領域内に物体の輪郭線等のエッジが含
まれていると判断してエッジ領域とし、エッジ強度を示
す信号ＤＤ５がしきい値Ｔより小さい場合には、注目領
域内に強いエッジが無いと判断してテクスチャ領域とす
る。

【００５８】この比較器ＤＰ６に入力されたエッジの強
度を示す信号ＤＤ５がしきい値Ｔよりも小さければテク
スチャ領域としてフラグ０を、エッジの強度を示す信号
ＤＤ５がしきい値Ｔ以上であればエッジ領域としてフラ
グ１を、出力ＤＤ６として比較器ＤＰ６から送出する。
但し、上述したように、比較器ＤＰ６では、１画素幅の
（高い周波数の）輪郭線の一方のエッジしか検出するこ
とができない。

【００５９】以上の処理により、ソーベルフィルタの通
過帯域（処理帯域）に含まれる周波数のエッジ領域を検
出することができるが、上述したように、例えば１画素
幅の、狭いエッジなど、周波数の高い（ソーベルフィル
タの通過帯域外の周波数の）エッジ領域は、正確に検出
することができない。そこで、この実施例においては、
判断処理部ＨＰ７において、ソーベルフィルタの通過帯
域外の周波数を有するエッジ領域を検出する。このた
め、判断処理部ＨＰ７には、入力画像信号ＤＤ０と、エ
ッジ強度算出処理部ＤＰ１と、ＤＰ２より出力されたエ
ッジ強度信号ＤＤ１と、ＤＤ２が供給されている。

【００６０】判断処理部ＨＰ７は、エッジ強度信号ＤＤ
１（ソーベルフィルタにより求められた水平方向の画素
値の１次元の１次微分値）の符号が変化する領域をまず
検出する。例えば図１５に示すように、画素ｂと画素ｃ
の間の領域が符号の変化する領域として検出される。

【００６１】そして、判断処理部ＨＰ７は、さらにこの
符号が変化する領域の近傍の画素値の変化が大きい場
合、その近傍をエッジ領域（マスク領域）と判定する。
例えば図１５の実施例において、画素ｄと画素ｂの画素
値の差がＡ、画素ｂと画素ｃの画素値の差がＢとなって
おり、Ａ＞Ｂの場合において、Ｂが予め設定されている
しきい値以上のとき、画素ｂ，ｃ，ｄをマスク画素（エ
ッジ領域の画素）とする。

【００６２】判断処理部ＨＰ７は、エッジ強度信号ＤＤ
２についても同様の処理を実行する。そして、少なくと
も一方の処理の結果、エッジ領域が判定されたとき、論
理１の判断信号ＨＤ７を出力する。

【００６３】あるいはまた、図１４において点線で示す
ように、判断処理部ＨＰ７には、エッジ強度信号ＤＤ
１，ＤＤ２に代えて、エッジ強度信号電力ＤＤ３，ＤＤ
４を供給することもできる。この場合、判断処理部ＨＰ
７は、２つのエッジ強度信号電力ＤＤ３とＤＤ４を加算
し、図１６の下の図に示すように、その加算値の極大点
（最大値）を求める。そして、その極大点に対応する画
素（画素ｄ）の近傍の画素（画素ｂ，ｃ，ｄ）の値を調
べ、その値の変化Ａ，Ｂが、予め設定してある所定のし
きい値以上であるとき、極大点の近傍の画素（画素ｂ，
ｃ，ｄ）をエッジ領域の画素として判定する。エッジ領
域と判定した場合、判断信号ＨＤ７の論理は１とされ、
それ以外の場合（テクスチャ領域の場合）、その論理は
０とされる。

【００６４】エッジ補足処理部ＨＰ８は、判断処理部Ｈ
Ｐ７より供給される判断信号ＨＤ７が１であるとき、新
たなマスク画素を生成し、判断信号ＨＤ７が０であると
き、マスク画素を設定しない。

【００６５】エッジ補足処理部ＨＰ８におけるマスク画
素設定処理は、例えば次のように行われる。

【００６６】第１の設定処理方法においては、判断信号
ＨＤ７が１である場合、一定領域内の画素全てがエッジ
領域として設定される。例えば図１５においては、画素
ａ，ｂ，ｃ，ｄ，ｅの全てがマスク画素とされる。すな
わち、この場合においては、エッジ強度信号ＤＤ１，Ｄ
Ｄ２の符号が変化する境界部近傍や、エッジ強度信号電
力ＤＤ３，ＤＤ４の和の極大点の近傍（２次元の範囲）
の全ての画素がマスク画素とされる。

【００６７】第２の設定処理方法においては、エッジの
法線方向の一定の範囲内にある画素がマスク画素とされ
る。この場合においては、平面的（２次元的）な範囲で
はなく、直線的な一定の範囲内にある画素がマスク画素
とされる。図１５の実施例においては、画素ａ，ｂ，
ｃ，ｄ，ｅがマスク画素とされる。

【００６８】さらに第３の設定処理方法においては、エ
ッジの法線方向上の一定の範囲内にある画素のうち、画
素値の差が小さいエッジ側の画素（差ＡとＢのうち、小
さい方の差Ｂ側の画素）が、マスク画素とされる。図１
５の実施例においては、画素ｂがマスク画素とされる。

【００６９】このようにして、エッジ補足処理部ＨＰ８
は、マスク画素のタイミングにおいて、論理１のマスク
画素信号ＨＤ８を出力する。加算器ＨＰ９は、比較器Ｄ
Ｐ６の出力する信号ＤＤ６と、エッジ補足処理部ＨＰ８
が出力する信号ＨＤ８とを加算し、信号ＨＤ９として出
力する。この信号ＨＤ９は、ソーベルフィルタのフィル
タリング処理により検出された所定の空間周波数を有す
るエッジ領域はもとより、１画素幅の狭いエッジ領域
（高い周波数のエッジ領域）においても、エッジ検出信
号とされる。

【００７０】このように図１４の実施例においては、細
い輪郭線のエッジ領域も検出することができ、再構成画
像における色漏れを抑制し、再構成画像の画質を向上さ
せることができる。

【００７１】（５）第５の実施例 なお、図１２と図１３を参照して説明したように、符号
化処理後のデータ量を一定の値に制御する必要がある場
合においては、図１７に示すように、バッファメモリＦ
Ｐ６の出力するデータ量に対応する信号ＦＤ６を、判断
処理部ＨＰ７に供給し、判断処理部ＨＰ７において、信
号ＦＤ６に対応して判断基準に用いるしきい値の値を変
更するなど、判断条件を変更するようにすることができ
る。

【００７２】

【発明の効果】以上の如く請求項１に記載のエッジ領域
検出方法によれば、注目画素周辺の領域をマスク領域と
し、マスク領域内の画素が有する統計的特徴量と、注目
画素が有する特徴量とに応じてエッジ領域を検出するし
きい値を変化させるようにしたので、テクスチャ内のエ
ッジと物体間の輪郭部のエッジとを検出して、正確にエ
ッジを検出することが可能となる。

【００７３】また、請求項８に記載のエッジ領域検出方
法によれば、所定の空間周波数でフィルタリング処理し
て、エッジ領域を検出するとともに、フィルタリング処
理する空間周波数以外の空間周波数を有するエッジ領域
をも検出し、２つの検出結果を合成するようにしたの
で、１画素幅の狭いエッジでも、検出することができ、
画像の再構成時における補間処理による色漏れを抑制
し、再構成画像の画質を向上させることができる。

【図面の簡単な説明】

【図１】本発明によるエッジ領域検出方法が適用される
３ＣＣのエンコード処理手順を示すブロック図である。

【図２】３ＣＣのデコード処理手順を示すブロック図で
ある。

【図３】本発明による適応型しきい値処理を用いたエッ
ジ領域抽出手順を示すブロック図である。

【図４】画素の局所的特徴量を求める際に使用するバン
ドパスフィルタのタップ係数の構成を示す図である。

【図５】画素値の大局的な特性を得るために用いる２次
元のマスク領域を説明する図である。

【図６】画素値の大局的な特性を得るために用いる１次
元のマスク領域を説明する図である。

【図７】画素値の大局的な特性を得るために用いる１次
元の他のマスク領域を説明する図である。

【図８】画素値の大局的な特性を得るために用いる１次
元のさらに他のマスク領域を説明する図である。

【図９】本発明による適応型しきい値処理を用いたエッ
ジ領域抽出手順を示すブロック図である。

【図１０】本発明による適応型しきい値処理のためのし
きい値決定関数を説明する特性曲線図である。

【図１１】本発明による適応型しきい値処理のためのし
きい値決定関数を説明する他の特性曲線図である。

【図１２】３ＣＣのフィードバック回路付きエンコード
処理手順を示すブロック図である。

【図１３】本発明における適応型しきい値処理を用いた
フィードバック回路付きエッジ領域抽出手順を示すブロ
ック図である。

【図１４】本発明における他のエッジ抽出処理手順を示
すブロック図である。

【図１５】図１４の判断処理部ＨＰ７の処理を説明する
図である。

【図１６】図１４の判断処理部ＨＰ７の他の処理例を示
す図である。

【図１７】本発明のフィードバック回路付きエッジ領域
抽出手順を示すブロック図である。

【図１８】従来の画像信号中のエッジ領域抽出手順を示
すブロック図である。

【図１９】水平方向と垂直方向のエッジ領域抽出に用い
るソーベルフィルタのタップ係数を示す図である。

【図２０】従来のエッジ検出処理による再構成画像を説
明する図である。

【符号の説明】

ＢＰ１ 局所輝度発生及び符号化処理部 ＢＰ２ エッジ情報検出及び符号化処理部 ＢＰ３ エッジ情報復号化及び再構成処理部 ＢＰ５ テクスチャ情報符号化処理部 ＣＰ１ 局所輝度復号化及び再構成処理部 ＣＰ２ エッジ情報復号化及び再構成処理部 ＣＰ３ テクスチャ情報復号化処理部 ＤＰ７ フィルタリング処理部 ＤＰ８ マスク領域設定処理部 ＤＰ９ しきい値決定処理部 ＥＰ３ マスク領域設定処理部 ＥＰ７ 平均値算出処理部 ＥＰ８ しきい値決定処理部 ＦＰ６ バッファ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/30 Ｈ０４Ｎ 7/133 Ｚ

Claims (14)

【特許請求の範囲】
1. 【請求項１】 入力画像信号のエッジ領域を検出するエ
   ッジ領域検出方法において、 検出対象となる注目画素周辺の所定の領域をマスク領域
   とし、 前記マスク領域内の画素が持つ統計的特徴量と、前記注
   目画素が持つ特徴量とに応じて、前記エッジ領域と前記
   エッジ領域以外の部分を検出するしきい値を適応的に変
   化させるようにしたことを特徴とするエッジ領域検出方
   法。
2. 【請求項２】 前記注目画素周辺の２次元の領域、前記
   注目画素が持つエッジ強度の法線方向にある１次元の領
   域、前記注目画素が持つエッジ強度の法線方向にある前
   記注目画素を境とする前記注目画素の両側の１次元の２
   つの領域、または前記注目画素が持つエッジ強度の法線
   方向にある前記注目画素にフィルタがかからない画素か
   らなる前記注目画素を境とする前記注目画素の両側の１
   次元の２つの領域を、前記マスク領域とすることを特徴
   とする請求項１に記載のエッジ領域検出方法。
3. 【請求項３】 前記マスク領域内の画素が持つ統計的特
   徴量として、前記マスク領域内の画素を空間周波数フィ
   ルタ処理して得られる出力値の平均値、分散値、最小
   値、前記出力値をソートして得られるＮ番目の値又は前
   記出力値をソートして得られる最多頻度値を用い、前記
   注目画素が持つ特徴量として前記注目画素のエッジの強
   度を用いるようにしたことを特徴とする請求項２に記載
   のエッジ領域検出方法。
4. 【請求項４】 前記２つのマスク領域内の画素が持つ統
   計的特徴量として、前記２つのマスク領域内の画素を空
   間周波数フィルタ処理して得られる出力値の各々の平均
   値の和と差と又は前記各々の平均値の和及び差の比を用
   い、前記注目画素が持つ特徴量として、前記注目画素の
   エッジの強度を用いるようにしたことを特徴とする請求
   項２に記載のエッジ領域検出方法。
5. 【請求項５】 前記空間周波数フィルタ処理として、ハ
   イパスフィルタ処理、バンドパスフィルタ処理又はロー
   パスフィルタ処理を用いるようにしたことを特徴とする
   請求項３に記載のエッジ領域検出方法。
6. 【請求項６】 前記空間周波数フィルタ処理として、ハ
   イパスフィルタ処理、バンドパスフィルタ処理又はロー
   パスフィルタ処理を用いるようにしたことを特徴とする
   請求項４に記載のエッジ領域検出方法。
7. 【請求項７】 抽出した前記エッジ領域を符号化して得
   られる符号化データの処理単位の発生情報量に応じて、
   前記エッジ領域を検出する際のしきい値を決定する関数
   を適応的に変化させるようにしたことを特徴とする請求
   項１に記載のエッジ領域検出方法。
8. 【請求項８】 入力画像信号のエッジ領域を検出するエ
   ッジ領域検出方法において、 前記入力画像信号を、所定の空間周波数でフィルタリン
   グ処理してエッジ領域を検出し、 前記入力画像信号をフィルタリング処理して得られた信
   号と、フィルタリング処理していない信号とから、前記
   フィルタリング処理の空間周波数以外の空間周波数を有
   するエッジ領域を検出し、 ２つの検出結果を合成することを特徴とするエッジ領域
   検出方法。
9. 【請求項９】 前記フィルタリング処理された信号の符
   号が変化する領域であり、かつ、前記フィルタリング処
   理される前の信号の変化が所定のしきい値より大きい領
   域を、前記エッジ領域と判定することを特徴とする請求
   項８に記載のエッジ領域検出方法。
10. 【請求項１０】 水平方向に前記フィルタリング処理さ
    れた信号の自乗値と、垂直方向に前記フィルタリング処
    理された信号の自乗値との和の極大値の近傍の領域であ
    って、かつ、前記フィルタリング処理される前の信号の
    変化が所定のしきい値より大きい領域を、前記エッジ領
    域と判定することを特徴とする請求項８に記載のエッジ
    領域検出方法。
11. 【請求項１１】 前記極大値を示す位置から一定の距離
    内の領域を前記エッジ領域とすることを特徴とする請求
    項１０に記載のエッジ領域検出方法。
12. 【請求項１２】 前記極大値を示す画素のエッジ強度の
    法線方向に隣接する画素の領域をエッジ領域とすること
    を特徴とする請求項１１に記載のエッジ領域検出方法。
13. 【請求項１３】 前記極大値を示す画素のエッジ強度の
    法線方向に隣接する画素のうち、小さい値の画素の領域
    をエッジ領域とすることを特徴とする請求項１２に記載
    のエッジ領域検出方法。
14. 【請求項１４】 前記入力画像信号を符号化し、符号化
    後のデータ量に応じて前記エッジ領域と判定する条件を
    変更することを特徴とする請求項に８記載のエッジ領域
    検出方法。