JP3496734B2 - エッジ領域検出装置及び方法 - Google Patents
エッジ領域検出装置及び方法Info
- Publication number
- JP3496734B2 JP3496734B2 JP05025095A JP5025095A JP3496734B2 JP 3496734 B2 JP3496734 B2 JP 3496734B2 JP 05025095 A JP05025095 A JP 05025095A JP 5025095 A JP5025095 A JP 5025095A JP 3496734 B2 JP3496734 B2 JP 3496734B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- signal
- area
- pixel
- edge area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Analysis (AREA)
Description
方法に関し、特に画像を限られた伝送容量の伝送媒体で
伝送したりテープレコーダ等へ記録し及び又は再生する
ために、画像中の物体の輪郭線を重点的に保存する高能
率符号化方法を用いて輪郭線抽出する場合に適用して好
適なエッジ領域検出装置及び方法に関する。
持つ相関の高さを利用して冗長性を削減するものであ
り、画像信号の伝送や記録の際に必要不可欠なものであ
る。従来の画像信号の高能率符号化方法として、予測符
号化のような画像を画素単位に扱う符号化方法、離散コ
サイン変換(DCT(Discrete Cosine Transform ))
に代表される直交変換符号化方法、ウエーブレット変換
のようなサブバンド符号化方法等が存在する。
フレーム内DPCM(DifferentialPulse Code Modulat
ion)等があり、これは原画素と復号化した近傍画素の
差分を量子化して符号化するものである。この予測符号
化方法は、必要な圧縮率が1/2乃至1/4程度とそれ
ほど高くない場合には有効であるが、それ以上の高圧縮
率符号化には適さない。一方、直交変換符号化やサブバ
ンド符号化は、圧縮率が1/10以上と高い場合に用い
られており、その中でも、現在は、DCTを用いた符号
化方法が一般的に多く用いられている。これはDCTが
高速アルゴリズムを有し、ハード化が容易である等の理
由によるものであり、国際標準(JPEG、MPEG)
にも採用されている。
本的に、画像信号の低周波成分の電力がきわめて大きい
という特徴を利用するものであり、DCTによって求め
られた画像信号の周波数成分を量子化する際に、低周波
成分の量子化ステップサイズは小さくし、高周波成分の
ステップサイズは大きくすることによって、全体として
情報量を圧縮するようにしている。しかしながら、量子
化を行うことによってブロック歪みとモスキート雑音が
生じてしまうという問題があり、特にマクロブロックを
単位とした処理であることに起因するブロック歪みは、
符号化速度が低い場合に顕著になる。このため、超低ビ
ットレートの画像符号化を行うためには新たな高能率符
号化方法が望まれていた。
トでの伝送や記録を目的とした画像符号化方法として、
人間の視覚特性が物体の輪郭線に特に敏感であるという
ことを考慮し、原画像中の輪郭線部分を重点的に保存す
ることにより、低ビットレートでも視覚的に優れた復元
性を実現しようとする方法が提案されている。このよう
な原画像中の輪郭線部分を重点的に保存する画像信号符
号化方法においては、いかに効率良く物体の輪郭線を抽
出(検出)するかが重要になる。
ッジ領域抽出手順を図18に示す。すなわち入力画像信
号AD0は、ソーベルフィルタ等のエッジ検出オペレー
タを用いてエッジ抽出を行うエッジ強度算出処理部AP
1、AP2に入力され、そこで処理されてエッジ強度信
号AD1、AD2が出力される。エッジ強度算出処理部
AP1、AP2においては、図19に示す3×3のタッ
プ係数を有するソーベルフィルタを用いて、それぞれ水
平方向のエッジ強度信号AD1と、垂直方向のエッジ強
度信号AD2を求める。このエッジ強度信号AD1、A
D2は、注目画素のエッジ強度の絶対値和を得るため、
それぞれ乗算器AP3、AP4において自乗され、水平
方向のエッジ強度信号電力AD3、垂直方向のエッジ強
度信号電力AD4となる。
と垂直方向のエッジ強度信号電力AD4は、加算器AP
5によって加算され、注目画素のエッジ強度を示す信号
AD5を得る。このエッジ強度を示す信号AD5としき
い値Tを比較器AP6に入力することによって、注目画
素がテクスチャ領域かエッジ領域かを判断する。その判
断方法は、次のようなものである。すなわち、エッジ強
度を示す信号AD5がしきい値Tより大きい場合には、
注目領域内に物体の輪郭線等のエッジが含まれていると
判断してエッジ領域とし、エッジ強度を示す信号AD5
がしきい値Tより小さい場合には、注目領域内に強いエ
ッジが無いと判断してテクスチャ領域とする。
度を示す信号AD5がしきい値Tよりも小さければテク
スチャ領域としてフラグ0を、エッジの強度を示す信号
AD5がしきい値T以上であればエッジ領域としてフラ
グ1をエッジ検出回路の出力AD6として比較器AP6
から送出することによって、エッジ領域の分割(検出)
を行う。
服の皺や模様、頭髪、木の幹の模様、家屋の屋根の瓦な
どは、強いエッジ強度を持ち、パターンも複雑なため、
エッジを抽出(検出)した際に、非常に短いエッジの集
まりとして(エッジ領域として)検出される。
ては、例えばエッジ領域の符号化を、その各画素の位置
情報とエッジの強度を用いてチェーンコーディングとハ
フマン符号化(Huffman Coding)で行い、テクスチャ領
域の符号化を、DCTとハフマン符号化を用いて行う
が、上述したような微細なエッジを多数有する領域は、
エッジ領域として扱い、短い多数のエッジを個々にチェ
ーンコーディングによって符号化するより、テクスチャ
領域として扱い、DCT等を用いて符号化した方が効率
が良い。
導出されるエッジの強度に対し、一定のしきい値を用い
てエッジ領域の検出処理を行うようにしているため、テ
クスチャ内のエッジと、物体間の輪郭部分のエッジを識
別することが困難である課題があった。
検出用のフィルタとして図19に示すように、3×3の
ソーベルフィルタを用い、水平方向と垂直方向のフィル
タリング値の自乗和をエッジ強度AD5として、しきい
値処理を行っていた。しかしながら図20に示すよう
に、線幅が1画素(画素c)の輪郭線である場合、その
線が細すぎるため(周波数が高すぎるため)、エッジ強
度AD5の極大点が一箇所(画素d)しか得られない、
すなわち、輪郭線の片側エッジしか抽出できない(画素
bが抽出できない)という課題があった。
方しか検出できない)と、図20に示すように、再構成
画像の画質が劣化する。すなわち、図20の上の図にお
いて、横軸は画素の位置を示し、縦軸は原画素値を示
し、図中の実線は原画素の大きさ(輝度値)を示してい
る。この図に示される画素列に対するソーベルフィルタ
によるエッジ強度AD5は、図20の中央の図に示され
るように、画素dにおいてのみ極大値を示すため、マス
ク画素(エッジ領域の画素)として検出される画素は画
素dのみとなり、他方の輪郭線の画素である画素bはマ
スク画素として検出されない。
値は、エッジ強度AD5の法線方向(図20の水平方
向)の両脇の画素である画素cと画素eの画素値ととも
に、エッジ情報として保存される。これらの画素c,
d,eの画素値と併せて、原画像中から一定間隔でサン
プリングして抽出された局所輝度信号としての画素a,
fの画素値が、原画像を再構成する過程において用いら
れる。
e,fの画素値を直線補間して求められ、図20の下の
図中の実線で示されるような画素値が得られることとな
る。原画像と再構成画像を比較した場合、画素幅1の輪
郭線近傍において、エッジとして検出された画素dの側
の画像は再現することが出来ているが、エッジとして検
出できていない画素bの側においては、点線で示される
原画素と実線で示される再構成画素値の間に差が生じて
いる(原画像が正確に再現されていない)ことが分か
る。
された画素から画像を補間して復元画像を得る様な超低
ビットレートでの画像圧縮の手法において、輪郭線抽出
が不十分であると、原画像を再構成する際に色漏れが生
じ、画質が著しく劣化する課題あった。
で、原画像の再構成の際に色漏れの発生を抑制すること
が出来るエッジ領域検出方法を提案するものである。
領域検出装置は、入力画像信号を、所定の空間周波数で
フィルタリング処理してエッジ領域を検出するエッジ領
域検出手段と、入力画像信号をフィルタリング処理して
得られた信号と、フィルタリング処理していない信号と
から、フィルタリング処理の空間周波数以外の空間周波
数を有するエッジ領域を検出する判断処理手段と、エッ
ジ領域検出手段の検出結果及び判断処理手段の処理結果
とを合成する合成手段とを備えることを特徴とする。
入力画像信号のエッジ領域を検出するエッジ領域検出方
法において、入力画像信号を、所定の空間周波数でフィ
ルタリング処理してエッジ領域を検出し、入力画像信号
をフィルタリング処理して得られた信号と、フィルタリ
ング処理していない信号とから、フィルタリング処理の
空間周波数以外の空間周波数を有するエッジ領域を検出
し、2つの検出結果を合成することを特徴とする。
出された所定の空間周波数を有するエッジ領域と、その
空間周波数以外の空間周波数を有するエッジ領域とが検
出され、2つの検出結果が合成される。したがって、細
いエッジ(周波数の高いエッジ)領域でも検出すること
が出来、原画像の再構成の際における色漏れを抑制する
ことができる。
述する。
法の一部として用いられる。物体の輪郭線の保存に重点
を置いた画像信号符号化方法の代表的なものとして、3
CC(3 Component Coding)がある。3CCは、原画像
信号を、画像のもつ視覚的重要度に応じて局所輝度情
報、エッジ情報及びテクスチャ情報に分割し、それぞれ
情報の重要度に応じて符号化を行うものである。
コード処理手順を図2に示す。
まず入力画像信号BD0から画像の局所的な輝度情報を
表す局所輝度(Local Luminance )成分を求めて符号化
する局所輝度発生及び符号化処理部BP1から出力され
る局所輝度信号BD1と、画像の輪郭線すなわちエッジ
情報(Edge Information)部分を抽出して符号化するエ
ッジ情報検出及び符号化処理部BP2から出力されるエ
ッジ情報信号BD2をそれぞれ得る。
号BD2から、エッジ画像を再構成するエッジ情報復号
化及び再構成処理部BP3において得られた再構成エッ
ジ画像信号BD3と、入力画像信号BD0との差分を加
算器(減算器)BP4で求めることによりテクスチャ画
像信号BD4を得る。テクスチャ画像信号BD4は、エ
ントロピー符号化を行うテクスチャ情報符号化処理部B
P5によって符号化され、出力信号BD5となる。従っ
て入力画像信号BD0は最終的に、符号化された局所輝
度信号BD1、符号化されたエッジ情報信号BD2及び
符号化されたテクスチャ信号BD5に変換される。
ては、まず符号化された局所輝度信号CD1(図1のB
D1に対応する)が、局所輝度復号化及び再構成処理部
CP1に入力され、復元された信号CD4を得る。また
符号化されたエッジ情報信号CD2(図1のBD2に対
応する)と、局所輝度を復元した信号CD4がエッジ情
報復号化及び再構成処理部CP2に入力され、これによ
りエッジ再構成画像信号CD5を得る。さらに符号化さ
れたテクスチャ信号CD3(図1のBD5に対応する)
もテクスチャ情報復号化処理部CP3において復号化さ
れ、テクスチャ画像信号CD6となる。最後にエッジ再
構成画像信号CD5とテクスチャ画像信号CD6を加算
器CP4で加算することにより再構成画像信号CD7を
得る。
BP2のエッジ領域の符号化処理においては、まずエッ
ジ領域の各画素の位置情報と振幅情報を用いてチェーン
コーディングを行なった後に、エントロピー符号化を行
っている。一方、テクスチャ情報符号化処理部BP5の
テクスチャ領域の符号化には、DCTに代表される変換
符号化方法とハフマン符号化が併せて用いられている。
そこで極端に短いエッジ領域を多数符号化した場合、そ
の領域をエッジ領域としてチェーンコーディングすると
符号化効率が極端に悪化してしまう恐れがある。
いてエッジの強度を求めた後、その注目領域をエッジ領
域として符号化するか、テクスチャ領域として符号化す
るかを注目領域の特性によって区別する必要が生じてく
る。そこでこの実施例では、エッジ情報検出および符号
化処理部BP2において、注目領域をエッジ領域又はテ
クスチャ領域に分割する際のしきい値を、原画像の特性
を考慮して可変にするようにした。このエッジ領域抽出
手順を、図3に示す。
(図1のBD0に対応する)はソーベルフィルタを用い
たエッジ強度算出処理部DP1、DP2に入力され、エ
ッジ強度信号DD1、DD2を得る。このときエッジ強
度算出処理部DP1、DP2では、図19において示し
た場合と同様に、3×3のタップ係数を有するソーベル
フィルタが用いられ、水平方向のエッジ強度を示すエッ
ジ強度信号DD1と、垂直方向のエッジ強度を示すエッ
ジ強度信号DD2を得る。このエッジ強度信号DD1、
DD2は、それぞれ乗算器DP3、DP4において自乗
され、水平方向のエッジ強度信号電力DD3と、垂直方
向のエッジ強度信号電力DD4となる。
と垂直方向のエッジ強度信号電力DD4は、加算器DP
5によって加算され、注目画素のエッジ強度を示す信号
DD5を得る。この処理部までの処理は、図18に示し
た従来のエッジ領域抽出手順の処理と同じであるが、こ
の実施例では、これに加えて、エッジ領域とテクスチャ
領域を分割(検出)するためのしきい値を注目領域の特
性によって適正化する。
領域と、テクスチャ内のエッジ領域の特性の違いを考慮
に入れた場合、エッジ領域とテクスチャ領域を分割(識
別)するための特徴量として、画素値(階調値)の局所
的な変化特性と、大局的な変化特性を示す指標値を用い
るのが有効である。階調値の局所的な変化特性を表す特
徴量としては、エッジ領域か否かを判定する際に用いる
重要な特徴量である注目画素のエッジ強度がある。ま
た、大局的な特徴量としては、注目画素周辺の空間周波
数の分布をあげることができる。
性を示す特徴量として、空間周波数を示す特徴量を用い
るようにする。このため、フィルタリング処理部DP7
において、HPF(ハイパスフィルタ)、BPF(バン
ドパスフィルタ)またはLPF(ローパスフィルタ)の
処理を行うようにする。このハイパスフィルタの例とし
ては、図19に示したソーベルフィルタなどがあり、バ
ンドパスフィルタの例としては図4に示されるタップ係
数のものが上げられる。図4や図19に示されたフィル
タは、タップ数が3×3であるが、この他に5×5、7
×7などのタップ数が異なるフィルタも適用することが
できる。
的な変化特性を表す特徴量である空間周波数を示す特徴
量の一定領域内における平均値、分散値、最小値、最大
値、Nランク、モードなどを用いる。ここで用いるNラ
ンクとは、領域内の出力値をソートした後に得られるN
番目の値を意味し、モードは領域内の出力値をソートし
た後に得られる最多頻度値を意味する。そしてこのよう
に大局的な変化特性を示す特徴量を求める際に必要な局
所的特徴量を得るためのマスク領域を、マスク領域設定
処理部DP8で、注目画素周辺に設定する。
8に示されるような矩形形状の領域が用いられる。図5
に示すマスク領域MSK1は、注目画素PLを中心とす
る2次元の方形(この実施例の場合、正方形)窓領域で
あり、注目画素PL周辺の一定領域内の大局的な変化特
性を、このマスク領域MSK1内で得ることができる。
目画素PLが持つエッジ強度の法線方向(図中左右方
向)にある1次元の領域であり、これは一般的に画像の
特性はエッジ領域を境として大きく変わると考えられる
ため、エッジ強度の法線方向に1次元の窓を設定するこ
とにより、階調値(画素値)の変化をより確実に得よう
とするものである。
MSK32は、注目画素PLが持つエッジ強度の法線方
向にある注目画素PLを境とする注目画素PLの両側の
1次元の領域であり、片側の1次元のマスク領域をそれ
ぞれ第1のマスク領域MSK31、第2のマスク領域M
SK32とする。これはエッジ領域を境として大きく変
わる階調値の変化を、エッジの両側の特徴量の関係から
得ようとするものである。
のマスク領域MSK31、MSK32を改良したもので
あり、局所的な特徴量を求める際に用いられるハイパス
フィルタやバンドパスフィルタのタップがかからない画
素(3×3のタップの外側の画素)のみを第1及び第2
のマスク領域MSK41、MSK42とするものであ
る。これはエッジの両側の特徴量に注目画素の影響が含
まれることにより、階調値の変化が不明瞭になることを
避けようとするものである。
をハイパスフィルタ処理とし、図5のマスク領域MSK
1内において、局所的特性としてハイパスフィルタから
の出力値を得、さらにマスク領域設定処理部DP8にお
いて、大局的特性としてその(ハイパスフィルタ出力
の)平均値、分散値、最小値、Nランク又はモードを得
ることができる。ハイパスフィルタの代わりにバンドパ
スフィルタやローパスフィルタを用いても良い。同様に
図6のマスク領域MSK2内において、ハイパスフィル
タ、バンドパスフィルタ又はローパスフィルタからの局
所的な特性としての出力値を得、大局的な特性としての
その平均値、分散値、最小値、Nランク又はモード等の
各種の特性を表す特徴量を得ることができる。
31、MSK32又はMSK41、MSK42を用いる
場合は、ハイパスフィルタ、バンドパスフィルタ又はロ
ーパスフィルタからの出力値の平均値、分散値、最小
値、Nランク又はモード等を、上述した各種の大局的な
特性を表す特徴量とする以外に、2つのマスク領域MS
K31、MSK32又はMSK41、MSK42の平均
値の和と差、あるいは2つのマスク領域MSK31、M
SK32又はMSK41、MSK42の平均値の和と差
の比を特徴量とすることができる。
値決定の処理手順は、図3において、処理部DP7、D
P8、DP9において行われる。まず、原画像の画素信
号DD0がフィルタリング処理部DP7に入力され、そ
こでハイパスフィルタ、バンドパスフィルタまたはロー
パスフィルタ処理が行われ、その結果得られる出力信号
DD7がマスク領域設定処理部DP8に入力される。こ
こでは、所定のマスク領域(図5乃至図8に示したよう
なマスク領域)を設定し、設定されたマスク領域内から
大局的な特徴量DD8が算出される。しきい値決定処理
部DP9においては、加算器DP5が出力するエッジ強
度を示す信号DD5(局所的な特徴量)と、マスク領域
設定処理部DP8が出力する大局的な特徴量DD8をパ
ラメータとするしきい値関数F()に応じてしきい値D
D9が求められる。
領域とエッジ領域を分割(識別)するために最適だと思
われるしきい値を取れるようにシミュレーションによっ
て決定されるものである。しきい値が決定された後、エ
ッジ強度を示す信号DD5としきい値決定処理部DP9
から出力されるしきい値信号DD9を比較器DP6に入
力することによって、注目画素がテクスチャ領域かエッ
ジ領域かを判断する。比較器DP6からの出力信号DD
6として、注目領域がテクスチャ領域のとき0を、エッ
ジ領域のとき1を得る。
として、注目画素周辺のマスク領域内の画素値に対する
ハイパスフィルタ、バンドパスフィルタ又はローパスフ
ィルタの出力値から求められる統計的特徴量(大局的な
特徴量)と、注目画素に応じたエッジ強度(局所的な特
徴量)を組み合わせて、エッジ領域とそれ以外の部分を
分割(識別)するしきい値を変化させるようにしたこと
により、従来の一定のしきい値を用いる方法に比較し
て、一段と確実かつ効率的に画像領域を分割して画像中
のエッジ領域を抽出し得る。
は視覚的に重要であるとみなし、比較的弱いエッジ強度
を持つ領域でもエッジ領域として抽出する一方、階調値
(画素値)の変化が大きい領域のエッジはテクスチャ内
に存在する場合が多いため、比較的強いエッジ強度を持
つ領域でもエッジ領域として抽出しない(テクスチャ領
域として検出する)ようにすることができる。
をハイパスフィルタ処理して得られた出力値の平均値、
又は2つのマスク領域内の画素をハイパスフィルタ処理
して得られた出力値の各々の平均値と、注目画素のエッ
ジ強度とを用いたしきい値処理の実施例を、図9乃至図
11を用いて説明する。前者で使用される特徴量は、注
目画素のエッジ強度Eと、1つのマスク領域内の画素を
ハイパスフィルタ処理して得られた出力の平均値Mの2
つであり、後者で使用される特徴量は、注目画素のエッ
ジ強度Eと、2つのマスク領域内の画素をハイパスフィ
ルタ処理して得られた出力の平均値M1、M2の3つであ
る。
(この処理も、図1のエッジ情報検出及び符号化処理部
BP2において行われる)。すなわち、原画像の画素信
号DD0がソーベルフィルタを用いたエッジ強度算出処
理部DP1、DP2に入力される。エッジ強度算出処理
部DP1、DP2では、図19において示した場合と同
様に、3×3のタップ係数を有するソーベルフィルタが
用いられ、水平方向のエッジ強度を示すエッジ強度信号
DD1と、垂直方向のエッジ強度を示すエッジ強度信号
DD2を得る。
れぞれ乗算器DP3、DP4において自乗され、水平方
向のエッジ強度信号電力DD3と、垂直方向のエッジ強
度信号電力DD4となる。次に水平方向のエッジ強度信
号電力DD3と垂直方向のエッジ強度信号電力DD4
は、加算器DP5によって加算され、注目画素のエッジ
強度を示す信号DD5を得る。
ルタ処理(この実施例の場合、このハイパスフィルタ処
理は、エッジ強度算出処理部DP1、DP2のソーベル
フィルタにより行われる)して得られる出力の平均値M
又はM1 、M2 を求めるため、まず水平方向のエッジ強
度信号DD1と、垂直方向のエッジ強度信号DD2をマ
スク領域設定処理部EP3に入力し、エッジ強度信号D
D1とエッジ強度信号DD2の比からエッジの法線方向
を求め、マスク領域の位置情報ED3を決定する。次に
マスク領域の位置情報ED3と注目画素のエッジ強度を
示す信号DD5を、ハイパスフィルタの出力の平均値M
又はM1 、M2 を算出する平均値算出処理部EP7に入
力することによって、そこでハイパスフィルタの出力の
平均値信号ED7を得る。
平均値信号ED7と注目画素のエッジ強度を示す信号D
D5をしきい値決定処理部EP8に入力することによっ
て、しきい値ED8を得る。しきい値決定処理部EP8
において用いられるしきい値関数として、前者の場合
(平均値Mを用いる場合)、図10に示されるような注
目画素のエッジ強度Eと、マスク領域内の平均値Mの関
係を示す一次関数F1 ()が用いられる。この一次関数
F1 ()を用いた場合、ハイパスフィルタの出力の平均
信号ED7がx1のとき、しきい値Tは一次関数F
1 ()によってT1 =F1 (x1 )として求められ、出
力信号ED7がx2 (>x1 )のとき、しきい値TはT
2 =F1 (x2 )となる(T1 <T2 )。
大きいとき、しきい値Tを大きくすることによって、ラ
ンダムノイズや細かいパターンをエッジ領域として認識
しにくくすることができる。なおしきい値関数F1 ()
は図10に示されるような一次関数だけでなく、二次以
上の高次関数を適用するようにしても良い。
場合)、しきい値関数として、図11に示されるような
しきい値Tと2つのマスク領域内の平均値M1 、M2 の
関係を示す関数F2 ()が用いられる。しきい値関数F
2 ()の例として、次式 {M1−(aT−b)}{M2−(aT−b)}=c・・・(1) (但し、a,b,cは定数である)があげられる。
(1)式に従って、マスク領域内の平均値M1 、M2 の
値に対応して、しきい値T(エッジ強度E)が得られ
る。
に、異なる原画像に対する符号化効率を一定にする必要
が生じる。このため、図12に示すように、符号化後の
データ量によってエッジ領域として抽出する割合を調節
できるエッジ領域抽出手順を用いる。すなわち、このエ
ッジ領域抽出手順では、原画像の入力信号BD0が局所
輝度成分BD1、エッジ情報成分BD2、およびテクス
チャ成分BD5へと変換処理された後、バッファメモリ
FP6に入力される。
は、画像圧縮後の出力結果となると同時に、エッジ情報
検出及び符号化処理部BP2にフィードバックされ、符
号化処理後の圧縮率の調整に使用される。エッジ情報検
出及び符号化処理部BP2では、図13のエッジ領域抽
出手順に示すように、バッファメモリFP6の出力信号
FD6がしきい値決定処理部DP9に入力されることに
よって、しきい値を決定する関数F()の調整が行われ
る。このように、このエッジ領域検出方法を用いること
により注目領域の特性に合った符号化手法を選択するこ
とができ、符号化効率の向上をはかることができる。
成を行うと、エッジ抽出手順で得られたエッジ領域の画
素値と、一定間隔でサンプリングして得られた画素値を
用いて線形補間を行うため、エッジ領域が抽出できなか
った領域においては、色漏れや画質の劣化が発生する。
これを抑制するため、エッジ情報検出及び符号化処理部
BP2において、図14に示すエッジ領域抽出手順を採
用することができる。
ソーベルフィルタ等のエッジ検出オペレータを用いてエ
ッジ抽出を行うエッジ強度算出処理部DP1、DP2に
入力され、そこで処理されてエッジ強度信号DD1、D
D2が出力される。エッジ強度算出処理部DP1、DP
2においては、図19に示す3×3のタップ係数を有す
るソーベルフィルタを用いて、それぞれ水平方向のエッ
ジ強度信号DD1と、垂直方向のエッジ強度信号DD2
を求める。このエッジ強度信号DD1、DD2は、注目
画素のエッジ強度の絶対値和を得るため、それぞれ乗算
器DP3、DP4において自乗され、水平方向のエッジ
強度信号電力DD3、垂直方向のエッジ強度信号電力D
D4となる。
と垂直方向のエッジ強度信号電力DD4は、加算器DP
5によって加算され、注目画素のエッジ強度を示す信号
DD5を得る。このエッジ強度を示す信号DD5としき
い値Tを比較器DP6に入力することによって、注目画
素がテクスチャ領域かエッジ領域かを判断する。すなわ
ち、エッジ強度を示す信号DD5がしきい値Tより大き
い場合には、注目領域内に物体の輪郭線等のエッジが含
まれていると判断してエッジ領域とし、エッジ強度を示
す信号DD5がしきい値Tより小さい場合には、注目領
域内に強いエッジが無いと判断してテクスチャ領域とす
る。
度を示す信号DD5がしきい値Tよりも小さければテク
スチャ領域としてフラグ0を、エッジの強度を示す信号
DD5がしきい値T以上であればエッジ領域としてフラ
グ1を、出力DD6として比較器DP6から送出する。
但し、上述したように、比較器DP6では、1画素幅の
(高い周波数の)輪郭線の一方のエッジしか検出するこ
とができない。
過帯域(処理帯域)に含まれる周波数のエッジ領域を検
出することができるが、上述したように、例えば1画素
幅の、狭いエッジなど、周波数の高い(ソーベルフィル
タの通過帯域外の周波数の)エッジ領域は、正確に検出
することができない。そこで、この実施例においては、
判断処理部HP7において、ソーベルフィルタの通過帯
域外の周波数を有するエッジ領域を検出する。このた
め、判断処理部HP7には、入力画像信号DD0と、エ
ッジ強度算出処理部DP1と、DP2より出力されたエ
ッジ強度信号DD1と、DD2が供給されている。
1(ソーベルフィルタにより求められた水平方向の画素
値の1次元の1次微分値)の符号が変化する領域をまず
検出する。例えば図15に示すように、画素bと画素c
の間の領域が符号の変化する領域として検出される。
符号が変化する領域の近傍の画素値の変化が大きい場
合、その近傍をエッジ領域(マスク領域)と判定する。
例えば図15の実施例において、画素dと画素bの画素
値の差がA、画素bと画素cの画素値の差がBとなって
おり、A>Bの場合において、Bが予め設定されている
しきい値以上のとき、画素b,c,dをマスク画素(エ
ッジ領域の画素)とする。
2についても同様の処理を実行する。そして、少なくと
も一方の処理の結果、エッジ領域が判定されたとき、論
理1の判断信号HD7を出力する。
ように、判断処理部HP7には、エッジ強度信号DD
1,DD2に代えて、エッジ強度信号電力DD3,DD
4を供給することもできる。この場合、判断処理部HP
7は、2つのエッジ強度信号電力DD3とDD4を加算
し、図16の下の図に示すように、その加算値の極大点
(最大値)を求める。そして、その極大点に対応する画
素(画素d)の近傍の画素(画素b,c,d)の値を調
べ、その値の変化A,Bが、予め設定してある所定のし
きい値以上であるとき、極大点の近傍の画素(画素b,
c,d)をエッジ領域の画素として判定する。エッジ領
域と判定した場合、判断信号HD7の論理は1とされ、
それ以外の場合(テクスチャ領域の場合)、その論理は
0とされる。
P7より供給される判断信号HD7が1であるとき、新
たなマスク画素を生成し、判断信号HD7が0であると
き、マスク画素を設定しない。
素設定処理は、例えば次のように行われる。
HD7が1である場合、一定領域内の画素全てがエッジ
領域として設定される。例えば図15においては、画素
a,b,c,d,eの全てがマスク画素とされる。すな
わち、この場合においては、エッジ強度信号DD1,D
D2の符号が変化する境界部近傍や、エッジ強度信号電
力DD3,DD4の和の極大点の近傍(2次元の範囲)
の全ての画素がマスク画素とされる。
法線方向の一定の範囲内にある画素がマスク画素とされ
る。この場合においては、平面的(2次元的)な範囲で
はなく、直線的な一定の範囲内にある画素がマスク画素
とされる。図15の実施例においては、画素a,b,
c,d,eがマスク画素とされる。
ッジの法線方向上の一定の範囲内にある画素のうち、画
素値の差が小さいエッジ側の画素(差AとBのうち、小
さい方の差B側の画素)が、マスク画素とされる。図1
5の実施例においては、画素bがマスク画素とされる。
は、マスク画素のタイミングにおいて、論理1のマスク
画素信号HD8を出力する。加算器HP9は、比較器D
P6の出力する信号DD6と、エッジ補足処理部HP8
が出力する信号HD8とを加算し、信号HD9として出
力する。この信号HD9は、ソーベルフィルタのフィル
タリング処理により検出された所定の空間周波数を有す
るエッジ領域はもとより、1画素幅の狭いエッジ領域
(高い周波数のエッジ領域)においても、エッジ検出信
号とされる。
い輪郭線のエッジ領域も検出することができ、再構成画
像における色漏れを抑制し、再構成画像の画質を向上さ
せることができる。
化処理後のデータ量を一定の値に制御する必要がある場
合においては、図17に示すように、バッファメモリF
P6の出力するデータ量に対応する信号FD6を、判断
処理部HP7に供給し、判断処理部HP7において、信
号FD6に対応して判断基準に用いるしきい値の値を変
更するなど、判断条件を変更するようにすることができ
る。
ィルタリング処理して、エッジ領域を検出するととも
に、フィルタリング処理する空間周波数以外の空間周波
数を有するエッジ領域をも検出し、2つの検出結果を合
成するようにしたので、1画素幅の狭いエッジでも、検
出することができ、画像の再構成時における補間処理に
よる色漏れを抑制し、再構成画像の画質を向上させるこ
とができる。
3CCのエンコード処理手順を示すブロック図である。
ある。
順を示すブロック図である。
ドパスフィルタのタップ係数の構成を示す図である。
元のマスク領域を説明する図である。
元のマスク領域を説明する図である。
元の他のマスク領域を説明する図である。
元のさらに他のマスク領域を説明する図である。
順を示すブロック図である。
数を説明する特性曲線図である。
数を説明する他の特性曲線図である。
処理手順を示すブロック図である。
回路付きエッジ領域抽出手順を示すブロック図である。
ロック図である。
図である。
す図である。
抽出手順を示すブロック図である。
すブロック図である。
るソーベルフィルタのタップ係数を示す図である。
明する図である。
Claims (8)
- 【請求項1】 入力画像信号のエッジ領域を検出するエ
ッジ領域検出装置において、 前記入力画像信号を、所定の空間周波数でフィルタリン
グ処理してエッジ領域を検出するエッジ領域検出手段
と、 前記入力画像信号をフィルタリング処理して得られた信
号と、フィルタリング処理していない信号とから、前記
フィルタリング処理の空間周波数以外の空間周波数を有
するエッジ領域を検出する判断処理手段と、 前記エッジ領域検出手段の検出結果及び前記判断処理手
段の処理結果とを合成する合成手段とを備えることを特
徴とするエッジ領域検出装置。 - 【請求項2】 入力画像信号のエッジ領域を検出するエ
ッジ領域検出方法において、 前記入力画像信号を、所定の空間周波数でフィルタリン
グ処理してエッジ領域を検出し、 前記入力画像信号をフィルタリング処理して得られた信
号と、フィルタリング処理していない信号とから、前記
フィルタリング処理の空間周波数以外の空間周波数を有
するエッジ領域を検出し、 2つの検出結果を合成することを特徴とするエッジ領域
検出方法。 - 【請求項3】 前記フィルタリング処理された信号の符
号が変化する領域であり、かつ、前記フィルタリング処
理される前の信号の変化が所定のしきい値より大きい領
域を、前記エッジ領域と判定することを特徴とする請求
項2に記載のエッジ領域検出方法。 - 【請求項4】 水平方向に前記フィルタリング処理され
た信号の自乗値と、垂直方向に前記フィルタリング処理
された信号の自乗値との和の極大値の近傍の領域であっ
て、かつ、前記フィルタリング処理される前の信号の変
化が所定のしきい値より大きい領域を、前記エッジ領域
と判定することを特徴とする請求項2に記載のエッジ領
域検出方法。 - 【請求項5】 前記極大値を示す位置から一定の距離内
の領域を前記エッジ領域とすることを特徴とする請求項
4に記載のエッジ領域検出方法。 - 【請求項6】 前記極大値を示す画素のエッジ強度の法
線方向に隣接する画素の領域をエッジ領域とすることを
特徴とする請求項5に記載のエッジ領域検出方法。 - 【請求項7】 前記極大値を示す画素のエッジ強度の法
線方向に隣接する画素のうち、小さい値の画素の領域を
エッジ領域とすることを特徴とする請求項6に記載のエ
ッジ領域検出方法。 - 【請求項8】 前記入力画像信号を符号化し、符号化後
のデータ量に応じて前記エッジ領域と判定する条件を変
更することを特徴とする請求項に2に記載のエッジ領域
検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP05025095A JP3496734B2 (ja) | 1994-04-30 | 1995-03-10 | エッジ領域検出装置及び方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11381094 | 1994-04-30 | ||
JP6-113810 | 1994-04-30 | ||
JP05025095A JP3496734B2 (ja) | 1994-04-30 | 1995-03-10 | エッジ領域検出装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0816793A JPH0816793A (ja) | 1996-01-19 |
JP3496734B2 true JP3496734B2 (ja) | 2004-02-16 |
Family
ID=26390700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP05025095A Expired - Fee Related JP3496734B2 (ja) | 1994-04-30 | 1995-03-10 | エッジ領域検出装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3496734B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1022678B1 (en) | 1999-01-25 | 2011-03-23 | Nippon Telegraph And Telephone Corporation | Method, apparatus and program storage medium for embedding and detecting a digital watermark |
WO2003081534A1 (en) * | 2002-03-26 | 2003-10-02 | Koninklijke Philips Electronics N.V. | Video signal post-processing method |
JP4071701B2 (ja) | 2003-11-11 | 2008-04-02 | 富士通株式会社 | カラー画像の圧縮方法及びカラー画像圧縮装置 |
JP4661934B2 (ja) | 2008-10-09 | 2011-03-30 | 株式会社デンソー | 画像処理装置 |
JP5290915B2 (ja) | 2009-09-03 | 2013-09-18 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6087739B2 (ja) * | 2013-06-07 | 2017-03-01 | Kddi株式会社 | 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム |
WO2015079282A1 (en) * | 2013-11-28 | 2015-06-04 | Intel Corporation | Method for determining local differentiating color for image feature detectors |
-
1995
- 1995-03-10 JP JP05025095A patent/JP3496734B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0816793A (ja) | 1996-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6434275B1 (en) | Block distortion reduction method and device and encoding method and device | |
JP3495766B2 (ja) | 画像処理方法 | |
US6825886B2 (en) | Picture signal processing method and apparatus | |
KR101193267B1 (ko) | 화상 처리 장치 및 처리 방법 | |
RU2260922C2 (ru) | Способ предварительного подавления шума изображения | |
JP3496734B2 (ja) | エッジ領域検出装置及び方法 | |
JP3365784B2 (ja) | 画像信号復号化装置 | |
KR100683060B1 (ko) | 영상 프레임의 블록화 현상 제거 장치 및 그 방법 | |
JPH0276385A (ja) | 画像データ圧縮装置 | |
JP3985232B2 (ja) | 画像符号化方法及び画像符号化装置 | |
JPH07307942A (ja) | 画像雑音除去装置 | |
JPH07296171A (ja) | 画像領域分割方法 | |
JP3634345B2 (ja) | 画像符号化方法及び画像符号化装置 | |
JP3620661B2 (ja) | 画像信号符号化方法及び画像信号符号化装置 | |
JP3458972B2 (ja) | 画像領域分割方法 | |
JP3485192B2 (ja) | 画像信号復号化装置 | |
KR100712382B1 (ko) | 에이치.264 동영상 표준 부호화 방식의 성능 향상을 위한전처리 필터링 방법 | |
JPH0522709A (ja) | 画像信号復号化装置 | |
KR100203695B1 (ko) | 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치 | |
JPH0993585A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
JP3487999B2 (ja) | 映像信号再生装置 | |
JP2518681B2 (ja) | 動画像の縦続的符号化方式 | |
JPH09161078A (ja) | 符号化方法と符号化装置及び復号化方法と復号化装置 | |
JPH08102859A (ja) | 画像符号化方法及び画像符号化装置 | |
JPH07298261A (ja) | 画像信号符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031030 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071128 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081128 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091128 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091128 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101128 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101128 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |