JPH08126003A

JPH08126003A - 画像処理装置及びその方法

Info

Publication number: JPH08126003A
Application number: JP24032594A
Authority: JP
Inventors: Yuji Ito; 裕二伊藤
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 1994-10-04
Filing date: 1994-10-04
Publication date: 1996-05-17

Abstract

(57)【要約】【目的】本発明の目的は、階層的エッジ検出、すなわ
ちユニットエッジ検出、マクロエッジ検出、及びローカ
ルフジャストメントのステップにより、画像データから
エッジ位置情報を得ることができる画像処理装置を提供
する。【構成】本発明に係る画像処理装置は、２次元サイズ
の画像データを受け取り、エッジ位置を示す２値画像を
検出（１００）し、エッジ位置の方向成分を示すユニッ
トエッジ位置情報を検出するユニットエッジ検出部（１
０２）と、ユニットエッジ位置情報の方向成分が相互に
関連するものをグループ化し、マクロエッジ位置情報を
検出するマクロエッジ検出部（１０３）と、マクロエッ
ジ位置情報を受け取り、マクロエッジ位置情報に対応す
る画像データ領域内の各画素値を参照することにより画
素値の遷移位置を求めるローカルアジャストメント部
（１０６）と、マクロエッジ位置情報と、マクロエッジ
位置及び遷移位置との差分とを符号化する符号化部とを
備える。

Description

【発明の詳細な説明】

【０００１】

【従来の技術】国際標準化機構（ＩＳＯ）は、低ビット
速度で動画を符号化する一般的な方法の必要性に応答し
て、ビデオ電話や移動体通信などの種々のアプリケーシ
ョンについてのビデオ符号化標準を構築するため、ＭＰ
ＥＧ−４（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅ
ｒｔＧｒｏｕｐ，Ｐｈａｓｅ４）を１９９３年に形
成した。多くの画像圧縮符号化法の主な目的は、原画像
についての忠実度の高い再生をできるだけ高圧縮率で行
なおうとする。圧縮符号化法の設計に用いられる忠実度
の基準は、性能上大きな役割を果たす。一般に用いられ
ている忠実度の基準は、平均自乗誤差（ＭＳＥ）であ
る。ＭＳＥの主な特質は、その数学的な計算が容易であ
ることと、ＭＳＥの小さな値が感覚的に高品質の再生画
像に実際に対応することである。後者は、人間の目によ
って、再生された画像の最終的な判断が行われるため重
要である。

【０００２】忠実度の基準としてＭＳＥを有する、変換
符号化などの種々の画像符号化技術が開発されてきた。
これらの技術は、１．０ビット／画素か、それ以上のビ
ット速度で比較的高品質な再生画像をもたらすが、その
一方で、特殊な可視的な劣化、例えば、ブロック歪、エ
ッジボケなどを、しばしば、より低ビット速度で生じさ
せる。過去１０年以上にわたり、第２世代符号化技術と
してよく知られている、画像符号化法の新しいクラスが
開発されてきた。これらの方法は、非常に低速のビット
速度でＭＳＥ指向の手法の品質向上を証明し、輪郭線や
テキスチャのような真の実体を一層コンパクトに表現す
ることによって画像を描こうとするものである。それ
故、第２世代符号化法は、未だ実現されていない人間の
目に指向された忠実度の基準で高圧縮率を達成すること
を期待されている。

【０００３】スケッチ画に基づく画像符号化は、このカ
テゴリーの典型的な手段として考えられており、参考と
して引用されてきた。この方法は、輪郭線抽出プロセス
により特徴付けを行うものであり、画素単位の検出によ
り局所的なノイズに対して脆弱であるため、スケッチ画
再生において、有害な歪をもたらす結果となる。

【０００４】

【発明が解決しようとする課題】また、上述の手法以外
に、従来より原画像を２つの構成要素に分解して、それ
らの構成要素を符号化する手法が知られている。この手
法は、原画像を、エッジ情報を含むプライマリコンポー
ネント（１次成分）と、輝度変化の緩やかなスムースコ
ンポーネント（２次成分）とに分解する。分解符号化の
考えは、ヤン（Ｙａｎ）及びサクリソン（Ｓａｋｒｉｓ
ｏｎ）による２成分モデルから生み出され、それ以来、
いくつかの実践的なアプローチが研究されてきた。

【０００５】これらの分解符号化によるすべてのアプロ
ーチは、エッジ抽出、すなわち、検出、表現及び符号化
を中心とするものであり、これは、再生画像の画質、ひ
いては全体の性能に大きなインパクトを有する。大部分
の手法は、ピーク点追跡、つまりエッジ追跡のような画
素単位のエッジ検出を行い、かつ、エッジ位置のシーケ
ンスを符号化するためにチェーン符号化を用いる。しか
しながら、上記手法は、閉曲線の問題や、局所的なノイ
ズへの対処が困難であり、エッジの中断、位置エラー及
び不正確な強度の結果を招く、といったことが指摘され
ている。また、前後関係の情報は、非常に限られた領域
にしか存在しないと考えられるため、物体の境界に対応
する輪郭線と、そうでない輪郭線とを区別する方法はな
かった。

【０００６】本発明の目的は、上記従来技術の課題を解
決し、階層的エッジ検出により、画像データからエッジ
位置情報を得ることができる画像処理装置及びその方法
を提供する。本発明の他の目的は、階層的エッジ検出、
すなわちユニットエッジ検出、マクロエッジ検出、及び
ローカルアジャストメントの各ステップを導入し、エッ
ジ情報をコンパクトに表現するとともに、高品質の画像
を提供する。

【０００７】本発明の他の目的は、画像データの符号化
を、忠実度が優れ、かつ高圧縮率による画像データの符
号化を行う画像処理装置及びその方法を提供する。本発
明の他の目的は、画像データを１次画像成分及び２次画
像成分に分解し、１次画像成分からエツジ指向された１
次画像を再生することができる画像処理装置及びその方
法を提供する。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に、以下の手段を備えるものである。本願の第１の発明
に係る画像処理装置は、２次元サイズの画像データを受
け取り、該画像データから画素値の変化の境界であるエ
ッジ位置を示す２値画像を検出するとともに、該２値画
像から前記エッジ位置の方向成分を示す第１のエッジ位
置情報を対応する画素毎に検出する第１の検出手段と、
前記第１のエッジ位置情報を受け取り、方向成分が相互
に関連する前記第１のエッジ位置情報をグループ化し、
グループ化されたエッジ位置を示す第２のエッジ位置情
報を検出する第２の検出手段と、前記第２のエッジ位置
情報を受け取り、前記第２のエッジ位置情報に対応する
前記画像データ領域内の各画素値を参照することにより
画素値の遷移位置を求める手段と、前記第２のエッジ位
置情報と、前記第２のエッジ位置情報に規定されるエッ
ジ位置と前記遷移位置との差分とを符号化する符号化手
段とを有する。

【０００９】また、第２の発明に係る画像処理装置は、
２次元サイズの画像データを受け取り、該画像データか
ら画素値の境界であるエッジ位置を示すエッジ位置情報
を検出する検出手段と、前記エッジ位置情報を符号化す
る符号化手段と、符号化されたエッジ位置情報に基づき
画像再生を行う画像再生手段と、前記画像データと前記
再生手段により再生された再生画像データとの差分値を
符号化する手段と、エッジ位置情報に基づく画像と差分
値を順次伝送することにより段階的に画質を向上させる
手段ととを有する。本発明によるアプリケーションは、
ＭＰＥＧ−４エリアに関連するものであるため、ターゲ
ットアプリケーションとして、数種の物体を取り扱うビ
デオ電話や携帯通信が好ましい。こうした意向により、
胸像のテストシーケンスがシミュレーションに用いられ
る。

【００１０】

【作用】本発明によれば、階層的エッジ検出（実施例に
示すユニットエッジ検出、マクロエッジ検出及びローカ
ルアジャストメントのステップ）を用いたことにより、
エッジコントラスト指向性の符号化手法を提供すること
ができ、人間の視覚システムの精神視覚性質を考慮し、
優れた画像データの符号化処理を行うことができる。

【００１１】

【実施例】以下、本発明の画像処理装置の実施例につい
て図面を参照して詳細に説明する。図１は、本実施例の
画像処理装置に係る分解符号化の構成を示すブロック図
である。同図に示すように、原画像は、エッジ抽出部１
０に供給され、ここで画像内の物体の輪郭線などに関す
るエッジ情報が抽出される。抽出されたエッジ情報は、
データ最適化部１２に供給され、高圧縮化を図るために
エッジ情報の冗長性が取り除かれる。こうして、原画像
から抽出されたエッジ情報に関するプライマリコンポー
ネント（１次成分）１４が得られる。

【００１２】また、プライマリコンポーネント１４は、
画像再生部１６へ供給され、プライマリコンポーネント
に基づき１次画像１８が再生される。そして、再生され
た１次画像１８は、差分器２０において、原画像と差分
が求められ、この差分値は、差分符号化部２２へ供給さ
れる。ここで、差分値について可変サイズブロックによ
るＤＣＴ処理が行われ、符号化されたスムースコンポー
ネント（２次成分）２４が得られる。図２は、図１のエ
ッジ抽出部における階層化エッジ抽出プロセスを示す図
である。原画像からのエッジ抽出のプロセスは、ラプラ
シアンフィルタ１００、ユニットエッジ検出部１０２、
マクロエッジ検出部１０４、ローカルアジャストメント
部１０６、及び強度計算部１０８の各々を介して行われ
る。

【００１３】先ず、原画像として、４８０＊７０４画素
サイズの画像データ（輝度成分）が、ラプラシアンフィ
ルタ１００へ供給され、周知のラプラシアン処理が施さ
れる。つまり、各画素についての変化を示す２次微分デ
ータが求められる。なお、色差成分の画像データは、４
８０＊７０４を１／２でサンプリングされたサイズであ
り、これらのデータは、後述する強度計算部１０８にお
いて用いられる。次に、ラプラシアン処理されたデータ
は、ユニットエッジ検出部１０２に供給され、正確なエ
ッジ位置を示す２値画像が、μ＋Ｋ・σをしきい値に用
いることで得られる。ここで、μ、σ、Ｋは、それぞれ
平均、導関数空間の標準偏差、及び係数である。エッジ
位置の概念は、画像データ内の各画素の輝度が急峻に、
かつ連続的に変化する場合、その変化の境界を表すもの
として用いられる。

【００１４】そして、図３に示すような、８つの方向を
示すセグメントパターンを用い、原画像内のエッジ位置
を示す画素についてマッチングを行う。マッチングのた
めのパターンは、テンプレイトＴｎ（ｎ＝０，１，．．
７）によって示され、（ｊ，ｋ）での各エントリは、ｔ
ｎ（ｊ，ｋ）によって表される。Λ（ｘ，ｙ）を、５＊
５画素λ（ｘ＋ｊ，ｙ＋ｋ）からなるサブ領域であるよ
うにする（ｊ，ｋ＝０，１，２，３，４）。ＴｎとΛ
（ｘ，ｙ）間の相互相関ＣＲｎ（ｘ，ｙ）は、次式によ
って計算される。

【数１】

【００１５】従って、もし、ＣＲｎ（ｘ，ｙ）が７に等
しいか、あるいは、７以上であるようなｎが存在すれ
ば、フラグが、ｎビット平面の座標（ｘ，ｙ）に立つ。
これは、テンプレイトＴｎが座標（ｘ，ｙ）で、ユニッ
トエッジと呼ぶマッチングパターンとして選択されたこ
とを示す。例えば、あるエッジ位置を示す画素について
のマッチングにおいて、処理対象となる当該画素を、テ
ンプレイトの中心（３行３列の位置）に位置させ、仮
に、当該画素の近隣画素が水平方向に位置しているので
あれば、テンプレイトＴ４が選択され、当該画素のエッ
ジ位置は、Ｔ４の方向成分を持つものとして処理され
る。なお、図中”１”及び”２”の数値は、マッチング
の重み付けを示すものであり、本実施例では、”２”
が”１”よりも重いものとして処理している。

【００１６】次に、マクロエッジ検出部１０４により、
ユニットエッジの検出された画素についてグループ化、
すなわち、マクロ化が行われる。上述のように、ユニッ
トエッジは８つの方向のテンプレイトによって規定され
るが、これらの各ユニットエッジを、連続的な相におい
て、１６方向に規定されるマクロエッジに接続する。

【００１７】マクロエッジに規定される１６の方向は、
５行＊９列の画素マトリックスを想定し、処理すべき当
該画素が１行、５列、（１，５）に位置するものとする
と、その真下の（５，５）の位置を方向”０”とし、そ
れから順に（５，４）、（５，３）・・・（５，１）を
それぞれ方向”１”、”２”・・”４”とし、また、順
に（４，１）、（３，１）、（２，１）をそれぞれ方
向”５”、・・・”７”とする。同様に、方向”０”か
ら順に右側に（５，６）、（５，７）・・・（５，９）
をそれぞれ方向”１５”、”１４”・・・”１２”と
し、また、順に（４，９）、（３，９）、（２，９）、
（１，９）をそれぞれ方向”１１”、”１０”・・・”
８”とする。ユニットエッジの方向ｎは、式（２）に規
定されるＮに対応し、Ｎは、接続のためのサーチ処理が
行われる基本方向の中心である。

【数２】Ｎ＝２ｎ・・・（２）

【００１８】マクロエッジにおける接続の方向は、３つ
の候補、すなわち、Ｎ，Ｎ−１，Ｎ＋１の方向の中から
検出されなければならない。例えば、あるユニットエッ
ジがテンプレイトＴ１であれば、Ｎ＝２であり、従っ
て、１、２、及び３の方向から接続されるべきユニット
エッジが検出される。選択の基準は、一番長いマクロエ
ッジを抽出することができる方向に、ユニットエッジが
接続されなければならない。各候補の方向において、マ
クロエッジが接続されるかどうかは、ユニット長Ｌｕｎ
ｉｔ（４画素をいう）によってセグメント化された各接
続点で決定される。もし、ビット面ｎ，ｎ−１，ｎ＋１
のフラグが接続点付近に生じるならば、マクロエッジ
が、接続点まで延長される。どの程度の大きさの領域
が、こうした決定のためにカウントされるかは、実施す
るものに依存する。なお、マクロエッジの接続処理終了
後、そのマクロエッジ上に位置することとなる画素のユ
ニットエッジは消去される。

【００１９】ここで、図４及び図５を参照して具体的な
マクロエッジ検出例を説明する。ユニットエッジを以下
の手順で接続することによりマクロエッジを検出する。
まず、ｎ−ビット平面上に展開されているユニットエッ
ジを（２）式に対応するように見かけ上Ｎ−ビット平面
に展開されていると考える。いま、Ｎ−ビット平面上に
フラグが立っているとすると、その位置をこれから検出
するマクロエッジの始点Λとする。始点Λから方向Ｎに
ユニットエッジをＬ個接続する際にサーチする点を接続
点Π_N,Lと定義し、Ｌ_unit＝４の場合のΛとΠ_N,Lとの
位置関係を図４に示す。この実施例ではサーチ窓をΠ
_N,Lを中心とする３×３画素領域としており、Ｎ，Ｎ−
１，Ｎ＋１−ビット平面上でこの領域にフラグが立って
いれば接続数Ｌを順次インクリメントしてサーチを繰り
返し、接続ができた最後の接続点を方向Ｎの候補マクロ
エッジの終点とする。同一始点から方向Ｎ−１及び方向
Ｎ＋１の候補マクロエッジも検出し（これらの場合、例
えば方向Ｎ−１のサーチではＮ−２もしくはＮ−ビット
平面上でサーチ窓の中にフラグが立っていれば接続と判
断する）、これら３候補の中で接続数Ｌが最大のものを
最終的にマクロエッジとして検出する。もし、最大の接
続数Ｌを持つ候補が複数存在するならば、２次の尺度と
してサーチ窓中のフラグの総数を用い、この数が大きい
方を選択する。次に、ユニットエッジの接続例を図５に
示す。罫線で区切られた最小の領域は画素であり、各構
成図は画像上の同一の部分領域を表している。Ｎビット
平面を走査してフラグが立っている最初の位置をマクロ
エッジの始点Λとする。この例では、２−ビット平面上
でΛが求められる。従って、接続のためのサーチは、０
−ビット平面で方向１のサーチ、２−ビット平面で方向
１、２及び３のサーチ、４−ビット平面で方向３のサー
チをすることになる。方向１、２及び３のサーチにおい
て、それぞれ接続数Ｌが最大になる場合のΠ_N,Lの位置
を図５の下段に示す。この例では、最終的にΠ₁、₃が
検出するマクロエッジの終点となる。

【００２０】こうして、各ユニットエッジについてのマ
クロエッジの検出が行われ、グループ化されたマクロエ
ッジの開始位置、１６のいずれかの方向、及び長さが得
られる。次に、ローカルアジャストメント部１０６にお
いて、求められたマクロエッジを用い、所定の長さＬｅ
ｘｔ（本実施例では、７画素）でマクロエッジを包む矩
形領域をエッジベルトＥとして規定する。図６は、ベル
トエッジの例であり、マクロエッジに平行な軸と垂直な
軸をそれぞれｐ，ｑとする。そして、エッジベルトＥ上
の画素値を、ε（ｘ，ｙ）として表す。

【００２１】一般に、実際のエッジは、エッジベルトＥ
のマクロエッジに沿って存在するものと仮定することが
できる。実際のエッジを正確に位置させるために、画素
のグレイレベルの変化（８ビット階調）を、マクロエッ
ジに垂直な軸ｑに沿って検査する。そのステップを説明
する。（ｉ）先ず、エッジベルト内のすべての画素のグレイレ
ベルの平均値φを計算する。（ｉｉ）もし、各画素のグレイレベルが、平均値ψより
も小さいならば、ε（ｘ，ｙ）に対応する画素に０をマ
ークし、平均値ψよりも大きければ、エッジベルトＥの
各画素について１をマークする。（ｉｉｉ）０から１、または１から０への遷移が生じる
所へ実際のエッジを位置させる（マクロエッジ上の軸に
ついて、そのような遷移を生じない画素を表すデフォル
ト値”０”を使用する）。（ｉｖ）０と１の双方によってマークされた画素につい
ての平均値を各々計算することにより、理想的なステッ
プ関数を有するエッジプロファイルを近似し、低い方の
強度δ₀と、高い方の強度δ₁をそれぞれ得る。

【数３】

【００２２】ここで、τ₀とτ₁は、合計式（３）、
（４）の各条件を満足する画素数を示す。図７は、ロー
カルアジャストメント部１０６により得られたスケマチ
ック例を示すものである。実際のエッジ位置は、太線で
追跡される。また、軸ｑ＝０の画素のシーケンスがマク
ロエッジに対応する。なお、強度計算部１０８は、ロー
カルアジャストメント部１０６の結果に基づき、上記合
計式（３）、（４）の計算を行う。また、強度計算部１
０８は、色差成分についても同様の強度計算を行う。

【００２３】以上のプロセスによって得られたエッジデ
ータは、図１に示すエッジ抽出部１０からデータ最適化
部１２へ出力される。データ最適化部１２は、高圧縮率
を達成するために、冗長性及びあまり重要でない情報を
抽出されたエッジデータから除去し、エッジデータを符
号化する。（ｉ）ローカルアジャストメントローカルアジャストメント部１０６によって得られた実
際のエッジは、上述の図７に示すように、マクロエッジ
方向に沿った低域通過特性を有するため、所定期間Ｌｓ
ｕｂでサブサンプリングすることによりデータを削減
し、削減されたデータについて差分符号化を行う。（ｉｉ）強度また、ウエバーフェフナ法を用いて、輝度差しきい値を
参照し、これによって、人間の視覚感度においてあまり
重要でないエッジを除去する。ΔＩを照度Ｉの輝度差し
きい値とする。ΔＩは、輝度差がΔＩに到達するか、ま
たは、それを越えるときに、輝度が顕著になるように規
定される。

【数４】

【００２４】ΔＩ／Ｉが視覚感度Ｅの大きさを良く与え
るものと仮定して、上記式は、係数ζで表すことができ
る。

【数５】これを積分して、

【数６】Ｅ＝ζ′ｌｏｇＩ・・・（７）ウエバーフェフナ法を符号化法に適用するために、独自
の定義を用いて式（５）を変形する。すなわち、下式を
満足するマクロエッジが、プライマリコンポーネントの
データから除去される。

【数７】δ₁−δ₀≦θψ・・・（８）

【００２５】実際のケースでは、輝度及びクロミナンス
について、それぞれθｙとθｃをセットすることができ
る。

【表１】

【００２６】表１は、プライマリコンポーネントに関す
るマクロエッジを符号化するためのメッセージを示すも
のである。マクロエッジの幾何学的な情報として、マク
ロエッジの始点、方向、及びユニットの長さが、所定の
範囲、及びビット数をもって符号化される。また、ロー
カルアジャストメントについては、マクロエッジと実際
のエッジ位置との差が符号化される。また、本実施例で
は、輝度及びクロミナンスの双方の要素を符号化する。
幾何学的な情報及びローカルアジャストメントは、ルミ
ナンス要素を用いて得られ、他方、クロマ（色）の意味
を表すフラグ以外の強度は、各カラー要素ごとに計算さ
れる。

【００２７】次に、画像再生部１６について説明する。
プライマリコンポーネント１４は、エッジ関連データ、
すなわち、幾何情報及び各マクロエッジの強度のみを含
む。それ故、ある種の内挿／外挿法が、エッジベルト以
外の領域内のグレイレベルを予測するために用いられな
ければならない。再生プロセスは、（ｉ）幾何情報、ローカルアジャストメント及び強度
（すなわち、コントラスト）を用い、各エッジベルト内
の画素を描く。ローカルアジャストメントに関しては、
隣接するサンプリング点間の実際のエッジ位置が線形的
に内挿される。こうして、エッジベルト内の各画素は、
実際のエッジが位置する側に依存してグレイレベルを与
えられる。（ｉｉ）８方向の参照画素を内挿に用いて、画素基準上
のグレイレベルを予測するωｉとαｉを、参照画素と予
測される画素からの距離にし、それぞれを、方向ｉ上の
φによって示す（図８参照）。他の参照画素は、φとω
ｉ間に存在しない。ωｉを参照画素ωｉでのグレイレベ
ルにし、そして、φによって示される予測される画素の
グレイレベルが、下式から求められる。

【数８】

【００２８】グレイレベルでの滑らかな変化を得るため
に、近接のエッジベルトから遠方に至るまで、このよう
な処理が行われる。可変サイズブロックでのセグメンテ
ーションが、画像全体に施され、そして、小さなブロッ
クから大きなブロックまで内挿が行われる。

【００２９】次に、差分符号化部について説明する。画
像再生部１６によって再生された１次画像１８は、なめ
らかな領域、つまり、強度変化の緩やかな領域での詳細
を欠如しているが、知覚的に優れた描写を提供する。こ
の領域での詳細を補充するために、人間の視覚システム
のエッジ指向感度を基礎とする、いわゆる可変ブロック
サイズ符号化処理が用いられる。すなわち、小さなブロ
ックサイズによる符号化はエッジの近隣で行われ、他
方、大きなブロックサイズによる符号化はエッジからの
距離が増加する時に使用される。ブロックサイズ８＊
８、１６＊１６及び３２＊３２の組み合わせが、高圧縮
率を達成するために適用される。こうして、ＳＮＲのス
ケラビリティによって第２次画像として定義される高品
質な画像を得ることができる。

【００３０】本手法は、エッジ情報を利用した非線形標
本化を特徴とする符号化であり、その処理の概要を図９
に示す。上述したように（図１）、原画像２００と１次
成分画像１８との差分値が差分器２０によって求めら
れ、この差分値が非線形標本化部２０２へ供給される。
画像の局所的な性質に応じてブロックサイズを変化させ
る非線形標本化は適応ブロック符号化法と呼ばれ、様々
な実現手法が提案されている。それらの大部分は、ブロ
ックサイズを示す情報やブロックの分割を示す情報を付
加的に伝送している。本手法は１次成分の符号化データ
であるエッジ（ローカルアジャストメント適用後）の情
報を活用して非線形標本化を実現するため付加的な情報
を必要としない。本実施例では、３種類の大きさのブロ
ック、すなわち３２画素Ｓ＊３２素、１６画素＊１６画
素および８画素＊８画素の正方形ブロック、を用いる。
まず、画像と同じ大きさのビット平面上にエッジを展開
し、エッジの要素が存在する位置にフラグを立てる。次
に、３２画素−３２画素ブロックで線形標本化を行な
う。そして、各ブロックについて当該ブロック内にフラ
グが立っていれば４つの１６画素×１６画素ブロックに
分割し、フラグが立っていなければそのままとする。同
様に次の段階では１６画素×１６画素ブロックについて
当該ブロック内にフラグが立っていれば４つの８画素×
８画素ブロックに分割し、フラグが立っていなければそ
のままとする。このように、エッジからの距離に依存し
てブロックサイズを変化させることにより、視覚評価の
向上が期待できる。

【００３１】非線形標本化以降の処理は、一般的に行わ
れている離散コサイン変換部２０４、係数量子化及び有
為ブロック判定部２０６、係数走査部２０８及びラン・
レベル符号化部２１０によって順次行われる。離散コサ
イン変換（ＤＣＴ）を用いた符号化、例えばカラー静止
画像符号化標準であるＪＰＥＧ（ＪｏｉｎｔＰｈｏｔ
ｏｇｒａｐｈｉｃＥｘｐｅｒｔＧｒｏｕｐ；ＩＳＯ
−１０９１８）や動画像符号化標準であるＭＰＥＧ−１
（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧ
ｒｏｕｐＰｈａｓｅ−１：ＩＳＯ／ＩＥＣ−１１１７
２）及びＭＰＥＧ−２（ＭｏｖｉｎｇＰｉｃｔｕｒｅ
ｓＥｘｐｅｒｔＧｒｏｕｐＰｈａｓｅ−２：ＩＳ
Ｏ／ＩＥＣ−１３８１８）と基本的に同じである。相違
点としては、これらの標準が８画素×８画素の離散コサ
イン変換を用いているのに対し、提案手法では非線形標
本化に伴い３種類（すなわち、３２画素×３２画素、１
６画素×１６画素および８画素×８画素）の離散コサイ
ン変換を用いていることが挙げられる。

【００３２】次に、本実施例のシミュレーションの結果
を以下に示す。上記本実施例の性能をシミュレートし、
ＭＰＥＧ−２のイントラ画像（フレーム内）符号化の性
能と比較した。シミュレーション条件は、Ｋ＝１．０、
Ｌｕｎｉｔ＝４画素、Ｌｅｘｔ＝７画素、θｙ＝０．１
０、θｃ＝０．０２、Ｌｓｕｂ＝４画素である。

【００３３】図１０に示すように、画素サイズが７０４
画素＊４８０行のテストシーケンス”Ｓｕｓｉｅ”を用
いる。カラーフォーマットは、４：２：０であり、ま
た、８ビット／画素である。マクロエッジ検出及びロー
カルアジャストメントの結果を、それぞれ図１１及び図
１２に示す。再生画像、すなわち１次画像及び第２次画
像をそれぞれ図１３、１５に示し、それら及びＨＰＥＧ
−２イントラ画像の対応するＳＮＲを表２に示す。

【表２】内挿処理及び差分符号化の双方に用いられる可変サイズ
ブロックでのセグメンテーションを図１４に示す。この
例では、原画像から抽出されたマクロエッジは２５５個
存在する。なお、同図（ａ）は初期分割画像、同図
（ｂ）は第２段階分割画像、同図（ｃ）は最終分割画像
を示す。

【００３４】本実施例による階層的エッジ検出は、エッ
ジ情報のコンパクトな表現を与えるものであり、それ
故、１次画像は、図１３に示されるような物体やシーン
の大まかな概要を与える。プライマリコンポーネントに
関する圧縮率は、２５０：１以上であるが、画質は、そ
れ自身では適切なものではなかった。スムースコンポー
ネントの追加は、圧縮率７０：１以上を達成し、かなり
画質を向上させる。上記シミュレーション結果から、本
実施例による画像圧縮符号化法は、低ビット速度で、Ｍ
ＰＥＧ−２フレーム内（イントラ）画像符号化と匹敵す
るＳＮＲで、より高画質を提供する。

【００３５】本発明は、差分符号化を備えた階層的エッ
ジ検出を用いた符号化法に基づく特徴を有するものであ
る。このアプローチは、最近の低ビット速度／高圧縮率
画像符号化法についての必要性に対応して成されたもの
である。本発明の実施例で用いられたモデルは、基本的
に、エッジ要素を含むプライマリコンポーネントと、ゆ
っくりとした強度変化を示すスムースコンポーネントと
に画像を分解する。シミュレーションと通して得た本発
明の効果は、以下のようである。

【００３６】第１に、本実施例の手法は、上述したよう
なＭＰＥＧ−２イントラ画像符号化（Ｉ−ピクチャー）
の性能を改良し、他方、物体の精度に基づくＭＳＥは匹
敵できる。第２に、このような性能改良に主に貢献する
ものは、階層的エッジ検出を用いたエッジ情報の効果的
な表し方と、差分符号化、つまり可変ブロックサイズ符
号化を基礎とした感覚的なチューニングである。さら
に、本実施例は、１次画像から２次画像への段階的転送
を可能にし、画像データベースなどにおけるブラウジン
グのようなアプリケーションに好ましく、他方、第２世
代符号化技術の大部分はこの特徴を与えるものではな
い。

【００３７】

【発明の効果】本発明に係る画像処理装置によれば、階
層エッジ検出（実施例に示すユニットエッジ検出、マク
ロエッジ検出及びローカルアジャストメントのステッ
プ）を用いたことにより、エッジコントラスト指向性の
符号化法を提供することができ、また、人間の視覚シス
テムの精神視覚性質を考慮し、優れた画像データの符号
化処理を行うことができる。

【図面の簡単な説明】

【図１】本実施例の画像処理装置に係る分解符号化の構
成を示すブロック図。

【図２】図１のエッジ抽出部における階層化エッジ抽出
プロセスを示す図。

【図３】８方向のセグメントパターンを示す図。

【図４】マクロエッジ検出におけるΛとΠとの位置関係
を示す図。

【図５】マクロエッジ検出におけるユニットエッジの接
続例を示す図。

【図６】エッジベルトの概念を示す図。

【図７】ローカルアジャストメントの例を示す図。

【図８】１次画像の再生におけるφとωｉとの関係を示
す図。

【図９】可変ブロックサイズ符号化法のステップを示す
図。

【図１０】テストシーケンス”Ｓｕｓｉｅ”を示す図。

【図１１】マクロエッジ検出の結果を示す図。

【図１２】ローカルアジャストメントの結果を示す図。

【図１３】１次画像を示す図。

【図１４】可変サイズブロックでのセグメンテーション
を示す図。

【図１５】２次画像を示す図。

【符号の説明】

１０エッジ抽出部１２データ最適化部１４プライマリコンポーネント１６画像再生部１８１次画像２０差分器２２差分符号化部２４スムースコンポーネント１００ラプラシアンフィルタ１０２ユニットエッジ検出部１０４マクロエッジ検出部１０６ローカルアジャストメント部１０８強度計算部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 5/208

Claims

【特許請求の範囲】

【請求項１】（ａ）２次元サイズの画像データを受け
取り、該画像データから画素値の変化の境界であるエッ
ジ位置を示す２値画像を検出するとともに、該２値画像
から前記エッジ位置の方向成分を示す第１のエッジ位置
情報を対応する画素毎に検出する第１の検出手段と、
（ｂ）前記第１のエッジ位置情報を受け取り、方向成分
が相互に関連する前記第１のエッジ位置情報をグループ
化し、グループ化されたエッジ位置を示す第２のエッジ
位置情報を検出する第２の検出手段と、（ｃ）前記第２
のエッジ位置情報を受け取り、前記第２のエッジ位置情
報に対応する前記画像データ領域内の各画素値を参照す
ることにより画素値の遷移位置を求める手段と、（ｄ）
前記第２のエッジ位置情報と、前記第２のエッジ位置情
報に規定されるエッジ位置と前記遷移位置との差分とを
符号化する符号化手段とを有する画像処理装置。
【請求項２】請求項第１項において、前記第２のエッ
ジ位置情報には、グループ化されたエッジの長さ、方
向、及び開始位置を示す幾何学的情報が含まれることを
特徴とする画像処理装置。
【請求項３】請求項第１項において、前記画素値の遷
移位置を求める手段は、前記画像データ領域内の各画素
値の平均値と、各画素値とを比較することにより行われ
ることを特徴とする画像処理装置。
【請求項４】（ａ）２次元サイズの画像データを受け
取り、該画像データから画素値の境界であるエッジ位置
を示すエッジ位置情報を検出する検出手段と、（ｂ）前
記エッジ位置情報を符号化する符号化手段と、（ｃ）符
号化されたエッジ位置情報に基づき画像再生を行う画像
再生手段と、（ｄ）前記画像データと前記再生手段によ
り再生された再生画像データとの差分値を符号化する手
段と、（ｅ）エッジ位置情報に基づく画像と差分値を順
次伝送することにより段階的に画質を向上させる手段
と、を有する画像処理装置
【請求項５】請求項第４項において、前記符号化手段
は、エッジ位置情報を利用した非線形標本化により前記
差分値を符号化する手段を含むことを特徴とする画像処
理装置。
【請求項６】（ａ）２次元サイズの画像データを受け
取り、該画像データから画素値の変化の境界であるエッ
ジ位置を示す２値画像を検出し、（ｂ）前記２値画像か
ら前記エッジ位置の方向成分を示す第１のエッジ位置情
報を対応する画素毎に検出し、（ｃ）前記第１のエッジ
位置情報を受け取り、方向成分が相互に関連する前記第
１のエッジ位置情報をグループ化し、グループ化された
エッジ位置を示す第２のエッジ位置情報を検出し、
（ｄ）前記第２のエッジ位置情報を受け取り、前記第２
のエッジ位置情報に対応する前記画像データ領域内の各
画素値を参照することにより画素値の遷移位置を求め、
（ｅ）前記第２のエッジ位置情報と、前記第２のエッジ
位置情報に規定されるエッジ位置と前記遷移位置との差
分とを符号化するステップを有する画像処理方法。