WO2005111933A1 - 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 - Google Patents

Abstract

　本発明は、例えば解像度の変換に適用して、画素値の勾配が最も大きなエッジ勾配方向ｖ１、このエッジ勾配方向ｖ１に直交するエッジ方向ｖ２を検出し、エッジ勾配方向ｖ１、エッジ方向ｖ２にそれぞれエッジ強調、平滑化処理して出力画像データＤ２を生成する。

Description

明細書

画像処理装置、 画像処理方法、 画像処理方法のプログラム及び画像処理方法の プログラムを記録した記録媒体 技術分野

本発明は、 画像処理装置、 画像処理方法、 画像処理方法のプログラム及び画像 処理方法のプログラムを記録した記録媒体に関し、 例えば解像度の変換に適用す ることができる。 本発明は、 画素値の勾配が最も大きなエッジ勾配方向、 このェ ッジ勾配方向に直交するエッジ方向を検出し、 エッジ勾配方向、 エッジ方向にそ れぞれエッジ強調、 平滑化処理して出力画像データを生成することにより、 高周 波成分の喪失を有効に回避しつつ、 ジャギーの発生を防止することができるよう にする。 発明の背景

背景技術

従来、 画像処理においては、 例えば線型補間処理、 バイキュービック変換処理 により、 解像度を変換するようになされており、 例えば日本特開 2 0 0 3— 2 2 4 7 1 5号公報には、 このような画像処理を簡易な構成により実行する方法が提 案されるようになされている。

しかしながらこのような画像処理においては、 エッジの部分にジャギーが発生 し、 ジャギーが目立たなくなるように線型補間処理の特性、 バイキュービック変 換処理の特性を設定すると、 画像より高周波成分が失われてシャープさの欠けた ぼけた画像となる問題がある。 なおこのような画像のぼけは、 テキスチャ一の部 分で著しいことにより、 テキスチャ一の部分でこのような処理の特性を切り換え ることも考えられるが、 この場合、 特性の切り換え箇所で異質感、 ちらつきが発 生する。 発明の開示

本発明は以上の点を考慮してなされたもので、 高周波成分の喪失を有効に回避 しつつ、 ジャギーの発生を防止することができる画像処理装置、 画像処理方法、 画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を 提案しようとするものである。

かかる課題を解決するため本発明においては、 入力画像データを処理して出力 画像データを出力する画像処理装置に適用して、 入力画像データの各画素毎に、 画素値の勾配が最も大きなェッジ勾配方向と、 エツジ勾配方向と直交するエツジ 方向とを検出するエッジ検出部と、 エッジ検出部の検出結果に基づいて、 出力画 像データの各画素毎に、 エッジ方向に画像データを平滑化処理して、 出力画像デ 一タの各画素に対応する画素値を順次検出するエッジ方向処理部と、 エッジ検出 部の検出結果に基づいて、 出力画像データの各画素毎に、 エッジ方向処理部から 出力される画素値をエッジ勾配方向に輪郭強調処理して、 出力画像データの画素 値を順次出力するェッジ勾配方向処理部とを備えるようにする。

本発明の構成により、 入力画像データを処理して出力画像データを出力する画 像処理装置に適用して、 入力画像データの各画素毎に、 画素値の勾配が最も大き なエッジ勾配方向と、 エッジ勾配方向と直交するエッジ方向とを検出するエッジ 検出部と、 エッジ検出部の検出結果に基づいて、 出力画像データの各画素毎に、 エッジ方向に画像データを平滑化処理して、 出力画像データの各画素に対応する 画素値を順次検出するエツジ方向処理部と、 エツジ検出部の検出結果に基づいて 、 出力画像データの各画素毎に、 エッジ方向処理部から出力される画素値をエツ ジ勾配方向に輪郭強調処理して、 出力画像データの画素値を順次出力するエッジ 勾配方向処理部とを備えるようにすれば、 画素値の勾配が最も大きなエッジ勾配 方向と、 このエッジ勾配方向に直交するエッジ方向とでそれぞれエッジ強調、 平 滑化処理して出力画像データを生成することができ、 これに高周波成分の喪失を 有効に回避しつつ、 ジャギーの発生を防止することができる。

また本発明においては、 入力画像データを処理して出力画像データを出力する 画像処理方法に適用して、 入力画像データの各画素毎に、 画素値の勾配が最も大 きなェッジ勾配方向と、 エツジ勾配方向と直交するエツジ方向とを検出するエツ ジ検出ステップと、 エッジ検出ステップによる検出結果に基づいて、 出力画像デ 一タの各画素毎に、 エッジ方向に画像データを平滑化処理して、 出力画像データ の各画素に対応する画素値を順次検出するエツジ方向処理ステップと、 エツジ検 出ステップによる検出結果に基づいて、 出力画像データの各画素毎に、 エッジ方 向処理ステップで検出された画素値をエッジ勾配方向に輪郭強調処理して、 出力 画像データの画素値を順次出力するエッジ勾配方向処理ステップとを備えるよう にする。

これにより本発明の構成によれば、 高周波成分の喪失を有効に回避しつつ、 ジ ャギ一の発生を防止することができる画像処理方法を提供することができる。 また本発明においては、 演算処理手段による実行により、 入力画像データを処 理して出力画像データを出力する画像処理方法のプログラムに適用して、 入力画 像データの各画素毎に、 画素値の勾配が最も大きなエッジ勾配方向と、 エッジ勾 配方向と直交するエッジ方向とを検出するエッジ検出ステップと、 エッジ検出ス テツプによる検出結果に基づいて、 出力画像データの各画素毎に、 エッジ方向に 画像データを平滑化処理して、 出力画像データの各画素に対応する画素値を順次 検出するエッジ方向処理ステップと、 エッジ検出ステップによる検出結果に基づ いて、 出力画像データの各画素毎に、 エッジ方向処理ステップで検出された画素 値をエッジ勾配方向に輪郭強調処理して、 出力画像データの画素値を順次出力す るエッジ勾配方向処理ステップとを備えるようにする。

これにより本発明の構成によれば、 高周波成分の喪失を有効に回避しつつ、 ジ ャギ一の発生を防止することができる画像処理方法のプログラムを提供すること ができる。

また本発明においては、 演算処理手段による実行により、 入力画像データを処 理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体 に適用して、 画像処理方法のプログラムは、 入力画像データの各画素毎に、 画素 値の勾配が最も大きなェッジ勾配方向と、 エツジ勾配方向と直交するエツジ方向 とを検出するエッジ検出ステップと、 エッジ検出ステップによる検出結果に基づ いて、 出力画像データの各画素毎に、 エッジ方向に画像データを平滑化処理して 、 出力画像データの各画素に対応する画素値を順次検出するエッジ方向処理ステ ップと、 エッジ検出ステップによる検出結果に基づいて、 出力画像データの各画 素毎に、 ェッジ方向処理ステツプで検出された画素値をェッジ勾配方向に輪郭強 調処理して、 出力画像データの画素値を順次出力するエッジ勾配方向処理ステツ プとを備えるようにする。

これにより本発明の構成によれば、 高周波成分の喪失を有効に回避しつつ、 ジ ャギ一の発生を防止することができる画像処理方法のプログラムを記録した記録 媒体を提供することができる。 本発明によれば、 高周波成分の喪失を有効に回避しつつ、 ジャギーの発生を防 止することができる。 図面の簡単な説明

第 1図は、 本発明の実施例に係る画像処理装置の構成を示す機能プロック図で ある。

第 2図は、 画素勾配の行列の生成に供する略線図である。

第 3図は、 ェッジ勾配方向及びェッジ方向の説明に供する略線図である。

第 4図は、 エッジ方向処理部の動作の説明に供する略線図である。

第 5図は、 平滑化処理範囲の設定に供するパラメータを示す特性曲線図である 第 6図は、 平滑化処理範囲の設定に供する他のパラメータを示す特性曲線図で ある。

第 7図は、 エッジ勾配方向処理部の動作の説明に供する略線図である。

第 8図は、 プレンド処理部の設定に供するパラメータを示す特性曲線図である 第 9図は、 プレンド処理部の設定に供する他のパラメータを示す特性曲線図で ある。 発明を実施するための最良の形態

以下、 適宜図面を参照しながら本発明の実施例を詳述する。

( 1 ) 実施例の構成

第 1図は、 本発明の実施例に係る画像処理装置を示す機能プロック図である。 この画像処理装置 1は、 演算処理手段である例えばディジタルシグナルプロセッ サにより形成され、 この演算処理手段により所定の処理プログラムを実行するこ とにより、 入力画像データである画像デ一タ D 1の解像度を図示しないコント口 ーラにより指示された解像度に変換して出力する。 これによりこの画像処理装置 1では、 画像データ D 1による画像を拡大、 縮小してなる出力画像データ D 2を 生成し、 表示手段等に出力するようになされている。

なおこの実施例において、 この演算処理手段に係る処理プログラムにおいては 、 この画像処理装置にプリインス トールされて提供されるようになされているも のの、 このような処理プログラムの提供にあっては、 例えばインターネット等に よるネットワークを介したダウンロードにより提供するようにしてもよく、 さち には種々の記録媒体を介して提供するようにしてもよい。 なおこのような記録媒 体においては、 光ディスク、 メモリカード、 着脱可能なハードディスク装置等、 種々の記録媒体に広く適用することができる。

この画像処理装置 1において、 エッジ検出部 2は、 画像データ D 1の各画素毎 に、 画素値の勾配が最も大きなエッジ勾配方向、 このエッジ勾配方向と直交する エッジ方向を検出する。 すなわちエッジ検出部 2において、 勾配行列生成部 3は 、 例えばラスタ走査順に順次注目画素を切り換え、 第 2図に示すように、 この注 目画素を中心とした範囲 Wにおける画素値を用いた演算処理により、 次式により 表される輝度勾配の行列 Gを各画素毎に生成する。 なおここで第 2図は、 注目画 素を中心にした X方向及び y方向の ± 3画素をこの範囲 Wに設定した例である。

G = f g^Tw d A

. j) _g ) _w i )

( 1 )

、 ^G, y ノ また w⁽ⁱ'^j) は、 （2) 式により表されるガウス型の重みであり、 gは、 画像輝 度 Iの X方向の偏微分 gx と、 画像輝度 Iの y方向の偏微分 gy とにより （3) 式で表される輝度勾配である。

2

i²+j ヽ

w、 Θ X p (2)

2 σ² J _tlL) ― ₍₃)

dx dy J これによりエッジ検出部 2において、 勾配行列生成部 3は、 注目画素を中心と した所定範囲 Wについて、 注目画素を基準にして重み付け処理してなる輝度勾配 を検出するようになされている。

エッジ検出部 2において、 続く固有値、 固有ベク トル検出部 4は、 この勾配行 列生成部 3で生成した輝度勾配の行列 Gを処理することにより、 第 3図に示すよ うに、 注目画素において、 画素値の勾配が最も大きい方向であるエッジ勾配方向 V 1、 このエッジ勾配方向 V 1に直交する方向であるエッジ方向 V 2を検出する 。 またこれらエッジ勾配方向 V 1、 エッジ方向 v 2について、 それぞれ画素値の 勾配の分散を示す固有値 λ 1、 え 2を検出する。

具体的に、 固有値、 固有べク トル検出部 4は、 次式の演算処理により、 エッジ 勾配方向 V 1、 エッジの方向 V 2、 固有値え 1、 λ 2 (λ 1 ≥ λ 2) を検出する

,+G„„+

(4)

G +G ー

A2= ^{xx yy} …… （5)

2

G - G +V

v'1 = x yy ^ a

(6)

2G.

v'2

v2 =

v'2

G G

= x 一

v'2 yy— ^v a

1 (7)

2 G„

但し、 aは、 次式による a = G^+4G^_y-2G_xxG_yy+G^ …… （8) エッジ方向処理部 5は、 このようにしてエッジ検出部 2で検出される画像デー タ D 1の注目画素に係るエッジ方向 V 2に基づいて、 解像度変換後の画像データ D 2に係る各画素のエッジ方向 V c を計算し、 このエッジ方向 v c に基づく内 挿処理により出力画像データ D 2の各画素 P c に対応する画素値を順次計算する 。

すなわちエッジ方向処理部 5は、 第 4図に示すように、 計算対象である出力画 像データ D 2の画素 （以下、 画像データ D 2に係る注目画素と呼ぶ） P c に隣接 してなる画像データ D 1の各画素 （この第 4図の例では P 3 、 P4 、 P 9 、 P 1 0) について、 次式の演算処理を実行することにより、 画像データ D 1に係る これら隣接する画素のエッジ方向 V 2 (v₃ 、 v₄ 、 v₉ 、 v₁₀) を用いた内挿処 理により注目画素 P c のエッジ方向 V cを計算する。

V_c=( - _y X(1 - t_x )v₃+ t_x v₄ H- t_y ((1一 t_x )v₉+ t_x v₁₀ ) …… (9) なおここで、 t_x 、 t_y は、 それぞれ画像デ一タ D 1によるサンプリング点 P 3 、 P4、 P 9 、 P 1◦を x方向及び y方向に内分する注目画素の座標値であり、 0≤ t_x ≤ 1 , 0≤ t_y ≤ 1である。

さらにエッジ方向処理部 5は、 このようにして計算される注目画素 P c のエツ ジ方向 v c より、 注目画素 P c のサンプリング点からエッジ方向 V c の直線上 に、 画像データ D 1のサンプリングピッチによるサンプリング点 P— 2、 P— 1 、 P l、 P 2を所定個数だけ設定する。 さらにこのサンプリング点 P— 2、 P— 1、 P l、 P 2と注目画素 P cとについて、 画像データ D 1の画素値を用いた補 間演算処理によりそれぞれ画素値を計算し、 これによりェッジ検出部 2の検出結 果に基づいて、 出力画像データ D 2の各画素毎に、 エッジ方向 V cに延長する直 線上に、 入力画像データ D 1の内揷処理によるエッジ方向の内挿画像データを生 成する。

またこのとき後述するエッジ方向範囲の決定部 6による計算結果に従って、 こ のようにして設定するサンプリング点の数を切り換え、 また続くフィルタリング の処理を切り換え、 これにより注目画素のエッジ方向 V c に係るエッジの信頼度 に応じてフィルタリング処理のタップ数を切り換える。 具体的に、 例えば続くフ ィルタリングの処理を 3タップのフィルタリングにより実行する場合、 注目画素 P c については、 周辺画素 P 3、 P 4、 P 9、 P 10を用いた線型補間により画 素値を計算し、 また同様にして前後のサンプリング点 P— 1、 P 1については、 それぞれ P 2、 P 3、 P 8、 ？ 9及び 4、 P 5、 P 10、 P 1 1を用いた線型 補間により画素値を計算する。 これに対して例えば続くフィルタリングの処理を 5タップのフィルタリングにより実行する場合、 注目画素 P c については、 周辺 画素 P 3、 P 4、 P 9、 P 1 0を用いた線型補間により画素値を計算し、 また同 様にしてサンプリング点 P— 2、 P_ l、 P l、 P 2について、 画素値を計算す る。

続いてエッジ方向処理部 5は、 このようにして計算したサンプリング点 P— 2 、 P— 1、 P l、 P 2及び注目画素 P c の画素値をフィルタリング処理により平 滑化処理し、 注目画素 P cの画素値 P c ' を決定する。 すなわち 3タップのフィ ルタリングによる場合には、 例えば次式の演算処理により注目画素 P cの画素値 P c ' を計算する。 P'_c =0.25xP_₁+0.5xP_c+0.25xP₊₁ (1 0) これに対して 5タップのフィルタリングによる場合には、 例えば次式の演算処 理により注目画素 P cの画素値 P c ' を計算する。

P =0.0625xP_₂+0.25xP_ ^O.SVSxPc

+ 0.25χΡ₊₁+0.0625χΡ₊₂ …… (1 1 ) これらによりこの実施例においては、 エッジ方向の内揷画像データの平滑化処 理により、 出力画像データ D 2の画素に対応する画素値を計算するようになされ 、 これにより高周波成分の喪失を有効に回避しつつ、 エッジにおけるジャギーの 発生を防止するようになされている。 なおこれら内挿画像データの生成に供する 補間演算処理にあっては、 隣接する近傍画素の画素値を用いた線型補間に限らず 、 種々の周辺画素を用いた種々の補間演算処理方法を広く適用することができる 。 またこの内揷画像データを用いたフィルタリング処理に係る演算処理について も、 （1 0) 式、 （1 1) 式について上述した演算処理に限らず、 種々の重み付 け係数による補間演算処理を広く適用することができる。

ところでこのように画素毎にエッジ方向を検出して画像データ D 2に係る画素 値を計算する場合、 エッジでは無い箇所で輝度勾配と直交する方向に平滑化処理 する恐れもある。 このような場合に、 大きな範囲である多くのタップ数によりフ ィルタリング処理したのでは、 却って画質を劣化することになる。 しかしながら これとは逆に、 エッジの部分では、 大きな範囲でフィルタリング処理して、 一段 と確実にジャギーの発生を防止して滑らかなエツジを形成することができる。 これによりこの実施例では、 画素毎にフィルタリング処理するタップ数を切り 換え、 これにより画素毎にエッジ方向に平滑化処理する範囲を可変する。 またこ のような平滑化処理する範囲をエッジ方向 V c へのエッジの信頼度により可変し 、 これにより平滑化処理による画質劣化を防止する。

具体的に、 この実施例では、 エッジ方向 V 2の固有値え 2と、 エッジ勾配方向 V 1の固有値; L 1との比率え 2 /え 1により、 このようなエッジ方向 v c へのェ ッジの信頼度を検出する。 すなわちこの比率； 2/ぇ 1が小さい場合には、 この 注目画素においては、 エッジ勾配方向 V 1の画素値の勾配が支配的であり、 エツ ジ方向 V 2に強いエッジであると判断することができる。 これによりエッジ方向 処理範囲の決定部 6は、 第 5図に示すように、 この比率え 2Ζλ 1が一定の範囲 λ 2/λ 1 m i η, え 2 Zえ 1 m a xにおいては、 比率 λ 2 Zえ 1の値が低下す るに従ってほぼ直線的に値が増加し、 比率え 2/λ 1の値がこの一定の範囲; I 2 λ 1 m i η, え 2 ぇ 1 ma χ以外の場合には、 それぞれ最大値 p m a x及び 最小値 pm i nとなるパラメータ pを生成する。 これによりエッジ方向へのエツ ジの信頼度に応じて値の変化するパラメータ pを生成する。

またエッジ勾配方向 V 1の固有値え 1が大きい場合、 エッジを挟んでコントラ ストが大きい場合であり、 はっきりとしたエッジであると言える。 これによりェ ッジ方向処理範囲の決定部 6は、 第 6図に示すように、 所定の範囲え l m i n、 ； L i ma Xで、 固有値; L 1に応じてほぼ直線的に値が増加し、 これらの範囲え 1 m i η、 λ 1 ma χより値の小さい側及び値の大きい側では、 それぞれ下限値 q m i n、 上限値 q m a Xとなるパラメータ qを生成する。 これによりエッジの立 ち上がりに応じて値の変化するパラメータ qを生成する。

エッジ方向処理範囲の決定部 6は、 これら 2つのパラメータ p及び qについて 、 次式により表される乗算処理を実行し、 これによりエッジ方向処理に係るフィ ルタリング処理の範囲 rを計算する。 r = pxq (1 2) なおエッジ方向処理範囲の決定部 6においては、 エッジ方向処理部 5の処理に 係る画像データ D 2のサンプリング点に対応するように、 画像データ D 1のサン プリング点による固有値え 1、 え 2を画像データ D 2のサンプリング点に係る固 有値に変換してフィルタリング処理の範囲 rを計算する。 この場合に、 画像デー タ D 1のサンプリング点によりフイノレタリング処理の範囲 rを計算した後、 この 計算結果の内挿処理により画像データ D 2のサンプリング点に係.るフィルタリン グ処理の範囲 rを計算するようにしてもよく、 またこれとは逆に、 画像データ D 1のサンプリング点に係る固有値え 1、 え 2を内挿処理して画像データ D 2のサ ンプリング点に係る固有値え 1、 λ 2を計算した後、 この計算結果から画像デー タ D 2のサンプリング点に係るフィルタリング処理の範囲 rを計算するようにし てもよい。

しかしてエッジ方向処理部 5は、 このようにして計算される範囲 rによりフィ ノレタリング処理のタップ数を切り換えて画像データ D 2に係る注目画素 P cの画 素値 P c' を計算する。

このフィルタリングの処理において、 エッジ方向処理部 5は、 フィルタリング 結果の融合処理を実行することにより、 実数値のタップ数によりフィルタリング 処理を実行し、 これにより整数値のタップ数によりフィルタリング処理した場合 の、 タップ数の切り換え時における不自然さを解消する。

すなわちエッジ方向処理部 5では、 次式により示される整数値によるタップ数 のフィルタが定義される。 なおここでこの実施例において、 この整数値のタップ 数は、 1、 3、 5、 ……による奇数値が適用される。

"ΓηΙβββΓ =^f'0°^r Vⁿrea, ) =ceilに） ……（1 3) ここで f l o o r (n) は、 nを越えない最大の整数のタップ数であり、 c e i 1 (n) は、 n以上の最小の整数のタップ数である。 また n r e a 1は、 （1 2 ) 式により計算された範囲 rが適用される。 これにより n = 3. 5の場合、 f l o o r (n) はタップ数 3であり、 c e i l (n) はタップ数 5となる。

フィルタリング結果の融合処理は、 これら 2種類のフィルタリング処理結果を 用いて次式の演算処理を実行することにより、 実数値によるフィルタリング処理 結果 f (n) を計算して実行される。 これによりエッジ方向処理部 5は、 フィル タリング処理の範囲 rによりこれら 2種類のタップ数によるフィルタリング処理 を実行し、 さらにこれら 2種類のフィルタリング処理結果を用いて （1 4) 式の 演算処理を実行することにより、 画像データ D 2に係る注目画素 P cの画素値 P c ' を計算する。 これによりエッジ方向処理部 5は、 エッジ方向へのエッジの信 頼度に応じたタップ数によりフィルタリング処理して画像データ D 2に係る注目 画素 P cの画素値 P c ' を計算するようにして、 このタップ数を少数点以下の単 位で可変するようになされている。 f(n) = af Ιη-;_θ8βΓ )+(l-a)f ln÷;_eger) …… （14)

ここで a = (n,⁺ _n ¹ _teeer-n_real )/2。 エッジ勾配方向処理部 7は、 このようにしてエッジ方向処理部 5で計算される 画像データ D2に係る注目画素 P cの画素値 P c ' を用いて、 エッジ勾配方向 V 1に輪郭強調処理を実行する。 すなわちエッジ勾配方向処理部 7は、 第 7図に示 すように、 エッジ方向処理部 5において、 画像データ D 2に係る注目画素 P cで エッジ方向 V cを計算したと同様にして、 画像データ D 1に係る隣接するサンプ リング点のエッジ勾配方向 V 1より、 画像データ D 2に係る注目画素 P c cのェ ッジ勾配方向 V gを計算する。

さらにエッジ勾配方向処理部 7は、 このようにして計算される注目画素 P c c のエッジ勾配方向 V gより、 注目画素 P c cのサンプリング点からエッジ勾配方 向 V gの直線上に、 画像データ D 2のサンプリングピッチによるサンプリング点 P c— 1、 P c + 1を所定個数だけ設定する。 さらにこのサンプリング点 P c— 1、 P c + 1 と注目画素 P c cとについて、 エッジ方向処理部 5から出力される 画素値を用いた補間演算処理によりそれぞれ画素値を計算する。 これによりエツ ジ勾配方向処理部 7は、 エッジ検出部 2の検出結果に基づいて、 出力画像データ D 2の各画素毎に、 エッジ勾配方向 V gに延長する直線上に、 エッジ方向処理部 5から出力される画素値による画像データの内挿処理によるエツジ勾配方向の内 揷画像データを生成するようになされている。

続いてエッジ勾配方向処理部 7は、 このようにして計算したサンプリング点 P c一 1、 P c + 1と注目画素 P c cの画素値をフィルタリング処理し、 注目画素 ?。 。の画素値？ じ 0， を決定する。 しかしてこの第 7図の例にあっては、 3タ ップにより注目画素 P c cの画素値 P c c ' を計算する場合であり、 サンプリン グ点 P c— 1 の画素値にあっては、 周辺のサンプリング点 P c 1、 P c 2、 P c 4、 P c cによる線型補間により生成され、 またサンプリング点 P c + 1 の画素 値にあっては、 周辺のサンプリング点 P c c、 P c 5、 P c 7、 P c 8による線 型補間により生成されるようになされている。 これによりエッジ勾配方向処理部 7は、 エッジを横切る方向に輪郭強調するようになされている。 なおこれら内挿 画像データの生成に供する補間演算処理にあっては、 このような隣接する近傍画 素の画素値を用いた線型補間に限らず、 種々の周辺画素を用いた補間演算処理方 法を広く適用することができる。 またこの内挿画像データを用いたフィルタリン グ処理に係る演算処理についても、 種々の重み付け係数による補間演算処理を広 く適用することができる。

補間処理部 8は、 例えば線型補間処理、 バイキュービック変換処理により、 画 像データ D 1の解像度を変換して画像データ D 2に対応するサンプリングピッチ による画素値 P aを出力する。

ブレンド比決定部 9は、 エッジ方向 V cへのエッジの信頼度に応じてブレンド 用の重み付け係数を生成する。 すなわち上述したようにエッジ方向に平滑化処理 し、 エッジと直交する方向に輪郭強調する場合にあっては、 自然画において、 不 自然に輪郭強調する場合がある。 このためこの実施例においては、 別途、 捕間処 理部 8で従来手法により生成した画像データ D 2に係る画素値 P aと、 エッジ勾 配方向処理部 7で生成される画素値 P c c ' とをプレンド処理部 10により重み 付け加算して画像データ D 2を生成するようになされ、 プレンド比決定部 9は、 この重み付け加算処理に係る重み付け係数を可変する。 またこの重み付け係数の 可変を、 エッジ方向へのエッジの信頼度により可変し、 これにより過度なエッジ に係る処理の不自然さを防止する。 またこのエツジ方向へのエツジの信頼度に、 エッジ方向 V 2の固有値え 2と、 エッジ勾配方向 V 1の固有値； 1との比率え 2 /λ 1を適用して処理する。

具体的に、 この比率え 2_ ぇ 1が小さい場合には、 この注目画素においては、 エッジ勾配方向 v lの、 勾配が支配的であり、 エッジ方向 V 2に強いエッジであ ると判断することができる。 これによりブレンド比決定部 9は、 第 8図に示すよ うに、 この比率え 2Ζλ 1が一定の範囲え 2 I 1 m i η、 λ 2Ζλ 1πΐ3 χに おいては、 比率； 2 ぇ 1の値が低下するに従ってほぼ直線的に値が増加し、 比 率え 2 /え 1の値がこの一定の範囲 A 2/;i l m i n、 2/ l ma x以外の 場合には、 それぞれ最大値 s m a x及び最小値 s m i nとなるパラメータ sを生 成する。 これによりエッジ方向へのエッジの信頼度に応じて値の変化するパラメ ータ sを生成する。

またエッジ勾配方向 V 1の固有値え 1が大きい場合、 エッジを挟んでコントラ ストが大きい場合であり、 はっきりとしたエッジであると言える。 これによりブ レンド比決定部 9は、 第 9図に示すように、 所定の範囲え 1 m i η、 λ 1 m a x で、 固有値; L 1に応じてほぼ直線的に値が増加し、 これらの範囲え 1 m i η、 λ 1 m a x以外では、 それぞれ下限値 t m i n、 上限値 t m a xとなるパラメータ tを生成する。 これによりエッジの立ち上がりに応じて値の変化するパラメータ tを生成する。

ブレンド比決定部 9は、 これら 2つのパラメータ s及び tについて、 次式によ り表される乗算処理を実行し、 これによりブレンド用の重み付け係数 ( 0≤ β ≤ 1 ) を計算する。

)8 = s x t …… （1 5 ) なおプレンド比決定部 9においては、 画像データ D 2に係るサンプリング点に 対応するように、 画像データ D 1のサンプリング点による固有値え 1、 え 2を画 像データ D 2のサンプリング点に係る固有値に変換してプレンド用の重み付け係 数ひを計算する。 この場合に、 画像データ D 1のサンプリング点によりブレンド 用の重み付け係数 αを計算した後、 この計算結果の内挿処理により画像データ D 2のサンプリング点に係るプレンド用の重み付け係数ひを計算するようにしても よく、 またこれとは逆に、 画像データ D 1のサンプリング点に係る固有値え 1 、 λ 2を内挿処理して画像データ D 2のサンプリング点に係る固有値え 1、 え 2を 計算した後、 この計算結果から画像データ D 2のサンプリング点に係るプレンド 用の重み付け係数 0を計算するようにしてもよレ、。

ブレンド処理部 1 0は、 次式の演算処理を実行することにより、 エッジ勾配方 向処理部 7で計算される画素値 P c c ' による画像データ S 3と、 補間処理部 8 で計算される画素値 P a による画像データ S I 1とをブレンド比決定部 9による 重み付け係数 ]3により重み付け加算処理し、 その処理結果を画像データ D 2によ り出力する

S 4 = )S x S 3 + ( 1 - j8 ) χ S 11 ( 1 6 )

( 2 ) 実施例の動作

以上の構成において、 入力画像データ D 1は （第 1図） 、 エッジ検出部 2に入 力され、 ここで各画素毎に、 画素値の勾配が最も大きなエッジ勾配方向 V 1と、 このエッジ勾配方向 V 1と直交するエッジ方向 V 2とが合次検出される （第 2図 及ぴ第 3図） 。 また入力画像データ D 1は、 エッジ方向処理部 5に入力され、 こ こでエッジ検出部 2の検出結果に基づいて、 出力画像データ D 2の各画素毎に、 エッジ方向 V 2に画像データを平滑化処理して、 出力画像データ D 2の各画素に 対応する画素値 P cが合次計算される。 またこの計算結果により画素値 P cがェ ッジ勾配方向処理部 7に入力され、 ここでエツジ検出部 2の検出結果に基づいて 、 出力画像データ D 2の各画素毎に、 エッジ勾配方向 V 1に輪郭強調処理され、 出力画像データ D 2の画素値が計算される。 これにより入力画像データ D 1は、 エッジ方向 V 2には平滑化処理されることにより、 ジャギーの発生を有効に回避 することができる。 またエッジ方向 V 2と直交する方向であるエッジ勾配方向 V 1には、 輪郭強調され、 これによりエッジ方向と直交する方向については、 高周 波成分が強調され、 これらにより高周波成分の喪失を有効に回避しつつ、 ジャギ 一の発生を防止して画像データ D 2に変換される。

このようにして一連の処理を実行するにつき、 入力画像データ D 1は、 エッジ 方向処理部 5において （第 4図） 、 エッジ検出部 2の検出結果に基づいて、 出力 画像データ D 2の各画素毎に、 エッジ方向 V 2に延長する直線上に、 入力画像デ ータ D 1の内挿処理によるエッジ方向の内揷画像データ P cが生成され、 このよ うにして生成されるエッジ方向の內揷画像データ P cのフィルタリング処理によ り、 出力画像データ D 2の各画素に対応する画素値 P c ' が合次計算される。 こ れによりこのフィルタリング処理に係る特性の設定により、 エッジ方向 V 2につ いて平滑化処理され、 ジャギーの発生が有効に回避される。

入力画像データ D 1は、 エッジ検出部 2において、 勾配行列生成部 3で各画素 毎に輝度勾配の行列 Gが生成され、 この輝度勾配の行列 Gが続く固有値、 固有べ ク トル検出部 4により処理されて、 エッジ勾配方向 v l、 エッジ方向 V 2とが検 出される。 またこのとき併せてエッジ勾配方向 V 1、 エッジ方向 V 2に係る画素 値の勾配の分散を示す固有値え 1、 λ 2が計算される。

このエッジ検出部 2における計算結果のうち、 固有値え 1、 え 2は、 エッジ方 向処理範囲の決定部 6において、 固有値; L 2と固有値え 1の比率; L 2 / λ 1が計 算され、 この比率； I 2 え 1にあっては、 エッジ勾配方向の画素勾配が支配的で ある場合程、 値が小さくなり、 これによりエッジの信頼度が検出される。 これに よりエッジ方向処理範囲の決定部 6において、 この比率え 2 / λ 1によりエッジ の信頼度を示すパラメータ ρが生成される （第 5図） 。 これによりこの実施例で は、 エッジ勾配方向 v l、 エッジ方向 V 2の計算に供する勾配行列 gを有効に利 用して、 エッジの信頼度が計算される。 また固有値え 1にあってはエッジの強さ を示すことにより、 この固有値; I 1によりパラメータ pに対応するパラメータ q が生成される （第 6図） 。 またこれらパラメータ p及び qの乗算により、 フィル タリング処理の範囲 rが計算される。

入力画像データ D 1は、 エッジ方向処理部 5において、 エッジ方向の内挿画像 データ P cをフィルタリング処理して出力画像データ D 2の画素値 P c ' を生成 する際に、 このようにしてエッジ方向処理範囲の決定部 6で生成されたフィルタ リング処理の範囲 rによりフィノレタリング処理のタップ数が切り換えられ、 ェッ ジの信頼度が高い場合には、 広い範囲によりエッジ方向の内挿画像データ P cを フィルタリング処理して出力画像データ D 2の画素値 P c ' が生成されるのに対 し、 エッジの信頼度が低い場合には、 狭い範囲によりフィルタリング処理して出 力画像データ D 2の画素値 P c ' が生成される。 これにより入力画像データ D 1 は、 エッジ方向 V 2に係るフィルタリング処理のタップ数が、 エッジの信頼度に より切り換えられ、 エッジ以外の部位における過度の平滑化処理が防止され、 画 質劣化が有効に回避される。

またこのようにして平滑化処理するにつき、 画像データ D 1は、 エッジ方向 V 2へのエッジの信頼度に応じて、 フィルタリング処理の重み付け係数 ctを切り換 え （ （1 2 ) 式） 、 この重み付け係数 αを用いてタップ数の異なるフィルタリン グ処理結果を重み付け加算 （ （1 4 ) 式） することにより、 このようなタップ数 の切り換えが小数点以下の単位により実行され、 これにより整数値によるタップ 数の切り換え時における不自然さが解消される。

このようにエッジ方向処理部 5で計算されてなる画像データは、 エッジ勾配方 向処理部 7において、 エッジ検出部 2の検出結果に基づいて、 出力画像データ D 2の各画素毎に、 エッジ勾配方向 V 1に延長する直線上に、 エッジ方向処理部 5 から出力される画素値による画像データの内挿処理によるエツジ勾配方向の内挿 画像データ P c cが生成され （第 7図） 、 このエッジ勾配方向の内挿画像データ P c cのフィルタリング処理により、 出力画像データ D 2の画素値 P c c ' が計 算される。 これによりこのフィルタリング処理に係る特性の設定により、 エッジ 勾配方向 V 1について輪郭強調処理されて画像データ D 2が生成される。

しかしながらこのようにして生成されてなるエッジ勾配方向処理部 7の出力デ ータにおいては、 自然画に係る画像データ D 1を処理した場合に、 過度に輪郭が 強調される場合もある。 これにより画像データ D 1は、 補間処理部 8において、 従来手法による補間処理により出力画像データ D 2の各画素毎に画素値 P a ' が 計算される。 しかしてこのようにして補間処理部 8で従来手法により生成される 画像データ S 1 1は、 高周波成分が失われているものの、 過度には輪郭が強調さ れていないことになる。

画像データ D 1は、 この補間処理部 8からの画像データ S 1 1と、 エッジ勾配 方向処理部 7からの画像データ S 3とが、 ブレンド処理部 1 0において、 画像に 応じて重み付け加算処理されて出力！！像データ D 2が生成され、 これにより過度 に輪郭が強調されている部位については、 従来手法による画素値 P a ' により補 正されて出力画像データ D 2が生成される。 これによりこの実施^では、 過度な 輪郭強調による画質劣化が防止される。

この実施例では、 エッジ方向処理範囲の決定部 6においてフィルタリング処理 範囲 rを計算した場合と同様に、 固有値え 1、 え 2による比率え 2 ぇ 1により エッジの信頼度が計算され、 このエッジの信頼度によりブレンド処理部 1 0にお ける重み付け加算処理の重み付け係数 /3が計算される （第 8図） 。 また固有値え 1によって重み付け係数 ]3が補正される （第 9図） 。 これによりこの実施例では 、 このような過度の輪郭強調を防止する処理についても、 エッジ勾配方向 v l、 ェッジ方向 V 2の計算に供する勾配行列 gを有効に利用して、 エツジの信頼度が 計算され、 このエッジの信頼度により重み付け係数 ]3が設定され、 これらにより 簡易な構成により過度の輪郭強調が防止される。

( 3 ) 実施例の効果

以上の構成によれば、 画素値の勾配が最も大きなエッジ勾配方向 V 1、 このェ ッジ勾配方向 V 1に直交するエッジ方向 V 2を検出し、 エッジ勾配方向 v l、 ェ ッジ方向 V 2にそれぞれエッジ強調、 平滑化処理して出力画像データ D 2を生成 することにより、 高周波成分の喪失を有効に回避しつつ、 ジャギーの発生を防止 することができる。

またこの平滑化処理に係るフィルタリング処理にあっては、 エッジ検出部 2の 検出結果に基づいて、 出力画像データ D 2の各画素毎に、 エッジ方向 V 2に延長 する直線上に、 入力画像データ D 1の内挿処理によるエッジ方向の内挿画像デ一 タ P cを生成した後、 このエッジ方向の内挿画像^ "ータ P cのフィルタリング処 理により、 出力画像データ D 2の各画素に対応する画素値 P c ' を順次検出する ことにより、 このフィルタリング処理に係る特性を種々に設定して所望の特性に より平滑化処理することができる。

またエッジ方向 V 2へのエッジの信頼度に応じて、 このフィルタリング処理に 供するタップ数を切り換えることにより、 エッジ以外の部分における誤った平滑 化処理を防止することができる。

またエッジ方向 V 2へのエッジの信頼度に応じて、 このフィルタリング処理の 重み付け係数 αを可変し、 フィルタリング処理の重み付け係数 αを用いてタップ 数の異なるフィルタリング処理結果を重み付け加算することによる小数点以下の 単位によるタップ数の切り換えにより、 このタップ数の切り換えを実行すること により、 整数値によるタップ数の切り換え時における不自然さを有効に回避する ことができる。

またこのエッジ方向 V 2へのエッジの信頼度が、 エッジ方向 V 2に係る画素値 の勾配の分散 λ 2とエッジ勾配方向 V 1に係る画素値の勾配の分散え 1との比率 であることにより、 エッジ勾配方向 v l、 エッジ方向 V 2の検出に供する構成を 有効に利用して、 タップ数の切り換え時における不自然さを有効に回避すること ができる。

これに対して輪郭強調の処理にあっては、 エッジ検出部 2の検出結果に基づい て、 出力画像データ D 2の各画素毎に、 エッジ勾配方向 V 1に延長する直線上に 、 エッジ方向処理部 5から出力される画素値 P c ' による画像データ P cの内挿 処理によるエッジ勾配方向の内挿画像データ P c cを生成した後、 このエッジ勾 配方向の内挿画像データ P c cのフィルタリング処理により実行することにより 、 このフィルタリング処理の特性を種々に設定して所望の特性により輪郭強調す ることができる。

また出力画像データ D 2のサンプリングピッチを入力画像データ D 1のサンプ リングピッチと異ならせるようにして一連の処理を実行することにより、 平滑化 処理、 輪郭強調処理において、 併せてサンプリングピッチを変更するようにして 、 別途、 補間処理部 8により入力画像データ D 1を補間画像データ S 1 1に変換 すると共に、 エッジ方向 V 2へのエッジの信頼度に応じてブレンド用の重み付け 係数 ]3を可変し、 このブレンド用の重み付け係数 j3により、 エッジ勾配方向処理 部から出力される画像データ S 3と、 補間画像データ S 1 1とを重み付け加算処 理して出力画像データ D 2を出力することにより、 自然画における過度の輪郭強 調を有効に回避することができる。

( 4 ) 他の実施例

なお上述の実施例においては、 タップ数の切り換えによりエッジ方向に係る平 滑化処理範囲を可変する場合について述べたが、 本発明はこれに限らず、 平滑化 処理に係る重み付け係数の可変により、 等化的にタップ数を切り換えるようにし てもよい。

また上述の実施例においては、 平滑化処理範囲、 ブレンド処理部における重み 付け加算処理を固有値え 2、 え 1の比率、 固有値え 1により可変する場合につい て述べたが、 本発明はこれに限らず、 実用上十分な特性を確保できる場合には、 固有値え 2、 え 1の比率だけで可変するようにしてもよレ、。 またこのような固有 値え 2、 え 1の比率、 固有値； I 1によるエッジの信頼度の検出に代えて種々の輪 郭検出手法を適用することもできる。 またプレン.ド処理部の重み付け加算処理に 係る過度の輪郭補正にあっては、 自然画において、 木の葉が密集しているような 箇所で発生することにより、 例えば周波数特性等により検出される画像各部の特 徴により可変するようにしてもよい。

また上述の実施例においては、 平滑化処理範囲、 ブレンド処理部における重み 付け加算処理を可変する場合について述べたが、 本発明はこれに限らず、 実用上 十分な特性を確保できる場合には、 これらの処理を省略するようにしてもよく、 さらには画像の種類によって、 これら何れかの処理、 これら双方の処理を省略す るようにしてもよレ、。

また上述の実施例においては、 入力画像データ D 1のサンプリングピッチを可 変して画像を拡大、 縮小する場合について述べたが、 本発明はこれに限らず、 輪 郭補正の処理にも広く適用することができる。 この場合、 エッジ方向処理部、 ェ ッジ勾配方向処理部においては、 入力画像データのサンプリングピッチと等しい 出力画像データのサンプリングピッチにより一連の処理を実行するようにし、 ま た補間処理の構成を省略して、 ブレンド処理部 1 0においては、 エッジ勾配方向 処理部 7の出力データと入力画像データとを重み付け加算することにより、 単に 入力画像データを輪郭強調することができる。

また上述の実施例においては、 演算処理手段により所定のプログラムを実行し て画像データを処理する場合について述べたが、 本発明はこれに限らず、 ハード ウェアの構成により画像データを処理する場合にも広く適用することができる。 産業上の利用可能性

本発明は、 例えば解像度の変換に適用することができる。

Claims

請求の範囲 入力画像データを処理して出力画像データを出力する画像処理装置において 前記入力画像データの各画素毎に、 画素値の勾配が最も大きなエッジ勾配方向 と、 前記ェッジ勾配方向と直交するエツジ方向とを検出するエツジ検出部と、 前記エッジ検出部の検出結果に基づいて、 前記出力画像データの各画素毎に、 前記ェッジ方向に前記画像データを平滑化処理して、 前記出力画像データの各画 素に対応する画素値を順次出力するエツジ方向処理部と、

前記エッジ検出部の検出結果に基づいて、 前記出力画像データの各画素毎に、 前記ェッジ方向処理部から出力される画素値を前記ェッジ勾配方向に輪郭強調処 理して、 前記出力画像データの画素値を順次出力するエッジ勾配方向処理部と を備えることを特徴とする画像処理装置。

2 . 前記エッジ方向処理部は、

前記エッジ検出部の検出結果に基づいて、 前記出力画像データの各画素毎に、 前記エッジ方向に延長する直線上に、 前記入力画像データの内挿処理によるエツ ジ方向の内挿画像デ一タを生成した後、

前記エッジ方向の内挿画像データのフィルタリング処理により、 前記出力画像 データの各画素に対応する画素値を順次出力する

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 前記エッジ方向処理部は、

前記エッジ方向へのエッジの信頼度に応じて、 前記フィルタリング処理に供す るタップ数を切り換える

ことを特徴とする請求の範囲第 2項に記載の画像処理装置。

4 . 前記エッジ方向処理部における前記フィルタリング処理に供するタップ数の 切り換えが、 前記エッジ方向へのエッジの信頼度に応じて、 重み付け係数を可変し、 前記重 み付け係数を用いてタップ数の異なるフィルタリング処理結果を重み付け加算す ることによる小数点以下の単位によるタツプ数の切り換えである

ことを特徴とする請求の範囲第 3項に記載の画像処理装置。

5 . 前記エッジ方向へのエッジの信頼度が、 前記エッジ方向に係る画素値の勾配 の分散と前記エッジ勾配方向に係る画素値の勾配の分散との比率である

ことを特徴とする請求の範囲第 3項に記載の画像処理装置。

6 . 前記エッジ勾配方向処理部は、

前記エッジ検出部の検出結果に基づいて、 前記出力画像データの各画素毎に、 前記ェッジ勾配方向に延長する直線上に、 前記ェッジ方向処理部から出力される 画素値による画像データの内挿処理によるエツジ勾配方向の内挿画像データを生 成した後、

前記エッジ勾配方向の内挿画像データのフィルタリング処理により、 前記出力 画像データの画素値を順次出力する

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

7 . 前記出力画像データは、

前記入力画像データに対してサンプリングピッチを変化させてなる画像データ であり、

前記画像処理装置は、

前記入力画像データを補間演算処理して前記出力画像データのサンプリングピ ツチによる補間画像データを出力する補間処理部と、

前記エッジ方向へのエッジの信頼度に応じてプレンド用の重み付け係数を可変 するプレンド比決定部と、

前記プレンド用の重み付け係数により、 前記エッジ勾配方向処理部から出力さ れる画像データと、 前記補間画像データとを重み付け加算処理して前記出力画像 データを出力するプレンド処理部とを有する ことを特徴とする請求の範囲第 1項に記載の画像処理装置,

8 . 前記エッジ方向へのエッジの信頼度に応じてプレンド用の重み付け係数を可 変するプレンド比決定部と、

前記ブレンド用の重み付け係数により、 前記エッジ勾配方向処理部から出力さ れる画像データと、 前記入力画像データとを重み付け加算処理して前記出力画像 データを出力するプレンド処理部とを有する

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

9 . 入力画像データを処理して出力画像データを出力する画像処理方法において 前記入力画像データの各画素毎に、 画素値の勾配が最も大きなェッジ勾配方向 と、 前記ェッジ勾配方向と直交するエツジ方向とを検出するエッジ検出ステップ と、

前記エッジ検出ステップによる検出結果に基づいて、 前記出力画像データの各 画素毎に、 前記エッジ方向に前記画像データを平滑化処理して、 前記出力画像デ —タの各画素に対応する画素値を順次検出するエッジ方向処理ステップと、 前記ェッジ検出ステップによる検出結果に基づいて、 前記出力画像データの各 画素毎に、 前記ェッジ方向処理ステツプで検出された画素値を前記ェッジ勾配方 向に輪郭強調処理して、 前記出力画像データの画素値を順次出力するエッジ勾配 方向処理ステップと

を備えることを特徴とする画像処理方法。

1 0 . 演算処理手段による実行により、 入力画像データを処理して出力画像デー タを出力する画像処理方法のプログラムにおいて、

前記入力画像データの各画素毎に、 画素値の勾配が最も大きなェッジ勾配方向 と、 前記ェッジ勾配方向と直交するエッジ方向とを検出するエッジ検出ステップ と、

前記エッジ検出ステップによる検出結果に基づいて、 前記出力画像データの各 画素毎に、 前記エッジ方向に前記画像データを平滑化処理して、 前記出力画像デ 一タの各画素に対応する画素値を順次検出するエツジ方向処理ステツプと、 前記エッジ検出ステップによる検出結果に基づいて、 前記出力画像データの各 画素毎に、 前記ェッジ方向処理ステツプで検出された画素値を前記ェッジ勾配方 向に輪郭強調処理して、 前記出力画像データの画素値を順次出力するエッジ勾配 方向処理ステップと

を備えることを特徴とする画像処理方法のプログラム。

1 1 . 演算処理手段による実行により、 入力画像データを処理して出力画像デー タを出力する画像処理方法のプログラムを記録した記録媒体において、

前記画像処理方法のプログラムは、

前記入力画像データの各画素毎に、 画素値の勾配が最も大きなェッジ勾配方向 と、 前記エッジ勾配方向と直交するエッジ方向とを検出するエッジ検出ステップ と、

前記エッジ検出ステップによる検出結果に基づいて、 前記出力画像データの各 画素毎に、 前記エッジ方向に前記画像データを平滑化処理して、 前記出力画像デ —タの各画素に対応する画素値を順次出力するエッジ方向処理ステップと、 前記ェッジ検出ステップによる検出結果に基づいて、 前記出力画像データの各 画素毎に、 前記ェッジ方向処理ステツプで検出された画素値を前記ェッジ勾配方 向に輪郭強調処理して、 前記出力画像データの画素値を順次出力するエッジ勾配 方向処理ステップと

を備えることを特徴とする画像処理方法のプログラムを記録した記録媒体。