JP4517872B2 - 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 - Google Patents

画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 Download PDF

Info

Publication number
JP4517872B2
JP4517872B2 JP2005034161A JP2005034161A JP4517872B2 JP 4517872 B2 JP4517872 B2 JP 4517872B2 JP 2005034161 A JP2005034161 A JP 2005034161A JP 2005034161 A JP2005034161 A JP 2005034161A JP 4517872 B2 JP4517872 B2 JP 4517872B2
Authority
JP
Japan
Prior art keywords
edge
image data
processing
pixel
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005034161A
Other languages
English (en)
Other versions
JP2006221403A (ja
JP2006221403A5 (ja
Inventor
信一郎 五味
昌美 緒形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005034161A priority Critical patent/JP4517872B2/ja
Priority to US11/352,150 priority patent/US7792384B2/en
Publication of JP2006221403A publication Critical patent/JP2006221403A/ja
Publication of JP2006221403A5 publication Critical patent/JP2006221403A5/ja
Application granted granted Critical
Publication of JP4517872B2 publication Critical patent/JP4517872B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えば解像度の変換に適用することができる。本発明は、画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向に直交するエッジ方向にそれぞれエッジ強調処理、平滑化処理して画質を向上するようにして、異なる特性によりエッジ勾配方向、エッジ方向を検出し、各特性毎にエッジ強調処理、平滑化処理した後、各特性の処理結果を合成することにより、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上できるようにする。
従来、画像処理においては、例えば線型補間処理、バイキュービック変換処理により、解像度を変換するようになされており、例えば特開２００３−２２４７１５号公報には、このような画像処理を簡易な構成により実行する方法が提案されている。
しかしながらこのような画像処理においては、エッジの部分にジャギーが発生し、ジャギーが目立たなくなるように線型補間処理の特性、バイキュービック変換処理の特性を設定すると、画像より高周波成分が失われてシャープさの欠けたぼけた画像となる問題がある。なおこのような画像のぼけは、テクスチャーの部分で著しいことにより、テクスチャーの部分でこのような処理の特性を切り換えることも考えられるが、この場合、特性の切り換え箇所で異質感、ちらつきが発生する。
特開２００３−２２４７１５号公報
本発明は以上の点を考慮してなされたもので、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上することができる画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。
かかる課題を解決するため請求項１の発明においては、入力画像データを処理して出力画像データを出力する画像処理装置に適用して、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理部と、前記複数の画像処理部から出力される前記画像データを合成して前記出力画像データを生成する統合部とを備え、前記複数の画像処理部は、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
また請求項１１の発明においては、入力画像データを処理して出力画像データを出力する画像処理方法において、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、前記複数の画像処理のステップは、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
また請求項１３の発明においては、演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムに適用して、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、前記複数の画像処理のステップは、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
また請求項１４の発明においては、演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、前記複数の画像処理のステップは、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
請求項１の構成により、入力画像データを処理して出力画像データを出力する画像処理装置に適用して、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理部と、前記複数の画像処理部から出力される前記画像データを合成して前記出力画像データを生成する統合部とを備えるようにすれば、高周波成分の喪失、ジャギーの発生を防止して、画質を向上することができる。また前記複数の画像処理部が、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにすれば、１つの画像処理部でエッジ方向、エッジ勾配方向を検出できない場合、誤り検出した場合等であっても、他の画像処理部では、エッジ方向、エッジ勾配方向を正しく検出することができ、これにより確実に、画質を向上することができる。
これにより請求項１１、請求項１３、請求項１４の構成によれば、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上することができる画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提供することができる。
本発明によれば、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
（１）実施例の構成
図１は、本発明の実施例１に係る画像処理装置を示す機能ブロック図である。この画像処理装置１は、演算処理手段である例えばディジタルシグナルプロセッサにより形成され、この演算処理手段により所定の処理プログラムを実行することにより、入力画像データである画像データＤ１の解像度を図示しないコントローラにより指示された解像度に変換して出力する。これによりこの画像処理装置１では、画像データＤ１による画像を拡大、縮小した出力画像データＤ３を生成し、表示手段等に出力する。
なおこの実施例において、この演算処理手段に係る処理プログラムにおいては、この画像処理装置にプリインストールされて提供されるようになされているものの、このような処理プログラムの提供にあっては、例えばインターネット等によるネットワークを介したダウンロードにより提供するようにしてもよく、さらには種々の記録媒体を介して提供するようにしてもよい。なおこのような記録媒体においては、光ディスク、メモリカード、着脱可能なハードディスク装置等、種々の記録媒体に広く適用することができる。
この画像処理装置１において、補間処理部２は、例えば線型補間処理、バイキュービック変換処理により、画像データＤ１の解像度を変換して出力画像データＤ３に対応するサンプリングピッチによる画素値Ｐａを出力する。
画像処理部３Ａ〜３Ｅは、それぞれ画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向に直交するエッジ方向を入力画像データＤ１の各画素毎に検出し、この検出したエッジ勾配方向、エッジ方向にそれぞれエッジ強調処理、平滑化処理して画像データＤ１の解像度を出力画像データＤ３の解像度に変換する。画像処理部３Ａ〜３Ｅは、一連の処理による解像度変換結果を補間処理部２から出力される画素値Ｐａによる画像データＳ１１と合成して画像データＤ２Ａ〜Ｄ２Ｅにより処理結果を出力し、これにより自然画における過度の輪郭強調を有効に回避する。
これら画像処理部３Ａ〜３Ｅは、このようなエッジ勾配方向、エッジ方向の検出に係る特性が異なる以外、同一に構成される。
レイヤ統合部４は、これら複数の画像処理部３Ａ〜３Ｅによる処理結果を合成して出力画像データＤ３を出力する。これによりこの画像処理装置１では、種々の特性による処理結果を統合して出力画像データＤ３を生成して、特定パターン等を表示する場合であっても、確実に、高周波成分の喪失、ジャギーの発生を防止して画像データＤ１の解像度を変換する。
図２は、画像処理部３Ａの構成を詳細に示すブロック図である。この画像処理部３Ａにおいて、エッジ検出部１２は、画像データＤ１の各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向と直交するエッジ方向を検出する。すなわちエッジ検出部１２において、勾配行列生成部１３は、例えばラスタ走査順に順次注目画素を切り換え、図３に示すように、この注目画素を中心とした範囲Ｗにおける画素値を用いた演算処理により、次式により表される輝度勾配の行列Ｇを各画素毎に生成する。なおここで図３は、注目画素を中心にしたｘ方向及びｙ方向の±３画素をこの範囲Ｗに設定した例である。
Figure 0004517872
またｗ(i,j) は、（２）式により表されるガウス型の重みであり、ｇは、画像輝度Ｉのｘ方向の偏微分ｇx と、画像輝度Ｉのｙ方向の偏微分ｇy とにより（３）式で表される輝度勾配である。
Figure 0004517872
Figure 0004517872
これによりエッジ検出部１２において、勾配行列生成部１３は、注目画素を中心とした所定範囲Ｗについて、注目画素を基準にして重み付け処理してなる輝度勾配を検出する。
エッジ検出部１２において、続く固有値、固有ベクトル検出部１４は、この勾配行列生成部１３で生成した輝度勾配の行列Ｇを処理することにより、図４に示すように、注目画素において、画素値の勾配が最も大きい方向であるエッジ勾配方向ｖ１、このエッジ勾配方向ｖ１に直交する方向であるエッジ方向ｖ２を検出する。またこれらエッジ勾配方向ｖ１、エッジ方向ｖ２について、それぞれ画素値の勾配の分散を示す固有値λ１、λ２を検出する。
具体的に、固有値、固有ベクトル検出部１４は、次式の演算処理により、エッジ勾配方向ｖ１、エッジの方向ｖ２、固有値λ１、λ２（λ１≧λ２）を検出する。
Figure 0004517872
Figure 0004517872
Figure 0004517872
Figure 0004517872
但し、ａは、次式による。
Figure 0004517872
エッジ方向処理部１５は、このようにしてエッジ検出部１２で検出された画像データＤ１の注目画素に係るエッジ方向ｖ２に基づいて、解像度変換後の画像データＤ２に係る各画素のエッジ方向ｖｃを計算し、このエッジ方向ｖｃに基づく内挿処理により出力画像データＤ２の各画素Ｐｃに対応する画素値を順次計算する。
すなわちエッジ方向処理部１５は、図５に示すように、計算対象である出力画像データＤ２の画素（以下、画像データＤ２に係る注目画素と呼ぶ）Ｐｃに隣接してなる画像データＤ１の各画素（この図５の例ではＰ３、Ｐ４、Ｐ９、Ｐ１０）について、次式の演算処理を実行することにより、画像データＤ１に係るこれら隣接する画素のエッジ方向ｖ２（ｖ3 、ｖ4 、ｖ9 、ｖ10）を用いた内挿処理により注目画素Ｐｃのエッジ方向ｖｃを計算する。
Figure 0004517872
なおここで、ｔx 、ｔy は、それぞれ画像データＤ１によるサンプリング点Ｐ３、Ｐ４、Ｐ９、Ｐ１０をｘ方向及びｙ方向に内分する注目画素の座標値であり、０≦ｔx ≦１、０≦ｔy ≦１である。
さらにエッジ方向処理部１５は、このようにして計算される注目画素Ｐｃのエッジ方向ｖｃより、注目画素Ｐｃのサンプリング点からエッジ方向ｖｃの直線上に、画像データＤ１のサンプリングピッチによるサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２を所定個数だけ設定する。さらにこのサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２と注目画素Ｐｃとについて、画像データＤ１の画素値を用いた補間演算処理によりそれぞれ画素値を計算し、これによりエッジ検出部１２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ方向ｖｃに延長する直線上に、入力画像データＤ１の内挿処理によるエッジ方向の内挿画像データを生成する。
またこのとき後述するエッジ方向範囲の決定部１６による計算結果に従って、このようにして設定するサンプリング点の数を切り換え、また続くフィルタリングの処理を切り換え、これにより注目画素のエッジ方向ｖｃに係るエッジの信頼度に応じてフィルタリング処理のタップ数を切り換える。具体的に、例えば続くフィルタリングの処理を３タップのフィルタリングにより実行する場合、注目画素Ｐｃについては、周辺画素Ｐ３、Ｐ４、Ｐ９、Ｐ１０を用いた線型補間により画素値を計算し、また同様にして前後のサンプリング点Ｐ−１、Ｐ１については、それぞれＰ２、Ｐ３、Ｐ８、Ｐ９及びＰ４、Ｐ５、Ｐ１０、Ｐ１１を用いた線型補間により画素値を計算する。これに対して例えば続くフィルタリングの処理を５タップのフィルタリングにより実行する場合、注目画素Ｐｃについては、周辺画素Ｐ３、Ｐ４、Ｐ９、Ｐ１０を用いた線型補間により画素値を計算し、また同様にしてサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２について、画素値を計算する。
続いてエッジ方向処理部１５は、このようにして計算したサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２及び注目画素Ｐｃの画素値をフィルタリング処理により平滑化処理し、注目画素Ｐｃの画素値Ｐｃ’を決定する。すなわち３タップのフィルタリングによる場合には、例えば次式の演算処理により注目画素Ｐｃの画素値Ｐｃ’を計算する。
Figure 0004517872
これに対して５タップのフィルタリングによる場合には、例えば次式の演算処理により注目画素Ｐｃの画素値Ｐｃ’を計算する。
Figure 0004517872
これらによりこの実施例においては、エッジ方向の内挿画像データの平滑化処理により、出力画像データＤ２の画素に対応する画素値を計算するようになされ、これにより高周波成分の喪失を有効に回避しつつ、エッジにおけるジャギーの発生を防止するようになされている。なおこれら内挿画像データの生成に供する補間演算処理にあっては、隣接する近傍画素の画素値を用いた線型補間に限らず、種々の周辺画素を用いた種々の補間演算処理方法を広く適用することができる。またこの内挿画像データを用いたフィルタリング処理に係る演算処理についても、（１０）式、（１１）式について上述した演算処理に限らず、種々の重み付け係数による補間演算処理を広く適用することができる。
ところでこのように画素毎にエッジ方向を検出して画像データＤ２に係る画素値を計算する場合、エッジでは無い箇所で輝度勾配と直交する方向に平滑化処理する恐れもある。このような場合に、大きな範囲である多くのタップ数によりフィルタリング処理したのでは、却って画質を劣化することになる。しかしながらこれとは逆に、エッジの部分では、大きな範囲でフィルタリング処理して、一段と確実にジャギーの発生を防止して滑らかなエッジを形成することができる。
これによりこの実施例では、画素毎にフィルタリング処理するタップ数を切り換え、これにより画素毎にエッジ方向に平滑化処理する範囲を可変する。またこのような平滑化処理する範囲をエッジ方向ｖｃへのエッジの信頼度により可変し、これにより平滑化処理による画質劣化を防止する。
具体的に、この実施例では、エッジ方向ｖ２の固有値λ２と、エッジ勾配方向ｖ１の固有値λ１との比率λ２／λ１により、このようなエッジ方向ｖｃへのエッジの信頼度を検出する。すなわちこの比率λ２／λ１が小さい場合には、この注目画素においては、エッジ勾配方向ｖ１の画素値の勾配が支配的であり、エッジ方向ｖ２に強いエッジであると判断することができる。これによりエッジ方向処理範囲の決定部１６は、図６に示すように、この比率λ２／λ１が一定の範囲λ２／λ１ｍｉｎ、λ２／λ１ｍａｘにおいては、比率λ２／λ１の値が低下するに従ってほぼ直線的に値が増加し、比率λ２／λ１の値がこの一定の範囲λ２／λ１ｍｉｎ、λ２／λ１ｍａｘ以外の場合には、それぞれ最大値ｐｍａｘ及び最小値ｐｍｉｎとなるパラメータｐを生成する。これによりエッジ方向へのエッジの信頼度に応じて値の変化するパラメータｐを生成する。
またエッジ勾配方向ｖ１の固有値λ１が大きい場合、エッジを挟んでコントラストが大きい場合であり、はっきりとしたエッジであると言える。これによりエッジ方向処理範囲の決定部１６は、図７に示すように、所定の範囲λ１ｍｉｎ、λ１ｍａｘで、固有値λ１に応じてほぼ直線的に値が増加し、これらの範囲λ１ｍｉｎ、λ１ｍａｘより値の小さい側及び大きい側では、それぞれ下限値ｑｍｉｎ、上限値ｑｍａｘとなるパラメータｑを生成する。これによりエッジの立ち上がりに応じて値の変化するパラメータｑを生成する。
エッジ方向処理範囲の決定部１６は、これら２つのパラメータｐ及びｑについて、次式により表される乗算処理を実行し、これによりエッジ方向処理に係るフィルタリング処理の範囲ｒを計算する。
Figure 0004517872
なおエッジ方向処理範囲の決定部１６においては、エッジ方向処理部１５の処理に係る画像データＤ２のサンプリング点に対応するように、画像データＤ１のサンプリング点による固有値λ１、λ２を画像データＤ２のサンプリング点に係る固有値に変換してフィルタリング処理の範囲ｒを計算する。この場合に、画像データＤ１のサンプリング点によりフィルタリング処理の範囲ｒを計算した後、この計算結果の内挿処理により画像データＤ２のサンプリング点に係るフィルタリング処理の範囲ｒを計算するようにしてもよく、またこれとは逆に、画像データＤ１のサンプリング点に係る固有値λ１、λ２を内挿処理して画像データＤ２のサンプリング点に係る固有値λ１、λ２を計算した後、この計算結果から画像データＤ２のサンプリング点に係るフィルタリング処理の範囲ｒを計算するようにしてもよい。
しかしてエッジ方向処理部１５は、このようにして計算される範囲ｒによりフィルタリング処理のタップ数を切り換えて画像データＤ２に係る注目画素Ｐｃの画素値Ｐｃ’を計算する。
このフィルタリングの処理において、エッジ方向処理部１５は、フィルタリング結果の融合処理を実行することにより、実数値のタップ数によりフィルタリング処理を実行し、これにより整数値のタップ数によりフィルタリング処理した場合の、タップ数の切り換え時における不自然さを解消する。
すなわちエッジ方向処理部１５では、次式により示される整数値によるタップ数のフィルタが定義される。なおここでこの実施例において、この整数値のタップ数は、１、３、５、……による奇数値が適用される。
Figure 0004517872
ここでｆｌｏｏｒ（ｎ）は、ｎを越えない最大の整数のタップ数であり、ｃｅｉｌ（ｎ）は、ｎ以上の最小の整数のタップ数である。またｎｒｅａｌは、（１２）式により計算された範囲ｒが適用される。これによりｎ＝３．５の場合、ｆｌｏｏｒ（ｎ）はタップ数３であり、ｃｅｉｌ（ｎ）はタップ数５となる。
フィルタリング結果の融合処理は、これら２種類のフィルタリング処理結果を用いて次式の演算処理を実行することにより、実数値によるフィルタリング処理結果ｆ（ｎ）を計算して実行される。これによりエッジ方向処理部１５は、フィルタリング処理の範囲ｒによりこれら２種類のタップ数によるフィルタリング処理を実行し、さらにこれら２種類のフィルタリング処理結果を用いて（１４）式の演算処理を実行することにより、画像データＤ２に係る注目画素Ｐｃの画素値Ｐｃ’を計算する。これによりエッジ方向処理部１５は、エッジ方向へのエッジの信頼度に応じたタップ数によりフィルタリング処理して画像データＤ２に係る注目画素Ｐｃの画素値Ｐｃ’を計算するようにして、このタップ数を少数点以下の単位で可変するようになされている。
Figure 0004517872
エッジ勾配方向処理部１７は、このようにしてエッジ方向処理部１５で計算される画像データＤ２に係る注目画素Ｐｃの画素値Ｐｃ’を用いて、エッジ勾配方向ｖ１に輪郭強調処理を実行する。すなわちエッジ勾配方向処理部１７は、図８に示すように、エッジ方向処理部１５において、画像データＤ２に係る注目画素Ｐｃでエッジ方向ｖｃを計算したと同様にして、画像データＤ１に係る隣接するサンプリング点のエッジ勾配方向ｖ１より、画像データＤ２に係る注目画素Ｐｃｃのエッジ勾配方向ｖｇを計算する。
さらにエッジ勾配方向処理部１７は、このようにして計算される注目画素Ｐｃｃのエッジ勾配方向ｖｇより、注目画素Ｐｃｃのサンプリング点からエッジ勾配方向ｖｇの直線上に、画像データＤ２のサンプリングピッチによるサンプリング点Ｐｃ−１、Ｐｃ＋１を所定個数だけ設定する。さらにこのサンプリング点Ｐｃ−１、Ｐｃ＋１と注目画素Ｐｃｃとについて、エッジ方向処理部１５から出力される画素値を用いた補間演算処理によりそれぞれ画素値を計算する。これによりエッジ勾配方向処理部１７は、エッジ検出部１２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ勾配方向ｖｇに延長する直線上に、エッジ方向処理部１５から出力される画素値による画像データの内挿処理によるエッジ勾配方向の内挿画像データを生成する。
続いてエッジ勾配方向処理部１７は、このようにして計算したサンプリング点Ｐｃ−１、Ｐｃ＋１と注目画素Ｐｃｃの画素値をフィルタリング処理し、注目画素Ｐｃｃの画素値Ｐｃｃ’を決定する。しかしてこの図８の例にあっては、３タップにより注目画素Ｐｃｃの画素値Ｐｃｃ’を計算する場合であり、サンプリング点Ｐｃ−１の画素値にあっては、周辺のサンプリング点Ｐｃ１、Ｐｃ２、Ｐｃ４、Ｐｃｃによる線型補間により生成され、またサンプリング点Ｐｃ＋１の画素値にあっては、周辺のサンプリング点Ｐｃｃ、Ｐｃ５、Ｐｃ７、Ｐｃ８による線型補間により生成される。これによりエッジ勾配方向処理部１７は、エッジを横切る方向に輪郭強調する。なおこれら内挿画像データの生成に供する補間演算処理にあっては、このような隣接する近傍画素の画素値を用いた線型補間に限らず、種々の周辺画素を用いた補間演算処理方法を広く適用することができる。またこの内挿画像データを用いたフィルタリング処理に係る演算処理についても、種々の重み付け係数による補間演算処理を広く適用することができる。
信頼度計算部１８は、エッジ勾配方向、エッジ方向についての信頼度ｆを計算する。このため信頼度計算部１８は、図９に示すように、処理対象の注目画素におけるエッジ方向ｖ２を用いて、この注目画素の近傍の前後、エッジ方向ｖ２に、一定のサンプリングピッチにより信頼度計算用のサンプリング点Ｐａ、Ｐｂ、Ｐｃ、Ｐｄ（黒丸により示す）を設定し、これら各サンプリング点Ｐａ、Ｐｂ、Ｐｃ、Ｐｄの画素値をエッジ方向処理部１５から出力される画素値より求める。なおエッジ方向処理部１５から出力される画像データより、これらサンプリング点Ｐａ、Ｐｂ、Ｐｃ、Ｐｄの画素値が得られない場合、信頼度計算部１８は、各サンプリング点の周辺画素の画素値を補間演算処理してそれぞれサンプリング点Ｐａ、Ｐｂ、Ｐｃ、Ｐｄの画素値を求める。因みにこの図９の例は、水平方向のサンプリングピッチを出力画像データＤ２のサンプリングピッチに設定して、注目画素の前後に２つのサンプリング点をそれぞれ設定した例である。
また信頼度計算部１８は、注目画素におけるエッジ勾配方向ｖ１を用いて、各信頼度計算用のサンプリング点Ｐａ、Ｐｂ、Ｐｃ、Ｐｄ、注目画素の前後、エッジ勾配方向ｖ１に、信頼度計算用のサブサンプリング点（白丸により示す）を設定し、これら各サブサンプリング点の画素値をエッジ方向処理部１５から出力される対応する画素値より求める。なおこの場合も、エッジ方向処理部１５から出力される画像データより、これらサブサンプリング点Ｐａ、Ｐｂ、Ｐｃ、Ｐｄの画素値が得られない場合、信頼度計算部１８は、各サブサンプリング点の周辺画素の画素値を補間演算処理してそれぞれサブサンプリング点の画素値を求める。因みに、この図９の例は、垂直方向のサンプリングピッチを出力画像データＤ２のサンプリングピッチに設定して、エッジ方向ｖ２に係る各サンプリング点、注目画素の前後にそれぞれ１つのサンプリング点を設定した例である。
さらに信頼度計算部１８は、破線により示すように、注目画素、この注目画素のエッジ方向ｖ２の前後のサンプリング点Ｐａ、Ｐｂ、Ｐｃ、Ｐｄの画素について、それぞれエッジ勾配方向ｖ１の前後のサブサンプリング点の画素値との間で加算値Σ１〜Σ５を計算する。ここでこの注目画素において、エッジの延長する方向にはっきりとしたエッジが形成されている場合、このようにして計算される加算値Σ１〜Σ５にあっては、ほぼ等しい値が得られる。しかしながらこの注目画素において、エッジ方向ｖ２のエッジがはっきりとしたものではない場合、これらの加算値Σ１〜Σ５にあっては、ばらつきが大きくなる。
これにより信頼度計算部１８は、矢印Ａ１〜Ａ４により示すように、これら加算値Σ１〜Σ５において、隣接するサンプリング点による加算値Σ１及びΣ２、Σ２及びΣ３、Σ３及びΣ４、Σ４及びΣ５間でそれぞれ減算値を計算する。またこのようにして計算される各減算値を絶対値化して加算し、加算値ＳＡＤを計算する。
信頼度計算部１８は、図１０に示すように、所定の範囲ＳＡＤｍｉｎ、ＳＡＤｍａｘで、ＳＡＤに応じてほぼ直線的に値が減少し、これらの範囲ＳＡＤｍｉｎ、ＳＡＤｍａｘより値の小さい側及び値の大きい側では、それぞれ上限値１．０、下限値０となる信頼度のパラメータｅを生成する。
これにより信頼度計算部１８は、エッジ方向に一定の間隔によりサンプリング点を設定し、入力画像データＤ１よりサンプリング点における画素値を求め、この画素値の比較により信頼度を検出するようになされている。またこのとき、エッジ勾配方向に、各サンプリング点の前後にサブサンプリング点を設定し、このサブサンプリング点における画素値との合計値により、各サンプリング点に係る画素値を求めるようになされている。
さらに信頼度計算部１８は、次式により示すように、エッジ方向処理部１５から出力される対応する画素値より、注目画素の画素値Ｉ０から、この注目画素の水平方向に隣接する画素値Ｉ-1 、Ｉ+1 、この注目画素の垂直方向に隣接する画素値Ｉ-v、Ｉ+v、をそれぞれ減算して減算値ｄｉｆｆh1、ｄｉｆｆh2、ｄｉｆｆv1、ｄｉｆｆv2を計算する。
Figure 0004517872
ここでこのようにして計算される水平方向に係る減算値ｄｉｆｆh1、ｄｉｆｆh2、垂直方向に係る減算値ｄｉｆｆv1、ｄｉｆｆv2において、正負を示す符号が同符号の場合、この同符号の減算値が得られる方向については、注目画素で画素値が立ち上がっている場合であることにより、この方向については、エッジであることの信頼度は低いと言える。これにより信頼度計算部１８は、次式により示すように、水平方向及び垂直方向に係る減算値ｄｉｆｆh1、ｄｉｆｆh2及びｄｉｆｆv1、ｄｉｆｆv2について、それぞれ符号の一致不一致を判定する。また符号が一致する場合、この一致する方向の１組の減算値を絶対値化した後、値の小さな側を選択して水平方向及び垂直方向の総合の差分値ｄｉｆｆh 、ｄｉｆｆv に設定する。また符号が一致しない場合、水平方向及び垂直方向の総合の差分値ｄｉｆｆh 、ｄｉｆｆv を値０に設定する。
Figure 0004517872
さらに次式により示すように、このようにして計算される水平方向、垂直方向の総合の差分値ｄｉｆｆh 、ｄｉｆｆv から値の大きい側を選択して信頼度計算用のパラメータｄｉｆｆを求める。
Figure 0004517872
信頼度計算部１８は、図１２に示すように、信頼度計算用のパラメータｄｉｆｆが所定の範囲ｄｉｆｆｍｉｎ、ｄｉｆｆｍａｘで、パラメータｄｉｆｆに応じてほぼ直線的に値が減少し、これらの範囲ｄｉｆｆｍｉｎ、ｄｉｆｆｍａｘより値の小さい側及び値の大きい側では、それぞれ上限値１．０、下限値０となる信頼度のパラメータｓ０を生成する。
さらに次式により示すように、このようにして求めた信頼度のパラメータｓ０を、信頼度のパラメータｅと乗算し、エッジの信頼度を示すパラメータｆを生成する。
Figure 0004517872
これにより信頼度計算部１８は、垂直方向及び水平方向に隣接する隣接画素の画素値との差分値を計算し、この差分値の比較により、信頼度を検出するようになされている。なおこれら信頼度の計算に供する画像データにあっては、必要に応じて、エッジ方向処理部１５の出力データに代えて、入力画像データＤ１を用いるようにしてもよい。
ブレンド比決定部１９は、エッジ方向ｖｃへのエッジの信頼度に応じてブレンド用の重み付け係数を生成する。すなわち上述したようにエッジ方向に平滑化処理し、エッジと直交する方向に輪郭強調する場合にあっては、自然画において、不自然に輪郭強調する場合がある。このためこの実施例においては、別途、補間処理部２で従来手法により生成した画像データＤ２に係る画素値Ｐａと、エッジ勾配方向処理部１７で生成される画素値Ｐｃｃ’とをブレンド処理部２０により重み付け加算して画像データＤ２を生成し、ブレンド比決定部１９は、この重み付け加算処理に係る重み付け係数を可変する。またこの重み付け係数の可変を、エッジ方向へのエッジの信頼度により可変し、これにより過度なエッジに係る処理の不自然さを防止する。またこのエッジ方向へのエッジの信頼度に、エッジ方向ｖ２の固有値λ２と、エッジ勾配方向ｖ１の固有値λ１との比率λ２／λ１、信頼度計算部１８で計算した信頼度ｆを適用して処理する。
具体的に、この比率λ２／λ１が小さい場合、この注目画素においては、エッジ勾配方向ｖ１の勾配が支配的であり、エッジ方向ｖ２に強いエッジであると判断することができる。これによりブレンド比決定部１９は、図１３に示すように、この比率λ２／λ１が一定の範囲λ２／λ１ｍｉｎ、λ２／λ１ｍａｘにおいては、比率λ２／λ１の値が低下するに従ってほぼ直線的に値が増加し、変数比率λ２／λ１の値がこの一定の範囲λ２／λ１ｍｉｎ、λ２／λ１ｍａｘ以外の場合には、それぞれ最大値ｓｍａｘ及び最小値ｓｍｉｎとなるパラメータｓを生成する。これによりエッジ方向へのエッジの信頼度に応じて値の変化するパラメータｓを生成する。
またエッジ勾配方向ｖ１の固有値λ１が大きい場合、エッジを挟んでコントラストが大きい場合であり、はっきりとしたエッジであると言える。これによりブレンド比決定部１９は、図１４に示すように、所定の範囲λｍｉｎ、λｍａｘで、固有値λ１に応じてほぼ直線的に値が増加し、これらの範囲λｍｉｎ、λｍａｘでは、それぞれ下限値ｔｍｉｎ、上限値ｔｍａｘとなるパラメータｔを生成する。これによりエッジの立ち上がりに応じて値の変化するパラメータｔを生成する。
ブレンド比決定部１９は、次式により示すように、これらパラメータｓ、ｔ、信頼度計算部１８で計算した信頼度のパラメータｆを乗算して、ブレンド用の重み付け係数β（０≦β≦１）を計算する。
Figure 0004517872
なおブレンド比決定部１９は、画像データＤ２に係るサンプリング点に対応するように、画像データＤ１のサンプリング点による固有値λ１、λ２を画像データＤ２のサンプリング点に係る固有値に変換してブレンド用の重み付け係数βを計算する。
ブレンド処理部２０は、次式の演算処理を実行することにより、エッジ勾配方向処理部１７で計算される画素値Ｐｃｃ’による画像データＳ３と、補間処理部２で計算される画素値Ｐａによる画像データＳ１１とをブレンド比決定部１９による重み付け係数βにより重み付け加算処理し、その処理結果を画像データＤ２により出力する。
Figure 0004517872
このようにしてそれぞれ画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向に直交するエッジ方向を検出して各方向にそれぞれエッジ強調処理、平滑化処理するようにして、画像処理部３Ａ〜３Ｅは、勾配行列生成部１３でｘ方向及びｙ方向の偏微分ｇx 及びｇy を計算する際の微分演算子の設定により、エッジ方向、エッジ勾配方向の検出に供する特性が異なる特性に設定される。
具体的に、第１〜第５の画像処理部３Ａ〜３Ｅは、（２１）〜（２５）式により表される微分演算子により、これらｘ方向及びｙ方向の偏微分ｇx 及びｇy をそれぞれ計算する。これによりこの画像処理装置１では、これら複数の画像処理部３Ａ〜３Ｅにおける微分演算子の位相特性を異ならせて、エッジ方向、エッジ勾配方向の検出に供する特性が異なるように設定され、１つ又は複数の画像処理部でエッジ方向、エッジ勾配方向を正しく検出できない場合、誤り検出した場合等にあっても、何れか１つの画像処理部では、これらを正しく検出できるようになされている。なおこのような微分演算子にあっては、位相特性に代えて、又は位相特性に加えて、周波数特性を異ならせるようにしてもよい。
Figure 0004517872
Figure 0004517872
Figure 0004517872
Figure 0004517872
Figure 0004517872
しかしてレイヤ統合部４は、これら複数の画像処理部３Ａ〜３Ｅのうちの１つで検出されるエッジ方向に係る画素値の勾配の分散λ１とエッジ勾配方向に係る画素値の勾配の分散λ２との比率に応じて、各画像処理部３Ａ〜３Ｅから出力される画像データＤ２Ａ〜Ｄ２Ｅの重み付け係数γを設定し、次式により示すように、この重み付け係数γにより画像データＤ２Ａ〜Ｄ２Ｅを重み付け加算して、出力画像データＤ３を生成する。
Figure 0004517872
なおこの実施例においては、（２１）〜（２５）式により判るように、第１の画像処理部３Ａにおける微分演算子の設定を基準にして、第２及び第５の画像処理部３Ｂ及び３Ｅ、第３及び第４の画像処理部３Ｃ及び３Ｄでそれぞれ微分演算子の設定が対称となるように設定され、レイヤ統合部４は、この基準となる第１の画像処理部３Ａで検出される分散λ１、λ２を用いて重み付け係数を生成する。
ここで図１５は、この重み付け係数γ０〜γ４の設定の１例を示す特性曲線図である。この図１５の例は、対称的に微分演算子が設定された２組の画像処理部についての重み付け係数の設定を示すものであり、レイヤ統合部４は、この対称的に微分演算子が設定された画像処理部の組毎に、所定の範囲で、相補的に値が変化するように重み付け係数を設定する。これによりこの図１５の例では、重み付け係数γ０及びγｎ、γ１及びγｎ−１がそれぞれ組を形成するようになされている。
なおこれによりレイヤ統合部４は、最終的に、重み付け係数の合計値が値１になるように、重み付け加算結果を正規化して出力画像データＤ３を出力する。またこれによりこのような複数の画像処理部３Ａ〜３Ｅの１つで検出される分散λ１、λ２による重み付け係数の設定による重み付け加算に代えて、各画像処理部３Ａ〜３Ｅで検出される分散λ１、λ２によりそれぞれ各画像処理部３Ａ〜３Ｅの重み付け係数を設定して重み付け加算した後、正規化するようにしてもよい。
（２）実施例の動作
以上の構成において、この画像処理装置１において（図１及び図２）、入力画像データＤ１は、第１の画像処理部３Ａのエッジ検出部１２に入力され、ここで各画素毎に、画素値の勾配が最も大きなエッジ勾配方向ｖ１と、このエッジ勾配方向ｖ１と直交するエッジ方向ｖ２とが順次検出される（（１）〜（８）式、図３及び図４）。また入力画像データＤ１は、エッジ方向処理部１５に入力され、ここでエッジ検出部１２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ方向ｖ２に画像データを平滑化処理して、出力画像データＤ２の各画素に対応する画素値Ｐｃが順次計算される（（９）〜（１４）式、図５）。またこの計算結果による画素値Ｐｃがエッジ勾配方向処理部１７に入力され、ここでエッジ検出部１２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ勾配方向ｖ１に輪郭強調処理され、出力画像データＤ２の画素値が計算される（（９）〜（１４）式、図８）。
これにより入力画像データＤ１は、エッジ方向ｖ２には平滑化処理されることにより、ジャギーの発生を有効に回避することができる。またエッジ方向ｖ２と直交する方向であるエッジ勾配方向ｖ１には、輪郭強調され、これによりエッジ方向と直交する方向については、高周波成分が強調され、これらにより高周波成分の喪失を有効に回避しつつ、ジャギーの発生を防止して画像データＤ２に変換される。
しかしながらこのようにしてエッジ方向、エッジ勾配方向を検出して平滑化処理、輪郭強調処理する場合、エッジ方向、エッジ勾配方向の検出に供する特性によっては、エッジを正しく検出できない場合もあり、これにより例えば特定のパターンでエッジを正しく処理できないことが判った。
これによりこの画像処理装置１において、入力画像データＤ１は、この第１の画像処理部３Ａと同一の構成であって、エッジ方向、エッジ勾配方向の検出に供する特性が異なる第２〜第５の画像処理部３Ｂ〜３Ｅにも入力され、それぞれ画像処理部３Ａと同様にしてエッジ方向、エッジ勾配方向が検出されて平滑化処理、輪郭強調処理される。また第１〜第５の画像処理部３Ａ〜３Ｅによる処理結果がレイヤ統合部４により合成される（（２６）式）。
これによりこの画像処理装置１では、これら５つの画像処理部３Ａ〜３Ｅのうちの１つの画像処理部でエッジ方向、エッジ勾配方向を検出できない場合、誤り検出した場合等であっても、他の画像処理部では、エッジ方向、エッジ勾配方向を正しく検出することができ、これにより異質感、ザラツキを防止して、確実に、画質を向上することができる。またエッジとテクスチャーとの弁別性能が向上し、これによっても画質を向上することができる。
このようにして一連の処理を実行するにつき、入力画像データＤ１は、各画像処理部３Ａ〜３Ｅにおいて、それぞれエッジ検出部１２の勾配行列生成部１３で、各画素毎に輝度勾配の行列Ｇが生成され、この輝度勾配の行列Ｇが続く固有値、固有ベクトル検出部１４により処理されて、エッジ勾配方向ｖ１、エッジ方向ｖ２が検出される。
各画像処理部３Ａ〜３Ｅにおいては、この輝度勾配の行列Ｇの生成に供する微分演算子が、異なる位相特性に設定され（（２１）〜（２５）式）、これによりそれぞれ異なる特性によりエッジ方向、エッジ勾配方向が検出される。これによりこの画像処理装置１では、特性の異なる複数の画像処理部３Ａ〜３Ｅを設けるようにして、これら画像処理部３Ａ〜３Ｅのほとんどを同一に構成し得、その分、全体の処理を簡略化することができる。
また入力映像信号Ｓ１は、この輝度勾配の行列Ｇの処理により、併せてエッジ勾配方向ｖ１、エッジ方向ｖ２に係る画素値の勾配の分散を示す固有値λ１、λ２が計算される。ここでこれら固有値λ１、λ２による比率λ２／λ１にあっては、検出されたエッジ方向の確からしさを示し、この比率λ２／λ１は小さい場合、他の演算処理部による処理結果を採用した方が、正しくエッジを処理できることになる。
これによりこの画像処理装置１では、第１の画像処理部３Ａで検出される固有値λ１、λ２がレイヤ統合部４に入力され、ここで固有値λ１、λ２の比率λ２／λ１に応じて各画像処理部３Ａ〜３Ｅによる処理結果の重み付け係数γが計算され（図１５）、この重み付け係数γを用いた重み付け加算により出力画像データＤ３が生成される（（２６）式）。これによりこの画像処理装置１では、一段と確実に画質を向上することができる。
また各画像処理部３Ａ〜３Ｅでは、エッジ方向処理範囲の決定部１６において、固有値λ１、λ２の比率λ２／λ１によりエッジの信頼度を示すパラメータｐが生成され（図６）、また固有値λ１にあってはエッジの強さを示すことにより、この固有値λ１によりパラメータｐに対応するパラメータｑが生成される（図７）。またこれらパラメータｐ及びｑの乗算により、エッジ方向処理部１５におけるフィルタリング処理の範囲ｒが計算される。
また入力画像データＤ１は、エッジ方向処理部１５において、エッジ方向の内挿画像データＰｃをフィルタリング処理して出力画像データＤ２の画素値Ｐｃ’を生成する際に、このようにしてエッジ方向処理範囲の決定部１６で生成されたフィルタリング処理の範囲ｒによりフィルタリング処理のタップ数が切り換えられ、エッジの信頼度が高い場合には、広い範囲によりエッジ方向の内挿画像データＰｃをフィルタリング処理して出力画像データＤ２の画素値Ｐｃ’が生成されるのに対し、エッジの信頼度が低い場合には、狭い範囲によりフィルタリング処理して出力画像データＤ２の画素値Ｐｃ’が生成される。これにより入力画像データＤ１は、エッジ方向ｖ２に係るフィルタリング処理のタップ数が、エッジの信頼度により切り換えられ（（１０）〜（１４）式）、エッジ以外の部位における過度の平滑化処理が防止され、画質劣化が有効に回避される。
またこのようにして平滑化処理するにつき、画像データＤ１は、エッジ方向ｖ２へのエッジの信頼度に応じて、フィルタリング処理の重み付け係数αを切り換え（（１２）式）、この重み付け係数αを用いてタップ数の異なるフィルタリング処理結果を重み付け加算（（１４）式）することにより、このようなタップ数の切り換えが小数点以下の単位により実行され、これにより整数値によるタップ数の切り換え時における不自然さが解消される。
ところでこのようにして映像信号を処理するにつき、各画像処理部３Ａ〜３Ｅによる処理結果においては、自然画において、過度に輪郭を強調する場合がある。これにより画像データＤ１は、補間処理部２において、従来手法による補間処理により出力画像データＤ２の各画素毎に画素値Ｐａ’が計算される。しかしてこのようにして補間処理部２で従来手法により生成される画像データＳ１１は、高周波成分が失われているものの、過度には輪郭が強調されていないことになる。
各画像処理部３Ａ〜３Ｅにおいては、この補間処理部２からの画像データＳ１１と、エッジ勾配方向処理部１７からの画像データＳ３とが、ブレンド処理部２０において、画像に応じて重み付け加算処理されて出力画像データＤ２が生成される（（２０）式）。またエッジ方向処理範囲の決定部１６においてフィルタリング処理範囲ｒを計算した場合と同様に、ブレンド比決定部１９において、固有値λ１、λ２による比率λ２／λ１によりエッジの信頼度を示すパラメータｓが計算され（図１３）、また固有値λ１によって同様にエッジの信頼度を示すパラメータｔが生成され（図１４）、これらパラメータｓ、ｔにより重み付け係数βが計算される（（１９）式）。これにより過度に輪郭が強調されている部位については、従来手法による画素値Ｐａ’により補正されて出力画像データＤ２が生成される。これによりこの実施例では、過度な輪郭強調による画質劣化が防止される。
また信頼度計算部１８において、注目画素の前後、エッジ方向ｖ２に、一定の間隔によりサンプリング点を設定し、エッジ方向処理部１５の出力データにより、各サンプリング点における画素値が求められ、この画素値の比較により、エッジ勾配方向、エッジ方向の信頼度を示す信頼度のパラメータｅが検出される（（１８）式、図９及び図１０）。またこの信頼度のパラメータｅによりブレンド比決定部１９で生成される重み付け係数βが補正され（（１９）式）、これにより特定のパターンにおける誤った処理が防止される。なおこのような特定のパターンにあっては、例えば信号レベルが大きく変化するエッジに、直線が直交している場合、２つのエッジが交差している場合等である。
またこのとき、各サンプリング点及び注目画素の前後、エッジ勾配方向ｖ１に、それぞれサブサンプリング点を設定し、このサブサンプリング点における画素値との合計値により、サンプリング点における画素値が求められ、これによりこのような特定パターンにおける誤った処理が確実に防止される。
また信頼度計算部１８において、注目画素に対して、垂直方向及び水平方向に隣接する隣接画素の画素値との差分値が計算され、これら差分値の比較により、エッジ勾配方向、エッジ方向の信頼度を示す信頼度のパラメータｓ０が検出される（（１５）〜（１７）式、図１１及び図１２）。またこの信頼度のパラメータｓ０によってもブレンド比決定部１９で生成される重み付け係数βが補正され（（１９）式）、これによっても特定のパターンにおける誤った処理が防止される。なおこのような特定のパターンにあっては、例えば画素ピッチでモザイク状に明暗が繰り返される場合等である。
（３）実施例の効果
以上の構成によれば、画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向に直交するエッジ方向にそれぞれエッジ強調処理、平滑化処理して画質を向上するようにして、異なる特性によりエッジ勾配方向、エッジ方向を検出し、各特性毎にエッジ強調処理、平滑化処理した後、各特性の処理結果を合成することにより、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上できる。
すなわち複数の画像処理部を設け、各画像処理部に、エッジ勾配方向、エッジ方向を検出するエッジ検出部と、このエッジ検出部の検出結果に基づいて、エッジ方向に平滑化処理するエッジ方向処理部と、このエッジ検出部の検出結果に基づいて、エッジ勾配方向に輪郭強調処理するエッジ勾配方向処理部とを設けることにより、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上できる。
またこのエッジ検出部において、処理対象の画素を中心とした一定範囲の画素値を微分して、エッジ勾配方向、エッジ方向を検出するようにして、この画素値の微分に供する微分演算子を異ならせて、エッジ勾配方向、エッジ方向の検出に供する特性を複数の画像処理部で異ならせることにより、これら複数の画像処理部における主要な構成を共通に構成して全体構成、全体の処理を簡略化することができる。
また各画像処理部に、エッジ勾配方向、エッジ方向の信頼度を検出する信頼度計算部と、この信頼度計算部で検出される信頼度に応じて、エッジ勾配方向処理部から出力される画素値を入力画像データによる画素値により補正するブレンド部とを設けることにより、自然画における過度の輪郭強調を防止することができる。
また注目画素の前後、エッジ方向に、一定の間隔によりサンプリング点を設定し、これらサンプリング点における画素値の比較によりこの信頼度を検出することにより、方向の異なる２つのエッジが接しているような特定のパターンにおける誤った処理を防止することができ、これにより確実に画質を向上することができる。
またこの処理において、注目画素及びサンプリングの前後、エッジ勾配方向に、それぞれサブサンプリング点を設定し、このサブサンプリング点における画素値との合計値により、各サンプリング点における画素値を求めることにより、確実に、この種の特定パターンにおける誤った処理を防止することができ、これによっても画質を向上することができる。
またこの処理において、注目画素と、垂直方向及び水平方向に隣接する隣接画素の画素値との差分値を計算し、これら差分値の比較により、信頼度を検出することにより、画素ピッチによりモザイク状に明暗が繰り返されるような特定のパターンにおける誤った処理を防止することができ、これによっても確実に画質を向上することができる。
また複数の画像処理部による処理結果を合成する統合部において、画像処理部で検出される、エッジ方向に係る画素値の勾配の分散とエッジ勾配方向に係る画素値の勾配の分散との比率に応じて、各画像処理部から出力される画像データの重み付け係数を設定し、この重み付け係数により画像データを重み付け加算することにより、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上できる。
図１６は、本発明の第２の実施例に係る画像処理装置に適用される画像処理部を示すブロック図である。この画像処理装置は、図１について上述した第２〜第５の画像処理部３Ａ〜３Ｅに代えて、この図１６に示す画像処理部３３Ｂ〜３３Ｅが適用される点を除いて、実施例１に係る画像処理装置１と同一に構成される。またこの図１６に示すこれら画像処理部３３Ｂ〜３３Ｅにおいて、第１の画像処理部３Ａと同一の構成は、対応する符号を付して示し、重複した説明は省略する。
ここで第１の画像処理部３Ａ、これら画像処理部３３Ｂ〜３３Ｅは、エッジ検出部１２、４２においてエッジ勾配方向、エッジ方向に供する一定範囲が異なる範囲に設定され、これによりエッジ勾配方向、エッジ方向の検出に供する特性が異なる特性に設定される。
より具体的に、これら画像処理部３３Ｂ〜３３Ｅにおいて、エッジ検出部４２は、それぞれダウンコンバータ４３Ｂ〜４３Ｅを介して勾配行列生成部１３に入力画像データＤ１を入力する。ここで第２の画像処理部３３Ｂに係るダウンコンバータ４３Ｂは、垂直方向及び水平方向に入力画像データＤ１のサンプリング数を１／２に低減して出力する。これに対して第３及び第４の画像処理部３３Ｃ及び３３Ｄに係るダウンコンバータ４３Ｃ及び４３Ｄは、垂直方向及び水平方向に入力画像データＤ１のサンプリング数をそれぞれ１／４、１／８に低減して出力する。また第５の画像処理部３３Ｅに係るダウンコンバータ４３Ｅは、垂直方向及び水平方向に入力画像データＤ１のサンプリング数を１／１６に低減して出力する。
これらによりこの画像処理装置では、入力画像データＤ１のダウンサンプリングによる処理に供するサンプリング数の設定により、第１の画像処理部３Ａ、これら画像処理部３３Ｂ〜３３Ｅでエッジ勾配方向、エッジ方向に供する一定範囲を異なる範囲に設定するようになされている。なおこれらダウンコンバータ４３Ｂ〜４３Ｅは、間引きによるサンプリング数の低減により、又はフィルタを用いたサンプリング数の低減により、入力画像データＤ１のサンプリング数を低減する。
またこれに対応してこれら画像処理部３３Ｂ〜３３Ｅは、それぞれエッジ方向処理範囲の決定部１６の出力値、ブレンド比決定部１９に入力する固有値λ１、λ２を、アップコンバータ４４Ｂ〜４４Ｅ、４５Ｂ〜４５Ｅによりアップコンパートする。
なおこれらアップコンバータ４４Ｂ〜４４Ｅ、４５Ｂ〜４５Ｅは、前置補間によるサンプリング数の増大により、又はフィルタを用いたサンプリング数の増大により、アップコンパートの処理を実行する。
この実施例のように、エッジ勾配方向、エッジ方向に供する一定範囲を異なる範囲に設定して、複数の画像処理部でエッジ勾配方向、エッジ方向の検出に供する特性を異なる特性に設定するようにしても、実施例１と同様の効果を得ることができる。
またこの異なる範囲の設定を、入力画像データのダウンサンプリングによる処理に供するサンプリング数の設定により実行することにより、これら複数の画像処理部の主要な構成を共通化することができ、その分、全体の構成、処理を簡略化することができる。
なお上述の実施例２においては、エッジ方向処理部、ブレンド比決定部１９の入力でアップコンバートの処理を実行する場合について述べたが、本発明はこれに限らず、アップコンバートの処理においては、例えば各画像処理部の出力段で実行する場合等、必要に応じて種々の箇所に設定することができる。なおこのように画像処理部の出力段でアップコンバートの処理を実行する場合には、エッジ方向処理部１５、エッジ勾配方向処理部１７においても、ダウンコンバートして画像データを処理することが必要になり、これによりアップコンバートする箇所によって、適宜、ダウンコンバータを配置することが必要になる。
また上述の実施例２においては、垂直方向及び水平方向の双方に、順次、サンプリング数を１／２に低減する場合について述べたが、本発明はこれに限らず、例えば垂直方向又は水平方向のみについてサンプリング数を１／２に低減する場合、さらにはこれらを組み合わせる場合等、ダウンコンバートの方向にあっては、種々に設定することができる。
また上述の実施例２においては、ダウンコンバートによるサンプリング数の設定により、エッジ方向、エッジ勾配方向の検出に供する範囲を複数の画像処理部で異ならせる場合について述べたが、本発明はこれに限らず、エッジ方向、エッジ勾配方向の検出に供するフィルタ自体のタップ数を異ならせることにより、エッジ方向、エッジ勾配方向の検出に供する範囲を複数の画像処理部で異ならせるようにしてもよい。
また上述の実施例においては、信頼度計算部１８において、２つの手法により信頼度のパラメータｅ及びｓ０を検出する場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保できる場合、パラメータｅ又はｓ０のみを使用するようにしてもよい。
また上述の実施例においては、タップ数の切り換えによりエッジ方向に係る平滑化処理範囲を可変する場合について述べたが、本発明はこれに限らず、平滑化処理に係る重み付け係数の可変により、等化的にタップ数を切り換えるようにしてもよい。
また上述の実施例においては、平滑化処理範囲、ブレンド処理部における重み付け加算処理を固有値λ２、λ１の比率、固有値λ１により可変する場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保できる場合には、固有値λ２、λ１の比率だけで可変するようにしてもよい。またこのような固有値λ２、λ１の比率、固有値λ１によるエッジの信頼度の検出に代えて種々の輪郭検出手法を適用することもできる。またブレンド処理部の重み付け加算処理に係る過度の輪郭補正にあっては、自然画において、木の葉が密集しているような箇所で発生することにより、例えば周波数特性等により検出される画像各部の特徴により可変するようにしてもよい。
また上述の実施例においては、平滑化処理範囲、ブレンド処理部における重み付け加算処理を可変する場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保できる場合には、これらの処理を省略するようにしてもよく、さらには画像の種類によって、これら何れかの処理、これら双方の処理を省略するようにしてもよい。
また上述の実施例においては、入力画像データＤ１のサンプリングピッチを可変して画像を拡大、縮小する場合について述べたが、本発明はこれに限らず、単なる輪郭補正の処理にも広く適用することができる。この場合、エッジ方向処理部、エッジ勾配方向処理部においては、入力画像データのサンプリングピッチと等しい出力画像データのサンプリングピッチにより一連の処理を実行するようにし、また補間処理の構成を省略して、ブレンド処理部２０においては、エッジ勾配方向処理部１７の出力データと入力画像データとを重み付け加算することにより、単に入力画像データを輪郭強調することができる。
また上述の実施例においては、演算処理手段により所定のプログラムを実行して画像データを処理する場合について述べたが、本発明はこれに限らず、ハードウエアの構成により画像データを処理する場合にも広く適用することができる。
本発明は、例えば解像度の変換に適用することができる。
本発明の実施例に係る画像処理装置の構成を示す機能ブロック図である。 図１の画像処理装置に係る画像処理部を示す機能ブロック図である。 画素勾配の行列の生成に供する略線図である。 エッジ勾配方向及びエッジ方向の説明に供する略線図である。 エッジ方向処理部の動作の説明に供する略線図である。 平滑化処理範囲の設定に供するパラメータを示す特性曲線図である。 平滑化処理範囲の設定に供する他のパラメータを示す特性曲線図である。 エッジ勾配方向処理部の動作の説明に供する略線図である。 信頼度計算部における信頼度の検出の説明に供する略線図である。 信頼度のパラメータを示す特性曲線図である。 信頼度計算部における他の信頼度の検出の説明に供する略線図である。 図１１に係る他の信頼度のパラメータを示す特性曲線図である。 ブレンド処理部の設定に供するパラメータを示す特性曲線図である。 ブレンド処理部の設定に供する他のパラメータを示す特性曲線図である。 統合部の処理に係るパラメータを示す特性曲線図である。 他の実施例に係る画像処理装置の第２〜第５の画像処理部を示す機能ブロック図である。
符号の説明
１……画像処理装置、２……補間処理部、３Ａ〜３Ｅ、３３Ｂ〜３３Ｅ……画像処理部、４……レイヤ統合部、１２、４２……エッジ検出部、１３……勾配行列生成部、１４……固有値、固有ベクトル検出部、１５……エッジ方向処理部、１６……エッジ方向処理範囲の決定部、１７……エッジ勾配方向処理部、１８……信頼度計算部、１９……ブレンド比決定部、２０……ブレンド処理部、４３Ｂ〜４３Ｅ……ダウンコンバータ、４４Ｂ〜４４Ｅ、４５Ｂ〜４５Ｅ……アップコンバータ

Claims (16)

  1. 入力画像データを処理して出力画像データを出力する画像処理装置において、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理部と、
    前記複数の画像処理部から出力される前記画像データを合成して前記出力画像データを生成する統合部とを備え、
    前記画像処理部は、
    処理対象の画素を中心とした一定範囲の画素値を微分して、前記エッジ勾配方向、前記エッジ方向を検出するエッジ検出部と、
    前記エッジ検出部の検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記入力画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理部と、
    前記エッジ検出部の検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理部から出力される画素値を前記エッジ勾配方向に輪郭強調処理して、前記画像データの画素値を順次出力するエッジ勾配方向処理部とを有し、
    前記エッジ検出部における前記画素値の微分に供する微分演算子が異なるように設定されて、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定された
    ことを特徴とする画像処理装置。
  2. 前記画像処理部は、
    前記エッジ検出部における前記一定範囲が異なる範囲に設定されて、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定された
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記異なる範囲の設定が、
    前記入力画像データのダウンサンプリングによる処理に供するサンプリング数の設定である
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 入力画像データを処理して出力画像データを出力する画像処理装置において、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理部と、
    前記複数の画像処理部から出力される前記画像データを合成して前記出力画像データを生成する統合部とを備え、
    前記画像処理部は、
    前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定され、
    前記エッジ勾配方向、前記エッジ方向を検出するエッジ検出部と、
    前記エッジ検出部の検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記入力画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理部と、
    前記エッジ検出部の検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理部から出力される画素値を前記エッジ勾配方向に輪郭強調処理して、前記画像データの画素値を順次出力するエッジ勾配方向処理部と、
    前記エッジ勾配方向、前記エッジ方向の信頼度を検出する信頼度計算部と、
    前記信頼度計算部で検出される信頼度に応じて、前記エッジ勾配方向処理部から出力される画素値を前記入力画像データによる画素値により補正して前記画像データを出力するブレンド部とを有し、
    前記信頼度計算部は、
    注目画素の前後、前記エッジ方向に、一定の間隔によりサンプリング点を設定し、
    前記入力画像データより前記サンプリング点における画素値を求め、
    前記画素値の比較により前記信頼度を検出する
    ことを特徴とする画像処理装置。
  5. 前記信頼度計算部は、
    前記注目画素及び前記サンプリング点の前後、前記エッジ勾配方向に、それぞれサブサンプリング点を設定し、
    前記サブサンプリング点における画素値との合計値により、前記サンプリング点における画素値を求める
    ことを特徴とする請求項４に記載の画像処理装置。
  6. 入力画像データを処理して出力画像データを出力する画像処理装置において、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理部と、
    前記複数の画像処理部から出力される前記画像データを合成して前記出力画像データを生成する統合部とを備え、
    前記画像処理部は、
    前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定され、
    前記エッジ勾配方向、前記エッジ方向を検出するエッジ検出部と、
    前記エッジ検出部の検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記入力画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理部と、
    前記エッジ検出部の検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理部から出力される画素値を前記エッジ勾配方向に輪郭強調処理して、前記画像データの画素値を順次出力するエッジ勾配方向処理部と、
    前記エッジ勾配方向、前記エッジ方向の信頼度を検出する信頼度計算部と、
    前記信頼度計算部で検出される信頼度に応じて、前記エッジ勾配方向処理部から出力される画素値を前記入力画像データによる画素値により補正して前記画像データを出力するブレンド部とを有し、
    前記信頼度計算部は、
    注目画素と、垂直方向及び水平方向に隣接する隣接画素の画素値との差分値を計算し、
    前記差分値の比較により、前記信頼度を検出する
    ことを特徴とする画像処理装置。
  7. 前記統合部は、
    前記画像処理部で検出される、前記エッジ方向に係る画素値の勾配の分散と前記エッジ勾配方向に係る画素値の勾配の分散との比率に応じて、各画像処理部から出力される前記画像データの重み付け係数を設定し、
    前記重み付け係数により前記画像データを重み付け加算して、前記出力画像データを生成する
    ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
  8. 入力画像データを処理して出力画像データを出力する画像処理方法において、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、
    前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
    前記画像処理のステップは、
    処理対象の画素を中心とした一定範囲の画素値を微分して、前記エッジ勾配方向、前記エッジ方向を検出するエッジ検出ステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理のステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理のステップによる画素値を前記エッジ勾配方向に輪郭強調処理して、前記画像データの画素値を順次出力するエッジ勾配方向処理ステップとを有し、
    前記エッジ検出ステップにおける前記画素値の微分に供する微分演算子が異なるように設定されて、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定された
    ことを特徴とする画像処理方法。
  9. 入力画像データを処理して出力画像データを出力する画像処理方法において、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、
    前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
    前記画像処理のステップは、
    前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定され、
    前記エッジ勾配方向、前記エッジ方向を検出するエッジ検出ステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記入力画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理のステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理のステップによる画素値を前記エッジ勾配方向に輪郭強調処理して、前記画像データの画素値を順次出力するエッジ勾配方向処理ステップと、
    前記エッジ勾配方向、前記エッジ方向の信頼度を検出する信頼度計算ステップと、
    前記信頼度計算ステップで検出される信頼度に応じて、前記エッジ勾配方向処理ステップによる画素値を前記入力画像データによる画素値により補正して前記画像データを出力するブレンドステップとを有し、
    前記信頼度計算ステップは、
    注目画素の前後、前記エッジ方向に、一定の間隔によりサンプリング点を設定し、
    前記入力画像データより前記サンプリング点における画素値を求め、
    前記画素値の比較により前記信頼度を検出する
    ことを特徴とする画像処理方法。
  10. 入力画像データを処理して出力画像データを出力する画像処理方法において、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、
    前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
    前記画像処理のステップは、
    前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定され、
    前記エッジ勾配方向、前記エッジ方向を検出するエッジ検出ステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記入力画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理のステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理のステップによる画素値を前記エッジ勾配方向に輪郭強調処理して、前記画像データの画素値を順次出力するエッジ勾配方向処理ステップと、
    前記エッジ勾配方向、前記エッジ方向の信頼度を検出する信頼度計算ステップと、
    前記信頼度計算ステップで検出される信頼度に応じて、前記エッジ勾配方向処理ステップによる画素値を前記入力画像データによる画素値により補正して前記画像データを出力するブレンドステップとを有し、
    前記信頼度計算ステップは、
    注目画素と、垂直方向及び水平方向に隣接する隣接画素の画素値との差分値を計算し、
    前記差分値の比較により、前記信頼度を検出する
    ことを特徴とする画像処理方法。
  11. 演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムにおいて、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、
    前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
    前記画像処理のステップは、
    処理対象の画素を中心とした一定範囲の画素値を微分して、前記エッジ勾配方向、前記エッジ方向を検出するエッジ検出ステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理のステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理のステップによる画素値を前記エッジ勾配方向に輪郭強調処理して、前記画像データの画素値を順次出力するエッジ勾配方向処理ステップとを有し、
    前記エッジ検出ステップにおける前記画素値の微分に供する微分演算子が異なるように設定されて、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定された
    ことを特徴とする画像処理方法のプログラム。
  12. 演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムにおいて、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、
    前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
    前記画像処理のステップは、
    前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定され、
    前記エッジ勾配方向、前記エッジ方向を検出するエッジ検出ステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記入力画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理のステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理のステップによる画素値を前記エッジ勾配方向に輪郭強調処理して、前記画像データの画素値を順次出力するエッジ勾配方向処理ステップと、
    前記エッジ勾配方向、前記エッジ方向の信頼度を検出する信頼度計算ステップと、
    前記信頼度計算ステップで検出される信頼度に応じて、前記エッジ勾配方向処理ステップによる画素値を前記入力画像データによる画素値により補正して前記画像データを出力するブレンドステップとを有し、
    前記信頼度計算ステップは、
    注目画素の前後、前記エッジ方向に、一定の間隔によりサンプリング点を設定し、
    前記入力画像データより前記サンプリング点における画素値を求め、
    前記画素値の比較により前記信頼度を検出する
    ことを特徴とする画像処理方法のプログラム。
  13. 演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムにおいて、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、
    前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
    前記画像処理のステップは、
    前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定され、
    前記エッジ勾配方向、前記エッジ方向を検出するエッジ検出ステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記入力画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理のステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理のステップによる画素値を前記エッジ勾配方向に輪郭強調処理して、前記画像データの画素値を順次出力するエッジ勾配方向処理ステップと、
    前記エッジ勾配方向、前記エッジ方向の信頼度を検出する信頼度計算ステップと、
    前記信頼度計算ステップで検出される信頼度に応じて、前記エッジ勾配方向処理ステップによる画素値を前記入力画像データによる画素値により補正して前記画像データを出力するブレンドステップとを有し、
    前記信頼度計算ステップは、
    注目画素と、垂直方向及び水平方向に隣接する隣接画素の画素値との差分値を計算し、
    前記差分値の比較により、前記信頼度を検出する
    ことを特徴とする画像処理方法のプログラム。
  14. 演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体において、
    前記画像処理方法のプログラムは、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、
    前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
    前記画像処理のステップは、
    処理対象の画素を中心とした一定範囲の画素値を微分して、前記エッジ勾配方向、前記エッジ方向を検出するエッジ検出ステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理のステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理のステップによる画素値を前記エッジ勾配方向に輪郭強調処理して、前記画像データの画素値を順次出力するエッジ勾配方向処理ステップとを有し、
    前記エッジ検出ステップにおける前記画素値の微分に供する微分演算子が異なるように設定されて、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定された
    ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
  15. 演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体において、
    前記画像処理方法のプログラムは、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、
    前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
    前記画像処理のステップは、
    前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定され、
    前記エッジ勾配方向、前記エッジ方向を検出するエッジ検出ステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記入力画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理のステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理のステップによる画素値を前記エッジ勾配方向に輪郭強調処理して、前記画像データの画素値を順次出力するエッジ勾配方向処理ステップと、
    前記エッジ勾配方向、前記エッジ方向の信頼度を検出する信頼度計算ステップと、
    前記信頼度計算ステップで検出される信頼度に応じて、前記エッジ勾配方向処理ステップによる画素値を前記入力画像データによる画素値により補正して前記画像データを出力するブレンドステップとを有し、
    前記信頼度計算ステップは、
    注目画素の前後、前記エッジ方向に、一定の間隔によりサンプリング点を設定し、
    前記入力画像データより前記サンプリング点における画素値を求め、
    前記画素値の比較により前記信頼度を検出する
    ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
  16. 演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体において、
    前記画像処理方法のプログラムは、
    前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、
    前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
    前記画像処理のステップは、
    前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定され、
    前記エッジ勾配方向、前記エッジ方向を検出するエッジ検出ステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記入力画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理のステップと、
    前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理のステップによる画素値を前記エッジ勾配方向に輪郭強調処理して、前記画像データの画素値を順次出力するエッジ勾配方向処理ステップと、
    前記エッジ勾配方向、前記エッジ方向の信頼度を検出する信頼度計算ステップと、
    前記信頼度計算ステップで検出される信頼度に応じて、前記エッジ勾配方向処理ステップによる画素値を前記入力画像データによる画素値により補正して前記画像データを出力するブレンドステップとを有し、
    前記信頼度計算ステップは、
    注目画素と、垂直方向及び水平方向に隣接する隣接画素の画素値との差分値を計算し、
    前記差分値の比較により、前記信頼度を検出する
    ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
JP2005034161A 2005-02-10 2005-02-10 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 Expired - Fee Related JP4517872B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005034161A JP4517872B2 (ja) 2005-02-10 2005-02-10 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US11/352,150 US7792384B2 (en) 2005-02-10 2006-02-10 Image processing apparatus, image processing method, program, and recording medium therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005034161A JP4517872B2 (ja) 2005-02-10 2005-02-10 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体

Publications (3)

Publication Number Publication Date
JP2006221403A JP2006221403A (ja) 2006-08-24
JP2006221403A5 JP2006221403A5 (ja) 2007-03-08
JP4517872B2 true JP4517872B2 (ja) 2010-08-04

Family

ID=36983701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005034161A Expired - Fee Related JP4517872B2 (ja) 2005-02-10 2005-02-10 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体

Country Status (2)

Country Link
US (1) US7792384B2 (ja)
JP (1) JP4517872B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4817000B2 (ja) * 2003-07-04 2011-11-16 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR100548611B1 (ko) * 2003-08-07 2006-01-31 삼성전기주식회사 영상 처리에 있어서의 에지 강조를 위한 장치 및 방법
JP4534594B2 (ja) * 2004-05-19 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4987355B2 (ja) * 2005-10-14 2012-07-25 京セラ株式会社 撮像装置および撮像方法
TWI372365B (en) * 2006-09-06 2012-09-11 Realtek Semiconductor Corp Method and apparatus for directional edge enhancement
KR101298642B1 (ko) * 2006-11-21 2013-08-21 삼성전자주식회사 영상 잡음 제거 방법 및 장치
KR101086424B1 (ko) * 2007-01-12 2011-11-23 삼성전자주식회사 디지털 영상 처리 장치 및 방법
US8538203B2 (en) * 2007-07-24 2013-09-17 Sharp Laboratories Of America, Inc. Image upscaling technique
US8396330B2 (en) * 2007-07-24 2013-03-12 Sharp Laboratories Of America, Inc. Image upscaling based upon directional interpolation
WO2009081529A1 (ja) * 2007-12-25 2009-07-02 Nec Corporation 画像処理装置、画像処理方法、画像伸張装置、画像圧縮装置、画像伝送システムおよび記憶媒体
TWI362629B (en) * 2008-06-26 2012-04-21 Chunghwa Picture Tubes Ltd Image process method and apparatus
US8559746B2 (en) 2008-09-04 2013-10-15 Silicon Image, Inc. System, method, and apparatus for smoothing of edges in images to remove irregularities
JP5562242B2 (ja) * 2008-12-22 2014-07-30 パナソニック株式会社 画像拡大装置、方法、集積回路及びプログラム
JP5448981B2 (ja) 2009-04-08 2014-03-19 株式会社半導体エネルギー研究所 液晶表示装置の駆動方法
JP5373592B2 (ja) * 2009-12-25 2013-12-18 シャープ株式会社 画像処理方法、画像処理装置、プログラムおよび記録媒体
CN103229208A (zh) * 2011-01-20 2013-07-31 日本电气株式会社 图像处理系统、图像处理方法和图像处理程序
EP2745780B1 (en) * 2011-09-07 2015-12-09 Shimadzu Corporation Image processing device and radiation imaging apparatus comprising same
CN104620283B (zh) * 2012-09-14 2017-12-19 索尼公司 图像处理设备、图像处理方法
JP2014123173A (ja) * 2012-12-20 2014-07-03 Sony Corp 画像処理装置、撮像装置及び画像処理方法
JP6116291B2 (ja) * 2013-02-27 2017-04-19 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9519975B2 (en) * 2014-01-08 2016-12-13 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Method of detecting edge under non-uniform lighting background
JP6418788B2 (ja) * 2014-05-26 2018-11-07 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
JP6381344B2 (ja) * 2014-07-31 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6473608B2 (ja) * 2014-11-27 2019-02-20 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、及びプログラム
WO2019132548A1 (en) 2017-12-28 2019-07-04 Samsung Electronics Co., Ltd. Method and apparatus for processing image and computer program product thereof
TWI664605B (zh) * 2018-08-16 2019-07-01 瑞昱半導體股份有限公司 色彩重建裝置與方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193716A (ja) * 1993-12-27 1995-07-28 Nec Corp エッジ強調装置
JP2002133410A (ja) * 2000-10-25 2002-05-10 Fuji Photo Film Co Ltd ノイズ抑制処理装置並びに記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5245432A (en) * 1989-07-31 1993-09-14 Imageware Research And Development Inc. Apparatus and method for transforming a digitized signal of an image to incorporate an airbrush effect
US5760922A (en) * 1993-10-08 1998-06-02 Matsushita Electric Industrial Co., Ltd. Area recognizing device and gradation level converting device employing area recognizing device
US6735341B1 (en) * 1998-06-18 2004-05-11 Minolta Co., Ltd. Image processing device and method and recording medium for recording image processing program for same
US6175659B1 (en) * 1998-10-06 2001-01-16 Silicon Intergrated Systems Corp. Method and apparatus for image scaling using adaptive edge enhancement
JP3334042B2 (ja) * 1999-03-24 2002-10-15 ミノルタ株式会社 画像処理装置およびこれを搭載した画像読取装置と画像形成装置、並びに画像処理方法、および画像処理手順を記憶したコンピュータ読み取り可能な記憶媒体
US6643406B1 (en) * 1999-07-28 2003-11-04 Polaroid Corporation Method and apparatus for performing linear filtering in wavelet based domain
US6337925B1 (en) * 2000-05-08 2002-01-08 Adobe Systems Incorporated Method for determining a border in a complex scene with applications to image masking
US6445832B1 (en) * 2000-10-10 2002-09-03 Lockheed Martin Corporation Balanced template tracker for tracking an object image sequence
EP1223553A3 (en) * 2000-10-17 2003-09-24 Fuji Photo Film Co., Ltd. Apparatus for suppressing noise by adapting filter characteristics to input image signal based on characteristics of input image signal
JP2003061105A (ja) * 2001-06-07 2003-02-28 Seiko Epson Corp 画像処理方法、画像処理プログラム、画像処理装置およびそれを用いたディジタルスチルカメラ
JP2003224715A (ja) 2002-01-31 2003-08-08 Sony Corp 画像処理回路および画像処理方法
US7430303B2 (en) * 2002-03-29 2008-09-30 Lockheed Martin Corporation Target detection method and system
JP4065155B2 (ja) * 2002-07-12 2008-03-19 オリンパス株式会社 画像処理装置および画像処理プログラム
JP4042563B2 (ja) * 2002-12-27 2008-02-06 セイコーエプソン株式会社 画像ノイズの低減
US7102638B2 (en) * 2003-03-19 2006-09-05 Mitsubishi Eletric Research Labs, Inc. Reducing texture details in images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193716A (ja) * 1993-12-27 1995-07-28 Nec Corp エッジ強調装置
JP2002133410A (ja) * 2000-10-25 2002-05-10 Fuji Photo Film Co Ltd ノイズ抑制処理装置並びに記録媒体

Also Published As

Publication number Publication date
JP2006221403A (ja) 2006-08-24
US20060291741A1 (en) 2006-12-28
US7792384B2 (en) 2010-09-07

Similar Documents

Publication Publication Date Title
JP4517872B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4534594B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US7483040B2 (en) Information processing apparatus, information processing method, recording medium, and program
EP1480166B1 (en) An edge enhancement process and system
JP5115361B2 (ja) 画素補間装置、画素補間方法および画素補間プログラム
EP2164040B1 (en) System and method for high quality image and video upscaling
US20050169557A1 (en) Image processing apparatus and method, recording medium, and program thereof
WO2017169039A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN101552868A (zh) 用于减少视频信号中运动模糊的设备和方法
US20090002562A1 (en) Image Processing Device, Image Processing Method, Program for Image Processing Method, and Recording Medium Having Program for Image Processing Method Recorded Thereon
JP2008167027A (ja) 画像処理装置、画像処理方法、画像処理プログラム
US8213736B2 (en) Image processing device and image processing method
JP4872508B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US20050078884A1 (en) Method and apparatus for interpolating a digital image
JP4635652B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
WO2013011797A1 (ja) 劣化復元システム、劣化復元方法およびプログラム
JP4104475B2 (ja) 輪郭補正装置
JP2011049696A (ja) 画像処理装置及び画像処理方法
WO2014034242A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2015106318A (ja) 画像処理装置および画像処理方法
JP6891014B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP5018198B2 (ja) 補間信号生成回路、補間信号生成方法、プログラムおよびビデオ信号処理装置
Lee et al. A single image super-resolution algorithm using Non-Local-Mean self-similarity and noise-robust saliency map
JP4992438B2 (ja) 画像処理装置および画像処理プログラム
JP2014086957A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070118

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100510

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees