JP4730141B2 - 画像処理装置および方法、記録媒体、並びに、プログラム - Google Patents

Description

本発明は、画像処理装置および方法、記録媒体、並びに、プログラムに関し、特に、画像のリッジの強度を簡単かつ正確に検出することができるようにする画像処理装置および方法、記録媒体、並びに、プログラムに関する。

近年、従来のNTSC（National Television Standards Committee）方式、PAL（Phase Alternation by Line）方式などに加えて、より高精細な画像の番組を放送できるHDTV（High Definition television）方式などのテレビジョン放送の方式の普及が進んでいる。また、デジタルスチルカメラなどデジタルの画像データを扱う家庭用の製品の普及が進んでいる。これにより、ユーザが取り扱う画像データの解像度が多様化している。

一方、近年、普及が進んでいる画像表示デバイスであるFPD（Flat Panel Display）は、液晶表示方式、プラズマ表示方式などの表示方式に関わらず、画素数が固定されている。そのため、表示デバイスが表示できる解像度と画像データの解像度が一致しない場合、画像データの解像度を表示デバイスが表示できる解像度に変換する必要が生じる。この解像度変換は、例えば、元の画像データの画素を用いて画素を補間する一次元の補間処理を水平および垂直方向のそれぞれに施すことにより実現される。

画像を補間する方法として、例えば、画素を補間する位置（以下、補間位置とも称する）に最も近い原画像データの画素の画素値を用いて画素を補間する最近傍補間法（例えば、特許文献１参照）、補間位置に隣接する２つの画素の画素値の加重平均を用いて画素を補間する双線形補間法（例えば、特許文献１参照）、補間位置の近傍の４画素の画素値の加重平均を用いて画素を補間するバイキュービック補間法（例えば、特許文献２参照）、画像のエッジの方向を検出して、補間位置を中心とするエッジ方向において隣接する画素を用いて画素を補間する斜め線補間法（例えば、特許文献３参照）、タップ数および補間フィルタ（フィルタ係数）の次数を増やし、理想とするフィルタ特性（sinc関数）に近い特性を有する補間フィルタを用いて画像を補間する方法（以下、高次数補間フィルタ法とも称する）などが知られている。

特開平０９−５０５１６号公報 特開２００１−２１６１２４号公報 特開２００４−１５３６６８号公報

図１は、上述した各補間方法の特徴をまとめた表である。

最近傍補間法は、処理が簡単であり、画像を整数倍に拡大する場合、ボケが生じないため、CG（Computer Graphics）などの処理において効果的な場合がある。ただし、非整数倍の倍率で画像を変倍する場合、線の太さが揃わなかったり、ジャギー（斜め線のがたつき）が目立ったりするため、実用的ではない。また、折り返し歪みも発生する。

双線形補間法は、データの処理量が少なくてすむ上、最近傍補間法と比べて、周囲の画素により調和した画素を補間することができる（補間精度が向上する）。しかし、双線形補間法では、折り返し歪みおよびジャギーが発生するとともに、画像がぼけた感じになる場合があり、良好な画質を得ることが難しい。

バイキュービック補間法は、画像のエッジ付近のリンギングの発生を抑制することができるとともに、最近傍補間法や双線形補間法に比べて、補間精度が高く、特に、撮像装置などにより撮像された自然画像の補間において、良好な画質を得ることができる。しかし、バイキュービック補間法でも、折り返し歪みおよびジャギーの発生を抑制することは困難である。特に、画像を縮小する場合、折り返し歪みによる画質の劣化がより顕著になる。

図３は、図２に示される原画像をバイキュービック補間法を用いて拡大した画像を示している。図３の画像では、画像の中央右よりの縦の細い線が並ぶ高周波成分を多く含む領域において折り返し歪みが発生している。また、画像の左側の斜め方向のエッジにおいて、ジャギーの発生によりエッジが階段状になっている。

高次数補間フィルタ法は、折り返し歪みの発生を抑制することができる一方、画像のエッジ付近の画素値の変化が少ない領域（以下、平坦領域と称する）においてリンギングが発生する場合がある。また、高次数補間フィルタ法でも、ジャギーの発生を抑制することは困難である。

図４は、図２の原画像を高次数補間フィルタ法を用いて拡大した画像を示している。図４の画像は、図３の画像と比較して、画像の中央右よりの縦の細い線が並ぶ高周波成分を多く含む領域における折り返し歪みの発生が抑制されているが、その領域の左右の平坦領域において、リンギングが発生している。また、図３の画像と同様に、画像の左側の斜め方向のエッジにおいて、ジャギーの発生によりエッジが階段状になっている。

図５は、図２の原画像の矢印Ａ１および矢印Ａ２で挟まれる部分に対応する図３および図４の画像の矢印Ａ１およびＡ２で挟まれる部分のうち、画像の左端から中央右よりの縦の細い線が並ぶ高周波成分を多く含む領域の右端付近までの画素値の変化を示すグラフである。図５の横軸方向は、画素の位置を示し、縦軸方向は、画素値（輝度値）を示している。また、図内の系列１の線は、バイキュービック補間により拡大された画像（図３）における画素値の変化を表し、系列２の線は、高次数補間フィルタ法により拡大された画像（図４）における画素値の変化を示している。

図５より、図３の画像では、画素値が短い周期で大きくする変化する高周波成分を多く含む領域において、折り返し歪みの発生により、画素値の変化が不均一になっていることが分かる。また、図４の画像では、高周波成分を多く含む領域において、折り返し歪みが抑制され、画素値の変化がほぼ均一になっている一方、高周波成分を多く含む領域の左側の平坦な領域において、リンギングの発生により、画素値が細かく振動していることが分かる。

図１に戻り、斜め線補間法は、画像のエッジ方向を考慮して画素の補間を行うため、ジャギーの発生を抑制することができる一方、エラーが発生する場合がある。また、対応できる斜め線の角度に限界があるため、折り返し歪みの発生を抑制することが困難である。

図６は、図２の原画像を斜め線補間法を用いて拡大した画像を示している。図６の画像は、図３または図４の画像と比較して、斜め方向のエッジ付近のジャギーの発生が抑制されている一方、画像の右端付近の数字の一部が表示されている領域の左側においてエラーが発生している。また、図３の画像と同様に、高周波成分を多く含む領域において折り返し歪みが発生している。

以上のように、いずれの補間方法にも長所および欠点がある。また、さらに画質を改善するためにエッジやコントラストなどを強調した場合、ジャギー、リンギング、折り返し歪み、平坦領域におけるノイズなどが強調され、画質が低下してしまうときがある。

そのような画像処理による画像の劣化を抑制し、画像の補間や画像強調などの画像処理を施した画像の品質を向上させるため、画像の特徴をより正確に検出して、検出した特徴に応じた画像処理を行うことが考えられる。

本発明は、このような状況を鑑みてなされたものであり、画像のリッジの強度を簡単かつ正確に検出し、その結果、画像の特徴に応じた画像処理を行うことができるようにするものである。

本発明の一側面の画像処理装置には、複数の画素からなる領域内の画素間の画素値の差分である勾配値の絶対値の合計をエッジ強度として検出するエッジ強度検出手段と、前記領域内の前記エッジ強度と前記勾配値の合計の絶対値との差分をリッジ強度として検出するリッジ強度検出手段と、リッジを含む領域に対する処理を目的とする第１の画像処理を行う第１の画像処理手段と、ステップエッジを含む領域に対する処理を目的とする第２の画像処理を行う第２の画像処理手段と、画素値の変化が少ない領域である平坦領域に対する処理を目的とする第３の画像処理を行う第３の画像処理手段と、第１の画像に対して前記第１の画像処理を行った画像である第２の画像、前記第１の画像に対して前記第２の画像処理を行った画像である第３の画像、および、前記第１の画像に対して前記第３の画像処理を行った画像である第４の画像の対応する位置にある画素の画素値を、前記リッジ強度および前記エッジ強度に基づく重みをつけて加算することにより画像を合成する合成手段とが設けられている。

前記第１の画像処理は、画像の高周波成分により発生する折り返し歪みの発生が抑制される補間方法に基づいて画像の補間を行う画像処理であり、前記第２の画像処理は、斜め方向のエッジにおけるジャギーの発生が抑制される補間方法に基づいて画像の補間を行う画像処理であり、前記第３の画像処理は、平坦領域におけるリンギングの発生が抑制される補間方法に基づいて画像の補間を行う画像処理であるようにすることができる。

前記第１の画像処理は、第１の振幅以上の画像の高周波成分を、第１のゲインを用いて強調する画像処理であり、前記第２の画像処理は、ステップエッジにおけるプリシュートおよびオーバーシュートの発生が抑制される画像強調の手法に基づいて、画像の強調を行う画像処理であり、前記第３の画像処理は、前記第１の振幅以上である第２の振幅以上の画像の高周波成分を、前記第１のゲイン以下である第２のゲインを用いて強調する画像処理であるようにすることができる。

前記合成手段には、前記第２の画像および前記第３の画像の対応する位置にある画素の画素値を、前記リッジ強度に基づく重みをつけて加算することにより画像を合成する第１の合成手段と、前記第４の画像および前記第１の合成手段により合成された第５の画像の対応する位置にある画素の画素値を、前記エッジ強度に基づく重みをつけて加算することにより画像を合成する第２の合成手段とを設けることができる。

本発明の一側面の画像処理方法、または、プログラムもしくは記録媒体に記録されているプログラムは、複数の画素からなる領域内の画素間の画素値の差分である勾配値の絶対値の合計をエッジ強度として検出し、前記領域内の前記エッジ強度と前記勾配値の合計の絶対値との差分をリッジ強度として検出し、リッジを含む領域に対する処理を目的とする第１の画像処理を行い、ステップエッジを含む領域に対する処理を目的とする第２の画像処理を行い、画素値の変化が少ない領域である平坦領域に対する処理を目的とする第３の画像処理を行い、第１の画像に対して前記第１の画像処理を行った画像である第２の画像、前記第１の画像に対して前記第２の画像処理を行った画像である第３の画像、および、前記第１の画像に対して前記第３の画像処理を行った画像である第４の画像の対応する位置にある画素の画素値を、前記リッジ強度および前記エッジ強度に基づく重みをつけて加算することにより画像を合成するステップを含む。

本発明の一側面においては、複数の画素からなる領域内の画素間の画素値の差分である勾配値の絶対値の合計がエッジ強度として検出され、前記領域内の前記エッジ強度と前記勾配値の合計の絶対値との差分がリッジ強度として検出され、リッジを含む領域に対する処理を目的とする第１の画像処理が行われ、ステップエッジを含む領域に対する処理を目的とする第２の画像処理が行われ、画素値の変化が少ない領域である平坦領域に対する処理を目的とする第３の画像処理が行われ、第１の画像に対して前記第１の画像処理を行った画像である第２の画像、前記第１の画像に対して前記第２の画像処理を行った画像である第３の画像、および、前記第１の画像に対して前記第３の画像処理を行った画像である第４の画像の対応する位置にある画素の画素値が、前記リッジ強度および前記エッジ強度に基づく重みをつけて加算されることにより画像が合成される。

以上のように、本発明の一側面によれば、画像のリッジの強度を検出することができる。また、本発明の第一の側面によれば、画像のリッジの強度を簡単かつ正確に検出することができ、その結果、画像の特徴に応じた画像処理を行うことができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置（例えば、図７の画像処理部１１２または図３８の画像処理部４１１）は、複数の画素からなる領域内の画素間の画素値の差分である勾配値の絶対値の合計をエッジ強度として検出するエッジ強度検出手段（例えば、図１９のエッジ強度検出部１７１）と、前記領域内の前記エッジ強度と前記勾配値の合計の絶対値との差分をリッジ強度として検出するリッジ強度検出手段（例えば、図２２のリッジ強度検出部２０１）と、リッジを含む領域に対する処理を目的とする第１の画像処理を行う第１の画像処理手段（例えば、図８のリッジ領域用補間演算部１５１または図３９の第一強調演算部４５１−１）と、ステップエッジを含む領域に対する処理を目的とする第２の画像処理を行う第２の画像処理手段（例えば、図８のエッジ領域用補間演算部１５２または図３９の第二強調演算部４５２）と、画素値の変化が少ない領域である平坦領域に対する処理を目的とする第３の画像処理を行う第３の画像処理手段（例えば、図８の平坦領域用補間演算部１５３または図３９の第一強調演算部４５１−２）と、第１の画像に対して前記第１の画像処理を行った画像である第２の画像、前記第１の画像に対して前記第２の画像処理を行った画像である第３の画像、および、前記第１の画像に対して前記第３の画像処理を行った画像である第４の画像の対応する位置にある画素の画素値を、前記リッジ強度および前記エッジ強度に基づく重みをつけて加算することにより画像を合成する合成手段（例えば、図８または図３９の画像合成部１４４）とを含む。

本発明の一側面の画像処理装置においては、前記合成手段は、前記第２の画像および前記第３の画像の対応する位置にある画素の画素値を、前記リッジ強度に基づく重みをつけて加算することにより画像を合成する第１の合成手段（例えば、図８または図３９の第一合成部１６１）と、前記第４の画像および前記第１の合成手段により合成された第５の画像の対応する位置にある画素の画素値を、前記エッジ強度に基づく重みをつけて加算することにより画像を合成する第２の合成手段（例えば、図８または図３９の第二合成部１６２）とを備えるようにすることができる。

本発明の画像処理方法、または、プログラムもしくは記録媒体に記録されているプログラムは、複数の画素からなる領域内の画素間の画素値の差分である勾配値の絶対値の合計をエッジ強度として検出し（例えば、図２６のステップＳ１０または図４３のステップＳ１１０）、前記領域内の前記エッジ強度と前記勾配値の合計の絶対値との差分をリッジ強度として検出し（例えば、図２６のステップＳ１１または図４３のステップＳ１１１）、リッジを含む領域に対する処理を目的とする第１の画像処理を行い（例えば、図２６のステップＳ１２または図４３のステップＳ１１２）、ステップエッジを含む領域に対する処理を目的とする第２の画像処理を行い（例えば、図２６のステップＳ１３または図４３のステップＳ１１３）、画素値の変化が少ない領域である平坦領域に対する処理を目的とする第３の画像処理を行い（例えば、図２６のステップＳ１４または図４３のステップＳ１１４）、第１の画像に対して前記第１の画像処理を行った画像である第２の画像、前記第１の画像に対して前記第２の画像処理を行った画像である第３の画像、および、前記第１の画像に対して前記第３の画像処理を行った画像である第４の画像の対応する位置にある画素の画素値を、前記リッジ強度および前記エッジ強度に基づく重みをつけて加算することにより画像を合成する（例えば、図２６のステップＳ１５およびＳ１６、または、図４３のステップＳ１１５およびＳ１１６）ステップを含む。

以下、本発明の実施の形態について図を参照して説明する。

図７は、本発明を適用した解像度変換装置の一実施の形態を示すブロック図である。本発明を適用した解像度変換装置１０１は、画像入力部１１１、画像処理部１１２、画像表示部１１３、および、コントローラ１１４を含むように構成される。また、画像処理部１１２は、画像補間部１２１−１，１２１−２、および、パラメータ取得部１２２を含むように構成される。画像処理部１１２のパラメータ取得部１２２とコントローラ１１４とは、バス１１５を介して相互に接続される。

画像入力部１１１は、アナログの画像信号を時間方向および空間方向に離散化し、強度方向に量子化したデジタルの画像データを、画像処理部１１２に順次供給する。なお、画像入力部１１１が供給する画像データの供給源は特に限定されるものではなく、例えば、記録媒体から読み取ったり、ネットワーク等を介して、外部の装置から伝送されてくる画像データとされる。

画像処理部１１２は、図２６などを参照して後述するように、画像入力部１１１から供給される画像データの補間処理を行う。

画像補間部１２１−１は、画像入力部１１１から供給される画像データに対して、垂直方向の補間処理を行い、補間した画像データを画像補間部１２１−２に供給する。画像補間部１２１−２は、画像補間部１２１−１から供給される画像データに対して、水平方向の補間処理を行い、補間した画像データを画像表示部１１３に供給する。なお、以下、画像補間部１２１−１および１２１−２を個々に区別する必要がない場合、単に、画像補間部１２１と称する。

パラメータ取得部１２２は、バス１１５を介してコントローラ１１４から供給される各種の制御情報を、画像補間部１２１−１，１２１−２に供給する。

画像表示部１１３は、例えば、液晶表示方式またはプラズマ表示方式などのFPD（Flat Panel Display）などにより構成され、画像補間部１２１−２から供給される画像データに基づく画像を表示する。

コントローラ１１４は、ユーザから入力される各種の処理を指示する情報、または、図示せぬ他の装置から送信されてくる各種の処理を指示する情報に基づいて、画像処理部１１２に画像処理を行わせるための各種の制御情報を、バス１１５を介して、パラメータ取得部１２２に供給する。

図８は、画像補間部１２１の機能の構成の例を示すブロック図である。画像補間部１２１は、エッジ領域検出部１４１、リッジ領域検出部１４２、補間演算部１４３、および、画像合成部１４４を含むように構成される。

エッジ領域検出部１４１は、図２７などを参照して後述するように、外部から入力される画像データのエッジの強度を検出する。ここで、図９乃至図１６を参照して、エッジの種類について説明する。エッジの種類には、主に、ステップエッジ、ランプエッジ、リッジ（または、ピークエッジ）、ルーフエッジの４種類がある。

図９はステップエッジの例を示す図である。また、図１０は、図９の画像の横方向の画素値の変化を表すグラフである。図１０の横軸方向は画素の位置を示し、縦軸方向は画素値を示す。また、図１０の点線で示される位置は、画像の横方向のほぼ中央を示している。ステップエッジは、画素値が大きく異なる２つの領域の境界が明確である場合のエッジであり、図１０に示されるように、ステップエッジを境にして、画素値がステップ（階段）状に急激に変化する。

図１１はランプエッジの例を示す図である。また、図１２は、図１０と同様のグラフであり、図１１の画像の横方向の画素値の変化を表している。ランプエッジは、ステップエッジと比較して、画素値が大きく異なる２つの領域の境界が曖昧である場合のエッジであり、図１２に示されるように、画素値が傾斜状に変化する。

図１３はリッジの例を示す図である。また、図１４は、図１０と同様のグラフであり、図１３の画像の横方向の画素値の変化を表している。リッジは、画像の細い線などに相当する部分であり、図１４に示されるように、エッジ（リッジ）の向きに対してほぼ垂直な方向において、画素値が急峻なパルス状に変化する。なお、画素値が下に凸のパルス状に変化する場合、特に、バレイと呼ぶこともある。

図１５はルーフエッジの例を示す図である。また、図１６は、図１０と同様のグラフであり、図１５の画像の横方向の画素値の変化を表している。ルーフエッジは、リッジと比較して、線の境界が曖昧となる場合のエッジであり、図１６に示されるように、画素値が、図１４に示されるパルス状の波形と比較して緩やかな傾斜を持つ山状（または谷状）に変化する。

また、複数のエッジが組み合わされた画像の一例として、ストライプがある。図１７はストライプの例を示す図である。また、図１８は、図１０と同様のグラフであり、図１７の画像の横方向の画素値の変化を表している。ストライプは、ほぼ同じ方向の複数のリッジが短い間隔で（短い周期で）並んだものであり、例えば、画像の縞模様に相当する。ストライプにおいては、図１８に示されるように、リッジの向きに対してほぼ垂直な方向において、画素値が急峻なパルス状に変化する領域が、短い間隔で複数現れる。

なお、エッジの強度（以下、エッジ強度とも称する）は、位置の変化に対する画素値の変化の大きさの度合いであり、画素値の変化が急峻かつ大きいほど、エッジ強度は強くなり、画素値の変化が緩やかかつ小さいほどエッジ強度は弱くなる。

エッジ領域検出部１４１は、図２９などを参照して後述するように、検出したエッジ強度に基づいて、エッジ領域重み信号を生成し、エッジ領域重み信号を第二合成部１６２に供給する。また、エッジ領域検出部１４１は、エッジ領域重み信号を生成するための各種のパラメータなどを示す制御情報をパラメータ取得部１２２から取得する。

リッジ領域検出部１４２は、図３０などを参照して後述するように、外部から入力される画像データのリッジの強度を示すリッジ強度を検出する。なお、リッジ強度は、上述した図１３に示されるように、位置の変化に対して画素値がパルス状に変化する場合のパルスの勾配および高さにより示される強度であり、パルスの勾配が急なほど、かつ、パルスの高さが高いほど、リッジ強度は強くなり、パルスの勾配が緩やかなほど、かつ、パルスの高さが低いほど、リッジ強度は弱くなる。また、高い周波数パターン、すなわち、線幅が細く間隔が密であるストライプにおいては、リッジ強度は、連続して強い値を示し、低い周波数パターン、すなわち、線幅が細く間隔が粗である場合のストライプにおいては、リッジ強度は、短い間隔で強弱を繰り返す。なお、線幅が太く、間隔が粗いストライプは、ステップエッジが連続したものとほぼ等価であり、そのようなストライプにおいては、リッジ強度は弱くなる。

リッジ領域検出部１４２は、図３１などを参照して後述するように、検出したリッジ強度に基づいて、リッジ領域重み信号を生成し、リッジ領域重み信号を第一合成部１６１に供給する。また、リッジ領域検出部１４２は、リッジ領域重み信号を生成するための各種のパラメータなどを示す制御情報をパラメータ取得部１２２から取得する。

補間演算部１４３は、リッジ領域用補間演算部１５１、エッジ領域用補間演算部１５２、および、平坦領域用補間演算部１５３を含むように構成され、外部から入力される画像データの補間を行う。

リッジ領域用補間演算部１５１は、ステップエッジを含む領域および平坦領域と比較して、リッジを含む領域においてより効果を生じる方法（主にリッジを含む領域に対する処理を目的とする方法）を用いて、外部から入力される画像データの補間を行う。リッジを多く含む画像（例えば、線画など）は、高周波成分を多く含む場合が多いため、例えば、高周波成分により発生する折り返し歪みの発生が抑制される方法（例えば、高次数補間フィルタ法）がリッジ領域用補間演算部１５１の補間方法に適している。なお、以下、リッジ領域用補間演算部１５１が、高次数補間フィルタ法に基づいて補間処理を行う場合の例を説明する。また、リッジ領域用補間演算部１５１は、画像の補間を行うための各種のパラメータなどを示す制御情報をパラメータ取得部１２２から取得する。リッジ領域用補間演算部１５１は、補間した画像データを第一合成部１６１に供給する。

エッジ領域用補間演算部１５２は、リッジを含む領域および平坦領域と比較して、ステップエッジを含む領域においてより効果を生じる方法（主にステップエッジを含む領域に対する処理を目的とする方法）を用いて、外部から入力される画像データの補間を行う。例えば、斜め方向のエッジにおけるジャギーの発生が抑制される方法（例えば、斜め線補間法）がエッジ領域用補間演算部１５２の補間方法に適している。なお、以下、エッジ領域用補間演算部１５２が、斜め線補間法に基づいて補間処理を行う場合の例を説明する。また、エッジ領域用補間演算部１５２は、画像の補間を行うための各種のパラメータなどを示す制御情報をパラメータ取得部１２２から取得する。エッジ領域用補間演算部１５２は、補間した画像データを第一合成部１６１に供給する。

平坦領域用補間演算部１５３は、リッジを含む領域およびステップエッジを含む領域と比較して、平坦領域においてより効果を生じる方法（主に平坦領域に対する処理を目的とする方法）を用いて、外部から入力される画像データの補間を行う。例えば、平坦領域におけるリンギングの発生が抑制され、かつ、素直な特性を持つ方法（例えば、バイキュービック補間法）が平坦領域用補間演算部１５３の補間方法に適している。なお、以下、平坦領域用補間演算部１５３が、バイキュービック補間法に基づいて補間処理を行う場合の例を説明する。また、平坦領域用補間演算部１５３は、画像の補間を行うための各種のパラメータなどを示す制御情報をパラメータ取得部１２２から取得する。平坦領域用補間演算部１５３は、補間した画像データを第二合成部１６２に供給する。

画像合成部１４４は、第一合成部１６１および第二合成部１６２を含むように構成され、リッジ領域用補間演算部１５１、エッジ領域用補間演算部１５２、または、平坦領域用補間演算部１５３により補間された画像データの対応する位置にある画素の画素値を、エッジ領域重み信号またはリッジ領域重み信号に基づく重みをつけて加算することにより画像データを合成する。

第一合成部１６１は、リッジ領域用補間演算部１５１により補間された画像データと、エッジ領域用補間演算部１５２により補間された画像データの対応する位置にある画素の画素値を、リッジ領域重み信号に基づく重みをつけて加算することにより、２つの画像データを合成する。第一合成部１６１は、合成した画像データを第二合成部１６２に供給する。

第二合成部１６２は、第一合成部１６１により合成された画像データと、平坦領域用補間演算部１５３により補間された画像データの対応する位置にある画素の画素値を、エッジ領域重み信号に基づく重みをつけて加算することにより、２つの画像データを合成する。第二合成部１６２は、合成した画像データを外部に出力する。

図１９は、図８のエッジ領域検出部１４１の機能の構成の例を示すブロック図である。エッジ領域検出部１４１は、エッジ強度検出部１７１および正規化計算部１７２を含むように構成される。

エッジ強度検出部１７１は、勾配計算部１８１−１乃至１８１−３、絶対値計算部１８２−１乃至１８２−３、および、加算計算部１８３を含むように構成され、外部から入力される画像データのエッジ強度を検出し、エッジ強度を示すデータを正規化計算部１７２に供給する。

エッジ強度検出部１７１は、例えば、図２０に示される位置qに画素を補間する場合、位置qの左右に隣接する画素x-1乃至x+2の画素値f(x-1)乃至f(x+2)を示すデータを画像補間部１２１の図示せぬバッファから取得する。そのうち、画素値f(x-1)，f(x)を示すデータが勾配計算部１８１−１に入力され、画素値f(x)，f(x+1)を示すデータが勾配計算部１８１−２に入力され、画素値f(x+1)，f(x+2)を示すデータが勾配計算部１８１−３に入力される。

なお、原画像データの隣接する画素間（標本化間隔S）において、画素を補間する可能性のある位置の数を位相数と呼び、隣接する画素のうち一方を基準とする補間位置の位置を位相と呼ぶ。図２０に示される例においては、位相数は８であり、画素ｘから距離pの位置にある位置qの位相は3／8となる。

また、図２０は、水平方向に画素を補間する場合の例、すなわち、画像補間部１２１−２が画素を補間する場合の例を示しており、垂直方向に画素を補間する場合、すなわち、画像補間部１２１−１が画素を補間する場合、エッジ強度検出部１７１は、位置qの上下に隣接する４画素の画素値を示すデータを画像補間部１２１の図示せぬバッファから取得する。

勾配計算部１８１−１乃至１８１−３は、複数の画素からなる領域内の画素間の画素値の差分である勾配値を計算する。具体的には、勾配計算部１８１−１乃至１８１−３は、それぞれ、入力された隣接する２つの画素間の画素値の差分を計算することにより、画素x-1乃至x+2からなる領域の画素間の勾配値を計算する。勾配計算部１８１−１乃至１８１−３は、それぞれ、計算した勾配値を示すデータを絶対値計算部１８２−１乃至１８２−３に供給する。

絶対値計算部１８２−１乃至１８２−３は、それぞれ、入力されたデータの絶対値を計算する。絶対値計算部１８２−１乃至１８２−３は、それぞれ、計算した絶対値を示すデータを加算計算部１８３に供給する。

加算計算部１８３は、入力されたデータの合計を計算する。加算計算部１８３は、計算した合計値を示すデータを正規化計算部１７２に供給する。

図２１は、図１９の正規化計算部１７２に供給されるデータの詳細を示している。正規化計算部１７２には、加算計算部１８３からの入力データの他に、所定の強度設定値およびしきい値を示すデータがパラメータ取得部１２２から入力される。正規化計算部１７２は、図２９などを参照して後述するように、強度設定値およびしきい値を用いて、加算計算部１８３からの入力データを正規化し、正規化した値を示すエッジ領域重み信号を第二合成部１６２に供給する。

図２２は、図８のリッジ領域検出部１４２の機能の構成の例を示すブロック図である。リッジ領域検出部１４２は、リッジ強度検出部２０１、および、正規化計算部２０２を含むように構成される。

リッジ強度検出部２０１は、勾配計算部２１１−１乃至２１１−３、絶対値計算部２１２−１乃至２１２−３、加算計算部２１３、２１４、絶対値計算部２１５、および、差分計算部２１６を含むように構成され、外部から入力される画像データのリッジ強度を検出し、検出したリッジ強度を示すデータを正規化計算部２０２に供給する。

リッジ強度検出部２０１は、図１９のエッジ強度検出部１７１と同様に、図２０に示される位置qに画素を補間する場合、位置qの左右に隣接する画素x-1乃至x+2の画素値f(x-1)乃至f(x+2)を示すデータを画像補間部１２１の図示せぬバッファから取得する。そのうち、画素値f(x-1)，f(x)を示すデータが勾配計算部２１１−１に入力され、画素値f(x)，f(x+1)を示すデータが勾配計算部２１１−２に入力され、画素値f(x+1)，f(x+2)を示すデータが勾配計算部２１１−３に入力される。

なお、上述したように、図２０は、水平方向に画素を補間する場合の例、すなわち、画像補間部１２１−２が画素を補間する場合の例を示しており、垂直方向に画素を補間する場合、すなわち、画像補間部１２１−１が画素を補間する場合、リッジ強度検出部２０１は、位置qの上下に隣接する４画素の画素値を示すデータを画像補間部１２１の図示せぬバッファから取得する。

勾配計算部２１１−１乃至２１１−３は、複数の画素からなる領域内の画素間の画素値の差分である勾配値を計算する。具体的には、勾配計算部２１１−１乃至２１１−３は、それぞれ、入力された隣接する２つの画素間の画素値の差分を計算することにより、画素x-1乃至x+2からなる領域の画素間の勾配値を計算する。勾配計算部２１１−１乃至２１１−３は、それぞれ、計算した勾配値を示すデータを絶対値計算部２１２−１乃至２１２−３に供給する。

絶対値計算部２１２−１乃至２１２−３は、それぞれ、入力されたデータの絶対値を計算する。絶対値計算部２１２−１乃至２１２−３は、それぞれ、計算した絶対値を示すデータを加算計算部２１３に供給する。

加算計算部２１３は、入力されたデータの合計を計算する。加算計算部２１３は、計算した合計値を示すデータを差分計算部２１６に供給する。

加算計算部２１４は、入力されたデータの合計を計算する。加算計算部２１４は、計算した合計値を示すデータを絶対値計算部２１５に供給する。

絶対値計算部２１５は、それぞれ、入力されたデータの絶対値を計算する。絶対値計算部２１５は、計算した絶対値を示すデータを差分計算部２１６に供給する。

差分計算部２１６は、入力されたデータの差分を計算する。差分計算部２１６は、計算した差分値を示すデータを正規化計算部２０２に供給する。

正規化計算部２０２には、エッジ領域検出部１４１の正規化計算部１７２と同様に、差分計算部２１６からの入力データの他に、所定の強度設定値およびしきい値がパラメータ取得部１２２から入力される。正規化計算部２０２は、図３１などを参照して後述するように、強度設定値およびしきい値を用いて、差分計算部２１６からの入力データを正規化し、正規化した値を示すリッジ領域重み信号を第一合成部１６１に供給する。

図２３は、図８のリッジ領域用補間演算部１５１の機能の構成の例を示すブロック図である。リッジ領域用補間演算部１５１は、補間演算制御部２３１、データ供給部２３２、フィルタ係数供給部２３３、および、フィルタ演算部２３４を含むように構成される。

補間演算制御部２３１は、パラメータ取得部１２２から供給される、画像の拡大または縮小率、画像変換位置などを示す制御情報に従って、補間する画素の画素値を算出するために用いる画素の画素値を要求するデータリクエスト信号をデータ供給部２３２に供給する。また、補間演算制御部２３１は、補間位置の位相を示す補間位相信号をフィルタ係数供給部２３３に供給する。

データ供給部２３２は、外部から入力される画像データを保持するバッファを備えており、データリクエスト信号に従って、要求された画素の画素値を示すデータをフィルタ演算部２３４に供給する。

フィルタ係数供給部２３３は、補間位相信号に従って、補間処理に用いるフィルタ係数のセットをフィルタ演算部２３４に供給する。

フィルタ演算部２３４は、図２６を参照して後述するように、データ供給部２３２から供給される画素値、および、フィルタ係数供給部２３３から供給されるフィルタ係数のセットを用いて、補間位置に補間する画素の画素値を計算する。フィルタ演算部２３４は、計算した画素値を示すデータを第一合成部１６１に供給する。

図２４は、図８のエッジ領域用補間演算部１５２の機能の構成の例を示すブロック図である。エッジ領域用補間演算部１５２は、補間演算制御部２５１、データ供給部２５２、方向検出部２５３、フィルタ係数供給部２５４、および、斜め線補間演算部２５５を含むように構成される。

補間演算制御部２５１は、パラメータ取得部１２２から供給される、画像の拡大または縮小率、画像変換位置などを示す制御情報に従って、補間する画素の画素値を算出するために用いる画素の画素値を要求するデータリクエスト信号をデータ供給部２５２に供給する。また、補間演算制御部２５１は、補間位置の位相を示す補間位相信号をフィルタ係数供給部２５４に供給する。

データ供給部２５２は、外部から入力される画像データを保持するバッファを備えており、データリクエスト信号に従って、要求された画素の画素値を示すデータを方向検出部２５３および斜め線補間演算部２５５に供給する。

方向検出部２５３は、図３２などを参照して後述するように、データ供給部２５２から供給される補間位置の近傍の画素の相関性を調べ、最も相関性が高い画素の組み合わせにより示される方向を示す方向情報を斜め線補間演算部２５５に供給する。

フィルタ係数供給部２５４は、補間位相信号、または、斜め線補間演算部２５５からの要求に従って、補間処理に用いるフィルタ係数のセットを斜め線補間演算部２５５に供給する。

斜め線補間演算部２５５は、必要に応じて、画素の補間に用いるフィルタ係数セットをフィルタ係数供給部２５４から取得する。斜め線補間演算部２５５は、図３２などを参照して後述するように、データ供給部２５２から供給される画素値、方向情報、または、フィルタ係数セットを用いて、補間位置に補間する画素の画素値を計算する。斜め線補間演算部２５５は、計算した画素値を示すデータを第一合成部１６１に供給する。

図２５は、図８の平坦領域用補間演算部１５３の機能の構成の例を示すブロック図である。平坦領域用補間演算部１５３は、補間演算制御部２７１、データ供給部２７２、フィルタ係数供給部２７３、および、フィルタ演算部２７４を含むように構成される。

補間演算制御部２７１は、パラメータ取得部１２２から供給される、画像の拡大または縮小率、画像変換位置などを示す制御情報に従って、補間する画素の画素値を算出するために用いる画素の画素値を要求するデータリクエスト信号をデータ供給部２７２に供給する。また、補間演算制御部２７１は、補間位置の位相を示す補間位相信号をフィルタ係数供給部２７３に供給する。

データ供給部２７２は、外部から入力される画像データを保持するバッファを備えており、データリクエスト信号に従って、要求された画素の画素値を示すデータをフィルタ演算部２７４に供給する。

フィルタ係数供給部２７３は、補間位相信号に従って、補間処理に用いるフィルタ係数のセットをフィルタ演算部２７４に供給する。

フィルタ演算部２７４は、図２６を参照して後述するように、データ供給部２７２から供給される画素値、および、フィルタ係数供給部２７３から供給されるフィルタ係数のセットを用いて、補間位置に補間する画素の画素値を計算する。フィルタ演算部２７４は、計算した画素値を示すデータを第二合成部１６２に供給する。

次に、図２６のフローチャートを参照して、解像度変換装置１０１により実行される解像度変換処理を説明する。なお、この処理は、例えば、ユーザが解像度変換装置１０１の図示せぬ操作部を操作して、画像データの解像度の変換を指令したとき開始される。

ステップＳ１において、画像補間部１２１−１は、画像入力部１１１から入力される画像データ、すなわち、解像度の変換を施す対象となる画像データを取得する。画像補間部１２１−１は、取得した画像データを図示せぬバッファに記憶させる。また、リッジ領域用補間演算部１５１のデータ供給部２３２、エッジ領域用補間演算部１５２のデータ供給部２５２、および、平坦領域用補間演算部１５３のデータ供給部２７２は、図示せぬバッファに取得した画像データを記憶させる。

ステップＳ２において、画像補間部１２１−１のエッジ領域検出部１４１は、エッジ領域検出処理を行う。ここで、図２７のフローチャートを参照して、エッジ領域検出処理の詳細を説明する。

ステップＳ５１において、エッジ領域検出部１４１の勾配計算部１８１−１乃至１８１−３は、画素値の勾配を求める。具体的には、例えば、図２８に示される補間位置ｑに画素を補間する場合、エッジ領域検出部１４１は、補間位置ｑの上または下に隣接する４つの画素y-1乃至ｙ+2の画素値f(y-1)乃至f(y+2)を示すデータを、図示せぬ画像補間部１２１−１のバッファから取得する。そのうち、画素値f(y-1)，f(y)を示すデータは勾配計算部１８１−１に入力され、画素値f(y)，f(y+1)を示すデータは勾配計算部１８１−２に入力され、画素値f(y+1)，f(y+2)を示すデータは勾配計算部１８１−３に入力される。

勾配計算部１８１−１乃至１８１−３は、それぞれ、以下の式（１）乃至（３）に基づいて、隣接する画素間の画素値の差分である勾配値を求める。

Da＝f(y)−f(y-1) ・・・（１）
Db＝f(y+1)−f(y) ・・・（２）
Dc＝f(y+2)−f(y+1) ・・・（３）

勾配計算部１８１−１は、勾配値Daを示すデータを絶対値計算部１８２−１に供給し、勾配計算部１８１−２は、勾配値Dbを示すデータを絶対値計算部１８２−２に供給し、勾配計算部１８１−３は、勾配値Dcを示すデータを絶対値計算部１８２−３に供給する。

ステップＳ５２において、絶対値計算部１８２−１乃至１８２−３は、勾配値の絶対値を求める。具体的には、絶対値計算部１８２−１乃至１８２−３は、それぞれ、以下の式（４）乃至（６）に基づいて、入力された勾配値Da乃至Dcの絶対値を求める。

Aa＝｜Da｜ ・・・（４）
Ab＝｜Db｜ ・・・（５）
Ac＝｜Dc｜ ・・・（６）

絶対値計算部１８２−１乃至１８２−３は、それぞれ、計算した絶対値Aa乃至Acを示すデータを加算計算部１８３に供給する。

ステップＳ５３において、加算計算部１８３は、エッジ強度を求める。具体的には、加算計算部１８３は、以下の式（７）に基づいて、入力された絶対値Aa乃至Acの合計を求める。

S＝Aa＋Ab＋Ac ・・・（７）

加算計算部１８３は、図２８に示される画素y-1乃至y+2からなる領域（以下、タップ領域と称する）における画素値の変化の大きさの度合いを示す値、すなわち、エッジ強度として、加算値Sを示すデータを正規化計算部１７２に供給する。

ステップＳ５４において、正規化計算部１７２は、エッジ重み値を求め、エッジ領域検出処理は終了する。具体的には、正規化計算部１７２は、加算値S、並びに、パラメータ取得部１２２から入力される強度設定値Geおよびしきい値Teを用いて、以下の式（８）に基づいて、エッジ重み値Ewを計算する。

図２９は、加算値Ｓとエッジ重み値Ewの関係を示すグラフである。すなわち、エッジ重み値Ewは、加算値S＜しきい値Teである場合、0.0とされ、しきい値Te≦加算値S≦Te＋1／Geである場合、加算値Sとエッジ重み値Ewが比例する場合を示す補助線L1より大きな変化率で加算値Sを変換した値とされ、加算値S＞Te＋1／Geである場合、1.0とされる。従って、エッジ重み値Eｗは、補間位置qを含むタップ領域におけるエッジ強度が強いほど（加算値Sが大きいほど）、大きな値となり、エッジ強度が弱いほど（加算値Sが小さいほど）、小さな値となる。すなわち、補間位置qの近傍のエッジ強度が強いほど、エッジ重み値は、1.0または1.0に近い値となる。

正規化計算部１７２は、エッジ重み値Ewを示すエッジ領域重み信号を第二合成部１６２に供給する。

図２６に戻り、ステップＳ３において、リッジ領域検出部１４２は、リッジ領域検出処理を行う。ここで、図３０のフローチャートを参照して、リッジ領域検出処理の詳細を説明する。

ステップＳ７１において、リッジ領域検出部１４２の勾配計算部２１１−１乃至２１１−３は、画素値の勾配を求める。具体的には、例えば、上述した図２８に示される補間位置ｑに画素を補間する場合、画素値f(y-1)，f(y)を示すデータが勾配計算部２１１−１に入力され、画素値f(y)，f(y+1)を示すデータが勾配計算部２１１−２に入力され、画素値f(y+1)，f(y+2)を示すデータが勾配計算部２１１−３に入力される。

勾配計算部２１１−１乃至２１１−３は、それぞれ、以下の式（９）乃至（１１）に基づいて、隣接する画素間の画素値の差分である勾配値を求める。

Da＝f(y)−f(y-1) ・・・（９）
Db＝f(y+1)−f(y) ・・・（１０）
Dc＝f(y+2)−f(y+1) ・・・（１１）

勾配計算部２１１−１は、勾配値Daを示すデータを絶対値計算部２１２−１および加算計算部２１４に供給し、勾配計算部２１１−２は、勾配値Dbを示すデータを絶対値計算部２１２−２および加算計算部２１４に供給し、勾配計算部２１１−３は、勾配値Dcを示すデータを絶対値計算部２１２−３および加算計算部２１４に供給する。

ステップＳ７２において、絶対値計算部２１２−１乃至２１２−３は、勾配値の絶対値を求める。具体的には、絶対値計算部２１２−１乃至２１２−３は、それぞれ、以下の式（１２）乃至（１４）に基づいて、勾配値Da乃至Dcの絶対値を求める。

Aa＝｜Da｜ ・・・（１２）
Ab＝｜Db｜ ・・・（１３）
Ac＝｜Dc｜ ・・・（１４）

絶対値計算部２１２−１乃至２１２−３は、それぞれ、計算した絶対値Aa乃至Acを示すデータを加算計算部２１３に供給する。

ステップＳ７３において、加算計算部２１３は、エッジ強度を求める。具体的には、加算計算部２１３は、以下の式（１５）に基づいて、入力された絶対値Aa乃至Acの合計を求める。

SA＝Aa＋Ab＋Ac ・・・（１５）

加算値SAは、上述した式（７）により求められる加算値Sと同じ値、すなわち、画素y-1乃至y+2からなる領域（タップ領域）におけるエッジ強度を示している。加算計算部２１３は、加算値SAを示すデータを差分計算部２１６に供給する。

ステップＳ７４において、加算計算部２１４は、勾配値の合計を求める。具体的には、加算計算部２１４は、以下の式（１６）に基づいて、勾配値Da乃至Dcの合計を求める。

SD＝Da＋Db＋Dc ・・・（１６）

加算計算部２１４は、加算値SDを示すデータを絶対値計算部２１５に供給する。

ステップＳ７５において、絶対値計算部２１５は、勾配値の合計の絶対値を求める。具体的には、絶対値計算部２１５は、以下の式（１７）に基づいて、加算値SDの絶対値を求める。

SAD＝｜SD｜ ・・・（１７）

なお、タップ領域内の画素y-1から画素y+2の画素値の変化をグラフに表した場合、画素yまたはy+1の画素値が極大または極小とならない場合、すなわち、画素値が広義の（隣接する画素の画素値が同じ場合を含む）単調増加または単調減少をする場合、加算絶対値SADは加算値SAと同じ値となる。一方、画素yまたはy+1の画素値が極大または極小となる場合、すなわち、タップ領域内において画素値が変化する向きが変化する場合、加算絶対値SADは加算値SAより小さくなる。また、タップ領域内の画素値の変化が左右対称なパルス形状に近いほど、加算絶対値SADは0に近くなる。

絶対計算部２１５は、加算絶対値SADを示すデータを差分計算部２１６に供給する。

ステップＳ７６において、差分計算部２１６は、リッジ強度を求める。具体的には、差分計算部２１６は、以下の式（１８）に基づいて、加算値SAと加算絶対値SADとの差分を求める。

S＝SA−SAD ・・・（１８）

差分計算部２１６は、タップ領域におけるリッジ強度として、差分値Ｓを示すデータを正規化計算部２０２に供給する。なお、差分値Sは、加算値SAと加算値SADの差が大きいほど、すなわち、タップ領域における位置の変化に対して画素値の変化がパルス状となり、かつ、パルスの勾配が急になり、かつ、パルスの高さが高くなるほど、大きくなる。

ステップＳ７７において、正規化計算部２０２は、リッジ重み値を求め、リッジ領域検出処理は終了する。具体的には、正規化計算部２０２は、差分値Ｓ、並びに、パラメータ取得部１２２から入力される強度設定値Gpおよびしきい値Tpを用いて、以下の式（１９）に基づいて、リッジ重み値Pwを計算する。

図３１は、差分値Ｓとリッジ重み値Pwの関係を示すグラフである。すなわち、リッジ重み値Pwは、差分値S＜しきい値Tpである場合、0.0とされ、しきい値Tp≦差分値S≦Tp＋1／Gpである場合、差分値Sとリッジ重み値Pwが比例する場合を示す補助線L2より大きな変化率で差分値Sを変換した値とされ、差分値S＞Tp＋1／Gpである場合、1.0とされる。従って、リッジ重み値Pwは、補間位置qを含むタップ領域におけるリッジ強度が強いほど（差分値Sが大きいほど）、大きな値となり、リッジ強度が弱いほど（差分値Sが小さいほど）、小さな値となる。すなわち、補間位置qの近傍のリッジ強度が強いほど、リッジ重み値は、1.0または1.0に近い値となる。

正規化計算部２０２は、リッジ重み値Pwを示すリッジ領域重み信号を第一合成部１６１に供給する。

図２６に戻り、ステップＳ４において、画像補間部１２１−１のリッジ領域用補間演算部１５１は、リッジを含む領域に適した補間を行う。具体的には、リッジ領域用補間演算部１５１の補間演算制御部２３１は、パラメータ取得部１２２から供給される、画像の拡大または縮小率、画像変換位置などを示す制御情報に従って、補間する画素の画素値を算出するために用いる画素の画素値を要求するデータリクエスト信号をデータ供給部２３２に供給する。また、補間演算制御部２３１は、補間位置の位相を示す補間位相信号をフィルタ係数供給部２３３に供給する。

データ供給部２３２は、データリクエスト信号に従って、要求された画素の画素値を示すデータをフィルタ演算部２３４に供給する。例えば、リッジ領域用補間演算部１５１が１６次の補間フィルタを用いて補間処理を行う場合、データ供給部２３２は、補間位置と同じ垂直方向の列上にあり、かつ、補間位置の上に隣接する８画素、下に隣接する８画素の合計１６画素の画素値f(y-7)乃至f(y+8)を示すデータを供給する。

フィルタ係数供給部２３３は、補間位相信号に従って、補間処理に用いるフィルタ係数c[0]乃至c[15]のセットをフィルタ演算部２３４に供給する。

フィルタ演算部２３４は、データ供給部２３２から供給された画素の画素値、および、フィルタ係数セットを用いて、補間する画素の画素値Pdを計算する。例えば、フィルタ演算部２３４は、以下の式（２０）に基づいて、画素値Pdを計算する。

Pd＝c[15]×f(y-7)＋c[14]×f(y-6)＋・・・＋c[8]×f(y)＋c[7]×f(y+1)＋・・・c[1]×f(y+7)＋c[0]×f(y+8) ・・・（２０）

フィルタ演算部２３４は、計算した画素値Pdを示すデータを第一合成部１６１に供給する。なお、画素値Pdからなる画像データは、入力された画像データに対して、高次数補間フィルタ法に基づいて補間処理を施した画像データであるため、画素値Pdからなる画像データにおいては、補間による折り返し歪みの発生が抑制される。

ステップＳ５において、画像補間部１２１−１のエッジ領域用補間演算部１５２は、ステップエッジを含む領域に適した補間を行う。具体的には、エッジ領域用補間演算部１５２の補間演算制御部２５１は、パラメータ取得部１２２から供給される、画像の拡大または縮小率、画像変換位置などを示す制御情報に従って、補間する画素の画素値を算出するために用いる画素の画素値を要求するデータリクエスト信号をデータ供給部２５２に供給する。また、補間演算制御部２５１は、補間位置の位相を示す補間位相信号をフィルタ係数供給部２５４に供給する。

データ供給部２５２は、データリクエスト信号に従って、要求された画素の画素値を示すデータを方向検出部２５３および斜め線補間演算部２５５に供給する。例えば、データ供給部２５２は、図３２に示される補間位置qに画素を補間する場合、補間位置qの上側に隣接する行の画素Pu1乃至Pu5の画素値、および、下側に隣接する行の画素Pd1乃至Pd5の画素値を示すデータを供給する。

方向検出部２５３は、補間位置qの近傍の画素の相関性を調べる。例えば、方向検出部２５３は、補間位置qを中心とする方向Ａに位置する画素Pu1と画素Pd5、方向Ｂに位置する画素Pu2と画素Pd4、方向Ｃに位置する画素Pu3と画素Pd3、方向Ｄに位置する画素Pu4と画素Pd2、方向Ｅに位置する画素Pu5と画素Pd1の画素値の差分を計算し、画素値の差分の絶対値が最も小さい画素の組み合わせを最も相関性の高い画素の組み合わせとする。そして、方向検出部２５３は、最も相関性の高い画素の組み合わせにより示される方向（以下、高相関方向と称する）を示す方向情報を斜め線補間演算部２５５に供給する。なお、画素値の差分の絶対値が最も小さい画素の組み合わせが複数検出された場合、所定の規則に基づいて、高相関方向が選択される。例えば、画素値の差分の絶対値が最も小さい画素の組み合わせを示す方向のうち、画素値の差分の絶対値が最も大きい画素の組み合わせを示す方向から最も遠い方向が高相関方向に選択される。

斜め線補間演算部２５５は、方向情報に基づいて、補間位置qに補間する画素の画素値Edを計算する。例えば、方向情報に示される方向にある２つの画素の画素値の平均値が画素値Edとされる。また、例えば、方向情報に示される方向にある２つの画素、および、補間位置qの上下に隣接する２つの画素の合計４つの画素の画素値を、フィルタ係数供給部２５４から供給されるフィルタ係数を用いて、重み付け加算した値が画素値Edとされる。

なお、例えば、図３３に示されるように、補間位置qrの位相が、原画像データのサンプリング間隔Sの半分の位置にある位相とは異なる場合、斜め線補間演算部２５５は、いったんサンプリング間隔Sの半分の位置qmに画素を補間する場合の画素値を計算する。さらに、斜め線補間演算部２５５は、画素Pu3と位置qmにより定義される新たなサンプリング間隔S'における補間位置qrの位相に応じたフィルタ係数セットをフィルタ係数供給部２５４から取得し、取得したフィルタ係数に基づいて、補間位置qrに補間する画素の画素値Edを計算する。

斜め線補間演算部２５５は、画素値Edを示すデータを第一合成部１６１に供給する。なお、画素値Edからなる画像データは、入力された画像データに対して、斜め線補間法に基づいて補間処理を施した画像データであるため、画素値Edからなる画像データにおいては、補間によるジャギーの発生が抑制される。

なお、斜め線補間は、上述した方法に限定されるものではなく、例えば、方向検出における誤検出を回避したり、検出精度を向上させたり、補間時のエラーを回避したりするための処理を加えるようにしてもよい。例えば、斜め線補間については、本件出願人が先に出願した特開２００４−１５３６６８号公報などに、その詳細が開示されている。

ステップＳ６において、画像補間部１２１−１の平坦領域用補間演算部１５３は、平坦領域に適した補間演算を行う。具体的には、平坦領域用補間演算部１５３の補間演算制御部２７１は、パラメータ取得部１２２から供給される、画像の拡大または縮小率、画像変換位置などを示す制御情報に従って、補間する画素の画素値を算出するために用いる画素の画素値を要求するデータリクエスト信号をデータ供給部２７２に供給する。また、補間演算制御部２７１、補間位置の位相を示す補間位相信号をフィルタ係数供給部２７３に供給する。

データ供給部２７２は、データリクエスト信号に従って、要求された画素の画素値を示すデータをフィルタ演算部２７４に供給する。例えば、データ供給部２７２は、図２８に示される補間位置ｑの上または下に隣接する４つの画素y-1乃至y+2の画素値f(y-1)乃至f(y+2)を示すデータを供給する。

フィルタ係数供給部２７３は、補間位相信号に従って、バイキュービック補間法に基づく補間処理に用いるフィルタ係数c[0]乃至c[3]のセットをフィルタ演算部２７４に供給する。

フィルタ演算部２７４は、データ供給部２７２から供給された画素の画素値、および、フィルタ係数セットを用いて、補間する画素の画素値Fdを計算する。例えば、フィルタ演算部２７４は、以下の式（２１）に基づいて、補間する画素の画素値Fdを計算する。

Fd＝c[3]×f(y-1)＋c[2]×f(y)＋c[1]×f(y+1)＋c[0]×f(y+2) ・・・（２１）

フィルタ演算部２７４は、画素値Fdを示すデータを第二合成部１６２に供給する。なお、画素値Fdからなる画像データは、入力された画像データに対して、バイキュービック補間法に基づいて補間処理を施した画像データであるため、画素値Fdからなる画像データは、補間精度の高い自然な画質となる。

なお、補間位置qと画素y-1乃至y+2との間の距離をそれぞれ距離di（i＝-1，0，1，2）とした場合、以下の式（２２）に基づいて、フィルタ係数c[i]（i＝-1，0，1，2）を計算するようにしてもよい。

ステップＳ７において、第一合成部１６１は、リッジ領域重み信号を用いて、画素を合成する。具体的には、第一合成部１６１は、リッジ領域用補間演算部１５１から供給される画素値Pdと、エッジ領域用補間演算部１５２から供給される画素値Edとを、リッジ領域検出部１４２から供給されるリッジ領域重み信号により示されるリッジ重み値Pwを用いて、以下の式（２３）に基づいて、重み付け加算する。

M1＝（1−Pw）×Ed＋Pw×Pd ・・・（２３）

すなわち、画素値M1は、リッジ重み値Pwが1.0である場合、画素値Pdと等しくなり、リッジ重み値Pwが0.0である場合、画素値Edと等しくなる。また、画素値M1は、リッジ重み値Pwが1.0に近いほど、画素値Pdの成分をより多く含み、リッジ重み値Pwが0.0に近いほど、画素値Edの成分をより多く含む。

第一合成部１６１は、重み付け加算した画素値M1を示すデータを第二合成部１６２に供給する。

ステップＳ８において、第二合成部１６２は、エッジ領域重み信号を用いて、画素を合成する。具体的には、第二合成部１６２は、第一合成部１６１から供給される画素値M1と、平坦領域用補間演算部１５３から供給される画素値Fdとを、エッジ領域検出部１４１から供給されるエッジ領域重み信号により示されるエッジ重み値Ewを用いて、以下の式（２４）に基づいて、重み付け加算する。

M2＝（1−Ew）×Fd＋Ew×M1 ・・・（２４）

すなわち、画素値M2は、エッジ重み値Ewが1.0である場合、画素値M1と等しくなり、エッジ重み値Ewが0.0である場合、画素値Fdと等しくなる。また、画素値M２は、エッジ重み値Ewが1.0に近いほど、画素値M1の成分をより多く含み、エッジ重み値Ewが0.0に近いほど、画素値Fdの成分をより多く含む。

第二合成部１６２は、画素値M2を示すデータを後段、いまの場合、画像補間部１２１−２に供給する。画像補間部１２１−２は、取得したデータを図示せぬバッファに記憶させる。また、画像補間部１２１−２のリッジ領域用補間演算部１５１のデータ供給部２３２、エッジ領域用補間演算部１５２のデータ供給部２５２、および、平坦領域用補間演算部１５３のデータ供給部２７２は、図示せぬバッファに取得したデータを記憶させる。

ステップＳ９において、画像補間部１２１−１は、垂直方向の補間が終了したか否かを判定する。画像補間部１２１−１は、まだ補間する画素が残っている場合、まだ垂直方向の補間が終了していないと判定し、処理はステップＳ２に戻る。その後、ステップＳ９において、垂直方向の補間が終了したと判定されるまで、ステップＳ２乃至Ｓ９の処理が繰り返し実行される。すなわち、画像入力部１１１から入力された画像データに対する、各補間位置に対応する画素値M2が計算され、画素値M2を示すデータが画像補間部１２１−２に供給される。

ステップＳ９において、垂直方向の補間が終了したと判定された場合、処理はステップＳ１０に進む。その後、ステップＳ１７において、水平方向の補間が終了したと判定されるまで、ステップＳ１０乃至Ｓ１７の処理が繰り返し実行される。ステップＳ１０乃至Ｓ１７の処理は、上述したステップＳ２乃至Ｓ９と同様の処理であり、その説明は繰り返しになるので省略する。ただし、ステップＳ２乃至Ｓ９の処理において、画像入力部１１１から入力された画像データに対して垂直方向の補間が施されたのに対し、ステップＳ１０乃至Ｓ１７においては、画像補間部１２１−１から供給される画素値M2からなる垂直方向の補間が施された画像データに対して、水平方向の補間が施される。

ステップＳ１７において、水平方向の補間が終了したと判定された場合、処理はステップＳ１８に進む。

ステップＳ１８において、画像表示部１１３は、解像度を変換した画像を表示し、解像度変換処理は終了する。具体的には、画像表示部１１３は、画像補間部１２１−２から供給される画素値M2からなる画像データ、すなわち、画像入力部１１１から入力された画像データに対して垂直方向および水平方向の補間が施され、解像度が変換された画像データに基づく画像を表示する。

このように、画像補間部１２１−１または１２１−２において、入力された画像データに対して、リッジ重み値Pwが1.0または1.0に近いリッジ近傍には、リッジを含む領域に適した補間方法により算出された画素値Pdの割合が高い画素が補間され、エッジ重み値Ewが1.0または1.0に近く、かつ、リッジ重み値Pwが0.0または0.0に近いステップエッジ近傍には、ステップエッジを含む領域に適した補間方法により算出された画素値Edの割合が高い画素が補間され、エッジ重み値Ewが0.0または0.0に近いリッジおよびステップエッジから離れた領域には、平坦領域を含む領域に適した補間方法により算出された画素値Fdの割合が高い画素が補間される。すなわち、入力された画像データに対して、リッジ近傍、ステップエッジ近傍、および、リッジおよびステップエッジから離れた領域に対して、それぞれ適切な補間処理が行われる。

なお、図３４は、図２の原画像の画像データに基づいて、エッジ領域検出部１４１により生成されるエッジ領域重み信号に基づく画像を示しており、図３５は、図２の原画像の画像データに基づいて、リッジ領域検出部１４２により生成されるリッジ領域重み信号に基づく画像を示している。また、図３６は、図２の原画像の矢印Ａ１および矢印Ａ２で挟まれる部分に対応する図３４および図３５の画像の矢印Ａ１およびＡ２で挟まれる部分の画素値（エッジ重み値またはリッジ重み値）の変化を示すグラフである。図内の実線が、原画像（図２）における画素値の変化を表し、点線が、エッジ領域重み信号に基づく画像（図３４）における画素値の変化を表し、二点鎖線が、リッジ領域重み信号に基づく画像（図３５）における画素値の変化を表している。

図３６に示されるように、図３４の画像では、図２の原画像の画素値が急峻に変化する領域、すなわち、リッジを含むエッジ付近において、画素値（エッジ重み値）が大きくなっている。すなわち、図２の原画像のエッジ付近の領域が正確に抽出されている。また、図３５の画像では、図２の原画像の画素値が急峻なパルス状に変化するリッジ付近において、画素値（リッジ重み値）が大きくなっていることがわかる。すなわち、図２の原画像のリッジ付近の領域がほぼ正確に抽出されている。

すなわち、本発明を適用した解像度変換装置１０１によれば、リッジ強度およびエッジ強度を正確に検出することができる。また、上述したように、リッジ強度およびエッジ強度を、単純な算術式に基づいて簡単に求めることができる。さらに、このリッジ強度およびエッジ強度を用いることにより、画像のリッジまたはステップエッジを簡単に抽出することができるとともに、リッジとステップエッジとを分類することができる。

図３７は、図２の原画像を解像度変換装置１０１を用いて拡大した画像を示している。図３７の画像においては、図３および図６の画像と比較して、画像の中央右よりのリッジが並ぶ高周波成分を多く含む領域における折り返し歪みの発生が抑制されている。また、図３７の画像においては、図３および図４の画像と比較して、画像の左側の斜め方向のエッジにおけるジャギーの発生が抑制されている。さらに、図３７の画像においては、図４の画像と比較して、画像の中央右よりのリッジが並ぶ高周波成分を多く含む領域の左右の平坦領域におけるリンギングの発生が抑制されている。また、図３７の画像においては、図６の画像と比較して、画像の右端付近の数字の一部が表示されている領域の左側におけるエラーの発生が抑制されている。すなわち、本発明を適用した解像度変換装置１０１によれば、バイキュービック補間法、高次数補間フィルタ補間法、および、斜め線補間法より、画質が優れた解像度変換を実現することができる。

次に、本発明を適用した他の実施の形態について説明する。図３８は、本発明を適用した画像強調装置の一実施の形態を示すブロック図である。本発明を適用した画像強調装置４０１は、画像入力部１１１、画像処理部４１１、画像表示部１１３、および、コントローラ１１４を含むように構成される。また、画像処理部４１１は、画像強調部４２１−１，４２１−２、および、パラメータ取得部４２２を含むように構成される。画像処理部４１１のパラメータ取得部４２２とコントローラ１１４とは、バス４１２を介して相互に接続される。なお、図中、図７と対応する部分については同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので省略する。

画像処理部４１１は、図４３などを参照して後述するように、画像入力部１１１から供給される画像データに対して、画像強調処理を施すことにより画質を向上させる。画像処理部４１１は、画像強調処理を施した画像データを画像表示部１１３に供給する。

画像強調部４２１−１は、図４３などを参照して後述するように、画像入力部１１１から供給される画像データの垂直方向について、画像強調処理を施し、画像強調処理を施した画像データを画像強調部４２１−２に供給する。画像強調部４２１−２は、図４３などを参照して後述するように、画像強調部４２１−１から供給される画像データの水平方向について、画像強調処理を施し、画像強調処理を施した画像データを画像表示部１１３に供給する。なお、以下、画像強調部４２１−１および４２１−２を個々に区別する必要がない場合、単に、画像強調部４２１と称する。

パラメータ取得部４２２は、バス４１２を介してコントローラ１１４から供給される各種の制御情報を、画像強調部４２１−１，４２１−２に供給する。

図３９は、画像強調部４２１の機能の構成の例を示すブロック図である。画像強調部４２１は、エッジ領域検出部１４１、リッジ領域検出部１４２、強調演算部４４１、および、画像合成部１４４を含むように構成される。なお、図中、図８と対応する部分については同じ符号を付してあり、処理が同じ部分については、その説明は繰り返しになるので省略する。

強調演算部４４１は、第一強調演算部４５１−１，４５１−２、および、第二強調演算部４５２を含むように構成される。第一強調演算部４５１−１，４５１−２、および、第二強調演算部４５２は、図４３などを参照して後述するように、それぞれ異なる係数（設定値）を用いて、入力された画像データに対して、画像強調処理を施す。なお、第一強調演算部４５１−１は、主にリッジを含む領域に対する処理を目的とする画像強調処理を行い、第一強調演算部４５１−２は、主に平坦領域に対する処理を目的とする画像強調処理を行う。また、第二強調演算部４５２は、主にステップエッジを含む領域に対する処理を目的とする画像強調処理を行う。第一強調演算部４５１−１および第二強調演算部４５２は、画像強調処理を施した画像データを第一合成部１６１に供給し、第一強調演算部４５１−２は、画像強調処理を施した画像データを第二合成部１６２に供給する。なお、以下、第一強調演算部４５１−１，４５１−２を個々に区別する必要がない場合、単に、第一強調演算部４５１と称する。

第一合成部１６１は、第一強調演算部４５１−１により画像強調処理が施された画像データと、第二強調演算部４５２により画像強調処理が施された画像データの対応する位置にある画素の画素値を、リッジ領域重み信号に基づく重みをつけて加算することにより、２つの画像データを合成する。第一合成部１６１は、合成した画像データを第二合成部１６２に供給する。

第二合成部１６２は、第一合成部１６１により合成された画像データと、第一強調演算部４５１−２により画像強調処理が施された画像データの対応する位置にある画素の画素値を、エッジ領域重み信号に基づく重みをつけて加算することにより、２つの画像データを合成する。第二合成部１６２は、合成した画像データを外部に出力する。

図４０は、第一強調演算部４５１の機能の構成の例を示すブロック図である。第一強調演算部４５１は、高域通過フィルタ４７１、信号補正部４７２、および、加算部４７３を含むように構成される。

高域通過フィルタ４７１は、外部から入力される画像データの高周波成分を通過させるフィルタである。

信号補正部４７２は、図４１に示されるように、コアリング部４９１および乗算部４９２を含むように構成される。

コアリング部４９１は、高域通過フィルタ４７１により高周波成分が抽出された画像データ、および、パラメータ取得部４２２から係数αを示すデータを取得する。コアリング部４９１は、図４４などを参照して後述するように、係数αを用いて、入力された画像データの画素値を変換し、画素値を変換した画像データを乗算部４９２に供給する。

乗算部４９２は、パラメータ取得部４２２から係数βを示すデータを取得する。乗算部４９２は、コアリング部４９１から供給された画像データの画素値に係数βを乗じた画素値からなる画像データを加算部４７３に供給する。

加算部４７３は、外部から入力される画像データと信号補正部４７２から供給される画像データの対応する位置の画素の画素値を加算することにより、画像データを合成する。加算部４７３は、合成した画像データを外部（第一合成部１６１または第二合成部１６２）に供給する。

図４２は、第二強調演算部４５２の機能の構成の例を示すブロック図である。第二強調演算部４５２は、第一強調演算部４５１−１および４５１−２と同様の構成を有する第一強調演算部４５１−３、最小値検出部５０１、最大値検出部５０２、および、クリップ部５０３を含むように構成される。

最小値検出部５０１は、入力された画素値の最小値を検出し、クリップ部５０３に供給する。

最大値検出部５０２は、入力された画素値の最大値を検出し、クリップ部５０３に供給する。

クリップ部５０３は、第一強調演算部４５１−３からの画像データの各画素の画素値を、最小値検出部５０１により検出された最小値、および、最大値検出部５０２により検出された最大値と比較する。クリップ部５０３は、第一強調演算部４５１−３からの画像データの画素値が、最小値より小さい場合、最小値を選択し、最大値より大きい場合、最大値を選択し、それ以外の場合、画像データの画素値を選択する。クリップ部５０３は、選択した値を示すデータを、第一合成部１６１に供給する。

なお、画像強調装置４０１の図示せぬ操作部などを操作することにより、第一強調演算部４５１−１乃至４５１−３に対して、係数αおよびβをそれぞれ独立して設定することが可能とされる。

次に、図４３のフローチャートを参照して、画像強調装置４０１により実行される画像強調処理を説明する。なお、この処理は、例えば、ユーザが画像強調装置４０１の図示せぬ操作部を操作して、画像強調処理の実行を指令したとき開始される。

ステップＳ１０１において、画像強調部４２１−１は、画像入力部１１１から入力される画像データ、すなわち、画像強調を施す対象となる画像データを取得する。画像強調部４２１−１は、取得した画像データを図示せぬバッファに記憶させる。

ステップＳ１０２において、図２７を参照して上述したエッジ領域検出処理が実行され、エッジ領域重み信号が、エッジ領域検出部１４１から第二合成部１６２に供給される。なお、例えば、上述した図２８に示される画素yについて画像強調処理を施す場合、画素yを含む画素y−1乃至ｙ+2からなる領域に対して、エッジ検出処理が行われる。
る。

ステップＳ１０３において、図３０を参照して上述したリッジ領域検出処理が実行され、リッジ領域重み信号が、リッジ領域検出部１４２から第一合成部１６１に供給される。なお、例えば、上述した図２８に示される画素yについて画像強調処理を施す場合、画素yを含む画素y-1乃至y+2からなる領域に対して、リッジ検出処理が行われる。

ステップＳ１０４において、画像強調部４２１−１の第一強調演算部４５１−１は、第１の画像強調処理を行う。具体的には、第一強調演算部４５１−１の高域通過フィルタ４７１は、画像強調処理を施す画素である注目画素、および、注目画素の上下に隣接する画素の画素値を示すデータを、図示せぬ画像強調部４２１−１のバッファから取得する。高域通過フィルタ４７１は、以下の式（２５）に基づいて、画素値Hdを計算する。

Hd＝c[0]×f(y-1)＋c[1]×f(y)＋c[2]×f(y+1) ・・・（２５）

なお、f(y)は注目画素の画素値、f(y-1)は注目画素の１つ上の画素の画素値、f(y+1)は注目画素の１つ下の画素の画素値を示す。また、c[0]乃至c[2]はフィルタ係数であり、例えば、c[0]＝-0.25，c[1]＝0.5，c[2]＝-0.25とされる。

次に、コアリング部４９１は、以下の式（２６）に基づいて、画素値Hdを画素値Cdに変換する。

図４４は、画素値Hdと画素値Cdの関係を示すグラフである。すなわち、コアリング部４９１により、高域通過フィルタ４７１を通過した画像データの画素のうち、画素値の絶対値がコアリング量としての係数α以下である画素の画素値が０にされる（画素値の振幅の絶対値が係数α以下の高周波成分が除去される）。

乗算部４９２は、以下の式（２７）に示されるように、画素値Cdにゲインとしての係数βを乗じた画素値Mdを計算する。

Md＝Cd×β ・・・（２７）

加算部４７３は、以下の式（２８）に基づいて、画素値Pdを計算する。

Pd＝f(y)＋Md ・・・（２８）

従って、画素値Pdからなる画像データは、入力された画像データの高周波成分のうち所定の振幅以上の高周波成分が強調された画像データとなる。加算部４７３は、画素値Pdを示すデータを第一合成部１６１に供給する。

ステップＳ１０５において、第二強調演算部４５２は、第２の画像強調処理を行う。具体的には、第一強調演算部４５１−３は、ステップＳ１０４における第一強調演算部４５１−１による処理と同様に、上述した式（２５）乃至（２８）に基づいて、入力された画像データの画素値を変換する。なお、第一強調演算部４５１−３により式（２８）に基づいて計算される画素値を、第一強調演算部４５１−１により計算される画素値Pdと区別するために、以下、画素値Emとする。

また、最小値検出部５０１は、以下の式（２９）に基づいて、注目画素を含む注目画素の近傍の画素における画素値の最小値M0を検出し、最大値検出部５０２は、以下の式（３０）に基づいて、注目画素を含む注目画素の近傍の画素における画素値の最大値M1を検出する。

M0=MIN(f(y-1),f(y),f(y+1)) ・・・（２９）
M1=MAX(f(y-1),f(y),f(y+1)) ・・・（３０）

なお、ここで、MIN()は()内のデータの最小値を求める関数で、MAX()は()内のデータの最大値を求める関数である。

最小値検出部５０１は、検出した最小値M0をクリップ部５０３に供給し、最大値検出部５０２は、検出した最大値M1をクリップ部５０３に供給する。クリップ部５０３は、式（３１）に基づいて、クリップ部５０３から出力される画素値Edが、最小値M0と最大値M1との範囲内に収まるように、画素値Emを補正する。すなわち、画素値Emが最小値M0から最大値M1の範囲内にクリッピングされる。

ステップＳ１０６において、第一強調演算部４５１−２は、第３の画像強調処理を行う。具体的には、第一強調演算部４５１−２は、ステップＳ１０４における第一強調演算部４５１−１による処理と同様に、上述した式（２５）乃至（２８）に基づいて、入力された画像データの画素値を変換する。なお、第一強調演算部４５１−２により式（２８）に基づいて計算される画素値を、第一強調演算部４５１−１により計算される画素値Pdと区別するために、以下、画素値Fdとする。第一強調演算部４５１−２の加算部４７３は、画素値Fdを示すデータを第二合成部１６２に供給する。

なお、第一強調演算部４５１−１乃至４５１−３の強調処理は、一般的な画像強調手法に基づく処理であり、エッジ付近のコントラストの鮮鋭感を向上させることができる一方、特にステップエッジにおいて、プリシュート、オーバーシュートと呼ばれるリンギング成分を増幅する傾向がある。

一方、第二強調演算部４５２の強調処理は、LTI（Luminance Transient Improvement）と呼ばれる画像強調手法の一つに基づく処理であり、最小値M0および最大値M1により、クリップ処理を行うことにより、プリシュート、オーバーシュートの発生を抑制しつつ、エッジの立ち上がりを改善することができ、特にステップエッジにおいて有効である。しかし、この手法は、リッジにおいては、エッジの強調が抑制されるとともに、ジャギーを発生させる傾向があり、あまり好ましい手法とは言えない。

ところで、第一強調演算部４５１−１乃至４５１−３に入力される係数αおよび係数βを、それぞれ、α１、α２、α３、および、β１、β２、β３とした場合、第二強調演算部４５２により生成される画素値Edからなる画像データが、第一強調演算部４５１−１により生成される画素値Pdからなる画像データ、および、第一強調演算部４５１−２により生成される画素値Fdからなる画像データと比較して、エッジが最も鮮鋭に強調されつつ、リンギングの発生が抑制された画像データになるように、係数α２およびβ２が設定される。

また、第一強調演算部４５１−２により生成される画素値Fdからなる画像データが、第一強調演算部４５１−１により生成される画素値Pdからなる画像データ、および第二強調演算部４５２により生成される画素値Edからなる画像データと比較して、ノイズの強調が抑制されつつ、平坦領域における画像の質感が最も豊かな画像データとなるように、係数α３およびβ３が設定される。

さらに、第一強調演算部４５１−１により生成される画素値Pdからなる画像データが、第二強調演算部４５２により生成される画素値Edからなる画像データと比較して、高周波成分を多く含む領域におけるジャギーの発生が抑制されつつ、第一強調演算部４５１−２により生成される画素値Fdからなる画像データと比較して、エッジが強調された画像データとなるように、係数α１およびβ１が設定される。

例えば、α３≧α１およびβ１≧β３となるように各係数を設定することにより、上述した特徴を持つ画像強調処理が実現される。なお、ここで、係数α２とα１およびα３との関係、係数β２とβ１およびβ３との関係は、特に規定されない。

ステップＳ１０７において、上述した図２６のステップＳ７と同様の処理により、上述した式（２３）に基づいて、第一強調演算部４５１−１から供給される画素値Pdと、第二強調演算部４５２から供給される画素値Edとが、リッジ領域検出部１４２から供給されるリッジ領域重み信号により示されるリッジ重み値Pwを用いて重み付け加算される。第一合成部１６１は、重み付け加算した画素値M1を示すデータを第二合成部１６２に供給する。

ステップＳ１０８において、上述した図２６のステップＳ８と同様の処理により、上述した式（２４）に基づいて、第一合成部１６１から供給される画素値M1と、第一強調演算部４５１−２から供給される画素値Fdとが、エッジ領域検出部１４１から供給されるエッジ領域重み信号により示されるエッジ重み値Ewを用いて重み付け加算される。第二合成部１６２は、重み付け加算した画素値M2を示すデータを後段、いまの場合、画像強調部４２１−２に供給する。画像強調部４２１−２は、取得したデータを図示せぬバッファに記憶させる。

ステップＳ１０９において、画像強調部４２１−１は、垂直方向の画像強調処理が終了したか否かを判定する。画像強調部４２１−１は、まだ画像強調処理を施していない画素が残っている場合、垂直方向の画像強調処理が終了していないと判定し、処理はステップＳ１０２に戻る。その後、ステップＳ１０９において、垂直方向の画像強調処理が終了したと判定されるまで、ステップＳ１０２乃至Ｓ１０９の処理が繰り返し実行される。すなわち、画像入力部１１１から入力された画像データの各画素に対応する画素値M2が計算され、画素値M2を示すデータが画像強調部４２１−２に供給される。

ステップＳ１０９において、垂直方向の画像強調処理が終了したと判定された場合、処理はステップＳ１１０に進む。その後、ステップＳ１１７において、水平方向の画像強調処理が終了したと判定されるまで、ステップＳ１１０乃至Ｓ１１７の処理が繰り返し実行される。ステップＳ１１０乃至Ｓ１１７の処理は、上述したステップＳ１０２乃至Ｓ１０９と同様の処理であり、その説明は繰り返しになるので省略する。ただし、ステップＳ１０２乃至Ｓ１０９の処理において、画像入力部１１１から入力された画像データに対して、垂直方向の画像強調処理が施されるのに対して、ステップＳ１１０乃至Ｓ１１７においては、画像強調部４２１−１から供給される画素値M2からなる垂直方向の画像強調処理が施された画像データに対して、水平方向の強調処理が施される。

ステップＳ１１７において、水平方向の強調処理が終了したと判定された場合、処理はステップＳ１１８に進む。

ステップＳ１１８において、画像表示部１１３は、強調処理を施した画像を表示し、画像強調処理は終了する。具体的には、画像表示部１１３は、画像強調部４２１−２から供給される画素値M2からなる画像データ、すなわち、画像入力部１１１から入力された画像データに対して垂直方向および水平方向の画像強調処理が施された画像データに基づく画像を表示する。

このように、画像強調部４２１−１または４２１−２において、入力された画像データに対して、リッジ重み値Pwが1.0または1.0に近いリッジ近傍の画素は、画素値Pdの割合が高い画素に変換され、エッジ重み値Ewが1.0または1.0に近く、かつ、リッジ重み値Pwが0.0または0.0に近いステップエッジ近傍の画素は、画素値Edの割合が高い画素に変換され、エッジ重み値Ewが0.0または0.0に近いリッジおよびステップエッジから離れた領域の画素は、画素値Fdの割合が高い画素に変換される。従って、画像強調部４２１−１または４２１−２から出力される画素値M2からなる画像データは、ステップエッジおよびリッジが強調され、平坦領域の質感が豊かで、かつ、平坦部でのノイズの強調、ステップエッジでのプリシュートおよびオーバーシュートの発生、並びに、リッジ付近のジャギーの発生が抑制された画像データとなる。

以上のように、複数の画素からなる領域における位置の変化に対して画素値がパルス状に変化する場合のパルスの勾配および高さにより示される強度であって、画像のリッジの強度であるリッジ強度を検出する場合には、画像のリッジの強度を簡単かつ正確に検出することができ、その結果、画像の特徴に応じた画像処理を行うことができる。

なお、以上の説明では、エッジ強度またはリッジ強度の検出に用いる勾配値を、隣接する画素間の画素値の差分をとることにより求めるようにしたが、それ以外の方法により勾配値を求めるようにしてもよい。

例えば、エッジ強度またはリッジ強度を検出する領域内の、隣接はしていないが、近接する画素間の画素値の差分を勾配値として求めるようにしてもよい。例えば、図２０に示される画素x-1乃至x+2からなる領域において、f(x+1)-f(x-1)により求められる差分値を勾配値とするようにしてもよい。この場合、高域成分をあまり含まない画像、例えば、全体にボケたような画像、拡大後の画像などにおいて、太めの線の繰り返しを検出するときに有効である。

また、例えば、微分フィルタを用いて勾配値を求めるようにしてもよい。例えば、図２０に示される画素x-1乃至x+2からなる領域に対して、1×f(x+2)+2×f(x+1)-2×f(x)-1×f(x-1)の式で表される微分フィルタを用いて勾配値を求めるようにすることができる。この場合、フィルタのタップ数を増やすことにより、すなわち、エッジ強度またはリッジ強度を検出する領域を大きくすることより、周波数帯域の狭い画像において、エッジ強度またはリッジ強度を検出する精度を上げることができる。

なお、エッジ強度またはリッジ強度を用いた画像処理を行う画像の特徴、例えば、高周波数成分を多く含む画像か否かなどに基づいて、勾配値を求める方法を変化させることにより、画像処理において得られる効果を変化させることができる。

また、例えば、図８の画像補間部１２１において、リッジ領域用補間演算部１５１により補間された画像データと、平坦領域用補間演算部１５３により補間された画像データとを、エッジ領域重み信号に基づいて、第二合成部１６２により合成することにより、折り返し歪みの抑制を主な目的にした補間処理を行うようにしてもよい。

さらに、画像のリッジ強度およびエッジ強度を精度高く検出できる特徴を利用して、リッジ部分だけを対象にした処理（例えば、リッジの抽出など）、エッジ部分だけを対象にした処理（例えば、エッジの抽出など）を行う画像処理に本発明を適用することも可能である。

また、リッジ強度として、高い周波数（線幅が細く間隔が密な線の集合）のストライプの強度を検出するようにすることも可能である。

さらに、以上の実施の形態において、加算処理や絶対値の計算など同様の処理を行う部分を共用するようにしてもよい。

また、以上では、水平または垂直方向の一次元の画像補間および画像強調の処理を行う場合の例を説明したが、本発明は二次元の画像補間および画像強調の処理に適用することも可能である。

さらに、ノイズなどの影響により、リッジ領域重み信号やエッジ領域重み信号が不安定になることを考慮して、各重み信号を平滑化したり、各重み信号により示される各重み値として一定の領域内における中央値を用いるなどの対策を施すようにしてもよい。

また、以上の説明に用いたフローチャートにおいては、各ステップの処理を時系列に行うようにしたが、例えば、図２６のステップＳ２乃至Ｓ６の各処理、ステップＳ１０乃至Ｓ１４の各処理、図４３のステップＳ１０２乃至Ｓ１０６の各処理、ステップＳ１１０乃至Ｓ１１４の各処理などについては、並列して行うようにすることが可能である。

さらに、解像度変換装置１０１または画像強調装置４０１の画像表示部１１３は、例えば、画像データを蓄積する記録装置、他の装置に画像データを送信する送信装置など、補間処理または画像強調処理が施された画像データを処理する他の装置に置き換えることも可能である。

また、以上の説明では、同じ画素の間に画素を補間する場合、補間する位置に関わらず、エッジ重み値Ewおよびリッジ重み値Pwが同じになるようにしたが、例えば、補間する位置に応じて、線形補間などの方法を用いて、エッジ重み値Ewおよびリッジ重み値Pwを補正するようにしてもよい。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図４５は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ９００の構成の例を示すブロック図である。CPU９０１は、ROM９０２、または記録部９０８に記憶されているプログラムに従って各種の処理を実行する。RAM９０３には、CPU９０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９０１、ROM９０２、およびRAM９０３は、バス９０４により相互に接続されている。

CPU９０１にはまた、バス９０４を介して入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。CPU９０１は、入力部９０６から入力される指令に対応して各種の処理を実行する。そして、CPU９０１は、処理の結果を出力部９０７に出力する。

入出力インタフェース９０５に接続されている記録部９０８は、例えばハードディスクからなり、CPU９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部９０９を介してプログラムを取得し、記録部９０８に記憶してもよい。

入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部９０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図４５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９１１、または、プログラムが一時的もしくは永続的に格納されるROM９０２や、記録部９０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部９０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

画像の補間方法の特徴を示す表である。 拡大前の原画像を示す図である。 図２の原画像をバイキュービック補間法を用いて拡大した画像を示す図である。 図２の原画像を高次数補間フィルタ補間法を用いて拡大した画像を示す図である。 図３および図４の画像の画素値の変化を示すグラフである。 図２の原画像を斜め線補間法を用いて拡大した画像を示す図である。 本発明を適用した解像度変換装置の一実施の形態を示すブロック図である。 図７の画像補間部の機能の構成の例を示すブロック図である。 ステップエッジの例を示す図である。 図９の画像の画素値の変化を示すグラフである。 ランプエッジの例を示す図である。 図１１の画像の画素値の変化を示すグラフである。 リッジの例を示す図である。 図１３の画像の画素値の変化を示すグラフである。 ルーフエッジの例を示す図である。 図１５の画像の画素値の変化を示すグラフである。 ストライプの例を示す図である。 図１７の画像の画素値の変化を示すグラフである。 図８のエッジ領域検出部の機能の構成の例を示すブロック図である。 図８のエッジ領域検出部に入力される画素値の例を示す図である。 図１９の正規化計算部に入力されるデータの詳細を示す図である。 図８のリッジ領域検出部の機能の構成の例を示すブロック図である。 図８のリッジ領域用補間演算部の機能の構成の例を示すブロック図である。 図８のエッジ領域用補間演算部の機能の構成の例を示すブロック図である。 図８の平坦領域用補間演算部の機能の構成の例を示すブロック図である。 図７の解像度変換装置により実行される解像度変換処理を説明するためのフローチャートである。 図２６のステップＳ２およびＳ１０のエッジ領域検出処理の詳細を説明するためのフローチャートである。 図８のエッジ領域検出部に入力される画素値の例を示す図である。 図１９の正規化計算部の入力と出力の関係を示すグラフである。 図２６のステップＳ３およびＳ１１のリッジ領域検出処理の詳細を説明するためのフローチャートである。 図２２の正規化計算部の入力と出力の関係を示すグラフである。 斜め線補間を説明するための図である。 斜め線補間を説明するための図である。 図２の原画像に基づいて図８のエッジ領域検出部により生成されるエッジ領域重み信号に基づく画像を示す図である。 図２の原画像に基づいて図８のリッジ領域検出部により生成されるリッジ領域重み信号に基づく画像を示す図である。 図２、図３４、図３５の画像の画素値の変化を示すグラフである。 図２の原画像を図７の解像度変換装置により拡大した画像の例を示す図である。 本発明を適用した画像強調装置の一実施の形態を示すブロック図である。 図３８の画像強調部の機能の構成の例を示すブロック図である。 図３９の第一強調演算部の機能の構成の例を示すブロック図である。 図４０の信号補正部の機能の構成の例を示すブロック図である。 図３９の第二強調演算部の機能の構成の例を示すブロック図である。 図３８の画像強調装置により実行される画像強調処理を説明するためのフローチャートである。 図４１のコアリングの入力と出力の関係を示すグラフである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１０１ 解像度変換装置， １１２ 画像処理部， １２１ 画像補間部， １４１ エッジ領域検出部， １４２ リッジ領域検出部， １４３ 補間演算部， １４４ 画像合成部， １５１ リッジ領域用補間演算部， １５２ エッジ領域用補間演算部， １５３ 平坦領域用補間演算部， １６１ 第一合成部， １６２ 第二合成部， １７１ エッジ強度検出部， １７２ 正規化計算部， １８１ 勾配計算部， １８２ 絶対値計算部， １８３ 加算計算部， ２０１ リッジ強度検出部， ２０２ 正規化計算部， ２１１ 勾配計算部， ２１２ 絶対値計算部， ２１３ 加算計算部， ２１４ 加算計算部， ２１５ 絶対値計算部， ２１６ 差分計算部， ２３３ フィルタ係数供給部， ２３４ フィルタ演算部， ２５３ 方向検出部， ２５４ フィルタ係数供給部， ２５５ 斜め線補間演算部， ２７３ フィルタ係数供給部， ２７４ フィルタ演算部， ４０１ 画像強調装置， ４１１ 画像処理部， ４２１ 画像強調部， ４４１ 強調演算部， ４５１ 第一強調演算部， ４５２ 第二強調演算部， ４７１ 高域通過フィルタ， ４７２ 信号補正部， ４７３ 加算部， ４９１ コアリング部， ４９２ 乗算部， ５０１ 最小値検出部， ５０２ 最大値検出部， ５０３ クリップ部， ９０１ CPU， ９０２ ROM， ９０３ RAM， ９０８ 記録部， ９１０ ドライブ， ９１１ リムーバブルメディア

Claims (7)

1. 複数の画素からなる領域内の画素間の画素値の差分である勾配値の絶対値の合計をエッジ強度として検出するエッジ強度検出手段と、
   前記領域内の前記エッジ強度と前記勾配値の合計の絶対値との差分をリッジ強度として検出するリッジ強度検出手段と、
   リッジを含む領域に対する処理を目的とする第１の画像処理を行う第１の画像処理手段と、
   ステップエッジを含む領域に対する処理を目的とする第２の画像処理を行う第２の画像処理手段と、
   画素値の変化が少ない領域である平坦領域に対する処理を目的とする第３の画像処理を行う第３の画像処理手段と、
   第１の画像に対して前記第１の画像処理を行った画像である第２の画像、前記第１の画像に対して前記第２の画像処理を行った画像である第３の画像、および、前記第１の画像に対して前記第３の画像処理を行った画像である第４の画像の対応する位置にある画素の画素値を、前記リッジ強度および前記エッジ強度に基づく重みをつけて加算することにより画像を合成する合成手段と
   を含む画像処理装置。
2. 前記第１の画像処理は、画像の高周波成分により発生する折り返し歪みの発生が抑制される補間方法に基づいて画像の補間を行う画像処理であり、
   前記第２の画像処理は、斜め方向のエッジにおけるジャギーの発生が抑制される補間方法に基づいて画像の補間を行う画像処理であり、
   前記第３の画像処理は、平坦領域におけるリンギングの発生が抑制される補間方法に基づいて画像の補間を行う画像処理である
   請求項１に記載の画像処理装置。
3. 前記第１の画像処理は、第１の振幅以上の画像の高周波成分を、第１のゲインを用いて強調する画像処理であり、
   前記第２の画像処理は、ステップエッジにおけるプリシュートおよびオーバーシュートの発生が抑制される画像強調の手法に基づいて、画像の強調を行う画像処理であり、
   前記第３の画像処理は、前記第１の振幅以上である第２の振幅以上の画像の高周波成分を、前記第１のゲイン以下である第２のゲインを用いて強調する画像処理である
   請求項１に記載の画像処理装置。
4. 前記合成手段は、
   前記第２の画像および前記第３の画像の対応する位置にある画素の画素値を、前記リッジ強度に基づく重みをつけて加算することにより画像を合成する第１の合成手段と、
   前記第４の画像および前記第１の合成手段により合成された第５の画像の対応する位置にある画素の画素値を、前記エッジ強度に基づく重みをつけて加算することにより画像を合成する第２の合成手段と
   を含む
   請求項１に記載の画像処理装置。
5. 複数の画素からなる領域内の画素間の画素値の差分である勾配値の絶対値の合計をエッジ強度として検出し、
   前記領域内の前記エッジ強度と前記勾配値の合計の絶対値との差分をリッジ強度として検出し、
   リッジを含む領域に対する処理を目的とする第１の画像処理を行い、
   ステップエッジを含む領域に対する処理を目的とする第２の画像処理を行い、
   画素値の変化が少ない領域である平坦領域に対する処理を目的とする第３の画像処理を行い、
   第１の画像に対して前記第１の画像処理を行った画像である第２の画像、前記第１の画像に対して前記第２の画像処理を行った画像である第３の画像、および、前記第１の画像に対して前記第３の画像処理を行った画像である第４の画像の対応する位置にある画素の画素値を、前記リッジ強度および前記エッジ強度に基づく重みをつけて加算することにより画像を合成する
   ステップを含む画像処理方法。
6. 複数の画素からなる領域内の画素間の画素値の差分である勾配値の絶対値の合計をエッジ強度として検出し、
   前記領域内の前記エッジ強度と前記勾配値の合計の絶対値との差分をリッジ強度として検出し、
   リッジを含む領域に対する処理を目的とする第１の画像処理を行い、
   ステップエッジを含む領域に対する処理を目的とする第２の画像処理を行い、
   画素値の変化が少ない領域である平坦領域に対する処理を目的とする第３の画像処理を行い、
   第１の画像に対して前記第１の画像処理を行った画像である第２の画像、前記第１の画像に対して前記第２の画像処理を行った画像である第３の画像、および、前記第１の画像に対して前記第３の画像処理を行った画像である第４の画像の対応する位置にある画素の画素値を、前記リッジ強度および前記エッジ強度に基づく重みをつけて加算することにより画像を合成する
   ステップを含む処理をコンピュータに実行させるためのプログラム。
7. 請求項６に記載のプログラムが記録されている記録媒体。

Images