JP3625144B2

JP3625144B2 - Image processing method

Info

Publication number: JP3625144B2
Application number: JP00929999A
Authority: JP
Inventors: 至古川
Original assignee: Screen Holdings Co Ltd; Dainippon Screen Manufacturing Co Ltd
Current assignee: Screen Holdings Co Ltd; Dainippon Screen Manufacturing Co Ltd
Priority date: 1999-01-18
Filing date: 1999-01-18
Publication date: 2005-03-02
Anticipated expiration: 2019-01-18
Also published as: JP2000209432A

Description

【０００１】
【発明の属する技術分野】
この発明は、第１画像に対応した画像内容を有しかつ前記第１画像に対して相対的に高倍率の画像である第２画像のエッジを鮮鋭化する画像処理方法に関する。
【０００２】
【従来の技術】
従来から、画像の拡大方法としては「バイリニア補間法」および「バイキュービック補間法」が多く用いられる。「バイリニア補間法」とは、原画像の対応するの周辺の最隣接画素の画像データ（階調値）を注目画素からの距離に応じた重み付けで加重平均して拡大画像に反映させる補間方法である。また「バイキュービック補間法」では「バイリニア補間法」で最隣接の画素の画像データの加重平均を用いていたのに対して、さらにその外側、すなわち、２番目の隣接範囲内の画素の画像データまで加重平均して拡大画像に反映させる方法である。
【０００３】
図１０は５×５画素の原画像における各画素の階調値を示す図である。そして、図１１は図１０の原画像を「バイリニア補間法」を用いて３倍に拡大した拡大画像の各画素の階調値を示す図であり、図１２は図１１の拡大画像を視覚的に表わした図である。ただし、図１２は後の実施の形態における結果画像（図７）と比較するため、図１１の枠Ｆ内のみを表わした。
【０００４】
【発明が解決しようとする課題】
ところで、図１０に示すように原画像には階調値が「０」の画素と「９９」の画素が隣接する、急峻なエッジ部分が存在する。これに対応する図１１の拡大画像の領域では、階調値が「０」，「１１」，「４４」，「９９」のように緩やかに変化するエッジ画像となっている。このため、図１２に示すように、拡大画像はボケた様に見え、画質が劣化している。
【０００５】
また、通常、エッジ部分のボケを改善するために、ＵＳＭ（アンシャープマスク）アパーチャーを用いたエッジ強調処理が行われる。図１３は図１１および図１２の拡大画像にＵＳＭアパーチャーを用いたエッジ強調処理を行った場合の各画素の階調値を示す図であり、図１４は図１３の画像を視覚的に表わした図である。ただし、図１４も後の実施の形態における結果画像（図７）と比較するため、図１３の枠Ｆ内のみを表わした。
【０００６】
このように、拡大画像にＵＳＭアパーチャーを用いたエッジ強調処理を行うと、図１３および図１４に示すように、拡大処理で発生した「ジャギー」が強調され、画質が劣化している。また、本来のエッジの周辺に、太い輪郭部が発生し、画質劣化の原因となっている。
【０００７】
さらに、拡大処理によるものでなく、光学的にピントがボケた画像の場合にはジャギーは発生しないが、図１３および図１４の画像と同様にエッジの周辺に太い輪郭部が発生し、画質劣化の原因となっていた。
【０００８】
この発明は、従来技術における上述の問題の克服を意図しており、高画質を維持しつつエッジの鮮鋭度を改善することができる画像処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、請求項１の発明は、第１画像に対応した画像内容を有しかつ第１画像に対して相対的に高倍率の画像である第２画像のエッジを鮮鋭化する画像処理方法であって、第２画像中から注目画素を選択し、当該注目画素およびその周辺の画像からなる対象画素群を特定する工程と、第１画像から中心画素を選択し、当該中心画素およびその周辺の画像からなる比較画素群を特定する工程と、対象画像群と比較画素群との画像データの相関度を求める相関度算出工程と、第１画像の所定の範囲から中心画素を順次に選択しつつ相関度算出工程を繰り返し、それによって複数の相関度を求める第１繰り返し工程と、複数の相関度のうちで最大の相関度を示す比較画素群に対応した中心画素を最大相関画素として選択する選択工程と、第１画像のうちの最大相関画素の画像データに基づいて補正情報を得る補正情報取得工程と、得られた補正情報を第２画像の注目画素の画像データに合成する合成工程と、第２画像中の各画素を個別に注目画素として、前記各工程を繰返し行う第２繰り返し工程と、を備えている。
【００１０】
また、請求項２の発明は、請求項１に記載の画像処理方法であって、補正情報が、第１画像の最大相関画素の画像データである。
【００１１】
また、請求項３の発明は、請求項１または請求項２に記載の画像処理方法であって、補正情報が、第１画像のエッジ成分のうち最大相関画素に対応するものである。
【００１２】
また、請求項４の発明は、請求項１ないし請求項３のいずれかに記載の画像処理方法であって、相関度算出工程が、対象画素群と比較画素群とについて、互いに対応する画素どうしの階調値の差分の絶対値を、中心画素からの距離に応じた重み付けで加重加算した値をもとに相関度を求めるものである。
【００１３】
また、請求項５の発明は、請求項１ないし請求項４のいずれかに記載の画像処理方法であって、第１繰り返し工程において、第１画像において注目画素に対応する位置の近傍の画素群から中心画素が順次に選択される。
【００１４】
また、請求項６の発明は、請求項１ないし請求項５のいずれかに記載の画像処理方法であって、合成工程において、最大相関画素の近傍または注目画素の近傍の濃度に応じて、合成の合成比率又は合成加算量が異なるものである。
【００１５】
さらに、請求項７の発明は、請求項１ないし請求項５のいずれかに記載の画像処理方法であって、合成工程において、最大相関画素付近の濃度コントラスト、または注目画素付近の濃度コントラストに応じて、合成の合成比率又は合成加算量が異なるものである。
【００１６】
【発明の実施の形態】
以下、この発明の実施の形態を図面に基づいて説明する。
【００１７】
＜１．第１の実施の形態＞
図１はこの発明の画像処理方法を実現する第１の実施の形態である画像処理装置１の機能ブロック図である。以下、図１を用いてこの画像処理装置１について説明していく。
【００１８】
この画像処理装置１は以下に示す各部が互いにバスラインＢＬで接続された装置である。以下、各部について順に説明していく。画像入力Ｉ／Ｆ１１は、図示しない外部の画像編集レイアウト装置により作成された編集済みの原画像データを受け取るインターフェイスであり、受け取った原画像データは一時的に画像メモリ１２に保存される。指示入力部１３は図示しないタッチパネル、キーボードやマウス等を備えており、作業者による画像処理の指示入力が行われる。そして、その指示により画像拡大処理部１４により原画像データを拡大して拡大画像データを得る拡大処理を行ったり、さらにはＵＳＭ処理部１５、階調分布比較部１６、高相関画素検出部１７、補正データ抽出部１８および画像合成部１９の連携によりこの発明の画像処理（鮮鋭化処理）が施される。なお、この画像処理の詳細は後述する。また、上記において画像拡大処理部１４、ＵＳＭ処理部１５、階調分布比較部１６、高相関画素検出部１７、補正データ抽出部１８および画像合成部１９は図示しないＣＰＵによりソフトウエア的に実現される。
【００１９】
そして、得られた画像処理後の画像データは図示しないディスプレイ装置等を備えた画像表示部２０に表示されたり、外部装置への出力のためのインターフェイスである画像出力Ｉ／Ｆ２１を介して外部の保存媒体やネットワーク等へ出力される。
【００２０】
つぎに、第１の実施の形態における画像処理、より詳細にはエッジ鮮鋭化処理について説明する。第１の実施の形態では、拡大画像（「第２画像」に相当）の各画素について、それらの画素およびその周辺の画素が原画像（「第１画像」に相当）と最も近似している（最も相関度の高い）部分を求め、その部分の原画像の画像データを拡大画像に合成することによって、拡大画像のエッジを鮮鋭化する。
【００２１】
図２は第１の実施の形態における画像処理（エッジ鮮鋭化処理）の手順を示すフローチャートである。以下、図２を基に第１の実施の形態における画像処理の手順について説明する。なお、予め原画像は画像入力Ｉ／Ｆ１１を通じて読み込まれ、画像メモリに保存されているものとする。
【００２２】
まず、原画像を画像メモリ１２に保存する（ステップＳ１）。なお、この原画像は以下、参照用画像として用いられる。
【００２３】
つぎに、画像拡大処理部１４において、原画像に対して拡大処理を行い拡大画像を生成し、画像メモリ１２に保存する（ステップＳ２）。なお、この拡大処理の方法としてはバイキュービック法、バイリニア法等の公知の方法を用いることができる。
【００２４】
つぎに、階調分布比較部１６において、拡大画像から選択された対象領域ＯＡ内の各画素（対象画素群）の画像データ（階調値）と、それに対応する原画像の対応領域ＲＡの各画素を中心画素とした各比較領域ＣＡ内の各画素（比較画素群）の画像データ（階調値）とを、画像メモリ１２からそれぞれ読み出し、互いに対応させて比較し、相関度を求める（ステップＳ３）。
【００２５】
図３は第１の実施の形態における拡大画像の注目画素および周辺画素ならびに原画像の中心画素群および周辺画素について説明するための図である。以下、図３を用いて詳細に説明する。
【００２６】
まず、拡大画像から選択された任意の画素に注目する。そして、その注目画素の周辺に存在する画素を周辺画素とし、注目画素とその周辺の画素とからなる所定の範囲を対象領域ＯＡとする。第１の実施の形態ではこの対象領域ＯＡを３×３画素（注目画素に対して上下左右斜めそれぞれに±１画素）のマトリクス領域としている。
【００２７】
また、原画像においては拡大画像の注目画素に対応する位置である対応位置、すなわち、拡大処理の際に参照した画素もしくはその位置に最も近い画素位置を中心とした所定範囲を対応領域ＲＡとしている。第１の実施の形態では対応位置を中心とした３×３画素の範囲を対応領域ＲＡとしている。図３の例の場合には、拡大画像の注目画素ｐ１に対して原画像の対応位置の画素が画素ｑ１であり、画素ｑ１とそれに対して上下左右斜めそれぞれに±１画素を含む３×３画素の範囲を対応領域ＲＡとしている。なお、中心画素を拡大画像の注目画素に対応する位置もしくはそれに最も近い位置の画素としたのは、倍率によっては必ずしも拡大画像の画素と完全に対応する画素が原画像中に存在するとは限らないためである。
【００２８】
そして、この対応領域ＲＡ内の各画素をそれぞれ中心画素とし、それら各中心画素の周辺において、上記の拡大画像における対象領域ＯＡと同様の画素範囲、第１の実施の形態では中心画素に対して上下左右斜めそれぞれに±１画素を周辺画素とし、中心画素および周辺画素群からなる３×３画素の範囲を比較領域ＣＡとする。
【００２９】
図４は不一致指数の算出方法を示す模式図である。図示のように第１の実施の形態では、対応領域ＲＡ内の各画素を順に中心画素としながら、拡大画像の対象領域ＯＡ内の各画素（注目画素および周辺画素群）と、それらに対応する原画像の比較領域ＣＡの各画素（中心画素および周辺画素群）との画像データ（階調値）の差分の絶対値を求める。これにより、対応する画素の数（第１の実施の形態では９個）の差分の絶対値が求まる。そして得られた差分の絶対値を重みをつけて加重加算する。これを数式で示すと次式となる。
【００３０】
【数１】

【００３１】
ここで、比較領域ＣＡの画素数をＮ（ここではＮ＝９）、中心画素群の各中心画素の位置を示す数をｊ（第１の実施の形態ではｊ＝１〜９）、各画素位置をｉ（第１の実施の形態ではｉ＝１〜９）、不一致指数をＣｊ、原画像および拡大画像の画素位置ｉの画像データ（階調値）をそれぞれＯＧｉおよびＥＧｉ、重み付け係数をＫｉと表わした。
【００３２】
図５は重み付け係数Ｋｉの分布を示す模式図である。第１の実施の形態では、注目画素（中心画素）を周辺画素に対して重視するために、重み付け係数Ｋｉを注目画素（中心画素）からの距離に応じて変化させている。より詳細には距離に応じて減少するものとしている。
【００３３】
図５中の各小矩形は対象領域ＯＡ（比較領域ＣＡ）内の画素位置を表わし、中心が注目画素（中心画素）、その周りの画素が周辺画素を意味している。第１の実施の形態における、各画素の差分の絶対値に対して用いる重み付け係数は図５（ａ）に示す各画素における重み付け、すなわち、この例では注目画素（ｉ＝５）は重み付け係数Ｋ５＝４、周辺画素のうち、注目画素の上下左右の画素は重み付け係数Ｋｉ＝１、その他の画素は重み付け係数Ｋｉ＝０としている。
【００３４】
このような重み付け係数Ｋｉを用いて数１の式を計算すると、その注目画素の周辺と中心画素の周辺との不一致指数が得られる。この不一致指数は、その注目画素近傍の拡大画像と中心画素近傍の原画像とが近似している程度、すなわち相関度を表わす数値で、不一致指数が小さいほど相関度が高いことになる。そして、原画像における中心画素を注目画素から±１画素ずつずらした対応領域ＲＡ内の全ての画素を中心としてそれぞれ不一致指数（以下、総称する場合は「不一致指数群」という）を求める。
【００３５】
なお、ここでは対象領域ＯＡのサイズ（したがって比較領域ＣＡのサイズ）を３×３画素としたが、５×５画素等その他の大きさとしてもよく、また、重み付け係数Ｋｉも任意であり、例えば、注目画素の階調を重視しない場合には全ての重み付け係数Ｋｉを同じ値Ｋｉ＝１、すなわち、単純加算したりしてもよい。
【００３６】
以上の処理を図３により具体的に説明する。図３の例では拡大画像の画素ｐ１〜ｐ９に対応する原画像中の画素は画素ｑ１〜ｑ９であり、拡大画像の画素ｐ１を注目画素とした場合を示している。そして原画像における中心画素が画素ｑ１である場合には、その周辺３×３画素、すなわち画素ｑ１〜ｑ９が対応領域ＲＡとなる。また、原画像における中心画素を画素ｑ９とした場合には画素ｑ１，ｑ２，ｑ４，ｑ１０〜ｑ１４が対応領域ＲＡとなる。
【００３７】
このようにして、それら各画素ｑ１〜ｑ９を中心画素とした比較領域ＣＡの各画素と拡大画像における画素ｐ１を注目画素とした対象領域ＯＡの各画素との画像データを用いて不一致指数をそれぞれ求める。するとそれにより図４に示すように拡大画像中の１個の注目画素ｐ１に対して９個（３×３個）の不一致指数Ｃ１〜Ｃ９が求められることになる。
【００３８】
つぎに、高相関画素検出部１７において、階調分布比較部１６で得られた不一致指数群において相関度が最大の原画像での画素位置である最大相関画素を求める（ステップＳ４）。すなわち、得られた不一致指数群（図４の例では不一致指数Ｃ１〜Ｃ９）のうち、最小の不一致指数を示した原画像の中心画素を最大相関画素とする。
【００３９】
つぎに、補正データ抽出部１８において、補正データを抽出する（ステップＳ５）。第１の実施の形態では鮮鋭度を補正するための補正データとして最大相関画素の画像データを用いている。具体的には画像メモリ１２から原画像の最大相関画素の画像データを補正データとして読み出すのである。
【００４０】
最後に、画像合成部１９において、拡大画像に補正データを合成する（ステップＳ６）。より詳細には、拡大画像の注目画素の画像データと補正データとを所定の比率で加重平均する。
【００４１】
ただし、第１の実施の形態では最大相関画素の階調値を参照し、その画素の濃度が所定の濃度閾値を越えるか否かで加重の比率を異なるものとしている。一般にＣＣＤ等の画像素子で読み取った画像においては人間の目の感度特性に濃度値を変換するためＬＯＧ変換と呼ばれる濃度変換が行われている。そのため、画像の濃度が所定の濃度以上（所定濃度より濃い）の画素ではノイズが目立ちやすくなる。そこで、そのような画素についてはエッジを強調しないでむしろ拡大画像をそのままとした方がノイズを強調しないので画質が良好に保たれる。そこで第１の実施の形態では、拡大画像の注目画素の画像データと補正データとの合成比率を１：０、すなわち、拡大画像の注目画素の画像データをそのままとしている。逆に、拡大画像の濃度が所定の濃度閾値以下（所定濃度より薄い）の画素では拡大画像の注目画素の画像データと補正データ、すなわち、最大相関画素の画像データとの合成比率を０：１、すなわち、拡大画像の注目画素の画像データを最大相関画素の画像データで置換している。
【００４２】
ここで、補正データの合成として上記のような置換を行っている理由は以下の通りである。図１０に示すように原画像におけるエッジ部分には急峻な階調の変化が生じているのに対して、図１１〜図１４に示すように拡大画像ではエッジ部分の階調の変化がなだらかになっている。これは、拡大画像のエッジ部分には原画像におけるエッジの両側の階調以外に、それらの中間的な階調の画像データが発生してしまっているためである。そこで、上記のように原画像における相関が最も高い画素の階調を拡大画像と置換して再現することで、上記の拡大画像のエッジ部分における中間的な階調を有する画素を本来のエッジ部分の、より近い画像の側の階調に戻して、より原画像のエッジに近い画像を再現している。なお、エッジ部分以外では原画像と拡大画像とは注目画素近辺でほとんど同じ階調を有していると考えられるので、このような合成（置換）を行っても画像としてはあまり変化しないものとなっている。
【００４３】
なお、あまりエッジを強調しすぎないようにするためには、例えば、拡大画像の注目画素の画像データと補正データとの合成比率（加算の際の重み付け）を、濃度が所定の濃度閾値以上の場合は２：１とし、濃度閾値以下の場合は１：２とするなど、両データの重み付けの差を小さくすればよい。このように、２種の合成比率は任意の値とすることができる。また、濃度閾値も当然ながら任意の値とすることができ、さらには、濃度閾値を複数設けて、複数に分けられた濃度範囲を設け、各濃度範囲で異なる合成比率を設定したテーブルを用いたり、濃度値に一対一に対応した合成比率の関数を用いたりすることもできる。また、オペレーターが手動で変化させられるものとしてもよい。ただし、傾向としては高濃度側ではノイズやムラを強調しないために原画像の比率より拡大画像の比率を大きくし、逆に低濃度側ではその逆にしてエッジを強調する方がよい。
【００４４】
さらに、この装置では濃度を濃度閾値と比較する対象を最大相関画素としたが、拡大画像の注目画素を対象としてもよい。
【００４５】
つぎに、拡大画像の全画素を順次に注目画素として選択してステップＳ３〜Ｓ６の処理が終了したか否かの判定を行う（ステップＳ７）。そして、終了していなければ拡大画像における次の画素を注目画素としてステップＳ３に戻り、以下、拡大画像の全画素（正確には拡大画像の端縁部の画素には周辺画素が存在しないため、それらの画素以外の全画素）を順に注目画素としてステップＳ３〜Ｓ７の処理を繰返す。そして、全画素についてそれらの処理が終了すると、画像処理を終了する。そして、場合によっては得られた画像データを画像表示部２０に表示したり、画像出力Ｉ／Ｆ１１を通じて外部の保存媒体やネットワークに出力する。
【００４６】
図６は図１０の原画像を第１の実施の形態における画像処理方法を用いて３倍に拡大し、エッジ鮮鋭化を行った画像の各画素の階調値を示す図であり、図７は図６の画像を視覚的に表わした図である。ただし、対応領域ＲＡのサイズは３×３画素とし、不一致指数を求める際の重み付け係数Ｋｉは全てＫｉ＝１とし、さらに、濃度により合成比率を異なるものとはしていない。
【００４７】
図６および図７に示すように、エッジの両側において階調値が「０」の画素と「９９」の画素が隣接する、急峻な画像となっており、中間の階調が存在するボケや太い輪郭部は生じていない。なお、図６に示した枠Ｆの外側の画素は周辺画素が一部存在しないためエッジ鮮鋭化処理を行わなかった。そのため、図７にはそれらの画素は表示していない。
【００４８】
以上説明したように、第１の実施の形態によれば、拡大画像中の注目画素およびその周辺画素からなる対象領域ＯＡの画像と、注目画素にほぼ対応する原画像における注目位置近傍の画素である中心画素およびその周辺画素からなる比較領域ＣＡの画像との相関度を、対応領域ＲＡ内の各画素で中心画素を交代させつつ求めていき、得られた複数の相関度のうちで最大の相関度を示す原画像における中心画素を最大相関画素として選択し、得られた最大相関画素の画像データに基づいて得た補正データを拡大画像の注目画素の画像データに合成する処理を拡大画像中の全ての画素を個別に注目画素として繰返し行うため、相対的に低倍率の原画像のエッジ画像を拡大画像に反映させることができ、したがって、拡大画像について高画質を維持しつつエッジの鮮鋭度を改善することができる。
【００４９】
また、補正データが原画像の最大相関画素の画像データであるため、原画像は拡大画像に対して相対的に低倍率であるので、エッジが急峻であり、そのエッジをそのまま拡大画像に合成するため、急峻なエッジを拡大画像にも再現でき、よりエッジの鮮鋭度を改善できる。
【００５０】
また、拡大画像中の注目画素および当該注目画素の周辺における複数の周辺画素と、原画像中における中心画素および当該中心画素の周辺における複数の周辺画素と、について互いに対応する画素どうしの階調値の差分の絶対値を、中心画素からの距離に応じた重み付けで加重加算して不一致指数を求めるため、注目画素と中心画素との相関を重視した不一致指数（したがって相関度）を求めることができ、原画像中において的確な最大相関画素を求めることができ、したがって、的確なエッジ鮮鋭化を行うことができる。
【００５１】
また、原画像の対応領域ＲＡが、原画像における注目画素に対応する画素の近傍の領域であるため、拡大画像の注目画素と相関度の高い画素のみを対象として最大相関画素を求めるので、処理時間を短縮できる。
【００５２】
さらに、最大相関画素の画素の濃度に応じて拡大画像データと補正データとの合成比率が異なるものとするため、高濃度の画像におけるノイズの強調を防止できる。
【００５３】
＜２．第２の実施の形態＞
第２の実施の形態の画像処理装置１は、第１の実施の形態における図１に示した装置構成とほぼ同様の装置構成を有しているが、一部の処理部での処理が第１の実施の形態と異なっている。図８はこの発明の第２の実施の形態である画像処理（エッジ鮮鋭化処理）のフローチャートである。以下、図８を用いて第２の実施の形態におけるエッジ鮮鋭化処理について説明する。
【００５４】
まず、ステップＳ１１およびＳ１２における処理工程は第１の実施の形態のステップＳ１およびＳ２と同様である。
【００５５】
つぎに、ＵＳＭ処理部１５において、原画像からエッジ成分データを抽出する（ステップＳ１３）。具体的には、公知のＵＳＭアパーチャーを用いて得られるＵＳＭ信号をエッジ成分データとして抽出する。なお、得られたエッジ成分データは後に補正データとして使用する。
【００５６】
つぎのステップＳ１４およびＳ１５はそれぞれ第１の実施の形態のステップＳ３およびＳ４と同様である。これにより第１の実施の形態と同様にして最大相関画素が求まる。
【００５７】
つぎに、補正データ抽出部１８において、ステップＳ１３で求めておいた原画像の各画素のエッジ成分データのうちから、ステップＳ１５で求まった最大相関画素に対応するデータを補正データとして抽出する（ステップＳ１６）。第１の実施の形態では補正データとして最大相関画素の画像データをそのまま補正データとしていたが、第２の実施の形態では原画像データそのものを合成するのではなく、そのエッジ成分、すなわち高周波成分のみを補正データとして拡大画像に合成する。これにより原画像の低周波成分を合成しないため、最大相関画素の画像データをそのまま用いて合成する場合に比べて、より効果的にエッジを鮮鋭化することができる。
【００５８】
つぎに、画像合成部１９において、拡大画像の注目画素の階調値に抽出した補正データを合成する（ステップＳ１７）。図９は濃度コントラスト値算出の際に参照する周辺画素の位置を示す図である。図示のように、ステップＳ１７では、まず最大相関画素の上下に位置する画素ｐａとｐｂとの階調値の差分の絶対値、および左右に位置する画素ｐｃとｐｄとの階調値の差分の絶対値を求め、それらの和を濃度コントラストを表わす濃度コントラスト値として求める。
【００５９】
そして、濃度コントラスト値が所定の閾値を越えるか否かで合成加算量（エッジ成分データに乗じる係数）を異なるものとする。より詳細には、拡大画像の濃度コントラスト値が所定のコントラスト閾値以下の場合は、拡大画像の注目画素に対する補正データの合成加算量を「０」、すなわち、拡大画像の注目画素の画像データをそのままとしている。逆に、拡大画像の濃度コントラスト値が所定のコントラスト閾値以上では拡大画像の注目画素に対する補正データの合成加算量を「１」としている。
【００６０】
また、コントラスト閾値の上下で合成加算量を異ならせている理由は以下の通りである。すなわち、濃度コントラストが小さい平坦な画像でエッジを強調するとノイズやムラが目立ち易く画質劣化の原因となる。また、ＪＰＥＧ圧縮画像を解凍処理した場合にブロック歪みと呼ばれる矩形状の濃度のギャップが現れる画質劣化が見られる。これらの画質劣化を避けるためには、濃度コントラストが小さい画像におけるエッジ成分と捉えられる部分はあまり鮮鋭化しない方がよい。そのため、上記のように合成加算量を変えているのである。
【００６１】
また、エッジを強調しすぎないためには第１の実施の形態と同様に、拡大画像の注目画素に対する補正データの合成加算量（加算の際の重み付け）を、濃度コントラストがコントラスト閾値以上の場合は０．５とし、コントラスト閾値以下の場合は０．２とするなど、両データの重み付けの差を小さくすればよい。このように、２種の合成加算量は任意の値とすることができる。また、コントラスト閾値も任意の値とすることができ、さらには、複数のコントラスト閾値により濃度コントラストの範囲を複数設け、各濃度コントラスト範囲で異なる合成加算量を設定したテーブルを用いたり、濃度コントラスト値に一対一に対応した合成加算量の関数を用いたりすることもできる。また、オペレーターが手動で変化させられるものとしてもよい。ただし、傾向としては濃度コントラスト値が小さい側ではノイズや歪みを強調しないために補正データの合成加算量を小さくし、逆に濃度コントラスト値が大きい側ではその逆にしてエッジを強調する方がよい。
【００６２】
さらに、この装置では濃度コントラスト値を濃度閾値と比較する対象を最大相関画素としたが、拡大画像の注目画素を対象としてもよい。
【００６３】
そして、ステップＳ１８で第１の実施の形態のステップＳ７と同様の判定を行い、第１の実施の形態と同様にステップＳ１４〜Ｓ１７の処理を拡大画像の全画素について行うと、第２の実施の形態における画像処理を終了する。
【００６４】
以上説明したように、第２の実施の形態によれば、第１の実施の形態と同様に、拡大画像について高画質を維持しつつエッジの鮮鋭度を改善することができるとともに、的確なエッジ鮮鋭化を行うことができ、さらに、処理時間を短縮できる。
【００６５】
また、補正データが原画像の最大相関画素のエッジ成分であるため、原画像の低周波成分を合成しないことにより、最大相関画素の画像データをそのまま用いて合成する場合に比べて、より効果的にエッジを鮮鋭化することができる。
【００６６】
また、原画像における最大相関画素近傍の画素の濃度コントラストに応じて拡大画像データと補正データとの合成加算量が異なるため、コントラストのない平坦な画像の部分で目立つノイズやムラ、およびＪＰＥＧ圧縮画像を解凍した際などに発生する画像歪みなどが強調されるのを防止できる。
【００６７】
＜３．その他の実施の形態＞
第１および第２の実施の形態では拡大画像のエッジを鮮鋭化する画像処理を行ったが、実際の画像処理としては原画像そのものを鮮鋭化したい場合が少なくない。そこで、そのような場合には第１および第２の実施の形態のエッジ鮮鋭化方法を用いてエッジを鮮鋭化することができる。具体的には、原画像を縮小処理して縮小画像を得て、その縮小画像を第１および第２の実施の形態における原画像とみなし、また、基になった原画像を逆に第１および第２の実施の形態における拡大画像とみなし、それら画像について第１の実施の形態と同様の処理を施すことによってエッジの鮮鋭化処理を行うというものである。すなわち、縮小画像をこの発明の第１画像とし、原画像をこの発明の第２画像とするということである。これは、画像は縮小処理を行うとエッジが鮮鋭化されることを原理的に用いている。そして、この方法によっても急峻なエッジを有する画像に変換することができる。
【００６８】
また、逆に、第１および第２の実施の形態においては拡大画像のエッジを鮮鋭化する際に原画像を参照用画像として用いたが、原画像がすでにエッジがボケた画像であった場合には、原画像を縮小処理し、得られた縮小画像を参照用画像として第１および第２の実施の形態のエッジ鮮鋭化処理を行うこともできる。すなわち、縮小画像をこの発明の第１画像とし、拡大画像をこの発明の第２画像とするということである。これも、上記と同様、画像は縮小処理を行うとエッジが鮮鋭化されることを原理的に用いている。これによりエッジを鮮鋭化することができる。
【００６９】
＜４．変形例＞
上記第１および第２の実施の形態において画像処理装置１およびそれによる画像処理（エッジ鮮鋭化処理）の例を示したが、この発明はこれに限られるものではない。
【００７０】
たとえば、上記第１および第２の実施の形態では、原画像における対応領域ＲＡを３×３画素等、拡大画像の注目画素近傍の画素領域としたが、より大きな領域、例えば原画像の全画素を対象領域としてもよい。
【００７１】
また、上記第１の実施の形態では、最大相関画素のみの濃度を濃度閾値と比較するものとしたが、その近傍の濃度平均や拡大画像の注目画素またはその近傍の画素の濃度平均を濃度閾値と比較するものとしてもよい。
【００７２】
また、上記第２の実施の形態では、最大相関画素近傍の画素の濃度コントラスト値をコントラスト閾値と比較したが、拡大画像の注目画素近傍の画素の濃度コントラスト値を求めてコントラスト閾値と比較するものとしてもよい。
【００７３】
さらに、上記各実施の形態においては原画像および拡大画像の色については言及しなかったが、カラー画像に対しては、各色成分ごとに上記各実施の形態を実行することによりエッジを鮮鋭化することができる。
【００７４】
さらに、各画素の色成分の加重平均値からグレー成分を求め、グレー成分で各画素の画像データの比較をすることで、色ズレの少いエッジの鮮鋭化処理ができる。
【００７５】
【発明の効果】
以上説明したように、請求項１ないし請求項７の発明によれば、第１画像に対応した画像内容を有しかつ第１画像に対して相対的に高倍率の画像である第２画像中から注目画素を選択し、その注目画素およびその周辺の画像からなる対象画素群を特定する一方、第１画像から中心画素を選択し、中心画素およびその周辺の画像からなる比較画素群を特定し、対象画像群と比較画素群との画像データの相関度を求める。この工程を第１画像の所定の範囲から中心画素を順次に選択しつつ繰り返し、それによって複数の相関度を求め、そのうちで最大の相関度を示す比較画素群に対応した中心画素を最大相関画素として選択し、第１画像のうちの最大相関画素の画像データに基づいて補正情報を得て、その補正情報を第２画像の注目画素の画像データに合成する。そして、第２画像中の各画素を個別に注目画素として、これら各工程を繰返し行うため、相対的に低倍率の第１画像のエッジ画像を第２画像に反映させることができ、したがって、第２画像について高画質を維持しつつエッジの鮮鋭度を改善することができる。
【００７６】
また、特に請求項２の発明によれば、補正情報が第１画像の最大相関画素の画像データであるため、第１画像は第２画像に対して相対的に低倍率であるためエッジが急峻であり、そのエッジをそのまま第２画像に合成するため、急峻なエッジを第２画像にも再現でき、よりエッジの鮮鋭度を改善できる。
【００７７】
また、特に請求項３の発明によれば、補正情報が第１画像のエッジ成分のうち最大相関画素に対応するものであるため、原画像の低周波成分を合成しないことにより、最大相関画素の画像データをそのまま用いて合成する場合に比べて、より効果的にエッジを鮮鋭化することができる。
【００７８】
また、特に請求項４の発明によれば、相関度算出工程が、対象画素群と比較画素群とについて、互いに対応する画素どうしの階調値の差分の絶対値を、中心画素からの距離に応じた重み付けで加重加算した値をもとに相関度を求めるものであるため、注目画素と中心画素との相関を重視した相関度を求めることができ、原画像中において的確な最大相関画素を求めることができ、したがって的確なエッジ鮮鋭化を行うことができる。
【００７９】
また、特に請求項５の発明によれば、第１繰り返し工程においては、第１画像において注目画素に対応する位置の近傍の画素群から中心画素が順次に選択されるため、拡大画像の注目画素と相関度の高い部分から最大相関画素を求めるので、処理時間を短縮できる。
【００８０】
また、特に請求項６の発明によれば、最大相関画素の近傍または注目画素の近傍の濃度に応じて、合成比率が異なるものであるため、高濃度の画像におけるノイズの強調を防止できる。
【００８１】
さらに、特に請求項７の発明によれば、最大相関画素付近の濃度コントラスト、または注目画素付近の濃度コントラストに応じて、合成比率が異なるものであるため、コントラストのない平坦な画像の部分で目立つノイズやムラ、およびＪＰＥＧ圧縮画像を解凍した際などに発生する画像歪みなどが強調されるのを防止できる。
【図面の簡単な説明】
【図１】この発明の画像処理方法を実現する第１の実施の形態である画像処理装置の機能ブロック図である。
【図２】第１の実施の形態における画像処理の手順を示すフローチャートである。
【図３】第１の実施の形態における拡大画像の注目画素および周辺画素ならびに原画像の中心画素群および周辺画素について説明するための図である。
【図４】不一致指数の算出方法を示す模式図である。
【図５】重み付け係数Ｋｉの分布を示す模式図である。
【図６】図１０の原画像を第１の実施の形態における画像処理方法を用いて３倍に拡大し、エッジ鮮鋭化を行った画像の各画素の階調値を示す図である。
【図７】図６の画像を視覚的に表わした図である。
【図８】この発明の第２の実施の形態である画像処理のフローチャートである。
【図９】濃度コントラスト値算出の際に参照する周辺画素の位置を示す図である。
【図１０】５×５画素の原画像における各画素の階調値を示す図である。
【図１１】図１０の原画像を「バイリニア補間法」を用いて３倍に拡大した拡大画像の各画素の階調値を示す図である。
【図１２】図１１の拡大画像を視覚的に表わした図である。
【図１３】図１１および図１２の拡大画像にＵＳＭアパーチャーを用いたエッジ強調処理を行った場合の各画素の階調値を示す図である。
【図１４】図１３の画像を視覚的に表わした図である。
【符号の説明】
１画像処理装置
１４画像拡大処理部
１５処理部
１６階調分布比較部
１７高相関画素検出部
１８補正データ抽出部
１９画像合成部
ＣＡ比較領域
ＯＡ対象領域
ＲＡ対応領域
Ｃ１〜Ｃ９不一致指数
ｐ１注目画素
ｐ２〜ｐ９，ｑ１〜ｑ１４画素[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method for sharpening an edge of a second image having image content corresponding to a first image and having a relatively high magnification relative to the first image.
[0002]
[Prior art]
Conventionally, “bilinear interpolation” and “bicubic interpolation” are often used as image enlargement methods. The “bilinear interpolation method” is an interpolation method in which the image data (gradation value) of the nearest neighboring pixel in the corresponding peripheral area of the original image is weighted and averaged with a weight according to the distance from the target pixel and reflected in the enlarged image. is there. In addition, the “bicubic interpolation method” uses the weighted average of the image data of the nearest neighbor pixel in the “bilinear interpolation method”, whereas the image data of the pixel in the outer side, that is, in the second adjacent range. This is a method in which the weighted average is reflected to the enlarged image.
[0003]
FIG. 10 is a diagram showing the gradation value of each pixel in a 5 × 5 pixel original image. FIG. 11 is a diagram showing the gradation value of each pixel of the enlarged image obtained by enlarging the original image of FIG. 10 three times by using the “bilinear interpolation method”, and FIG. 12 visually shows the enlarged image of FIG. FIG. However, FIG. 12 represents only the frame F in FIG. 11 for comparison with the result image (FIG. 7) in the later embodiment.
[0004]
[Problems to be solved by the invention]
Incidentally, as shown in FIG. 10, the original image has a steep edge portion in which a pixel having a gradation value “0” and a pixel “99” are adjacent to each other. In the corresponding enlarged image area of FIG. 11, the gradation value is an edge image that gradually changes like “0”, “11”, “44”, “99”. For this reason, as shown in FIG. 12, the enlarged image looks blurred and the image quality is deteriorated.
[0005]
In general, edge enhancement processing using a USM (unsharp mask) aperture is performed in order to improve the blur of the edge portion. FIG. 13 is a diagram showing the gradation value of each pixel when edge enhancement processing using a USM aperture is performed on the enlarged images of FIGS. 11 and 12, and FIG. 14 visually represents the image of FIG. FIG. However, FIG. 14 also shows only the frame F in FIG. 13 for comparison with the result image (FIG. 7) in the later embodiment.
[0006]
As described above, when the edge enhancement process using the USM aperture is performed on the enlarged image, as shown in FIGS. 13 and 14, “jaggy” generated in the enlargement process is emphasized, and the image quality is deteriorated. In addition, a thick outline is generated around the original edge, which causes image quality degradation.
[0007]
Further, in the case of an optically out-of-focus image that is not due to enlargement processing, jaggy does not occur, but as with the images in FIGS. 13 and 14, a thick outline occurs around the edge, resulting in image quality degradation. It was the cause.
[0008]
The present invention is intended to overcome the above-described problems in the prior art, and an object thereof is to provide an image processing method capable of improving the sharpness of an edge while maintaining high image quality.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 sharpens the edge of the second image which has an image content corresponding to the first image and is a high magnification image relative to the first image. An image processing method for selecting a target pixel from a second image, specifying a target pixel group consisting of the target pixel and its surrounding image, selecting a center pixel from the first image, and selecting the center A step of specifying a comparison pixel group composed of pixels and surrounding images, a correlation degree calculation step of obtaining a correlation degree of image data between the target image group and the comparison pixel group, and a central pixel from a predetermined range of the first image The correlation degree calculation step is repeated while selecting sequentially, thereby obtaining a plurality of correlation degrees, and the center pixel corresponding to the comparison pixel group showing the maximum correlation degree among the plurality of correlation degrees is maximized. Select to select as pixel A correction information obtaining step for obtaining correction information based on the image data of the maximum correlation pixel in the first image, and a synthesis step for synthesizing the obtained correction information with the image data of the target pixel of the second image; A second repetitive process in which each process is repeated with each pixel in the second image as a pixel of interest individually.
[0010]
The invention according to claim 2 is the image processing method according to claim 1, wherein the correction information is image data of the maximum correlation pixel of the first image.
[0011]
The invention according to claim 3 is the image processing method according to

claim

1 or 2, wherein the correction information corresponds to the maximum correlation pixel among the edge components of the first image.
[0012]
According to a fourth aspect of the present invention, in the image processing method according to any one of the first to third aspects of the present invention, the correlation degree calculation step is performed between pixels corresponding to each other with respect to the target pixel group and the comparison pixel group. The degree of correlation is obtained on the basis of a value obtained by weighting and adding the absolute value of the difference between the gradation values by weighting according to the distance from the center pixel.
[0013]
The invention according to claim 5 is the image processing method according to any one of claims 1 to 4, wherein in the first repetition step, a pixel group in the vicinity of the position corresponding to the target pixel in the first image. The center pixel is sequentially selected from the above.
[0014]
According to a sixth aspect of the invention, there is provided the image processing method according to any one of the first to fifth aspects, wherein in the synthesis step, the synthesis is performed according to the density in the vicinity of the maximum correlation pixel or the vicinity of the target pixel. Are different in the synthesis ratio or the synthesis addition amount.
[0015]
Further, the invention of claim 7 is the image processing method according to any one of claims 1 to 5, wherein, in the synthesis step, the density contrast near the maximum correlation pixel or the density contrast near the target pixel is determined. Thus, the synthesis ratio or the synthesis addition amount is different.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0017]
<1. First Embodiment>
FIG. 1 is a functional block diagram of an image processing apparatus 1 which is a first embodiment for realizing the image processing method of the present invention. Hereinafter, the image processing apparatus 1 will be described with reference to FIG.
[0018]
The image processing apparatus 1 is an apparatus in which the following units are connected to each other via a bus line BL. Hereinafter, each part will be described in order. The image input I / F 11 is an interface for receiving edited original image data created by an external image editing layout apparatus (not shown), and the received original image data is temporarily stored in the image memory 12. The instruction input unit 13 includes a touch panel, a keyboard, a mouse, and the like (not shown), and an operator inputs image processing instructions. Then, according to the instruction, the image enlargement processing unit 14 enlarges the original image data to obtain enlarged image data, or further, the USM processing unit 15, the gradation distribution comparison unit 16, the highly correlated pixel detection unit 17, The image processing (sharpening processing) of the present invention is performed in cooperation with the correction data extraction unit 18 and the image composition unit 19. Details of this image processing will be described later. In the above, the image enlargement processing unit 14, the USM processing unit 15, the gradation distribution comparison unit 16, the highly correlated pixel detection unit 17, the correction data extraction unit 18 and the image composition unit 19 are realized by software by a CPU (not shown). The
[0019]
The obtained image data after image processing is displayed on an image display unit 20 having a display device (not shown) or the like, or externally via an image output I / F 21 that is an interface for output to an external device. Output to storage media, network, etc.
[0020]
Next, image processing in the first embodiment, more specifically, edge sharpening processing will be described. In the first embodiment, for each pixel of the enlarged image (corresponding to “second image”), the pixel and its surrounding pixels are most approximate to the original image (corresponding to “first image”). A portion (having the highest degree of correlation) is obtained, and the image data of the original image of the portion is combined with the enlarged image, thereby sharpening the edge of the enlarged image.
[0021]
FIG. 2 is a flowchart showing a procedure of image processing (edge sharpening processing) in the first embodiment. The image processing procedure in the first embodiment will be described below with reference to FIG. It is assumed that the original image is read in advance through the image input I / F 11 and stored in the image memory.
[0022]
First, the original image is stored in the image memory 12 (step S1). This original image is used as a reference image hereinafter.
[0023]
Next, the image enlargement processing unit 14 enlarges the original image to generate an enlarged image, and stores it in the image memory 12 (step S2). As the enlargement processing method, a known method such as a bicubic method or a bilinear method can be used.
[0024]
Next, in the gradation distribution comparison unit 16, image data (gradation value) of each pixel (target pixel group) in the target area OA selected from the enlarged image and each corresponding area RA of the original image corresponding thereto. The image data (gradation value) of each pixel (comparison pixel group) in each comparison area CA with the pixel as the central pixel is read from the image memory 12 and compared with each other so as to obtain a correlation (step) S3).
[0025]
FIG. 3 is a diagram for explaining the target pixel and the peripheral pixels of the enlarged image and the central pixel group and the peripheral pixels of the original image in the first embodiment. Hereinafter, it demonstrates in detail using FIG.
[0026]
First, attention is paid to an arbitrary pixel selected from the enlarged image. A pixel existing around the target pixel is set as a peripheral pixel, and a predetermined range including the target pixel and the peripheral pixels is set as a target area OA. In the first embodiment, the target area OA is a matrix area of 3 × 3 pixels (± 1 pixel obliquely up, down, left, and right with respect to the target pixel).
[0027]
In the original image, a corresponding position which is a position corresponding to the target pixel of the enlarged image, that is, a predetermined range centered on the pixel referred to in the enlargement process or the pixel position closest to the position is used as the corresponding area RA. . In the first embodiment, a range of 3 × 3 pixels centering on the corresponding position is used as the corresponding region RA. In the case of the example in FIG. 3, the pixel at the position corresponding to the original image with respect to the target pixel p1 of the enlarged image is the pixel q1, and the pixel q1 and 3 × 3 including ± 1 pixel on each of the upper, lower, left, and right sides. The range of pixels is the corresponding area RA. Note that the central pixel is the pixel corresponding to or closest to the target pixel of the enlarged image. Depending on the magnification, the pixel that completely corresponds to the pixel of the enlarged image is not necessarily present in the original image. Because.
[0028]
Then, each pixel in the corresponding area RA is set as a central pixel, and the same pixel range as that of the target area OA in the enlarged image, around the central pixel, with respect to the central pixel in the first embodiment. ± 1 pixel is set as a peripheral pixel in each of the upper, lower, left, and right sides, and a 3 × 3 pixel range including a center pixel and a peripheral pixel group is set as a comparison area CA.
[0029]
FIG. 4 is a schematic diagram showing a method for calculating the discrepancy index. As shown in the drawing, in the first embodiment, each pixel in the corresponding area RA is sequentially set as a central pixel, and each pixel (target pixel and peripheral pixel group) in the target area OA of the enlarged image corresponds to them. The absolute value of the difference between the image data (tone value) and each pixel (center pixel and peripheral pixel group) in the comparison area CA of the original image is obtained. Thereby, the absolute value of the difference of the number of corresponding pixels (9 in the first embodiment) is obtained. Then, the absolute value of the obtained difference is weighted and added. This is expressed by the following equation.
[0030]
[Expression 1]

[0031]
Here, the number of pixels in the comparison area CA is N (here, N = 9), the number indicating the position of each central pixel in the central pixel group is j (j = 1 to 9 in the first embodiment), and each pixel. The position is i (i = 1 to 9 in the first embodiment), the mismatch index is Cj, the image data (tone values) of the pixel position i of the original image and the enlarged image are OGi and EGi, respectively, and the weighting coefficient is Ki It was expressed.
[0032]
FIG. 5 is a schematic diagram showing the distribution of the weighting coefficient Ki. In the first embodiment, the weighting coefficient Ki is changed according to the distance from the target pixel (center pixel) in order to emphasize the target pixel (center pixel) with respect to the surrounding pixels. More specifically, it is assumed to decrease with distance.
[0033]
Each small rectangle in FIG. 5 represents a pixel position in the target area OA (comparison area CA), the center being the target pixel (center pixel), and the surrounding pixels being peripheral pixels. In the first embodiment, the weighting coefficient used for the absolute value of the difference between the pixels is the weighting in each pixel shown in FIG. 5A, that is, in this example, the pixel of interest (i = 5) is the weighting coefficient K5. = 4, among the surrounding pixels, the top and bottom, left and right pixels of the pixel of interest have a weighting coefficient Ki = 1, and the other pixels have a weighting coefficient Ki = 0.
[0034]
When the equation (1) is calculated using such a weighting coefficient Ki, a disagreement index between the periphery of the target pixel and the periphery of the central pixel is obtained. This discrepancy index is a numerical value representing the degree of correlation between the enlarged image near the target pixel and the original image near the center pixel, that is, the correlation degree. The smaller the discrepancy index, the higher the degree of correlation. Then, a disagreement index (hereinafter, collectively referred to as a “disagreement index group”) is obtained centering on all the pixels in the corresponding area RA in which the center pixel in the original image is shifted ± 1 pixel from the target pixel.
[0035]
Here, the size of the target area OA (therefore, the size of the comparison area CA) is 3 × 3 pixels, but may be other sizes such as 5 × 5 pixels, and the weighting coefficient Ki is also arbitrary. When the gradation of the pixel of interest is not emphasized, all the weighting coefficients Ki may be simply added with the same value Ki = 1, that is, simple addition.
[0036]
The above process will be specifically described with reference to FIG. In the example of FIG. 3, the pixels in the original image corresponding to the pixels p1 to p9 of the enlarged image are the pixels q1 to q9, and the pixel p1 of the enlarged image is the target pixel. When the central pixel in the original image is the pixel q1, the surrounding 3 × 3 pixels, that is, the pixels q1 to q9 become the corresponding region RA. In addition, when the central pixel in the original image is the pixel q9, the pixels q1, q2, q4, q10 to q14 are the corresponding area RA.
[0037]
In this way, the discrepancy index is calculated using the image data of each pixel in the comparison area CA having the respective pixels q1 to q9 as the central pixel and each pixel in the target area OA having the pixel p1 in the enlarged image as the target pixel. Ask. Then, as shown in FIG. 4, nine (3 × 3) mismatch indexes C1 to C9 are obtained for one target pixel p1 in the enlarged image.
[0038]
Next, the high correlation pixel detection unit 17 obtains the maximum correlation pixel which is the pixel position in the original image having the maximum correlation in the mismatch index group obtained by the gradation distribution comparison unit 16 (step S4). That is, the center pixel of the original image showing the smallest mismatch index among the obtained mismatch index group (mismatch indices C1 to C9 in the example of FIG. 4) is set as the maximum correlation pixel.
[0039]
Next, the correction data extraction unit 18 extracts correction data (step S5). In the first embodiment, image data of the maximum correlation pixel is used as correction data for correcting the sharpness. Specifically, image data of the maximum correlation pixel of the original image is read from the image memory 12 as correction data.
[0040]
Finally, the image composition unit 19 synthesizes correction data with the enlarged image (step S6). More specifically, the weighted average of the image data of the target pixel of the enlarged image and the correction data is performed at a predetermined ratio.
[0041]
However, in the first embodiment, the gradation value of the maximum correlation pixel is referred to, and the weighting ratio differs depending on whether the density of the pixel exceeds a predetermined density threshold. In general, in an image read by an image element such as a CCD, density conversion called LOG conversion is performed in order to convert density values into sensitivity characteristics of human eyes. For this reason, noise becomes conspicuous in pixels having an image density equal to or higher than a predetermined density (higher than the predetermined density). Therefore, for such a pixel, if the enlarged image is left as it is without enhancing the edge, the noise is not emphasized, so that the image quality is kept good. Therefore, in the first embodiment, the composition ratio between the image data of the target pixel of the enlarged image and the correction data is 1: 0, that is, the image data of the target pixel of the enlarged image is left as it is. On the other hand, for pixels whose density of the enlarged image is equal to or lower than a predetermined density threshold (thinner than the predetermined density), the composition ratio of the image data of the target pixel of the enlarged image and the correction data, that is, the image data of the maximum correlation pixel is 0: 1. That is, the image data of the target pixel of the enlarged image is replaced with the image data of the maximum correlation pixel.
[0042]
Here, the reason why the above-described replacement is performed as the composition of the correction data is as follows. As shown in FIG. 10, the sharp gradation change occurs in the edge portion of the original image, whereas in the enlarged image, the gradation change of the edge portion is gentle as shown in FIGS. It has become. This is because, in the edge portion of the enlarged image, in addition to the gradations on both sides of the edge in the original image, image data having intermediate gradations is generated. Therefore, by replacing the gradation of the pixel having the highest correlation in the original image with the enlarged image as described above, the pixel having an intermediate gradation in the edge part of the enlarged image is reproduced as the original edge part. By returning to the gradation on the closer image side, an image closer to the edge of the original image is reproduced. Note that, except for the edge portion, the original image and the enlarged image are considered to have almost the same gradation in the vicinity of the target pixel, so that even if such synthesis (replacement) is performed, the image does not change much. It has become.
[0043]
In order to prevent the edge from being emphasized too much, for example, the composition ratio (weighting at the time of addition) of the image data of the target pixel of the enlarged image and the correction data is set so that the density is equal to or higher than a predetermined density threshold. In this case, the difference in weighting between the two data may be reduced, such as 2: 1 in the case, and 1: 2 in the case of the density threshold value or less. As described above, the two synthesis ratios can be set to arbitrary values. Of course, the density threshold can also be set to an arbitrary value. Furthermore, a plurality of density thresholds are provided, a plurality of density ranges are provided, and a table in which different composition ratios are set for each density range is used. It is also possible to use a function of the synthesis ratio corresponding to the density value on a one-to-one basis. Further, it may be changed manually by the operator. However, as a tendency, it is better to increase the ratio of the enlarged image than the ratio of the original image so that noise and unevenness are not emphasized on the high density side, and conversely to emphasize the edge on the low density side.
[0044]
Further, in this apparatus, the object whose density is compared with the density threshold is the maximum correlation pixel, but the target pixel of the enlarged image may be the object.
[0045]
Next, all the pixels of the enlarged image are sequentially selected as the target pixel, and it is determined whether or not the processing in steps S3 to S6 has been completed (step S7). If not completed, the process returns to step S3 with the next pixel in the enlarged image as the target pixel, and hereinafter, all the pixels of the enlarged image (exactly, there are no peripheral pixels in the pixels at the edge of the enlarged image, Steps S3 to S7 are repeated with all pixels other than those pixels as the target pixel in order. Then, when those processes are finished for all the pixels, the image processing is finished. In some cases, the obtained image data is displayed on the image display unit 20 or output to an external storage medium or network through the image output I / F 11.
[0046]
FIG. 6 is a diagram showing the gradation value of each pixel of an image obtained by enlarging the original image of FIG. 10 three times using the image processing method according to the first embodiment and performing edge sharpening. FIG. 7 is a diagram visually representing the image of FIG. 6. However, the size of the corresponding area RA is 3 × 3 pixels, the weighting coefficients Ki for obtaining the mismatch index are all Ki = 1, and the composition ratio is not different depending on the density.
[0047]
As shown in FIG. 6 and FIG. 7, a sharp image in which a pixel with a gradation value of “0” and a pixel with “99” are adjacent on both sides of the edge, and a blur or an intermediate gradation exists. There is no thick outline. Note that the edge sharpening process was not performed on the pixels outside the frame F shown in FIG. Therefore, those pixels are not displayed in FIG.
[0048]
As described above, according to the first embodiment, the image of the target area OA including the target pixel and its peripheral pixels in the enlarged image, and the pixels near the target position in the original image that substantially correspond to the target pixel. The correlation with the image of the comparison area CA composed of a certain center pixel and its surrounding pixels is obtained while changing the center pixel at each pixel in the corresponding area RA, and the maximum of the obtained correlations is obtained. In the enlarged image, select the center pixel in the original image showing the degree of correlation as the maximum correlation pixel, and synthesize the correction data obtained based on the image data of the obtained maximum correlation pixel with the image data of the target pixel of the enlarged image. Since all the pixels are repeatedly performed individually as the target pixel, the edge image of the relatively low-magnification original image can be reflected in the enlarged image, thus maintaining high image quality for the enlarged image. While it is possible to improve the sharpness of the edge.
[0049]
Further, since the correction data is the image data of the maximum correlation pixel of the original image, the original image has a relatively low magnification with respect to the enlarged image, so the edge is steep, and the edge is directly combined with the enlarged image. Therefore, steep edges can be reproduced in the enlarged image, and the sharpness of the edges can be further improved.
[0050]
Also, the gradation values of pixels corresponding to each other with respect to the target pixel in the enlarged image and the plurality of peripheral pixels around the target pixel and the central pixel in the original image and the plurality of peripheral pixels around the central pixel Since the disparity index is obtained by weighted addition of the absolute values of the differences with weighting according to the distance from the center pixel, the disagreement index (thus, the degree of correlation) that places importance on the correlation between the target pixel and the center pixel can be obtained. Thus, an accurate maximum correlation pixel can be obtained in the original image, and therefore accurate edge sharpening can be performed.
[0051]
Further, since the corresponding area RA of the original image is an area in the vicinity of the pixel corresponding to the target pixel in the original image, the maximum correlation pixel is obtained only for the pixel having a high degree of correlation with the target pixel of the enlarged image. Time can be shortened.
[0052]
Furthermore, since the composition ratio of the enlarged image data and the correction data differs according to the pixel density of the maximum correlation pixel, noise enhancement in a high density image can be prevented.
[0053]
<2. Second Embodiment>
The image processing apparatus 1 according to the second embodiment has almost the same apparatus configuration as that shown in FIG. 1 in the first embodiment, but the processing in some processing units is the first. This is different from the first embodiment. FIG. 8 is a flowchart of image processing (edge sharpening processing) according to the second embodiment of the present invention. Hereinafter, the edge sharpening process according to the second embodiment will be described with reference to FIG.
[0054]
First, the processing steps in steps S11 and S12 are the same as steps S1 and S2 in the first embodiment.
[0055]
Next, the USM processing unit 15 extracts edge component data from the original image (step S13). Specifically, a USM signal obtained using a known USM aperture is extracted as edge component data. The obtained edge component data is used later as correction data.
[0056]
The next steps S14 and S15 are the same as steps S3 and S4 of the first embodiment, respectively. As a result, the maximum correlation pixel is obtained in the same manner as in the first embodiment.
[0057]
Next, the correction data extraction unit 18 extracts data corresponding to the maximum correlation pixel obtained in step S15 as correction data from the edge component data of each pixel of the original image obtained in step S13 (step S13). S16). In the first embodiment, the image data of the maximum correlation pixel is directly used as the correction data as the correction data. However, in the second embodiment, the original image data itself is not synthesized but only its edge component, that is, the high frequency component. Is combined with the enlarged image as correction data. Thus, since the low frequency component of the original image is not synthesized, the edge can be sharpened more effectively than in the case where the image data of the maximum correlation pixel is used as it is.
[0058]
Next, the image combining unit 19 combines the extracted correction data with the gradation value of the target pixel of the enlarged image (step S17). FIG. 9 is a diagram showing the positions of peripheral pixels to be referred to when calculating the density contrast value. As shown in the figure, in step S17, first, the absolute value of the difference between the gradation values of the pixels pa and pb located above and below the maximum correlation pixel and the difference between the gradation values of the pixels pc and pd located on the left and right are calculated. Absolute values are obtained, and the sum thereof is obtained as a density contrast value representing density contrast.
[0059]
The composite addition amount (coefficient multiplied by the edge component data) differs depending on whether the density contrast value exceeds a predetermined threshold. More specifically, when the density contrast value of the enlarged image is equal to or smaller than a predetermined contrast threshold, the combined addition amount of the correction data for the target pixel of the enlarged image is “0”, that is, the image data of the target pixel of the enlarged image is used as it is. It is said. Conversely, when the density contrast value of the enlarged image is equal to or greater than a predetermined contrast threshold, the combined addition amount of the correction data for the target pixel of the enlarged image is “1”.
[0060]
Further, the reason why the composite addition amount is varied between the upper and lower contrast thresholds is as follows. That is, if an edge is emphasized with a flat image having a small density contrast, noise and unevenness are easily noticeable and cause deterioration in image quality. In addition, when a JPEG compressed image is decompressed, image quality deterioration appears where a rectangular density gap called block distortion appears. In order to avoid these image quality degradations, it is better not to sharpen a portion that is regarded as an edge component in an image having a small density contrast. Therefore, the composite addition amount is changed as described above.
[0061]
Also, in order not to emphasize the edge too much, as in the first embodiment, the combined addition amount (weighting at the time of addition) of the correction data for the target pixel of the enlarged image is set when the density contrast is equal to or higher than the contrast threshold. The difference between the weights of the two data may be reduced, for example, 0.5, and 0.2 when the contrast threshold is not exceeded. Thus, the two types of combined addition amounts can be arbitrary values. In addition, the contrast threshold can also be set to an arbitrary value, and furthermore, a plurality of density contrast ranges are provided by a plurality of contrast thresholds, and a table in which different composite addition amounts are set for each density contrast range can be used. It is also possible to use a function of the composite addition amount corresponding to one-to-one. Further, it may be changed manually by the operator. However, as a tendency, noise and distortion are not emphasized on the side where the density contrast value is small, so that the addition amount of correction data is reduced, and conversely, on the side where the density contrast value is large, it is better to emphasize the edge. .
[0062]
Further, in this apparatus, the target for comparing the density contrast value with the density threshold is the maximum correlation pixel, but the target pixel of the enlarged image may be the target.
[0063]
Then, in step S18, the same determination as in step S7 of the first embodiment is performed, and if the processing in steps S14 to S17 is performed for all the pixels of the enlarged image as in the first embodiment, the second embodiment is performed. The image processing in the form is terminated.
[0064]
As described above, according to the second embodiment, as in the first embodiment, the sharpness of the edge can be improved while maintaining high image quality for the enlarged image, and an accurate edge can be obtained. Sharpening can be performed and the processing time can be shortened.
[0065]
In addition, since the correction data is the edge component of the maximum correlation pixel of the original image, it is more effective than combining the image data of the maximum correlation pixel without using the low frequency component of the original image. The edge can be sharpened.
[0066]
In addition, since the amount of combined addition of the enlarged image data and the correction data differs according to the density contrast of the pixels in the vicinity of the maximum correlation pixel in the original image, noise and unevenness that stand out in a flat image portion without contrast, and a JPEG compressed image It is possible to prevent the image distortion generated when decompressing the image from being emphasized.
[0067]
<3. Other Embodiments>
In the first and second embodiments, image processing for sharpening the edges of the enlarged image is performed. However, as actual image processing, there are many cases where it is desired to sharpen the original image itself. Therefore, in such a case, the edge can be sharpened using the edge sharpening method of the first and second embodiments. Specifically, the original image is reduced to obtain a reduced image, the reduced image is regarded as the original image in the first and second embodiments, and the original original image is reversed to the first. Further, the image is regarded as an enlarged image in the second embodiment, and edge sharpening processing is performed on the image by performing processing similar to that in the first embodiment. That is, the reduced image is the first image of the present invention, and the original image is the second image of the present invention. This is based on the principle that the edge of an image is sharpened when the image is reduced. This method can also be converted into an image having steep edges.
[0068]
Conversely, in the first and second embodiments, the original image is used as a reference image when sharpening the edges of the enlarged image, but the original image is already an image with blurred edges. Alternatively, the edge sharpening process of the first and second embodiments can be performed by reducing the original image and using the obtained reduced image as a reference image. That is, the reduced image is the first image of the present invention, and the enlarged image is the second image of the present invention. This also uses the principle that the edge is sharpened when the image is reduced as described above. As a result, the edge can be sharpened.
[0069]
<4. Modification>
In the first and second embodiments, examples of the image processing apparatus 1 and image processing (edge sharpening processing) using the image processing apparatus 1 have been described. However, the present invention is not limited to this.
[0070]
For example, in the first and second embodiments, the corresponding area RA in the original image is a pixel area in the vicinity of the target pixel of the enlarged image, such as 3 × 3 pixels, but a larger area, for example, all pixels of the original image May be the target region.
[0071]
Further, in the first embodiment, the density of only the maximum correlation pixel is compared with the density threshold. However, the density average of the vicinity thereof, the density average of the pixel of interest of the enlarged image or the pixel of the vicinity thereof is used as the density threshold. It may be compared with
[0072]
In the second embodiment, the density contrast value of the pixel near the maximum correlation pixel is compared with the contrast threshold value. However, the density contrast value of the pixel near the target pixel of the enlarged image is obtained and compared with the contrast threshold value. It is good.
[0073]
Furthermore, in the above embodiments, the colors of the original image and the enlarged image are not mentioned, but for color images, the edges are sharpened by executing the above embodiments for each color component. be able to.
[0074]
Further, by obtaining the gray component from the weighted average value of the color component of each pixel and comparing the image data of each pixel with the gray component, it is possible to sharpen the edge with little color misregistration.
[0075]
【The invention's effect】
As described above, according to the first to seventh aspects of the present invention, in the second image that has the image content corresponding to the first image and is a high-magnification image relative to the first image. The target pixel is selected from the target pixel and the target pixel group including the target pixel and the surrounding image is specified, while the central pixel is selected from the first image and the comparison pixel group including the central pixel and the peripheral image is specified. Then, the correlation degree of the image data between the target image group and the comparison pixel group is obtained. This process is repeated while sequentially selecting the center pixel from a predetermined range of the first image, thereby obtaining a plurality of correlation degrees, and the center pixel corresponding to the comparison pixel group showing the maximum correlation degree is determined as the maximum correlation pixel. The correction information is obtained based on the image data of the maximum correlation pixel in the first image, and the correction information is combined with the image data of the target pixel of the second image. Then, since each pixel in the second image is individually set as a target pixel and each of these steps is repeated, the edge image of the first image with a relatively low magnification can be reflected in the second image, and therefore Edge sharpness can be improved while maintaining high image quality for two images.
[0076]
In particular, according to the invention of claim 2, since the correction information is the image data of the maximum correlation pixel of the first image, the first image has a relatively low magnification with respect to the second image, so the edge is steep. Since the edge is directly combined with the second image, the steep edge can be reproduced in the second image, and the sharpness of the edge can be further improved.
[0077]
Further, according to the invention of claim 3, since the correction information corresponds to the maximum correlation pixel among the edge components of the first image, the low correlation component of the maximum correlation pixel is not synthesized by not synthesizing the low frequency component of the original image. Edges can be sharpened more effectively than when combining image data as they are.
[0078]
Further, according to the invention of claim 4, in the correlation degree calculating step, for the target pixel group and the comparison pixel group, the absolute value of the difference between the gradation values of the pixels corresponding to each other is set to the distance from the center pixel. Since the degree of correlation is obtained based on the value obtained by weighting with the corresponding weighting, the degree of correlation can be obtained with an emphasis on the correlation between the pixel of interest and the center pixel, and an accurate maximum correlation pixel in the original image can be obtained. Therefore, accurate edge sharpening can be performed.
[0079]
According to the invention of claim 5 in particular, in the first repetition step, since the central pixel is sequentially selected from the pixel group in the vicinity of the position corresponding to the target pixel in the first image, the target pixel of the enlarged image Since the maximum correlation pixel is obtained from the part having a high correlation degree, the processing time can be shortened.
[0080]
In particular, according to the sixth aspect of the invention, since the synthesis ratio differs depending on the density in the vicinity of the maximum correlation pixel or the vicinity of the target pixel, it is possible to prevent noise enhancement in a high density image.
[0081]
Further, according to the seventh aspect of the present invention, since the composition ratio differs depending on the density contrast near the maximum correlation pixel or the density contrast near the target pixel, it stands out in a flat image portion without contrast. It is possible to prevent noise and unevenness, and image distortion that occurs when a JPEG compressed image is decompressed from being emphasized.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of an image processing apparatus according to a first embodiment for realizing an image processing method of the present invention.
FIG. 2 is a flowchart showing a procedure of image processing in the first embodiment.
FIG. 3 is a diagram for explaining a target pixel and peripheral pixels of an enlarged image and a central pixel group and peripheral pixels of an original image in the first embodiment.
FIG. 4 is a schematic diagram showing a method for calculating a mismatch index.
FIG. 5 is a schematic diagram showing a distribution of weighting coefficients Ki.
6 is a diagram illustrating the gradation value of each pixel of an image obtained by enlarging the original image of FIG. 10 three times using the image processing method according to the first embodiment and performing edge sharpening.
7 is a diagram visually representing the image of FIG. 6;
FIG. 8 is a flowchart of image processing according to a second embodiment of the present invention.
FIG. 9 is a diagram illustrating positions of peripheral pixels referred to when density contrast values are calculated.
FIG. 10 is a diagram illustrating a gradation value of each pixel in a 5 × 5 pixel original image.
11 is a diagram illustrating the gradation value of each pixel of an enlarged image obtained by enlarging the original image of FIG. 10 three times by using the “bilinear interpolation method”.
12 is a diagram visually representing the enlarged image of FIG. 11;
13 is a diagram illustrating the gradation value of each pixel when edge enhancement processing using a USM aperture is performed on the enlarged images of FIGS. 11 and 12. FIG.
FIG. 14 is a diagram visually representing the image of FIG.
[Explanation of symbols]
1 Image processing device
14 Image enlargement processing unit
15 Processing unit
16 Gradation distribution comparison part
17 High correlation pixel detector
18 Correction data extraction unit
19 Image composition part
CA comparison area
OA target area
RA compatible area
C1 to C9 Disagreement index
p1 pixel of interest
p2-p9, q1-q14 pixels

Claims

An image processing method for sharpening an edge of a second image having an image content corresponding to a first image and a relatively high magnification image with respect to the first image,
Selecting a target pixel from the second image, and specifying a target pixel group consisting of the target pixel and the surrounding image;
Selecting a center pixel from the first image and identifying a comparison pixel group consisting of the center pixel and the surrounding image;
A correlation degree calculating step for obtaining a correlation degree of image data between the target image group and the comparison pixel group;
A first repetition step of repeating the correlation degree calculating step while sequentially selecting the central pixel from a predetermined range of the first image, thereby obtaining a plurality of correlation degrees;
A selection step of selecting, as the maximum correlation pixel, a central pixel corresponding to a comparison pixel group exhibiting the maximum correlation degree among the plurality of correlation degrees;
A correction information obtaining step for obtaining correction information based on image data of the maximum correlation pixel in the first image;
Combining the obtained correction information with the image data of the target pixel of the second image;
A second iterative process in which each of the processes is repeated with each pixel in the second image as a target pixel individually;
An image processing method comprising:

The image processing method according to claim 1,
The image processing method, wherein the correction information is image data of the maximum correlation pixel of the first image.

The image processing method according to claim 1 or 2, wherein
The image processing method, wherein the correction information corresponds to the maximum correlation pixel among edge components of the first image.

An image processing method according to any one of claims 1 to 3,
The correlation calculation step includes
For the target pixel group and the comparison pixel group, the degree of correlation is calculated based on a value obtained by weighting and adding the absolute value of the difference between the gradation values of the corresponding pixels to each other by weighting according to the distance from the center pixel. An image processing method characterized by being obtained.

An image processing method according to any one of claims 1 to 4,
In the first repeating step,
The image processing method, wherein the central pixel is sequentially selected from a pixel group in the vicinity of a position corresponding to the target pixel in the first image.

An image processing method according to any one of claims 1 to 5,
In the synthesis step,
An image processing method, wherein a composition ratio or a composition addition amount of the composition differs according to a density in the vicinity of the maximum correlation pixel or the vicinity of the target pixel.

An image processing method according to any one of claims 1 to 5,
In the synthesis step,
An image processing method, wherein a composition ratio or a composition addition amount of the composition differs according to a density contrast near the maximum correlation pixel or a density contrast near the target pixel.