JP3719389B2

JP3719389B2 - Image processing apparatus, image display apparatus, and image processing method

Info

Publication number: JP3719389B2
Application number: JP2001061436A
Authority: JP
Inventors: 潤染谷; 正樹山川; 好章奥野; 秀樹吉井
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2001-03-06
Filing date: 2001-03-06
Publication date: 2005-11-24
Anticipated expiration: 2021-03-06
Also published as: JP2002262071A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を拡大、または縮小処理を含む画像処理装置、および画像処理方法に関するものである。
【０００２】
【従来の技術】
画像を任意の倍率に拡大・縮小する場合、原画像の画素データに対し所定の補間演算を行なうことにより原画像の画素数とは異なる数の補間画素データを算出する。例えば、表示画素数が１０２４画素×７２８ラインのディスプレイに対し、入力画像（原画像）の画像フォーマットが６４０画素×４８０ラインの場合、ディスプレイ全体に入力画像を表示するには、補間演算によりディスプレイの表示画素数に対応した数の補間画素データを算出する必要がある（この場合の拡大処理における変換倍率は１．６倍である）。
【０００３】
図１５は、画像を拡大する場合の補間画素データの算出方法について説明するための説明図である。同図において、Ｐｎ，Ｐｎ＋１は原画像を構成する画素データの一部であり、ｑｎ（図中、×により示す）は補間点、ｐｏｎは補間点ｑｎにおいて算出された補間画素データである。図１３は線形補間により補間画素データを算出する場合について示しており、Ｆ（ｘ）は補間演算に用いる補間係数の特性を示す関数である。ここでは簡単のため、原画像の各画素の間隔を１とし、補間点ｑｎと画素データＰｎとの距離をｒとした場合、補間画素データＰｏｎは以下の式により算出される。
【０００４】
【数１】

【０００５】
図１６は、図１５に基づいて説明した補間演算により、画像を拡大する場合の補間画素データの算出方法を説明するための説明図である。同図においてｐ１１，ｐ１２，ｐ１３は原画像の画素データ、ｑ１１〜ｑ１７（図中、×により示す）は補間画素データを算出するための補間点、ｐｏ１１〜ｐｏ１７は補間点ｑ１１〜ｑ１７において算出される補間画素データである。同図は原画像を３倍に拡大する場合について示しており、原画像の画素間の間隔を１として、補間点ｑ１１〜ｑ１７は１／３の間隔で設定される。同図に示すように、変換倍率、または変換画素数に応じて補間点ｑｎを設定し、設定された全ての補間点ｑｎについて式（１）に示す補間演算を行なうことにより拡大画像、または縮小画像を生成する。
【０００６】
【発明が解決しようとする課題】
従来の補間演算により画像を拡大した場合の問題点について図１７に基づいて説明する。図１７は、従来の補間演算により入力画像を拡大して得られる出力画像を示している。同図に示すように、従来の補間演算により画像を拡大した場合、入力画像の輪郭部Ｊに対応する出力画像の輪郭部J’の鮮鋭度が低下するという問題があった。また、従来一般的に用いられている、輪郭信号を用いた輪郭強調によれば、輪郭部周辺にオーバーシュートやアンダーシュートによる画質劣化が生じる問題があった。
【０００７】
本発明は、上記の問題に鑑みてなされたもので、画像の輪郭部の鮮鋭度を適切に調整し、また、輪郭部における画質劣化を生じることなく画像の拡大、および縮小を行なうことが可能な画像処理装置を実現することを目的とする。
【０００８】
【課題を解決するための手段】
本発明による画像処理装置は、入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理装置であって、
上記画像データの所定の周波数成分を検出するフィルタ手段と、
上記画像データの一次微分を検出する微分手段と、
上記所定の周波数成分に上記一次微分を乗じた値を用いて、上記入力画像を補間する補間画素の密度を上記画像データの変化に応じて調整するための調整量を求め、当該調整量を用いて上記補間画素の各々の変換倍率を求める変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する補間演算手段とを備えたものである。
【０００９】
また、本発明による画像処理装置は、入力画像の輪郭を補正して出力する画像処理装置であって、
上記画像データの所定の周波数成分を検出するフィルタ手段と、
上記画像データの一次微分を検出する微分手段と、
上記所定の周波数成分に上記一次微分を乗じた値を用いて、上記入力画像の輪郭部を補正する補間画素の密度を上記入力画像の輪郭部の変化に応じて調整するための調整量を求め、当該調整量を用いて上記補間画素の各々の変換倍率を求める変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する補間演算手段とを備えたものである。
【００１０】
【発明の実施の形態】
実施の形態１．
図１は、本発明の一実施形態による画像処理装置の動作を概略的に説明するための説明図である。原画像をｎ倍の変換倍率で拡大する場合の動作について示している。図１においてｐ（ｘ）は原画像の画像レベルを表す画像データ、ａ（ｘ）は画像データｐ（ｘ）の高域画像データ、ｄ（ｘ）は画像データｐ（ｘ）の一次微分データである。ｃ（ｘ）は、高域画像データａ（ｘ）、および一次微分データｄ（ｘ）に基づいて以下の式により算出される変換倍率である。
【００１１】
【数２】

【００１２】
式（２）において、ｎは画像全体としての設定倍率であり、ｋは輪郭部の鮮鋭度を制御する所定の係数である。ここで、設定倍率ｎは画像全体としての変換倍率である。図１に示すように変換倍率ｃ（ｘ）は、画像レベルが変化する輪郭部の前部（図１においてｂにより示す区間）では設定倍率ｎに比して高く、輪郭部の後部（図１においてｃにより示す区間）では設定倍率ｎに比して低くなる。ただし、変換倍率ｃ（ｘ）の平均値はｎとなる。Ｐｏは変換倍率ｃ（ｘ）に基づいて拡大された画像データである。画像データＰｏにおいて、ｂ’により示す区間は上述した輪郭部の前部（区間ｂ）に対応しており、ｃ’により示す区間は上述した輪郭部の後部（区間ｃ）に対応している。このように、輪郭部における変換倍率を部分的に変化させることにより、輪郭部の鮮鋭度が保存された拡大画像を得ることができる。さらに、式（２）において、係数ｋの値を大きくすることにより輪郭部の前部（区間ｂ）および後部（区間ｃ）における変換倍率ｃ（ｘ）を所望の大きさとし、画像の鮮鋭度を調整することができる。
【００１３】
以上のように、画像の拡大処理を行なう際、原画像の高域画像データ、および一次微分データを検出することにより得られる画像レベルの変化に関する特徴量に基づいて、輪郭部における変換倍率を部分的に変化させることにより、輪郭部の鮮鋭度を保存し、また調整することができる。
【００１４】
図１に基づいて説明したように、輪郭部における変換倍率を部分的に変化させるには、変換倍率が高い部分では補間密度を相対的に高くし、変換倍率が低い部分では補間密度を相対的に低くすることにより補間画素データを算出すればよい。
【００１５】
図２は、輪郭部における補間画素データの生成方法について説明するための説明図である。同図において、ｐ１，ｐ２，ｐ３は輪郭部における原画像の画素データを表し、ｑ’１〜ｑ’７は変換倍率に応じて設定される仮の補間点（以下、単に補間点と称す）を表している。同図は、設定倍率ｎを３倍とした場合の画素数の変換動作を示しており、この場合、原画像の各画素データの間隔を１とすると、設定倍率ｎの逆数、すなわち１／３の間隔で画像データｐ（ｘ）が補間されるように補間点ｑ’１〜ｑ’７が設定される。ここで、変換倍率ｃ（ｘ）が相対的に高い輪郭部の前部では補間密度が高く、変換倍率が相対的に低い輪郭部の後部では補間密度が低くなるように仮想的な補間点ｑ’１〜ｑ’７に対応する実際の補間点を設定する。ｑ１〜ｑ７は、補間点ｑ’１〜ｑ’７に対応する実際の補間点としての画素データ生成点である。画素データ生成点ｑ１〜ｑ７の位置は、各補間点ｑ’１〜ｑ’７における変換倍率ｃ（ｑ’１）〜ｃ（ｑ’７）の逆数に基づいて算出される。つまり、ｑ１とｑ２との距離はｐ１とｐ２との距離を１とした場合、ｑ’２における変換倍率ｃ（ｑ’２）の逆数により求められ、同様にｑ２とｑ３との距離はｑ’３における変換倍率ｃ（ｑ’３）の逆数により求められる。従って、各補間点ｑ’ｎにおける変換倍率ｃ（ｑ’ｎ）の逆数を累積加算することで各画素データ生成点ｑｎの位置が設定される。尚、画像レベルの変化が生じない区間ａ（輪郭部以外の領域）においては、補間点ｑ’および画素データ生成点ｑの位置は同一となる。
【００１６】
上記のように設定された画素データ生成点ｑ１〜ｑ７における補間画素データｐｏ’１〜ｐｏ’７を算出し、これらの補間画素データｐｏ’１〜ｐｏ’７を原画像に対応する新たな画像の画素データｐｏ１〜ｐｏ７とすることにより輪郭部の鮮鋭度を制御することができる。ここで、補間画素データｐ’ｏｎは、図２に示す補間係数Ｆ（ｘ）により式（１）に基づいて算出することができる。
【００１７】
上記の動作を画像の水平方向、および垂直方向について行なうことにより、輪郭部の鮮鋭度を保存し、また適切に調整された状態で画素数の変換（画像の拡大・縮小、走査線補間等）を行なうことができる。
尚、上記の説明では、画像を拡大する場合について説明したが、画像を縮小する場合においても適用することができる。この場合、輪郭部の画像が欠落することなく画像を縮小することができる。
【００１８】
以下、上記動作を実現する画像処理装置の構成を図面に基づいて説明する。図３は、本実施の形態による画像処理装置の構成を示すブロック図である。垂直画素数変換部６１は、原画像を表す画像データＰｉの垂直方向の画素数を変換し、画像データＰｖを出力する。水平画素数変換部６２は、画像データＰｖの水平方向の画素数を変換し、画像データＰｏを出力する。
【００１９】
垂直高域通過フィルタ１２は、画像データＰｉの垂直方向における高域画像データＶａ（ｙ）を出力する。また、垂直微分手段１３は画像データＰｉの垂直方向における一次微分データＶｄ（ｙ）を出力する。垂直変換倍率制御手段１４は、画像データＰｉの垂直方向の高域画像データＶａ（ｙ）、および一次微分結果Ｖｄ（ｙ）に基づいて、垂直変換倍率Ｖｃ（ｙ）を算出し、垂直画素数変換手段１１に出力する。垂直変換倍率Ｖｃ（ｙ）は、式（２）において、ａ（ｙ）およびｄ（ｙ）をそれぞれＶａ（ｙ）およびＶｄ（ｙ）に置き換えることにより、以下の式により表される。
【００２０】
【数３】

【００２１】
垂直画素数変換手段１１は、式（３）により算出された垂直変換倍率Ｖｃ（ｙ）に基づいて、図２に示す動作により垂直方向の補間画素データｐｏ’ｍを算出し、垂直方向の画素数が変換された画像データＰｖを水平画素数変換部６２に出力する。
【００２２】
水平高域通過フィルタ１６は、画像データＰｖの水平方向における高域画像データＨａ（ｘ）を出力する。また、水平微分手段１７は画像データＰｖの水平方向における一次微分データＨｄ（ｘ）を出力する。水平変換倍率制御手段１８は、画像データＰｖの水平方向の高域画像データＨａ（ｘ）、および一次微分データＨｄ（ｘ）に基づいて、水平変換倍率Ｈｃ（ｘ）を算出し、水平画素数変換手段１５に出力する。水平変換倍率Ｈｃ（ｘ）は、式（２）において、ａ（ｘ）およびｄ（ｘ）をそれぞれＨａ（ｘ）およびＨｄ（ｘ）に置き換えることにより、以下の式により表される。
【００２３】
【数４】

【００２４】
水平画素数変換手段１５は、式（４）により算出された水平変換倍率Ｈｃ（ｘ）に基づいて、図２に示す動作により補間画素データｐｏ’ｎを算出し、画像データＰｏを出力する。
【００２５】
垂直画素数変換部６１、および水平画素数変換部６２の基本的な動作は同様であり、水平画素数変換部６２を垂直画素数変換部６１の前段に設けても同様の効果を奏する。
尚、設定倍率ｎを１に設定することにより、輪郭強調のみを行なうことができる。また、設定倍率ｎを垂直方向と、水平方向とで異なる値に設定してもよい。例えば、垂直方向の設定倍率ｎを２とし、水平方向の設定倍率ｎを１とすることで、インタレース画像からノンインタレース画像への変換（走査線補間）を行なうことができる。さらに、式（３）、（４）により算出される垂直変換倍率Ｖｃ（ｘ）、および水平変換倍率Ｈｃ（ｘ）の係数ｋを独立に設定することで、垂直方向における輪郭部の鮮鋭度、および水平方向にける輪郭部の鮮鋭度を独立に制御することができる。
【００２６】
また、垂直高域通過フィルタ１２、および水平高域通過フィルタ１６の代わりに、図４に示すように垂直低域通過フィルタ４２、および水平低域通過フィルタ４６を用いて垂直方向、および水平方向の高域画像データを出力するよう構成してもよい。つまり、垂直低域通過フィルタ４２により出力される低域画像データＶｓ（ｙ）と、画像データＰｉとの差分により垂直方向における高域画像データＶａ（ｙ）を出力し、水平低域通過フィルタ４６により出力される低域画像データＨｓ（ｘ）と、画像データＰｖとの差分により水平方向における高域画像データＨａ（ｘ）を出力するよう構成してもよい。
【００２７】
実施の形態２．
実施の形態１による画像処理装置（図３に示す）において、垂直高域通過フィルタ１２、水平高域通過フィルタ１５を特定の帯域成分を出力する帯域フィルタ（バンドパスフィルタ）によって構成してもよい。実施の形態２による画像処理装置は、画像レベルの変化に関する特徴量を、画像データの輪郭部を形成する特定の帯域成分に基づいて算出するものである。
【００２８】
図５は、本実施の形態による画素数変換器６の構成を示す図である。同図において、１２０は画像データＰｉの垂直方向における特定の帯域成分を出力する垂直帯域フィルタである。垂直帯域フィルタ１２０は、第１の低域通過フィルタ１２１の出力Ｖｓ１（ｙ）と、これと遮断周波数が異なる第２の低域通過フィルタ１２２の出力Ｖｓ２（ｙ）との差分を算出するように構成されている。１６０は画像データＰｖの水平方向における特定の帯域成分を出力する水平帯域フィルタである。水平帯域フィルタ１６０は、第１の低域通過フィルタ１６１の出力Ｈｓ１（ｘ）と、これと遮断周波数が異なる第２の低域通過フィルタ１６２の出力Ｈｓ２（ｘ）との差分を算出するように構成されている。
【００２９】
図５に示す画像処理装置において、垂直画素数変換部６１、および水平画素数変換部６２の動作は同様であるので、ここでは水平画素数変換部６２の動作について説明する。図６は、水平画素数変換部６２の動作を説明するための説明図である。図６においてｐ（ｘ）は画像データＰｖの水平方向における画像レベルを示す画像データ、Ｈｓ１（ｘ）は第１の低域通過フィルタ１６１の出力、Ｈｓ２は第２の低域通過フィルタ１６２の出力、Ｈｓ１（ｘ）−Ｈｓ２（ｘ）は水平帯域フィルタ１６０の出力である。Ｈｄ（ｘ）は画像データｐ（ｘ）の一次微分データ、Ｈｃ（ｘ）は画像データｐ（ｘ）をｎ倍に拡大する場合の変換倍率、ｐｏは変換倍率Ｈｃ（ｘ）に基づいて拡大された画像データを示す。図６に示す水平変換倍率Ｈｃ（ｘ）は、水平帯域フィルタ１６０、水平微分手段１７の出力に基づいて以下の式により算出される。
【００３０】
【数５】

【００３１】
式（５）において、ｎは設定倍率、ｋは所定の係数である。水平変換倍率制御手段１８は、上式（５）により水平変換倍率Ｈｃ（ｘ）を算出し、水平画素数変換手段１５に出力する。水平画素数変換手段１５は、水平変換倍率Ｈｃ（ｘ）に基づいて、実施の形態１において述べた動作と同様に画素数の変換を行なう。同様の動作を垂直方向についても行ない、垂直方向の画素数を変換する。
図５に示す画像処理装置は、垂直方向の画素数変換を行なった後に水平方向の画素数を変換するよう構成されているが、水平方向の画素数変換を行なってから垂直方向の画素数変換を行なっても同様の効果が得られる。
【００３２】
上記の構成により、原画像の特定の高域成分に基づいて変換倍率ｃ（ｘ）を設定することにより、輪郭部において特定の高域成分のみを強調することができる。
【００３３】
実施の形態３．
実施の形態１、２では、垂直方向の画素数変換、および水平方向の画素数変換の動作を順次行なうよう構成したが、垂直方向の画素数変換と水平方向の画素数変換を同時に行なうようにしてもよい。本実施の形態による画像処理装置は、垂直方向と水平方向の画素数変換を同時に行う画像処理装置に関する。
【００３４】
図７は、本実施の形態による画像処理装置の画素数変換器の構成を示す図である。高域通過フィルタ２０は、原画像の２次元方向における高域画像データａ（ｘ，ｙ）を算出する。具体的には、演算対象となる補間点ｑ’ｎｍの水平、垂直、および斜め方向に配列する画素データに基づいてフィルタ演算を行なう。ここで、補間点ｑ’ｎｍは、実施の形態１、２で述べた補間点ｑｎ’に相当するが、本実施の形態における補間点ｑ’ｎｍは垂直、および水平の２方向、すなわち２次元方向に存在する。一次微分手段２１は、原画像の２次元方向における一次微分データｄ（ｘ，ｙ）を算出する。具体的には、演算対象となる補間点ｑ’ｎｍの水平、垂直、および斜め方向に配列する画素データに基づいて一次微分演算を行なう。
本実施の形態において、補間点ｑ’ｎｍ、画素データ生成点ｑ’ｎｍ、変換倍率ｃ（ｘ，ｙ）、高域画像データａ（ｘ，ｙ）、一次微分データｄ（ｄ，ｙ）は、実施の形態１、２における補間点ｑ’ｎ、画素データ生成点ｑｎ、変換倍率ｃ（ｘ）、高域画像データａ（ｘ）、一次微分データｄ（ｘ）に相当する。
【００３５】
変換倍率制御手段２２は、原画像の二次元方向における高域画像データａ（ｘ，ｙ）、および１次微分データｄ（ｘ，ｙ）に基づいて、以下の式により変換倍率ｃ（ｘ，ｙ）を算出する。
【００３６】
【数６】

【００３７】
ここで、変換倍率ｃ（ｘ，ｙ）は２次元データにより表され、水平方向および垂直方向における変換倍率が同時に算出される。画素数変換手段１９は、各補間点ｑ’ｎｍにおける変換倍率ｃ（ｘ，ｙ）に基づいて、画素データ生成点ｑｎｍを算出する。図８に、２次元データとして表される補間点ｑ’ｎｍ、および対応する画素データ生成点ｑｎｍの一例を示す。画素数変換手段１９は画素データ生成点ｑｎｍに隣接する４点の画素データに基づいて補間演算を行なう。図９は、ｑｎｍに隣接する原画像の画素データｐ１１，ｐ１２，ｐ２１，ｐ２２に基づいて補間画素データｐｏ’ｎｍを算出する場合の算出方法について説明するための説明図である。同図において、Ｇ（ｘ）は、２次元方向の補間演算に用いる補間係数の特性であり、対角方向に向かい合う画素データの間の距離が１の場合について示している。補間画素データｐｏ’ｎｍは、各画素データ生成点ｑｎｍと、隣接する画素データｐ１１，ｐ１２，ｐ２１，ｐ２２との距離をｒ１１，ｒ１２，ｒ２１，ｒ２２とした場合、以下の式により算出することができる。
【００３８】
【数７】

【００３９】
以上のように、２次元方向の演算により、画素データ生成点ｑｎｍに最も近い近い画素データのうち少なくとも４点の画素データに基づいて補間演算を行なうことで、より精度の高い補間演算を行なうことができる。
【００４０】
尚、上記の構成は図４、５に示す画像処理装置にも適用することができる。すなわち、図４に示す画像処理装置に適用する場合は、図１０に示すように、低域通過フィルタ４０により出力される２次元方向における低域画像データｓ（ｘ，ｙ）と、画像データＰｉとの差分により高域画像データａ（ｘ，ｙ）を出力する。また、図５に示す画像表示装置に適用する場合は、図１１に示すように、第１の低域通過フィルタ３１の出力ｓ１（ｘ，ｙ）と、遮断周波数が異なる第２の低域通過フィルタ３２の出力ｓ２（ｘ，ｙ）との差分により原画像の２次元方向における特定の帯域成分を算出し、変換倍率制御手段２２に出力するよう構成する。
【００４１】
実施の形態４．
実施の形態４は、実施の形態１〜３による画像処理装置の動作をソフトウェア制御により行なう場合の画像処理方法に関する。図１２は本実施の形態による画像処理方法を示すフローチャートである。同図に示すフローチャートは、汎用コンピュータや、画像処理装置に内蔵されたマイクロコンピュータに以下において説明する画像処理を実行させるプログラムとして適用してもよい。同図に示すフローチャートは、垂直方向の画素数変換、および水平方向の画素数変換を順次行なう場合の画像処理方法について示している。
【００４２】
Ｓｔ１において、垂直方向の画素数変換に必要な画素データが原画像の画像データＰｉ（図３参照）から抽出される。ここでは、原画像を垂直方向に補間する各補間点ｑ’ｍにおける高域画像データＶａ（ｙ）、および一次微分データＶｄ（ｙ）の算出に必用な画素データが抽出される。具体的には、演算の対象となる補間点ｑ’ｍに対し、垂直方向に隣接する画素データが抽出される。次に、Ｓｔ１において抽出された画素データに基づいて、補間点ｑ’ｍにおける垂直方向の高域画像データＶａ（ｑ’ｍ）、および一次微分データＶｄ（ｑ’ｍ）が算出される（Ｓｔ２）。
【００４３】
次に、Ｓｔ２において算出された補間点ｑ’ｍにおける画像データＰｉの高域画像データＶａ（ｑ’ｍ）、および一次微分データＶｄ（ｑ’ｍ）により、式（３）に基づいて、補間点ｑ’ｍにおける変換倍率Ｖｃ（ｑ’ｍ）が算出される（Ｓｔ３）。次に、Ｓｔ３において算出された変換倍率Ｖｃ（ｑ’ｍ）に基づいて、画素データ生成点ｑｍを算出して設定し、この画素データ生成点ｑｍにおいて補間演算を行なう。そして、この演算により得られた補間画素データｐｏ’ｍを、原画像に対応する新たな画像を構成する画素データｐｏｍとして保存する（Ｓｔ４）。上記Ｓｔ１〜Ｓｔ４の動作を水平方向に行なった後（Ｓｔ５）、次のラインに配列する補間点ｑ’ｍ＋１についてＳｔ１〜Ｓｔ４の動作を行なう（Ｓｔ６）。Ｓｔ５において、画像の左側からＳｔ１〜Ｓｔ４の演算を行なう場合は画像の右端が画像の最終端となる。上記の動作を最終ラインに達するまで行なうことにより垂直方向の画素数が変換された画像データＰｖ（図３参照）が生成される。
【００４４】
垂直方向の画素数が変換された後、Ｓｔ７において、水平方向の画素数変換に必要な画素データが画像データＰｖから抽出される。ここでは、原画像を水平方向に補間する各補間点ｑ’ｎにおける高域画像データＨａ（ｘ）、および一次微分データＨｄ（ｘ）の算出に必要な画素データが抽出される。具体的には、演算の対象となる補間点ｑ’ｎに対し、水平方向に隣接する画素データが抽出される。次に、Ｓｔ８において抽出された画素データに基づいて、補間点ｑ’ｎにおける水平方向の高域周波数成分Ｈａ（ｑ’ｎ）、および一次微分値Ｈｄ（ｑ’ｎ）が算出される（Ｓｔ８）。
【００４５】
次に、Ｓｔ８において算出された補間点ｑ’ｎにおける画像データＰｉの高域画像データＨａ（ｑ’ｎ）、および一次微分データＨｄ（ｑ’ｎ）により、式（４）に基づいて、補間点ｑ’ｎにおける変換倍率Ｈｃ（ｑ’ｎ）が算出される（Ｓｔ９）。次に、Ｓｔ９において算出された変換倍率Ｈｃ（ｑ’ｎ）に基づいて、画素データ生成点ｑｎを算出して設定し、この画素データ生成点ｑｎにおいて補間演算を行なう。そして、この演算により得られた補間画素データｐ’ｏｎを、原画像に対応する新たな画像を構成する画素データｐｏｎとして保存する（Ｓｔ１０）。上記Ｓｔ７〜Ｓｔ１０の動作を水平方向に行なった後（Ｓｔ１１）、次のラインに配列する補間点ｑ’ｎ＋１についてＳｔ７〜Ｓｔ１０の動作を行なう（Ｓｔ１２）。Ｓｔ１１において、画像の左側からＳｔ７〜Ｓｔ１０の演算を行なう場合は画像の右端が画像の最終端となる。上記の動作を最終ラインに達するまで行なうことにより垂直方向および水平方向の画素数が変換された画像データＰｏが生成される。
【００４６】
なお、上記動作の説明では、垂直方向の画素数を変換した後に水平方向の画素数を変換する場合について示したが、水平方向の画素数を変換した後に垂直方向の画素数を変換してもよい。また、上記の画像処理方法は、水平方向と垂直方向の画素数を同時に変換する場合についても適用することができる。
【００４７】
また、上記動作の説明では、垂直および水平の画素数を変換する際、補間画素データを画像の左から右、上から下の順番で演算する場合について示したが、この限りではなく、任意の方向から演算しても同様の結果を得ることができる。
【００４８】
尚、実施の形態２に示したように複数の帯域フィルタを用いて、特定の高域画像データを出力する場合は、Ｓｔ２、およびＳｔ８において、２種類のフィルタ演算を行ない、両者の演算結果の差を出力すればよい。
【００４９】
実施の形態５．
本実施の形態は、実施の形態１〜４に示す画像処理装置を用いた画像表示装置に関するものである。フォーマットの異なる画像信号を表示するには、画像表示装置において入力画像を表示可能な画素数に変換する必要がある。例えば、６４０ドット×４８０ラインの画像を、１０２４ドット×７２８ラインの表示装置（例えば、液晶パネル）に表示するには、表示装置において画素数の変換を行なう。入力画像の画素数に対し、表示装置の表示画素数が大きい場合、従来の技術において述べたように、画像の拡大処理に伴い輪郭部の鮮鋭度が劣化する問題が生じる。こうした問題は、画像表示装置に実施の形態１〜４に示す画像処理装置を設けるか、あるいはこうした画像処理装置の出力を画像表示装置に与えることにより解決することができる。
【００５０】
図１３に、本実施の形態による画像処理装置の構成を示す。同図において、６は実施の形態１〜４に示す画像処理装置により構成される画素数変換器であり、内部構成は、図３、４、５、７、１０または１１により示される。デジタル画像データは入力端子１を介して画像信号調整手段４に入力され、対応する同期信号は、入力端子２を介して制御手段３１に入力される。制御手段３１は、同期信号に基づいて制御信号を生成する。画像信号調整手段４は、画像データを後段の画素数変換器６での処理に適した形式に変換する（例えば、画像データが符号化されたデジタル画像データの場合は復号化処理を行なう。）。画像信号調整手段４により出力された画像データは、メモリ手段５に一時的に記憶される。ここで、メモリ手段５は、画素数変換器６での処理に必要な（少なくとも２ライン以上）画像データを記憶する。
【００５１】
画素数変換器６は、メモリ手段５により出力される画像データＰｉに対し、実施の形態１〜４において述べた動作により画素数の変換処理を行なう。画素数変換器６により出力された画像データＰｏは画像調整手段７に入力される。画像調整手段７は、画像データＰｏに対してコントラスト、彩度の調整や階調制御などの画像処理を行ない、表示装置３０に出力する。表示手段３０は、制御手段３１の制御信号に基づいて、画像データＰｏに対応する画像を表示する。
【００５２】
図１４は、アナログ形式の画像信号を表示する場合の画像表示装置の構成例を示す図である。Ａ／Ｄ変換手段３は、アナログ画像信号を所定のサンプリング周期で標本化し、画像信号調整手段４に出力する。画像信号調整手段４は、入力された画像データを後段の画素数変換器６での処理に適した形式に変換する。例えば、画素数変換器６において画像データＰｉをＲＧＢの３原色画像データとして処理する場合は、入力画像信号をＲＧＢの３原色画像データに変換する。また、画素数変換器６において画像データＰｉをＹＣ信号として処理する場合は、入力画像信号をＹＣ信号に変換する。画像信号調整手段４で所定の形式に変換された画像データは、メモリ手段５に一時的に記憶される。
【００５３】
メモリ手段５から読み出された画像データＰｉは、画素数変換器６に入力される。画素数変換器６により出力された画像データＰｏは、画像調整手段７に入力される。画像調整手段７は、画像データＰｏに対してコントラスト、彩度の調整や階調制御などの画像処理を行ない、Ｄ／Ａ変換手段８に出力する。Ｄ／Ａ変換器８は、アナログ形式に変換した画像信号を表示手段９に出力する。表示手段９は、制御手段１０の制御信号に基づいて、画像データＰｏに対応する画像を表示する。
【００５４】
【発明の効果】
本発明に係る画像処理装置および画像処理方法によれば、画像データの変化に応じて補間画素の密度を調整する倍率変化量を求め、当該倍率変化量を用いて補間画素の画素データを算出するので、輪郭部における鮮鋭度を損なうことなく画像の拡大処理を行うことができる。
また、入力画像の輪郭部を補正する補間画素の密度を画像データの変化に応じて調整するための倍率変化量を求め、当該倍率変化量を用いて補間画素の画素データを算出するので、輪郭部の鮮鋭度を向上させ、より鮮明な画像を得ることができる。
【図面の簡単な説明】
【図１】実施の形態１による画像処理動作を説明するための説明図である。
【図２】実施の形態１による画像処理動作を説明するための説明図である。
【図３】実施の形態１による画像処理装置の構成を示す図である。
【図４】実施の形態１による画像処理装置の構成を示す図である。
【図５】実施の形態２による画像処理装置の構成を示す図である。
【図６】実施の形態２による画像処理動作を説明するための説明図である。
【図７】実施の形態３による画像処理装置の構成を示す図である。
【図８】実施の形態３による画像処理装置の動作を説明するための説明図である。
【図９】実施の形態３による画像処理装置の動作を説明するための説明図である。
【図１０】実施の形態３による画像処理装置の構成を示す図である。
【図１１】実施の形態３による画像処理装置の構成を示す図である。
【図１２】実施の形態４による画像処理方法を示すフローチャートである。
【図１３】実施の形態５による画像表示装置の構成を示す図である。
【図１４】実施の形態５による画像表示装置の構成を示す図である。
【図１５】従来の画素数の変換動作について説明するための説明図である。
【図１６】従来の画素数の変換動作について説明するための説明図である。
【図１７】従来の画像処理における問題点を説明するための説明図である。
【符号の説明】
６画素数変換器、９，３０表示手段、１０，３１制御手段、１１垂直画素数変換手段、１２垂直高域通過フィルタ、１３垂直微分手段、１４垂直変換倍率制御手段、１５水平画素数変換手段、１６帯域制限手段、１７水平微分手段、１８水平変換倍率制御手段、１９画素数変換手段、２０高域通過フィルタ、２１微分手段、２２変換倍率制御手段、３１，１２１，１６１第１の低域通過フィルタ、３２，１２２，１６２第２の低域通過フィルタ、４０低域通過フィルタ、４２垂直低域通過フィルタ、４６水平低域通過フィルタ。[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to an image processing apparatus including an image enlargement or reduction process, and an image processing method.
[0002]
[Prior art]
  When the image is enlarged / reduced to an arbitrary magnification, a predetermined interpolation operation is performed on the pixel data of the original image to calculate the number of interpolation pixel data different from the number of pixels of the original image. For example, when the display format is 1024 pixels × 728 lines and the input image (original image) has an image format of 640 pixels × 480 lines, to display the input image on the entire display, an interpolation operation is performed. It is necessary to calculate the number of interpolation pixel data corresponding to the number of display pixels (the conversion magnification in the enlargement process in this case is 1.6).
[0003]
  FIG. 15 is an explanatory diagram for describing a method of calculating interpolation pixel data when an image is enlarged. In the figure, Pn and Pn + 1 are part of pixel data constituting the original image, qn (indicated by x in the figure) is an interpolation point, and pon is interpolation pixel data calculated at the interpolation point qn. FIG. 13 shows a case where interpolation pixel data is calculated by linear interpolation, and F (x) is a function indicating the characteristics of the interpolation coefficient used for the interpolation calculation. Here, for simplicity, when the interval between the pixels of the original image is 1, and the distance between the interpolation point qn and the pixel data Pn is r, the interpolation pixel data Pon is calculated by the following equation.
[0004]
[Expression 1]

[0005]
  FIG. 16 is an explanatory diagram for explaining a method of calculating interpolation pixel data when an image is enlarged by the interpolation calculation described with reference to FIG. In the figure, p11, p12, and p13 are pixel data of the original image, q11 to q17 (indicated by x in the figure) are interpolation points for calculating interpolation pixel data, and po11 to po17 are calculated at interpolation points q11 to q17. Interpolation pixel data. This figure shows a case where the original image is enlarged three times, and the interpolation points q11 to q17 are set at an interval of 1/3, where 1 is the interval between pixels of the original image. As shown in the figure, an interpolation point qn is set according to the conversion magnification or the number of conversion pixels, and an enlarged image or reduced image is obtained by performing the interpolation calculation shown in Expression (1) for all the set interpolation points qn. Generate an image.
[0006]
[Problems to be solved by the invention]
  Problems in the case of enlarging an image by conventional interpolation calculation will be described with reference to FIG. FIG. 17 shows an output image obtained by enlarging an input image by a conventional interpolation calculation. As shown in the figure, when the image is enlarged by the conventional interpolation calculation, there is a problem that the sharpness of the contour portion J ′ of the output image corresponding to the contour portion J of the input image is lowered. Further, according to contour enhancement using a contour signal that has been generally used in the past, there is a problem that image quality deterioration occurs due to overshoot or undershoot around the contour portion.
[0007]
  The present invention has been made in view of the above problems, and can appropriately adjust the sharpness of the contour portion of the image, and can enlarge and reduce the image without causing image quality deterioration in the contour portion. An object of the present invention is to realize a simple image processing apparatus.
[0008]
[Means for Solving the Problems]
  An image processing apparatus according to the present invention is an image processing apparatus that converts the number of pixels of the input image by performing an interpolation calculation process on image data representing the input image,
Filter means for detecting a predetermined frequency component of the image data;
Differentiating means for detecting a first derivative of the image data;
A value obtained by multiplying the predetermined frequency component by the first derivative is used to obtain an adjustment amount for adjusting the density of interpolation pixels for interpolating the input image in accordance with a change in the image data, and the adjustment amount is used. Conversion magnification control means for obtaining the conversion magnification of each of the interpolation pixels,
Interpolation operation means for obtaining an interpolation position of each of the interpolation pixels based on the conversion magnification and calculating pixel data of the interpolation pixels by interpolation calculation at the interpolation position is provided.
[0009]
  An image processing apparatus according to the present invention is an image processing apparatus that corrects the contour of an input image and outputs the corrected image.
Above pictureOf image dataFilter means for detecting a predetermined frequency component;
Differentiating means for detecting a first derivative of the image data;
A value obtained by multiplying the predetermined frequency component by the first derivative is used to obtain an adjustment amount for adjusting the density of interpolation pixels for correcting the contour portion of the input image according to the change in the contour portion of the input image. Conversion magnification control means for obtaining the conversion magnification of each of the interpolation pixels using the adjustment amount;
Interpolation operation means for obtaining an interpolation position of each of the interpolation pixels based on the conversion magnification and calculating pixel data of the interpolation pixels by interpolation calculation at the interpolation position is provided.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
  FIG. 1 is an explanatory diagram for schematically explaining the operation of an image processing apparatus according to an embodiment of the present invention. The operation in the case of enlarging an original image at a conversion magnification of n times is shown. In FIG. 1, p (x) is image data representing the image level of the original image, a (x) is high-frequency image data of the image data p (x), and d (x) is primary differential data of the image data p (x). It is. c (x) is a conversion magnification calculated by the following equation based on the high-frequency image data a (x) and the primary differential data d (x).
[0011]
[Expression 2]

[0012]
  In Equation (2), n is a set magnification for the entire image, and k is a predetermined coefficient for controlling the sharpness of the contour portion. Here, the set magnification n is a conversion magnification of the entire image. As shown in FIG. 1, the conversion magnification c (x) is higher than the set magnification n in the front part of the contour portion where the image level changes (section indicated by b in FIG. 1), and the rear part of the contour portion (FIG. 1). In the interval indicated by c in FIG. However, the average value of the conversion magnification c (x) is n. Po is image data enlarged based on the conversion magnification c (x). In the image data Po, the section indicated by b 'corresponds to the front part (section b) of the above-described contour part, and the section indicated by c' corresponds to the rear part (section c) of the above-described contour part. Thus, by partially changing the conversion magnification in the contour portion, an enlarged image in which the sharpness of the contour portion is preserved can be obtained. Further, in equation (2), by increasing the value of the coefficient k, the conversion magnification c (x) in the front part (section b) and rear part (section c) of the contour is set to a desired size, and the sharpness of the image is set. Can be adjusted.
[0013]
  As described above, when the image enlargement process is performed, the conversion magnification in the contour portion is partially calculated based on the feature amount relating to the change in the image level obtained by detecting the high-frequency image data of the original image and the primary differential data. Therefore, the sharpness of the contour portion can be preserved and adjusted.
[0014]
  As described with reference to FIG. 1, in order to partially change the conversion magnification in the contour portion, the interpolation density is relatively high in the portion where the conversion magnification is high, and the interpolation density is relatively set in the portion where the conversion magnification is low. The interpolated pixel data may be calculated by lowering the value.
[0015]
  FIG. 2 is an explanatory diagram for explaining a method of generating interpolation pixel data in the contour portion. In the figure, p1, p2, and p3 represent pixel data of the original image in the outline, and q′1 to q′7 are temporary interpolation points set according to the conversion magnification (hereinafter simply referred to as interpolation points). Represents. This figure shows the conversion operation of the number of pixels when the set magnification n is set to 3. In this case, if the interval between the pixel data of the original image is 1, the reciprocal of the set magnification n, that is, 1/3. Interpolation points q′1 to q′7 are set so that the image data p (x) is interpolated at intervals of. Here, the virtual interpolation point q is such that the interpolation density is high at the front part of the contour part where the conversion magnification c (x) is relatively high and the interpolation density is low at the rear part of the contour part where the conversion magnification is relatively low. Set actual interpolation points corresponding to '1 to q'7. q1 to q7 are pixel data generation points as actual interpolation points corresponding to the interpolation points q'1 to q'7. The positions of the pixel data generation points q1 to q7 are calculated based on the reciprocals of the conversion magnifications c (q'1) to c (q'7) at the respective interpolation points q'1 to q'7. That is, the distance between q1 and q2 is obtained by the reciprocal of the conversion magnification c (q′2) at q′2 when the distance between p1 and p2 is 1, and similarly, the distance between q2 and q3 is q ′. 3 is obtained by the reciprocal of the conversion magnification c (q′3) in FIG. Accordingly, the position of each pixel data generation point qn is set by cumulatively adding the reciprocal of the conversion magnification c (q'n) at each interpolation point q'n. It should be noted that the position of the interpolation point q 'and the pixel data generation point q are the same in the section a (region other than the contour portion) where the image level does not change.
[0016]
  Interpolated pixel data po′1 to po′7 at the pixel data generation points q1 to q7 set as described above are calculated, and these interpolated pixel data po′1 to po′7 are new images corresponding to the original image. By using the pixel data po1 to po7, the sharpness of the contour can be controlled. Here, the interpolated pixel data p'on can be calculated based on the equation (1) using the interpolation coefficient F (x) shown in FIG.
[0017]
  By performing the above operation in the horizontal and vertical directions of the image, the sharpness of the outline is preserved, and the number of pixels is converted in an appropriately adjusted state (image enlargement / reduction, scanning line interpolation, etc.) Can be performed.
  In the above description, the case of enlarging an image has been described. However, the present invention can also be applied to the case of reducing an image. In this case, the image can be reduced without missing the image of the contour portion.
[0018]
  Hereinafter, the configuration of an image processing apparatus that realizes the above-described operation will be described with reference to the drawings. FIG. 3 is a block diagram showing the configuration of the image processing apparatus according to this embodiment. The vertical pixel number converter 61 converts the number of pixels in the vertical direction of the image data Pi representing the original image, and outputs the image data Pv. The horizontal pixel number conversion unit 62 converts the number of pixels in the horizontal direction of the image data Pv and outputs the image data Po.
[0019]
  The vertical high-pass filter 12 outputs high-frequency image data Va (y) in the vertical direction of the image data Pi. The vertical differentiation means 13 outputs primary differential data Vd (y) in the vertical direction of the image data Pi. The vertical conversion magnification control means 14 calculates the vertical conversion magnification Vc (y) based on the high-frequency image data Va (y) in the vertical direction of the image data Pi and the primary differentiation result Vd (y), and calculates the number of vertical pixels. Output to the conversion means 11. The vertical conversion magnification Vc (y) is expressed by the following equation by replacing a (y) and d (y) with Va (y) and Vd (y), respectively, in equation (2).
[0020]
[Equation 3]

[0021]
The vertical pixel number conversion means 11 calculates the vertical interpolation pixel data po′m by the operation shown in FIG. 2 based on the vertical conversion magnification Vc (y) calculated by the equation (3), and the vertical pixel The image data Pv whose number has been converted is output to the horizontal pixel number conversion unit 62.
[0022]
The horizontal high-pass filter 16 outputs high-frequency image data Ha (x) in the horizontal direction of the image data Pv. Further, the horizontal differentiation means 17 outputs primary differential data Hd (x) in the horizontal direction of the image data Pv. The horizontal conversion magnification control means 18 calculates the horizontal conversion magnification Hc (x) based on the horizontal high-frequency image data Ha (x) and the primary differential data Hd (x) of the image data Pv, and the number of horizontal pixels. Output to the conversion means 15. The horizontal conversion magnification Hc (x) is expressed by the following equation by replacing a (x) and d (x) with Ha (x) and Hd (x), respectively, in equation (2).
[0023]
[Expression 4]

[0024]
  The horizontal pixel number converting means 15 calculates the interpolated pixel data po′n by the operation shown in FIG. 2 based on the horizontal conversion magnification Hc (x) calculated by the equation (4), and outputs the image data Po.
[0025]
  The basic operations of the vertical pixel number conversion unit 61 and the horizontal pixel number conversion unit 62 are the same. Even if the horizontal pixel number conversion unit 62 is provided in the preceding stage of the vertical pixel number conversion unit 61, the same effect can be obtained.
  It should be noted that by setting the set magnification n to 1, only contour enhancement can be performed. Further, the set magnification n may be set to a different value between the vertical direction and the horizontal direction. For example, when the set magnification n in the vertical direction is 2 and the set magnification n in the horizontal direction is 1, conversion from an interlaced image to a non-interlaced image (scanning line interpolation) can be performed. Further, by independently setting the coefficient k of the vertical conversion magnification Vc (x) and the horizontal conversion magnification Hc (x) calculated by the equations (3) and (4), the sharpness of the contour portion in the vertical direction, And the sharpness of the contour in the horizontal direction can be controlled independently.
[0026]
  Further, instead of the vertical high-pass filter 12 and the horizontal high-pass filter 16, a vertical low-pass filter 42 and a horizontal low-pass filter 46 are used as shown in FIG. You may comprise so that high frequency image data may be output. That is, the high-pass image data Va (y) in the vertical direction is output by the difference between the low-pass image data Vs (y) output from the vertical low-pass filter 42 and the image data Pi, and the horizontal low-pass filter 46 is output. The high-frequency image data Ha (x) in the horizontal direction may be output based on the difference between the low-frequency image data Hs (x) output by the above and the image data Pv.
[0027]
Embodiment 2. FIG.
  In the image processing apparatus (shown in FIG. 3) according to the first embodiment, the vertical high-pass filter 12 and the horizontal high-pass filter 15 may be configured by band filters (band-pass filters) that output specific band components. . The image processing apparatus according to the second embodiment calculates a feature amount related to a change in image level based on a specific band component that forms a contour portion of image data.
[0028]
  FIG. 5 is a diagram showing a configuration of the pixel number converter 6 according to the present embodiment. In the figure, reference numeral 120 denotes a vertical band filter for outputting a specific band component in the vertical direction of the image data Pi. The vertical band filter 120 calculates the difference between the output Vs1 (y) of the first low-pass filter 121 and the output Vs2 (y) of the second low-pass filter 122 having a different cutoff frequency. It is configured. A horizontal band filter 160 outputs a specific band component in the horizontal direction of the image data Pv. The horizontal band filter 160 calculates the difference between the output Hs1 (x) of the first low-pass filter 161 and the output Hs2 (x) of the second low-pass filter 162 having a different cutoff frequency. It is configured.
[0029]
  In the image processing apparatus shown in FIG. 5, the operations of the vertical pixel number conversion unit 61 and the horizontal pixel number conversion unit 62 are the same, and therefore the operation of the horizontal pixel number conversion unit 62 will be described here. FIG. 6 is an explanatory diagram for explaining the operation of the horizontal pixel number conversion unit 62. In FIG. 6, p (x) is the image data indicating the image level in the horizontal direction of the image data Pv, Hs1 (x) is the output of the first low-pass filter 161, and Hs2 is the output of the second low-pass filter 162. , Hs1 (x) −Hs2 (x) are outputs of the horizontal band filter 160. Hd (x) is the first derivative data of the image data p (x), Hc (x) is the conversion magnification when the image data p (x) is enlarged n times, and po is enlarged based on the conversion magnification Hc (x). The processed image data is shown. The horizontal conversion magnification Hc (x) shown in FIG. 6 is calculated by the following formula based on the outputs of the horizontal band filter 160 and the horizontal differentiation means 17.
[0030]
[Equation 5]

[0031]
  In equation (5), n is a set magnification and k is a predetermined coefficient. The horizontal conversion magnification control means 18 calculates the horizontal conversion magnification Hc (x) by the above equation (5) and outputs it to the horizontal pixel number conversion means 15. The horizontal pixel number conversion means 15 converts the number of pixels based on the horizontal conversion magnification Hc (x) in the same manner as the operation described in the first embodiment. A similar operation is performed in the vertical direction to convert the number of pixels in the vertical direction.
  The image processing apparatus shown in FIG. 5 is configured to convert the number of pixels in the horizontal direction after converting the number of pixels in the vertical direction, but after converting the number of pixels in the horizontal direction, the number of pixels in the vertical direction is converted. The same effect can be obtained by performing the above.
[0032]
  With the above configuration, by setting the conversion magnification c (x) based on the specific high frequency component of the original image, only the specific high frequency component can be emphasized in the contour portion.
[0033]
Embodiment 3 FIG.
  In the first and second embodiments, the vertical pixel number conversion and the horizontal pixel number conversion are sequentially performed. However, the vertical pixel number conversion and the horizontal pixel number conversion are performed simultaneously. May be. The image processing apparatus according to the present embodiment relates to an image processing apparatus that simultaneously converts the number of pixels in the vertical direction and the horizontal direction.
[0034]
  FIG. 7 is a diagram showing the configuration of the pixel number converter of the image processing apparatus according to this embodiment. The high-pass filter 20 calculates high-frequency image data a (x, y) in the two-dimensional direction of the original image. Specifically, the filter calculation is performed based on pixel data arranged in the horizontal, vertical, and diagonal directions of the interpolation point q′nm to be calculated. Here, the interpolation point q′nm corresponds to the interpolation point qn ′ described in the first and second embodiments, but the interpolation point q′nm in the present embodiment is two directions, ie, two dimensions, vertical and horizontal. Exists in the direction. The primary differentiation means 21 calculates primary differential data d (x, y) in the two-dimensional direction of the original image. Specifically, the first-order differential calculation is performed based on the pixel data arranged in the horizontal, vertical, and diagonal directions of the interpolation point q′nm to be calculated.
  In the present embodiment, the interpolation point q′nm, the pixel data generation point q′nm, the conversion magnification c (x, y), the high-frequency image data a (x, y), and the primary differential data d (d, y) are These correspond to the interpolation point q′n, the pixel data generation point qn, the conversion magnification c (x), the high-frequency image data a (x), and the primary differential data d (x) in the first and second embodiments.
[0035]
  Based on the high-frequency image data a (x, y) and the primary differential data d (x, y) in the two-dimensional direction of the original image, the conversion magnification control means 22 converts the conversion magnification c (x, y) is calculated.
[0036]
[Formula 6]

[0037]
Here, the conversion magnification c (x, y) is represented by two-dimensional data, and the conversion magnification in the horizontal direction and the vertical direction are calculated simultaneously. The pixel number conversion unit 19 calculates the pixel data generation point qnm based on the conversion magnification c (x, y) at each interpolation point q′nm. FIG. 8 shows an example of the interpolation point q′nm expressed as two-dimensional data and the corresponding pixel data generation point qnm. The pixel number conversion means 19 performs an interpolation calculation based on the pixel data of four points adjacent to the pixel data generation point qnm. FIG. 9 is an explanatory diagram for explaining a calculation method when calculating the interpolation pixel data po′nm based on the pixel data p11, p12, p21, and p22 of the original image adjacent to qnm. In the figure, G (x) is the characteristic of the interpolation coefficient used for the interpolation calculation in the two-dimensional direction, and shows the case where the distance between the pixel data facing in the diagonal direction is 1. The interpolated pixel data po′nm can be calculated by the following equation when the distance between each pixel data generation point qnm and the adjacent pixel data p11, p12, p21, p22 is r11, r12, r21, r22. it can.
[0038]
[Expression 7]

[0039]
  As described above, by performing the interpolation calculation based on the pixel data of at least four points among the pixel data closest to the pixel data generation point qnm by the calculation in the two-dimensional direction, the interpolation calculation with higher accuracy can be performed. Can do.
[0040]
  The above configuration can also be applied to the image processing apparatus shown in FIGS. That is, when applied to the image processing apparatus shown in FIG. 4, as shown in FIG. 10, the low-pass image data s (x, y) in the two-dimensional direction output from the low-pass filter 40 and the image data Pi The high-frequency image data a (x, y) is output based on the difference between. Further, when applied to the image display device shown in FIG. 5, as shown in FIG. 11, the output s1 (x, y) of the first low-pass filter 31 is different from the second low-pass signal having a cutoff frequency. A specific band component in the two-dimensional direction of the original image is calculated from the difference from the output s2 (x, y) of the filter 32, and is output to the conversion magnification control means 22.
[0041]
Embodiment 4 FIG.
  The fourth embodiment relates to an image processing method when the operation of the image processing apparatus according to the first to third embodiments is performed by software control. FIG. 12 is a flowchart showing an image processing method according to this embodiment. The flowchart shown in the figure may be applied as a program for causing a general-purpose computer or a microcomputer built in the image processing apparatus to execute image processing described below. The flowchart shown in the figure shows an image processing method in the case where the pixel number conversion in the vertical direction and the pixel number conversion in the horizontal direction are sequentially performed.
[0042]
  In St1, pixel data necessary for the conversion of the number of pixels in the vertical direction is extracted from the image data Pi of the original image (see FIG. 3). Here, pixel data necessary for calculating the high-frequency image data Va (y) and primary differential data Vd (y) at each interpolation point q′m for interpolating the original image in the vertical direction is extracted. Specifically, pixel data adjacent in the vertical direction is extracted from the interpolation point q′m to be calculated. Next, based on the pixel data extracted in St1, vertical high-frequency image data Va (q'm) and primary differential data Vd (q'm) at the interpolation point q'm are calculated (St2). ).
[0043]
  Next, interpolation is performed based on the equation (3) using the high-frequency image data Va (q′m) of the image data Pi at the interpolation point q′m calculated in St2 and the primary differential data Vd (q′m). A conversion magnification Vc (q′m) at the point q′m is calculated (St3). Next, the pixel data generation point qm is calculated and set based on the conversion magnification Vc (q′m) calculated in St3, and an interpolation operation is performed at the pixel data generation point qm. Then, the interpolated pixel data po′m obtained by this calculation is stored as pixel data pom constituting a new image corresponding to the original image (St4). After the operation of St1 to St4 is performed in the horizontal direction (St5), the operation of St1 to St4 is performed for the interpolation point q'm + 1 arranged in the next line (St6). In St5, when the calculation of St1 to St4 is performed from the left side of the image, the right end of the image is the final end of the image. By performing the above operation until the final line is reached, image data Pv (see FIG. 3) in which the number of pixels in the vertical direction is converted is generated.
[0044]
  After the number of pixels in the vertical direction is converted, pixel data necessary for the conversion of the number of pixels in the horizontal direction is extracted from the image data Pv in St7. Here, pixel data necessary for calculating the high-frequency image data Ha (x) and the primary differential data Hd (x) at each interpolation point q′n for interpolating the original image in the horizontal direction is extracted. Specifically, pixel data adjacent in the horizontal direction is extracted for the interpolation point q′n to be calculated. Next, based on the pixel data extracted in St8, a horizontal high-frequency component Ha (q′n) and a primary differential value Hd (q′n) at the interpolation point q′n are calculated (St8). ).
[0045]
  Next, interpolation is performed based on the equation (4) using the high-frequency image data Ha (q′n) of the image data Pi at the interpolation point q′n calculated in St8 and the primary differential data Hd (q′n). A conversion magnification Hc (q′n) at the point q′n is calculated (St9). Next, the pixel data generation point qn is calculated and set based on the conversion magnification Hc (q′n) calculated in St9, and an interpolation operation is performed at the pixel data generation point qn. Then, the interpolated pixel data p′on obtained by this calculation is stored as pixel data pon constituting a new image corresponding to the original image (St10). After performing the operations of St7 to St10 in the horizontal direction (St11), the operations of St7 to St10 are performed for the interpolation points q'n + 1 arranged in the next line (St12). In St11, when performing St7 to St10 from the left side of the image, the right end of the image is the final end of the image. By performing the above operation until the final line is reached, image data Po in which the number of pixels in the vertical and horizontal directions is converted is generated.
[0046]
  In the above description of the operation, the case of converting the number of pixels in the horizontal direction after converting the number of pixels in the vertical direction has been described. However, the number of pixels in the vertical direction may be converted after converting the number of pixels in the horizontal direction. Good. The image processing method described above can also be applied to the case where the number of pixels in the horizontal direction and the vertical direction is converted simultaneously.
[0047]
  In the description of the above operation, when the number of vertical and horizontal pixels is converted, the interpolation pixel data is calculated from the left to the right and the top to the bottom of the image. Similar results can be obtained by calculating from the direction.
[0048]
  In the case where specific high-frequency image data is output using a plurality of band filters as shown in the second embodiment, two types of filter operations are performed in St2 and St8, and the results of both operations are calculated. What is necessary is just to output a difference.
[0049]
Embodiment 5. FIG.
  The present embodiment relates to an image display device using the image processing device shown in the first to fourth embodiments. In order to display image signals having different formats, it is necessary to convert the input image into the number of displayable pixels in the image display device. For example, in order to display an image of 640 dots × 480 lines on a display device (for example, a liquid crystal panel) of 1024 dots × 728 lines, the number of pixels is converted in the display device. When the number of display pixels of the display device is larger than the number of pixels of the input image, there is a problem that the sharpness of the contour portion deteriorates with the image enlargement process, as described in the related art. Such a problem can be solved by providing the image processing apparatus described in Embodiments 1 to 4 in the image display apparatus or by providing the image display apparatus with the output of such an image processing apparatus.
[0050]
  FIG. 13 shows the configuration of the image processing apparatus according to this embodiment. In the figure, reference numeral 6 denotes a pixel number converter configured by the image processing apparatus shown in the first to fourth embodiments, and the internal configuration is shown in FIG. Digital image data is input to the image signal adjustment means 4 via the input terminal 1, and the corresponding synchronization signal is input to the control means 31 via the input terminal 2. The control means 31 generates a control signal based on the synchronization signal. The image signal adjusting means 4 converts the image data into a format suitable for processing in the subsequent pixel number converter 6 (for example, in the case of digital image data in which the image data is encoded, a decoding process is performed). . The image data output by the image signal adjusting unit 4 is temporarily stored in the memory unit 5. Here, the memory means 5 stores image data (at least two lines or more) necessary for processing in the pixel number converter 6.
[0051]
  The pixel number converter 6 performs pixel number conversion processing on the image data Pi output from the memory means 5 by the operation described in the first to fourth embodiments. The image data Po output by the pixel number converter 6 is input to the image adjusting means 7. The image adjusting unit 7 performs image processing such as contrast and saturation adjustment and gradation control on the image data Po, and outputs the image data to the display device 30. The display unit 30 displays an image corresponding to the image data Po based on the control signal of the control unit 31.
[0052]
  FIG. 14 is a diagram illustrating a configuration example of an image display device in the case of displaying an analog image signal. The A / D conversion means 3 samples the analog image signal at a predetermined sampling period and outputs it to the image signal adjustment means 4. The image signal adjusting means 4 converts the input image data into a format suitable for processing by the pixel number converter 6 at the subsequent stage. For example, when the pixel number converter 6 processes the image data Pi as RGB primary color image data, the input image signal is converted into RGB primary color image data. Further, when the image data Pi is processed as a YC signal in the pixel number converter 6, the input image signal is converted into a YC signal. The image data converted into a predetermined format by the image signal adjusting unit 4 is temporarily stored in the memory unit 5.
[0053]
  The image data Pi read from the memory means 5 is input to the pixel number converter 6. The image data Po output by the pixel number converter 6 is input to the image adjusting means 7. The image adjusting unit 7 performs image processing such as contrast and saturation adjustment and gradation control on the image data Po and outputs the image data Po to the D / A converting unit 8. The D / A converter 8 outputs the image signal converted into the analog format to the display means 9. The display unit 9 displays an image corresponding to the image data Po based on the control signal of the control unit 10.
[0054]
【The invention's effect】
  Image processing apparatus according to the present inventionAccording to the image processing method, the amount of change in magnification for adjusting the density of the interpolation pixel in accordance with the change in the image data is obtained, and the pixel data of the interpolation pixel is calculated using the amount of change in magnification. Enlargement without damaging the imagebe able to.
  Further, since the magnification change amount for adjusting the density of the interpolation pixel for correcting the contour portion of the input image according to the change of the image data is obtained and the pixel data of the interpolation pixel is calculated using the magnification change amount, the contour The sharpness of the part can be improved and a clearer image can be obtained.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram for explaining an image processing operation according to a first embodiment;
FIG. 2 is an explanatory diagram for explaining an image processing operation according to the first embodiment;
3 is a diagram showing a configuration of an image processing apparatus according to Embodiment 1. FIG.
4 is a diagram showing a configuration of an image processing apparatus according to Embodiment 1. FIG.
FIG. 5 is a diagram showing a configuration of an image processing apparatus according to a second embodiment.
FIG. 6 is an explanatory diagram for explaining an image processing operation according to the second embodiment.
7 is a diagram showing a configuration of an image processing apparatus according to Embodiment 3. FIG.
FIG. 8 is an explanatory diagram for explaining the operation of the image processing apparatus according to the third embodiment.
FIG. 9 is an explanatory diagram for explaining the operation of the image processing apparatus according to the third embodiment;
FIG. 10 is a diagram illustrating a configuration of an image processing apparatus according to a third embodiment.
FIG. 11 is a diagram illustrating a configuration of an image processing apparatus according to a third embodiment.
FIG. 12 is a flowchart illustrating an image processing method according to the fourth embodiment.
FIG. 13 is a diagram showing a configuration of an image display device according to a fifth embodiment.
FIG. 14 is a diagram illustrating a configuration of an image display device according to a fifth embodiment.
FIG. 15 is an explanatory diagram for explaining a conventional pixel number conversion operation;
FIG. 16 is an explanatory diagram for explaining a conventional pixel number conversion operation;
FIG. 17 is an explanatory diagram for explaining a problem in conventional image processing.
[Explanation of symbols]
  6 pixel number converter, 9, 30 display means, 10, 31 control means, 11 vertical pixel number conversion means, 12 vertical high-pass filter, 13 vertical differentiation means, 14 vertical conversion magnification control means, 15 horizontal pixel number conversion means , 16 Band limiting means, 17 Horizontal differentiation means, 18 Horizontal conversion magnification control means, 19 Pixel number conversion means, 20 High-pass filter, 21 Differentiation means, 22 Conversion magnification control means, 31, 121, 161 First low frequency Pass filter, 32, 122, 162 Second low pass filter, 40 Low pass filter, 42 Vertical low pass filter, 46 Horizontal low pass filter.

Claims

An image processing apparatus that converts the number of pixels of the input image by performing an interpolation calculation process on image data representing the input image,
Filter means for detecting a predetermined frequency component of the image data;
Differentiating means for detecting a first derivative of the image data;
A value obtained by multiplying the predetermined frequency component by the first derivative is used to obtain an adjustment amount for adjusting the density of interpolation pixels for interpolating the input image in accordance with a change in the image data, and the adjustment amount is used. Conversion magnification control means for obtaining the conversion magnification of each of the interpolation pixels,
An image processing apparatus comprising: an interpolation calculation unit that obtains an interpolation position of each of the interpolation pixels based on the conversion magnification and calculates pixel data of the interpolation pixel by an interpolation calculation at the interpolation position.

The image processing apparatus according to claim 1, wherein the filter unit includes two low- pass filters having different cutoff frequencies.

3. The image processing according to claim 1, wherein the conversion magnification control means obtains the conversion magnification by adjusting a reference conversion magnification of the interpolation pixel that is arbitrarily set using the adjustment amount. apparatus.

An image processing apparatus for correcting and outputting an outline of an input image,
Filter means for detecting a predetermined frequency component of the picture image data,
Differentiating means for detecting a first derivative of the image data;
A value obtained by multiplying the predetermined frequency component by the first derivative is used to obtain an adjustment amount for adjusting the density of interpolation pixels for correcting the contour portion of the input image according to the change in the contour portion of the input image. Conversion magnification control means for obtaining the conversion magnification of each of the interpolation pixels using the adjustment amount;
An image processing apparatus comprising: an interpolation calculation unit that obtains an interpolation position of each of the interpolation pixels based on the conversion magnification and calculates pixel data of the interpolation pixel by an interpolation calculation at the interpolation position.

Interpolation calculation means, by accumulating the reciprocal of the conversion ratio in the horizontal and / or vertical direction, according to claim 1-4, characterized in that to calculate the interpolation position in the horizontal and / or vertical direction of the interpolation pixel The image processing apparatus according to any one of the above.

The image display apparatus comprising the image processing apparatus according to any one of claims 1-5.

An image processing method for converting the number of pixels of the input image by performing an interpolation calculation process on image data representing the input image,
Detecting a predetermined frequency component of the image data;
Detecting a first derivative of the image data;
A value obtained by multiplying the predetermined frequency component by the first derivative of the input image is used to obtain an adjustment amount for adjusting the density of interpolation pixels for interpolating the input image in accordance with the change in the image data. Determining the conversion magnification of each of the interpolated pixels using a quantity;
An image processing method comprising: calculating an interpolation position of each of the interpolation pixels based on the conversion magnification, and calculating pixel data of the interpolation pixel by an interpolation calculation at the interpolation position.

The image processing method according to claim 7, wherein the conversion magnification is obtained by adjusting a reference conversion magnification of the interpolation pixel that is arbitrarily set using the adjustment amount.

An image processing method for correcting and outputting an outline of an input image,
A step of detecting a predetermined frequency component of the upper outs image data,
Detecting a first derivative of the image data;
A value obtained by multiplying the predetermined frequency component by the first derivative is used to obtain an adjustment amount for adjusting the density of interpolation pixels for correcting the contour portion of the input image according to the change in the contour portion of the input image. Determining the conversion magnification of each of the interpolation pixels using the adjustment amount;
An image processing method comprising: calculating an interpolation position of each of the interpolation pixels based on the conversion magnification, and calculating pixel data of the interpolation pixel by an interpolation calculation at the interpolation position.

The interpolation position in the horizontal and / or vertical direction of the interpolated pixel is calculated by accumulating the reciprocal of the conversion magnification in the horizontal and / or vertical direction, according to any one of claims 7 to 9. The image processing method as described.