JP3695291B2 - Image processing apparatus, image display apparatus, and image processing method - Google Patents
Image processing apparatus, image display apparatus, and image processing method Download PDFInfo
- Publication number
- JP3695291B2 JP3695291B2 JP2000184816A JP2000184816A JP3695291B2 JP 3695291 B2 JP3695291 B2 JP 3695291B2 JP 2000184816 A JP2000184816 A JP 2000184816A JP 2000184816 A JP2000184816 A JP 2000184816A JP 3695291 B2 JP3695291 B2 JP 3695291B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- conversion
- image
- pixels
- conversion magnification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、デジタル画像を任意の倍率に拡大あるいは縮小する画像処理装置および画像表示装置，画像処理方法および画像表示方法に係わる。
【０００２】
【従来の技術】
図１４は、従来の画素数変換方法で画素数を３倍に変換した場合を示す図である。図において横軸は、画像の水平位置または垂直位置を示し、縦軸は、画像データのレベル（明るさ）を示す。水平方向と垂直方向の画素数の変換は、動作が同じであるので、水平方向の画素数変換の動作のみ説明する。
【０００３】
図１４のように入力画像データが平坦部（ｈ）と輪郭部（ｊ、ｋ）で構成されている場合、平坦部（ｈ）もレベル変化部（ｊ、ｋ）も一律に３倍に変換されるため、輪郭部は、ｊ１、ｋ１のように滑らかな輪郭に変換される。
【０００４】
図１５および図１６は、従来の画素数変換方法の詳細な動作を説明する図である。図においてｐ（ｎ）、ｐ（ｎ＋１）は入力画像データの隣接した２画素、ｑ（ｍ）は出力画像データの１画素、Ｆ（ｘ）は画素数変換に用いるフィルタのレスポンス特性の一例である。
【０００５】
ｐ（ｎ）とｐ（ｎ＋１）の距離を１とし、出力画像ｑ（ｍ）がｐ（ｎ）から距離ｒの位置の場合、出力画像ｑ（ｍ）は以下の式により求められる。
ｑ（ｍ）＝Ｆ（ｒ）×ｐ（ｎ）＋Ｆ（１−ｒ）×ｐ（ｎ＋１）
【０００６】
図１６に示したように出力画像データの画素ごと（ｑ１からｑ７）に上記演算を実施することで画素数を変換することができる。
【０００７】
上記実施の説明では、フィルタのレスポンス特性として図１５に示した線形フィルタを用いた場合を示したが、図１７のようなレスポンス特性のフィルタを用いて、輪郭部（ｊ１、ｋ１）の鮮鋭度を改善する場合もある。
【０００８】
また、図１８に示すように複数のレスポンス特性のフィルタを用意し、画像に応じて切り替える方式が、特開平９−２６６５３１号公報に開示されている。
【０００９】
【発明が解決しようとする課題】
従来の画像処理方法は、以上のように構成されているので、画像を拡大する場合に輪郭部分の鮮鋭度の低下や鮮鋭度を改善するために新たにアンダーシュート（プリシュート）やオーバーシュートが発生し、また、画像を縮小する場合に輪郭部の画素が欠けるなどのいわゆる輪郭部の画質劣化が発生するといった問題点がある。
【００１０】
また、画像に応じてフィルタを切り替えることで、フィルタの切り替わり部分で画像の連続性が損なわれるといった問題点もある。
【００１１】
この発明は、以上のような問題点を解決するためになされたもので、輪郭部の画質劣化を抑えて画像処理を行うこと、より詳しくは任意の倍率に変倍することを目的とする。
【００１２】
【課題を解決するための手段】
本発明に係る画像処理装置は、入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理装置であって、
上記入力画像を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する高域成分検出手段と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する画素数変換手段とを備えたものである。
【００１３】
また、本発明に係る画像処理装置は、入力画像の輪郭を補正して出力する画像処理装置であって、
上記入力画像の輪郭部を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する高域成分検出手段と、
上記特徴量に基づいて、上記入力画像の輪郭部を補正する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する補間演算手段とを備えたものである。
【００１４】
本発明に係る画像処理方法は、入力画像を表す画像データに補間演算処理を行うことにより、上記入力画像の画素数を変換する画像処理方法であって、
上記入力画像を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する工程と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたものである。
【００１５】
また、本発明に係る画像処理方法は、入力画像の輪郭を補正して出力する画像処理方法であって、
上記入力画像の輪郭部を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する工程と、
上記入力画像の輪郭部を補正する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたものである。
【００１６】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１における画像処理方法を説明するための説明図である。
図において横軸は、画像の水平位置あるいは垂直位置、縦軸は、画像データのレベル（明るさ）を示している。また、図中上段は、入力画像データ、下段は、前記入力画像データを拡大した場合を示している。
【００１７】
次に動作について説明する。
画素数の変換において、垂直画素数の変換と水平画素数の変換は、同様の動作によって実現されるので、ここでは、水平画素数の変換の動作について説明する。
【００１８】
入力画像データから画像のレベルの変化を検出し、平坦部（期間ａ）とレベル変化部に相当する輪郭部（期間ｂおよびｃ）を判別する（以降、簡単のためレベル変化部を輪郭部として説明する）。
【００１９】
さらに輪郭部は、画像のレベルが変化する前部（期間ｂ）と後部（期間ｃ）に判別する（この場合、入力画像データが元画像データであり、この元画像データ間のレベル変化より、元画像データにおける輪郭部を検出する（レベル変化検出工程）。ここで検出された輪郭部は複数の領域に分けられる）。
【００２０】
判別された画像の平坦部ａは、一定の変換倍率ｎで画素数を変換する。ここで、一定の変換倍率ｎとは、画像のフォーマット変換や画像を任意の倍率で拡大あるいは縮小するために必要な任意の倍率である。画像のフォーマット変換の一例として、パーソナルコンピュータ（ＰＣ）の出力フォーマットの１つである６４０画素×４８０ラインの画像を１０２４画素×７６８ラインの画像に変換する場合、変換倍率ｎは、１．６倍である。
【００２１】
一方、画像の輪郭部（ｂ、ｃ）では、画像の変化量に応じて変換倍率を制御する。すなわち、複数の領域に分けられた輪郭部では、それぞれの領域に対応する新たな画像データを生成する際の生成条件（ここでいう生成条件とは、例えば、変換倍率である）が異なる。より具体的には、輪郭の前部ｂは、平坦部ａより高い倍率で変換し、後部ｃは、平坦部ａより低い倍率で画素数を変換する（レベル変化検出工程により得られる検出結果に基づいて輪郭部に対応する元画像データからレベル変化（輪郭）部に対応する新たな画像データを生成する際の生成条件を生成する生成条件工程、生成条件に基づいてレベル変化（輪郭）部に対応する元画像データからレベル変化（輪郭）部に対応する新たな画像データを生成する画像データ生成工程を含む）。
【００２２】
図２は、入力画像データを縮小する場合を示した図である。画像の平坦部ａは、一定の変換倍率で縮小し、輪郭の前部ｂは、平坦部ａより高い倍率で変換し、輪郭の後部ｃは、平坦部ａより低い倍率で変換する（輪郭部が複数の領域に分けられ、それぞれの領域に対応する生成条件を異ならせている（あるいは生成条件が異なっている）。この場合、複数の領域の内の、少なくとも隣接する２つの領域に関して異なっていることが必要である。
【００２３】
上記動作を画像の水平方向と垂直方向に実施することで、画素数を変換することができる。
【００２４】
なお、水平方向の画素数変換と垂直方向の画素数変換は、順次実施することも同時に実施することもできる。
【００２５】
また、水平方向の変換倍率と垂直方向の変換倍率は、異なる倍率でも良い。
【００２６】
なお、以上に説明した動作は、表示画面上の水平方向について説明しているが、垂直方向に同様の動作を施せば、垂直方向の画像処理を実現できる。
【００２７】
また、表示画面上の水平方向（垂直方向）について輪郭部を検出した場合には、水平方向（輪郭部の検出が垂直方向の場合には垂直方向）における新たな画像データの生成条件を出力するが、輪郭検出を行う場合に水平方向（垂直方向）に対応する互いに隣接する元画像データ間のレベル変化を検出すると、処理が単純化され、装置を簡略化することができる。
【００２８】
以下、さらに図面を参照しながら、より詳細な形態について説明する。
図３は、この発明の実施の形態１における画像表示装置を表す図である。図において、１は画像信号の入力端子、２は同期信号の入力端子、３はＡ／Ｄ変換手段、４は画像調整手段、５は入力された元画像データを記憶するメモリ手段、６は画素数変換器、７は画像調整手段、８はＤ／Ａ変換手段、９は表示手段、１０は制御手段である。
【００２９】
画像信号と同期信号が入力端子１、２に入力される。制御手段１０は、入力端子２に入力された同期信号を基準に所定の周波数のサンプリングクロックと画像調整手段４以降を制御するクロックやタイミング信号を発生する。Ａ／Ｄ変換手段３は、入力端子１に入力された画像信号を制御手段１０が出力したサンプリングクロックでサンプリングし、デジタルの画像データに変換する。Ａ／Ｄ変換手段３で変換された画像データは、画像調整手段４に入力され、所望の画像調整が施される。
【００３０】
ここで、所望の画像調整とは、例えばメモリ手段５以降を３原色のデータとして処理する場合に、入力画像信号として輝度信号と色信号が入力される場合やコンポジット信号が入力される場合は、輝度信号と色信号から３原色のデータへの変換やコンポジット信号から３原色のデータへの変換、あるいは、その逆に３原色の信号が入力され，メモリ手段５以降を輝度信号と色信号で処理する場合は、３原色のデータから処理に適した形式のデータへの変換などが考えられる。さらに、明るさやコントラストの調整など、画素数変換とは独立した任意の画像調整が施されても良い。
【００３１】
画像調整手段４で処理された画像データは、メモリ手段５に一時的に記憶される（記憶工程）。ここで、メモリ手段５は、以降の画素数変換に必要な画素を記憶できるだけ（少なくとも２ライン以上）の容量を持つ。
【００３２】
次に、制御手段１０の制御によって、メモリ手段５から所定のタイミングで画像データが読み出されるが、必ずしもサンプリングクロックと同一のタイミングでなくても良く、表示手段９を制御するのに必要な任意の周波数で読み出すことができる。
【００３３】
メモリ手段５から読み出された画像データＰｉは、画素数変換器６に入力され、前述したように、画像の輪郭部において、画像のレベルの変化量に応じて変換倍率が制御されながら画素数の変換が行われ、変換後の画像データＰｏが出力される。
【００３４】
画素数変換器６が出力した画像データは、画像調整手段７に入力され、所望の画像調整が施される。ここで、所望の画像調整とは、明るさ、コントラスト、彩度の調整や階調制御などの画素数変換に独立した各種処理および補正や、表示手段９に入力するための信号形式の変換などが含まれる。
【００３５】
画像調整手段７で処理された画像データは、Ｄ／Ａ変換手段８に入力され、アナログの画像信号に変換される。Ｄ／Ａ変換手段８で変換された画像信号は、表示手段９に入力され、制御手段１０の制御により所定のタイミングで表示される。
【００３６】
なお、図３では、Ｄ／Ａ変換手段８でアナログの画像信号に変換して、表示手段９に入力する構成について示したが、表示手段９がデジタルの画像データを直接入力して表示できる場合は、Ｄ／Ａ変換手段８を省略することができる（この表示手段９における動作が表示工程に対応する）。
【００３７】
次に、画素数変換器６のより詳細な動作について説明する。
ここで画素数変換器６は水平、垂直のそれぞれの方向に独立に画素数変換を行うように構成して良いが、ここでは垂直方向および水平方向の両方向に対して画素数変換を行う場合について説明する。
【００３８】
図４は、この発明の実施の形態１における画素数変換器６の詳細な構成を示す図である。
図において、１１は、垂直画素数変換手段、１２は、垂直高域成分検出手段、１３は、垂直変換倍率制御手段、１４は、水平画素数変換手段、１５は、水平高域成分検出手段、１６は、水平変換倍率制御手段である。
【００３９】
垂直高域成分検出手段１２は、画像データＰｉの垂直方向の高域成分（レベルの変化量）として、垂直方向の１次微分結果ｖｄ１と２次微分結果ｖｄ２を出力する。ここで、画像データＰｉは、図３に示したメモリ手段５から読み出された画像データで、垂直画素数変換手段１１および垂直高域成分検出手段１２が必要とする複数の画素で構成される。
【００４０】
垂直変換倍率制御手段１３は、垂直高域成分検出手段１２が出力する垂直方向の高域成分ｖｄ１、ｖｄ２から垂直方向の変換倍率ｖｃ１を求め、垂直画素数変換手段１１に出力する。垂直画素数変換手段１１は、垂直方向の変換倍率ｖｃ１に基づいて入力画像の垂直方向の画素数を変換し、変換結果Ｐｖを出力する。
【００４１】
次に、水平高域成分検出手段１５は、垂直画素数変換手段１１が出力した画像データＰｖの水平方向の高域成分（レベルの変化量）として、水平方向の１次微分結果ｈｄ１と水平方向の２次微分結果ｈｄ２を出力する。水平変換倍率制御手段１６は、水平高域成分検出手段１５が出力する水平方向の高域成分ｈｄ１、ｈｄ２から水平方向の変換倍率ｈｃ１を求め、水平画素数変換手段１４に出力する。水平画素数変換手段１４は、水平方向の変換倍率ｈｃ１に基づいて入力画像の水平方向の画素数を変換し、変換結果Ｐｏを出力する。
【００４２】
上述の説明においては、垂直および水平の両方向に画素数変換を施す構成例について述べたが、以下では画素数変換の動作について述べる。なお、理解し易くするために水平方向の画素数変換の動作について説明する。
【００４３】
図４に示す構成において、垂直高域成分検出手段１２、水平高域検出手段１５は輪郭検出手段として機能し、垂直変換倍率制御手段１３、水平変換倍率制御手段１６は生成条件生成手段として機能し、垂直画素数変換手段１１、水平画素数変換手段１４は画像データ生成手段として機能する（もちろん、垂直、水平のいずれか一方のデータ処理のための構成、例えば垂直方向に対する新たな画像データ生成においては、垂直高域成分検出手段１２、垂直変換倍率制御手段１３、垂直画素数変換手段１１のみによって画像処理系が構成されていても良く、水平方向に関しても同様である）。
【００４４】
なお、図３、４に示した構成を参照して説明したが、メモリ手段５からの出力Ｐｉに対して、垂直高域成分検出手段１２の直前に雑音除去のための低域濾波器（ローパスフィルタ：ＬＰＦ）を設けても良い。この場合、垂直画素数変換手段１１には出力Ｐｉをそのまま入力し、垂直高域成分検出手段１２にはこの直前に設けられるＬＰＦの出力を入力する。このようにすると、出力Ｐｉ上に存在する雑音を輪郭部として処理することがなくなり、輪郭部のみ的確に処理することが可能となる（この場合には、垂直高域成分検出手段１２およびＬＰＦにより輪郭検出手段が構成される）。
【００４５】
もちろん、このようなＬＰＦは水平高域成分検出手段１５の直前に配置することもでき、垂直方向のデータ処理と同様の効果を水平方向に対して得ることができる（この場合には、水平高域成分検出手段１５およびＬＰＦにより輪郭検出手段が構成される）。もちろん垂直方向、水平方向のいずれか一方向、あるいは両方向に対してこれらの構成を採用することが可能である。
【００４６】
なお、以上の説明においては、垂直方向には垂直高域成分検出手段１２あるいはその前段にＬＰＦを設けるものについて述べたが、垂直変換倍率制御手段１３の前段がバンドパスフィルタ（ＢＰＦ）であっても同様の効果を期待できる（これは言うまでもなく、水平方向に対しても同様の構成を採用すれば同様の効果を得ることができる）。この場合には、垂直高域成分検出手段１２およびＬＰＦ（あるいは水平高域成分検出手段１５およびＬＰＦ）により輪郭検出手段が構成される。
【００４７】
また、垂直高域成分検出手段１２（あるいは水平高域成分検出手段１５）、あるいは垂直高域成分検出手段１２およびＬＰＦ（あるいは水平高域成分検出手段１５およびＬＰＦ）により輪郭検出手段を構成したが、垂直高域成分検出手段１２（あるいは水平高域成分検出手段１５）の後段あるいは垂直変換倍率制御手段１３（あるいは水平変換倍率制御手段１６）の前段に不感帯を設けるためのコアリング手段を設けることもでき、これによっても上述したものと同様の効果を得ることができる。
【００４８】
図５は、水平画素数の変換の動作を詳細に説明する図である。
図５のｈｄ１およびｈｄ２は、画像データＰｖに対応する水平方向の１次微分結果と２次微分結果を示す。水平変換倍率ｈｃ１は、
ｈｃ１＝ｎ＋ｋ×ｈｄ１×ｈｄ２
で示されるように、任意の変換倍率ｎに１次微分結果ｈｄ１と２次微分結果ｈｄ２を掛け合わせたものに任意の数ｋを乗じた結果を加算したものである。この結果、期間ａは、任意の変換倍率ｎ、期間ｂでは、ｎより高い倍率、期間ｃでは、ｎより低い倍率で画素数が変換されることになる。ただし、以下の式で示されるように１ラインにおける水平変換倍率ｈｃ１の平均値は、ｎであるので、画像の変換倍率は局部的に上下するが、画像全体の変換倍率はｎとなる。
ＡＶＥ（ｈｃ１）＝ｎ
ただし、ＡＶＥ（ｘ）は変倍率ｘの１ラインの平均値を示す。
【００４９】
なお、以上の説明においては、水平変換倍率ｈｃ１を任意の倍率ｎに１次微分結果ｈｄ１と２次微分結果ｈｄ２の掛け合わせたものに任意の数ｋを乗じた結果を加算する場合について示したが、任意の数ｋを乗じた結果に最大値と最小値の制限を設けたり、任意の数ｋを乗ずる代わりに非線形の変換を行うことで、任意の特性を有する輪郭部分において変換倍率を自由に制御することができるようになる。
【００５０】
なお、垂直方向においても、上述の水平方向の画素数変換と同様の動作であり、この垂直の場合においても垂直方向の画素数の平均値はｎとなる（垂直方向の変換倍率がｎの場合。もちろん水平方向、垂直方向の変換倍率はそれぞれ独立に設定することができる）。
【００５１】
図６は、図５の輪郭部分における画素数変換の動作をより詳細に説明するための説明図である。
【００５２】
画像データＰｖの画素の一部（ｐ１、ｐ２、ｐ３）は、上記動作によって、ｑ１１〜ｑ１７のように変換される。期間ｂでは、期間ａより画素の密度が高くなり、期間ｃでは、期間ａより画素の密度が低くなる。この結果（ｑ１１〜ｑ１７）が表示手段９では、ｓ１１〜ｓ１７に示したように等しい間隔で表示されるので、画素密度が高い部分は、ｎより高い倍率で拡大され、画素密度の低い部分では、ｎより低い倍率で拡大されることになる。
【００５３】
更に述べると、ｑ１１とｑ１２の距離は，ｐ１とｐ２の距離（処理前の画素の間隔）を１とした場合，ｑ１２における変換倍率の逆数で示される。また、ｑ１１からｑ１３の距離は，ｑ１１からｑ１２の距離にｑ１３における変換倍率の逆数を加算すればよい。このように、水平変換倍率制御手段１６が出力する変換倍率ｈｃ１の逆数を水平方向に累積加算することで，各画素の位置が求められる。
【００５４】
より具体的には，この累積加算結果から，処理に必要な画素（例えば，ｐ１、ｐ２、ｐ１などの画素が記憶されたメモリ手段のアドレス）やフィルタ係数（フィルタ係数の番号やフィルタ係数そのものを指し示す）を求めることができる。
【００５５】
上記動作によって、画像データＰｖの画素の一部（ｐ１、ｐ２、ｐ３）は、ｑ１１〜ｑ１７のように変換される。期間ｂでは、期間ａより画素の密度が高くなり、期間ｃでは、期間ａより画素の密度が低くなる。より具体的には，この結果（ｑ１１〜ｑ１７）が表示手段９では、ｓ１１〜ｓ１７に示したように等しい間隔で表示されるので、画素密度が高い部分は、ｎより高い倍率で拡大され、画素密度の低い部分では、ｎより低い倍率で拡大されることになる。
【００５６】
なお、上記動作の説明では、画像を拡大する場合について説明したが、画像を縮小する場合も同様で、期間ｂでｎより高い倍率で縮小され、期間ｃでは、ｎより低い倍率で縮小される。
【００５７】
したがって、任意の変換倍率ｎが１より大きい場合は、輪郭部の鮮鋭度を損なうことなく画像が拡大され、１より小さい場合は、輪郭部の画像の欠けが減るように画像が縮小される。すなわち、拡大、縮小の両方において入力画像の輪郭情報を保存する効果がある。
【００５８】
また、任意の数ｋを大きく取ることで、入力画像の輪郭の鮮鋭度を高くすることができ、任意の数ｋによって輪郭部の鮮鋭度を制御することができる。
【００５９】
また、任意の変換倍率ｎが１の時は、画像全体の拡大・縮小は行われず、輪郭部の鮮鋭度のみが制御される。
【００６０】
また、任意の変換倍率ｎと任意の数ｋを垂直方向と水平方向で独立に設定することで、水平方向の変換倍率と水平方向の輪郭の鮮鋭度、および垂直方向の変換倍率と垂直方向の輪郭の鮮鋭度を独立に制御することができる。
【００６１】
例えば、垂直方向の変換倍率ｎを２に設定し、水平方向の変換倍率ｎを１に設定することで、インタレース画像からノンインタレース画像に変換（走査線補間）することができ、水平方向と垂直方向の輪郭を独立に所望の鮮鋭度に制御できる。
【００６２】
なお、上記動作の説明では、画素数変換の動作として垂直方向の画素数変換と水平方向の画素数変換の動作を順次実施する場合について説明したが、水平方向の画素数を変換した後に垂直方向の画素数を変換しても同様の効果を得ることができる。
【００６３】
また、垂直方向の画素数変換と水平方向の画素数変換を同時に実施しても同様の効果を得ることができる。
【００６４】
また、上記動作の説明では、画素数の変換に用いるフィルタとして線形フィルタの場合について説明したが、非線形などの任意の形のフィルタを用いることができる。
【００６５】
図７は、画素数変換器６で垂直方向と水平方向の画素数変換を同時に行う場合の構成を示す図である。図において１７は、画素数変換手段、１８は、高域成分検出手段、１９は、変換倍率制御手段である。高域成分検出手段１８は、画像データＰｉの垂直および水平方向の変化量として１次微分結果ｄ１と２次微分結果ｄ２を出力する。変換倍率制御手段１９は、１次微分結果ｄ１と２次微分結果ｄ２に基づいて変換倍率ｃ１を決定し、画素数変換手段１７に出力する。画素数変換手段１７は、変換倍率ｃ１に基づいて垂直方向と水平方向の画素数を同時に二次元的に変換する。
【００６６】
なお、高域成分検出結果ｄ１、ｄ２と変換倍率ｃ１の関係は、図５のｈｄ１、ｈｄ２およびｈｃ１の関係と同様であるので、詳細な説明は省略する。
【００６７】
実施の形態２．
実施の形態１においては、画像の高域成分（レベルの変化量）として１次微分結果と２次微分結果を用いて、変換倍率を制御する構成について説明したが、隣接する画素の１次微分結果のみを用いて変換倍率を制御することにより、構成を簡略化することができる。
【００６８】
以下、画素数変換器６のより詳細な動作について説明する。
ここで画素数変換器６は水平、垂直のそれぞれの方向に独立に画素数変換を行うように構成して良いが、ここでは垂直方向および水平方向の両方向に対して画素数変換を行う場合について説明する。
【００６９】
図８は、実施の形態２における画素数変換器６を示す図である。
図において２０は、垂直高域成分検出手段、２１は、垂直変換倍率制御手段、２２は、水平高域成分検出手段、２３は、水平変換倍率制御手段である。
【００７０】
垂直高域成分検出手段２０は、画像データＰｉの垂直方向の高域成分（レベルの変化量）として、垂直方向に隣接する画素の１次微分結果ｖｄ１を出力する。垂直変換倍率制御手段２１は、垂直高域成分検出手段２０が出力する垂直方向の１次微分結果ｖｄ１から垂直方向の変換倍率ｖｃ２を求め、垂直画素数変換手段１１に出力する。垂直画素数変換手段１１は、垂直方向の変換倍率ｖｃ２に基づいて入力画像の垂直方向の画素数を変換し、変換結果Ｐｖを出力する。
【００７１】
次に水平高域成分検出手段２２は、垂直画素数変換手段１１が出力した画像データＰｖの水平方向の高域成分（レベルの変化量）として、水平方向に隣接した画素の１次微分結果ｈｄ１を出力する。水平変換倍率制御手段２３は、水平高域成分検出手段２２が出力する水平方向の一次微分結果ｈｄ１から水平方向の変換倍率ｈｃ２を求め、水平画素数変換手段１４に出力する。水平画素数変換手段１４は、水平方向の変換倍率ｈｃ２に基づいて入力画像の水平方向の画素数を変換し、変換結果Ｐｏを出力する。
【００７２】
上述の説明においては、垂直および水平の両方向に画素数変換を施す構成例について述べたが、以下では画素数変換の動作について述べる。なお、理解し易くするために水平方向の画素数変換の動作について説明する。
【００７３】
図９は、水平画素数の変換の動作を詳細に説明する図である。
図９のｈｄ１は、画像データＰｖに対応する水平方向の１次微分結果である。水平変換倍率ｈｃ２は、任意の変換倍率ｎに１次微分結果ｈｄ１の前半を正、後半を負に変換した結果に任意の数ｋを乗じたものを加算する。１次微分結果ｈｄ１の具体的な極性変換の方法は、後述する。なお、任意の変換倍率ｎと任意の数ｋは、実施の形態１と同様である（輪郭検出工程。ここで検出された輪郭部は複数の領域に分けられる）。
【００７４】
この結果、ｈｃ２の期間ａは、任意の変換倍率ｎ、期間ｂでは、ｎより高い倍率、期間ｃでは、ｎより低い倍率で画素数が変換されることになる。すなわち、複数の領域に分けられた輪郭部それぞれの領域に対応する新たな画像データを生成する際の生成条件（例えば、ここでいう生成条件とは変換倍率である）が異なる。
【００７５】
ここでは、輪郭検出工程により得られる検出結果に基づいて輪郭部に対応する元画像データ（入力画像データ）から輪郭部に対応する新たな画像データを生成する際の生成条件を生成する生成条件工程、生成条件に基づいて輪郭部に対応する元画像データから輪郭部に対応する新たな画像データを生成する画像データ生成工程を含む。
【００７６】
なお、以上に説明した動作は、表示画面上の水平方向について説明しているが、垂直方向に同様の動作を施せば、垂直方向の画像処理を実現できる。
【００７７】
図１０は、図９の輪郭部分における画素数変換の動作をより詳細に説明する図である。
図１０を用いて前述したｈｄ１の極性変換の具体例を説明する。
【００７８】
１次微分結果ｈｄ１は、入力画像データｐ４、ｐ５の微分結果であり、ｈｄ１の極性の変換は、ｐ４、ｐ５の中央付近を境に前半が正、後半が負になるように変換すればよい。より具体的には、ｈｃ２は以下の式で示すことができる。
０≦ｒ＜０．５のとき
ｈｃ２＝ｎ＋ｋ×ａｂｓ（ｈｄ１）
０．５≦ｒ＜１．０のとき
ｈｃ２＝ｎ−ｋ×ａｂｓ（ｈｄ１）
ここで、ａｂｓ（ｘ）は、ｘの絶対値を表し、ｒは、ｐ４とｐ５の距離を１とした場合の、変換倍率ｎにおける出力画像の画素の位置を示す。ただし、以下の式で示されるように１ラインにおける水平変換倍率ｈｃ２の平均値は、ｎであるので、画像の変倍率は局部的に上下するが、画像全体の変換倍率はｎとなる。
ＡＶＥ（ｈｃ２）＝ｎ
【００７９】
上記式では、ｐ４、ｐ５の中央付近を境に１次微分結果ｈｄ１の極性を変換する場合について示したが、これに限るものではなく、任意の境界を設定して、境界の前後で個別の係数を乗じて画面全体の変換倍率がｎになるようにしても良い。ｈｄ１の極性を変換する境界をｉ（ただし、０＜ｉ＜１）とすると、以下の式で示すことができる。
０≦ｒ＜ｉのとき
ｈｃ２＝ｎ＋（１−ｉ）×ｋ×ａｂｓ（ｈｄ１）
ｉ≦ｒ＜１．０のとき
ｈｃ２＝ｎ−ｉ×ｋ×ａｂｓ（ｈｄ１）
【００８０】
なお、垂直方向についても、上述の水平方向の画素数変換と同様の動作であり、この垂直の場合においても垂直方向の画素数の平均値はｎとなる（垂直方向の変換倍率がｎの場合。もちろん水平方向、垂直方向の変換倍率はそれぞれ独立に設定することができる）。
【００８１】
図１０におけるｑ２０とｑ２１の距離は，ｐ４とｐ５の距離（処理前の画素の間隔）を１とした場合，ｑ２１における変換倍率ｈｃ２の逆数で示される。また、ｑ２０からｑ２２の距離は，ｑ２０からｑ２１の距離にｑ２２における変換倍率ｈｃ２の逆数を加算すればよい。このように、水平変換倍率制御手段２３が出力する変換倍率ｈｃ２の逆数を水平方向に累積加算することで，各画素の位置が求められる。より具体的には，この累積加算結果から，処理に必要な画素（例えば，ｐ４、ｐ５などの画素が記憶されたメモリ手段のアドレス）やフィルタ係数（フィルタ係数の番号やフィルタ係数そのものを指し示す）を求めることができる。
【００８２】
上記動作によって、入力画像データの画素の一部（ｐ４、ｐ５）は、ｑ２０〜ｑ２５のように変換される。期間ｂでは、期間ａより画素の密度が高く、期間ｃでは、期間ａより画素の密度が低くなる。この結果（ｑ２０〜ｑ２５）が表示手段９では、ｓ２０〜ｓ２５に示したように等しい間隔で表示されるので、画素密度が高い部分は、ｎより高い倍率で拡大され、画素密度の低い部分では、ｎより低い倍率で拡大されることになる。
【００８３】
なお、図１０および上記動作の説明では，１次微分で参照する画素が２画素（ｐ４、ｐ５）の場合について説明したが、これに限るものではなく，１次微分で参照する画素は、任意の数でよく、このとき，上記式で示したｒおよびｉは、参照する画素の両端の距離を１として考えればよい。
【００８４】
その他の動作については、実施の形態１と同様であるので、説明を省略する。
【００８５】
図１１は、垂直方向と水平方向の画素数変換を同時に行う場合の構成を示す図である。図において２４は、高域成分検出手段、２５は、変換倍率制御手段である。高域成分検出手段２４は、画像データＰｉの垂直および水平方向の変化量として１次微分結果ｄ１を出力する。変換倍率制御手段２５は、１次微分結果ｄ１に基づいて変換倍率ｃ２を決定し、画素数変換手段１７に出力する。画素数変換手段１７は、変換倍率ｃ２に基づいて垂直方向と水平方向の画素数を同時に変換する（二次元的に変換する）。
【００８６】
なお、高域成分検出結果ｄ１と変換倍率ｃ２の関係は、図９および図１０のｈｄ１、ｈｃ２と同様であるので、詳細な説明は省略する。
【００８７】
実施の形態３．
なお、上記実施の形態１および２においては、入力される画像信号がアナログ信号の場合について示したが、これに限るものではなく、デジタルの画像データが入力されても良い。
【００８８】
図１２は、この発明の実施の形態３における画像表示装置を示す図である。
図において、２６は、デジタル画像データの入力端子、２７は、デジタルデータを直接入力することができる表示手段、２８は、制御手段である。
【００８９】
次に動作について説明する。
デジタルの画像データが入力端子２６に入力され、入力端子２６に入力された画像データは、画像調整手段４に入力される。また、同期信号が入力端子２に入力され、入力端子２に入力された同期信号は、制御手段２８に入力される。
【００９０】
画像調整手段４、メモリ手段５、画素数変換器６、画像調整手段７は、制御手段２８の制御により、実施の形態１および実施の形態２と同様の動作により、画素数の変換とその他の画像処理を行う。画像調整手段７が出力した画像データは、表示手段２７に直接入力され、制御手段２８の制御により所定のタイミングで表示される。その他の詳細な動作の説明は、実施の形態１および実施の形態２と同様であるので、説明は省略する。
【００９１】
なお、上記実施の形態３における動作の説明では、デジタル画像データを直接入力できる表示手段２７を用いて説明したが、表示手段２７の代わりに実施の形態１に示したＤ／Ａ変換手段８および表示手段９を用いて構成することもできる。
【００９２】
実施の形態４．
なお、上記実施の形態１から３では、ハードウェアによって画素数を変換する構成について説明したが、ソフトウェアによって画素数の変換を行うこともできる。図１３は、ソフトウェア処理（もちろん、ソフトウェア、ハードウェアが混在していても良い）による画素数変換の動作（画像処理方法・画像表示方法）を説明するフローチャートである。
【００９３】
次に動作について説明する。
ここで、画素数変換は、水平、垂直のそれぞれの方向に独立に画素数変換を行うように構成して良いが、ここでは垂直方向および水平方向の両方向に対して画素数変換を行う場合について説明する。
【００９４】
（図中Ａのフローによる垂直方向のデータ生成動作の開始）データ抽出部において、画素数を変換する画像データ（図４のＰｉに相当）から着目画素に対する垂直高域成分の算出とフィルタ演算に必要な複数の画素データを抽出する。
【００９５】
垂直高域成分算出部において、データ抽出部で抽出された複数の画素データから垂直方向の１次微分結果（図４のｖｄ１に相当）と垂直方向の２次微分結果（図４のｖｄ２に相当）を算出する（ここまでがレベル変化検出工程に相当する）。
【００９６】
垂直変換倍率算出部では、垂直高域成分算出部で算出された１次微分結果と２次微分結果および画像全体の変換倍率（図５のｎに相当）から着目画素に対する垂直方向の変換倍率（図４のｖｃ２に相当）を算出する（生成条件生成工程）。
【００９７】
フィルタ演算部では、垂直変換倍率演算部で算出された変換倍率とデータ抽出部で抽出された複数の画素データからフィルタ演算を実施し、演算結果を保存する（画像データ生成工程）。
【００９８】
上記動作を着目画素が画像の端に達するまで繰り返す。ここで、画像の端とは、画像の左側から演算する場合は、画像の右端を示す。
【００９９】
着目画素が画像の端に達した場合は、着目画素を次のラインに移動し上記演算を実施する。この動作を全画素に実施することで、垂直方向の画素数の変換が完了する（図中Ａのフローによる動作の終了）。
【０１００】
（図中Ｂのフローによる水平方向のデータ生成動作の開始）次のデータ抽出部では、垂直方向の画素数が変換された画像データ（図４のＰｖに相当）から、着目画素に対する水平高域成分の算出とフィルタ演算に必要な複数の画素データを抽出する。水平高域成分算出部において、データ抽出部で抽出された複数の画素データから水平方向の１次微分結果（図４のｈｄ１に相当）と水平方向の２次微分結果（図４のｈｄ２に相当）を算出する。水平変換倍率算出部では、水平高域成分算出部で算出された１次微分結果と２次微分結果および画像全体の変換倍率（図５のｎに相当）から着目画素に対する水平方向の変換倍率（図４のｈｃ２に相当）を算出する。フィルタ演算部では、水平変換倍率演算部で算出された変換倍率（新たな画像データを生成する際の生成条件）とデータ抽出部で抽出された複数の画素データからフィルタ演算を実施し、演算結果を保存する。
【０１０１】
次に上記動作を着目画素が画像の端に達するまで繰り返す。
【０１０２】
着目画素が画像の端に達した場合は、着目画素を次のラインに移動し上記演算を実施する。この動作を全着目画素に実施することで、画素数の変換が完了する（図中Ｂのフローによる動作の終了）。
【０１０３】
なお、上記動作の説明では、垂直方向の画素数を変換した後に水平方向の画素数を変換する場合について示したが、水平方向の画素数を変換した後に垂直方向の画素数を変換しても良い（すなわち、図中Ｂのフローによる動作を先に実施した後、図中Ａのフローによる動作が行われても良い）。また、先に述べたように、図中Ａのフローによる動作と、図中Ｂのフローによる動作のいずれか一方の動作が実施されても良い。
【０１０４】
また、上記動作の説明では、垂直および水平の画素数を変換する際に着目画素を画像の左から右、上から下の順番で演算する場合について示したが、この限りではなく、任意の方向から演算しても同様の結果を得ることができる。
【０１０５】
なお、先に述べた変倍率に対応する１ラインの平均値ｎ（垂直、水平のいずれかの方向の変換倍率がｎのとき。もちろん、垂直、水平各方向の変換倍率はそれぞれ独立に設定することができる）は、垂直、水平の両方向（両方向に変換倍率がｎであるとき）あるいはいずれか一方の方向において成立するように構成する。
【０１０６】
【発明の効果】
本発明に係る画像処理装置および画像処理方法によれば、画素データの変化を表す特徴量に基づいて各補間画素の変換倍率を指定し、指定された変換倍率に基づいて補間画素の画素データを算出するので画像の輪郭部における鮮鋭度を損なうことなく画像の拡大処理を行うことができる。
また、入力画像の輪郭部を構成する画素データの変化を表す特徴量に基づいて入力画像の輪郭部を補正する補間画素の変換倍率を当該補間画素の各々について指定し、指定された変換倍率に基づいて補間画素の画素データを算出するので、画像の輪郭部の鮮鋭度を向上させ、より鮮明な画像を得ることができる。
【図面の簡単な説明】
【図１】 実施の形態１における画像処理動作を示す図である。
【図２】 実施の形態１における画像処理動作を示す図である。
【図３】 実施の形態１における画像表示装置の構成を示す図である。
【図４】 実施の形態１における画像処理装置の構成を示す図である。
【図５】 実施の形態１における画像処理動作を示す図である。
【図６】 実施の形態１における画像処理動作を示す図である。
【図７】 実施の形態１における画像処理装置の別の構成を示す図である。
【図８】 実施の形態２における画像処理装置の構成を示す図である。
【図９】 実施の形態２における画像処理動作を示す図である。
【図１０】 実施の形態２における画像処理動作を示す図である。
【図１１】 実施の形態２における画像処理装置の別の構成を示す図である。
【図１２】 実施の形態３における画像表示装置の構成を示す図である。
【図１３】 実施の形態４における画像処理動作のフローチャートである。
【図１４】 従来の画像処理動作を示す図である。
【図１５】 従来の画像処理動作を示す図である。
【図１６】 従来の画像処理動作を示す図である。
【図１７】 従来の画像処理手段のレスポンス特性の一例を示す図である。
【図１８】 従来の画像処理手段のレスポンス特性の一例を示す図である。
【符号の説明】
１ 入力端子、２ 入力端子、３ Ａ／Ｄ変換手段、４ 画像調整手段、５ メモリ手段、６ 画素数変換器、７ 画像調整手段、８ Ｄ／Ａ変換手段、９ 表示手段、１０ 制御手段、１１ 垂直画素数変換手段、１２ 垂直高域成分検出手段、１３ 垂直変換倍率制御手段、１４ 水平画素数変換手段、１５ 水平高域成分検出手段、１６ 水平変換倍率制御手段、１７ 画素数変換手段、１８ 高域成分検出手段、１９ 変換倍率制御手段、２０ 垂直高域成分検出手段、２１ 垂直変換倍率制御手段、２２ 水平高域成分検出手段、２３ 水平変換倍率制御手段、２４ 高域成分検出手段、２５ 変換倍率制御手段、２６ 入力端子、２７ 表示手段、２８ 制御手段。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, an image display apparatus, an image processing method, and an image display method for enlarging or reducing a digital image at an arbitrary magnification.
[0002]
[Prior art]
FIG. 14 is a diagram illustrating a case where the number of pixels is converted to three times by a conventional pixel number conversion method. In the figure, the horizontal axis indicates the horizontal position or vertical position of the image, and the vertical axis indicates the level (brightness) of the image data. Since the operations for converting the number of pixels in the horizontal direction and the vertical direction are the same, only the operation for converting the number of pixels in the horizontal direction will be described.
[0003]
As shown in FIG. 14, when the input image data is composed of a flat portion (h) and a contour portion (j, k), the flat portion (h) and the level changing portion (j, k) are uniformly converted to three times. Therefore, the contour portion is converted into a smooth contour such as j1 and k1.
[0004]
15 and 16 are diagrams for explaining the detailed operation of the conventional pixel number conversion method. In the figure, p (n) and p (n + 1) are two adjacent pixels of input image data, q (m) is one pixel of output image data, and F (x) is an example of response characteristics of a filter used for pixel number conversion. is there.
[0005]
When the distance between p (n) and p (n + 1) is 1, and the output image q (m) is located at a distance r from p (n), the output image q (m) is obtained by the following equation.
q (m) = F (r) * p (n) + F (1-r) * p (n + 1)
[0006]
As shown in FIG. 16, the number of pixels can be converted by performing the above calculation for each pixel (q1 to q7) of the output image data.
[0007]
In the above description, the case where the linear filter shown in FIG. 15 is used as the response characteristic of the filter is shown. However, the sharpness of the contour (j1, k1) is obtained using the filter having the response characteristic as shown in FIG. May be improved.
[0008]
Further, as shown in FIG. 18, a method of preparing a plurality of response characteristic filters and switching them according to an image is disclosed in Japanese Patent Laid-Open No. 9-266531.
[0009]
[Problems to be solved by the invention]
Since the conventional image processing method is configured as described above, when the image is enlarged, a new undershoot (pre-shoot) or overshoot is required to reduce the sharpness of the contour portion or to improve the sharpness. In addition, there is a problem in that when the image is reduced, so-called image quality deterioration of the contour portion occurs such as a pixel of the contour portion is missing.
[0010]
In addition, there is a problem that the continuity of the image is lost at the filter switching portion by switching the filter according to the image.
[0011]
The present invention has been made to solve the above-described problems, and it is an object of the present invention to perform image processing while suppressing deterioration in image quality of a contour portion, and more specifically, to change the magnification to an arbitrary magnification.
[0012]
[Means for Solving the Problems]
An image processing apparatus according to the present invention is an image processing apparatus that converts the number of pixels of the input image by performing an interpolation calculation process on image data representing the input image,
High-frequency component detection means for detecting a first derivative and a second derivative in the horizontal and / or vertical direction of pixel data constituting the input image;
The conversion magnification obtained for each of the interpolation pixels that interpolate the input image, and the value of the conversion magnification that locally changes the density of the interpolation pixels is calculated using the product of the first derivative and the second derivative. A conversion magnification control means for calculating;
It comprises pixel number conversion means for obtaining an interpolation position of each of the interpolation pixels based on the conversion magnification and calculating pixel data of the interpolation pixels by interpolation calculation at the interpolation position.
[0013]
An image processing apparatus according to the present invention is an image processing apparatus that corrects the contour of an input image and outputs the corrected image.
High-frequency component detection means for detecting a first derivative and a second derivative in the horizontal and / or vertical direction of pixel data constituting the contour portion of the input image;
Based on the feature amount, the conversion magnification obtained for each of the interpolation pixels for correcting the contour portion of the input image, and the value of the conversion magnification for locally changing the density of the interpolation pixels is converted to the first derivative. And conversion magnification control means for calculating using the product of the second derivative, and
Interpolation operation means for obtaining an interpolation position of each of the interpolation pixels based on the conversion magnification and calculating pixel data of the interpolation pixels by interpolation calculation at the interpolation position is provided.
[0014]
An image processing method according to the present invention is an image processing method for converting the number of pixels of the input image by performing an interpolation calculation process on image data representing the input image,
Detecting a first derivative and a second derivative in the horizontal and / or vertical direction of pixel data constituting the input image;
The conversion magnification obtained for each of the interpolation pixels that interpolate the input image, and the value of the conversion magnification that locally changes the density of the interpolation pixels is calculated using the product of the first derivative and the second derivative. A calculating step;
A step of obtaining an interpolation position of each of the interpolation pixels based on the conversion magnification and calculating pixel data of the interpolation pixel by an interpolation calculation at the interpolation position.
[0015]
An image processing method according to the present invention is an image processing method for correcting and outputting the contour of an input image,
Detecting a first derivative and a second derivative in the horizontal and / or vertical direction of pixel data constituting the contour portion of the input image;
The conversion magnification obtained for each of the interpolation pixels for correcting the contour portion of the input image, and the value of the conversion magnification for locally changing the density of the interpolation pixels is a product of the first derivative and the second derivative. a step of calculating using,
A step of obtaining an interpolation position of each of the interpolation pixels based on the conversion magnification and calculating pixel data of the interpolation pixel by an interpolation calculation at the interpolation position.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is an explanatory diagram for explaining an image processing method according to
In the figure, the horizontal axis indicates the horizontal or vertical position of the image, and the vertical axis indicates the level (brightness) of the image data. In the figure, the upper part shows input image data, and the lower part shows a case where the input image data is enlarged.
[0017]
Next, the operation will be described.
In the conversion of the number of pixels, the conversion of the number of vertical pixels and the conversion of the number of horizontal pixels are realized by the same operation. Therefore, here, the operation of conversion of the number of horizontal pixels will be described.
[0018]
A change in the level of the image is detected from the input image data, and a flat portion (period a) and a contour portion (periods b and c) corresponding to the level change portion are discriminated (hereinafter, the level change portion is used as a contour portion for simplicity. explain).
[0019]
Further, the contour portion is distinguished into a front portion (period b) and a rear portion (period c) in which the image level changes (in this case, the input image data is the original image data, and the level change between the original image data A contour portion in the original image data is detected (level change detection step), and the detected contour portion is divided into a plurality of regions).
[0020]
The determined flat portion a of the image converts the number of pixels at a constant conversion magnification n. Here, the constant conversion magnification n is an arbitrary magnification necessary for image format conversion and enlargement or reduction of the image at an arbitrary magnification. As an example of image format conversion, when converting an image of 640 pixels × 480 lines, which is one of the output formats of a personal computer (PC), to an image of 1024 pixels × 768 lines, the conversion magnification n is 1.6 times It is.
[0021]
On the other hand, in the contour portions (b, c) of the image, the conversion magnification is controlled according to the change amount of the image. In other words, in the contour portion divided into a plurality of regions, the generation conditions for generating new image data corresponding to the respective regions (the generation conditions here are, for example, conversion magnifications) are different. More specifically, the front part b of the contour is converted with a higher magnification than the flat part a, and the rear part c converts the number of pixels with a lower magnification than the flat part a (in the detection result obtained by the level change detection step). A generation condition step for generating a generation condition when generating new image data corresponding to the level change (contour) part from the original image data corresponding to the outline part based on the level change (contour) part based on the generation condition Including an image data generation step of generating new image data corresponding to the level change (contour) portion from the corresponding original image data).
[0022]
FIG. 2 is a diagram showing a case where input image data is reduced. The flat portion a of the image is reduced at a constant conversion magnification, the front portion b of the contour is converted at a higher magnification than the flat portion a, and the rear portion c of the contour is converted at a lower magnification than the flat portion a (contour portion). Are divided into a plurality of regions, and the generation conditions corresponding to the respective regions are different (or the generation conditions are different), and in this case, at least two adjacent regions of the plurality of regions are different. It is necessary to be.
[0023]
The number of pixels can be converted by performing the above operation in the horizontal and vertical directions of the image.
[0024]
Note that the pixel number conversion in the horizontal direction and the pixel number conversion in the vertical direction can be performed sequentially or simultaneously.
[0025]
Further, the horizontal conversion magnification and the vertical conversion magnification may be different from each other.
[0026]
The operation described above is described in the horizontal direction on the display screen. However, if the same operation is performed in the vertical direction, vertical image processing can be realized.
[0027]
In addition, when a contour portion is detected in the horizontal direction (vertical direction) on the display screen, a new image data generation condition in the horizontal direction (vertical direction when the contour portion is detected in the vertical direction) is output. However, when detecting a level change between adjacent original image data corresponding to the horizontal direction (vertical direction) when performing contour detection, the processing is simplified and the apparatus can be simplified.
[0028]
Hereinafter, more detailed embodiments will be described with reference to the drawings.
FIG. 3 is a diagram illustrating the image display apparatus according to
[0029]
An image signal and a synchronization signal are input to the
[0030]
Here, the desired image adjustment is, for example, when processing the memory means 5 and later as data of three primary colors, when a luminance signal and a color signal are input as an input image signal, or when a composite signal is input. Conversion from luminance signal and color signal to data of three primary colors, conversion from composite signal to data of three primary colors, or vice versa, signals of three primary colors are input, and the memory means 5 and later are processed with luminance signals and color signals. In this case, conversion from data of the three primary colors to data in a format suitable for processing can be considered. Furthermore, arbitrary image adjustment independent of pixel number conversion, such as adjustment of brightness and contrast, may be performed.
[0031]
The image data processed by the image adjusting means 4 is temporarily stored in the memory means 5 (storage process). Here, the memory means 5 has a capacity capable of storing pixels necessary for the subsequent pixel number conversion (at least two lines or more).
[0032]
Next, the image data is read out from the
[0033]
The image data Pi read from the memory means 5 is input to the
[0034]
The image data output from the
[0035]
The image data processed by the
[0036]
Although FIG. 3 shows a configuration in which the D / A conversion means 8 converts it into an analog image signal and inputs it to the display means 9, but the display means 9 can directly input and display digital image data. Can omit the D / A conversion means 8 (the operation of the display means 9 corresponds to the display process).
[0037]
Next, a more detailed operation of the
Here, the
[0038]
FIG. 4 is a diagram showing a detailed configuration of the
In the figure, 11 is a vertical pixel number conversion means, 12 is a vertical high frequency component detection means, 13 is a vertical conversion magnification control means, 14 is a horizontal pixel number conversion means, 15 is a horizontal high frequency component detection means,
[0039]
The vertical high frequency component detection means 12 outputs a vertical differential result vd1 and a secondary differential result vd2 as the vertical high frequency component (level change amount) of the image data Pi. Here, the image data Pi is image data read from the memory means 5 shown in FIG. 3, and is composed of a plurality of pixels required by the vertical pixel
[0040]
The vertical conversion magnification control means 13 obtains the vertical conversion magnification vc1 from the vertical high-frequency components vd1 and vd2 output from the vertical high-frequency component detection means 12, and outputs the vertical conversion magnification vc1 to the vertical pixel number conversion means 11. The vertical pixel
[0041]
Next, the horizontal high-frequency
[0042]
In the above description, the configuration example in which the pixel number conversion is performed in both the vertical and horizontal directions has been described, but the operation of the pixel number conversion will be described below. In order to facilitate understanding, the horizontal pixel number conversion operation will be described.
[0043]
In the configuration shown in FIG. 4, the vertical high frequency component detection means 12 and the horizontal high frequency detection means 15 function as contour detection means, and the vertical conversion magnification control means 13 and horizontal conversion magnification control means 16 function as generation condition generation means. The vertical pixel number conversion means 11 and the horizontal pixel number conversion means 14 function as image data generation means (of course, in the configuration for processing data in either the vertical or horizontal direction, for example, in the generation of new image data in the vertical direction) The image processing system may be configured by only the vertical high-frequency component detection means 12, the vertical conversion magnification control means 13, and the vertical pixel number conversion means 11, and the same applies to the horizontal direction).
[0044]
Although described with reference to the configuration shown in FIGS. 3 and 4, a low-pass filter (low-pass filter) for removing noise immediately before the vertical high-frequency component detection unit 12 with respect to the output Pi from the
[0045]
Of course, such an LPF can also be arranged immediately before the horizontal high-frequency component detection means 15, and the same effect as the vertical data processing can be obtained in the horizontal direction (in this case, the horizontal high-frequency component detection means 15). The contour detection means is constituted by the band component detection means 15 and the LPF). Of course, it is possible to employ these configurations in one of the vertical direction and the horizontal direction, or in both directions.
[0046]
In the above description, the vertical high-frequency component detecting means 12 in the vertical direction or the LPF provided in the preceding stage is described. However, the preceding stage of the vertical conversion magnification control means 13 is a band pass filter (BPF). Can be expected to have the same effect (it goes without saying that the same effect can be obtained by adopting the same configuration in the horizontal direction). In this case, the contour detecting means is constituted by the vertical high frequency component detecting means 12 and the LPF (or the horizontal high frequency
[0047]
Further, the contour detecting means is constituted by the vertical high frequency component detecting means 12 (or horizontal high frequency component detecting means 15) or the vertical high frequency component detecting means 12 and the LPF (or horizontal high frequency
[0048]
FIG. 5 is a diagram for explaining in detail the operation of converting the number of horizontal pixels.
In FIG. 5, hd1 and hd2 indicate the primary differential result and the secondary differential result in the horizontal direction corresponding to the image data Pv. The horizontal conversion magnification hc1 is
hc1 = n + k × hd1 × hd2
As shown, the result obtained by multiplying an arbitrary conversion magnification n by the primary differential result hd1 and the secondary differential result hd2 and an arbitrary number k is added. As a result, in the period a, the number of pixels is converted at an arbitrary conversion magnification n, the period b at a magnification higher than n, and the period c at a magnification lower than n. However, since the average value of the horizontal conversion magnification hc1 in one line is n as shown by the following expression, the conversion magnification of the image is locally increased and decreased, but the conversion magnification of the entire image is n.
AVE (hc1) = n
However, AVE (x) represents the average value of one line of the scaling factor x.
[0049]
In the above description, the case where the horizontal conversion magnification hc1 is multiplied by an arbitrary number k multiplied by an arbitrary magnification n multiplied by the primary differential result hd1 and the secondary differential result hd2 is shown. However, by setting the maximum and minimum limits on the result of multiplying an arbitrary number k, or performing non-linear conversion instead of multiplying the arbitrary number k, the conversion magnification can be freely set in the contour portion having an arbitrary characteristic. Will be able to control.
[0050]
In the vertical direction, the operation is the same as the above-described conversion of the number of pixels in the horizontal direction. In this case, the average value of the number of pixels in the vertical direction is n (when the conversion magnification in the vertical direction is n). (Of course, the horizontal and vertical conversion magnifications can be set independently).
[0051]
FIG. 6 is an explanatory diagram for explaining the operation of converting the number of pixels in the contour portion of FIG. 5 in more detail.
[0052]
A part of pixels (p1, p2, p3) of the image data Pv is converted into q11 to q17 by the above operation. In the period b, the pixel density is higher than in the period a, and in the period c, the pixel density is lower than in the period a. As a result (q11 to q17) are displayed on the display means 9 at equal intervals as shown in s11 to s17, a portion with a high pixel density is enlarged at a magnification higher than n, and a portion with a low pixel density is used. , N is enlarged at a magnification lower than n.
[0053]
More specifically, the distance between q11 and q12 is represented by the reciprocal of the conversion magnification at q12, where the distance between p1 and p2 (pixel interval before processing) is 1. The distance from q11 to q13 may be obtained by adding the reciprocal of the conversion magnification at q13 to the distance from q11 to q12. In this way, the position of each pixel is obtained by cumulatively adding the reciprocal of the conversion magnification hc1 output from the horizontal conversion magnification control means 16 in the horizontal direction.
[0054]
More specifically, from this cumulative addition result, the pixel necessary for processing (for example, the address of the memory means storing pixels such as p1, p2, and p1) and the filter coefficient (the number of the filter coefficient and the filter coefficient itself are obtained. Point).
[0055]
Through the above operation, some of the pixels (p1, p2, p3) of the image data Pv are converted as q11 to q17. In the period b, the pixel density is higher than in the period a, and in the period c, the pixel density is lower than in the period a. More specifically, since the results (q11 to q17) are displayed on the display means 9 at equal intervals as indicated by s11 to s17, the portion having a high pixel density is enlarged at a magnification higher than n. In a portion where the pixel density is low, the image is enlarged at a magnification lower than n.
[0056]
In the above description of the operation, the case of enlarging the image has been described. However, the same applies to the case of reducing the image. In the period b, the image is reduced at a magnification higher than n, and in the period c, the image is reduced at a magnification lower than n. .
[0057]
Therefore, when the arbitrary conversion magnification n is larger than 1, the image is enlarged without impairing the sharpness of the contour portion, and when it is smaller than 1, the image is reduced so as to reduce the lack of the contour portion image. That is, there is an effect that the contour information of the input image is preserved in both enlargement and reduction.
[0058]
Also, by taking an arbitrary number k large, the sharpness of the contour of the input image can be increased, and the sharpness of the contour portion can be controlled by the arbitrary number k.
[0059]
When the arbitrary conversion magnification n is 1, enlargement / reduction of the entire image is not performed, and only the sharpness of the contour portion is controlled.
[0060]
Also, by setting an arbitrary conversion magnification n and an arbitrary number k independently in the vertical direction and the horizontal direction, the horizontal conversion magnification and the sharpness of the contour in the horizontal direction, and the vertical conversion magnification and the vertical direction The sharpness of the contour can be controlled independently.
[0061]
For example, by setting the vertical conversion magnification n to 2 and the horizontal conversion magnification n to 1, conversion from an interlaced image to a non-interlaced image (scanning line interpolation) can be performed. And the vertical contour can be independently controlled to a desired sharpness.
[0062]
In the above description of the operation, the case where the vertical pixel number conversion and the horizontal pixel number conversion operation are sequentially performed as the pixel number conversion operation has been described. However, after the horizontal pixel number conversion, the vertical direction conversion is performed. The same effect can be obtained by converting the number of pixels.
[0063]
Further, the same effect can be obtained even if the vertical pixel number conversion and the horizontal pixel number conversion are simultaneously performed.
[0064]
In the description of the above operation, the case of a linear filter has been described as a filter used for conversion of the number of pixels. However, an arbitrary filter such as a non-linear filter can be used.
[0065]
FIG. 7 is a diagram showing a configuration when the
[0066]
The relationship between the high-frequency component detection results d1 and d2 and the conversion magnification c1 is the same as the relationship between hd1, hd2, and hc1 in FIG.
[0067]
In the first embodiment, the configuration in which the conversion magnification is controlled using the primary differential result and the secondary differential result as the high frequency component (level change amount) of the image has been described. However, the primary differential of adjacent pixels is described. By controlling the conversion magnification using only the result, the configuration can be simplified.
[0068]
Hereinafter, a more detailed operation of the
Here, the
[0069]
FIG. 8 is a diagram illustrating the
In the figure, 20 is a vertical high-frequency component detection means, 21 is a vertical conversion magnification control means, 22 is a horizontal high-frequency component detection means, and 23 is a horizontal conversion magnification control means.
[0070]
The vertical high-frequency component detection means 20 outputs a first-order differential result vd1 of pixels adjacent in the vertical direction as a high-frequency component (level change amount) in the vertical direction of the image data Pi. The vertical conversion magnification control means 21 obtains the vertical conversion magnification vc2 from the vertical first-order differential result vd1 output by the vertical high-frequency component detection means 20, and outputs it to the vertical pixel number conversion means 11. The vertical pixel number conversion means 11 converts the number of pixels in the vertical direction of the input image based on the vertical conversion magnification vc2, and outputs the conversion result Pv.
[0071]
Next, the horizontal high-frequency
[0072]
In the above description, the configuration example in which the pixel number conversion is performed in both the vertical and horizontal directions has been described, but the operation of the pixel number conversion will be described below. In order to facilitate understanding, the horizontal pixel number conversion operation will be described.
[0073]
FIG. 9 is a diagram for explaining in detail the operation of converting the number of horizontal pixels.
In FIG. 9, hd1 is a horizontal first-order differential result corresponding to the image data Pv. The horizontal conversion magnification hc2 is obtained by adding an arbitrary conversion magnification n multiplied by an arbitrary number k to a result obtained by converting the first half of the first-order differential result hd1 into positive and the latter half into negative. A specific polarity conversion method for the first-order differential result hd1 will be described later. The arbitrary conversion magnification n and the arbitrary number k are the same as those in the first embodiment (contour detection step. The detected contour portion is divided into a plurality of regions).
[0074]
As a result, in the period a of hc2, the number of pixels is converted at an arbitrary conversion magnification n, the period b at a magnification higher than n, and the period c at a magnification lower than n. That is, the generation conditions (for example, the conversion conditions here are conversion magnifications) for generating new image data corresponding to the respective areas of the contour portion divided into a plurality of areas are different.
[0075]
Here, a generation condition step for generating a generation condition when generating new image data corresponding to the contour portion from the original image data (input image data) corresponding to the contour portion based on the detection result obtained by the contour detection step And an image data generation step of generating new image data corresponding to the contour portion from the original image data corresponding to the contour portion based on the generation condition.
[0076]
The operation described above is described in the horizontal direction on the display screen. However, if the same operation is performed in the vertical direction, vertical image processing can be realized.
[0077]
FIG. 10 is a diagram for explaining the operation of converting the number of pixels in the contour portion of FIG. 9 in more detail.
A specific example of the polarity conversion of hd1 described above will be described with reference to FIG.
[0078]
The primary differential result hd1 is the differential result of the input image data p4 and p5, and the polarity of hd1 may be converted so that the first half is positive and the second half is negative with the vicinity of the center of p4 and p5 as a boundary. . More specifically, hc2 can be represented by the following formula.
When 0 ≦ r <0.5 hc2 = n + k × abs (hd1)
When 0.5 ≦ r <1.0 hc2 = n−k × abs (hd1)
Here, abs (x) represents the absolute value of x, and r represents the pixel position of the output image at the conversion magnification n when the distance between p4 and p5 is 1. However, since the average value of the horizontal conversion magnification hc2 in one line is n as shown by the following expression, the magnification of the image locally fluctuates, but the conversion magnification of the entire image is n.
AVE (hc2) = n
[0079]
In the above equation, the case where the polarity of the first-order differential result hd1 is converted around the center of p4 and p5 has been shown. However, the present invention is not limited to this. The conversion magnification of the entire screen may be set to n by multiplying by a coefficient. If the boundary for converting the polarity of hd1 is i (where 0 <i <1), it can be expressed by the following equation.
When 0 ≦ r <i hc2 = n + (1-i) × k × abs (hd1)
When i ≦ r <1.0 hc2 = n−i × k × abs (hd1)
[0080]
The operation in the vertical direction is the same as that in the horizontal pixel number conversion described above, and the average value of the number of pixels in the vertical direction is n even in this vertical case (when the conversion factor in the vertical direction is n). (Of course, the horizontal and vertical conversion magnifications can be set independently).
[0081]
The distance between q20 and q21 in FIG. 10 is represented by the reciprocal of the conversion magnification hc2 at q21, where the distance between p4 and p5 (pixel interval before processing) is 1. The distance from q20 to q22 may be obtained by adding the reciprocal of the conversion magnification hc2 at q22 to the distance from q20 to q21. In this way, the position of each pixel is obtained by cumulatively adding the reciprocal of the conversion magnification hc2 output by the horizontal conversion magnification control means 23 in the horizontal direction. More specifically, from this cumulative addition result, a pixel necessary for processing (for example, an address of a memory means storing pixels such as p4 and p5) and a filter coefficient (pointing to a filter coefficient number and the filter coefficient itself). Can be requested.
[0082]
Through the above operation, a part of pixels (p4, p5) of the input image data is converted as q20 to q25. In the period b, the pixel density is higher than in the period a, and in the period c, the pixel density is lower than in the period a. As a result (q20 to q25) is displayed on the display means 9 at equal intervals as shown in s20 to s25, the portion with high pixel density is enlarged at a magnification higher than n, and the portion with low pixel density is , N is enlarged at a magnification lower than n.
[0083]
In the description of FIG. 10 and the above operation, the case where the pixels referred to by the first derivative are two pixels (p4, p5) has been described. However, the present invention is not limited to this, and the pixels referred to by the first derivative are arbitrary. In this case, r and i shown in the above equation may be considered as 1 as the distance between the ends of the pixel to be referred to.
[0084]
Since other operations are the same as those in the first embodiment, the description thereof is omitted.
[0085]
FIG. 11 is a diagram showing a configuration in the case of simultaneously converting the number of pixels in the vertical direction and the horizontal direction. In the figure,
[0086]
Since the relationship between the high frequency component detection result d1 and the conversion magnification c2 is the same as hd1 and hc2 in FIGS. 9 and 10, detailed description thereof is omitted.
[0087]
In the first and second embodiments, the case where the input image signal is an analog signal has been described. However, the present invention is not limited to this, and digital image data may be input.
[0088]
FIG. 12 is a diagram showing an image display device according to
In the figure, numeral 26 is an input terminal for digital image data, numeral 27 is a display means capable of directly inputting digital data, and numeral 28 is a control means.
[0089]
Next, the operation will be described.
Digital image data is input to the input terminal 26, and the image data input to the input terminal 26 is input to the
[0090]
The
[0091]
In the description of the operation in the third embodiment, the
[0092]
In the first to third embodiments, the configuration in which the number of pixels is converted by hardware has been described. However, the number of pixels can also be converted by software. FIG. 13 is a flowchart for explaining the pixel number conversion operation (image processing method / image display method) by software processing (of course, software and hardware may be mixed).
[0093]
Next, the operation will be described.
Here, the pixel number conversion may be configured such that the pixel number conversion is performed independently in each of the horizontal and vertical directions, but here the case where the pixel number conversion is performed in both the vertical direction and the horizontal direction. explain.
[0094]
(Start of data generation operation in the vertical direction according to the flow of A in the figure) In the data extraction unit, the calculation of the vertical high-frequency component for the pixel of interest and the filter operation from the image data for converting the number of pixels (corresponding to Pi in FIG. 4) A plurality of necessary pixel data is extracted.
[0095]
In the vertical high-frequency component calculation unit, the primary differential result in the vertical direction (corresponding to vd1 in FIG. 4) and the secondary differential result in the vertical direction (corresponding to vd2 in FIG. 4) from the plurality of pixel data extracted by the data extraction unit. ) (This corresponds to the level change detection step).
[0096]
In the vertical conversion magnification calculation unit, the vertical conversion magnification (with respect to the pixel of interest) is calculated from the primary differentiation result and the secondary differentiation result calculated by the vertical high frequency component calculation unit and the conversion magnification of the entire image (corresponding to n in FIG. 5). (Corresponding to vc2 in FIG. 4) is calculated (generation condition generation step).
[0097]
The filter calculation unit performs a filter calculation from the conversion magnification calculated by the vertical conversion magnification calculation unit and the plurality of pixel data extracted by the data extraction unit, and stores the calculation result (image data generation step).
[0098]
The above operation is repeated until the target pixel reaches the end of the image. Here, the end of the image indicates the right end of the image when computing from the left side of the image.
[0099]
When the target pixel reaches the end of the image, the target pixel is moved to the next line and the above calculation is performed. By performing this operation on all the pixels, the conversion of the number of pixels in the vertical direction is completed (end of the operation according to the flow A in the figure).
[0100]
(Start of data generation operation in the horizontal direction by the flow B in the figure) In the next data extraction unit, the horizontal high frequency band for the pixel of interest is obtained from the image data (corresponding to Pv in FIG. 4) in which the number of pixels in the vertical direction is converted. A plurality of pixel data necessary for component calculation and filter calculation are extracted. In the horizontal high-frequency component calculation unit, a horizontal first-order differential result (corresponding to hd1 in FIG. 4) and a horizontal second-order differential result (corresponding to hd2 in FIG. 4) from a plurality of pixel data extracted by the data extraction unit. ) Is calculated. The horizontal conversion magnification calculation unit calculates the horizontal conversion magnification for the pixel of interest (corresponding to n in FIG. 5) from the primary differentiation result and the secondary differentiation result calculated by the horizontal high-frequency component calculation unit and the conversion magnification of the entire image (corresponding to n in FIG. 5). (Corresponding to hc2 in FIG. 4). The filter calculation unit performs a filter calculation from the conversion magnification calculated by the horizontal conversion magnification calculation unit (a generation condition when generating new image data) and a plurality of pixel data extracted by the data extraction unit, and the calculation result Save.
[0101]
Next, the above operation is repeated until the target pixel reaches the end of the image.
[0102]
When the target pixel reaches the end of the image, the target pixel is moved to the next line and the above calculation is performed. By performing this operation on all the target pixels, the conversion of the number of pixels is completed (end of the operation by the flow B in the figure).
[0103]
In the above description of the operation, the case of converting the number of pixels in the horizontal direction after converting the number of pixels in the vertical direction has been described. However, the number of pixels in the vertical direction may be converted after converting the number of pixels in the horizontal direction. Good (that is, after the operation according to the flow B in the figure is first performed, the operation according to the flow A in the figure may be performed). Further, as described above, either the operation according to the flow A in the drawing or the operation according to the flow B in the drawing may be performed.
[0104]
In the above description of the operation, the case of calculating the pixel of interest in the order from the left to the right and the top to the bottom of the image when converting the number of vertical and horizontal pixels is not limited to this. The same result can be obtained by calculating from.
[0105]
It should be noted that the average value n of one line corresponding to the scaling factor described above (when the conversion magnification in either the vertical or horizontal direction is n. Of course, the conversion magnifications in the vertical and horizontal directions are set independently. Can be established in both the vertical and horizontal directions (when the conversion magnification is n in both directions) or in either direction.
[0106]
【The invention's effect】
According to the image processing device and the image processing method of the present invention, the conversion magnification of each interpolation pixel is designated based on the feature amount representing the change in the pixel data, and the pixel data of the interpolation pixel is obtained based on the designated conversion magnification. Since the calculation is performed, the image enlargement process can be performed without impairing the sharpness in the contour portion of the image .
In addition, the conversion magnification of the interpolation pixel for correcting the contour portion of the input image is specified for each of the interpolation pixels based on the feature amount representing the change in the pixel data constituting the contour portion of the input image, and the specified conversion magnification is set. Since the pixel data of the interpolation pixel is calculated based on this, the sharpness of the contour portion of the image can be improved and a clearer image can be obtained.
[Brief description of the drawings]
FIG. 1 is a diagram showing an image processing operation in
FIG. 2 is a diagram illustrating an image processing operation in the first embodiment.
3 is a diagram illustrating a configuration of an image display device according to
4 is a diagram illustrating a configuration of an image processing apparatus according to
FIG. 5 is a diagram illustrating an image processing operation in the first embodiment.
FIG. 6 is a diagram showing an image processing operation in the first embodiment.
7 is a diagram showing another configuration of the image processing apparatus according to
FIG. 8 is a diagram illustrating a configuration of an image processing apparatus according to a second embodiment.
FIG. 9 is a diagram showing an image processing operation in the second embodiment.
FIG. 10 is a diagram illustrating an image processing operation in the second embodiment.
FIG. 11 is a diagram illustrating another configuration of the image processing apparatus according to the second embodiment.
12 is a diagram illustrating a configuration of an image display device in
FIG. 13 is a flowchart of an image processing operation in the fourth embodiment.
FIG. 14 is a diagram illustrating a conventional image processing operation.
FIG. 15 is a diagram illustrating a conventional image processing operation.
FIG. 16 is a diagram illustrating a conventional image processing operation.
FIG. 17 is a diagram illustrating an example of response characteristics of a conventional image processing unit.
FIG. 18 is a diagram illustrating an example of response characteristics of a conventional image processing unit.
[Explanation of symbols]
1 input terminal, 2 input terminal, 3 A / D conversion means, 4 image adjustment means, 5 memory means, 6 pixel number converter, 7 image adjustment means, 8 D / A conversion means, 9 display means, 10 control means, 11 vertical pixel number conversion means, 12 vertical high frequency component detection means, 13 vertical conversion magnification control means, 14 horizontal pixel number conversion means, 15 horizontal high frequency component detection means, 16 horizontal conversion magnification control means, 17 pixel number conversion means, 18 high-frequency component detection means, 19 conversion magnification control means, 20 vertical high-frequency component detection means, 21 vertical conversion magnification control means, 22 horizontal high-frequency component detection means, 23 horizontal conversion magnification control means, 24 high-frequency component detection means, 25 conversion magnification control means, 26 input terminals, 27 display means, 28 control means.
Claims (8)
上記入力画像を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する高域成分検出手段と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および二次微分の積を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する画素数変換手段とを備えたことを特徴とする画像処理装置。An image processing apparatus that converts the number of pixels of the input image by performing an interpolation calculation process on image data representing the input image,
High-frequency component detection means for detecting a first derivative and a second derivative in the horizontal and / or vertical direction of pixel data constituting the input image;
The conversion magnification required for each interpolation pixel that interpolates the input image, and the value of the conversion magnification that locally changes the density of the interpolation pixel is calculated using the product of the first and second derivatives. Conversion magnification control means,
An image processing apparatus comprising: a pixel number conversion unit that obtains an interpolation position of each of the interpolation pixels based on the conversion magnification and calculates pixel data of the interpolation pixels by an interpolation calculation at the interpolation position.
上記入力画像を構成する画素データの水平および／または垂直方向における輪郭部に対応する一次微分を検出する高域成分検出手段と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分の中央付近を境に前半の極性を正とし、後半の特性を負として得られる値を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する画素数変換手段とを備えたことを特徴とする画像処理装置。An image processing apparatus that converts the number of pixels of the input image by performing an interpolation calculation process on image data representing the input image,
High-frequency component detection means for detecting a primary derivative corresponding to a contour portion in the horizontal and / or vertical direction of pixel data constituting the input image;
The conversion magnification required for each of the interpolation pixels that interpolate the input image, and the value of the conversion magnification that changes the density of the interpolation pixels locally, and the polarity of the first half with respect to the vicinity of the center of the first derivative. Conversion magnification control means for calculating using values obtained by setting positive and the latter half of the characteristics as negative ,
An image processing apparatus comprising: a pixel number conversion unit that obtains an interpolation position of each of the interpolation pixels based on the conversion magnification and calculates pixel data of the interpolation pixels by an interpolation calculation at the interpolation position.
上記入力画像の輪郭部を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する高域成分検出手段と、
上記特徴量に基づいて、上記入力画像の輪郭部を補正する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する変換倍率制御手段と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する補間演算手段とを備えたことを特徴とする画像処理装置。An image processing apparatus for correcting and outputting an outline of an input image,
High-frequency component detection means for detecting a first derivative and a second derivative in the horizontal and / or vertical direction of pixel data constituting the contour portion of the input image;
Based on the feature amount, the conversion magnification obtained for each of the interpolation pixels for correcting the contour portion of the input image, and the value of the conversion magnification for locally changing the density of the interpolation pixels is converted to the first derivative. And conversion magnification control means for calculating using the product of the second derivative, and
An image processing apparatus comprising: an interpolation calculation unit that obtains an interpolation position of each of the interpolation pixels based on the conversion magnification and calculates pixel data of the interpolation pixel by an interpolation calculation at the interpolation position.
上記入力画像を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する工程と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたことを特徴とする画像処理方法。An image processing method for converting the number of pixels of the input image by performing an interpolation calculation process on image data representing the input image,
Detecting a first derivative and a second derivative in the horizontal and / or vertical direction of pixel data constituting the input image;
The conversion magnification obtained for each of the interpolation pixels that interpolate the input image, and the value of the conversion magnification that locally changes the density of the interpolation pixels is calculated using the product of the first derivative and the second derivative. A calculating step;
An image processing method comprising: calculating an interpolation position of each of the interpolation pixels based on the conversion magnification, and calculating pixel data of the interpolation pixel by an interpolation calculation at the interpolation position.
上記入力画像を構成する画素データの水平および／または垂直方向における輪郭部に対応する一次微分を検出する工程と、
上記入力画像を補間する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、一次微分の中央付近を境に前半の極性を正とし、後半の特性を負として得られる値を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたことを特徴とする画像処理方法。An image processing method for converting the number of pixels of the input image by performing an interpolation calculation process on image data representing the input image,
Detecting a first derivative corresponding to a contour portion in the horizontal and / or vertical direction of pixel data constituting the input image;
The conversion magnification obtained for each of the interpolation pixels that interpolate the input image, and the value of the conversion magnification that locally changes the density of the interpolation pixels is set so that the polarity of the first half is positive around the center of the first derivative. And calculating using the value obtained by taking the latter half of the characteristic as negative ,
An image processing method comprising: calculating an interpolation position of each of the interpolation pixels based on the conversion magnification, and calculating pixel data of the interpolation pixel by an interpolation calculation at the interpolation position.
上記入力画像の輪郭部を構成する画素データの水平および／または垂直方向における一次微分および二次微分を検出する工程と、
上記入力画像の輪郭部を補正する補間画素の各々について求められる変換倍率であって、当該補間画素の密度を局所的に変化させる上記変換倍率の値を、上記一次微分および上記二次微分の積を用いて算出する工程と、
上記変換倍率に基づいて上記補間画素の各々の補間位置を求め、当該補間位置における補間演算により上記補間画素の画素データを算出する工程とを備えたことを特徴とする画像処理方法。An image processing method for correcting and outputting an outline of an input image,
Detecting a first derivative and a second derivative in the horizontal and / or vertical direction of pixel data constituting the contour portion of the input image;
The conversion magnification obtained for each of the interpolation pixels for correcting the contour portion of the input image, and the value of the conversion magnification for locally changing the density of the interpolation pixels is a product of the first derivative and the second derivative. a step of calculating using,
An image processing method comprising: calculating an interpolation position of each of the interpolation pixels based on the conversion magnification, and calculating pixel data of the interpolation pixel by an interpolation calculation at the interpolation position.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000184816A JP3695291B2 (en) | 2000-06-20 | 2000-06-20 | Image processing apparatus, image display apparatus, and image processing method |
| US09/883,940 US6724398B2 (en) | 2000-06-20 | 2001-06-20 | Image processing method and apparatus, and image display method and apparatus, with variable interpolation spacing |
| US10/716,634 US7330199B2 (en) | 2000-06-20 | 2003-11-20 | Image processing method and apparatus, and image display method and apparatus, with variable interpolation spacing |
| US11/013,419 US7429994B2 (en) | 2000-06-20 | 2004-12-17 | Image processing method and apparatus, and image display method and apparatus for changing edge sharpness |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000184816A JP3695291B2 (en) | 2000-06-20 | 2000-06-20 | Image processing apparatus, image display apparatus, and image processing method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002010070A JP2002010070A (en) | 2002-01-11 |
| JP2002010070A5 JP2002010070A5 (en) | 2005-06-23 |
| JP3695291B2 true JP3695291B2 (en) | 2005-09-14 |
Family
ID=18685213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000184816A Expired - Fee Related JP3695291B2 (en) | 2000-06-20 | 2000-06-20 | Image processing apparatus, image display apparatus, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3695291B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1580692A4 (en) * | 2002-12-20 | 2007-07-18 | Mitsubishi Electric Corp | Image processing device, image display device, image processing method, and image display method |
| US7764839B2 (en) | 2003-08-14 | 2010-07-27 | Fujifilm Corporation | Edge detecting apparatus and method, and image size enlarging and reducing apparatus and method |
| KR100951881B1 (en) | 2003-11-17 | 2010-04-12 | 삼성전자주식회사 | Optical pick-up apparatus for multi recoding/reproducing |
| JP3781050B1 (en) | 2005-02-22 | 2006-05-31 | 三菱電機株式会社 | Image processing apparatus, image processing method, and image display apparatus |
| JP5398562B2 (en) * | 2010-01-29 | 2014-01-29 | 富士フイルム株式会社 | Tracking frame initial position setting device and operation control method thereof |
-
2000
- 2000-06-20 JP JP2000184816A patent/JP3695291B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002010070A (en) | 2002-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4097815B2 (en) | Image processing apparatus and image processing method | |
| US9185431B2 (en) | Motion detection device and method, video signal processing device and method and video display device | |
| JP2947186B2 (en) | Flicker reduction circuit | |
| US20040135798A1 (en) | Image processing method and apparatus, and image display method and apparatus, with variable interpolation spacing | |
| WO2006090515A1 (en) | Image processing device, image processing method, and image display device | |
| JPH02289894A (en) | Video signal interpolating device | |
| JP4317619B2 (en) | Image processing device | |
| JP3365333B2 (en) | Resolution converter | |
| JP4031389B2 (en) | Image conversion apparatus and image conversion method | |
| JP4518392B2 (en) | Method and apparatus for converting color images | |
| US6961479B1 (en) | Image processing device, image processing method, image-processing program recorded medium | |
| JP3695291B2 (en) | Image processing apparatus, image display apparatus, and image processing method | |
| KR20040058006A (en) | Video signal processing apparatus | |
| JP5208381B2 (en) | Moving picture frame rate conversion apparatus and moving picture frame rate conversion method | |
| JP3692942B2 (en) | Image processing apparatus, image display apparatus, and image processing method | |
| JP4031390B2 (en) | Image conversion apparatus and image conversion method | |
| JP2009194721A (en) | Image signal processing device, image signal processing method, and imaging device | |
| JP2006308665A (en) | Image processing apparatus | |
| JP3719385B2 (en) | Image processing apparatus, image processing method, and image display apparatus | |
| JP4483255B2 (en) | Liquid crystal display | |
| JP3719389B2 (en) | Image processing apparatus, image display apparatus, and image processing method | |
| US7567732B2 (en) | Image resolution conversion | |
| JP4689243B2 (en) | Image processing apparatus, image processing method, and digital camera | |
| KR100224859B1 (en) | Vertical interpolation method of video signal based on edge and apparatus therefor | |
| JP3756058B2 (en) | Video signal processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040714 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040927 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040927 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20040927 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20041117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050304 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050620 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |