JP5471474B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本願は原画像の画像拡大処理を行う画像処理装置および画像処理方法に関する。

画像拡大処理のアルゴリズムに関しては、最近傍法、バイリニア法およびバイキュービック法などがある。

まず、最近傍法は、変換先の画素座標を変換元の座標値に逆変換し、最も近傍にある画素を変換先の画素値とするものである。変換が簡素である反面、ジャギーなどが目立ち画質は落ちる。

また、バイリニア法は、変換先の画素座標を変換元の座標値に逆変換し、近傍４（＝２×２）画素から直線補間を行って画素値とするものである。ジャギーなどが目立たない反面、近傍４画素の重み付け平均であることから拡大画像がぼけた印象の画像となる。

さらに、バイキュービック法は、変換先の画素座標を変換元の座標値に逆変換し、近傍１６（＝４×４）画素から３次式を用いて補間を行うものである。バイリニア法に比べて画素のボケは抑えられるが、計算量が多く処理速度が遅くなる。

また、画像拡大処理技術に関して、例えば特開２００８−３３６９２号公報に開示の「画像処理装置およびその制御方法」がある。この従来例では、原画像のシャープネスを維持すると共にノイズの発生を抑制するために、拡大画像データと平滑化画像データを生成し、これらの差分をとった差分画像データに強調係数を乗算し、該乗算結果と拡大画像データの加算により拡大画像を得ている。つまり、拡大処理後のデータにアンシャープマスク処理を施す技法であるが、画像拡大処理には主としてバイキュービック法を用いている。

また、画像拡大処理アルゴリズムに関する提案としては、例えば特開平６−３８０２４号公報に開示の「画像処理装置」がある。この従来例では、エッジ部分の先鋭さを保存した拡大画像を得るために、隣接画素間の階調変化の度合いに応じて補間画素の階調変化率を調整し、該調整変化率に応じて補間画素の階調を求めている。具体的には次の手法が例示されている。（１）隣接画素の階調差から変化率を調整するもの。（２）隣接画素間およびさらに後方画素との階調差から階調変化の方向（正負）を見て変化率を調整するもの。（３）エッジ強調処理後の隣接画素の階調差から変化率を調整するもの。

特開２００８−３３６９２号公報 特開平６−３８０２４号公報

上述したように、画像拡大処理の一般的手法として、最近傍法、バイリニア法およびバイキュービック法があるが、一長一短があった。つまり、計算量の少ない最近傍法およびバイリニア法を用いた場合には画質にジャギーやぼけ等の問題があり、より良い画質の得られるバイキュービック法を用いた場合には計算量が多く処理速度が遅くなる。そこで、バイキュービック法に比べて計算量を抑制でき、より良い画質の得られる手法が望まれていた。

また、特許文献２においては、エッジ強調処理後の画像データを拡大処理すると、せっかく強調したエッジ部分が滑らかになることから、エッジ強調処理と拡大処理との兼ね合いが難しいという事情がある。

本発明の一側面は、上記従来の事情に鑑みてなされたものであって、画像を拡大する場合の補間位置での画素を強調する画像処理装置および画像処理方法を提供することを目的としている。

本発明の一側面によれば、原画像を拡大した拡大画像を生成する画像処理装置は、前記原画像の第１の画素位置の第１の画素変化率および第２の画素位置の第２の画素変化率を算出する変化率算出手段と、前記原画像の拡大に応じて前記原画像の第１の画素位置と第２の画素位置の間に補間される補間位置の画素値を、該補間位置に応じて第１の重み付けをされた前記第１の画素変化率と、該補間位置に応じて第２の重み付けをされた前記第２の画素変化率とに基づいて算出する画素値算出手段とを有する。

本発明の一側面によれば、画像を拡大する場合の補間位置での画素が強調される。

本発明の一実施例に係る画像処理装置の構成図である。 実施例の画像処理装置における画像処理方法を説明するフローチャートである。 本発明における画素値の生成を概念的に説明する説明図（その１）である。 本発明における画素値の生成を概念的に説明する説明図（その２）である。 画素値補正部における画素値の補正処理を概念的に説明する説明図である。 適用例１の原画像の画像データを例示する説明図である。 適用例１の画素値算出過程および結果の数値表を例示する説明図である。 本発明の画像拡大処理手法と一般的手法による画素値推移を対比した説明図（その１）である。 適用例２の原画像の画像データを例示する説明図である。 適用例２の画素値算出過程および結果の数値表を例示する説明図である。 本発明の画像拡大処理手法と一般的手法による画素値推移を対比した説明図（その２）である。 変形例１の変化率算出法の切替えについて説明する説明図である。 変形例３の２次元の拡大処理を説明する説明図である。

以下、本発明の画像処理装置および画像処理方法の実施例について図面を参照して詳細に説明する。

図１は本発明の一実施例に係る画像処理装置の構成図である。同図において、本実施例の画像処理装置は、画像処理回路１０と、ＳＤＲＡＭ（Synchronous DRAM）等で具現されるメモリ４０と、メモリ４０に対するアクセスを制御するメモリコントローラ３０とを備える。

ここで、画像処理回路１０は原画像に基づき一方向に拡大した拡大画像を生成するものである。画像処理回路１０は、全体制御部１１、読出し転送制御部１２、入力バッファ１３、書込み転送制御部１４、出力バッファ１５、画像性質解析部２１、変化率算出部２２、予測画素値生成部２３および画素値補正部２４を備える。

以下では、原画像の画像データを入力して拡大率を設定するためのユーザまたは他の画像処理装置等とのインタフェースについては特定せず、当該画像処理装置に対して原画像データおよび拡大率が何らかの手段を介して入力・通知されるものとして説明する。また、原画像データはメモリ４０の原画像データ記憶領域４１に記憶されており、画像処理回路１０による拡大処理後の画像データはメモリ４０の拡大画像データ記憶領域４２に記憶されるものとする。

まず、全体制御部１１は、画像処理回路１０内の各構成要素の動作を制御する。また、拡大画像の画素座標を原画像上の座標に変換する処理は、この全体制御部１１で行われる。なお、本実施例の画像処理回路１０による拡大画像生成は一方向であり、水平方向の拡大処理を想定したとき、拡大画像における各ラインの画素数は原画像の画素数に拡大率をかけた個数となる。例えば、原画像における１ラインの座標上の長さを拡大率倍した画素数で割って画素間のピッチを求め、該ピッチに基づき拡大画像の画素座標を求めれば良い。

また、読出し転送制御部１２は、全体制御部１１の指示に基づきメモリ４０から原画像データを読み出して入力バッファ１３に格納する。本実施例ではメモリ４０の読出し／書込みをバースト転送で行っており、読出し転送制御部１２は、読出し先頭アドレスおよびデータ長をメモリコントローラ３０に通知して原画像データの読出しを行い、入力バッファ１３に格納する。

従って、入力バッファ１３には、少なくとも１回のバースト転送のデータ量を格納するだけの容量が必要である。なお、画像性質解析部２１、変化率算出部２２、予測画素値生成部２３および画素値補正部２４での待ち時間をより少なくするためには、入力バッファ１３を第１および第２の領域に分割して、各領域を上記容量とするのが望ましい。つまり、一方の領域の画素を用いた処理が終了して他方の領域のみの画素を用いる処理に移行したときに、一方の領域に次のバースト転送による読出し・格納を行えば、全体処理においてメモリ読出しがボトルネックとなる時間を低減できる。

また、書込み転送制御部１４は、全体制御部１１の指示に基づき出力バッファ１５から拡大処理後の画像データを読み出してメモリ４０に格納する。つまり、書込み転送制御部１４は、書込み先頭アドレスおよびデータ長をメモリコントローラ３０に通知して、拡大画像データをメモリ４０に書き込む。従って、出力バッファ１５には少なくとも１回のバースト転送のデータ量を格納するだけの記憶容量が必要である。また、メモリ書込みがボトルネックとなる時間を低減するためには、入力バッファ１３と同様に、出力バッファ１５を第１および第２の領域に分割して、各領域を上記記憶容量とするのが望ましい。

また、変化率算出部２２は、まず、全体制御部１１から指示があった拡大画像の原画像における変換後座標について、該変換後座標の隣接２画素を含む近傍３画素の画素値を入力バッファ１３から読み出す。そして、これら３画素の画素値に基づき隣接２画素の画素変化率を求める。つまり、変化率算出部２２は特許請求の範囲にいう変化率算出手段（変化率算出ステップ）の主要処理を司る。

次に、隣接２画素の画素値および画素変化率に基づき変換後座標における画素変化率を推定する。これは、特許請求の範囲にいう画素値算出手段（画素値算出ステップ）の一部機能であり、原画像の拡大に応じて原画像の第１の画素位置と第２の画素位置の間に補間される補間位置の画素について、該補間位置に応じた第１の重み付けおよび第２の重み付けを行うことに相当する。

具体的には、変化率算出部２２では、変換後座標に対する近傍２画素間の画素変化率の推移を直線またはｎ次関数（ｎは２以上の正整数）で近似して、変換後座標における画素変化率を該近似関数に基づき算出する。ここで、ｎ次関数はｎ次の多項式を含む。

また、変化率算出部２２では処理対象の画素が画素変化率の符号が反転する変曲点であるか否かを判断している。なお、変曲点であるか否かの判断のためには、３個の画素座標における画素変化率が必要であるから、４個の画素座標における画素値が必要となる。この変曲点の情報は画像性質解析部２１および画素値補正部２４における処理で利用される。従って、画像性質解析および画素値補正の各処理にこの変曲点情報を用いる場合、変化率算出部２２には、少なくとも３個の画素座標における画素変化率を順次保持するバッファまたはシフトレジスタ等の記憶手段が必要となる。

また、画像性質解析部２１は、特許請求の範囲にいう画像性質解析手段（画像性質解析ステップ）に該当し、変化率算出部２２において算出した画素の画素変化率の推移に基づき画像の性質を推定する。短い範囲の画像性質解析としては、例えば、画素変化率の急激な変化について、変化率算出部２２が算出に用いる近傍３画素の内、隣接画素間の画素変化率の差分値に基づき判断する。

また、比較的広範囲の画像性質解析としては、例えば、変化率算出部２２による画素変化率を所定個数分の履歴として蓄積し、その所定範囲の画素変化率から画像の性質を解析する。つまり、画素変化率が比較的広範囲で大きく変化しているか否か、画素変化率の変化が激しいか（変化周期が短いか；高周波画像であるか）否か、などについて解析する。

また、画素変化率の変化の度合いについては、変化率算出部２２で判断された変曲点について、その変曲点画素の画素値が所定値以上である変曲点を抽出し、その抽出した変曲点の発生頻度（発生周期）等に基づき高周波画像であるか否かを判断することができる。また変曲点画素の隣接画素との画素変化率の差分が所定値以上である変曲点を抽出して、その抽出した変曲点の発生頻度（発生周期）等に基づき判断することも可能である。なお、変曲点の隣接画素との画素変化率の差分に基づく解析では、その変曲点の先鋭さ、即ち該画素座標における先鋭さについても判断できる。

また、変化率算出部２２では、画像性質解析部２１による画像性質の推定結果に応じて、近似に用いる直線またはｎ次関数を選定するが、先鋭さの度合いが大きいほど関数の次数ｎを高く設定するのが望ましい。つまり、短い範囲の画像性質解析を利用して、例えば、画素変化率の変化（隣接画素の画素変化率の差分）が第１所定値未満のところでは直線（１次関数）近似を使用する。また、画素変化率の変化が第２所定値（＞第１所定値）以上では２次関数を使用する。さらに、第３所定値（＞第２所定値）等を設けてより高次の関数を用いるようにしても良い。

このように、短い範囲の画像性質解析結果は、変化率算出部２２、画像性質解析部２１、予測画素値生成部２３および画素値補正部２４の一連の処理の中で逐一利用可能である。しかしながら、比較的広範囲の画像性質解析結果を逐一反映させるのは処理高速化の観点から難しい。つまり、短い範囲の画像性質解析は変換後座標の近傍３画素を用いて行うが、比較的広範囲の画像性質解析は、変曲点を用いた解析の場合でも該変曲点の判断に４画素を要するからである。

したがって、比較的広範囲の画像性質解析結果は、例えば、ｎ次関数の選定に用いるしきい値（第１所定値、第２所定値および第３所定値）の調整など、局所的ではなく全体的な処理・判断に使用するのが望ましい。例えば、複数ラインについての画像性質解析結果から、変曲点画素の画素値が所定値以上または変曲点座標の先鋭さの度合いが所定値以上で高いものの発生頻度（発生周期）に応じて関数選定に用いるしきい値を変化させることが考えられる。

また、短い範囲の画像性質解析を変化率算出部２２、画像性質解析部２１、予測画素値生成部２３および画素値補正部２４の一連の処理の中に組み入れると、１生成画素当たりの処理時間が幾分増すので、これを省略する構成も考えられる。つまり、比較的広範囲の画像性質解析のみを行う構成であり、この場合、変化率算出部２２ではデフォルトとして例えば直線を設定しておき、複数ラインについての画像性質解析結果に応じ関数を改めて選定するものである。

なお、変曲点の発生頻度の高い原画像は文字やイラスト等のデジタル画像である可能性が高く、また、変曲点の発生頻度の低い原画像は写真や絵画等の自然画である可能性が高い。従って、例えば、変曲点の発生頻度の高い場合はエッジ部分をより強調するべくしきい値をそれぞれ低く設定し、また変曲点の発生頻度の低い場合はしきい値を相対的に高く設定するといった調整を行えば良い。このような、全体的なしきい値の調整により、画像の性質に応じて拡大画像のシャープさをより一層高めることができる。

また、予測画素値生成部２３は、特許請求の範囲にいう画素値算出手段（画素値算出ステップ）に該当し、変化率算出部２２による変換後座標の画素変化率に基づき該変換後座標における画素値を算出する。

また、画素値補正部２４は、特許請求の範囲にいう画素値補正手段（画素値補正ステップ）に該当し、予測画素値生成部２３で算出された画素値を補正する。画素値補正部２４では、変換後座標が所定条件の位置にあるときに、該変換後座標に隣接する２つの生成画素の画素値に基づく画素値に補正する。そして補正後の（補正しないときには予測画素値生成部２３で算出した）画素値を出力バッファ１５に書き込む。

なお、画素値補正部２４が画素値補正を行う補正実施条件（座標の位置条件）としては、例えば以下のそれぞれ独立した３つの条件が考えられる。（１）変換後座標が原画像の画素の座標から所定距離内にあるとき、（２）変換後座標が変曲点画素および該変曲点画素に隣接する画素のそれぞれの座標から所定距離内にあるとき、（３）変換後座標が変曲点画素および該変曲点画素の拡大方向に隣接する画素のそれぞれの座標から所定距離内にあるとき、である。これらの詳細については後述する。

以上説明したように、本実施例の画像処理装置では、構成要素の機能に幾つかの選択肢があるので、ここで大まかな機能的構成例を例示しておく。計算量（ハードウェア量）に応じた装置コストおよび処理速度の観点で、本実施例の画像処理装置の適用態様に応じて何れかの構成を選択して良い。

（構成１）変化率算出部２２では関数選定のデフォルトとして例えば直線を設定し、変曲点判断を行わない。また画像性質解析部２１では、短い範囲の画像性質解析を省略する。また比較的広範囲の画像性質解析については、隣接画素との画素変化率の差分に基づき変化周期を判断する。また、変化率算出部２２では画像性質解析結果に応じ関数を改めて選定する。さらに画素値補正部２４では、補正実施条件（座標の位置条件）として（１）を用いる。

（構成２）変化率算出部２２では関数選定のデフォルトとして例えば直線を設定し、変曲点判断を行う。また画像性質解析部２１では、短い範囲の画像性質解析を省略する。また比較的広範囲の画像性質解析については、変曲点画素の隣接画素との画素変化率の差分に基づき変化周期を判断し、変曲点の先鋭さも判断する。また、変化率算出部２２では画像性質解析結果に応じ関数を改めて選定する。さらに画素値補正部２４では、補正実施条件（座標の位置条件）として（１）乃至（３）の何れか１つを用いる。

（構成３）変化率算出部２２では、デフォルトとして例えば直線を設定し、変曲点判断を行わない。また画像性質解析部２１では、短い範囲の画像性質解析（隣接画素間の画素変化率の差分）を行う。また比較的広範囲の画像性質解析については、隣接画素との画素変化率の差分に基づき変化周期を判断する。また変化率算出部２２では、短い範囲の画像性質解析に応じてしきい値に基づき逐一関数を選定し、また、比較的広範囲の画像性質解析結果に応じてしきい値を調整する。さらに画素値補正部２４では、補正実施条件（座標の位置条件）として（１）を用いる。

（構成４）変化率算出部２２では関数選定のデフォルトとして例えば直線を設定し、変曲点判断を行う。また画像性質解析部２１では、短い範囲の画像性質解析（隣接画素間の画素変化率の差分）を行う。また比較的広範囲の画像性質解析については、変曲点画素の隣接画素との画素変化率の差分に基づき変化周期を判断し、変曲点の先鋭さも判断する。また変化率算出部２２では、短い範囲の画像性質解析に応じてしきい値に基づき逐一関数を選定する。また、比較的広範囲の画像性質解析結果に応じてしきい値を調整する。さらに画素値補正部２４では、補正実施条件（座標の位置条件）として（１）乃至（３）の何れか１つを用いる。

次に、以上説明した各構成要素を備えた本実施例の画像処理装置における画像処理方法について、図２乃至図５を参照して詳細に説明する。ここで、図２は実施例の画像処理装置における画像処理方法を説明するフローチャートであり、図３および図４はそれぞれ本発明における画素値の生成を概念的に説明する説明図であり、図５は画素値補正部２４における画素値の補正処理を概念的に説明する説明図である。

図２のフローチャートにおいて、まず、読出し転送制御部１２により、メモリ４０の原画像データ格納領域４１から原画像データがバースト転送で読み出され入力バッファ１３に格納される（ステップＳ１０１）。このデータ転送は、全体制御部１１により入力バッファ１３内の全ての原画像データに関わる処理が終了したか否かが判断され（ステップＳ１０２）、全ての原画像データに関わる処理が終了した時点で行われる。なお、入力バッファ１３を第１および第２の領域に分割する場合には、何れか一方の領域の画素を用いた処理が終了して他方の領域のみの画素を用いる処理に移行したときにデータ転送が行われることとなる。

また他方で、書込み転送制御部１４により、出力バッファ１５から拡大処理後の画像データが読み出され、バースト転送でメモリ４０の拡大画像データ格納領域４２に格納される（ステップＳ１２２）。このデータ転送は、生成される毎に出力バッファ１５に格納された画素値（拡大処理後の画像データ）が出力バッファ１５の容量分に達したか否かが全体制御部１１により判断され、出力バッファ１５の容量分に達した時点で行われる。なお、出力バッファ１５を第１および第２の領域に分割する場合には、何れか一方の領域への格納が終了して他方の領域への格納処理に移行したときにデータ転送が行われることとなる。

次に、画像性質解析部２１、変化率算出部２２、予測画素値生成部２３および画素値補正部２４による一連の処理は、処理に必要な入力画素が入力バッファ１３にあり、且つ、出力バッファ１５に空きがある状態を待って処理を開始する（ステップＳ１１１）。なお、以下では、拡大画像の画素座標を原画像上の座標に変換する処理は全体制御部１１で前もって行われるか、或いは逐次行われ、拡大画像の原画像における変換後座標がこれら各構成要素に通知されるものとして説明する。

まず、画像性質解析部２１により、変化率算出部２２において算出した画素の画素変化率の推移に基づき画像の性質を推定する（ステップＳ１１２）。

次に、変化率算出部２２により、全体制御部１１から指示があった変換後座標について、該変換後座標の隣接２画素を含む近傍３画素の画素値を入力バッファ１３から読み出す。そして、これら３画素の画素値に基づき隣接２画素の画素変化率を求め、次に、隣接２画素の画素値および画素変化率に基づき変換後座標における画素変化率を推定する（ステップＳ１１３）。

なお、画像性質解析部２１において、短い範囲の画像性質解析では、変化率算出部２２で求めた隣接２画素の画素変化率に基づきその差分を求め、画素変化率の変化を解析する。変化率算出部２２では、この解析結果に基づき所定しきい値との比較で近似に用いる直線またはｎ次関数を選定し、変換後座標における画素変化率を求める。

また、比較的広範囲の画像性質解析については、変化率算出部２２による画素変化率が所定数分蓄積された後に行われる。変化率算出部２２で変曲点判断を行う場合は、変曲点画素の隣接画素との画素変化率の差分に基づき変化周期を判断し、変曲点の先鋭さも判断する。変化率算出部２２で変曲点判断を行わない場合は、隣接画素との画素変化率の差分に基づき変化周期を判断する。変化率算出部２２では、この解析結果に基づき関数選定に用いる所定しきい値を調整する。

次に、予測画素値生成部２３により、変化率算出部２２で求めた変換後座標の画素変化率に基づき該変換後座標における画素値を算出する（ステップＳ１１４）。

ここで、変化率算出部２２および予測画素値生成部２３における処理について、図３および図４を参照して具体的に説明する。なお、図３および図４では、原画像において、ある水平方向のライン上で水平座標Ｘ０，Ｘ１，Ｘ２およびＸ３にそれぞれ画素値Ｄ０，Ｄ１，Ｄ２およびＤ３の画素Ｅ０，Ｅ１，Ｅ２およびＥ３が存在していると仮定している。また、拡大画像の画素座標を原画像上の座標値に変換した変換後座標Ｘを仮定し、水平座標Ｘに拡大処理で生成する画素があると仮定している。

変換後座標Ｘにおける画素値を算出するに際して、隣接２画素はＥ１およびＥ２であり、近傍３画素はＥ０，Ｅ１およびＥ２である。まず、変化率算出部２２では隣接２画素Ｅ１，Ｅ２の画素変化率を求める。図４に示すように、画素Ｅ１の画素変化率は傾きＫ１＝Ｅ１−Ｅ０として、また画素Ｅ２の画素変化率は傾きＫ２＝Ｅ２−Ｅ１として、それぞれ求められる。

次に、変換後座標に対する近傍２画素間の画素変化率の推移を直線（１次関数）で近似する場合には、図４において、２画素間の画素変化率を直線で結んだ前方傾きＧａｆの折れ線推移となる。変換後座標Ｘにおける１次関数に基づく画素変化率Ｋｄ１は、Ｘ２−Ｘ１＝１、画素Ｅ１の座標Ｘ１から変換後座標Ｘまでの距離をｄｌｔとすると、次式で得られる。

Ｋｄ１＝Ｋ１×（１−ｄｌｔ）＋（Ｋ２×ｄｌｔ） （１）
また、変換後座標に対する近傍２画素間の画素変化率の推移を２次関数ｋ＝ｆ（ｘ^２）で近似する場合には、図４において、隣接２画素Ｅ１，Ｅ２の画素変化率を２次関数で結んだ点線の推移となる。変換後座標Ｘにおける２次関数に基づく画素変化率Ｋｄ２は次式で得られる。

Ｋｄ２＝Ｋ１＋｛ｆ（ｘ^２）：ｘ＝ｄｌｔ｝ （２）
そして、予測画素値生成部２３では、１次関数に基づく画素変化率Ｋｄ１、或いは、２次関数に基づく画素変化率Ｋｄ２を用いて、変換後座標Ｘにおける画素値Ｄ１２Ｘ１，Ｄ１２Ｘ２を次式でそれぞれ求める。

Ｄ１２Ｘ１＝Ｄ１＋Ｋｄ１×ｄｌｔ （３）
Ｄ１２Ｘ２＝Ｄ１＋Ｋｄ２×ｄｌｔ （４）
つまり、画素変化率の直線近似では画素値Ｄ１２Ｘ１の画素Ｅ１２Ｘ１が、また画素変化率の２次関数近似では画素値Ｄ１２Ｘ２の画素Ｅ１２Ｘ２が、それぞれ拡大画像の画素として生成されることとなる。

なお、以上の説明では、画素変化率をその画素の１つ前の座標との画素値の差分（前方傾きＧａｆ）として求めたが、図４に示すように、その画素の１つ後の座標との画素値の差分（後方傾きＧａｂ）として求めても良い。但しこの場合には、画素変化率の推移の近似をずらして（上述の例では、水平座標Ｘ０，Ｘ１の区間で）行うこととなり、分かり易さの点で前方傾きＧａｆで行う方が望ましい。

次に、図２のフローチャートにおいて、画素値補正部２４により、予測画素値生成部２３で算出された画素値を必要であれば補正する（ステップＳ１１５）。ここでは、画素値補正部２４では、変換後座標が変曲点画素および該変曲点画素の拡大方向に隣接する画素のそれぞれの座標から所定距離内にあるとき（位置条件（３））に、該変換後座標に隣接する２つの生成画素の画素値に基づく画素値に補正するものとする。

この画素値補正部２４における補正処理について、図５を参照して具体的に説明する。なお、図５（ａ）に示すように、原画像において、ある水平方向のライン上で水平座標Ｘ０，Ｘ１，Ｘ２，Ｘ３およびＸ４にそれぞれ画素値Ｄ０，Ｄ１，Ｄ２，Ｄ３およびＤ４の画素Ｅ０，Ｅ１，Ｅ２，Ｅ３およびＥ４が存在していると仮定している。また、本具体例は５倍の拡大処理を行うものであり、拡大画像の原画像における変換後座標は、原画像の各画素の座標と、原画像の各隣接２画素間に４個それぞれ存在することとなる。

先の具体例と同様に、変換後座標に対する近傍２画素間の画素変化率（前方傾き）の推移を直線（１次関数）で近似すれば、図５（ｂ）に示すように、２画素間の画素変化率を直線で結んだ折れ線推移となる。ここで、変化率算出部２２により、水平座標Ｘ２の前後で画素変化率の符号がプラスからマイナスへ反転しており、水平座標Ｘ２（画素Ｅ２）は変曲点と判断される。

また、先の具体例（図３および図４）と同様に、変換後座標における１次関数に基づく画素変化率を求める（式（１）参照）。そして、変換後座標における画素値を求める（式（３）参照）と、図５（ａ）に示す（図中、白抜き丸：○で表記する）ように、拡大画像の各画素の画素値が得られる。しかしながら、変曲点画素Ｅ２および該変曲点画素Ｅ２の拡大方向に隣接する画素Ｅ３については、同図から明らかなように、拡大画像の画素値の推移として（滑らかな推移となっていない）不自然な箇所となっている。

これは、変換後座標に対する近傍２画素間の画素変化率の推移を直線（１次関数）で近似することが、画素値の推移として２画素間の傾きを表す関数を１階微分することと同義であることに起因すると考えられる。つまり、画素間毎に微分を行うと、原画像の画素座標がその微分境界となり、特に変曲点近傍において不自然さが発生するものと考えられる。なお、ｎ次関数で近似する場合にはｎ階微分することと同義であり、ｎが大きくなるにつれ不自然さは顕著に表れると考えられる。

そこで、画素値補正部２４では、変換後座標が変曲点画素および該変曲点画素の拡大方向に隣接する画素のそれぞれの座標から所定距離内にあるとき（位置条件（３））に、該変換後座標に隣接する２つの生成画素の画素値に基づく画素値に補正する。ここで、「座標から所定距離」については、原画像データの隣接画素間の距離を１としたとき、例えば±０．０５〜±０．１の範囲について補正処理を行えば良い。この補正処理により計算量が幾分増えることになるが、この所定範囲内に変換後座標が存在する確率は低いので、計算量への影響は抑制できる。

図５（ａ）では、変曲点画素Ｅ２については、画素Ｅ１２−８および画素Ｅ２３−２による線形補正を行って、画素Ｅ２ａに補正している。また、該変曲点画素Ｅ２の拡大方向に隣接する画素Ｅ３についても同様に、画素Ｅ２３−８および画素Ｅ３４−２による線形補正を行って、画素Ｅ３ａに補正している。

このように、画素値補正部２４の補正処理では、補正箇所の座標よりもさらに拡大方向（後方）の拡大画像の画素として生成された画素の画素値を用いるので、少なくとも３個の画素値を保持するバッファまたはシフトレジスタ等の記憶手段が必要となる。なお、画素値補正部２４に記憶手段は持たずに、一旦出力バッファ１５に格納した画素値を参照することとし、また、補正箇所の画素について補正処理後に補正値に書き換えるようにしても良い。

以上の説明では、画素値補正を行う位置条件として、上記位置条件（３）を用いた。なお、位置条件（１）や位置条件（２）では、画素値補正を行う箇所が位置条件（３）よりも多く、その分処理時間を増大させてしまうことから、本具体例のように、画素値補正を行う位置条件として位置条件（３）を用いるのが望ましい。但し、全体的な計算量を抑制する観点から変曲点判断を行わない場合には、位置条件（１）のみの適用として良い。

なお、画素値補正部２４による画素値補正は、拡大率が２または３倍以上であるときに行い、拡大率が２または３倍未満では行わないようにした方が良い。変曲点近傍における不自然さを隣接する２個の生成画素で線形補正するものであるから、相対的に低い拡大率では２個の生成画素間の距離が離れており、線形補正により却って不自然な画素値となる可能性があるからである。

次に、図２のフローチャートにおいて、画素値補正部２４により補正処理された後の（補正しないときには予測画素値生成部２３で算出した）画素値を出力バッファ１５に書き込む（ステップＳ１１６）。このとき、全体制御部１１は、入力バッファ１３内の全ての原画像データに関わる処理が終了したか否か、並びに、出力バッファ１５に格納された画素値（拡大処理後の画像データ）が出力バッファ１５の容量分に達したか否かを毎回判定する。

そして、全体制御部１１により、拡大処理で生成される全ての画素について処理が終了したか否かを判断し（ステップＳ１１７）、生成画素についての処理が終了した場合には一連の処理を終了し、そうでない場合にはステップＳ１１１に戻って処理を繰り返す。

〔適用例１〕
次に、本発明の画像拡大処理手法と一般的手法（最近傍法およびバイリニア法）とを対比するために、シミュレーション実験結果を適用例として例示する。なお、適用例１および適用例２では上記（構成２）を使用する。つまり、変化率算出部２２ではデフォルトとして直線を設定し、変曲点判断を行う。また画像性質解析部２１では、短い範囲の画像性質解析を省略する。また比較的広範囲の画像性質解析については処理対象の原画像データが少ないため行われないものとする。さらに画素値補正部２４では、補正実施条件（座標の位置条件）として（１）を用いる。

まず、適用例１について図６乃至図８の説明図を参照して説明する。ここで、図６は原画像の画像データを例示する説明図であり、図７は画素値算出過程および結果の数値表を例示する説明図であり、図８は本発明の画像拡大処理手法と一般的手法による画素値推移を対比した説明図である。なお、適用例１は原画像データを５倍に拡大するものであり、水平座標４から８の間について実験結果を示す。

本発明の適用としては、図６に示す原画像の画像データに対して、変換後座標に対する近傍２画素間の画素変化率（前方傾き）の推移を直線（１次関数）で近似した。上述の説明で用いた例と同様に、変換後座標における１次関数に基づく画素変化率を求めた（式（１）参照）。これを図７中の「予測傾きＫｄ」として示す。また、この予測傾きＫｄを用いて変換後座標における画素値を求めた（式（３）参照）。これを図７中の「予測画素値」として示す。

また、適用例１の原画像データでは、水平座標６に変曲点画素が存在する。適用例１では、画素値補正部２４における補正処理を実施する条件に、補正実施条件（１）「変換後座標が原画像の画素の座標から所定距離内にあるとき」、を用いた。

ここで、補正実施条件（３）に該当せず、補正実施条件（２）に該当するのは水平座標５の画素であるが、補正量は他の補正対象（水平座標６および７）の補正量と比べてわずかであった。これにより、補正実施条件（１）「変換後座標が原画像の画素の座標から所定距離内にあるとき」であっても、画質への影響が少ないことを実証できた。

また、最近傍法による生成画素値を図７（図中の括弧書きは最近傍法で選択された画素座標を示す）に示し、生成画素値の推移を図８（ｂ）に重ねて示す。また、バイリニア法による生成画素値の推移を図８（ａ）に重ねて示す。これら従前の画像拡大処理の一般的手法と比べて、本発明の画像拡大処理手法による補正前および補正後の生成画素値の推移は滑らかであり、従前の手法における画質の問題点（ジャギーやぼけ等）を低減できることは容易に考察できる。

〔適用例２〕
次に、適用例２について図９乃至図１１の説明図を参照して説明する。ここで、図９は原画像の画像データを例示する説明図であり、図１０は画素値算出過程および結果の数値表を例示する説明図であり、図１１は本発明の画像拡大処理手法と一般的手法による画素値推移を対比した説明図である。なお、適用例２は原画像データを５倍に拡大するものであり、水平座標３から８の間について実験結果を示す。

本発明の適用としては、図９に示す原画像の画像データに対して、変換後座標に対する近傍２画素間の画素変化率（前方傾き）の推移を直線（１次関数）で近似した。上述の説明で用いた例と同様に、変換後座標における１次関数に基づく画素変化率を求めた（式（１）参照）。これを図１０中の「予測傾きＫｄ」として示す。また、この予測傾きＫｄを用いて変換後座標における画素値を求めた（式（３）参照）。これを図１０中の「予測画素値」として示す。

適用例２では、画素値補正部２４における補正処理を実施する条件に、補正実施条件（１）「変換後座標が原画像の画素の座標から所定距離内にあるとき」、を用いた。

また、最近傍法による生成画素値を図１０（図中の括弧書きは最近傍法で選択された画素座標を示す）に示し、生成画素値の推移を図１１（ｂ）に重ねて示す。また、バイリニア法による生成画素値の推移を図１１（ａ）に重ねて示す。これら従前の画像拡大処理の一般的手法と比べて、本発明の画像拡大処理手法による補正前および補正後の生成画素値の推移は滑らかであり、従前の手法における画質の問題点（ジャギーやぼけ等）が改善されることは容易に考察できる。

また、適用例１および適用例２では、原画像データにおけるエッジ部分を例示している。図８および図１１に示すように、本発明の画像拡大処理手法では、画素値の推移における凸部分はオーバーシュート気味に、凹部分はアンダーシュート気味にそれぞれ拡大画像の画素値が生成されるので、エッジ部分の先鋭さがより強調されることとなる。その結果、従前の手法における画質の問題点（ジャギーやぼけ等）が解消されることは容易に考察できる。

以上説明したように、本実施例の画像処理装置および画像処理方法では、原画像に基づき一方向に拡大した拡大画像を生成する画像処理装置および画像処理方法であって、全体制御部１１により拡大画像の画素座標を原画像上の座標に変換した後、変化率算出部２２（変化率算出ステップ）により、原画像における変換後座標の隣接２画素を含む近傍３画素の画素値に基づき隣接２画素の画素変化率を求め、該隣接２画素の画素値および画素変化率に基づき変換後座標における画素変化率を推定する。そして、予測画素値生成部２３（画素値算出ステップ）により、変換後座標の画素変化率に基づき該変換後座標における画素値を算出する。

これにより、計算量を抑制すると共に、より良い画質の拡大画像を得られる画像処理装置および画像処理方法を実現できる。

まず、計算量について比較・考察する。従来の最近傍法およびバイリニア法は隣接２画素の画素値に基づく手法であり、バイキュービック法は隣接２画素を含む近傍４画素の画素値に基づく手法である。これに対して本実施例の画像処理装置および画像処理方法は、隣接２画素を含む近傍３画素の画素値に基づく手法である。

従って、大まかに一方向の拡大処理についての計算量を比較すれば、「最近傍法：バイリニア法：バイキュービック法：本実施例」の計算量の比は「１：２：４：３」となる。なお、近傍法は画素値の単なる置き換えであることから「１」とした。つまり、本実施例は、画質に難があっても計算量の少ない最近傍法およびバイリニア法よりも計算量は多いが、より良い画質が得られても計算量の多いバイキュービック法よりも計算量は少ないと言える。

次に、画質については、概ね計算量に比例して画質は良くなる傾向にあるから、本実施例は、最近傍法およびバイリニア法よりも良い画質を得ることができるが、バイキュービック法には若干劣ると考えられる。実際に、適用例１および適用例２で示したように、最近傍法およびバイリニア法と比べて、本実施例の補正前および補正後の生成画素値の推移は滑らかであり、画質の問題点（ジャギーやぼけ等）を低減できることも実証された。

また、本実施例では、変化率算出部２２（変化率算出ステップ）において、近傍２画素間の画素変化率の推移を直線またはｎ次関数（ｎは２以上の正整数）で近似して変換後座標における画素変化率を推定するようにしている。

図３および図４を参照して明らかなように、単なる隣接画素間の画素値の線形近似（バイリニア法）と比較して、直線を用いる場合でも画素値が変化する部分をより際立たせるように作用する。また、関数の次数を高くすればするほどその際立たせる度合いは増していく。また、適用例１および適用例２で示したように、画素値の推移における凸部分はオーバーシュート気味に、凹部分はアンダーシュート気味にそれぞれ拡大画像の画素値が生成される。

つまり、本実施例の画像処理装置および画像処理方法では、拡大画像の画素を生成する際に、画素値の推移における凸凹部分の画素値変化の度合いがより上下に強調されることとなり、原画像におけるエッジ部分の先鋭さがより強調されることになる。結果として、画質の問題点（ジャギーやぼけ等）が解消される。また、エッジ強調処理とは独立した処理でエッジ強調され、従来のようにエッジ強調処理後の拡大処理でエッジ強調処理を損なうといった問題も生じない。

また、本実施例では、画像性質解析部２１（画像性質解析ステップ）において画素の画素変化率の推移に基づき画像の性質を推定し、画像性質解析結果に応じて近似に用いる直線またはｎ次関数を選定するようにしている。

例えば、画素変化率が急激に変化しているか否か、画素変化率が比較的広範囲で大きく変化しているか否か、画素変化率の変化が激しいか（変化周期が短いか）否かについて解析し、該解析結果に応じて関数選定を行う。このように、画像の性質に応じて拡大画像の先鋭部分が強調されるので、シャープさをより一層高めることができる。

また、本実施例では、画素値補正部２４（画素値補正ステップ）において、変換後座標が原画像の画素の座標から所定距離内にあるときに、該変換後座標に隣接する２つの生成画素の画素値に基づく画素値に補正するようにしている。

本実施例の手法は拡大画像の画素生成の際に画素間毎に微分を行うことと等価であり、原画像の画素座標がその微分境界となるが、この原画像の画素座標近傍にある生成画素を補正するので、生成画素値の推移をより滑らかにすることができ、拡大画像の画質を向上させることができる。なお、この補正処理により計算量が幾分増えるが、画素座標近傍に変換後座標が存在する確率は低いので、計算量への影響は抑制できる。

また、本実施例では、画素値補正部２４（画素値補正ステップ）において、変換後座標が変曲点画素および該変曲点画素の拡大方向に隣接する画素のそれぞれの座標から所定距離内にあるときに、該変換後座標に隣接する２つの生成画素の画素値に基づく画素値に補正するようにしている。ここで、変曲点画素は画素変化率の符号が変化する変曲点に位置するもので、変化率算出部２２（変化率算出ステップ）により判断する。

このように、変曲点か否かを判断して、原画像の画素座標のうち変曲点画素および該変曲点画素の拡大方向に隣接する画素の近傍を補正対象とするので、生成画素値の推移をより滑らかにできると共に、計算量への影響をより抑制することができる。

〔変形例１〕
以上説明した実施例では、画像性質解析部２１の画素変化率の推移に基づく画像性質解析結果に応じて近似に用いる直線またはｎ次関数を選定したが、画素変化率の推移がより平坦なものである場合には、最近傍法またはバイリニア法で生成しても良い。

つまり、図１の画像処理回路１０に、変換後座標における画素値を最近傍法で算出する第２の画素値算出手段と、変換後座標における画素値をバイリニア法で算出する第３の画素値算出手段と、を備えた構成とする。全体制御部１１では、画像性質解析部２１の画像性質解析結果に応じて、画素値算出２３、第２の画素値算出手段または第３の画素値算出手段の何れかを選定して変換後座標における画素値を算出する。なお、第２の画素値算出手段および第３の画素値算出手段を、変化率算出部２２における関数の選択肢として備える構成としても良い。

例えば、画素変化率の急激な変化がなく、画素変化率が比較的広範囲で大きく変化せず、或いは画素変化率の変化に乏しい（変化周期が所定値以上に長い）場合に、実施例の手法を用いずに最近傍法またはバイリニア法で拡大画像の画素を生成する。なお、画素変化率の推移の平坦さ（変化周期の長さ等）の度合いに応じて、「最近傍法を選択する所定値＞バイリニア法を選択する所定値」とするのが望ましい。

図１２を参照して、変化率算出法の切替えについて説明する。図１２（ａ）はバイリニア法の場合、図１２（ｂ）は最近傍法の場合、図１２（ｃ）は実施例（直線近似）の場合、図１２（ｄ）は実施例（多項式近似）の場合、それぞれについての画素変化率を近似する関数を示している。

まず、バイリニア法の場合には、変換後座標の隣接２画素の画素値の直線補間であるので、隣接２画素間の画素変化率については、図１２（ａ）に示すように、変換後座標の後方画素（Ｘ２）の画素変化率の一定値で近似することになる。バイリニア法は実施例の手法よりも計算量が少なく、原画像の性質として画素変化率の推移がより緩やかまたは平坦なものである場合に適用するのが望ましい。

また、最近傍法の場合には、最も近傍にある画素を変換後座標の画素値とするので、隣接２画素間の画素変化率については、図１２（ｂ）に示す通りとなる。即ち、前方画素の座標Ｘ１から変換後座標Ｘまでの距離をｄｌｔとすると、ｄｌｔ＝０〜０．５の範囲では前方画素の画素変化率の一定値、ｄｌｔ＝０．５〜１の範囲では後方画素の画素変化率の一定値で近似することになる。最近傍法はバイリニア法よりも計算量が少なく、原画像の性質として画素変化率の推移がさらに緩やかまたは平坦なものである場合に適用するのが望ましい。

次に、実施例（直線近似）の場合には、図１２（ｃ）に示すように、変換後座標の隣接２画素間の画素変化率の推移を直線で近似する。実施例の直線近似は、画素変化率に急激な変化があり、画素変化率が比較的広範囲で大きく変化し、或いは画素変化率の変化が激しい（変化周期が短い）場合に適用するのが望ましい。実施例の直線近似は、最近傍法またはバイリニア法よりも計算量が多くなるが、このような性質を持つ原画像の拡大処理においては、最近傍法またはバイリニア法における画質の問題点（ジャギーやぼけ等）を低減できる。

また、実施例（多項式近似）の場合には、図１２（ｄ）に示すように、変換後座標の隣接２画素間の画素変化率の推移を多項式で近似する。実施例の多項式近似は、直線近似を適用する場合よりもさらに画素変化率に急激な変化があり、画素変化率が比較的広範囲で大きく変化し、或いは画素変化率の変化が激しい（変化周期が短い）場合に適用するのが望ましい。実施例の多項式近似は、さらに計算量が増えるが、このような性質を持つ原画像の拡大処理においては、画質の問題点（ジャギーやぼけ等）をより一層低減できる。

このように、変形例１では、画像性質解析部２１の画像性質解析結果に応じて、画素値算出２３、第２の画素値算出手段または第３の画素値算出手段の何れかを選定して変換後座標における画素値を算出する。これにより、拡大画像の画質を維持しつつ、処理速度の高速化を図ることができる。

つまり、画素変化率の推移がより平坦なものである場合には、より計算量の少ない手法に切り替えて拡大画像の画素を生成するので、処理の高速化を図ることができる。なお、最近傍法またはバイリニア法を選択する所定値は、処理速度と拡大画像の画質の劣化とのトレードオフで決められるものであり、実験的に求めるのが望ましい。

〔変形例２〕
また、以上説明した実施例および変形例１では、原画像の画像性質の解析を画像性質解析部２１で行い、画素変化率の近似関数の選定や最近傍法またはバイリニア法への切替えを行ったが、これをユーザ設定により行うようにしても良い。

つまり、ユーザインタフェースとして、例えば「自然画」または「文書・イラスト」の選択設定を持つ構成とする。「自然画」選択の場合には実施例の高次関数近似または多項式近似を適用し、「文書・イラスト」選択の場合には実施例の直線近似或いは最近傍法またはバイリニア法を適用する。

自然画では画素変化率の急激な変化がなく、画素変化率が比較的広範囲で大きく変化せず、或いは画素変化率の変化に乏しい（変化周期が長い）ものが一般的である。つまり、自然画の場合は出力画像が滑らかでグラデーション変化が望ましく、オーバーシュートなどでダイナミックな変化を強調した拡大画像が得られる実施例の手法が適している。

また一方、文書・イラストでは画素変化率に急激な変化があり、画素変化率が比較的広範囲で大きく変化し、或いは画素変化率の変化が激しい（変化周期が短い）ものが一般的である。例えば、最近傍法による拡大画像では。オーバーシュートなどが無く、コピーしたような境界がはっきりした画像となることから、文書・イラストの画像に適している。

このようなユーザ設定により、画像性質解析部２１を省略することができ、ハードウェア量を低減することができる。

〔変形例３〕
また、以上説明した実施例、変形例１および変形例２では、原画像に基づき一方向に拡大した拡大画像を生成する画像処理装置および画像処理方法について説明した。原画像を水平方向または垂直方向に拡大した拡大画像を、それぞれ垂直方向または水平方向に拡大することにより、２次元の拡大処理に本発明を適用することができる。

なお、実施例（図１）の構成で２次元の拡大処理を行うとすると、例えば水平方向に拡大した拡大画像データについて、水平方向の画素配列を垂直方向の画素配列に並べ替える必要がある。つまり、一方向に拡大した拡大画像データの水平方向と垂直方向の画素配列を逆に並べ替えた後、該並び替え後の拡大画像データについて拡大処理を行うものである。

画素配列の並べ替え手法としては、例えば、メモリ４０内に、拡大画像データ記憶領域４２以外の他の拡大画像データ記憶領域を設け、メモリ４０上で並べ替えを行うことが考えられる。また、メモリコントローラ３０または画像処理回路１０の書込み転送制御部１４にアドレス変換機能を持たせ、一方向の拡大処理における拡大画像データ記憶領域４２への書込み時に画素配列の並べ替えを行うようにしても良い。

図１３には、２次元の拡大処理への本発明の適用を概念的に示す。２次元の拡大処理での任意の変換後座標における画素値の算出は、（隣接２画素を含む近傍３画素）×（隣接２画素を含む近傍３画素）＝９画素で、該９画素の画素値に基づき行われることとなる。従って、大まかに２次元の拡大処理についての計算量を比較すれば、「最近傍法：バイリニア法：バイキュービック法：本実施例」の計算量の比は「１：４：１６：９」となる。

なお、本発明の諸態様の付記として、以下に示す。

（付記１）
原画像を拡大した拡大画像を生成する画像処理装置であって、
前記原画像の第１の画素位置の第１の画素変化率および第２の画素位置の第２の画素変化率を算出する変化率算出手段と、
前記原画像の拡大に応じて前記原画像の第１の画素位置と第２の画素位置の間に補間される補間位置の画素値を、該補間位置に応じて第１の重み付けをされた前記第１の画素変化率と、該補間位置に応じて第２の重み付けをされた前記第２の画素変化率とに基づいて算出する画素値算出手段と、
を有することを特徴とする画像処理装置。

（付記２）
前記画素値算出手段は、前記第１の画素変化率および前記第２の画素変化率間の画素変化率の推移を直線またはｎ次関数（ｎは２以上の正整数）で近似して前記第１の重み付けおよび前記第２の重み付けを行うことを特徴とする付記１に記載の画像処理装置。

（付記３）
前記変化率算出手段において算出した画素の画素変化率の推移に基づき画像の性質を推定する画像性質解析手段、を有し、
前記画素値算出手段は、前記画像性質解析手段による画像性質の推定結果に応じて、近似に用いる直線またはｎ次関数を選定することを特徴とする付記２に記載の画像処理装置。

（付記４）
前記補間位置における画素値を最近傍法で算出する第２の画素値算出手段と、
前記補間位置における画素値をバイリニア法で算出する第３の画素値算出手段と、を有し、
前記画像性質解析手段による画像性質の推定結果に応じて、前記画素値算出手段、前記第２の画素値算出手段または前記第３の画素値算出手段の何れかを選定して前記補間位置における画素値を算出することを特徴とする付記３に記載の画像処理装置。

（付記５）
前記補間位置が前記原画像の画素の座標から所定距離内にあるときに、該補間位置に隣接する２つの生成画素の画素値に基づく画素値に補正する画素値補正手段を有することを特徴とする付記１〜付記４の何れか１項に記載の画像処理装置。

（付記６）
前記画素値算出手段で算出された画素値を補正する画素値補正手段を有し、
前記変化率算出手段は、前記画素変化率の符号が変化する変曲点に位置する変曲点画素を検出し、
前記画素値補正手段は、前記補間位置が前記変曲点画素および該変曲点画素の拡大方向に隣接する画素のそれぞれの座標から所定距離内にあるときに、該補間位置に隣接する２つの生成画素の画素値に基づく画素値に補正することを特徴とする付記１〜付記４の何れか１項に記載の画像処理装置。

（付記７）
原画像を水平方向または垂直方向に拡大した拡大画像を、それぞれ垂直方向または水平方向に拡大することを特徴とする付記１〜付記６の何れか１項に記載の画像処理装置。

（付記８）
原画像を拡大した拡大画像を生成する画像処理方法であって、
前記原画像の第１の画素位置の第１の画素変化率および第２の画素位置の第２の画素変化率を算出する変化率算出ステップと、
前記原画像の拡大に応じて前記原画像の第１の画素位置と第２の画素位置の間に補間される補間位置の画素値を、該補間位置に応じて第１の重み付けをされた前記第１の画素変化率と、該補間位置に応じて第２の重み付けをされた前記第２の画素変化率とに基づいて算出する画素値算出ステップと、
を有することを特徴とする画像処理方法。

（付記９）
前記画素値算出ステップは、前記第１の画素変化率および前記第２の画素変化率間の画素変化率の推移を直線またはｎ次関数（ｎは２以上の正整数）で近似して前記第１の重み付けおよび前記第２の重み付けを行うことを特徴とする付記８に記載の画像処理方法。

（付記１０）
前記変化率算出手段において算出した画素の画素変化率の推移に基づき画像の性質を推定する画像性質解析ステップ、を有し、
前記画素値算出ステップは、前記画像性質解析ステップによる画像性質の推定結果に応じて、近似に用いる直線またはｎ次関数を選定することを特徴とする付記９に記載の画像処理方法。

（付記１１）
前記補間位置における画素値を最近傍法で算出する第２の画素値算出ステップと、
前記補間位置における画素値をバイリニア法で算出する第３の画素値算出ステップと、を有し、
前記画像性質解析ステップによる画像性質の推定結果に応じて、前記画素値算出ステップ、前記第２の画素値算出ステップまたは前記第３の画素値算出ステップの何れかを選定して前記補間位置における画素値を算出することを特徴とする付記１０に記載の画像処理装置。

（付記１２）
前記補間位置が前記原画像の画素の座標から所定距離内にあるときに、該補間位置に隣接する２つの生成画素の画素値に基づく画素値に補正する画素値補正ステップを有することを特徴とする付記８〜付記１１の何れか１項に記載の画像処理装置。

（付記１３）
前記画素値算出ステップで算出された画素値を補正する画素値補正ステップを有し、
前記変化率算出ステップは、前記画素変化率の符号が変化する変曲点に位置する変曲点画素を検出し、
前記画素値補正ステップは、前記補間位置が前記変曲点画素および該変曲点画素の拡大方向に隣接する画素のそれぞれの座標から所定距離内にあるときに、該補間位置に隣接する２つの生成画素の画素値に基づく画素値に補正することを特徴とする付記８〜付記１１の何れか１項に記載の画像処理方法。

（付記１４）
原画像を水平方向または垂直方向に拡大した拡大画像を、それぞれ垂直方向または水平方向に拡大することを特徴とする付記８〜付記１３の何れか１項に記載の画像処理方法。

（付記１５）
前記第１の重み付けと前記第２の重み付けは、前記補間位置に応じた前記第１の補間位置と前記第２の補間位置との間の案分によって決まることを特徴とする付記１に記載の画像処理装置。

１０ 画像処理回路
１１ 全体制御部
１２ 読出し転送制御部
１３ 入力バッファ
１４ 書込み転送制御部
１５ 出力バッファ
２１ 画像性質解析部
２２ 変化率算出部
２３ 予測画素値生成部
２４ 画素値補正部
３０ メモリコントローラ
４０ メモリ
４１ 原画像データ記憶領域
４２ 拡大画像データ記憶領域

Claims (10)

1. 原画像を拡大した拡大画像を生成する画像処理装置であって、
   前記原画像の第１の画素位置の第１の画素変化率および第２の画素位置の第２の画素変化率を算出する変化率算出手段と、
   前記原画像の拡大に応じて前記原画像の第１の画素位置と第２の画素位置の間に補間される補間位置の画素値を、該補間位置に応じて第１の重み付けをされた前記第１の画素変化率と、該補間位置に応じて第２の重み付けをされた前記第２の画素変化率とに基づいて算出する画素値算出手段と、
   を有することを特徴とする画像処理装置。
2. 前記画素値算出手段は、前記第１の画素変化率および前記第２の画素変化率間の画素変化率の推移を直線またはｎ次関数（ｎは２以上の正整数）で近似して前記第１の重み付けおよび前記第２の重み付けを行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記変化率算出手段において算出した画素の画素変化率の推移に基づき画像の性質を推定する画像性質解析手段、を有し、
   前記画素値算出手段は、前記画像性質解析手段による画像性質の推定結果に応じて、近似に用いる直線またはｎ次関数を選定することを特徴とする請求項２に記載の画像処理装置。
4. 前記補間位置における画素値を最近傍法で算出する第２の画素値算出手段と、
   前記補間位置における画素値をバイリニア法で算出する第３の画素値算出手段と、を有し、
   前記画像性質解析手段による画像性質の推定結果に応じて、前記画素値算出手段、前記第２の画素値算出手段または前記第３の画素値算出手段の何れかを選定して前記補間位置における画素値を算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記補間位置が前記原画像の画素の座標から所定距離内にあるときに、該補間位置に隣接する２つの生成画素の画素値に基づく画素値に補正する画素値補正手段を有することを特徴とする請求項１〜請求項４の何れか１項に記載の画像処理装置。
6. 前記画素値算出手段で算出された画素値を補正する画素値補正手段を有し、
   前記変化率算出手段は、前記画素変化率の符号が変化する変曲点に位置する変曲点画素を検出し、
   前記画素値補正手段は、前記補間位置が前記変曲点画素および該変曲点画素の拡大方向に隣接する画素のそれぞれの座標から所定距離内にあるときに、該補間位置に隣接する２つの生成画素の画素値に基づく画素値に補正することを特徴とする請求項１〜請求項４の何れか１項に記載の画像処理装置。
7. 前記原画像を水平方向に拡大した前記拡大画像を垂直方向に拡大し、または前記原画像を垂直方向に拡大した前記拡大画像を水平方向に拡大することを特徴とする請求項１〜請求項６の何れか１項に記載の画像処理装置。
8. 原画像を拡大した拡大画像を生成する画像処理方法であって、
   前記原画像の第１の画素位置の第１の画素変化率および第２の画素位置の第２の画素変化率を算出する変化率算出ステップと、
   前記原画像の拡大に応じて前記原画像の第１の画素位置と第２の画素位置の間に補間される補間位置の画素値を、該補間位置に応じて第１の重み付けをされた前記第１の画素変化率と、該補間位置に応じて第２の重み付けをされた前記第２の画素変化率とに基づいて算出する画素値算出ステップと、
   を有することを特徴とする画像処理方法。
9. 前記画素値算出ステップは、前記第１の画素変化率および前記第２の画素変化率間の画素変化率の推移を直線またはｎ次関数（ｎは２以上の正整数）で近似して前記第１の重み付けおよび前記第２の重み付けを行うことを特徴とする請求項８に記載の画像処理方法。
10. 前記変化率算出手段において算出した画素の画素変化率の推移に基づき画像の性質を推定する画像性質解析ステップ、を有し、
    前記画素値算出ステップは、前記画像性質解析ステップによる画像性質の推定結果に応じて、近似に用いる直線またはｎ次関数を選定することを特徴とする請求項９に記載の画像処理方法。

Images