JP5701374B2 - 画像拡大装置及び方法 - Google Patents

Description

本発明は、画像拡大装置及び方法に関する。

従来から、エッジの形状に応じて補間方法を切り換える画像拡大を行う画像処理装置が知られている。たとえば、特許文献１記載の画像処理装置では、所定のエッジ形状を検出した場合に内挿法を切り換えることにより補間演算によるエッジ部の劣化を防止している。特許文献１では、所定のエッジ形状の検出はエッジ部のパターンを所定のパターンと比較することにより行っている。

特開平７−５０７５２号公報（段落００２１）

しかしながら、上記のように所定のエッジ形状の検出はエッジ部のパターンを所定のパターンと比較することにより行う場合、エッジ形状によっては最適な補間演算を行うことが出来ないことがある。即ちエッジの形状がエッジ検出用に用意した所定のパターンとわずかに異なる場合でも、強制的にいずれかのパターンに分類されてしまうため、エッジ形状によってはエッジ形状の検出結果が最適になるとは限らない。また、この問題に対する解決策として比較用のパターンをより多く用意しておき、エッジ形状の検出をより細かくすることが考えられるが結局は有限個のパターンのいずれかにエッジ形状を分類することになるため、エッジ形状によってはエッジ形状の検出結果が最適にならないことがある。

本発明の一つの態様の画像拡大装置は、
低解像度画像から高解像度画像を生成する画像拡大装置であって、
前記高解像度画像を前記低解像度画像上に重ねた場合に前記高解像度画像内の画素が重なる位置を注目位置とし、前記注目位置ごとにその位置に画素が存在すると仮定した場合の画素値を前記低解像度画像内の複数の画素の持つ画素値と、該複数の画素についての補間係数とを用いた補間演算によって求める補間演算部と、
前記低解像度画像内の複数の画素のうち、前記注目位置の画素との相関が強い画素に対するものほど大きな値となる前記補間係数を求め、前記補間演算部に出力する補間係数算出部を有し、
前記補間係数算出部は、
前記低解像度画像の各画素に対してその画素を中心とした第１の方向に関する第１の変化量を求める第１の変化量算出部と、
前記低解像度画像の各画素に対してその画素を中心とした第２の方向に関する第２の変化量を求める第２の変化量算出部と、
前記第１の変化量を補間して得た第１の補間変化量と、前記第２の変化量を補間して得た第２の補間変化量を用いて相関の強い方向を表す方向指示データを求める方向算出部と、
前記方向指示データから前記補間係数を求める係数算出部を含む
ことを特徴とする。

本発明の他の態様の画像拡大方法は、
低解像度画像から高解像度画像を生成する画像拡大方法であって、
前記高解像度画像を前記低解像度画像上に重ねた場合に前記高解像度画像内の画素が重なる位置を注目位置とし、前記注目位置ごとにその位置に画素が存在すると仮定した場合の画素値を前記低解像度画像内の複数の画素の持つ画素値と、該複数の画素についての補間係数とを用いた補間演算によって求める補間演算ステップと、
前記低解像度画像内の複数の画素のうち、前記注目位置の画素との相関が強い画素に対するものほど大きな値となる前記補間係数を求め、前記補間演算ステップに出力する補間係数算出ステップを有し、
前記補間係数算出ステップは、
前記低解像度画像の各画素に対してその画素を中心とした第１の方向に関する第１の変化量を求める第１の変化量算出ステップと、
前記低解像度画像の各画素に対してその画素を中心とした第２の方向に関する第２の変化量を求める第２の変化量算出ステップと、
前記第１の変化量を補間して得た第１の補間変化量と、前記第２の変化量を補間して得た第２の補間変化量を用いて相関の強い方向を表す方向指示データを求める方向算出ステップと、
前記方向指示データから前記補間係数を求める係数算出ステップを含む
ことを特徴とする。

本発明によれば、エッジの角度あるいはエッジの形状を所定のパターンのいずれかに分類することもないので、エッジの形状によらず常に適切な補間演算を行うことができる。

本発明の実施の形態１による画像拡大装置を示すブロック図である。 低解像度画像Ｄ０１における画素の配列を概略的に示す図である。 注目位置を概略的に示す図である。 図１の補間係数算出部３Ａの構成例を示すブロック図である。 方向指示値計算部３Ａ５３３の動作を表すフローチャートである。 （Ａ）及び（Ｂ）は、単調に減少する関数ｆ（ｒ）の例を表す図である。 （Ａ）、（Ｂ）及び（Ｃ）は、図４の変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２の絶対値の少なくとも一方が小さくなる画像の例を示す図である。 本発明の実施の形態２による画像拡大方法を実行する演算装置を示すブロック図である。 実施の形態２による画像拡大方法の処理手順を示すフローチャートである。 図９の補間係数算出ステップＳＴ３Ａの処理手順を示すフローチャートである。 図１０の方向算出ステップＳＴ３Ａ５の処理手順を示すフローチャートである。 図１１の変化量比較ステップＳＴ３Ａ５３の処理手順を示すフローチャートである。

実施の形態１．
図１は本発明の実施の形態１による画像拡大装置の構成を表す図である。実施の形態１による画像拡大装置は、補間係数算出部３Ａ及び補間演算部３Ｂを備え、１枚の低解像度画像を入力画像とし、１枚の高解像度画像を出力画像とする。図１では入力画像として低解像度画像Ｄ０１が記され、出力画像として高解像度画像Ｄ３０が記されている。

図２は低解像度画像Ｄ０１を表す図であり、低解像度画像Ｄ０１及び低解像度画像Ｄ０１を構成する画素の一部が模式的に表されている。図２において、最も小さい四角が各画素を表している。また、低解像度画像Ｄ０１の水平方向、垂直方向に沿って水平座標、垂直座標が定義されており、水平座標がｘ、垂直座標がｙで表される座標に位置する画素の画素値をＤ０１（ｘ，ｙ）で表す。また、これらの座標軸の格子点の間隔は入力画像Ｄ０を構成する画素の間隔と等しいものとする。図２に示した例では、低解像度画像Ｄ０１の水平方向の画素数はＷ、垂直方向の画素数はＨとなる。

以下、本発明の実施の形態１による画像拡大装置及び各構成要素の動作について説明する。

補間演算部３Ｂは、高解像度画像Ｄ３０を構成する各画素の画素値を補間演算によって求める。即ち、低解像度画像Ｄ０１と高解像度画像Ｄ３０を重ねた場合、即ち低解像度画像Ｄ０１を表す平面上に高解像度画像Ｄ３０を重ねた場合に、高解像度画像Ｄ３０の画素が重なる位置を注目位置とし、注目位置に高解像度画像Ｄ３０の画素があるとした場合の画素値を、低解像度画像Ｄ０１の画素のうち、注目位置の近傍に存在する複数の画素の画素値と、該複数の画素についての補間係数を用いた補間演算によって計算する。

以下、低解像度画像Ｄ０１を表す座標平面上で水平座標がｓ、垂直座標がｔである位置に高解像度画像Ｄ３０の画素があるとした場合の画素値をＤ３０（ｓ，ｔ）で表す。なお、以下の説明で特に明記なく水平座標や垂直座標等の座標値が与えられた場合、その座標値は低解像度画像Ｄ０１を表す座標平面上に与えられるものである。

低解像度画像Ｄ０１を表す座標平面上に高解像度画像Ｄ３０を重ねた場合に、高解像度画像Ｄ３０の画素が重なる注目位置は、低解像度画像Ｄ０１の画素数と高解像度画像Ｄ３０の画素数の比から求められる。即ち、高解像度画像Ｄ３０の画素数が水平方向にＵ、垂直画素数にＶであった場合、注目位置の水平座標ｓは１からＵの間の整数値をとる変数ｉを用いて下記の式（１）

により表すことができ、注目位置の垂直座標ｔは１からＶの間の整数値をとる変数ｊを用いて下記の式（２）

により表すことができる。

高解像度画像Ｄ３０の画素数が水平方向、垂直方向とも低解像度画像Ｄ０１の画素数の４倍である場合を例に考えると、Ｕ＝４Ｗ、Ｖ＝４Ｈとなり、低解像度画像Ｄ０１を表す平面上で水平座標が１＋（ｉ−１）×０．２５、垂直座標が１＋（ｊ−１）×０．２５となる座標で表される位置が注目位置となる。図３は注目位置を、図２に示した座標空間上で表した図である。図３において、最も小さい四角が各注目位置あるいは各注目位置に重なる高解像度画像Ｄ３０の画素を表している。また、注目位置のうち、その位置が低解像度画像Ｄ０１の画素と一致するものについては、低解像度画像Ｄ０１の画素値を示している。
画素値算出部３０は各注目位置に画素が存在すると仮定した場合の画素値を求め、高解像度画像Ｄ３０の画素値とする。例えば、
Ｄ３０（ｘ，ｙ）、
Ｄ３０（ｘ＋０．２５，ｙ）、
Ｄ３０（ｘ，ｙ＋０．７５）、
Ｄ３０（ｘ＋０．５，ｙ＋１．５）
といった画素値を求めることになる。
即ち、ｓは、低解像度画像における画素ピッチのＷ／Ｕ倍、例えば０．２５倍を単位とする離散値であり、ｔは、低解像度画像における画素ピッチのＨ／Ｖ倍、例えば０．２５倍を単位とする離散値である。

以下、補間係数算出部３Ａ及び補間演算部３Ｂについて説明する。
まず、補間係数算出部３Ａの動作、構成について説明する。以下に詳しく述べるように、補間係数算出部３Ａは、低解像度画像Ｄ０１内に存在する画素のうち、注目画素との相関が強い画素に対するものほど大きな値となる補間係数Ｄ３Ａを求めるものであり、また、相関の強い方向に位置する画素を相関の強い画素として扱うものである。

図４は補間係数算出部３Ａの構成例を示す図である。補間係数算出部３Ａは第１の変化量算出部３Ａ１、第２の変化量算出部３Ａ２、第３の変化量算出部３Ａ３、第４の変化量算出部３Ａ４、方向算出部３Ａ５、及び係数算出部３Ａ６を備える。

第１の変化量算出部３Ａ１は低解像度画像Ｄ０１の各画素について水平方向に関する画素値の一次微分を計算し、計算結果を第１の変化量Ｄ３Ａ１として出力する。図２において水平座標がｘ、垂直座標がｙで表される画素に対して求められる水平方向に関する画素値の一次微分をＤ３Ａ１（ｘ，ｙ）で表すと、Ｄ３Ａ１（ｘ，ｙ）は以下の式（３）で計算される。

第２の変化量算出部３Ａ２は低解像度画像Ｄ０１の各画素について垂直方向に関する画素値の一次微分を計算し、計算結果を第２の変化量Ｄ３Ａ２として出力する。図２において水平座標がｘ、垂直座標がｙで表される画素に対して求められる垂直方向に関する画素値の一次微分をＤ３Ａ２（ｘ，ｙ）で表すと、Ｄ３Ａ２（ｘ，ｙ）は以下の式（４）で計算される。

第３の変化量算出部３Ａ３は低解像度画像Ｄ０１の各画素について水平方向に関する画素値の二次微分を計算し、計算結果を第３の変化量Ｄ３Ａ３として出力する。図２において水平座標がｘ、垂直座標がｙで表される画素に対して求められる水平方向に関する画素値の二次微分をＤ３Ａ３（ｘ，ｙ）で表すと、Ｄ３Ａ３（ｘ，ｙ）は以下の式（５）で計算される。

第４の変化量算出部３Ａ４は低解像度画像Ｄ０１の各画素について垂直方向に関する画素値の二次微分を計算し、計算結果を第４の変化量Ｄ３Ａ４として出力する。図２において水平座標がｘ、垂直座標がｙで表される画素に対して求められる垂直方向に関する画素値の二次微分をＤ３Ａ４（ｘ，ｙ）で表すと、Ｄ３Ａ４（ｘ，ｙ）は以下の式（６）で計算される。

方向算出部３Ａ５は、注目位置を中心としてどの方向に相関が強いかを表す方向指示データＤ３Ａ５を、第１の変化量Ｄ３Ａ１、第２の変化量Ｄ３Ａ２、第３の変化量Ｄ３Ａ３、及び第４の変化量Ｄ３Ａ４から求める。なお、注目位置と相関が強い方向とは、注目位置に存在する画素が存在すると仮定した場合に計算される画素値と近い画素値を持った画素が並ぶ方向を意味する。

図４に示すように、方向算出部３Ａ５は第１の変化量推定部３Ａ５１、第２の変化量推定部３Ａ５２、及び変化量比較部３Ａ５３を備える。

第１の変化量推定部３Ａ５１は、注目位置における第１の変化量の値を、注目位置周辺に存在する第１の低解像度画像Ｄ０１の画素に対して求められた第１の変化量Ｄ３Ａ１から推定し、その結果を第１の変化量推定値Ｄ３Ａ５１として出力する。

変化量推定値Ｄ３Ａ５１の推定には例えば線形補間を用いる。この場合、水平座標がｓ、垂直座標がｔで表される位置が注目位置であったとした場合、該注目位置の変化量推定値Ｄ３Ａ５１（ｓ，ｔ）は、下記の式（７）、

で計算される。なお、ｓｄｅｃ、ｔｄｅｃはそれぞれ座標値ｓの小数部の値、座標値ｔの小数部の値を表す。

第２の変化量推定部３Ａ５２は、注目位置における第２の変化量の値を、注目位置周辺に存在する第１の低解像度画像Ｄ０１の画素に対して求められた第２の変化量Ｄ３Ａ２から推定し、その結果を第２の変化量推定値Ｄ３Ａ５２として出力する。
変化量推定値Ｄ３Ａ５２の推定には例えば線形補間を用いる。この場合、水平座標がｓ、垂直座標がｔで表される位置が注目位置であったとした場合、該注目位置の変化量推定値Ｄ３Ａ５２（ｓ，ｔ）は、下記の式（８）、

で計算される。

変化量推定値Ｄ３Ａ５１及び変化量推定値Ｄ３Ａ５２は、補間により得られるものである場合、補間変化量とも呼ばれる。

変化量比較部３Ａ５３は、注目位置ごとに、第１の変化量推定値Ｄ３Ａ５１、第２の変化量推定値Ｄ３Ａ５２、第３の変化量Ｄ３Ａ３、及び第４の変化量Ｄ３Ａ４の値をもとに方向指示データＤ３Ａ５を決定し出力する。ここで方向指示データＤ３Ａ５は第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙからなる２次元の値である。

図４に示すように、変化量比較部３Ａ５３は第１の比較判定部３Ａ５１、第２の比較判定部３Ａ５２、及び方向指示値計算部３Ａ５３３を備える。

第１の比較判定部３Ａ５３１は、第１の変化量推定値Ｄ３Ａ５１の絶対値が第１の閾値Ｄ３Ａ５１ｔより大きく、かつ、第２の変化量推定値Ｄ３Ａ５２の絶対値が第２の閾値Ｄ３Ａ５２ｔより大きかった場合、第１の比較結果Ｄ３Ａ５３１として第１の値（例えば「１」）を出力し、それ以外の場合、第１の比較結果Ｄ３Ａ５３１として第２の値（例えば「０」）を出力する。

第２の比較判定部３Ａ５３２は、注目位置周辺に存在する第１の低解像度画像Ｄ０１の画素ごとに、その画素に対して求められた第３の変化量Ｄ３Ａ３の絶対値と第４の変化量Ｄ３Ａ４の絶対値の大小関係を調べる。そして、第３の変化量Ｄ３Ａ３の絶対値の方が第４の変化量Ｄ３Ａ４より大きい画素の数を第１のカウント値Ｄ３Ａ５３２Ｎ１として、第４の変化量Ｄ３Ａ４の絶対値の方が第３の変化量Ｄ３Ａ３より大きい画素の数を第２のカウント値Ｄ３Ａ５３２Ｎ２として出力する。なお、第１のカウント値Ｄ３Ａ５３２ＡＮ１及び第２のカウント値Ｄ３Ａ５３２Ｎ２からなるデータを第２の比較結果Ｄ３Ａ５３２と呼ぶこともある。

方向指示値計算部３Ａ５３３は、第１の変化量推定値Ｄ３Ａ５１、第２の変化量推定値Ｄ３Ａ５２、第１の比較結果Ｄ３Ａ５３１、及び第２の比較結果Ｄ３Ａ５３２に基づいて、以下のように方向指示データＤ３Ａ５を生成し、出力する。先に述べたように方向指示データＤ３Ａ５は第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙからなる２次元の値である。以下、図５に示すフローを用いながら方向指示値計算部３Ａ５３３における第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙの求め方について述べる。

方向指示計算部３Ａ５３３は、まずステップＳＴ１で第１の比較結果Ｄ３Ａ５３１の値が何であるか確認する。その値が第１の値（「１」）であった場合（即ち、第１の変化量推定値Ｄ３Ａ５１及び第２の変化量推定値Ｄ３Ａ５２がともに大きい場合）、ステップＳＴ２に進む。ステップＳＴ２では、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを下記の式（９）

により計算する。

一方、第１の比較結果Ｄ３Ａ５３１の値が第２の値（「０」）であった場合（即ち、第１の変化量算出部３Ａ１及び第２の変化量算出部３Ａ２で算出される水平方向の変化量及び垂直方向の変化量のいずれかが小さい場合）、ステップＳＴ３に進む。ステップＳＴ３では、第１のカウント値Ｄ３Ａ５３２Ｎ１と第２のカウント値Ｄ３Ａ５３２Ｎ２の差を比較する。その差の絶対値が第３の閾値Ｄ３Ａ５３２ｔより小さければ、ステップＳＴ４に進む。ステップＳＴ４では、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを下記の式（１０）

により計算する。

第１のカウント値Ｄ３Ａ５３２Ｎ１と第２のカウント値Ｄ３Ａ５３２Ｎ２の差の絶対値が第３の閾値Ｄ３Ａ５３２ｔ以上の場合、ステップＳＴ５に進む。ステップＳＴ５では第１のカウント値Ｄ３Ａ５３２Ｎ１と第２のカウント値Ｄ３Ａ５３２Ｎ２を比較する。第１のカウント値Ｄ３Ａ５３２Ｎ１が第２のカウント値Ｄ３Ａ５３２Ｎ２より大きければ、ステップＳＴ６に進む。ステップＳＴ６では、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを下記の式（１１）

により計算する。

一方、第１のカウント値Ｄ３Ａ５３２Ｎ１が第２のカウント値Ｄ３Ａ５３２Ｎ２より小さければ、ステップＳＴ７に進む。ステップＳＴ７では、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを下記の式（１２）

により計算する。

係数算出部３Ａ６は方向指示データＤ３Ａ５をもとに低解像度画像Ｄ０１を構成する画素に対する補間係数Ｄ３Ａを計算し出力する。ここで補間係数Ｄ３Ａは、注目位置に対して相関が強いと判断される方向により近い方向に位置する画素に対するものほど大きな値となるように計算される。

以下、注目位置の水平座標がｓ、垂直座標がｔであった場合に、低解像度画像Ｄ０１を構成する画素のうち、水平座標がｐ、垂直座標がｑで表される位置に存在する画素に対して計算される補間係数Ｄ３ＡをＤ３Ａ（ｐ，ｑ，ｓ，ｔ）で表し、補間係数Ｄ３Ａ（ｐ，ｑ，ｓ，ｔ）の計算方法の具体例を示す。
ここで、ｐ、ｑは、図３の例では、０．２５画素（低解像度画像における画素ピッチの０．２５倍）を単位とする離散値であり、一方、ｓ、ｔは上記のように、それぞれ低解像度画像における画素ピッチのＷ／Ｕ倍、例えば０．２５倍、Ｈ／Ｖ倍、例えば０．２５倍を単位とする離散値である。

補間係数Ｄ３Ａ（ｐ，ｑ，ｓ，ｔ）は以下の式（１３）

で表される数値ｒに対して、単調に減少する関係で求められる。即ち、変数ｒに対して単調に減少する関数ｆ（ｒ）を用いて、補間係数Ｄ３Ａ（ｐ，ｑ，ｓ，ｔ）は、

と計算される。ここで上記の式（１４）において、Ｄ３Ａ５ｘ（ｓ，ｔ）及びＤ３Ａ５ｙ（ｓ，ｔ）はそれぞれ、水平座標がｓ、垂直座標がｔで表される注目位置に対して計算される第１の方向指示データＤ３Ａ５ｘ及び第２の方向指示データＤ３Ａ５ｙを表す。

図６（Ａ）及び（Ｂ）に変数ｒに対して単調に減少する関数ｆ（ｒ）の例を示す。変数ｒに対して単調に減少する関数ｆ（ｒ）としては図６（Ａ）に示すようにｒ１＞ｒ２であればｆ（ｒ１）＜ｆ（ｒ２）となる関数や、図６（Ｂ）に示すようにｒ１＞ｒ２であればｆ（ｒ１）≦ｆ（ｒ２）となる関数が利用できる。

なお、上述の方法によって、注目位置に対して相関が強いと判断される方向により近い方向に位置する画素に対するものほど大きな値となるよう補間係数Ｄ３Ａを計算できる理由は後述する。
補間係数算出部３Ａの動作、構成は以上の通りである。

次に、補間演算部３Ｂの動作について説明する。
補間演算部３Ｂは、画素値Ｄ３０（ｓ，ｔ）を補間演算によって求める。この補間演算は、低解像度画像Ｄ０１の各画素の画素値Ｄ０１（ｐ，ｑ）と、各画素についての補間係数Ｄ３Ａ（ｐ，ｑ，ｓ，ｔ）とに基づいて行われるものであり、例えば

と表される。ここで上記の式（１５）において、Ｄ０１（ｐ，ｑ）は、低解像度画像Ｄ０１を構成する画素のうち、水平座標がｐ、垂直座標がｑで表される位置に存在する画素に対して与えられた画素値を表す。

以下、本発明の実施の形態１による画像拡大装置の作用、効果について説明する。
まず、変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２について説明する。以下に説明するように、高解像度画像Ｄ３０を、ｘ軸が高解像度画像Ｄ３０の水平座標に対応し、ｙ軸が高解像度画像Ｄ３０の垂直座標に対応し、ｚ軸が高解像度画像Ｄ３０の輝度値に対応する座標空間内の曲面で表した場合、変化量推定値Ｄ３Ａ５１を第１成分とし、変化量推定値Ｄ３Ａ５２を第２成分とする２次元ベクトルは、高解像度画像Ｄ３０を表す曲面上の各点での勾配に相当するベクトルとなる。

曲面の勾配について説明する。一般的に曲面はｘ軸、ｙ軸、ｚ軸からなる座標空間内の２変数関数として定義できる。この２変数関数をｚ＝ｆ（ｘ，ｙ）で表すと、曲面の勾配は偏微分を用いた以下の２次元ベクトルで表される。

この勾配は、曲面ｚ＝ｆ（ｘ，ｙ）上の各点について計算することが出来る。また、曲面ｚ＝ｆ（ｘ，ｙ）上のある点に対して計算される勾配は、その点を通る等高線に直交する方向を示すベクトルになる。なお、ｆ（ｘ，ｙ）のとる値は水平座標がｘ、垂直座標がｙとなる位置に存在する画素が持つ画素値である。

ここで、式（３）で表される第１の変化量Ｄ３Ａ１を第１成分、式（４）で表される第２の変化量Ｄ３Ａ２を第２成分とする２次元ベクトル（Ｄ３Ａ１，Ｄ３Ａ２）を考えると、この２次元ベクトルは低像度画像Ｄ０１を表す曲面の勾配になる。

画像を表す曲面を考えると、この曲面における等高線とは、その曲面が表す画像において画素値が同じ値となる画素をつないだものである。したがって画像を表す曲面上の各点で勾配が示す方向に直交する方向には、勾配を計算した位置に存在する画素と同じ画素値を持った画素が並んでいるとみなせる。
以上の性質から、高解像度画像Ｄ３０を表す曲面上の注目位置での勾配を計算することが出来れば、その値によって、注目位置に存在する画素に対して計算される画素値に近い画素値をもった画素が並ぶ方向、即ち、注目画素に対して相関が強い方向を判断することが出来る。

しかしながら、高解像度画像Ｄ３０については画素値のほとんどが未知なため勾配を計算することが難しい。そこで本発明の実施の形態１による画像拡大装置では低解像度画像Ｄ０１の勾配から高解像度画像Ｄ３０の勾配を近似的に求めている。低解像度画像Ｄ０１の勾配から高解像度画像Ｄ３０の勾配を近似的に求めることが出来る理由は以下の通りである。

一般に画像を構成する画像の画素値は滑らかに変化する。したがってある画像に対応した２変数関数は、その値が連続的に変化する連続関数とみなせる。連続関数においてはその一次微分値も連続的に変化するので、その連続関数上の任意の点の一次微分値はその点の近傍に位置する複数の点に対して与えられる一次微分値を補間したものと略同一の値になる。以上の性質と、曲面の勾配は曲面を表わす関数の一次微分で表されることを考慮に入れると、曲面上の各点の勾配も、その点の近傍に位置する複数の点に対して与えられる勾配を補間したもので近似可能であることがわかる。

高解像度画像Ｄ３０と低解像度画像Ｄ０１を比較すると、両者は画素数の違いを無視すれば同じ画像であり、座標空間上で両者を表す曲面はほぼ一致する。よって低解像度画像Ｄ０１の勾配を式（７）、式（８）のように補間することで高解像度画像Ｄ３０の勾配を近似的に求めることが出来る。

即ち、低解像度画像Ｄ０１の勾配を表す第１の変化量Ｄ３Ａ１及び第２の変化量Ｄ３Ａ２を補間して得られる変化量推定値Ｄ３Ａ５１及び変化量推定値Ｄ３Ａ５２をそれぞれ第１成分及び第２成分とする２次元ベクトルは、高解像度画像Ｄ３０の勾配を近似的に表すベクトルとなる。

次に、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを第１成分及び第２成分とする２次元ベクトルについて述べる。

式（９）で表される第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙをそれぞれ第１成分及び第２成分とする２次元ベクトルは、変化量推定値Ｄ３Ａ５１を第１成分、変化量推定値Ｄ３Ａ５２を第２成分とする２次元ベクトルと平行な単位ベクトルになるので、このベクトルも、勾配と同じ方向を指している。また、勾配によって相関の強い方向が判断出来るので、式（９）で表される第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙによっても相関の強い方向を判断できる。

なお、変化量推定値Ｄ３Ａ５１あるいは変化量推定値Ｄ３Ａ５２の絶対値の少なくとも一方が小さな値の時、第３の変化量Ｄ３Ａ３と第４の変化量Ｄ３Ａ４の比較結果から第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを求めている。これには以下のような作用、効果がある。

図７（Ａ）〜（Ｃ）は変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２の絶対値の少なくとも一方が小さな値となる典型的な画像を表している。図７（Ａ）は画像に垂直方向の縞模様が存在する場合であり、図７（Ｂ）は画像に水平方向の縞模様が存在する場合であり、図７（Ｃ）は画像に画素値の変化が見られない場合である。
図７（Ａ）のように画像内に垂直方向の縞模様がある場合、第２の変化量Ｄ３Ａ２の絶対値はあまり大きな値にならないため、第２の変化量Ｄ３Ａ２を補間して得られる変化量推定値Ｄ３Ａ５２の絶対値もあまり大きな値にならない。
図７（Ｂ）のように画像内に水平方向の縞模様がある場合、第１の変化量Ｄ３Ａ１の絶対値はあまり大きな値にならないため、第１の変化量Ｄ３Ａ１を補間して得られる変化量推定値Ｄ３Ａ５１の絶対値もあまり大きな値にはならない。
図７（Ｃ）のように画像内で画素値の変化が見られない場合、第１の変化量Ｄ３Ａ１及び第２の変化量Ｄ３Ａ２ともにその絶対値はあまり大きな値にならないため、変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２ともにその絶対値はあまり大きな値にならない。

低解像度画像Ｄ０１に図７（Ａ）のように垂直方向の縞模様がある場合を考える。この場合、低解像度画像Ｄ０１の画素値の水平方向の一次微分の絶対値はある程度大きな値になることが期待される。ここで一次微分の値は正の値や負の値を取りうる。
一方、高解像度画像Ｄ３０内の注目位置に対して計算される一次微分は低解像度画像Ｄ０１の各画素に対して計算される一次微分の補間によって与えられる。

まず、式（７）によって行われる水平方向に関する一次微分の補間について考える。縞模様の間隔によっては、式（７）で行う補間演算において、正の値と負の値を足しあうことになる。例えばＤ３Ａ１（ｓ−ｓｄｅｃ，ｔ−ｔｄｅｃ）とＤ３Ａ１（ｓ−ｓｄｅｃ，ｔ−ｔｄｅｃ＋１）が正の値であり、Ｄ３Ａ１（ｓ−ｓｄｅｃ＋１，ｔ−ｔｄｅｃ）とＤ３Ａ１（ｓ−ｓｄｅｃ＋１，ｔ−ｔｄｅｃ＋１）が負の値であると、正の値と負の値を足しあうことになり、補間演算の結果得られる変化量推定値Ｄ３Ａ５１はゼロに近い値、即ち小さな値となり得る。

次に、式（８）によって行われる垂直方向に関する一次微分の補間について考える。この場合、Ｄ３Ａ２（ｓ−ｓｄｅｃ，ｔ−ｔｄｅｃ）、Ｄ３Ａ２（ｓ−ｓｄｅｃ，ｔ−ｔｄｅｃ＋１）、Ｄ３Ａ２（ｓ−ｓｄｅｃ＋１，ｔ−ｔｄｅｃ）、及びＤ３Ａ２（ｓ−ｓｄｅｃ＋１，ｔ−ｔｄｅｃ＋１）の絶対値はいずれも小さな値であるので補間演算の結果得られる変化量推定値Ｄ３Ａ５２も小さな値である。

ここで垂直方向の縞模様のように垂直方向に相関が強い場合、第１の方向指示値Ｄ３Ａ５ｘは１に近い値を、第２の方向指示値Ｄ３Ａ５ｙは０に近い値をとるべきである。そのためには変化量推定値Ｄ３Ａ５１の絶対値が変化量推定値Ｄ３Ａ５２の絶対値よりかなり大きい値である必要があるが、先にのべたように変化量推定値Ｄ３Ａ５１の絶対値は小さな値を取りうるので、そのような関係が満たされる保証がない。つまり垂直方向の縞模様が存在した場合、変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２からは、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを適切に求めることができない場合がある。

同様に水平方向の縞模様が存在した場合、第１の方向指示値Ｄ３Ａ５ｘは「０」に近い値を、第２の方向指示値Ｄ３Ａ５ｙは「１」に近い値をとるべきであるが、変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２からは、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを適切に求めることができない場合がある。

ここで、図７（Ａ）のように垂直方向の縞模様が存在する場合、あるいは垂直方向に相関が強い場合に、低解像度画像Ｄ０１の各画素に対して計算される画素値の二次微分を考えると、垂直方向の絶対値は小さな値となるが、水平方向の二次微分の絶対値はある程度大きな値になる。よって注目位置の周辺が垂直方向の縞模様であった場合、注目位置周辺に存在する低解像度画像Ｄ０１の各画素に対して計算される水平方向の二次微分の絶対値と垂直方向の二次微分の絶対値を比較すると、水平方向の二次微分の絶対値の方が大きい画素の数が多い。よって第１のカウント値Ｄ３Ａ５３２Ｎ１の方が第２のカウント値Ｄ３Ａ５３２Ｎ２より大きな値となる。

図７（Ｂ）のように水平方向の縞模様がある場合、あるいは水平方向に相関が強い場合は、同様の議論から、よって第２のカウント値Ｄ３Ａ５３２Ｎ２の方が第１のカウント値Ｄ３Ａ５３２Ｎ１より大きな値となる。

図７（Ｃ）のように画素値の変化が見られない場合、あるいは相関の強い特定の方向が存在しない場合は、注目位置周辺の画素に対して計算される画像の水平方向及び垂直方向とも二次微分の絶対値はあまり大きな値にならず、どちらが大きな値をとるかも偶然的に決まる。よって、注目位置周辺の画素に対して計算される水平方向の二次微分の絶対値と垂直方向の二次微分の絶対値を比較すると、垂直方向の二次微分の絶対値の方が大きい画素の数と水平方向の二次微分の絶対値の方が大きい画素の数とに大きな差はつかない。よって第１のカウント値Ｄ３Ａ５３２Ｎ１と第２のカウント値Ｄ３Ａ５３２Ｎ２はほぼ同じ値となる。

よって、変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２の少なくとも一方が小さな値の時、第１のカウント値Ｄ３Ａ５３２Ｎ１及び第２のカウント値Ｄ３Ａ５３２Ｎ２を用いることで、垂直方向に相関が強いか水平方向に相関が強いか、相関の強い特定の方向が存在しないか判断できる。

即ち、第１のカウント値Ｄ３Ａ５３２Ｎ１及び第２のカウント値Ｄ３Ａ５３２Ｎ２の大小関係から、垂直方向に相関が強いか水平方向に相関が強いか判断することで、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを適切に求めることができる。つまり、Ｄ３Ａ５３２Ｎ１＞Ｄ３Ａ５３２Ｎ２の場合は垂直方向に相関が強いので第１の方向指示値Ｄ３Ａ５ｘを「１」とし、第２の方向指示値Ｄ３Ａ５ｙを「０」とし、逆にＤ３Ａ５３２Ｎ１＜Ｄ３Ａ５３２Ｎ２の場合は水平方向に相関が強いので第１の方向指示値Ｄ３Ａ５ｘを「０」とし、第２の方向指示値Ｄ３Ａ５ｙを「１」とする。また、補間係数Ｄ３Ａは、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙにもとづいてその値が変化するので、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを適切に求めることは、補間係数Ｄ３Ａを適切に求めることにつながる。

なお、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを上記のように求めるのに加え、相関の強い特定の方向が存在しない場合、即ち、第１のカウント値Ｄ３Ａ５３２Ｎ１と第２のカウント値Ｄ３Ａ５３２Ｎ２の差があまり大きくない場合、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙをともにゼロとする理由は、後述するように、このようにすることで、相関の強い特定の方向が存在しない場合、注目位置周辺の画素に対して等しく重み付けするように補間係数を求めることが出来るからである。

以上のように、低解像度画像Ｄ０１の画素値の変化の水平方向の二次微分の絶対値、垂直方向の二次微分の絶対値を用いることで、相関の強い方向をより正確に求めることが可能になる。

また、以上の説明から第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙあるいは方向指示データＤ３Ａ５は相関の強い方向を表すデータであることがわかる。

なお、本実施の形態では、第１の変化量Ｄ３Ａ１として低解像度画像Ｄ０１の画素値の変化の水平方向の一次微分、第２の変化量Ｄ３Ａ２として低解像度画像Ｄ０１の画素値の変化の垂直方向の一次微分、第３の変化量Ｄ３Ａ３として低解像度画像Ｄ０１の画素値の変化の水平方向の二次微分の絶対値、第４の変化量Ｄ３Ａ４として低解像度画像Ｄ０１の画素値の変化の垂直方向の二次微分の絶対値を使ったが、第１の変化量Ｄ３Ａ１、第２の変化量Ｄ３Ａ２、第３の変化量Ｄ３Ａ３、及び第４の変化量Ｄ３Ａ４として利用可能な値は上記の例に限らない。

第１の変化量Ｄ３Ａ１と第３の変化量Ｄ３Ａ３、および第２の変化量Ｄ３Ａ２と第４の変化量Ｄ３Ａ４が異なる性質のもの、あるいは異なる方法によって求められるものであればよい。第１の変化量Ｄ３Ａ１と第３の変化量Ｄ３Ａ３、および第２の変化量Ｄ３Ａ２と第４の変化量Ｄ３Ａ４として異なる性質を持つものを用いることで、第１の変化量Ｄ３Ａ１及び第２の変化量Ｄ３Ａ２によって相関の強い方向を判定するのが困難な場合でも、第３の変化量Ｄ３Ａ３及び第４の変化量Ｄ３Ａ４によって相関の強い方向を判定することが可能となる。つまり、より正確に相関の強い方向を求めることが出来る。

補間係数Ｄ３Ａについて述べる。
相関が強い方向に位置する画素ほど相関の強い画素であるとして扱われ、より大きな値の補間係数Ｄ３Ａが与えられる。

注目位置の水平座標をｓ、垂直座標をｔ、注目位置における第１の方向指示値Ｄ３Ａ５ｘをＤ３Ａ５ｘ（ｓ，ｔ）、第２の方向指示値Ｄ３Ａ５ｙをＤ３Ａ５ｙ（ｓ，ｔ）で表した場合、注目位置を通る等高線に接する直線は２次元ベクトル（Ｄ３Ａ５ｘ（ｓ，ｔ），Ｄ３Ａ５ｙ（ｓ，ｔ））に直交する直線であるので、以下の式で表される。

即ち、上記の式（１７）を満たす（ｘ，ｙ）の集合が、上記の「直交する直線」である。また、水平座標がｐ、垂直座標がｑで表される位置からこの直線に対する距離は

で計算できる。ここで第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙが式（１０）によって決定される場合を除き、分母の値は１となるので、式（１８）は式（１３）に示したｒと一致する。

注目位置近傍では、注目位置を通る等高線を、注目位置を通る等高線に接する直線で近似することが出来る。したがって式（１３）に示したｒは注目位置を通る等高線からの距離の近似値といえる。

補間係数Ｄ３Ａはｒに対して単調に減少する関数によって与えられるので、注目位置を通る等高線からの距離が長くなるほどその値が小さくなる。また、注目位置と同じ画素値になる点が等高線で結ばれているので、等高線からの距離が長くなるほど、注目位置との相関は弱くなる。

よって、補間係数Ｄ３Ａは相関が弱い方向に位置する画素ほど小さな値になるよう求められている。言い換えると、相関が強い方向に位置する画素ほど大きな値となるよう求められている。即ち、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙから補間係数Ｄ３Ａを求めることで、補間係数Ｄ３Ａを計算する際に、注目位置との相関を考慮することができる。

なお、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙが式（１０）によって決定される場合、上記の議論は成り立たないが、この場合、ｒの値は、ｐ、ｑの値によらず常にゼロである。よって補間係数は全ての画素に対して同じ値が用いられる。
一方、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙが式（１０）によって決定されるのは、相関の強い特定の方向が存在しない場合である。よって補間係数としても、特定の方向に対して大きな値にする必要はない。逆に言えば相関の強い方向がない場合、全ての方向に対して等しく重み付けできるよう補間係数を求めることが出来る。

以上に説明したように、本発明による画像拡大装置では、注目位置に存在する画素（以下、注目画素と呼ぶ）の画素値を注目画素周辺に位置する画素の画素値を補間して求める際、注目画素に対して相関の強い方向を判断し、その結果にしたがって補間係数を求めるので、注目画素との相関が強い画素に対する補間係数ほどより大きな重みを持つ。また、上記のように定められる補間係数を用いた補間演算を行うので、注目画素の画素値をより正確に求めることが出来る。

例えば、注目画素の近くにエッジのように輝度値が大きく変わる部分があったとする。この場合、注目画素の近傍には輝度の低い画素が集まっている領域と輝度の高い画素が集まっている領域が存在する。以下、仮に注目画素が輝度の低い領域に含まれているとする。

注目画素の画素値を注目画素周辺の画素値を補間して求める際に、注目画素との相関の強さを考慮せずに注目画素周辺の画素に対する補間係数を求めた場合、輝度の高い画素も輝度の低い画素も同じ程度に注目画素の画素値に影響する。その結果、注目画素の画素値は周囲にある輝度の低い画素に比べて高い値となり、違和感が生じる。

一方、注目画素の画素値を注目画素周辺の画素値を補間して求める際に、注目画素との相関の強さを考慮して補間係数を求めた場合、輝度の高い画素に対する重みづけは小さくなり、輝度が低い画素に対する重み付けは大きくなる。よって注目画素の画素値は周囲にある輝度の低い画素と同程度の値となり、上記のような違和感が生じない。

また、本発明による画像拡大装置ではその演算内容から明らかなように、注目画素に対して求める相関の強い方向は連続的な値で表されるものになる。よってエッジの角度あるいはエッジの形状を所定のパターンのいずれかに分類することもないのでエッジの形状によらず常に適切な補間演算を行うことができる。

なお、注目画素に対する相関の求め方は上記の例に留まらない。一般的に注目画素から離れた位置にある画素は、注目画素と異なる画素値をとる可能性が高い。よって、式（１３）に示したｒに加え、注目位置からの距離にも応じて補間係数が変わるようにしてもよい。例えば、注目位置からの距離が遠くなるほど補間係数が小さくなるようにしてもよい。注目画素からの距離をも考慮することで、注目画素とその周囲の画素との相関がより厳密に考慮され、注目画素の画素値もより適切に求められる。
なお、式（１３）に示したｒは、（ｐ−ｓ）、（ｑ−ｔ）に依存し、式（１４）のｆ（ｒ）は、ｒの増加に対して減少するので、距離が大きくなるほど補間係数が小さくなる。従って、ｒに加えて注目画素からの距離にも応じて補間係数が小さくなるようにすると、注目画素からの距離を二重に考慮することになる。

また、第１の変化量Ｄ３Ａ１は低解像度画像Ｄ０１の画素値の変化の水平方向に関する一次微分に相当する値であればよい。したがってその求め方は、低解像度画像Ｄ０１の画素値の変化の水平方向に関する一次微分を近似的に計算できる方法であればよく、式（３）に限定されない。

同様に、第２の変化量Ｄ３Ａ２は低解像度画像Ｄ０１の画素値の変化の垂直方向に関する一次微分に相当する値であればよい。したがってその求め方は、低解像度画像Ｄ０１の画素値の変化の垂直方向に関する一次微分を近似的に計算できる方法であればよく、式（４）に限定されない。

また、上記の説明では、第１の変化量Ｄ３Ａ１と第２の変化量Ｄ３Ａ２は低解像度画像Ｄ０１の画素値の変化の水平方向に関する一次微分と垂直方向に関する一次微分の組み合わせであったが、両者は異なる方向に関する画素値の変化の一次微分の組み合わせであればよい。よって、一般化して言えば、第１の変化量Ｄ３Ａ１は低解像度画像Ｄ０１の画素値の変化の第１の方向に関する一次微分、第２の変化量Ｄ３Ａ２は低解像度画像Ｄ０１の画素値の変化の第２の方向に関する一次微分であればよい。

また、第３の変化量Ｄ３Ａ３は低解像度画像Ｄ０１の画素値の変化の水平方向に関する二次微分に相当する値であればよい。したがってその求め方は、低解像度画像Ｄ０１の画素値の変化の水平方向に関する二次微分を近似的に計算できる方法であればよく、式（５）に限定されない。

同様に、第４の変化量Ｄ３Ａ４は低解像度画像Ｄ０１の画素値の変化の垂直方向に関する二次微分に相当する値であればよい。したがってその求め方は、低解像度画像Ｄ０１の画素値の変化の垂直方向に関する二次微分を近似的に計算できる方法であればよく、式（６）に限定されない。

さらに、上記の説明では、第３の変化量Ｄ３Ａ３と第４の変化量Ｄ３Ａ４は低解像度画像Ｄ０１の画素値の変化の水平方向に関する二次微分と垂直方向に関する二次微分の組み合わせであったが、両者は異なる方向に関する画素値の変化の二次微分の組み合わせであればよい。また、第３の変化量Ｄ３Ａ３の変化の方向、第４の変化量の変化の方向は、それぞれ第１の変化量の変化の方向（第１の方向）、第２の変化量の変化の方向（第２の方向）と同じでなくても良い。よって、一般化して言えば、第３の変化量Ｄ３Ａ３は低解像度画像Ｄ０１の画素値の変化の第３の方向に関する二次微分、第４の変化量Ｄ３Ａ４は低解像度画像Ｄ０１の画素値の変化の第４の方向に関する二次微分であればよい。

また、画素値算出部３０は、以上に説明した補間演算によって、各注目位置に画素が存在するとした場合の画素値を求めるが、各注目位置のうち、その位置が低解像度画像Ｄ０１の画素の位置と一致するものについては、以上に説明した補間演算によって求めず、低解像度画像Ｄ０１の画素値をそのまま用いてもよい。例えば図３に示した例では、
Ｄ３０（ｘ，ｙ）＝Ｄ０１（ｘ，ｙ）
Ｄ３０（ｘ−１，ｙ）＝Ｄ０１（ｘ−１，ｙ）
Ｄ３０（ｘ，ｙ＋１）＝Ｄ０１（ｘ，ｙ＋１）
等としてもよい。

本実施の形態による画像拡大装置は画像表示装置の一部として用いることができる。特に画像表示装置に対する入力画像の画素数が画像表示装置の表示部の画素数より少ない場合に用いることができる。

実施の形態２．
図８は本発明の実施の形態２による画像拡大方法を実行するための演算装置を表す。本発明の画像拡大方法は低解度画像Ｄ０１から高解像度画像Ｄ３０を生成する。

本発明による画像拡大方法を実行するための演算装置は入力インターフェースＩＦ１、出力インターフェースＩＦ２、プロセッサＣＰＵ１、プログラムメモリＭＥＭ１、及びデータメモリＭＥＭ２とこれらを接続するデータバスＢＵＳ１を備える。
プロセッサＣＰＵ１はプログラムメモリＭＥＭ１に記憶されたプログラムに従って動作する。動作の過程で発生する様々なデータはデータメモリＭＥＭ２に記憶される。低解度画像Ｄ０１は入力インターフェースＩＦ１を介して演算装置へ入力される。本発明による画像拡大方法によって生成される高解像度画像Ｄ３０は出力インターフェースＩＦ２を介して演算装置の外部へ出力される。

図９は本発明による画像拡大方法の処理手順を表す図である。本発明による画像拡大方法は、補間係数算出ステップＳＴ３Ａ、及び補間演算ステップＳＴ３Ｂを含み、
高解像度画像Ｄ３０を構成する各画素の画素値を補間演算によって求める。

補間係数算出ステップＳＴ３Ａについて述べる。
図１０は、補間係数算出ステップＳＴ３Ａの処理手順を表す図である。補間係数算出ステップＳＴ３Ａは、第１の変化量算出ステップＳＴ３Ａ１、第２の変化量算出ステップＳＴ３Ａ２、第３の変化量算出ステップＳＴ３Ａ３、第４の変化量算出ステップＳＴ３Ａ４、方向算出ステップＳＴ３Ａ５、及び係数算出ステップＳＴ３Ａ６を含む。

第１の変化量算出ステップＳＴ３Ａ１は、実施の形態１で説明した第１の変化量算出部３Ａ１と同様の処理で低解像度画像Ｄ０１の各画素について水平方向に関する画素値の一次微分を計算し、第１の変化量Ｄ３Ａ１を求める。

第２の変化量算出ステップＳＴ３Ａ２は、実施の形態１で説明した第２の変化量算出部３Ａ２と同様の処理で低解像度画像Ｄ０１の各画素について垂直方向に関する画素値の一次微分を計算し、第２の変化量Ｄ３Ａ２を求める。

第３の変化量算出ステップＳＴ３Ａ３は、実施の形態１で説明した第３の変化量算出部３Ａ３と同様の処理で低解像度画像Ｄ０１の各画素について水平方向に関する画素値の二次微分を計算し、第３の変化量Ｄ３Ａ３を求める。

第４の変化量算出ステップＳＴ３Ａ４は、実施の形態１で説明した第４の変化量算出部３Ａ４と同様の処理で低解像度画像Ｄ０１の各画素について垂直方向に関する画素値の二次微分を計算し、第４の変化量Ｄ３Ａ４を求める。

方向算出ステップＳＴ３Ａ５について図１１を用いて説明する。
図１１は方向算出ステップＳＴ３Ａ５の処理手順を表す図である。方向算出ステップＳＴ３Ａ５は、第１の変化量推定ステップＳＴ３Ａ５１、第２の変化量推定ステップＳＴ３Ａ５２、及び変化量比較ステップＳＴ３Ａ５３を含む。

第１の変化量推定ステップＳＴ３Ａ５１は、実施の形態１で説明した第１の変化量推定部３Ａ５１と同様の処理で第１の変化量推定値Ｄ３Ａ５１を求める。

第２の変化量推定ステップＳＴ３Ａ５２は、実施の形態１で説明した第２の変化量推定部３Ａ５２と同様の処理で第２の変化量推定値Ｄ３Ａ５２を求める。

変化量比較ステップＳＴ３Ａ５３について図１２を用いて説明する。
図１２は変化量比較ステップＳＴ３Ａ５３の処理手順を表す図である。変化量比較ステップＳＴ３Ａ５３は、第１の比較判定ステップＳＴ３Ａ５３１、第２の比較判定ステップＳＴ３Ａ５３２、及び方向指示値計算ステップＳＴ３Ａ５３３を含む。

第１の比較判定ステップＳＴ３Ａ５３１は、実施の形態１の第１の比較判定部３Ａ５３１と同様の処理で第１の比較結果Ｄ３Ａ５３１を求める。

第２の比較判定ステップＳＴ３Ａ５３２は、実施の形態１の第２の比較判定部３Ａ５３２と同様の処理で計算した第１のカウント値Ｄ３Ａ５３２Ｎ１及び第２のカウント値Ｄ３Ａ５３２Ｎ２からなる第２の比較結果Ｄ３Ａ５３２を求める。

方向指示値計算ステップＳＴ３Ａ５３３は、実施の形態１の方向指示値計算部３Ａ５３３と同様の処理で方向指示データＤ３Ａ５を求める。

変化量比較ステップＳＴ３Ａ５３の動作は以上の通りであり、その動作は、実施の形態１で説明した変化量比較部３Ａ５３と同様の処理である。
また、方向算出ステップＳＴ３Ａ５の動作は以上の通りであり、その動作は、実施の形態１で説明した方向算出部３Ａ５と同様である。

係数算出ステップＳＴ３Ａ６は、実施の形態１で説明した係数算出部３Ａ６と同様の処理で補間係数Ｄ３Ａを計算する。

補間係数算出ステップＳＴ３Ａの動作は以上の通りであり、その動作は、実施の形態１で説明した補間係数算出部３Ａと同様である。

補間演算ステップＳＴ３Ｂについて述べる。
補間演算ステップＳＴ３Ｂは実施の形態１で説明した補間演算部３Ｂと同様の処理で高解像度画像Ｄ３０の各画素の画素値を求める。

本発明の実施の形態２による画像拡大方法の動作は以上の通りである。本発明の画像拡大方法は本発明の実施の形態１の画像拡大装置と同様の処理を行うことが出来るので、本発明の実施の形態１の画像拡大装置と同様の効果をもつ。また、本発明の実施の形態１の画像拡大装置に対する変形は、本発明の実施の形態２による画像拡大方法にも適用できる。

本実施の形態による画像拡大方法あるいはそれを実施する演算装置は画像表示装置の一部として用いることができる。特に画像表示装置に対する入力画像の画素数が画像表示装置の表示部の画素数より少ない場合に用いることができる。

３Ａ 補間係数算出部、 ３Ｂ 補間演算部、 Ｄ０１ 低解像度画像、 Ｄ３Ａ 補間係数、 Ｄ３０ 高解像度画像。

Claims (10)

1. 低解像度画像から高解像度画像を生成する画像拡大装置であって、
   前記高解像度画像を前記低解像度画像上に重ねた場合に前記高解像度画像内の画素が重なる位置を注目位置とし、前記注目位置ごとにその位置に画素が存在すると仮定した場合の画素値を前記低解像度画像内の複数の画素の持つ画素値と、該複数の画素についての補間係数とを用いた補間演算によって求める補間演算部と、
   前記低解像度画像内の複数の画素のうち、前記注目位置の画素との相関が強い画素に対するものほど大きな値となる前記補間係数を求め、前記補間演算部に出力する補間係数算出部を有し、
   前記補間係数算出部は、
   前記低解像度画像の各画素に対してその画素を中心とした第１の方向に関する第１の変化量を求める第１の変化量算出部と、
   前記低解像度画像の各画素に対してその画素を中心とした第２の方向に関する第２の変化量を求める第２の変化量算出部と、
   前記第１の変化量を補間して得た第１の補間変化量と、前記第２の変化量を補間して得た第２の補間変化量を用いて相関の強い方向を表す方向指示データを求める方向算出部と、
   前記方向指示データから前記補間係数を求める係数算出部を含む
   ことを特徴とする画像拡大装置。
2. 前記補間係数算出部は、
   相関の強い方向に位置する画素が前記相関の強い画素であるとして処理するものであり、
   前記相関の強い方向を、前記低解像度画像から求める
   ことを特徴とする請求項１に記載の画像拡大装置。
3. 前記第１の変化量は前記低解像度画像の各画素を中心として前記第１の方向に関する画素値の変化の一次微分を求めたものであり、
   前記第２の変化量は前記低解像度画像の各画素を中心として前記第２の方向に関する画素値の変化の一次微分を求めたものである
   ことを特徴とする請求項１に記載の画像拡大装置。
4. 前記補間係数算出部は、
   前記低解像度画像の各画素に対してその画素を中心とした第３の方向に関する第３の変化量を求める第３の変化量算出部と、
   前記低解像度画像の各画素に対してその画素を中心とした第４の方向に関する第４の変化量を求める第４の変化量算出部をさらに含み、
   前記方向算出部は、前記第１から第４の変化量をもとに、前記方向指示データを求める
   ことを特徴とする請求項３に記載の画像拡大装置。
5. 前記第３の変化量は前記低解像度画像の各画素を中心として前記第３の方向に関する画素値の変化の二次微分の絶対値を求めたものであり、
   前記第４の変化量は前記低解像度画像の各画素を中心として前記第４の方向に関する画素値の変化の二次微分の絶対値を求めたものである
   ことを特徴とする請求項４に記載の画像拡大装置。
6. 前記方向算出部は、
   前記第１の補間変化量の絶対値が第１の閾値以下もしくは前記第２の補間変化量の絶対値が第２の閾値以下の場合、
   前記第３の変化量及び前記第４の変化量に応じて前記相関の強い方向を判断する
   ことを特徴とする請求項５に記載の画像拡大装置。
7. 前記方向算出部は、
   前記注目位置の近傍に存在する、前記低解像度画像の画素ごとに前記第３の変化量の絶対値と前記第４の変化量の絶対値を比較した結果、
   前記第３の変化量の絶対値より前記第４の変化量の絶対値の方が大きい画素の数が多い場合、前記第３の方向に相関が強いと判断し、
   前記第４の変化量の絶対値より前記第３の変化量の絶対値の方が大きい画素の数が多い場合、前記第４の方向に相関が強いと判断する
   ことを特徴とする請求項６に記載の画像拡大装置。
8. 前記方向算出部は、
   前記注目位置の近傍に存在する、前記低解像度画像の画素ごとに前記第３の変化量の絶対値と前記第４の変化量の絶対値を比較した結果、
   前記第３の変化量の絶対値より前記第４の変化量の絶対値の方が大きい画素の数と、前記第４の変化量の絶対値より前記第３の変化量の絶対値の方が大きい画素の数の差が第３の閾値より小さい場合、
   相関が強い方向は存在しないと判断する
   ことを特徴とする請求項６に記載の画像拡大装置。
9. 前記係数算出部は、
   前記低解像度画像内に存在する画素と前記注目位置の距離及び前記方向指示データに基づいて、前記補間係数を求める
   ことを特徴とする請求項１に記載の画像拡大装置。
10. 低解像度画像から高解像度画像を生成する画像拡大方法であって、
    前記高解像度画像を前記低解像度画像上に重ねた場合に前記高解像度画像内の画素が重なる位置を注目位置とし、前記注目位置ごとにその位置に画素が存在すると仮定した場合の画素値を前記低解像度画像内の複数の画素の持つ画素値と、該複数の画素についての補間係数とを用いた補間演算によって求める補間演算ステップと、
    前記低解像度画像内の複数の画素のうち、前記注目位置の画素との相関が強い画素に対するものほど大きな値となる前記補間係数を求め、前記補間演算ステップに出力する補間係数算出ステップを有し、
    前記補間係数算出ステップは、
    前記低解像度画像の各画素に対してその画素を中心とした第１の方向に関する第１の変化量を求める第１の変化量算出ステップと、
    前記低解像度画像の各画素に対してその画素を中心とした第２の方向に関する第２の変化量を求める第２の変化量算出ステップと、
    前記第１の変化量を補間して得た第１の補間変化量と、前記第２の変化量を補間して得た第２の補間変化量を用いて相関の強い方向を表す方向指示データを求める方向算出ステップと、
    前記方向指示データから前記補間係数を求める係数算出ステップを含む
    ことを特徴とする画像拡大方法。

Images