JP5546342B2

JP5546342B2 - 画像処理装置

Info

Publication number: JP5546342B2
Application number: JP2010113129A
Authority: JP
Inventors: 正司田村; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2010-05-17
Filing date: 2010-05-17
Publication date: 2014-07-09
Anticipated expiration: 2030-05-17
Also published as: JP2011244129A

Description

この発明は、オリジナル画像をアップコンバートして解像度を高める画像処理装置及び画像処理方法に関するものである。

近年、ビデオカメラやデジタルスチルカメラなどの撮影機器が普及し、撮影機器により撮影された映像を家庭用テレビなどの表示機器で表示したり、インターネット経由で配信したりできるようになりつつある。
ただし、撮影機器と表示機器では、映像の解像度が異なることが多いため、多様な撮影機器で撮影している映像を多様な表示機器で表示する際には、その映像をアップコンバートやダウンコンバートする必要がある。
例えば、携帯電話カメラで撮影しているＱＶＧＡサイズの映像をハイビジョンテレビで表示する際、見易い大きさで鑑賞するには、その映像を大幅にアップコンバートして、各フレームの画素数を増やす必要がある。

映像をアップコンバートする一般的な方法として、その映像を構成している画素を拡大倍率の回数分繰り返しコピーする最近傍法や、周辺画素間で線形補間して拡大する線形補間法や、双三次補間法などの方法がある。
しかし、これらのアップコンバート方法では、オリジナルの映像が有する空間周波数の範囲で拡大するため、拡大後の映像がぼけてしまったり、エッジが太くなってしまったりする弊害がある。

上記のアップコンバート方法とは別に、オリジナルの映像が有する空間周波数を超える帯域を再現して、高解像度のアップコンバート映像を生成する方法として、「超解像」と呼ばれる処理がある。
超解像処理は、大別して、二次元超解像と三次元超解像に分けられる。
二次元超解像では、オリジナルの映像が、目標とするサイズのアップコンバート後の映像が縮小されることで生成されていると仮定して、この縮小過程を定義し、オリジナルの映像に対して、縮小過程の逆変換を施すことで、オリジナルの映像が有する空間周波数を超える周波数帯の信号を推定し、シャープなアップコンバート映像を得るものである。
また、三次元超解像では、オリジナルの映像のフレームに隣接する複数のフレームから、オリジナルの映像のフレーム内には存在しない情報を参照及び補間することで、オリジナルの映像のフレームの空間周波数を超える高解像度の映像を生成するものである。

しかしながら、三次元超解像では、複数のフレームを画素単位に合成するため、複数のフレームに映っている被写体の動きを正確に検出する必要があり、また、動画に対してリアルタイム性を維持する必要がある。そのため、画像処理装置に動き検出処理回路を実装する必要があり、回路規模が非常に大きくなる。
また、三次元超解像では、映像のシーンが変わると、フレーム間の相関がなくなり、超解像効果がなくなる課題がある。

なお、一般的な二次元超解像では、上述したように、オリジナルの映像に対して、縮小過程の逆変換を施すことで、アップコンバート映像を生成するが、充分な効果を得るためには、アップコンバート映像を再度縮小して、オリジナルの映像との差異を逆変換パラメータに反映し、再度、アップコンバート映像を生成する反復処理が必要である。
このため、画像処理装置には、アップコンバート映像や最縮小画像を保持するフレームメモリを実装する必要がある（例えば、特許文献１を参照）。
一方、動画に対してリアルタイム性を維持するには、反復回数を最小限に留める必要があり、必ずしも充分な効果が得られない場合もある。

特開２００７−３１２２８４号公報（図１）

従来の画像処理装置は以上のように構成されているので、二次元超解像処理を実施する場合、アップコンバート映像や最縮小画像を保持するフレームメモリを実装する必要があり、回路規模が大きくなる。また、動画に対してリアルタイム性を維持するには、再度アップコンバート映像を生成する反復処理の反復回数を最小限に留める必要があり、必ずしも充分な効果が得られない場合があるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、アップコンバート映像や最縮小画像を保持するフレームメモリを実装する必要がなく、また、再度アップコンバート映像を生成する反復処理を行うことなく、二次元超解像処理を実現することができる画像処理装置及び画像処理方法を得ることを目的とする。

この発明に係る画像処理装置は、オリジナル画像を構成している複数の画素の中からエッジ上にある処理対象画素を選択し、当該処理対象画素を通るエッジの方向と直交する方向に存在して処理対象画素に隣接する隣接処理対象画素及び処理対象画素を評価基準画素セットとし、処理対象画素に対してエッジの方向に位置してエッジの方向と直交する方向に連続する複数の画素を評価対象画素セットとし、評価基準画素セットと複数の評価対象画素セットとの間の画素マッチングが最も良い評価対象画素セットを最良の評価対象画素セットとし、最良の評価対象画素セットに対してエッジの方向と直交する方向に１画素ずれた位置の画素セットを隣接評価対象画素セットとし、最良の評価対象画素セットの中心に位置する画素を最良評価画素とし、隣接評価対象画素セットの中心に位置する画素を隣接評価画素とすると、最良評価画素と隣接評価画素との間を１画素未満で補間する評価補間画素を求める信号値算出部を備え、信号値算出部は、最良の評価対象画素セットに対する画素マッチングの結果と隣接評価対象画素セットに対する画素マッチングの結果とを基に評価補間画素の位置を決定し、評価補間画素の信号値を処理対象画素の信号値、隣接処理対象画素の信号値及び隣接評価画素の信号値を基に算出するようにしたものである。

この発明によれば、オリジナル画像を構成している複数の画素の中からエッジ上にある処理対象画素を選択し、当該処理対象画素を通るエッジの方向と直交する方向に存在して処理対象画素に隣接する隣接処理対象画素及び処理対象画素を評価基準画素セットとし、処理対象画素に対してエッジの方向に位置してエッジの方向と直交する方向に連続する複数の画素を評価対象画素セットとし、評価基準画素セットと複数の評価対象画素セットとの間の画素マッチングが最も良い評価対象画素セットを最良の評価対象画素セットとし、最良の評価対象画素セットに対してエッジの方向と直交する方向に１画素ずれた位置の画素セットを隣接評価対象画素セットとし、最良の評価対象画素セットの中心に位置する画素を最良評価画素とし、隣接評価対象画素セットの中心に位置する画素を隣接評価画素とすると、最良評価画素と隣接評価画素との間を１画素未満で補間する評価補間画素を求める信号値算出部を備え、信号値算出部は、最良の評価対象画素セットに対する画素マッチングの結果と隣接評価対象画素セットに対する画素マッチングの結果とを基に評価補間画素の位置を決定し、評価補間画素の信号値を処理対象画素の信号値、隣接処理対象画素の信号値及び隣接評価画素の信号値を基に算出するように構成したので、アップコンバート映像（アップコンバートされたオリジナル画像）や最縮小画像を保持するフレームメモリを実装する必要がなく、また、再度アップコンバート映像を生成する反復処理を行うことなく、二次元超解像処理を実現することができる効果がある。

この発明の実施の形態１による画像処理装置を示す構成図である。この発明の実施の形態１による画像処理装置の処理内容（画像処理方法）を示すフローチャートである。フレーム画像の一例を示す説明図である。評価対象画素セット及び評価基準画素セットの一例を示す説明図である。評価値_３１、評価値ＳＡＤ_４１及び評価値_５１の３点を通る画素位置の２次関数を示す説明図である。補間信号値の算出概念を示す説明図である。アップコンバート後のフレーム画像における再サンプリング点を示す説明図である。点ｓにおける信号値の算出例を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図である。
図１において、フレーム画像入力部１は例えばＵＳＢポートなどの入力インタフェースや、インターネットなどのネットワークに対する通信インタフェースから構成されており、外部からオリジナル画像として、二次元の映像信号の１フレーム（以下、「フレーム画像」と称する）を入力して、そのフレーム画像をフレーム画像格納部２に格納する処理を実施する。
フレーム画像格納部２は例えばＲＡＭやハードディスクなどの記録媒体から構成されており、フレーム画像入力部１により入力されたフレーム画像を格納する。

処理対象画素選択部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、フレーム画像格納部２により格納されているフレーム画像を構成している複数の画素の中から、処理対象画素を順次選択する処理を実施する。なお、処理対象画素選択部３は処理対象画素選択手段を構成している。
エッジ方向検出部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、処理対象画素選択部３により選択された処理対象画素を通るエッジの方向を検出する処理を実施する。なお、エッジ方向検出部４はエッジ方向検出手段を構成している。

評価対象画素セット設定部５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、フレーム画像格納部２により格納されているフレーム画像を構成している複数の画素の中から、エッジ方向検出部４により検出されたエッジ方向と直交する方向に連なっている複数の画素を順次選択して、複数の画素を評価対象画素セットに設定する処理を実施する。なお、評価対象画素セット設定部５は評価対象画素セット設定手段を構成している。

評価基準画素セット設定部６は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、処理対象画素選択部３により選択された処理対象画素に隣接している画素の中で、エッジ方向検出部４により検出されたエッジ方向と直交する方向に存在している画素及び当該処理対象画素を評価基準画素セットに設定する処理を実施する。
画素マッチング部７は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、評価基準画素セット設定部６により設定された評価基準画素セットと評価対象画素セット設定部５により設定された複数の評価対象画素セットの間で画素マッチングを実施して、その画素マッチングの結果を示す評価値を出力する処理を実施する。
なお、評価基準画素セット設定部６及び画素マッチング部７から画素マッチング手段が構成されている。

画素位置決定部８は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、評価対象画素セット設定部５により設定された複数の評価対象画素セットの中で、画素マッチング部７による画素マッチングの結果が最良の評価対象画素セットを特定し、最良の評価対象画素セットに対する画素マッチングの結果と最良の評価対象画素セットに隣接している評価対象画素セットに対する画素マッチングの結果から、信号値を補間する１画素未満の画素位置を決定する処理を実施する。
補間画素信号値算出部９は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、最良の評価対象画素セットに対する画素マッチングの結果と最良の評価対象画素セットに隣接している評価対象画素セットに対する画素マッチングの結果から、画素位置決定部７により決定された画素位置の信号値を算出する処理を実施する。
なお、画素位置決定部８及び補間画素信号値算出部９から第１の信号値算出手段が構成されている。

再サンプリング点信号値算出部１０は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、補間画素信号値算出部９により算出された１画素未満の画素位置の信号値とフレーム画像格納部２により格納されているフレーム画像を構成している画素の信号値から、アップコンバート後のフレーム画像における再サンプリング点の信号値を算出する処理を実施する。なお、再サンプリング点信号値算出部１０は第２の信号値算出手段を構成している。

図１の例では、画像処理装置の構成要素であるフレーム画像入力部１、フレーム画像格納部２、処理対象画素選択部３、エッジ方向検出部４、評価対象画素セット設定部５、評価基準画素セット設定部６、画素マッチング部７、画素位置決定部８、補間画素信号値算出部９及び再サンプリング点信号値算出部１０のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像処理装置がコンピュータで構成される場合、フレーム画像入力部１、フレーム画像格納部２、処理対象画素選択部３、エッジ方向検出部４、評価対象画素セット設定部５、評価基準画素セット設定部６、画素マッチング部７、画素位置決定部８、補間画素信号値算出部９及び再サンプリング点信号値算出部１０の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による画像処理装置の処理内容（画像処理方法）を示すフローチャートである。

次に動作について説明する。
フレーム画像入力部１は、外部からオリジナル画像として、二次元の映像信号の１フレームであるフレーム画像を入力すると、そのフレーム画像をフレーム画像格納部２に格納する。
図３はフレーム画像の一例を示す説明図であり、ここでは、図３に示すようなフレーム画像がフレーム画像入力部１により入力されるものとして説明する。

処理対象画素選択部３は、フレーム画像入力部１がフレーム画像をフレーム画像格納部２に格納すると、そのフレーム画像を構成している画素Ｙ００〜Ｙ６６の中から、処理対象画素を順次選択する。
ここでは、説明の便宜上、処理対象画素として画素Ｙ３３（図３で斜線が施されている画素）が選択されるものとして、以下の説明を行うが、例えば、画素Ｙ００→Ｙ１０→・・・→Ｙ６０→Ｙ０１→Ｙ１１→・・・→Ｙ６１→・・・→Ｙ０６→・・・→Ｙ６６の順番で、全ての画素が処理対象画素として選択される。

エッジ方向検出部４は、処理対象画素選択部３が処理対象画素Ｙ３３を選択すると、その処理対象画素Ｙ３３を通るエッジの方向を検出する（ステップＳＴ１）。
即ち、エッジ方向検出部４は、処理対象画素選択部３により選択された処理対象画素Ｙ３３が水平エッジを形成する被写体上に存在しているのか、垂直エッジを形成する被写体上に存在しているのかを判定する。
エッジ方向の検出は、例えば、下記の式（１）（２）に示すＰｒｅｗｉｔｔフィルタを用いることができる。

式（１）において、Ｅｈは垂直方向のエッジ検出結果を示しており、値が大きい程、処理対象画素Ｙ３３が垂直エッジを形成している可能性が高い。
式（２）において、Ｅｖは水平方向のエッジ検出結果を示しており、値が大きい程、処理対象画素Ｙ３３が水平エッジを形成している可能性が高い。
したがって、エッジ方向検出部４は、エッジ検出結果Ｅｈとエッジ検出結果Ｅｖを比較し、エッジ検出結果Ｅｈがエッジ検出結果Ｅｖより大きければ（Ｅｈ≧Ｅｖ）、処理対象画素Ｙ３３が垂直エッジを形成していると判定し、エッジ検出結果Ｅｈがエッジ検出結果Ｅｖより小さければ（Ｅｈ＜Ｅｖ）、処理対象画素Ｙ３３が水平エッジを形成していると判定する（ステップＳＴ２）。

次に、画像処理装置では、処理対象画素Ｙ３３と最も形状が似ているエッジの位置を算出するため、評価対象画素セット設定部５、評価基準画素セット設定部６及び画素マッチング部７が、以下の処理を実施する。
評価対象画素セット設定部５は、フレーム画像格納部２により格納されているフレーム画像を構成している画素Ｙ００〜Ｙ６６の中から、エッジ方向検出部４により検出されたエッジ方向と直交する方向に連なっている複数の画素を順次選択して、複数の画素を評価対象画素セットに設定する。

例えば、エッジ方向検出部４により処理対象画素Ｙ３３が垂直エッジを形成していると判定された場合（Ｅｈ≧Ｅｖ）、後段の画素マッチング部７が水平画素マッチングを行うため、図４に示すように、水平方向に連なっている複数の画素を順次選択して、複数の画素を評価対象画素セットに設定する。
図４では、斜線が施されている垂直エッジラインが処理対象画素Ｙ３３の上を通っており、画素Ｙ３１，Ｙ４１，Ｙ５１が、評価対象画素セットに設定されている例を示している。

図４の例では、画素Ｙ３１，Ｙ４１，Ｙ５１が評価対象画素セットに設定されているが、評価対象画素セットは順次水平方向にずらされるため、例えば、画素Ｙ３１が存在している水平ラインにおいては、下記に示す画素の組み合わせが、評価対象画素セットに設定される。
Ｙ０１，Ｙ１１，Ｙ２１
Ｙ１１，Ｙ２１，Ｙ３１
Ｙ２１，Ｙ３１，Ｙ４１
Ｙ３１，Ｙ４１，Ｙ５１
Ｙ４１，Ｙ５１，Ｙ６１
これにより、図４に示すフレーム画像の場合、１つの水平ライン毎に、５個の評価対象画素セットが設定される。

一方、エッジ方向検出部４により処理対象画素Ｙ３３が水平エッジを形成していると判定された場合（Ｅｈ＜Ｅｖ）、後段の画素マッチング部７が垂直画素マッチングを行う（図４に示すフレーム画像を９０度回転させたイメージで画素マッチングを行う）ため、垂直方向に連なっている複数の画素を順次選択して、複数の画素を評価対象画素セットに設定する。

例えば、画素Ｙ５３が存在している垂直ラインにおいては、下記に示す画素の組み合わせが、評価対象画素セットに設定される。
Ｙ５０，Ｙ５１，Ｙ５２
Ｙ５１，Ｙ５２，Ｙ５３
Ｙ５２，Ｙ５３，Ｙ５４
Ｙ５３，Ｙ５４，Ｙ５５
Ｙ５４，Ｙ５５，Ｙ５６
これにより、図４に示すフレーム画像の場合、１つの垂直ライン毎に、５個の評価対象画素セットが設定される。

評価基準画素セット設定部６は、処理対象画素選択部３により選択された処理対象画素に隣接している画素の中で、エッジ方向検出部４により検出されたエッジ方向と直交する方向に存在している画素及び当該処理対象画素を評価基準画素セットに設定する。
例えば、図３に示すように、画素Ｙ３３が処理対象画素に選択されており、エッジ方向検出部４により処理対象画素Ｙ３３が垂直エッジを形成していると判定されていれば（Ｅｈ≧Ｅｖ）、処理対象画素Ｙ３３と、処理対象画素Ｙ３３の左右に位置している画素Ｙ２３，Ｙ４３とが評価基準画素セットに設定される（図４を参照）。
また、画素Ｙ３３が処理対象画素に選択されており、エッジ方向検出部４により処理対象画素Ｙ３３が水平エッジを形成していると判定されていれば（Ｅｈ＜Ｅｖ）、処理対象画素Ｙ３３と、処理対象画素Ｙ３３の上下に位置している画素Ｙ３２，Ｙ３４とが評価基準画素セットに設定される。

画素マッチング部７は、評価対象画素セット設定部５が複数の評価対象画素セットを設定し、評価基準画素セット設定部６が評価基準画素セットを設定すると、その評価基準画素セットと複数の評価対象画素セットの間で画素マッチングを実施して（ステップＳＴ３、または、ステップＳＴ４）、その画素マッチングの結果を示す評価値を算出する（ステップＳＴ５）。
画素マッチングの方法としては、例えば、評価基準画素セットにおける３画素の画素値と、評価対象画素セットにおける３画素の画素値との差分をそれぞれ求めて、それらの差分の絶対値の和（差分絶対値和）を評価値ＳＡＤとして算出する方法がある。

即ち、画素マッチング部７が水平画素マッチングを行う場合（ステップＳＴ３）、例えば、評価基準画素セットがＹ２３，Ｙ３３，Ｙ４３、評価対象画素セットがＹ３１，Ｙ４１，Ｙ５１であれば、評価値ＳＡＤの算出式は、以下の式（３）のようになる。
ＳＡＤ＝｜Ｙ２３−Ｙ３１｜＋｜Ｙ３３−Ｙ４１｜＋｜Ｙ４３−Ｙ５１｜（３）
なお、画素マッチング部７は、１つの水平ライン毎に、５個の評価対象画素セットが設定されていれば、５個の評価対象画素セットと評価基準画素セットの間で画素マッチングを行うが、当該水平ラインにおいて、評価値ＳＡＤが最小になる評価対象画素セットが評価基準画素セットとのマッチング結果が最良であり、その評価対象画素セット内の中心の画素が構成するエッジ形状が、処理対象画素Ｙ３３が構成するエッジ形状との一致度が最も高くなる。
例えば、評価値ＳＡＤが最小になる評価対象画素セットがＹ３１，Ｙ４１，Ｙ５１であれば、フレーム画像を構成している複数の画素の中で、画素Ｙ４１が構成するエッジ形状が、処理対象画素Ｙ３３が構成するエッジ形状との一致度が最も高くなる。

一方、画素マッチング部７が垂直画素マッチングを行う場合（ステップＳＴ４）、例えば、評価基準画素セットがＹ３２，Ｙ３３，Ｙ３４、評価対象画素セットがＹ５２，Ｙ５３，Ｙ５４であれば、評価値ＳＡＤの算出式は、以下の式（３）のようになる。
ＳＡＤ＝｜Ｙ３２−Ｙ５２｜＋｜Ｙ３３−Ｙ５３｜＋｜Ｙ３４−Ｙ５４｜（４）
なお、画素マッチング部７は、１つの垂直ライン毎に、５個の評価対象画素セットが設定されていれば、５個の評価対象画素セットと評価基準画素セットの間で画素マッチングを行うが、当該垂直ラインにおいて、評価値ＳＡＤが最小になる評価対象画素セットが評価基準画素セットとのマッチング結果が最良であり、その評価対象画素セット内の中心の画素が構成するエッジ形状が、処理対象画素Ｙ３３が構成するエッジ形状との一致度が最も高くなる。
例えば、評価値ＳＡＤが最小になる評価対象画素セットがＹ５２，Ｙ５３，Ｙ５４であれば、フレーム画像を構成している複数の画素の中で、画素Ｙ５３が構成するエッジ形状が、処理対象画素Ｙ３３が構成するエッジ形状との一致度が最も高くなる。

画素位置決定部８は、画素マッチング部７が評価基準画素セットと複数の評価対象画素セットの間で画素マッチングを実施すると、画素マッチング部７による画素マッチングの結果が最良の評価対象画素セットを特定する。
即ち、画素位置決定部８は、画素マッチング部７による画素マッチングの結果を示す評価値ＳＡＤを相互に比較し、最も評価値ＳＡＤが小さくなる評価対象画素セットを特定する。
ここでは、説明の便宜上、評価対象画素セットＹ３１，Ｙ４１，Ｙ５１の評価値ＳＡＤが最小になるものとして、以下の説明を行う。

画素位置決定部８は、評価対象画素セットＹ３１，Ｙ４１，Ｙ５１の評価値ＳＡＤが最小になる場合、以下の式（５）に示すように、評価対象画素セットＹ３１，Ｙ４１，Ｙ５１の評価値ＳＡＤ_４１と、その評価対象画素セットＹ３１，Ｙ４１，Ｙ５１の左隣の評価対象画素セットＹ２１，Ｙ３１，Ｙ４１の評価値ＳＡＤ_３１と、評価対象画素セットＹ３１，Ｙ４１，Ｙ５１の右隣の評価対象画素セットＹ４１，Ｙ５１，Ｙ６１の評価値ＳＡＤ_５１とから、信号値を補間する１画素未満の画素位置（画素座標Ｙ_ｍｉｎ）を決定する（ステップＳＴ６）。

即ち、画素位置決定部８は、例えば、図５に示すように、評価値ＳＡＤ_３１、評価値ＳＡＤ_４１及び評価値ＳＡＤ_５１の３点を通る画素位置の２次関数を定義し、その２次関数において、評価値ＳＡＤが極小値となる画素位置（画素座標Ｙ_ｍｉｎ）を求め、その画素座標Ｙ_ｍｉｎを１画素未満の画素位置に決定する。
なお、３点を通る２次関数の定義方法は、公知の技術であるため、ここでは詳細な説明を省略する。

補間画素信号値算出部９は、画素位置決定部８が信号値を補間する１画素未満の画素位置（画素座標Ｙ_ｍｉｎ）を決定すると、評価値ＳＡＤ_３１、評価値ＳＡＤ_４１及びＳＡＤ評価値_５１から、１画素未満の画素位置（画素座標Ｙ_ｍｉｎ）の信号値を算出する（ステップＳＴ７）。
即ち、補間画素信号値算出部９は、評価値ＳＡＤが極小値になる画素位置（画素座標Ｙ_ｍｉｎ）では、処理対象画素Ｙ３３及び隣接する画素Ｙ４３の信号変化量と、画素Ｙ４１及び画素Ｙ５１の信号変化量が同等であるという前提の下で、画素座標Ｙ_ｍｉｎの補間信号値を算出する。

ここで、図６は補間信号値の算出概念を示す説明図である。
例えば、入力されたフレーム画像では、画素Ｙ３１，Ｙ４１，Ｙ５１が形成するエッジが、波線で示すような単調増加であったときでも（図６（ａ）を参照）、下記の式（６）に示すように、処理対象画素Ｙ３３及び隣接する画素Ｙ４３の信号変化量を画素Ｙ５１の信号値から減算することで、１画素未満の画素座標Ｙ_ｍｉｎの信号値を算出すれば、１画素未満の画素座標Ｙ_ｍｉｎにおいて、画素Ｙ２３，Ｙ３３，Ｙ４３が形成する凸形状のエッジを再現することができる（図６（ｂ）を参照）。
Ｌ_Ｙｍｉｎ＝Ｌ_Ｙ５１−（Ｌ_Ｙ４３−Ｌ_Ｙ３３）（６）
ただし、Ｌ_Ｙｍｉｎは画素座標Ｙ_ｍｉｎの信号値、Ｌ_Ｙ５１は画素Ｙ５１の信号値、Ｌ_Ｙ４３は画素Ｙ４３の信号値、Ｌ_Ｙ３３は画素Ｙ３３の信号値である。

このように、１画素未満の画素座標Ｙ_ｍｉｎの信号値を算出することで、高解像度化が図れるが、処理対象画素選択部３が処理対象画素を走査方向に順次ずらしながら、上記の処理を繰り返すことで、フレーム画像の全画素について、画素位置決定部８が１画素未満の画素位置（画素座標Ｙ_ｍｉｎ）を決定して、補間画素信号値算出部９が１画素未満の画素位置（画素座標Ｙ_ｍｉｎ）の信号値Ｌ_Ｙｍｉｎを算出する。

再サンプリング点信号値算出部１０は、補間画素信号値算出部９が１画素未満の画素位置（画素座標Ｙ_ｍｉｎ）の信号値Ｌ_Ｙｍｉｎを算出すると、１画素未満の画素位置（画素座標Ｙ_ｍｉｎ）の信号値Ｌ_Ｙｍｉｎとフレーム画像格納部２により格納されているフレーム画像を構成している画素の信号値から、アップコンバート後のフレーム画像における再サンプリング点（フレーム画像のサンプリング倍率に応じた再サンプリング点）の信号値を算出する（ステップＳＴ８）。

ここで、図７はアップコンバート後のフレーム画像における再サンプリング点を示す説明図である。
図７では、入力されたフレーム画像を構成している画素の点がＡ，Ｂ，Ｃ，Ｄ、補間画素信号値算出部９により算出された１画素未満の画素位置（画素座標Ｙ_ｍｉｎ）の点がＹｘ，Ｙｙであり、フレーム画像の水平及び垂直を２倍サンプリングする例を示している。
フレーム画像の水平及び垂直を２倍サンプリングする場合、図中、点ｓ，ｔ，ｕ等の信号値を算出する必要がある。

図８は点ｓにおける信号値の算出例を示す説明図である。
点ｓにおける信号値は、点Ｙｘと点Ｂの信号値を線形補間することで算出することができる。
このように算出された点ｓにおける信号値は、点Ａと点Ｂの信号値を線形補間することで算出された場合（一点鎖線で図示）よりも、高解像度化された信号となる。
また、図７の点ｔにおける信号値は、同様にして、点Ａと点Ｙｙの信号値を線形補間することで算出する。
点ｕにおける信号値は、上記のようにして算出された点ｓと点ｔの信号値を線形補間することで算出する。
なお、点Ｂと点Ｄの間の点における信号値も同様にして、点Ｂと点Ｄの信号値を線形補間することで算出する。
点Ｃと点Ｄの間の点における信号値も同様にして、点Ｃと点Ｄの信号値を線形補間することで算出する。

以上で明らかなように、この実施の形態１によれば、フレーム画像格納部２により格納されたフレーム画像を構成している複数の画素の中から、処理対象画素を順次選択する処理対象画素選択部３と、処理対象画素選択部３により選択された処理対象画素を通るエッジの方向を検出するエッジ方向検出部４と、そのフレーム画像を構成している複数の画素の中から、エッジ方向検出部４により検出されたエッジ方向と直交する方向に連なっている複数の画素を順次選択して、複数の画素を評価対象画素セットに設定する評価対象画素セット設定部５と、処理対象画素に隣接している画素の中で、エッジ方向検出部４により検出されたエッジ方向と直交する方向に存在している画素及び処理対象画素を評価基準画素セットに設定する評価基準画素セット設定部６と、評価基準画素セット設定部６により設定された評価基準画素セットと評価対象画素セット設定部５により設定された複数の評価対象画素セットの間で画素マッチングを実施する画素マッチング部７とを設け、画素位置決定部８が、評価対象画素セット設定部５により設定された複数の評価対象画素セットの中で、画素マッチング部７による画素マッチングの結果が最良の評価対象画素セットを特定して、最良の評価対象画素セットに対する画素マッチングの結果と最良の評価対象画素セットに隣接している評価対象画素セットに対する画素マッチングの結果から、信号値を補間する１画素未満の画素位置を決定し、補間画素信号値算出部９が、最良の評価対象画素セットに対する画素マッチングの結果と最良の評価対象画素セットに隣接している評価対象画素セットに対する画素マッチングの結果から、信号値を補間する１画素未満の画素位置の信号値を算出し、再サンプリング点信号値算出部１０が、補間画素信号値算出部９により算出された１画素未満の画素位置の信号値とフレーム画像を構成している画素の信号値から、アップコンバート後のオリジナル画像における再サンプリング点の信号値を算出するように構成したので、アップコンバート映像（アップコンバートされたオリジナル画像）や最縮小画像を保持するフレームメモリを実装する必要がなく、また、再度アップコンバート映像を生成する反復処理を行うことなく、二次元超解像処理を実現することができる効果を奏する。

実施の形態２．
上記実施の形態１では、エッジ方向検出部４がＰｒｅｗｉｔｔフィルタを用いて、処理対象画素Ｙ３３を通るエッジの方向を検出するものを示したが、これに限るものではなく、例えば、Ｓｏｂｅｌフィルタや他の指向性エッジの強度を検出することが可能なフィルタを用いて、エッジ方向を検出するようにしてもよい。
また、上記実施の形態１では、エッジ方向の検出が水平方向又は垂直方向である例を示したが、エッジ方向として、斜め方向を検出するようにしてもよい。
これに対応して、画素マッチング時の選択画素も処理対象画素の斜め近傍に位置する画素を使用するようにしてもよい。
また、エッジ検出方法として、フレーム画像内の画素に対して、パターンマッチング法により所望の形状を持つエッジのみを選択的に検出するようにしてもよい。

上記実施の形態１では、画素マッチング部７が、画素マッチングを実施する際、処理対象画素と隣接する２画素を含む３画素（評価基準画素セット）を用いる例を示したが、これに限りでなく、任意の画素数を用いるようにしてよい。
特に、入力されたフレーム画像にノイズが含まれている場合、用いる画素数が少ないと、画素マッチングの結果を示す評価値がノイズに起因して誤差が増加するため、水平及び垂直方向にマッチング画素数を増加させて、精度を高めるようにしてもよい。

また、画素マッチング部７が、画素マッチングの結果を示す評価値ＳＡＤとして、各画素値の差分の絶対値の和である差分絶対値和を算出するものを示したが、これに限るものではなく、例えば、各画素値の差分二乗和を算出するようにしてもよい。あるいは、最小二乗法やＰＳＮＲなど、２枚の画像の差を定量化できる指標値を評価値ＳＡＤとして算出するようにしてもよい。

上記実施の形態１では、補間画素信号値算出部９が１画素未満の画素位置（画素座標Ｙ_ｍｉｎ）の信号値Ｌ_Ｙｍｉｎを算出する際、信号変化量を用い、再サンプリング点信号値算出部１０が再サンプリング点の信号値を算出する際、線形補間法を用いる例を示したが、これに限るものではなく、例えば、双三次補間法、スプライン補間法、Ｌａｎｃｚｏｓ法などを用いるようにしてもよい。

また、上記実施の形態１では、再サンプリング時のサンプリング倍率として２倍の例を示したが、これに限るものではなく、それ以外の整数倍や小数部を含む倍率としても同様の演算で、再サンプリングが実行可能なことは言うまでもない。

１フレーム画像入力部、２フレーム画像格納部、３処理対象画素選択部（処理対象画素選択手段）、４エッジ方向検出部（エッジ方向検出手段）、５評価対象画素セット設定部（評価対象画素セット設定手段）、６評価基準画素セット設定部（画素マッチング手段）、７画素マッチング部（画素マッチング手段）、８画素位置決定部（第１の信号値算出手段）、９補間画素信号値算出部（第１の信号値算出手段）、１０再サンプリング点信号値算出部（第２の信号値算出手段）。

Claims

オリジナル画像を構成している複数の画素の中からエッジ上にある処理対象画素を選択し、当該処理対象画素を通るエッジの方向と直交する方向に存在して上記処理対象画素に隣接する隣接処理対象画素及び上記処理対象画素を評価基準画素セットとし、
上記処理対象画素に対して上記エッジの方向に位置して上記エッジの方向と直交する方向に連続する複数の画素を評価対象画素セットとし、
上記評価基準画素セットと上記複数の評価対象画素セットとの間の画素マッチングが最も良い評価対象画素セットを最良の評価対象画素セットとし、
上記最良の評価対象画素セットに対して上記エッジの方向と直交する方向に１画素ずれた位置の画素セットを隣接評価対象画素セットとし、
上記最良の評価対象画素セットの中心に位置する画素を最良評価画素とし、上記隣接評価対象画素セットの中心に位置する画素を隣接評価画素とすると、
上記最良評価画素と上記隣接評価画素との間を１画素未満で補間する評価補間画素を求める信号値算出部を備え、
上記信号値算出部は、
上記最良の評価対象画素セットに対する上記画素マッチングの結果と上記隣接評価対象画素セットに対する上記画素マッチングの結果とを基に上記評価補間画素の位置を決定し、
上記評価補間画素の信号値を上記処理対象画素の信号値、上記隣接処理対象画素の信号値及び上記隣接評価画素の信号値を基に算出する
ことを特徴とする画像処理装置。
上記信号値算出部は、
上記最良の評価対象画素セットに対する画素マッチングの結果を示す評価値と、上記隣接評価対象画素セットに対する画素マッチングの結果を示す評価値とを通る画素位置の２次関数を定義し、上記２次関数で評価値が極値となる画素位置を、上記評価補間画素の画素位置に決定する
ことを特徴とする請求項１記載の画像処理装置。
上記信号値算出部は、
上記最良の評価対象画素セットに対する画素マッチング結果の評価値をＳＡＤ₀とし、上記最良の評価対象画素セットの一方に隣接する第１の隣接評価対象画素セットに対する画素マッチング結果の評価値をＳＡＤ₁とし、上記最良の評価対象画素セットの他方に隣接する第２の隣接評価対象画素セットに対する画素マッチング結果の評価値をＳＡＤ₂し、上記評価補間画素の位置をＹとすると、上記評価補間画素の位置を
Ｙ＝（ＳＡＤ₁−４×ＳＡＤ₀＋３×ＳＡＤ₂）／（２×（ＳＡＤ₁−２×ＳＡＤ₀＋ＳＡＤ₂））とする
ことを特徴とする請求項２記載の画像処理装置。
上記信号値算出部は、
上記処理対象画素の信号値をＬＹ０とし、上記隣接処理対象画素の信号値をＬＹ１とし、上記隣接評価画素の信号値をＬＹ２とすると、上記評価補間画素の信号値ＬＹｍｉｎは、ＬＹｍｉｎ＝ＬＹ２−（ＬＹ１−ＬＹ０）で表される
ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。