JP5660300B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置等に関する。

近年の映像表示機器の中には、低解像度画像に基づいて推定した画像情報を用いて、より精細な高解像度画像を生成する超解像処理を行うものがある。超解像処理の手法として、推定された高解像度画像を評価関数によって評価し、評価結果に基づいて高解像度画像を再構成する再構成型超解像処理がある。

特許文献１の超解像処理では、２ノルムを含む評価式（評価関数）を用いている。そのため、特許文献１の超解像処理では演算に時間がかかり、リアルタイム性を要求される用途で問題となり得る。その対処として超解像処理を行う装置の演算処理能力を向上させる場合には、回路規模やコストが増大してしまう。

特開２００６−３０９６４９号公報

本発明はこのような問題点に鑑みてなされたものである。本発明のいくつかの態様によれば、小さな回路規模で、高速な超解像処理を行う画像処理装置等を提供できる。

（１）本発明は、１フレームの観測画像から、前記観測画像よりも解像度の高い高解像度画像を生成する超解像処理を行う画像処理装置であって、前記高解像度画像における１つの画素である注目画素を含む画素群の画素値を、前記観測画像における対応する画素群の画素値に基づいて推定し、第１のデータを生成する第１の画像処理部と、前記第１のデータに基づいて平滑化処理を行い、第２のデータを生成する第２の画像処理部と、前記観測画像の前記注目画素に対応する画素の画素値、前記第１のデータおよび前記第２のデータに基づいて評価関数による評価を行い、前記評価の結果に基づいて前記注目画素の画素値を決定して出力する第３の画像処理部とを含み、前記第１の画像処理部は、前記第１のデータを生成する高解像度画像推定部を含み、前記高解像度画像推定部は、前記観測画像における対応する画素群の画素値に基づいて最初の前記第１のデータを推定した後に、前記第３の画像処理部から修正値が入力された場合には、前記第１のデータにおける前記注目画素の画素値を前記修正値で置き換え、前記第３の画像処理部は、前記評価の結果に基づいて２分探索を行うことで前記修正値を更新し、前記２分探索によって収束した前記修正値を前記注目画素の画素値として出力し、前記評価関数として、前記修正値の１次式であって、前記第２のデータにおける前記注目画素に対応する画素の画素値と、前記観測画像の前記注目画素に対応する画素の画素値との乖離度を判定する第１の関数と、前記修正値と前記第１のデータにおける前記注目画素の周囲の画素の画素値との乖離度を判定する第２の関数と、を含む関数を用いる。

本発明の画像処理装置は、観測画像から推定された高解像度画像（推定高解像度画像）の注目画素の画素値を修正値で置き換えて、評価関数で評価しながら収束させる再構成型の超解像処理を行う。ここで、注目画素とは、推定高解像度画像の１つの画素であって、その画素値を修正する対象となっている画素を指す。また、修正値とは注目画素の画素値を修正する値である。

本発明によれば、高速な超解像処理を行うことができる。まず、２次式ではなく１次式の評価関数を用いるため、演算時間が短くて済み、高速処理が可能になる。このとき、演算を行う回路の規模も小さくて済む。また、評価結果に基づいて修正値を収束させていく過程においても、２分探索（バイナリサーチ）を用いるために決まった時間内に結果を得ることができ、高速処理が可能になる。

ここで、本発明の超解像処理で使用する画像について説明する。超解像処理前の観測画像と超解像処理後の高解像度画像とでは画素数は変わらない。しかし、高解像度画像は超解像処理により再現された高域成分を含むため、解像度が高く細部の精細感が増している。画像の拡大処理を超解像処理の過程では行わないことで、超解像処理で要するバッファー領域の増大や、拡大処理の前後における画素の対応を考慮することで生じる演算量の増加を回避する。なお、拡大処理は超解像処理の前処理として行われてもよい。

超解像処理の過程では中間データとして第１のデータと第２のデータとを生成する。第１のデータとは、推定高解像度画像の注目画素を含む画素群の画素値である。第２のデータとは第１のデータに対して例えばガウシアンフィルターによる平滑化処理を施した画素値である。超解像処理では、推定高解像度画像の注目画素の画素値を修正値に置き換えて評価関数で評価し、その結果に基づいて修正値を収束させて、収束した修正値を最終的な注目画素の画素値とする。第１のデータと第２のデータは評価関数による評価で用いられる。

ここで、画像のデータは走査方式で入力され、注目画素は例えばシステムクロックに同期して順次変化する。そして、所定時間の経過後には１フレームの全ての画素について所定の処理が行われ、最終的に１フレームの高解像度画像を生成する。

本発明の評価関数は２つの関数を含む。第１の関数は、観測画像における注目画素に対応する画素の画素値から、修正値がどれだけ乖離しているかを数値化する関数である。第２の関数は、注目画素の周囲の画素の画素値から、修正値がどれだけ乖離しているかを数値化する関数である。第１の関数では低解像度の条件下で観測画像の対応する画素と比較することで画像の正しさを評価でき、第２の関数では画像の滑らかさを評価できる。

本発明によれば、２分探索を行うことで、第１の関数を最小化する値と第２の関数を最小化する値との間の値に修正値を収束させることができる。そのため、正しく、かつ滑らかな高解像度画像を生成することができる。

なお、画素値とは例えば輝度値のことであってもよいし、ＲＧＢ各成分を含む値であってもよいし、画素を表す他の表現形式の値であってもよい。

（２）この画像処理装置において、前記第１の画像処理部は、前記観測画像の前記注目画素に対応する画素とその周囲の画素との輝度値の差分についての分散値を求め、その分散値に基づいて輝度値が連続的に変化するグラデーション領域に前記注目画素に対応する画素が含まれるか否かを判断するグラデーション検出部を含み、前記第３の画像処理部は、前記グラデーション検出部が、前記注目画素に対応する画素が前記グラデーション領域に含まれると判断した場合には、前記観測画像の前記注目画素に対応する画素の画素値を前記注目画素の画素値としてもよい。

本発明によれば、グラデーション領域に含まれる注目画素については修正値による置き換えを行わないことで、グラデーション領域がつぶれること、すなわち階調の連続的な変化の崩れやノイズの発生を回避することができる。注目画素がグラデーション領域に含まれる場合には、観測画像の注目画素に対応する画素の画素値をそのまま注目画素の画素値として出力してもよい。

（３）この画像処理装置において、前記第１の画像処理部は、前記観測画像の前記注目画素に対応する画素とその周囲の画素との輝度値の差分を比較して、輝度値が急峻に変化するエッジ領域に前記注目画素に対応する画素が含まれるか否かを判断するエッジ検出部を含み、前記高解像度画像推定部は、前記エッジ検出部が、前記注目画素に対応する画素が前記エッジ領域に含まれると判断した場合には、その画素の輝度値の変化を強調することで最初の前記第１のデータを推定してもよい。

本発明によれば、第１の画像処理部は観測画像から最初に高解像度画像を推定する際にエッジ強調処理を行う。エッジ領域とは画像に表示されるオブジェクトの輪郭を含む領域を指す。エッジ領域ではエッジを強調することにより、観測画像よりもシャープな画像である最初の推定高解像度画像を生成することができる。なお、推定高解像度画像の生成は、注目画素に対応する画素とその周囲の画素を含む画素群（ブロック）単位で行われる。

（４）この画像処理装置において、前記第３の画像処理部は、前記エッジ検出部が、前記注目画素に対応する画素が前記エッジ領域に含まれると判断した場合には、前記第２の関数全体の重みを示す束縛パラメーターの値を変更してもよい。

本発明によれば、エッジ領域に含まれる注目画素については滑らかさを向上させるように評価関数を調整することができる。エッジ領域ではエッジを強調しすぎると画像の鑑賞者がノイズと認識する可能性がある。そこで、注目画素がエッジ領域に含まれる場合には、評価関数において第２の関数全体の重みを示す束縛パラメーターの値を変更する。具体的には束縛パラメーターの値を大きくし、評価関数の値（評価値）に対して周囲の画素の画素値との乖離度の影響が大きくなるように設定して、修正値がなるべく周囲の画素の画素値に近い値に収束するようにする。本発明では、束縛パラメーターのみを調整するため制御が簡単である。

（５）前記第３の画像処理部は、前記エッジ検出部が、前記注目画素に対応する画素が前記エッジ領域に含まれると判断した場合には、前記第２の関数において、前記修正値と前記第１のデータにおける前記注目画素の周囲の画素の画素値それぞれとの乖離度の重みを示す重み係数の値を、それぞれ変更してもよい。

本発明によれば、エッジ領域に含まれる注目画素については滑らかさを向上させるように評価関数を調整することができる。具体的には、周囲の画素のそれぞれとの乖離度について重みを個別に設定する重み係数をそれぞれ変更する。本発明では、束縛パラメーターのみを調整する場合に比べて細かな設定が可能になるため、よりノイズの少ない画像を生成することが可能になる。

（６）この画像処理装置において、前記観測画像よりも画素数の少ない原画像の画像データについて、各画素の輝度値とその隣接画素の輝度値との差を増大させるシャープネス処理を行い、強調画像データとして出力するシャープネス処理部と、前記強調画像データを入力して、画素補間を行うことで画素数を増加させて前記観測画像の画像データを生成する拡大処理部と、を含んでもよい。

本発明によれば、拡大処理の前に原画像に対してシャープネス処理を行う。そのため、拡大処理後の観測画像に高域成分が含まれることになり、最終的に良好な高解像度画像が得られる。そして、拡大処理部を含むことで画素数の少ない原画像から高解像度画像と同じ画素数を持つ観測画像を生成することができる。本発明の画像処理装置は、超解像処理を含む一連の処理を一体的に行うことができる。

（７）本発明は、１フレームの原画像から、前記原画像よりも画素数が多く解像度の高い高解像度画像を生成する超解像処理を行う画像処理装置であって、前記原画像の画像データについて、各画素の輝度値とその隣接画素の輝度値との差を増大させるシャープネス処理を行い、強調画像データとして出力するシャープネス処理部と、前記強調画像データを入力して、画素補間を行うことで画素数を増加させて観測画像の画像データを生成する拡大処理部と、前記観測画像から、前記観測画像よりも解像度の高い高解像度画像を生成する超解像処理部と、を含む。

本発明によれば、超解像処理を含む一連の処理を小さな回路規模で高速に行い、原画像から高解像度画像を生成することができる。

第１実施形態における画像処理装置の超解像処理部のブロック図。 第１実施形態における画像処理装置の全体ブロック図。 第１実施形態における第１の画像処理部のブロック図。 図４（Ａ）は観測画像の例を示す図。図４（Ｂ）〜図４（Ｄ）は画像処理による注目画素の変化の例を示す図。 第１実施形態における第３の画像処理部のブロック図。 図６（Ａ）〜図６（Ｄ）はある条件下での評価関数を用いて２分探索を行う例を示す図。 図７（Ａ）〜図７（Ｂ）は別の条件下での評価関数を用いて２分探索を行う例を示す図。

以下、本発明の実施形態について図面を参照して説明する。

１．第１実施形態
本発明の第１実施形態について図１〜図７を参照して説明する。

１．１．超解像処理のアルゴリズム
超解像処理では、低解像度画像が得られる場合に、その理想的な高域成分を再現（正しく推定）することで高解像度画像を生成する。Ｘを高解像度画像のベクトル表現、Ｙを低解像度画像である観測画像のベクトル表現とすると、ベイズ推定に基づく事後確率は数１の関係を満たす。

つまり、Ｙ（観測画像のベクトル表現）が得られた場合のＸ（高解像度画像のベクトル表現）の事後確率Ｐ（Ｘ｜Ｙ）は、Ｘの事前確率Ｐ（Ｘ）と、Ｘが分かっている前提でのＹの尤度Ｐ（Ｙ｜Ｘ）との積に比例する。ここで、事後確率Ｐ（Ｘ｜Ｙ）を最大化することは、高い確率でＹからＸを発生させていること、すなわち観測画像から高解像度画像を正しく推定していることに対応する。

なお、Ｘ、Ｙはそれぞれ観測画像、高解像度画像の全画素から成るベクトルであってもよいが、小さな領域に含まれる画素から成るベクトルであってもよい。後述する本実施形態の１つの例では、注目画素を変化（シフト）させながら、注目画素とその周囲の画素を含む３×３の領域を対象とした画像処理を行う。この場合にはＸ、Ｙはそれぞれ観測画像、高解像度画像における３×３の画素ブロックから成るベクトルに対応する（図４（Ａ）〜図４（Ｄ）参照）。注目画素とは、高解像度画像の１つの画素であって、その画素値を修正する対象となっている画素を指す。

ここで、尤度Ｐ（Ｙ｜Ｘ）は数２のように仮定できる。

Ｇは低解像度化（平滑化）処理を行うガウシアンフィルターのベクトル表現を表す。このとき、数３のガウス関数をＰＳＦ（Point Spread Function）モデルとして用いている。

ｄ_ｉは画素間の距離であり、σ^２はガウス分布の分散である。なお、式（１）の１ノルムおよび式（３）の２ノルムはａ＝（a₁, a₂, … ,a_n）として数４で定義される。

事前確率Ｐ（Ｘ）は、高解像度画像における画素の画素値は、周囲の画素の画素値と相関があることから数５のように仮定できる。

Ｘ_ｉ、Ｘ_ｊはベクトルＸの各成分であり、Ｗ_ｉ,ｊは成分の各組合せに対応した重み係数であり、λは全体に係る束縛パラメーターである。

本実施形態では、注目画素に対して行われる実際の画像処理に対応させて、前記の尤度Ｐ（Ｙ｜Ｘ）と事前確率Ｐ（Ｘ）とを、それぞれ数６、数７のように簡略化する。

Ｙ_ＣはＹ（観測画像のベクトル表現）における注目画素に対応する成分であり、（ＧＸ）_Ｃはガウシアンフィルターによる平滑化処理が施されたＸの注目画素に対応する成分である。

Ｘ_ＣはベクトルＸにおける注目画素に対応する成分であり、Ｘ_ｉはベクトルＸの各成分である。Ｗ_ｉは各成分に対応した重み係数であり、λは全体に係る束縛パラメーターである。

本実施形態においては、式（１）、式（７）、式（８）から数８が成り立つ。

すると、本実施形態における評価関数Ｅ（Ｘ_Ｃ）を数９のように定めることができる。

本実施形態では、注目画素の画素値を修正する修正値Ｘ_Ｃを、式（１０）の評価関数Ｅ（Ｘ_Ｃ）で評価する。評価関数Ｅ（Ｘ_Ｃ）は、尤度Ｐ（Ｙ｜Ｘ）に関係する第１の関数Ｅ_１（Ｘ_Ｃ）と、事前確率Ｐ（Ｘ）に関係する第２の関数Ｅ_２（Ｘ_Ｃ）とを含む。第１の関数Ｅ_１（Ｘ_Ｃ）は、平滑化処理後の修正値Ｘ_Ｃが観測画像における注目画素に対応する画素の画素値Ｙ_Ｃからどれだけ乖離しているかを評価する関数である。第２の関数Ｅ_２（Ｘ_Ｃ）は、修正値Ｘ_Ｃが注目画素の周囲の画素の画素値Ｘ_ｉからどれだけ乖離しているかを評価する関数である。なお、式（１１）のベクトルＸはＸ_Ｃを成分として含むため、式（１１）はＸ_Ｃについての関数である。

ここで、事後確率Ｐ（Ｘ｜Ｙ）を最大にする修正値Ｘ_Ｃは評価関数Ｅ（Ｘ_Ｃ）を最小にする。よって、評価関数Ｅ（Ｘ_Ｃ）を最小にするＸ_Ｃが求めるべき修正値Ｘ_ＣＩであり、数１０で与えられる。

本実施形態の画像処理装置は式（１３）を実施する際に、すなわちＸ_ＣＩを求める際に２分探索を用いることができる。従って、後述するように一定時間内に良好な結果（収束した修正値）を得ることが可能である。

１．２．超解像処理部の構成
図１は、第１実施形態における画像処理装置１０の超解像処理部１００のブロック図を示す。超解像処理部１００は、第１の画像処理部２０、第２の画像処理部３０、第３の画像処理部４０を含む。

第１の画像処理部２０は、観測画像の画素群の画素値２００に基づいて推定高解像度画像を生成する。第１の画像処理部２０は、まず画素群の画素値２００のみに基づいて、最初の推定高解像度画像を生成する。ここで、推定高解像度画像の画素のうち修正の対象となっている画素を注目画素とする。第１の画像処理部２０は、最初の推定高解像度画像における注目画素とその周囲の画素の画素値を第１のデータ２０２として出力する。そして、注目画素の区分を表す信号（区分信号）２１０も出力する。なお、観測画像の画素群も注目画素に対応する画素とその周囲の画素とを含む。

ここで、注目画素の区分とは、注目画素がグラデーション領域、エッジ領域、テクスチャ領域のいずれに含まれているかをいう。グラデーション領域とは輝度値が滑らかに連続して変化している領域をいう。エッジ領域とは輝度値が急峻に変化する領域をいう。テクスチャ領域とはグラデーション領域でもエッジ領域でもない領域をいう。区分信号２１０を受け取る第３の画像処理部４０は、区分信号２１０に基づいて評価関数による評価の実施・不実施の判断や評価関数における重み係数等の変更を行ってもよい。

また、第１の画像処理部２０は、第３の画像処理部４０から修正値２１２が入力された場合には、第１のデータ２０２のうち注目画素に対応する画素値を修正値２１２で置き換える。第１のデータ２０２は、最初の推定高解像度画像又は修正値による置き換えが行われた推定高解像度画像における注目画素を含む画素群の画素値である。本実施形態の超解像処理部１００では画素値は輝度値を意味するが、例えば画素値がＹＵＶ形式であって適宜輝度値が選択されるとしてもよい。

ここで、第１の画像処理部２０の入出力信号等と前記の式（１）〜（１３）との対応を説明する。入力される観測画像の画素群の画素値２００はベクトルＹに対応する。第１のデータ２０２はベクトルＸに対応する。ここで、修正値２１２が入力された場合には、注目画素の画素値を修正値Ｘ_Ｃに更新した新たなベクトルＸが生成される。

第２の画像処理部３０は、第１のデータ２０２に基づいて平滑化処理を行い第２のデータ２０４として出力する。具体的には、注目画素とその周囲の画素の画素値を含む第１のデータ２０２を入力し、ガウシアンフィルターによる平滑化処理を行い、注目画素に対応する画素の画素値である第２のデータ２０４を出力する。なお、第２のデータ２０４は、注目画素に対応する画素を含む画素群の画素値であってもよい。

ここで、第２の画像処理部３０の入出力信号等と前記の式（１）〜（１３）との対応を説明する。平滑化処理に用いるガウシアンフィルターはベクトルＧに対応する。第２の画像処理部３０ではＧＸが求められ、出力される第２のデータ２０４は注目画素に対応する成分である（ＧＸ）_Ｃが対応する。

第３の画像処理部４０は、評価関数による評価を行い、評価結果に基づいて修正値を収束させていき、注目画素の画素値２０６を出力する。具体的には、最初に推定された注目画素の画素値を修正値で置き換えて評価関数で評価し、評価結果に基づいて修正値Ｘ_Ｃを更新していき、収束した修正値を高解像度画像における注目画素の画素値として出力する。第３の画像処理部４０は、区分信号２１０により注目画素がグラデーション領域に含まれると判断する場合には、観測画像の注目画素に対応する画素の画素値２００Ａを、注目画素の画素値として出力する例外処理を行ってもよい。また、第３の画像処理部４０は、区分信号２１０により注目画素がエッジ領域に含まれると判断する場合には、評価関数の重み係数や束縛パラメーターを変更してもよい。

ここで、第３の画像処理部４０の入出力信号等と前記の式（１）〜（１３）との対応を説明する。画素値２００ＡはＹ_Ｃに対応する。前記のように第１のデータ２０２はベクトルＸに対応し、第２のデータ２０４は（ＧＸ）_Ｃに対応する。従って、第３の画像処理部４０は、画素値２００Ａと第２のデータ２０４によって式（１１）の第１の関数による評価ができる。また、第３の画像処理部４０は、第１のデータ２０２がベクトルＸの全ての成分を含むので式（１２）の第２の関数による評価ができる。

１．３．画像処理装置の構成
図２は第１実施形態における画像処理装置１０の全体ブロック図である。なお、図１と同じ要素には同じ番号を付しており説明を省略する。画像処理装置１０は、超解像処理部１００の他に、シャープネス処理部８０、拡大処理部９０、色空間を変更するＲＧＢ−ＹＵＶ変換部（図外）等を含んでいてもよい。

シャープネス処理部８０は、拡大処理部９０による画素数を増加させる拡大処理の前に、原画像の画像データ２１４に対してシャープネス処理を行う。シャープネス処理により拡大処理後の観測画像の画像データ２１８が高域成分を含むようになり最終的に良好な高解像度画像が得られる。シャープネス処理はエッジ領域だけでなく、画像全体に行うことが好ましい。また、適応型のシャープネス処理であってもよい。

拡大処理部９０は、シャープネス処理後の原画像の画像データ２１６（強調画像データ）に対して拡大処理を行い超解像処理部１００が入力する観測画像の画像データ２１８を生成する。拡大処理部９０を含むことで、超解像処理部１００が求める画素数の観測画像を原画像から作成でき、画像処理装置１０の処理効率が向上する。

以下において、超解像処理部１００の画像処理について具体的な例を用いて詳細に説明する。本実施形態の超解像処理部１００では画素群単位で処理を行うため、観測画像の画像データ２１８は、観測画像の画素群の画素値２００として入力されることになる。また、超解像処理部１００からの画像データ２２６についても、注目画素の画素値２０６として出力されることになる。

１．４．第１の画像処理部
図３は第１実施形態における第１の画像処理部２０のブロック図である。なお図１、図２と同じ要素には同じ番号を付しており、説明は省略する。第１の画像処理部２０は、グラデーション検出部５０、エッジ検出部５２、高解像度画像推定部５４、制御パラメーター生成部５８を含む。

グラデーション検出部５０は、注目画素がグラデーション領域に含まれるか否かを判断する。具体的な処理では、観測画像の注目画素に対応する画素で判断する。ここで、図４（Ａ）は観測画像の画素群の画素値２００の具体例であり、ベクトルＹに対応する。以下、この具体例を用いて説明する。Ｙ_ｉ（ｉ＝０〜８）は３×３の画素ブロックから成るベクトルＹの各成分である。Ｙ_Ｃは注目画素に対応する画素である。なお、Ｙ_Ｃは数字を用いた標記ではＹ_４となるが、他の画素と区別するためにセンター（Center）の頭文字Ｃを用いて表現している。図４（Ｂ）〜（Ｄ）についても同様である。

グラデーション検出部５０は、観測画像の画素群の画素値２００について、例えば数１１で表されるＹ_Ｃと周囲の画素との輝度値の差分を求めて分散値を計算する。

そして、分散値が例えば統計的に定められた閾値より小さければ、注目画素はグラデーション領域に含まれると判断する。このとき、グラデーション検出部５０は、制御パラメーター生成部５８に対して注目画素がグラデーション領域に含まれるか否かを示す内部信号４０４出力する。内部信号４０４に基づいて区分信号２１０が出力されることになる。

なお、グラデーション領域に含まれる注目画素については、修正値による置き換えが行われないようにしてもよい。修正値に置き換えることで、グラデーション領域における緩やかな輝度の変化が保たれず、かえってノイズとして認識されることを回避するためである。また、この場合にはグラデーション検出部５０は後段に画素群の画素値４００を伝えなくてもよい。

エッジ検出部５２は、注目画素がグラデーション領域に含まれていない場合には、画素群の画素値２００と同じ内容の画素群の画素値４００を受け取る。エッジ検出部５２は、注目画素がエッジ領域に含まれるか否かを判断する。具体的な処理では、観測画像の注目画素に対応する画素で判断する。例えば、画素群の画素値４００が図４（Ａ）である場合、３×３のソーベルフィルターやラプラシアンフィルターを用いてエッジ領域を判断してもよい。ラプラシアンフィルターの一例として、数１２を用いて８方向に対してエッジ検出を行ってもよい。

エッジ検出部５２は、制御パラメーター生成部５８に対して注目画素がエッジ領域に含まれるか否かを示す内部信号４０６出力する。内部信号４０６に基づいて区分信号２１０が出力されることになる。

なお、エッジ領域に含まれる注目画素については、第３の画像処理部によって評価関数の束縛パラメーター、重み係数の調整が行われるようにしてもよい。例えば、束縛パラメーターを大きくすることで周囲の画素との輝度値の差が小さくなるようにして、得られる高解像度画像がより滑らかであるようにすることができる。

高解像度画像推定部５４は、注目画素がグラデーション領域に含まれていない場合には、画素群の画素値２００と同じ内容の画素群の画素値４０２を受け取る。高解像度画像推定部５４は、低解像度の観測画像の画素群の画素値４０２に基づいて例えばエッジ強調処理で高域成分を推定し、最初の推定高解像度画像を生成する。このとき、高解像度画像推定部５４は、エッジ検出部５２の一部の回路を利用してエッジ強調処理を行うことで回路規模を抑えてもよい。ここで、画素群の画素値４０２が図４（Ａ）の場合、最初の推定高解像度画像（第１のデータ２０２）は図４（Ｂ）のようになる。図４（Ｂ）のＸ_ｉｎｉｔは最初に推定されたベクトルＸ（高解像度画像）の注目画素に対応する成分である。

ここで、高解像度画像推定部５４は画像記憶部５６を含み、そこから第１のデータ２０２を出力してもよい。そして、高解像度画像推定部５４は、修正値２１２が入力された場合に画像記憶部５６を用いて注目画素の画素値を修正値２１２で置き換えてもよい。このとき、高解像度画像推定部５４は修正値で置き換えた第１のデータ２０２を出力するが、このことはベクトルＸの成分Ｘ_Ｃを修正することに対応する。具体例として、推定初期高解像度画像の第１のデータ２０２が図４（Ｂ）の場合、修正値２１２が入力されると第１のデータ２０２は図４（Ｃ）のように変化する。高解像度画像推定部５４は、さらに新たな修正値２１２が入力された場合には、図４（Ｂ）のＸ_Ｃを新たな修正値で置き換える。

以上のように、第１のデータ２０２は、最初の推定高解像度画像の画素群の画素値、又は修正後の推定高解像度画像の画素群の画素値になる。

１．５．第２の画像処理部
第２の画像処理部３０は図１のように、第１のデータ２０２を受け取り、平滑化処理を施した第２のデータ２０４を出力する。前記のように、第１のデータ２０２はベクトルＸに相当し、第２のデータ２０４は平滑化処理が施されたＸの注目画素に対応する成分である（ＧＸ）_Ｃに相当する。具体例として、第１のデータ２０２が図４（Ｃ）の場合、第２の画像処理部３０は平滑化処理を施して図４（Ｄ）の（ＧＸ）_Ｃを第２のデータ２０４として出力する。なお、第２のデータ２０４は周囲の画素の情報も含めたＧＸに相当する信号であって、後段の第３の画像処理部４０で注目画素に対応する成分（ＧＸ）_Ｃを選択してもよい。

ここで、第２の画像処理部３０は、例えば数１３のようなガウシアンフィルターを用いて平滑化処理を行ってもよい。

第２の画像処理部３０は、推定高解像度画像に平滑化処理を施して高域成分を除去した画像を生成する。第２のデータ２０４は、高域成分を除去した画像の注目画素に対応する画素の画素値を含み、観測画像の注目画素に対応する画素の画素値と比較して乖離度を評価することに用いられる。

１．６．第３の画像処理部
図５は第１実施形態における第３の画像処理部４０のブロック図である。なお図１〜図３と同じ要素には同じ番号を付しており説明は省略する。第３の画像処理部４０は、評価値演算部６０、２分探索部６２を含む。第３の画像処理部４０は、収束した修正値を注目画素の画素値２０６として出力する。

評価値演算部６０は、評価関数の演算に必要な画素値等を受け取り、現在の修正値を評価関数に代入した結果（評価値）を評価結果２２０として出力する。画素値２００Ａは式（１１）のＹ_Ｃに対応する。第１のデータ２０２は式（１２）の演算に必要なベクトルＸの各成分を含む。第２のデータ２０４は式（１１）の（ＧＸ）_Ｃに対応する。区分信号２１０によって、注目画素がグラデーション領域に含まれると判断した場合には、修正値による置き換えを行う必要がないため評価値を求めなくてもよい。区分信号２１０によって、注目画素がエッジ領域に含まれると判断した場合には、周囲の画素の画素値から乖離しないように評価式の係数を変更してもよい。具体的には、式（１２）の束縛パラメーターλや重み係数Ｗ_ｉを大きくして、画像の滑らかさを向上させてもよい。

２分探索部６２は、注目画素を修正する新たな修正値２１２を出力する。そして、評価結果２２０に基づいて２分探索によって収束した修正値２２２を出力する。ここで、２分探索とは探索したい値が現在探索している範囲の中央の値より小さいか、大きいかを判断して、探索範囲を狭めることで探索したい値を求める手法である。Ｎ個のデータがある場合、２分探索の時間計算量はｌｏｇ_２Ｎである。本実施形態では、修正値は８ビット（０〜２５５）の輝度値であり、８回の探索によって収束した修正値を求めることができる。

以下に２分探索部６２の処理の詳細を説明する。ここでは、説明のために評価関数を数１４のように変形する。

式（４）から１ノルムを絶対値で表現し、式（７）と式（８）において全体を適当な定数で割ると、式（１０）〜式（１２）を式（１７）のように表現できる。式（１７）における第１の関数｜Ｘ_Ｃ−ａ｜も修正値Ｘ_Ｃが観測画像における注目画素に対応する画素の画素値からどれだけ乖離しているかを表す。また、式（１７）における第２の関数Λ｜Ｘ_Ｃ−ｂ｜も修正値Ｘ_Ｃが注目画素の周囲の画素の画素値からどれだけ乖離しているかを表す。

まず、Λ＝０であると仮定して、本実施形態の２分探索の方法について図６（Ａ）〜図６（Ｄ）を用いて説明する。この場合、評価関数Ｅ（Ｘ_Ｃ）を最小にするａが求めるべき修正値である。評価関数Ｅ（Ｘ_Ｃ）はＸ_Ｃについての１次式であるから、ａを境にした評価関数Ｅの傾きの絶対値は同じである。つまり、図６（Ａ）で修正値が０〜ａの区間における評価関数Ｅ（Ｘ_Ｃ）の傾きと、ａ〜２５５の区間における評価関数Ｅ（Ｘ_Ｃ）と傾きの絶対値は同じである。したがって探索対象の区間の中央の修正値（例えば１２８）がａより小さいか大きいかを比較することは、探索対象の区間の両端の評価値（例えばＥ（０）とＥ（２５５））を比較することに等しい。

図６（Ａ）に示す最初の探索では、探索範囲は０〜２５５である。そして、探索範囲の両端の評価値であるＥ（０）とＥ（２５５）を比較すると、Ｅ（０）はＥ（２５５）よりも小さい。よって、評価関数Ｅ（Ｘ_Ｃ）を最小にするａは、０〜１２７の範囲に含まれることが分かる。

この場合の２分探索部６２の処理を説明する。２分探索部６２は、修正値２１２として０を出力して評価値演算部６０から評価結果２２０であるＥ（０）をまず取得する。次に、修正値２１２として２５５を出力して評価値演算部６０からＥ（２５５）を取得する。そしてＥ（０）とＥ（２５５）の比較を行い、Ｅ（０）の方が小さいとの結果を得る。

図６（Ｂ）に示す２回目の探索では、最初の探索の比較結果により探索範囲は０〜１２７である。そして、Ｅ（０）とＥ（１２７）を比較すると、Ｅ（１２７）はＥ（０）よりも小さい。よって、評価関数Ｅ（Ｘ_Ｃ）を最小にするａは、６４〜１２７の範囲に含まれることが分かる。

この場合の２分探索部６２の処理を説明する。２分探索部６２は、修正値２１２として１２７を出力して評価値演算部６０から評価結果２２０であるＥ（１２７）を取得する。そして、既知のＥ（０）とＥ（１２７）の比較を行い、Ｅ（１２７）の方が小さいとの結果を得る。

図６（Ｃ）に示す３回目の探索では、探索範囲は６４〜１２７である。そして、Ｅ（６４）とＥ（１２７）を比較して、ａは、９６〜１２７の範囲に含まれることが分かる。

この場合において、２分探索部６２は、修正値２１２として６４を出力して評価値演算部６０から評価結果２２０であるＥ（６４）を取得する。そして、Ｅ（６４）と既知のＥ（１２７）の比較を行い、Ｅ（１２７）の方が小さいとの結果を得る。

図６（Ｄ）に示す４回目の探索では、探索範囲は９６〜１２７である。そして、Ｅ（９６）とＥ（１２７）を比較して、ａは、９６〜１１１の範囲に含まれることが分かる。この場合において、２分探索部６２は、修正値２１２として９６を出力してＥ（９６）の方がＥ（１２７）よりも小さいとの結果を得る。

このように、２分探索を８回繰り返すとａが得られ、２分探索部６２はａを収束した修正値２２２として出力する。

次にΛが０でない場合について、２分探索の方法について図７（Ａ）〜図７（Ｂ）を用いて説明する。この場合、周囲の画素の画素値からの乖離度を評価する第２の関数も考慮する必要がある。よって、修正値が式（１７）のａとｂとの間の値に収束することが必要となる。図７（Ａ）と図７（Ｂ）はＥ（ａ）とＥ（ｂ）の大小関係が異なる２つの例を示しているが、いずれの場合にも図６（Ａ）〜図６（Ｄ）で示した手法で適切に収束した修正値が得られる。

まず、図７（Ａ）の区間Ａ_０と区間Ａ_１におけるＥ（Ｘ_Ｃ）を比較すると傾きの絶対値は同じである。よって、探索対象の区間の両端の評価値を比較する手法を用いることができる。そして、図７（Ａ）は３回目の探索を示しているが、Ｅ（６４）とＥ（１２７）を比較するとＥ（１２７）の方が小さく、次の探索範囲は９６〜１２７である。よって、ａとｂとの間の値に収束することがわかる。

次に、図７（Ｂ）の例では４回目の探索を示しているが、Ｅ（９６）とＥ（１２７）を比較するとＥ（９６）の方が小さく、次の探索範囲は９６〜１１１である。よって、この場合にもａとｂとの間の値に収束することがわかる。

このように、２分探索部６２は２分探索を所定の回数繰り返すことにより、収束した修正値を決まった時間内に出力するので、本実施形態の画像処理装置１０は高速な超解像処理を行うことができる。

第３の画像処理部４０は、最終出力段において２分探索部６２で得られた収束した修正値２２２、又は観測画像の注目画素に対応する画素の画素値２００Ａを、高解像度画像の注目画素の画素値２０６として出力する。区分信号２１０によって、注目画素がグラデーション領域に含まれると判断した場合には、選択回路６４によって画素値２００Ａが選択され、それ以外の場合には収束した修正値２２２が選択される。

２．変形例、適用例
第１の画像処理部はグラデーション検出およびエッジ検出の少なくとも一方を省略してもよい。このとき、回路規模を小さくして、さらに高速な処理を行うことができる。

また、画像処理装置１０は例えば集積回路装置の一部であってもよいし、電子機器の一部に使用されていてもよい。電子機器としては、例えば動画を扱うテレビなどの映像表示機器でもよいし、静止画を扱うフォトビューワーなどの映像表示機器であってもよい。フレーム内処理として高解像処理を行うために、動画にも静止画にも適用が可能である。また、回路規模が小さいため携帯型電子機器への適用にも向いている。

さらに、上記の超解像処理をプログラムとして実現し、例えばＰＣで用いられる画像処理ソフトの一部として機能させてもよい。

これらの例示に限らず、本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法および結果が同一の構成、あるいは目的および効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。

１０…画像処理装置、２０…第１の画像処理部、３０…第２の画像処理部、４０…第３の画像処理部、５０…グラデーション検出部、５２…エッジ検出部、５４…高解像度画像推定部、５６…画像記憶部、５８…制御パラメーター生成部、６０…評価値演算部、６２…２分探索部、６４…選択回路、８０…シャープネス処理部、９０…拡大処理部、１００…超解像処理部、２００…画素群の画素値、２００Ａ…画素値、２０２…第１のデータ、２０４…第２のデータ、２０６…注目画素の画素値、２１０…区分信号、２１２…修正値、２１４…画像データ、２１６…画像データ、２１８…画像データ、２２０…評価結果、２２２…収束した修正値、２２６…画像データ、４００…画素群の画素値、４０２…画素群の画素値、４０４…内部信号、４０６…内部信号

Claims (6)

1. １フレームの観測画像から、前記観測画像よりも解像度の高い高解像度画像を生成する超解像処理を行う画像処理装置であって、
   前記高解像度画像における１つの画素である注目画素を含む画素群の画素値を、前記観測画像における対応する画素群の画素値に基づいて推定し、第１のデータを生成する第１の画像処理部と、
   前記第１のデータに基づいて平滑化処理を行い、第２のデータを生成する第２の画像処理部と、
   前記観測画像の前記注目画素に対応する画素の画素値、前記第１のデータおよび前記第２のデータに基づいて評価関数による評価を行い、前記評価の結果に基づいて前記注目画素の画素値を決定して出力する第３の画像処理部とを含み、
   前記第１の画像処理部は、
   前記第１のデータを生成する高解像度画像推定部を含み、
   前記高解像度画像推定部は、
   前記観測画像における対応する画素群の画素値に基づいて最初の前記第１のデータを推定した後に、前記第３の画像処理部から修正値が入力された場合には、前記第１のデータにおける前記注目画素の画素値を前記修正値で置き換え、
   前記第３の画像処理部は、
   前記評価の結果に基づいて２分探索を行うことで前記修正値を更新し、
   前記２分探索によって収束した前記修正値を前記注目画素の画素値として出力し、
   前記評価関数として、
   前記修正値の１次式であって、
   前記第２のデータにおける前記注目画素に対応する画素の画素値と、前記観測画像の前記注目画素に対応する画素の画素値との乖離度を判定する第１の関数と、
   前記修正値と前記第１のデータにおける前記注目画素の周囲の画素の画素値との乖離度を判定する第２の関数と、を含む関数を用いる画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第１の画像処理部は、
   前記観測画像の前記注目画素に対応する画素とその周囲の画素との輝度値の差分についての分散値を求め、その分散値に基づいて輝度値が連続的に変化するグラデーション領域に前記注目画素に対応する画素が含まれるか否かを判断するグラデーション検出部を含み、
   前記第３の画像処理部は、
   前記グラデーション検出部が、前記注目画素に対応する画素が前記グラデーション領域に含まれると判断した場合には、前記観測画像の前記注目画素に対応する画素の画素値を前記注目画素の画素値とする画像処理装置。
3. 請求項１乃至２のいずれかに記載の画像処理装置において、
   前記第１の画像処理部は、
   前記観測画像の前記注目画素に対応する画素とその周囲の画素との輝度値の差分を比較して、輝度値が急峻に変化するエッジ領域に前記注目画素に対応する画素が含まれるか否かを判断するエッジ検出部を含み、
   前記高解像度画像推定部は、
   前記エッジ検出部が、前記注目画素に対応する画素が前記エッジ領域に含まれると判断した場合には、
   その画素の輝度値の変化を強調することで最初の前記第１のデータを推定する画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記第３の画像処理部は、
   前記エッジ検出部が、前記注目画素に対応する画素が前記エッジ領域に含まれると判断した場合には、
   前記第２の関数全体の重みを示す束縛パラメーターの値を変更する画像処理装置。
5. 請求項３に記載の画像処理装置において、
   前記第３の画像処理部は、
   前記エッジ検出部が、前記注目画素に対応する画素が前記エッジ領域に含まれると判断した場合には、
   前記第２の関数において、前記修正値と前記第１のデータにおける前記注目画素の周囲の画素の画素値それぞれとの乖離度の重みを示す重み係数の値を、それぞれ変更する画像処理装置。
6. 請求項１乃至５のいずれかに記載の画像処理装置において、
   前記観測画像よりも画素数の少ない原画像の画像データについて、各画素の輝度値とその隣接画素の輝度値との差を増大させるシャープネス処理を行い、強調画像データとして出力するシャープネス処理部と、
   前記強調画像データを入力して、画素補間を行うことで画素数を増加させて前記観測画像の画像データを生成する拡大処理部と、を含む画像処理装置。