JP4874904B2 - 画像処理装置及びその方法 - Google Patents

Description

本発明は、低解像度画像を画像高解像度化する画像処理装置及びその方法に関する。

最近は、画素数が多い高解像度のテレビやディスプレイが普及してきている。テレビやディスプレイは、画像を表示する場合、画像データの画素数をパネルの画素数に変換する。高解像度処理を施すとき、サンプリング定理に基づいたＳｉｎｃ関数でフィルタ処理を行う内挿法（三次畳込み法、ＢｉＣｕｂｉｃ法など）や、これよりも鮮鋭な画像が得られる複数フレーム劣化逆変換法が知られている（例えば、特許文献１、非特許文献１参照）。

複数フレーム劣化逆変換法は、基準フレーム（高解像度化させる対象となるフレーム）に写っている被写体が、これに連続する別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の小数精度で検出し、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求め、これら複数の標本値毎に、従来の内挿法による画素値を逐次的に補正する高解像度処理方法である。
特開２０００−１８８６８０号公報 S. Park, et.al. 「Super-Resolution Image Reconstruction: A Technical Overview,」 IEEE Signal Processing Magazine, USA, IEEE, May 2003, p.21-36.

上記の複数フレーム劣化逆変換法では、誤った対応位置が検出された標本値で画素値が補正されたり、平坦領域のノイズ成分も鮮鋭に補正されたりする場合があり、高解像度画像の画質を低下させるという問題点がある。

本発明は、上述した事情を考慮してなされたものであり、鮮鋭で高画質な高解像度処理ができる画像処理装置及びその方法を提供することを目的とする。

本発明は、ｎ個の画素からなる１枚の基準フレームの前記各画素の画素値に基づく内挿処理によって、ｍ個（但し、ｍ＞ｎである）の画素からなる仮画像の各画素の推定画素値を算出する画素値算出部と、前記基準フレームの各画素の画素値に基づいて、前記基準フレーム内を（１）エッジ領域とテクスチャ領域に分割するか、（２）前記エッジ領域と平坦領域に分割するか、（３）前記テクスチャ領域と前記平坦領域に分割するか、又は、（４）前記エッジ領域と前記テクスチャ領域と前記平坦領域に分割する分割部と、前記基準フレームの前記各画素を１つずつ注目画素として順次設定し、前記注目画素が含まれる前記分割した前記エッジ領域、前記テクスチャ領域、又は、前記平坦領域に関する情報に基づいて、前記各注目画素に対応する前記仮画像への対応位置を小数精度で算出する位置算出部と、前記注目画素の対応位置の周囲にある前記仮高解像度の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値を求める変換部と、前記補正画素値を有するｍ個の画素から構成される画像を出力する出力部と、を有する画像処理装置である。

本発明によれば、領域毎に適した高解像度処理が可能になり、鮮鋭で高画質な高解像度画像を得ることができる。

以下、図面を参照しながら本発明の実施形態に係る低解像度画像を画像高解像度化する画像処理装置について詳細に説明する。なお、以下の説明で画像のことをフレームと呼ぶことがある。

（第１の実施形態）
以下、本発明の第１の実施形態の画像処理装置について図１〜図１５と図３０〜図３２に基づいて説明する。

（１）画像処理装置の構成
図１は、本実施形態に係る画像処理装置のブロック図である。

図１に示すように、画像処理装置は、仮高解像度画素値算出部（以下、単に画素値算出部という）１０１、領域分割部１０２、対応位置算出部１０３、画素値変換部１０４を備えている。

各部１０１〜１０４の機能は、ＬＳＩに実装されたプログラムによっても実現可能である。すなわち、並列処理が可能な装置で実現するものである。

（１−１）画素値算出部１０１
画素値算出部１０１は、画面内に複数の画素を配し、これら画素の輝度を画素値として表した低解像度画像データが入力される。

この低解像度画像データのうち１フレームを基準フレームに設定し、この基準フレームの画素値に基づく内挿処理によって、基準フレームに含まれる画素数よりも多い画素数の仮高解像度画像データの画素値を算出する。

低解像度画像データは、動画像である。ここでは、低解像度画像データを、例えば、カメラや携帯電話が撮影した動画像データ、テレビや携帯ＡＶプレイヤーが受信した画像データ、ＨＤＤに保存された動画像データなどとして説明する。

（１−２）領域分割部１０２
領域分割部１０２は、低解像度画像データが入力され、この低解像度画像データに含まれる少なくとも１以上のフレームを、画素値の変化を基に２以上の領域に分割する。

低解像度画像データの分割方法としては、例えば、低解像度画像データを、画素値変化が直線的に起こっているエッジ領域、局所領域内での画素値の変化の大きな画素数が多いテクスチャ領域、局所領域内での画素値変化が小さい平坦領域に分割する。

また、例えば、局所領域内での画素値の変化が小さい平坦領域、それ以外の非平坦領域に分割する。

（１−３）対応位置算出部１０３
対応位置算出部１０３は、低解像度画像データが入力され、この低解像画像データに含まれる１以上のフレームの中の複数の画素を１つずつ注目画素として順次設定する。

そして、この注目画素が基準フレームへ対応する少なくとも１以上の位置（以下、「対応位置」という）を小数精度で算出する。

小数精度での対応位置を算出する方法としては、例えば、次の方法がある。

第１の方法は、低解像度画像データの画素間隔でマッチング誤差を求め、連続な対称関数を当てはめることで、マッチング誤差が極小となる小数精度の位置を求める。この方法を、マッチング誤差補間法という。

第２の方法は、低解像度画像データを拡大し、この拡大された画像における画素間隔で対応位置を求める。この方法をオーバーサンプリング法という。

第３の方法は、カメラにジャイロを搭載して、カメラの揺れを測定することで、物理的に小数精度の対応位置を検出する。

（１−４）画素値変換部１０４
画素値変換部１０４は、画素値算出部１０１で算出された仮高解像度画像データの画素値と、前記低解像度画像データの画素値と、領域分割部１０２で算出された領域情報と、対応位置算出部１０３で算出された対応位置が入力される。

そして、この領域情報に応じて対応位置を選択する。低解像度画像データの注目画素の画素値と、前記仮高解像度画像データの画素値と前記選択された対応位置を用いて生成した推定画素値との誤差が小さくなる方向に、前記仮高解像度画像データの画素値を加減算する動作を、順次設定される全注目画素について繰り返し画素値変換処理を行う。

仮高解像度画像の画素値を変換する方法としては、例えば、ＰＯＣＳ法やIterative Back-Projection法（非特許文献１のｐ．２９、ｐ．３１参照）によって変換する。

対応位置の選択方法としては、例えば、エッジ領域でのフレーム間の対応位置に基づく対応位置と、基準フレームのテクスチャ領域での注目画素の対応位置を選択する。一般に、エッジ領域での対応位置の検出精度は高い。また、基準フレームでの注目画素のみの対応位置は、動き無しであるために、常に正しい対応位置が算出される。また、平坦領域は、仮高解像度画像データの画素値のままで十分であり、対応位置を基にした画素値変換を必要としない。

また、別の対応位置の選択方法としては、例えば、非平坦領域での注目画素の対応位置のみを選択する。

このように低解像度画像データを画素値の変化を基に領域分割し、領域分割情報で対応位置を選択して画素値変換を行うことで、誤った対応位置が検出された標本値での画素値変換が除去され、また、平坦領域のノイズ成分が強調することを避けることが可能になる。

また、補正された仮高解像度画像データの画素値を持つ仮高解像度画像データを、鮮鋭な高解像度画像データとして出力することができる。

（２）画像処理装置の動作
図２は、図１で説明した画像処理装置によって低解像度画像データから高解像度画像データを出力する動作を説明するためのフローチャートである。以下、図１及び図２を用いて、高解像度画像データの形成方法について説明する。

（２−１）ステップＳ２０１
まず、仮高解像度画像データを生成する（ステップＳ２０１）。

具体的には、画素値算出部１０１において、画面内に複数の画素を配され、これら画素の輝度を画素値として表した低解像度画像データのうち１フレームを基準フレームに設定し、この基準フレームの画素値に基づく内挿処理によって、基準フレームに含まれる画素数よりも多い画素数の仮高解像度画像データの画素値を算出する。

この内挿処理は、サンプリング定理に基づくＳｉｎｃ関数でのフィルタ処理による内挿法（三次畳込み法、ＢｉＣｕｂｉｃ法）などを用いることができる。このようにして、低解像度画像データから設定された基準フレームを仮高解像度画像として拡大する。

この段階では、この仮高解像度画像は、画面内の被写体がぼけていたり、本来、連続的な直線である部分が、ジャギーと呼ばれる階段状に表現されてしまったりしている。

（２−２）ステップＳ２０２
次に、低解像度画像データを画素値の変化を基に２以上の領域に分割する（ステップＳ２０２）。

具体的には、領域分割部１０２において、低解像度画像データに含まれる少なくとも１以上のフレームを、画素値の変化を基に２以上の領域に分割する。低解像度画像データの分割方法としては、例えば、低解像度画像データを、画素値変化が直線的に起こっているエッジ領域、局所領域内での画素値の変化の大きな画素数が多いテクスチャ領域、局所領域内での画素値変化が小さい平坦領域に分割する。また、例えば、局所領域内での画素値の変化が小さい平坦領域、それ以外の非平坦領域に分割する。

（２−３）ステップＳ２０３
次に、画面空間における対応位置を算出する（ステップＳ２０３）。

具体的には、対応位置算出部１０３において、低解像画像データに含まれる１以上のフレームの中の複数の画素を１つずつ注目画素として順次設定し、注目画素の基準フレームへの少なくとも１以上の対応位置を小数精度で算出する。

小数精度での対応位置の算出処理は、低解像度画像データを基にマッチング誤差補間法やオーバーサンプリング法で算出したり、カメラに搭載されたジャイロによって検出したりできる。

（２−４）ステップＳ２０４
次に、仮高解像度画像の画素値を変換する（ステップＳ２０４）。

具体的には、画素値変換部１０４において、画素値算出部１０１で算出された仮高解像度画像データの画素値と、前記低解像度画像データの画素値と、領域分割部１０２で算出された領域情報と、対応位置算出部１０３で算出された対応位置が入力され、この領域情報に応じて対応位置を選択する。低解像度画像データの注目画素の画素値と、前記仮高解像度画像データの画素値と前記選択された対応位置を用いて生成した推定画素値との誤差が小さくなる方向に、前記仮高解像度画像データの画素値を加減算する。

この仮高解像度画像の画素値を変換処理は、例えば、ＰＯＣＳ法やIterative Back-Projection法（非特許文献１のｐ．２９、ｐ．３１参照）によって変換する。

対応位置の選択処理は、例えば、エッジ領域でのフレーム間の対応位置に基づく対応位置と、基準フレームのテクスチャ領域での注目画素の対応位置を選択する。一般に、エッジ領域での対応位置の検出精度は高い。また、基準フレームでの注目画素のみの対応位置は、動き無しであるために、常に正しい対応位置が算出される。また、平坦領域は、仮高解像度画像データの画素値のままで十分であり、対応位置を基にした画素値変換を必要としない。

また、別の対応位置の選択方法としては、例えば、非平坦領域での注目画素の対応位置のみを選択する。

（２−５）ステップＳ２０５
次に、既定の繰り返し回数を終了しているかどうか判定する（ステップＳ２０５）。

具体的には、画素値変換部１０４において、選択された全対応位置を用いた変換処理が既定の繰り返し回数だけ終了したかどうかを判定し、ＮＯであればステップＳ２０４に戻って、最初の選択された対応位置についての仮高解像度画像の変更処理を行い、ＹＥＳであれば、仮高解像度画像を高解像度画像として出力して、終了する。

（３）低解像度画像データ、基準フレーム、高解像度画像データの関係
次に、対応位置算出部１０３、画素値変換部１０４の動作について詳しく説明するために、図３〜図８を用いて、低解像度画像データ、基準フレーム、高解像度画像データの関係について説明する。

（３−１）図３の説明
図３は、連続する低解像度画像（映像データ）を用いて、時間順序で高解像度映像を生成する様子を説明している。

図３に示すように、ここでは４枚目の高解像度画像のフレームを生成している。この拡大処理をそのときに行っている低解像度画像のフレーム（この例では４枚目の低解像度画像のフレーム）を基準フレームとしている。この基準フレームを拡大するために、低解像度画像のうち、基準フレームとその前後の時刻の３枚目の低解像度画像フレームと５枚目の低解像度フレーム（ここでは、３枚目〜５枚目）を低解像度画像データと呼ぶ。

（３−２）図４の説明
図４は、基準フレームの低解像度画像フレームだけを用いて、フレーム内処理のみで拡大処理を行っている。静止画像の場合も、入力される低解像度画像は１枚だけなので、これを基準フレームに設定し、その基準フレーム１枚だけを用いて拡大処理する。便宜上、静止画像は１フレームであると表現する。

（３−３）図５の説明
図５は、低解像度フレームの画面５０１と画素５０２と標本点５０３の位置関係を示す図である。

画像は元来、画面空間において輝度が連続的に分布しているものである。しかし、ここで扱うデジタル画像データの場合は、図５に示すように、画面空間に離散的な標本点として画素を配置し、その輝度だけでその周囲の輝度を代表させている。

図５は、画面５０１を横６列、縦４行の２４個の正方形に分割し、その中心点を標本点５０３として、２４個の画素５０２を配した様子である。各標本点５０３が持つ輝度の代表値のことを画素値と呼ぶ。

（３−４）図６の説明
図６は、図５で示した画面を横２倍、縦２倍に高解像度化した図である。

高解像度画像フレームの画素６０２の標本点６０３を白丸で表す。このように、画素６０２の標本点６０３の間隔は、低解像度画像フレームの１／２になる。

（３−５）図７の説明
図７は、元の低解像度画像フレームの画素を高解像度画像フレームと同じ間隔で示した図である。

この場合、低解像度画像フレームの大きさは、高解像度画像フレームの大きさよりも小さくなる。このように、低解像度画像フレームは、その高解像度画像フレームと画面の大きさを合わせると画素の標本点の間隔が広がり、画素の標本点の間隔を合わせると画面の大きさが小さくなる。しかし、これらは同じことを表しており、適宜、低解像度画像フレームを図５のように表したり、図７のように表したりする。

（３−６）図８の説明
図８は、低解像度画像フレームの画素の標本点を黒丸で、高解像度画像フレームの画素の標本点を白丸で示した図である。

図８に示すように、拡大処理、つまり、高解像度化の処理は、黒丸の標本点に与えられた画素値を元にして、白丸の標本点の画素値を求めることである。その際、低解像度画像のうち選定される基準フレームだけでなく、例えば、その時間的に前後のフレームなどの低解像度画像データを用いることで、鮮鋭な高解像度化を行うことができる。

（４）領域分割部１０２の説明
次に、図１の領域分割部１０２及び図２のステップＳ２０２の画面空間における領域を分割する動作について、図３０、図３１、図３３を用いて詳細に説明する。

（４−１）エッジ領域
図３０は、被写体の輪郭線など、画素値変化が直線的に起こっているエッジ領域を検出する様子を示した図である。

低解像度画像フレームＡ１０１の注目画素Ａ１０２が、エッジ領域の画素であるかどうかを判定する。注目画素を中心とした３×３のブロック領域は、それぞれ画素値ｙ１１，ｙ１２，・・・，ｙ３３を持っているものとする。

一般に、注目画素Ａ１０２での画素値の変化を微分した大きさが一定値以上である場合は、エッジ領域の画素であると判定する。微分の大きさを算出するには、ソーベルフィルタを用いることができる。横方向の微分を求めるには横方向ソーベルフィルタＡ１０３を注目画素Ａ１０２に施す。

具体的には、注目画素Ａ１０２の横方向微分として、（−ｙ１１−２×ｙ２１−ｙ３１）＋（ｙ１３＋２×ｙ２３＋ｙ３３）を算出する。同様に、縦方向の微分を求めるには縦方向のソーベルフィルタＡ１０４を注目画素Ａ１０２に施す。具体的には、注目画素Ａ１０２の縦方向微分として、（ｙ１１＋２×ｙ１２＋ｙ１３）＋（−ｙ３１−２×ｙ３２−ｙ３３）を算出する。縦方向の微分の絶対値、及び、横方向の微分の絶対値を加算し、ある閾値以上であった場合に、注目画素Ａ１０２をエッジ領域の画素であると判定する。

（４−２）テクスチャ領域
図３１は、セーターの網目や芝生といった細かな模様から成る、局所領域内での画素値の変化の大きな画素数が多いテクスチャ領域を検出する様子を示した図である。

低解像度画像フレームＡ２０１の注目画素Ａ２０２が、テクスチャ領域の画素であるかどうかを判定する。注目画素を中心とした３×３ブロックの局所領域は、それぞれ画素値ｙ１１，ｙ１２，・・・，ｙ３３を持っているものとする。

まず、局所領域内の横方向差分Ａ２０３を、
ｄｘ１１＝（ｙ１１−ｙ１２）の絶対値、
ｄｘ１２＝（ｙ１２−ｙ１３）の絶対値、
ｄｘ２１＝（ｙ２１−ｙ２２）の絶対値、
ｄｘ２２＝（ｙ２２−ｙ２３）の絶対値、
ｄｘ３１＝（ｙ３１−ｙ３２）の絶対値、
ｄｘ３２＝（ｙ３２−ｙ３３）の絶対値、
として算出する。

また、局所領域内の縦方向差分Ａ２０４を、
ｄｙ１１＝（ｙ１１−ｙ２１）の絶対値、
ｄｙ１２＝（ｙ１２−ｙ２２）の絶対値、
ｄｙ１３＝（ｙ１３−ｙ２３）の絶対値、
ｄｙ２１＝（ｙ２１−ｙ３１）の絶対値、
ｄｙ２２＝（ｙ２２−ｙ３２）の絶対値、
ｄｙ２３＝（ｙ２３−ｙ３３）の絶対値、
として算出する。

これら差分量が、ある閾値より大きい差分量の数を数えて、その個数がある閾値以上であった場合に、注目画素Ａ２０２をテクスチャ領域の画素と判定する。

（４−３）平坦領域
図３１を用いて、局所領域内での画素値変化が小さい平坦領域を検出する方法を説明する。

注目画素Ａ２０２が平坦領域の画素であるかどうか判定するには、局所領域内の縦方向差分Ａ２０３と横方向差分Ａ２０４のそれぞれの差分量を合計して、この合計量がある閾値以下であった場合に、平坦領域の画素と判定する。

（４−４）分析結果
図３２は、分離結果の例を示す図である。

低解像画像フレームＡ３０１が入力されると、被写体輪郭部分がエッジ領域Ａ３０２として検出され、セーターや髪の毛の部分がテクスチャ領域Ａ３０３として検出され、背景やズボンなどが平坦領域Ａ３０４として検出されている。

（５）対応位置算出部１０３の説明
次に、図１の対応位置算出部１０３及び図２のステップＳ２０３の画面空間における対応位置を算出する動作について、図９〜図１４を用いて詳細に説明する。

本実施形態は、上記したようにＬＳＩに実装されている。したがって、下記で説明する各対応位置の算出は、基準フレームの全ての画素で求める。そして、上記で分割したエッジ領域、テクスチャ領域のそれぞれに応じて、下記で求めた方法の対応位置の選択をする。

この中で第１の対応位置算出方法と第２の対応位置算出方法は、エッジ領域で選択される方法であり、第３の対応位置算出方法は、エッジ領域とテクスチャ領域で選択される方法である。

図９は、移動する自動車を撮影した動画像のうち、時間的に前後する２枚のフレーム９０１、９０２を示した図である。ここで、これら低解像度画像フレームのうち、フレーム９０２を基準フレームとして高解像度化する場合を説明する。

低解像度画像フレーム９０１の中の注目画素９０３に対して、その標本点９０４が基準フレーム９０２のどの位置に対応するか、すなわち、対応位置を画素間隔より細かい小数精度で算出する。

なお、低解像度画像フレーム９０１、９０２は、見やすいように、図５または図７で説明したような横６画素、縦４画素の２４画素で示しているが、実際には、例えば、ＳＤサイズの映像のサイズは、横７２０画素、縦４８０画素の画素数を有する。

（５−１）第１の対応位置算出方法
図１０〜図１２を用いて、マッチング誤差補間法を用いた小数精度の対応位置算出方法について説明する。

（５−１−１）マッチング誤差補間法
図１０に示すように、マッチング誤差補間法では、初めに、ブロックマッチング法のように画素間隔の精度で低解像度画像フレーム９０１から基準フレーム９０２へのフレーム間のマッチング誤差を算出するために、注目画素９０３を中心に低解像度画像フレーム９０１から数画素四方、例えば５×５画素や３×３画素の矩形のブロック１００５を注目画像領域として取り出す。

次に、注目画像領域１００５と画素値の変化パターンが近い部分を基準フレーム９０２から探索する。画素間隔で算出するマッチング誤差としては、フレーム間での注目画像領域内の各画素値の差の２乗和であるＳＳＤ（Sum of Square Distance）や、各画素値の差の絶対値和であるＳＡＤ（Sum of Absolute Distance）などを用いることができる。ここでは、低解像度画像フレーム９０１に含まれる注目画像領域１００５と、基準フレーム９０２に含まれる画像領域１００６とのＳＡＤを計算して、注目画素９０３と画素１００７とのマッチング誤差を算出する。

同様にして基準フレーム９０２のその他の画素についてもマッチング誤差を算出することで、画素間隔でのマッチング誤差が算出できる。

この各マッチング誤差の中で最小のマッチング誤差を持つ画素が、ブロックマッチング法で算出される対応画素となる。これは、画素間隔、つまり、整数精度での対応位置に相当する。

（５−１−２）対応位置の決定
図１１は、低解像度画像フレーム９０１内の注目画素９０３の対応画素として、基準フレーム９０２内の画素１１１０が求まったことを示した図である。

図１１に示すグラフは、それぞれの画素で算出されたマッチング誤差を対応画素１１１０の周り３×３画素について示したグラフである。９個のマッチング誤差のうち、対応画素１１１０のマッチング誤差が最小となる。

まず、横方向についての対応位置の算出について説明する。

対応画素１１１０とその横方向に両隣のマッチング誤差に対称な連続関数１１１１を当てはめる。対称な連続関数は、放物線や、マッチング誤差の軸に対称な２本の直線を用いれば良い。

このようにして当てはめた連続関数が極小となる横位置（白丸で図示）を、小数精度での対応位置１１１２と呼ぶ。

縦方向についても同様に、縦方向の対応位置を算出できる。

また、横方向、縦方向の対応位置をそれぞれ別々に算出せずに、対称な曲面を当てはめることで、同時に横方向、縦方向の対応位置を算出することもできる。

（５−１−３）小数精度の対応位置
図１２は、上記した操作を施すことによって、小数精度の対応位置が算出されたことを表す図である。

図１２に示すように、時間的に前後する２枚の低解像度画像フレーム９０１と基準フレーム９０２のうち、低解像度画像フレーム９０１の注目画素９０３が対応する基準フレーム９０２の対応画素１１１０を求め、連続関数を当てはめることにより、注目画素９０３の標本点９０４が対応する基準フレーム９０２の対応位置１２１３が算出される。

（５−２）第２の対応位置算出方法
次に、図１３及び図１４を用いて、オーバーサンプリング法を用いた小数精度の対応位置算出方法について説明する。

（５−２−１）オーバーサンプリング法
図１３に示すように、オーバーサンプリング法では、初めに、注目画素９０３の注目画像領域１００５を高解像度化して、高解像度な注目画像領域１３０５を作成する。

また、低解像度の基準フレーム９０２（図９参照）の各画素を高解像度化して、高解像度な基準フレーム１３０２を作成する。例えば、サンプリング定理に基づくＳｉｎｃ関数でのフィルタ処理による内挿法（三次畳込み法、ＢｉＣｕｂｉｃ法）などを用いて高解像度化することができる。

ここでは、横３倍、縦３倍に高解像度化してある。そして、この高解像度な注目画像領域１３０５と高解像度な基準フレーム１３０２において、マッチング誤差補間法の図１０で説明したように、ブロックマッチング法のように画素間隔の精度で対応画素を算出する。

低解像度フレームが縦３倍、横３倍に高解像度化された、つまり、画素間隔は１／３になって対応画素が検出されるため、低解像度画素間隔の１／３という細かい精度で、対応位置を検出できることに相当する。

（５−２−２）小数精度での対応位置
図１４では、具体的に、オーバーサンプリング法によって、小数精度での対応位置が検出されている。

高解像度な注目画像領域１３０５を用いて、高解像度の画素間隔の基準フレームの画素についてマッチング誤差を算出する。このマッチング誤差が最小となる画素の標本点１４１４を、注目画素９０３の標本点９０４の基準フレームへの小数精度の対応位置として算出する。

（５−３）第３の対応位置算出方法
第３の対応位置算出方法は、図３３に示すように、基準フレーム３３０１に注目画素３３０２が設定された場合であり、その標本点３３０３が、基準フレームの仮高解像度画像３３０４のどの位置に対応するかを算出する。この第３の対応位置算出方法は、エッジ領域とテクスチャ領域で選択される方法である。

低解像度の基準フレーム３３０１の左上の標本点の位置を（０，０）、標本点の間隔を１、また、基準フレームの仮高解像度画像３３０４の左上の標本点の位置を（０，０）、標本点の間隔を１とする。基準フレーム内の注目画素の対応位置は動き０であるから、横方向の拡大率α、縦方向の拡大率βに応じて座標変換するだけでよい。よって、低解像度の基準フレームの注目画素３３０２の標本点３３０３の座標を（ｘ＿ＬＲ，ｙ＿ＬＲ）とすると、基準フレームの仮高解像度画像３３０４への対応位置３３０５の座標（ｘ＿ＨＲ，ｙ＿ＨＲ）は、
ｘ＿ＨＲ＝α×（ｘ＿ＬＲ＋０．５）−０．５
ｙ＿ＨＲ＝β×（ｙ＿ＬＲ＋０．５）−０．５
と一義的に決まる。図３３においては、
α＝β＝２、（ｘ＿ＬＲ，ｙ＿ＬＲ）＝（３，１）
であり、上式によって、
（ｘ＿ＨＲ，ｙ＿ＨＲ）＝（６．５，２．５）
と算出される。

（６）画素値変換部１０４の説明
次に、図１の画素値変換部１０４及び図２のステップＳ２０４で行う仮高解像度画像の画素値の変換について、図１５を用いて具体例を挙げて詳細に説明する。

図１５は、図１の画素値算出部１０１で図９の低解像度な基準フレーム９０２が縦２倍、横２倍に高解像度化されており、仮高解像度フレーム１５０１の各画素（白丸）の画素値が求まっている。

また、対応位置算出部１０３で、注目画素１５０２の対応位置１５０３が黒丸として算出されている。注目画素１５０２は、注目画素が含まれる低解像度画像データにおいて、既に画素値が、撮影された正しい画素値である。

（６−１）第１段階
まず、領域分割部１０２で算出された領域情報から、全対応位置の中から、必要な対応位置を選択する。

ここでの注目画素の対応位置とは、基準フレームの低解像度画像フレームの各画素の仮高解像度画像への動き０の対応位置を表す。一般に、エッジ領域での対応位置の検出精度は高い。また、基準フレームでの注目画素のみの対応位置は、動き無しであるために、常に正しい対応位置が算出される。

具体的には、注目画素が含まれる領域がエッジ領域の場合には、上記で説明した第１の対応位置算出方法〜第３の対応位置算出方法から選択された少なくとも一つの方法で決定された対応位置を選択する。２以上の対応位置算出方法を選択した場合には、それぞれの対応位置について、下記の方法で画素値を補正する。

また、注目画素が含まれる領域がテクスチャ領域の場合には、上記で説明した第３の対応位置算出方法で決定された対応位置を選択する。

また、注目画素が含まれる領域が平坦領域の場合には、仮高解像度画像データの画素値のままで十分であり、対応位置を基にした画素値変換を必要としない。

なお、別の対応位置の選択方法としては、例えば、非平坦領域での注目画素の対応位置のみを選択する。あるいは、別の対応位置の選択方法としては、例えば、テクスチャ領域での注目画素の対応位置のみを選択する。

（６−２）第２段階
次に、上記のように対応位置が決定されると、この対応位置に基づいて仮高解像度フレームの画素が持つ推定画素値を補正する。

図１の画素値変換部１０４及び図２のステップＳ２０４は、仮高解像度フレーム１５０１の各画素（白丸）の画素値の確からしさを評価するために、仮高解像度フレーム１６０１の各画素（白丸）の画素値から、ある注目画素１５０２の画素値を試算する。

このためには、注目画素１５０２が重なりを持つ９個の仮高解像度フレーム１５０１の画素を基に算出する。

例えば、面積比に応じて加重平均して試算できる。仮高解像度フレームの画素１５０４が持つ画素値に対する重みは、注目画素１５０２の面積を１とした際の矩形１５０５の面積を重みにすれば良い。矩形１５０５は、仮高解像度フレームの画素１５０４と注目画素１５０２の重なり合う部分である。注目画素１５０２が重なる９個の矩形について、その重なる面積を重みとして、それら９個の画素値から加重平均値を求めることで、仮高解像度フレーム１５０１の画素（白丸）の画素値から、注目画素１５０２の画素値を試算できる。

このときの仮高解像度フレームが正確なものであれば、試算された注目画素１５０２の画素値と、撮影された正しい注目画素１５０２の画素値は一致するはずである。

しかし、通常は、画素値算出部１０１での、従来のフィルタ処理による拡大では、画面内の被写体がぼけていたり、本来、連続的な直線である部分が、ジャギーと呼ばれる階段状に表現されてしまったりしているために一致しない。そこで、これが一致するように、仮高解像度フレームの画素値を加減算すべき補正量を算出する。

補正量の算出のために、まず、

差分値＝（注目画素の撮影された画素値）−（注目画素の試算された画素値）

を算出する。この差分値を、試算した際の重みで分配すると、差分値は０になる。

このように補正量を算出するのがＰＯＣＳ法（非特許文献１のｐ．２９、ｐ．３１参照）である。

そして、重みによって分配された９個の正または負の補正量を、仮高解像度フレーム１５０１の９個の画素値に加算すれば、そのとき計算した注目画素については、差分が０になり、注目画素の撮影された画素値と試算された画素値が一致する。

しかし、別の注目画素の対応位置によっては、これを用いた補正によって、同じ高解像度フレーム１５０１の画素値が補正されることがある。そこで、この補正処理は、全対応位置について、逐次的に行い、これを、更に、既定された回数繰り返す（ステップＳ２０５）。

この反復により、次第に、仮高解像度フレームは正確なものに近づくので、予め決めた回数反復して得られた仮高解像度フレームを、高解像度フレームとして出力する。

また、補正量の算出のときに、差分値が０になるように算出するのではなく、差分値が減少する方向に補正量を算出するのが、Iterative Back-Projection法である（非特許文献１のｐ．２９、ｐ．３１参照）。

（第２の実施形態）
次に、本発明の第２の実施形態に係る画像処理装置について図１６に基づいて説明する。

本実施形態は、ＰＣ（パソコン）などを用いた条件分岐処理に適したブロック図である。一方、第１の実施形態の画像処理装置は、上記したようにＬＳＩなどを用いた並列処理に適したものである。

図１６は、本実施形態に係る画像処理装置のブロック図である。

本実施形態の画像処理装置は、領域分割部１０２の領域情報を、対応位置１６０３が入力し、対応位置１６０３において選択して対応位置を算出し、画素値変換部１６０４は領域情報を用いずに画素値の変換を行う。

すなわち、本実施形態と第１の実施形態と異なる点は、次の通りである、
第１の実施形態では、基準フレームの全画素について上記で説明した第１の対応位置算出方法〜第３の対応位置算出方法をそれぞれ用いて、対応位置をそれぞれ求めている。その後に分割された領域の種類（エッジ領域、テクスチャ領域、平坦領域）に基づいて、第１の対応位置算出方法〜第３の対応位置算出方法で決定した対応位置をそれぞれ選択している。

一方、本実施形態は、まず、領域をエッジ領域、テクスチャ領域、平坦領域に分割して、分割された領域の種類に応じて、その領域の範囲のみを、その種類に応じて第１の対応位置算出方法〜第３の対応位置算出方法を選択した、その対応位置を求めるものである。

なお、他の構成は、第１の実施形態の画像処理装置と同様であるので、同一箇所は同一符号を付しその説明は省略する。

（第３の実施形態）
次に、本発明の第３の実施形態に係る画像処理装置について図１７、図１８に基づいて説明する。

第１の実施形態では、動画像データで説明したが、本実施形態は、静止画など、動画のような連続する前後のフレームが無い場合に適用できる。

本実施形態は、図１、図１６の対応位置算出部１０３、１６０３及び図２のステップＳ２０３の画面空間における対応位置を算出する動作として、被写体のフレーム内（基準フレーム内）の自己合同性を利用する場合である。

図１７は、横軸が画素の横座標、縦軸が輝度を示す画素値を表す、実際のデジタル画像のデータを示す図である。ここでは同じフレーム内の異なる５行のデータをそれぞれ別の折れ線で示した。図１７に示すように、同じフレーム内の異なる行でも、非常に似た輝度変化をする部分があることが分かる。このような同じフレーム内に似た輝度変化を有する画像の性質を、「自己合同性」と定義する。

被写体のフレーム内の自己合同性を用いて高解像度化を行う処理では、連続する複数の低解像度画像データをメモリで保持する必要がなく、少ないメモリ量で高解像度化を行うことができるという利点がある。

この自己合同性をフレーム内処理の劣化逆変換法に用いた高解像度化は、ステップＳ２０３において、対応位置算出部１０３、１６０３が、１フレームの静止画からなる画像データを基準フレームに設定し、基準フレーム内の複数の画素、例えば、基準フレームのエッジ画素を１つずつ注目画素として順次設定し、注目画素の周辺への１以上の対応位置を小数精度で算出する。これは、低解像度画像データを元にマッチング誤差補間法やオーバーサンプリング法を用いることで算出することができる。

図１８は、縦方向のエッジを持つ被写体１８０６の低解像度の基準フレーム１８０１を自己合同性を用いて高解像度化する例を説明するための図である。

図１８に示すように、注目画素を１８０２、その標本点を１８０３とする。図２のステップＳ２０３では、その標本点１８０３の周りに存在する自己合同位置を算出する。自己合同位置が１ライン上、もしくは、１ライン下にあると仮定して、マッチング誤差補間法や、オーバーサンプリング法にて、小数精度の自己合同位置を求めた結果が、第１の自己合同位置１８０４、第２の自己合同位置１８０５である。

このようにして、注目画素、注目画素の画素値、注目画素の基準フレームへの小数精度の対応位置（ここでは、自己合同位置）を算出すれば、以降、図２のステップＳ２０４による仮高解像度画像の画素値の変換を行うことで、鮮鋭な高解像度化を、高速に行うことができる。

なお、この画像高解像度化の方法を、以降では「フレーム内劣化逆変換法」と呼ぶ。

（第４の実施形態）
次に、本発明の第４の実施形態に係る画像処理装置について図１９、図２０に基づいて説明する。

（１）構成
図１９、図２０は、本実施形態に係る画像処理装置のブロック図である。

画像処理装置は、図１、図１６の画素値変換部１０４、１６０４に入力される低解像度の画像データの画素値を強調部１９０５で強調処理している。他の構成は、図１、図１６にて説明した画像処理装置と同様であるので、同一箇所は同一符号を付しその説明は省略する。

複数フレーム劣化逆変換法やフレーム内劣化逆変換法では、注目した低解像度画素に含まれる仮高解像度画像の標本点の位置に応じて、注目画素の画素値と、仮高解像度画像の画素値から推定した推定画素値との誤差が小さくなる方向に、仮高解像度画像値を加減算する。しかし、低解像度画像がボケている場合には、注目した低解像度画素の外側の高解像度画像の標本点も、注目画素の画素値に影響を与えている場合がある。

図１９、２０に示す画像処理装置は、低解像度の画像データが入力され、画像データの画素値を強調処理して、画素値変換部１０４、１６０４に出力する。具体的には、アンシャープマスクなどのエンハンスフィルタを用いる。

（２）動作
図２１は、図１９、図２０の画像処理装置の動作を説明するフローチャートである。図２のフローチャートとは、ステップＳ２０１とステップＳ２０２の間に、低解像度画像データの画素値を強調処理するステップが挿入されているところが異なり、他のステップは図２のフローチャートと同一であり同一の符号を付し、その説明は省略する。

図２１に示すように、ステップＳ２１０６では、低解像度の画像データが入力され、画像データの画素値を強調処理して、画素値変換部１０４、１６０４に出力する。

（３）効果
これにより、本実施形態は、低解像度画像のボケが軽減され、注目した低解像度画素に含まれる仮高解像度画像の標本点から、注目画素の画素値が生成されるようになる。また、事前に低解像度画像を強調処理することよる仮高解像度画像のジャギーの強調を避けることができる。

（第５の実施形態）
次に、本発明の第５の実施形態に係る画像処理装置について図２２、図２３に基づいて説明する。

（１）構成
図２２は、本実施形態に係る画像処理装置のブロック図である。

図２２に示すように、画像処理装置は、画素値算出部１０１、領域分割部２２０２、強調部１９０５、画素値変換部２２０４を備えている。

画素値算出部１０１は、図１で説明した動作と同様である。

領域分割部２２０２は、低解像度の静止画である１フレームからなる基準フレームが入力され、基準フレームの画素値の変化を基に、平坦領域と非平坦領域に分割され、分割情報を出力する。

強調部１９０５は、図１９で説明した動作と同様である。

画素値変換部２２０４は、仮高解像度画像と領域情報と強調された基準フレームが入力され、基準フレームの非平坦領域の画素値に基づく内挿処理によって、仮高解像度画像の画素値を置き換える。

（２）動作
図２３は、図２２の画像処理装置の動作を説明するフローチャートである。

最初のステップＳ２０１は、図２で説明した処理と同様である。

次に、領域分割部２２０２において、低解像度の静止画である１フレームからなる基準フレームが入力され、基準フレームの画素値の変化を基に、平坦領域と非平坦領域に分割され、分割情報が出力される（ステップＳ２３０２）。

次のステップＳ２１０６は、図２１で説明した処理と同様である。

次に、画素値変換部２２０４において、仮高解像度画像と基準フレームの領域情報と強調された基準フレームが入力され、基準フレームの非平坦領域の画素値に基づく内挿処理によって、仮高解像度画像の画素値を置き換える（ステップＳ２３０４）。

（３）効果
これにより、本実施形態は、平坦領域でのノイズが強調されない、鮮鋭な高解像度化を行うことができる。

（第６の実施形態）
次に、本発明の第６の実施形態に係る画像処理装置について図２４、図２５に基づいて説明する。

（１）構成
図２４は、本実施形態に係る画像処理装置のブロック図である。

図２４に示すように、画像処理装置は、画素値算出部１０１、領域分割部２２０２、画素値変換部２４０３を備えている。

画素値算出部１０１は図１でで説明した動作と同様である。

領域分割部２２０２は図２２で説明した動作と同様である。

画素値変換部２４０３は、仮高解像度画像と基準フレームの領域情報が入力され、基準フレームの非平坦領域に対応する仮高解像度画像の画素値を強調処理する。具体的には、アンシャープマスクなどのエンハンスフィルタを用いる。

（２）動作
図２５は、図２４の画像処理装置の動作を説明するフローチャートである。

最初のステップＳ２０１は、図２で説明した処理と同様である。

次のステップＳ２３０２は、図２３で説明した処理と同様である。

次に、画素値変換部２４０３において、仮高解像度画像と基準フレームの領域情報が入力され、基準フレームの非平坦領域に対応する仮高解像度画像の画素値を強調処理する（ステップＳ２５０３）。

（３）効果
これにより、本実施形態は、平坦領域でのノイズが強調されない、鮮鋭な高解像度化を行うことができる。

（第７の実施形態）
次に、本発明の第７の実施形態に係る画像処理装置について図２６、図２７に基づいて説明する。

（１）構成
図２６は、本実施形態に係る画像処理装置のブロック図である。

図２６に示すように、本実施形態の画像処理装置は、画素値算出部１０１、領域分割部２6０２、画素値変換部２６０３を備えている。

画素値算出部１０１は、図１で説明した動作と同様である。

領域分割部２６０２は、仮高解像度画像が入力され、仮高解像度画像の画素値の変化を基に、平坦領域と非平坦領域に分割され、分割情報を出力する。

画素値変換部２６０３は、仮高解像度画像と仮高解像度画像の領域情報が入力され、仮高解像度画像の非平坦領域の画素値を強調処理する。具体的には、アンシャープマスクなどのエンハンスフィルタを用いる。

（２）動作
図２７は、図２６の画像処理装置の動作を説明するフローチャートである。

最初のステップＳ２０１は、図２で説明した処理と同様である。

次に、領域分割部２６０２において、仮高解像度画像が入力され、仮高解像度画像の画素値の変化を基に、平坦領域と非平坦領域に分割され、分割情報が出力される（ステップＳ２７０２）。

次に、画素値変換部２６０３において、仮高解像度画像と仮高解像度画像の領域情報が入力され、仮高解像度画像の非平坦領域の画素値を強調処理する（ステップＳ２７０３）。

（３）効果
これにより、本実施形態は、平坦領域でのノイズが強調されない、鮮鋭な高解像度化を行うことができる。

（第８の実施形態）
次に、本発明の第８の実施形態に係る画像処理装置について図２８、図２９に基づいて説明する。

（１）構成
図２８は、本実施形態に係る画像処理装置のブロック図である。

図２８に示すように、本実施形態の画像処理装置は、画素値算出部１０１、領域分割部２８０２、第１の対応位置算出部２８０３、第２の対応位置算出部２８０４、第１の画素値変換部２８０５、第２の画素値変換部２８０６、画素値選択部２８０７を備えている。

（１−１）画素値算出部１０１
画素値算出部１０１は、図１で説明した動作と同様である。

（１−２）領域分割部２８０２
領域分割部２８０２は、仮高解像度画像が入力され、基準フレーム内の対応位置を基に高解像度化する第１の領域と、低解像度の画像データに含まれる２以上のフレーム間の対応位置を基に高解像度化する第２の領域と、内挿処理で高解像度化する第３の領域とに分割し、領域情報を出力する。

（１−３）第１の対応位置算出部２８０３
第１の対応位置算出部２８０３は、１フレームの静止画からなる基準フレームの中の複数の画素を１つずつ注目画素として順次設定し、注目画素の基準フレームへの少なくとも１以上の小数精度の対応位置を算出する。

（１−４）第２の対応位置算出部２８０４
第２の対応位置算出部２８０４は、低解像度の画像データに含まれる少なくとも２以上のフレームの中の複数の画素を１つずつ注目画素として順次設定し、注目画素の基準フレームへの少なくとも１以上の小数精度の対応位置を算出する。

（１−５）第１の画素値変換部２８０５
第１の画素値変換部２８０５は、注目画素の画素値と、仮高解像度画素値と第１の対応位置算出部で算出された対応位置を用いて生成した推定画素値との誤差が小さくなる方向に、仮高解像度画素値を加減算する。

（１−６）第２の画素値変換部２８０６
第２の画素値変換部２８０６は、注目画素の画素値と、仮高解像度画素値と第２の対応位置算出部で算出された対応位置を用いて生成した推定画素値との誤差が小さくなる方向に、仮高解像度画素値を加減算する。

（１−７）画素値選択部２８０７
画素値選択部２８０７は、第１の領域では第１の画素値変換部２８０５で変換された仮高解像度画像の画素値を選択し、前記第２の領域では第２の画素値変換部２８０６で変換された仮高解像度画像の画素値を選択し、前記第３の領域では仮高解像度画像の画素値を選択する。

（２）動作
図２９は、図２８の画像処理装置の動作を説明するフローチャートである。

最初のステップＳ２０１は、図２で説明した処理と同様である。

次に、領域分割部２８０２において、仮高解像度画像が入力され、基準フレーム内の対応位置を基に高解像度化する第１の領域と、低解像度の画像データに含まれる２以上のフレーム間の対応位置を基に高解像度化する第２の領域と、内挿処理で高解像度化する第３の領域とに分割され、領域情報が出力される（ステップＳ２９０２）。

次に、第１の対応位置算出部２８０３において、１フレームの静止画からなる基準フレームの中の複数の画素を１つずつ注目画素として順次設定し、注目画素の基準フレームへの少なくとも１以上の小数精度の対応位置が算出される（ステップＳ２９０３）。

次に、第２の対応位置算出部２８０４において、低解像度の画像データに含まれる少なくとも２以上のフレームの中の複数の画素を１つずつ注目画素として順次設定し、注目画素の基準フレームへの少なくとも１以上の小数精度の対応位置が算出される（ステップＳ２９０４）。

次に、第１の画素値変換部２８０５において、注目画素の画素値と、仮高解像度画素値と第１の対応位置算出部で算出された対応位置を用いて生成した推定画素値との誤差が小さくなる方向に、仮高解像度画素値が加減算され（ステップＳ２９０５）、全ての第１の対応位置について、逐次的に加減算を行う。これを、更に、既定された回数繰り返す（ステップＳ２９０６）。

次に、第２の画素値変換部２８０６において、注目画素の画素値と、仮高解像度画素値と第２の対応位置算出部で算出された対応位置を用いて生成した推定画素値との誤差が小さくなる方向に、仮高解像度画素値が加減算され（ステップＳ２９０７）、全ての第２の対応位置について、逐次的に加減算を行う。これを、更に、既定された回数繰り返す（ステップＳ２９０８）。

次に、画素値選択部２８０７において、第１の領域では第１の画素値変換部２８０５で変換された仮高解像度画像の画素値を選択し、前記第２の領域では第２の画素値変換部２８０６で変換された仮高解像度画像の画素値を選択し、前記第３の領域では仮高解像度画像の画素値を選択して、高解像度画像データが出力される（ステップＳ２９０９）。

（３）効果
これにより、フレーム内劣化逆変換法による高解像度化画像、複数フレーム劣化逆変換法による高解像度化画像、内挿処理による高解像度化画像を画素単位でハイブリッドした、より鮮鋭な高解像度画像を生成することができる。また、本実施形態では、仮高解像度画像を領域分割することで画素値を選択したが、基準フレームを領域分割して画素値を選択することも可能である。

（実施形態の効果）
本実施形態による画像処理装置では、低解像度画像データを画素値の変化を基に領域分割し、領域分割情報で対応位置を選択して画素値変換を行うことで、誤った対応位置が検出された標本値での画素値変換が除去され、また、平坦領域のノイズ成分が強調することを避けることが可能になる。

また、特に、フレーム内で処理を行う場合には、被写体のフレーム内の自己合同性を用いて高解像度化を行うため、複数の低解像度画像データをメモリで保持する必要がなく、領域分割による高画質化に加えて、更に、少ないメモリ量で高解像度化を行うことができる。

また、領域分割によって、フレーム内劣化逆変換法と複数フレーム劣化逆変換法を画素単位でハイブリッドすることで、より鮮鋭な高解像度画像を生成することができる。

（変更例）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。

また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

さらに、異なる実施形態にわたる構成要素を組み合わせてもよい。

本発明の第１の実施形態に係る画像処理装置のブロック図である。 本発明の画像処理装置の動作の一例を示すフローチャートである。 ３枚の低解像度フレームから高解像度フレームを生成する様子を示す図である。 １枚の低解像度フレームから高解像度フレームを生成する様子を示す図である。 低解像度フレームの画面と画素との位置関係を示す図である。 低解像度フレームを高解像度化した高解像度フレームを示す図である。 低解像度フレームの画素間隔を高解像度フレームの画素間隔に合わせた低解像度フレームを示す図である。 低解像度フレームの標本点と高解像度フレームの標本点の位置関係を示した図である。 画面空間における対応位置の算出での注目画素と基準フレームを示す図である。 画面空間における対応位置の算出での注目画像領域と画像領域を示す図である。 画面空間における対応位置の算出でのマッチング誤差補間法を示す図である。 画面空間における対応位置の算出での基準フレームへの対応位置を示す図である。 画面空間における対応位置の算出でのオーバーサンプリング法を示す図である。 画面空間における対応位置の算出での基準フレームへのオーバーサンプリングされた対応画素を示す図である。 仮高解像度画像の画素値を変換する様子を示す図である。 第２の実施形態に係る画像処理装置のブロック図である。 第３の実施形態における局所パターンの自己合同性を示す図である。 第３の実施形態における画面空間における自己合同位置を算出する様子を示す図である。 第４の実施形態に係る画像処理装置のブロック図である。 第４の実施形態に係る画像処理装置のブロック図である。 第４の実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 第５の実施形態に係る画像処理装置のブロック図である。 第５の実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 第６の実施形態に係る画像処理装置のブロック図である。 第６の実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 第７の実施形態に係る画像処理装置のブロック図である。 第７の実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 第８の実施形態に係る画像処理装置のブロック図である。 第８の実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 エッジ領域を検出する様子を示した図である。 テクスチャ領域、平坦領域を検出する様子を示した図である。 分離結果の例を示す図である。 画面空間における注目画素の対応位置の算出法を示す図である。

符号の説明

１０１・・・仮高解像度画素値算出部
１０２・・・領域分割部
１０３・・・対応位置算出部
１０４・・・画素値変換部

Claims (7)

1. ｎ個の画素からなる１枚の基準フレームの前記各画素の画素値に基づく内挿処理によって、ｍ個（但し、ｍ＞ｎである）の画素からなる仮画像の各画素の推定画素値を算出する画素値算出部と、
   前記基準フレームの各画素の画素値に基づいて、前記基準フレーム内を（１）エッジ領域とテクスチャ領域に分割するか、（２）前記エッジ領域と平坦領域に分割するか、（３）前記テクスチャ領域と前記平坦領域に分割するか、又は、（４）前記エッジ領域と前記テクスチャ領域と前記平坦領域に分割する分割部と、
   前記基準フレームの前記各画素を１つずつ注目画素として順次設定し、前記注目画素が含まれる前記分割した前記エッジ領域、前記テクスチャ領域、又は、前記平坦領域に関する情報に基づいて、前記各注目画素に対応する前記仮画像への対応位置を小数精度で算出する位置算出部と、
   前記注目画素の対応位置の周囲にある前記仮高解像度の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値を求める変換部と、
   前記補正画素値を有するｍ個の画素から構成される画像を出力する出力部と、
   を有する画像処理装置。
2. 前記位置算出部は、前記注目画素が含まれる前記分割した領域が、前記エッジ領域の場合には、前記基準フレームの各画素の画素値に加えて、前記基準フレームに対し、時系列的に前後する複数枚のフレームの各画素の画素値も用いて前記対応位置を算出する、
   請求項１記載の画像処理装置。
3. 前記位置算出部は、前記注目画素が含まれる前記分割した領域が、前記エッジ領域の場合には、前記基準フレームの各画素の画素値のみから前記対応位置を算出する、
   請求項１記載の画像処理装置。
4. 前記位置算出部は、前記注目画素が含まれる前記分割した領域が、前記テクスチャ領域の場合には、前記基準フレームの各画素の画素値のみから前記対応位置を算出する、
   請求項１記載の画像処理装置。
5. 前記画素変換部は、前記注目画素が含まれる前記分割した領域が、前記平坦領域の場合には、前記各推定画素値を補正画素値とする、
   請求項１記載の画像処理装置。
6. ｎ個の画素からなる１枚の基準フレームの前記各画素の画素値に基づく内挿処理によって、ｍ個（但し、ｍ＞ｎである）の画素からなる仮画像の各画素の推定画素値を算出する画素値算出ステップと、
   前記基準フレームの各画素の画素値に基づいて、前記基準フレーム内を（１）エッジ領域とテクスチャ領域に分割するか、（２）前記エッジ領域と平坦領域に分割するか、（３）前記テクスチャ領域と前記平坦領域に分割するか、又は、（４）前記エッジ領域と前記テクスチャ領域と前記平坦領域に分割する分割ステップと、
   前記基準フレームの前記各画素を１つずつ注目画素として順次設定し、前記注目画素が含まれる前記分割した前記エッジ領域、前記テクスチャ領域、又は、前記平坦領域に関する情報に基づいて、前記各注目画素に対応する前記仮画像への対応位置を小数精度で算出する位置算出ステップと、
   前記注目画素の対応位置の周囲にある前記仮高解像度の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値を求める変換ステップと、
   前記補正画素値を有するｍ個の画素から構成される画像を出力する出力ステップと、
   を有する画像処理方法。
7. ｎ個の画素からなる１枚の基準フレームの前記各画素の画素値に基づく内挿処理によって、ｍ個（但し、ｍ＞ｎである）の画素からなる仮画像の各画素の推定画素値を算出する画素値算出機能と、
   前記基準フレームの各画素の画素値に基づいて、前記基準フレーム内を（１）エッジ領域とテクスチャ領域に分割するか、（２）前記エッジ領域と平坦領域に分割するか、（３）前記テクスチャ領域と前記平坦領域に分割するか、又は、（４）前記エッジ領域と前記テクスチャ領域と前記平坦領域に分割する分割部と、
   前記基準フレームの前記各画素を１つずつ注目画素として順次設定し、前記注目画素が含まれる前記分割した前記エッジ領域、前記テクスチャ領域、又は、前記平坦領域に関する情報に基づいて、前記各注目画素に対応する前記仮画像への対応位置を小数精度で算出する位置算出機能と、
   前記注目画素の対応位置の周囲にある前記仮高解像度の前記推定画素値から求めた前記注目画素の試算画素値と、前記注目画素の画素値との差分が小さくなるように、前記各推定画素値を補正して補正画素値を求める変換機能と、
   前記補正画素値を有するｍ個の画素から構成される画像を出力する出力機能と、
   をコンピュータに実現させるための画像処理プログラム。

Images