JP5397250B2 - 画像処理装置および画像処理方法 - Google Patents

Description

この発明は、画像処理装置および画像処理方法に関するものである。

ビデオカメラやデジタルスチルカメラ等の撮影機器の普及が進み、それらで撮影した映像を家庭用テレビ等の表示機器で再生表示したり、インターネットで手軽に映像を配信したりできるようになりつつある。ここで、撮影機器と表示機器では、一般に映像の解像度が異なることが多いため、多様な撮影機器で撮影した映像を多様な表示機器で表示する際には、映像の解像度を変換するアップコンバートやダウンコンバートを適用する必要がある。例えば、携帯電話カメラで撮影したＱＶＧＡサイズの映像をハイビジョンテレビで表示する際は、見やすい大きさで鑑賞するために、大幅なアップコンバートを行い、各フレームの画素数を増やす必要がある。

まず、映像をアップコンバートする一般的な方法として、オリジナル画素を拡大倍率の回数分繰り返しコピーする最近傍法、周辺画素間で線形補間して拡大する線形補間法、あるいは双三次補間法などの方法がある。しかし、これらのアップコンバート方法では、オリジナル映像が持つ空間周波数の範囲で拡大するため、拡大後の映像がぼけたり、エッジが太くなったりする弊害がある。

このようなアップコンバート方法に対して、オリジナル映像が持つ空間周波数を超える帯域を再現し高解像度のアップコンバート映像を生成する方法として超解像と呼ばれる処理がある。超解像処理は、大別して二次元超解像と三次元超解像に分けられる。二次元超解像では、オリジナル映像が目標とするサイズのアップコンバート後の映像を縮小して生成されていると仮定し、この縮小過程を定義し、オリジナル映像に対して逆変換を施すことでオリジナル映像の空間周波数を超える周波数帯の信号を推定しシャープなアップコンバート映像を得る。また、三次元超解像では、オリジナル映像フレームに隣接する複数のフレームから、オリジナルフレーム内には存在しない情報を参照及び補間することで、実際にオリジナルフレームの空間周波数を超える高解像度の映像を生成する（例えば、特許文献１）。

しかしながら、昨今では、ビデオカメラで高精細な静止画を撮影し、またデジタルスチルカメラでもハイビジョン品質の動画を撮影するニーズが高くなってきたことから、単一の撮影機器を用いて高精細な動画と高精細な静止画の両方を撮影できるものが主流になりつつある。

特開２００８−１４００１２

従来の画像処理装置では、単一の撮影機器を用いて高精細な動画と高精細な静止画の双方を撮影するために、撮影機器の光学系、イメージセンサと画像処理回路のすべてを高解像度化して構成する場合、装置が大型化すると共に高コスト化するという問題がある。

また、従来の画像処理装置では、低解像度の光学系、イメージセンサを用いると共に超解像処理で高解像度化を行う場合、静止画と動画双方の高解像度化のために二次元超解像と三次元超解像の双方を画像処理回路に搭載すると、画像処理回路が大規模化し高コスト化するという問題があった。

そのため、超解像処理を内蔵ソフトウェアで実装して低コスト化を図ることもできるが、１秒間に３０〜１２０フレームを処理しなければならない映像機器では処理速度（フレームレート）の要求を満たすことは困難であった。

この発明は、このような問題点を解決するためになされたものであり、二次元超解像処理と三次元超解像処理を行う装置や回路を低コストで提供することを目的とする。

この発明に係る画像処理装置は、低解像度入力画像を入力して超解像画像を出力するものであり、前記低解像度入力画像を第１の高解像度変換をして高解像度入力画像を生成する第１の高解像度変換部と、前記低解像度入力画像に基づいて生成される推定高解像度画像を低解像度変換して低解像度画像を生成する低解像度変換部と、前記低解像度画像と前記低解像度入力画像とから差分画像を生成する差分画像生成部と、前記差分画像から指標値を算出する指標値算出部と、前記差分画像を第２の高解像度変換をして差分高解像度画像を生成する第２の高解像度変換部と、前記差分高解像度画像と前記推定高解像度画像とから高解像度画像を生成する高解像度画像生成部と、前記第１の高解像度変換、前記第２の高解像度変換および前記低解像度変換で用いられる変換パラメータを前記指標値と所定のしきい値とを比較して修正し、前記推定高解像度画像を前記低解像度変換部および前記高解像度画像生成部に出力するか、超解像画像として出力して画像処理を終了するかを判定する制御部とを備え、前記低解像度変換部は、前記高解像度入力画像および前記高解像度画像を入力し、入力した前記高解像度入力画像および前記高解像度画像から１つを選択して前記推定高解像度画像とする。

この発明に係る画像処理装置によれば、二次元超解像処理と三次元超解像処理を行う装置や回路を低コストで提供することができる。

この発明の実施の形態１に係る画像処理方法の一例を示すフローチャートである。 この発明の実施の形態１に係る画像処理装置の一例を示すブロック構成図（二次元超解像モード）である。 この発明の実施の形態１に係る画像処理装置の一例を示すブロック構成図（三次元超解像モード）である。 この発明の実施の形態１に係る画像処理方法における高解像度変換、低解像度変換の定義の一例を示す説明図である。 この発明の実施の形態１に係る画像処理方法の一例を示すフローチャート（第１の部分変更例）である。 この発明の実施の形態１に係る画像処理方法の一例を示すフローチャート（第２の部分変更例）である。 この発明の実施の形態２に係る画像処理装置の一例を示すブロック構成図である。 この発明の実施の形態３に係る画像処理装置の一例を示すブロック構成図である。 この発明の実施の形態４に係る画像処理装置の一例を示すブロック構成図である。 この発明の実施の形態５に係る画像処理装置の動き検出部が検出した動き領域の一例を示す説明図である。 この発明の実施の形態５に係る画像処理装置の一例を示すブロック構成図である。 この発明の実施の形態５に係る画像処理方法における三次元超解像処理の一例を示すフローチャート（動き検出の部分変更例）である。 この発明の実施の形態６に係る画像処理装置の一例を示すブロック構成図である。 この発明の実施の形態６に係る画像処理方法における三次元超解像処理の一例を示すフローチャートである。 この発明の実施の形態７に係る画像処理装置の画像入力系の光軸中心からの距離とＭＴＦの関係を示す説明図である。 この発明の実施の形態７に係る画像処理装置の画像入力系の光軸中心からの距離と変換パラメータの修正係数の関係を示す説明図である。

この発明の画像処理装置および画像処理方法は、低解像度画像を高解像度化する超解像処理して高解像度画像を生成するものである。この発明の画像処理装置および画像処理方法では、二次元超解像処理と三次元超解像処理を超解像モードで指定して切り替えることで所望の超解像処理を行うことができる。超解像モードは、二次元超解像モードまたは三次元超解像モードで指定するものとする。

この発明の画像処理装置および画像処理方法による超解像処理は、共通のハードウェア構成で、二次元超解像処理と三次元超解像処理を切り替えて、一部異なる手順で動作させる制御を行うことで所望の超解像処理を実現する。以下、この発明の画像処理装置および画像処理方法による超解像処理について説明する。なお、この発明の画像処理装置および画像処理方法についての説明中、例えば画像番号ｎの低解像度入力画像をｆ（ｎ）のように表記するところ、具体的に画像番号ｎ＝１のような数値で番号が与えられるときには括弧を付さずｆ１と表記して説明するものとする。

実施の形態１．
この発明の実施の形態１では、二次元超解像処理および三次元超解像処理を行う画像処理装置および画像処理方法について説明する。

図１は、この発明の実施の形態１に係る画像処理方法の一例を示すフローチャートである。図において、ステップＳＴ２０１からステップＳＴ２０７は二次元超解像処理および三次元超解像処理を行う共通処理ステップ、ステップＳＴ２０７で分岐したステップＳＴ２０８からステップＳＴ２１４は二次元超解像処理を行う処理ステップ、またステップＳＴ３０２からステップＳＴ３１４は三次元超解像処理を行う処理ステップを示している。この図１のフローチャートでは、連続して入力される各低解像度入力画像に対応する超解像画像を繰り返し生成するループを含むものとなっている。以下、図１のフローチャートに基づいて、この発明の実施の形態１に係る二次元超解像処理および三次元超解像処理を行う画像処理方法を、次に説明する共通の画像処理装置の構成と対応付けて説明する。

図２および図３は、この発明の実施の形態１に係る画像処理装置の一例を示すブロック構成図である。この図２は、二次元超解像モード時において、画像番号ｎ＝１のときに二次元超解像処理を行う処理の状態、画像名を示したものである。また、図３は、図２とブロック構成は共通であるが、三次元超解像モード時において、画像番号ｎ＝１のときに三次元超解像処理を行う処理の状態、画像名を示したものである。図において、低解像度入力画像記憶部１１ａは、解像度の低い入力画像（以下、低解像度入力画像という）ｇ（ｎ）を記憶する。第１の高解像度変換部１２ａは、低解像度入力画像記憶部１１ａが記憶した低解像度入力画像ｇ（ｎ）を高解像度変換（Ｔ^−１）して高解像度入力画像を生成する。推定高解像度画像記憶部１３ａは、第１の高解像度変換部１２ａが生成した高解像度入力画像または高解像度画像ｆ’（ｎ）を推定高解像度画像ｆ（ｎ）として記憶する。低解像度変換部１４は、推定高解像度画像記憶部１３ａが記憶した推定高解像度画像ｆ（ｎ）を低解像度変換（Ｔ）して低解像度画像ｇ’（ｎ）を生成する。低解像度画像記憶部１５は、低解像度変換部１４が生成した低解像度画像ｇ’（ｎ）を記憶する。差分画像生成部（減算部）１６は、低解像度入力画像記憶部１１ａが記憶した低解像度入力画像ｇ（ｎ）と低解像度画像記憶部１５が記憶した低解像度画像ｇ’（ｎ）とから差分画像ｇ”（ｎ）を生成する。差分画像記憶部１７ａは、差分画像生成部（減算部）１６が生成した差分画像ｇ”（ｎ）を記憶する。指標値算出部１８は、低解像度入力画像記憶部１１ａが記憶した低解像度入力画像ｇ（ｎ）と低解像度画像記憶部１５が記憶した低解像度画像ｇ’（ｎ）とから指標値ｅを算出する。第２の高解像度変換部１９は、差分画像記憶部１７ａが記憶した差分画像ｇ”（ｎ）を高解像度変換（Ｔ^−１）して差分高解像度画像ｊ（ｎ）を生成する。差分高解像度画像記憶部２０は、第２の高解像度変換部１９が生成した差分高解像度画像ｊ（ｎ）を記憶する。高解像度画像生成部（加算部）２１は、推定高解像度画像記憶部１３ａが記憶した推定高解像度画像ｆ（ｎ）と差分高解像度画像記憶部２０が記憶した差分高解像度画像ｊ（ｎ）とから高解像度画像ｆ’（ｎ）を生成する。制御部（図示せず）は、推定高解像度画像記憶部１３ａが記憶した推定高解像度画像ｆ（ｎ）に基づいて高解像度画像生成部（加算部）２１に高解像度画像ｆ’（ｎ）を反復して生成させるか、または推定高解像度画像ｆ（ｎ）を超解像画像として出力して終了するかを制御する。

また、制御部は、指標値算出部１８が算出した指標値ｅに基づいて、第１の高解像度変換部１２ａ、第２の高解像度変換部１９の高解像度変換（Ｔ^−１）、低解像度変換部１４の低解像度変換（Ｔ）の変換定義（変換パラメータ）の更新を判断する。

ここで、低解像度入力画像記憶部１１ａは、低解像度入力画像を蓄積する蓄積部１１１ａと、蓄積部１１１ａが記憶した低解像度入力画像の出力先として第１の高解像度変換部１２ａ、差分画像生成部（減算部）１６のいずれかに切り替えるスイッチ（ＳＷａ）１１２ａを有する。また、推定高解像度画像記憶部１３ａは、推定高解像度画像を蓄積する蓄積部１３２と、蓄積部１３２に記憶させる推定高解像度画像の入力元として第１の高解像度変換部１２ａまたは高解像度画像生成部（加算部）２１のいずれかに切り替えるスイッチ（ＳＷｂ）１３１ａと、蓄積部１３２が記憶した推定高解像度画像の出力先として低解像度変換部１４、高解像度画像生成部（加算部）２１、装置の外部出力のいずれかに切り替えるスイッチ（ＳＷｃ）１３３ａを有する。制御部は、これらのスイッチによる画像の入力元や出力先を切り替えて処理経路を制御することで、所望の超解像処理を実行する。

最初に、この発明の実施の形態１に係る二次元超解像処理を行う画像処理装置および画像処理方法について、図１に示される画像処理方法のフローチャートを二次元超解像処理では図２、三次元超解像処理では図３に示される画像処理装置のブロック構成図と対応付けて説明する。

（１）二次元超解像処理および三次元超解像処理を行う共通処理ステップ
最初に、図１に示される画像処理方法のフローチャートにおける二次元超解像処理および三次元超解像処理を行う共通処理ステップであるステップＳＴ２０１からステップＳＴ２０７について説明する。ステップＳＴ２０１では、画像番号ｎおよび第１の高解像度変換部１２ａ、第２の高解像度変換部１９が行う高解像度変換（Ｔ^−１）、低解像度変換部１４が行う低解像度変換（Ｔ）の変換定義（変換パラメータ）を初期化する。例えば、画像番号ｎは初期値に１を設定する。

ステップＳＴ２０２では、その画像番号ｎの低解像度入力画像ｇ（ｎ）を低解像度入力画像記憶部１１ａに記憶する。

ステップＳＴ２０３では、低解像度入力画像ｇ（ｎ）を第１の高解像度変換部１２ａで高解像度変換（Ｔ^−１）を適用して高解像度入力画像を生成して、生成した高解像度入力画像を推定高解像度画像ｆ（ｎ）の初期画像として推定高解像度画像記憶部１３ａに記憶する。このとき、制御部は、スイッチ（ＳＷａ）１１２ａ、スイッチ（ＳＷｂ）１３１ａを制御して画像データの経路を確保して記憶させる。

第１の高解像度変換部１２ａにおける高解像度変換（Ｔ^−１）は、例えば特許文献１に記載の逆投影法を用いることができ、推定高解像度画像ｆ（ｎ）を生成する算式は次の（式１）のように表せる。ここで、ｐは逆投影カーネルと呼ばれるパラメータを表し、（式１）における"×"はコンボリュージョン（畳み込み）演算子を表す。

なお、この発明の実施の形態１では、超解像処理方式として逆投影法およびその正変換となる投映法を用いる場合について示したが、その限りでなく、例えばＬＲ法（Lucy-Richardson法）や条件確率を用いるベイズ法など、一般的な超解像処理方式を用いてもよい。

ステップＳＴ２０４では、推定高解像度画像ｆ（ｎ）を低解像度変換部１４で低解像度変換（Ｔ）を適用して低解像度画像ｇ’（ｎ）を生成して低解像度画像記憶部１５に記憶する。このとき、制御部は、スイッチ（ＳＷｃ）１３３ａを制御して画像データの経路を確保して記憶させる。低解像度変換部１４における低解像度変換（Ｔ）は、第１の高解像度変換部１２ａにおける高解像度変換（Ｔ^−１）に対する正変換とし、例えば特許文献１に記載の逆投影法の正変換となる投映法を用いることができ、低解像度画像ｇ’（ｎ）を生成する算式は次の（式２）のように表せる。ここで、ｈは、カメラの光学系におけるボケ過程を表し、例えば点広がり関数やガウス関数などを用いることができる。

ステップＳＴ２０５では、低解像度画像ｇ’（ｎ）を低解像度入力画像ｇ（ｎ）から減算器（差分画像生成部）１６で減じて差分画像ｇ”（ｎ）を生成して差分画像記憶部１７ａに記憶する。このとき、制御部は、スイッチ（ＳＷａ）１１２ａを制御して画像データの経路を確保して記憶させる。差分画像ｇ”（ｎ）を生成する算式は、次の（式３）のように表せる。

ステップＳＴ２０６では、低解像度入力画像ｇ（ｎ）と低解像度画像ｇ’（ｎ）に対して所定の指標値ｅを算出し、これらの画像の類似度（相関性）を定量化する。指標値ｅとしては、例えば差分絶対値和であれば、次の（式４）のように表せる。次式中、低解像度画像のサイズをＵ×Ｖとしてｕ、ｖは座標を表し、画像番号ｎはの表記は省略している。

なお、この発明の実施の形態１では、指標値として差分絶対値和を用いる場合について説明したため、図２のブロック構成図では差分画像ｇ”（ｎ）から指標値を算出するように示しているが、低解像度入力画像ｇ（ｎ）と低解像度画像ｇ’（ｎ）から指標値を算出する指標値算出部１８としても構わない。また、指標値は差分絶対値和に限らず、差分二乗和、最小二乗法やＰＳＮＲ（Peak Signal-to-Noise Ratio）など、２枚の画像の差を定量化できる一般的な指標値を用いてもよい。

ステップＳＴ２０７では、超解像モードの指定が二次元超解像モードか否かを判定する。二次元超解像モードが指定されている（Ｙｅｓ）とき、ステップＳＴ２０８からステップＳＴ２１４の二次元超解像処理に進む。一方、二次元超解像モードが指定されていない（三次元超解像モードが指定されている）（Ｎｏ）とき、ステップＳＴ３０２からステップＳＴ３１４の三次元超解像処理に進む。このとき、制御部は、二次元超解像モードが指定されているならば、二次元超解像処理に進み、また三次元超解像モードが指定されているならば、三次元超解像処理に進むように制御する。

（２）二次元超解像処理を行う処理ステップ
次に、図１に示される画像処理方法のフローチャートにおける二次元超解像処理および三次元超解像処理を行う共通処理ステップであるステップＳＴ２０１からステップＳＴ２０７に続いて、ステップＳＴ２０７以降の二次元超解像処理を行う処理ステップであるステップＳＴ２０８からステップＳＴ２１４について説明する。

ステップＳＴ２０８では、差分画像ｇ”（ｎ）を第２の高解像度変換部１９で高解像度変換（Ｔ^−１）を適用して差分高解像度画像ｊ（ｎ）を生成して差分高解像度画像記憶部２０に記憶する。差分高解像度画像ｊ（ｎ）を生成する算式は、次の（式５）のように表せる。ここで、ｐは（式１）の高解像度変換（Ｔ^−１）の演算で説明したパラメータである。

ステップＳＴ２０９では、差分高解像度画像ｊ（ｎ）を推定高解像度画像ｆ（ｎ）に加算器（高解像度画像生成部）２１で加えて高解像度画像ｆ’（ｎ）を生成し、推定高解像度画像ｆ（ｎ）として推定高解像度画像記憶部１３ａに再記憶して更新する。このとき、制御部は、スイッチ（ＳＷｃ）１３３ａ、スイッチ（ＳＷｂ）１３１ａを制御して画像データの経路を確保して更新させる。先に記憶された推定高解像度画像ｆ（ｎ）は、高解像度画像ｆ’（ｎ）で推定高解像度画像記憶部１３ａに上書きされる。高解像度画像ｆ’（ｎ）を生成する算式は、次の（式６）のように表せる。

ステップＳＴ２１０では、ステップＳＴ２０６で算出した指標値ｅが所定の収束条件を満たすか否かによって類似度を判定する。ここで、所定の収束条件は、例えば指標値ｅが所定のしきい値以下になるか否かとする。すなわち、指標値ｅが所定のしきい値以下となり、所定の収束条件を満足している（Ｙｅｓ）と判定された場合は、ステップＳＴ２１２に進み、所定の収束条件を満足していない（Ｎｏ）と判定された場合は、ステップＳＴ２１１に進む。このとき、制御部は、指標値ｅを参照し、所定の収束条件を満たしているか否かによって、高解像度変換（Ｔ^−１）、低解像度変換（Ｔ）の変換定義（変換パラメータ）の適正を判定する。

指標値ｅが所定の収束条件を満足していないとステップＳＴ２１０で判定された場合は、まだ十分な超解像効果が得られていないものとして、ステップＳＴ２１１で、第１の高解像度変換部１２ａ、第２の高解像度変換部１９が行う高解像度変換（Ｔ^−１）、低解像度変換部１４が行う低解像度変換（Ｔ）の変換定義（変換パラメータ）を修正する。なお、指標値ｅが所定のしきい値以下となり、所定の収束条件を満たしていると判定した場合は、第１の高解像度変換部１２ａ、第２の高解像度変換部１９が行う高解像度変換（Ｔ^−１）、低解像度変換部１４が行う低解像度変換（Ｔ）の変換定義（変換パラメータ）を修正しないものとする。このように、ステップＳＴ２１１で高解像度変換および低解像度変換の変換定義（変換パラメータ）を更新した後、二次元超解像処理のステップＳＴ２０２からステップＳＴ２１０の処理ステップを指標値ｅが所定の収束条件を満足するまで低解像度入力画像ｇ（ｎ）に対する二次元超解像処理を反復して継続する。

ここで、高解像度変換（Ｔ^−１）、低解像度変換（Ｔ）の定義について説明する。図４は、この発明の実施の形態１に係る画像処理方法における高解像度変換（Ｔ^−１）、低解像度変換（Ｔ）の定義の一例を示す説明図である。ここでは、画像番号ｎ＝１として説明する。図に示すように、例えば、低解像度変換Ｔは点広がり関数で定義できる。（ａ）は推定高解像度画像ｆ１においてインパルス信号が存在する様子を示している。また、（ｂ）は低解像度入力画像ｇ１で観察されるインパルス応答を示している。このステップＳＴ２０８における変換定義の修正は、例えば低解像度変換Ｔがこの点広がり関数として定義される場合、（ｂ）のインパルス応答として標準偏差σとする±３σに対して、より広範囲な分布状態に広げるか、より狭い範囲の分布状態に狭めることで行う。標準偏差σは、分布の９０%以上をカバーする分布範囲を示す。よって、低解像度変換Ｔの定義をより広範囲な分布状態に広げるように修正することで、対応する高解像度変換Ｔ^−１の定義はより補正をより強めるように修正される。また、低解像度変換Ｔの定義をより狭い範囲の分布状態に狭めるように修正することで、対応する高解像度変換Ｔ^−１の定義は補正をより弱めるように修正される。

また、指標値ｅが所定の収束条件を満足しているとステップＳＴ２１０で判定された場合は、十分な超解像効果が得られているものとして、ステップＳＴ２１２で、推定高解像度画像記憶部１３ａに記憶された推定高解像度画像ｆ（ｎ）を超解像画像（二次元超解像画像）として出力する。二次元超解像画像を出力することで、低解像度入力画像ｇ（ｎ）に対する二次元超解像処理を終了となる。このとき、制御部は、スイッチ（ＳＷｃ）１３３ａを制御して画像データの経路を確保して出力させる。

ステップＳＴ２１３では、低解像度入力画像ｇ（ｎ）以降の画像があるか判定し、続く画像があって終了しない（Ｎｏ）ならば、ステップＳＴ２１４に進み、続く画像がなく終了する（Ｙｅｓ）ならば、二次元超解像処理を終了する。このとき、制御部は、低解像度入力画像ｇ（ｎ）以降の画像があるか判定して二次元超解像処理を継続または終了させる。

ステップＳＴ２１４では、画像番号ｎを更新する。画像番号ｎを更新した後、新しい低解像度入力画像ｇ（ｎ）に対する二次元超解像処理をステップＳＴ２０２から開始する。

このように図１のステップＳＴ２０１からステップＳＴ２１４の処理ステップを実行することにより、低解像度入力画像ｇ１、ｇ２、…から二次元超解像画像ｆ１、ｆ２、…を生成することができる。

なお、この発明の実施の形態１では、ステップＳＴ２１０の二次元超解像処理の収束条件判定において、指標値ｅにより収束したか否かを判定し、この判定を二次元超解像処理における第１の高解像度変換部１２ａ、第２の高解像度変換部１９が行う高解像度変換（Ｔ^−１）、低解像度変換部１４が行う低解像度変換（Ｔ）の変換定義（変換パラメータ）の修正処理の要否判定と、低解像度入力画像ｇ（ｎ）の二次元超解像処理の反復処理の終了判定と兼用するものとしたが、この限りでない。例えば、図５および図６は、この発明の実施の形態１に係る画像処理方法の一例を示すフローチャート（第１、第２の部分変更例）である。図１のステップＳＴ２１０およびステップＳＴ２１１の部分において、図５に示すように、指標値ｅをステップＳＴ２１１の高解像度変換および低解像度変換の変換定義（変換パラメータ）の修正処理の要否判定のみに用い、追加したステップＳＴ２１５で、低解像度入力画像ｇ（ｎ）の二次元超解像処理の反復処理の終了判定として、反復回数を計数することで、所定回数だけ反復処理したか否かで判定してもよい。また、図６に示すように、図５に対して、ステップＳＴ２１０の二次元超解像処理の収束条件判定において、指標値ｅが収束した場合（Ｙｅｓ）に、低解像度入力画像ｇ（ｎ）の二次元超解像処理の反復処理が所定回数に満たなくても終了できるように、ステップＳＴ２１５でなく、ステップＳＴ２１２に進むようにしてもよい。

（３）三次元超解像処理を行う処理ステップ
また、図１に示される画像処理方法のフローチャートにおける二次元超解像処理および三次元超解像処理を行う共通処理ステップであるステップＳＴ２０１からステップＳＴ２０７に続いて、ステップＳＴ２０７以降の三次元超解像処理を行う処理ステップであるステップＳＴ３０２からステップＳＴ３１４について説明する。

ステップＳＴ３０２では、画像番号ｎの低解像度入力画像ｇ（ｎ）に対するステップＳＴ２０２と同様に、その画像番号（ｎ＋１）の低解像度入力画像ｇ（ｎ＋１）を低解像度入力画像記憶部１１ａに記憶する。先にステップＳＴ２０２で記憶された低解像度入力画像ｇ（ｎ）は、低解像度入力画像ｇ（ｎ＋１）で低解像度入力画像記憶部１１ａに上書きされる。

ステップＳＴ３０３では、画像番号ｎの推定高解像度画像ｆ（ｎ）に対するステップＳＴ２０３と同様に、低解像度入力画像ｇ（ｎ＋１）を第１の高解像度変換部１２ａで高解像度変換（Ｔ^−１）を適用して高解像度入力画像を生成して、生成した高解像度入力画像を推定高解像度画像ｆ（ｎ＋１）の初期画像として推定高解像度画像記憶部１３ａに記憶する。このとき、制御部は、スイッチ（ＳＷａ）１１２ａ、スイッチ（ＳＷｂ）１３１ａを制御して画像データの経路を確保して記憶させる。先にステップＳＴ２０３で記憶された推定高解像度画像ｆ（ｎ）は、推定高解像度画像ｆ（ｎ＋１）で推定高解像度画像記憶部１３ａに上書きされる。

ステップＳＴ３０８では、画像番号ｎの差分高解像度画像ｊ（ｎ）に対するステップＳＴ２０８と同様に、差分画像ｇ”（ｎ）を第２の高解像度変換部１９で高解像度変換（Ｔ^−１）を適用して差分高解像度画像ｊ（ｎ）を生成して差分高解像度画像記憶部２０に記憶する。

ステップＳＴ３０９では、差分高解像度画像ｊ（ｎ）を推定高解像度画像ｆ（ｎ＋１）に加算器（高解像度画像生成部）２１で加えて高解像度画像ｆ’（ｎ＋１）を生成し、推定高解像度画像ｆ（ｎ＋１）として推定高解像度画像記憶部１３ａに再記憶して更新する。このとき、制御部は、スイッチ（ＳＷｃ）１３３ａ、スイッチ（ＳＷｂ）１３１ａを制御して画像データの経路を確保して更新させる。先にステップＳＴ３０３で記憶された推定高解像度画像ｆ（ｎ＋１）は、高解像度画像ｆ’（ｎ＋１）で推定高解像度画像記憶部１３ａに上書きされる。高解像度画像ｆ’（ｎ＋１）を生成する算式は、次の（式７）のように表せる。

ステップＳＴ３１０では、ステップＳＴ２１０と同様に、ステップＳＴ２０６で算出した指標値ｅが所定の収束条件を満たすか否かによって類似度を判定する。ここで、所定の収束条件は、例えば指標値ｅが所定のしきい値以下になるか否かとする。すなわち、指標値ｅが所定のしきい値以下となり、所定の収束条件を満足している（Ｙｅｓ）と判定された場合は、ステップＳＴ３１２に進み、所定の収束条件を満足していない（Ｎｏ）と判定された場合は、ステップＳＴ３１１に進む。このとき、制御部は、指標値ｅを参照し、所定の収束条件を満たしているか否かによって、高解像度変換（Ｔ^−１）、低解像度変換（Ｔ）の変換定義（変換パラメータ）の適正を判定する。

指標値ｅが所定の収束条件を満足していないとステップＳＴ３１０で判定された場合は、まだ十分な超解像効果が得られていないものとして、ステップＳＴ３１１で、ステップＳＴ２１１と同様に、第１の高解像度変換部１２ａ、第２の高解像度変換部１９が行う高解像度変換（Ｔ^−１）、低解像度変換部１４が行う低解像度変換（Ｔ）の変換定義（変換パラメータ）を修正する。なお、指標値ｅが所定のしきい値以下となり、所定の収束条件を満たしていると判定した場合は、第１の高解像度変換部１２ａ、第２の高解像度変換部１９が行う高解像度変換（Ｔ^−１）、低解像度変換部１４が行う低解像度変換（Ｔ）の変換定義（変換パラメータ）を修正しないものとする。なお、三次元超解像処理では、二次元超解像処理のように反復処理せず、指標値ｅが所定の収束条件を満たすか否かに関わらず、ステップＳＴ３１２に進む。

ステップＳＴ３１２では、推定高解像度画像記憶部１３ａに記憶された推定高解像度画像ｆ（ｎ＋１）を超解像画像（三次元超解像画像）として出力する。三次元超解像画像を出力することで、低解像度入力画像ｇ（ｎ）に対する三次元超解像処理を終了となる。このとき、制御部は、スイッチ（ＳＷｃ）１３３ａを制御して画像データの経路を確保して出力させる。

ステップＳＴ３１３では、低解像度入力画像ｇ（ｎ＋１）以降の画像があるか判定し、続く画像があって終了しない（Ｎｏ）ならば、ステップＳＴ３１４に進み、続く画像がなく終了する（Ｙｅｓ）ならば、三次元超解像処理を終了する。このとき、制御部は、低解像度入力画像ｇ（ｎ＋１）以降の画像があるか判定して三次元超解像処理を継続または終了させる。

ステップＳＴ３１４では、画像番号ｎを更新する。画像番号ｎを更新した後、新しい低解像度入力画像ｇ（ｎ）に対する三次元超解像処理をステップＳＴ２０２から開始する。

このように図１のステップＳＴ２０１からステップＳＴ２０７、およびステップＳＴ３０２からステップＳＴ３１４の処理ステップを実行することにより、低解像度入力画像ｇ１、ｇ２、…から三次元超解像画像ｆ２、ｆ３、…を生成することができる。

なお、この発明の実施の形態１では、二次元超解像処理または三次元超解像処理の終了を判定して終了でないときに、画像番号ｎを更新してそれまでに修正された変換定義（変換パラメータ）をそのまま適用して二次元超解像処理または三次元超解像処理を繰り返す場合について示したが、この限りでなく、低解像度入力画像ｇ（ｎ）ごとに変換定義を最初に再初期化してもよい。

また、この発明の実施の形態１では、ステップＳＴ２０６の指標値ｅの算出をステップＳＴ２０５の低解像度入力画像ｇ（ｎ）と低解像度画像ｇ’（ｎ）の差分を算出する差分画像ｇ”（ｎ）の生成の直後（または同時）に行うように示しているが、指標値ｅを差分画像ｇ”（ｎ）から算出するのであれば、差分画像ｇ”（ｎ）が維持されている限り、低解像度入力画像ｇ（ｎ）と低解像度画像ｇ’（ｎ）が更新されても影響がないので、現状の図１の処理位置から指標値ｅから収束条件を判定するステップＳＴ２１０およびステップＳＴ３１０の前までのどの位置で算出してもよい。

また、この発明の実施の形態１では、指標値ｅから収束条件の判定と変換定義の修正を二次元超解像画像ｆ（ｎ）または三次元超解像画像ｆ（ｎ＋１）の出力直前に行うように示しているが、二次元超解像処理では終了判定を別途行うようにすれば、三次元超解像処理ともに、指標値ｅ算出以降であれば現状の図１の処理位置までのどの位置で判定して変換定義の修正するようにしてもよい。

また、この発明の実施の形態１では、三次元超解像処理におけるステップＳＴ３０２の低解像度入力画像ｇ（ｎ＋１）の蓄積は、低解像度入力画像ｇ（ｎ）を参照するステップＳＴ２０５の差分画像ｇ”（ｎ）の生成以降であれば、ステップＳＴ３０３の推定高解像度画像ｆ（ｎ＋１）の蓄積で制約される推定高解像度画像ｆ（ｎ）の蓄積を参照するステップＳＴ２０４の低解像度画像ｇ’（ｎ）の生成以降となるので、現状の図１の処理位置までのどの位置で行ってもよい。

このように、この発明の実施の形態１の画像処理方法では、図１に示されるように、二次元超解像処理と三次元超解像処理は、ステップＳＴ２０７以降の共通処理ステップでない処理ステップでも、図２および図３の画像処理装置の高解像度画像生成部（加算部）２１に入力する画像を切り替えた高解像度画像ｆ’（ｎ）またはｆ’（ｎ＋１）を生成と、反復処理の有無の違いはあるが、特別に異なる処理部を必要としないので、同一構成の画像処理装置で実現することができることは明らかである。

また、この発明の実施の形態１の画像処理装置では、図１に示される画像処理方法の各処理を画像データの参照や更新に制約がない限り、パイプラインを組んで並列処理することができることは明らかである。

以上のように、この発明の実施の形態１に係る画像処理装置および画像処理方法によれば、二次元超解像処理と三次元超解像処理を同一の構成で、二次元超解像処理または三次元超解像処理を実行するように制御することで、低解像度の入力画像を超解像処理した二次元超解像画像または三次元超解像画像を生成することができる。

また、この発明の実施の形態１に係る画像処理装置および画像処理方法によれば、二次元超解像処理と三次元超解像処理の回路を個別に設ける必要がないため、装置規模や回路規模の削減、低コスト化を図ることができる。

また、この発明の実施の形態１に係る画像処理装置および画像処理方法によれば、三次元超解像処理を現低解像度入力画像の参照が終了した時点で、次低解像度入力画像の処理を開始できるので、効率的にパイプラインを構成して三次元超解像処理することができ、フレーム間処理のタイムラグを最小にすることが可能となり、動画処理時のフレームレートを維持できる。

実施の形態２．
この発明の実施の形態２では、この発明の実施の形態１と異なる装置構成で、二次元超解像処理および三次元超解像処理を行う画像処理装置および画像処理方法について説明する。

最初に、三次元超解像処理を行う画像処理装置および画像処理方法として動作する場合について説明する。

図７は、この発明の実施の形態２に係る画像処理装置の一例を示すブロック構成図である。図７のブロック構成図は、この発明の実施の形態１に係る三次元超解像処理を行う画像処理装置の一例を示すブロック構成図である図３に対し、低解像度入力画像記憶部１１ａの蓄積部１１４ａ、推定高解像度画像記憶部１３ａの蓄積部１３４の追加と、それに伴うスイッチ（ＳＷｄ）１１３の追加およびスイッチ（ＳＷａ）１１２ｂ、スイッチ（ＳＷｂ）１３１ｂ、スイッチ（ＳＷｃ）１３３ｂの入出力数の変更をしたものである。その他の処理ブロックは、この発明の実施の形態１に係る画像処理装置の一例を示すブロック構成図である図３に同一番号を付した処理ブロックと同様である。

図７において、低解像度入力画像記憶部１１ａのスイッチ１１３は、入力される低解像度入力画像を蓄積部１１１ａ、１１４ａに振り分ける。蓄積部１１４ａは、低解像度入力画像ｇ（ｎ＋１）を記憶する。スイッチ１１２ｂは、蓄積部１１１ａに蓄積された低解像度入力画像ｇ（ｎ）、蓄積部１１４ａに蓄積された低解像度入力画像ｇ（ｎ＋１）を第１の高解像度変換部１２ａまたは差分画像生成部（減算部）１６に出力する。このスイッチ１１２ｂは、１入力１出力で単一で転送動作しても、例えば差分画像ｇ”（ｎ）の生成のために差分画像生成部（減算部）１６に低解像度入力画像ｇ（ｎ）を参照させながら、同時に低解像度入力画像ｇ（ｎ＋１）を第１の高解像度変換部１２ａに送る２入力２出力で同時に転送動作しても構わない。推定高解像度画像記憶部１３ａのスイッチ１３１ｂは、高解像度入力画像と高解像度画像を蓄積部１３２、１３４に振り分ける。このスイッチ１３１ｂは、例えば高解像度画像ｆ’（ｎ）を蓄積部１３２に送りながら、同時に高解像度入力画像ｆ（ｎ＋１）を蓄積部１３４に送ることができる。蓄積部１３４は、推定高解像度画像ｆ（ｎ＋１）を記憶する。スイッチ１３３ｂは、蓄積部１３２、１３４に蓄積された推定高解像度画像ｆ（ｎ）、ｆ（ｎ＋１）を低解像度変換部１４、高解像度画像生成部（加算部）２１または差分画像生成部（減算部）１６に出力する。このスイッチ１３３ｂは、１入力１出力で単一で転送動作しても、例えば推定高解像度画像ｆ（ｎ）を低解像度変換部１４に送りながら、同時に推定高解像度入力画像ｆ（ｎ＋１）を外部に送る２入力２出力で同時に転送動作しても構わない。このとき、制御部は、スイッチ（ＳＷｄ）１１３、スイッチ（ＳＷａ）１１２ｂ、スイッチ（ＳＷｂ）１３１ｂおよびスイッチ（ＳＷｃ）１３３ｂを制御して画像データの経路を確保して出力させる。

三次元超解像処理を行う画像処理装置および画像処理方法としての動作は、図１のフローチャートにおいて、三次元超解像モードが選択された場合に対応し、この発明の実施の形態１に係る画像処理方法における三次元超解像処理と同様に説明できる。

なお、連続して画像を三次元超解像処理する場合、低解像度入力画像記憶部１１ａに入力される低解像度入力画像ｇ（ｎ）は、例えば蓄積部１１１ａ、１１３に交互に振り分けて、画像番号ｎを更新していくことで、画像番号ｎ、ｎ＋１の低解像度入力画像ｇ（ｎ）、ｇ（ｎ＋１）の相対関係を保ち続ける。

この発明の実施の形態２に係る画像処理装置の三次元超解像処理がこの発明の実施の形態１に係る画像処理装置の三次元超解像処理と相違する点は、低解像度入力画像記憶部１１ａに低解像度入力画像ｇ（ｎ＋１）、推定高解像度画像記憶部１３ａに推定高解像度画像ｆ（ｎ＋１）に各生成時に、低解像度入力画像ｇ（ｎ）、推定高解像度画像ｆ（ｎ）に上書きしなくてよいため、低解像度入力画像ｇ（ｎ）を参照する差分画像ｇ”（ｎ）の生成を待たずに低解像度入力画像ｇ（ｎ＋１）を開始できることである。低解像度入力画像ｇ（ｎ＋１）の開始を早めることで、以降の処理もこの発明の実施の形態１に係る画像処理装置の三次元超解像処理よりも早めることができ、三次元超解像処理の効率が向上する。

次に、二次元超解像処理を行う画像処理装置および画像処理方法として動作する場合について説明する。

図７のブロック構成図は、この発明の実施の形態１に係る二次元超解像処理を行う画像処理装置の一例を示すブロック構成図である図２に対しても図３に対するのと同様に、低解像度入力画像記憶部１１ａの蓄積部１１４ａ、推定高解像度画像記憶部１３ａの蓄積部１３４の追加と、それに伴うスイッチ（ＳＷｄ）１１３の追加およびスイッチ（ＳＷａ）１１２ｂ、スイッチ（ＳＷｂ）１３１ｂ、スイッチ（ＳＷｃ）１３３ｂの入出力数の変更をしたものである。その他の処理ブロックは、この発明の実施の形態１に係る画像処理装置の一例を示すブロック構成図である図２に同一番号を付した処理ブロックと同様である。

二次元超解像処理を行う画像処理装置および画像処理方法としての動作は、図１のフローチャートにおいて、二次元超解像モードが選択された場合に対応し、この発明の実施の形態１に係る画像処理方法における二次元超解像処理と同様に説明できる。

ここで、この発明の実施の形態２に係る画像処理装置の一例を示すブロック構成図である図７の構成において、この発明の実施の形態１の図２に対して追加した低解像度入力画像記憶部１１ａの蓄積部１１４ａ、推定高解像度画像記憶部１３ａの蓄積部１３４を使用しないようにすることで、この発明の実施の形態１と同様の二次元超解像処理を説明できることはいうまでもない。また、低解像度入力画像記憶部１１ａの蓄積部１１１ａ、１１４ａ、推定高解像度画像記憶部１３ａの蓄積部１３２、１３４を例えばそれぞれ交互に両方を使用して二次元超解像処理を実行してもよい。

また、低解像度入力画像記憶部１１ａの蓄積部１１４ａ、推定高解像度画像記憶部１３ａの蓄積部１３４を使用して、独立した低解像度入力画像の二次元超解像処理を三次元超解像処理と同様にパイプラインを構成して処理ブロックの使用が重ならないように効率よく並行して実行することも可能となる。

このように、この発明の実施の形態２に係る画像処理装置および画像処理方法によれば、この発明の実施の形態１と同様に、二次元超解像処理と三次元超解像処理を同一の構成で、二次元超解像処理または三次元超解像処理を実行するように制御することで、低解像度の入力画像を超解像処理した所望の二次元超解像画像または三次元超解像画像を生成することができる。

また、この発明の実施の形態２に係る画像処理装置および画像処理方法によれば、この発明の実施の形態１と同様に、二次元超解像処理と三次元超解像処理の回路を個別に設ける必要がないため、装置規模や回路規模の削減、低コスト化を図ることができる。

また、この発明の実施の形態２に係る画像処理装置および画像処理方法によれば、三次元超解像処理を現低解像度入力画像の参照が終了する前に、次低解像度入力画像の処理を開始できるので、より効率的にパイプラインを構成して三次元超解像処理することができ、フレーム間処理のタイムラグを最小にすることが可能となり、動画処理時のフレームレートを維持できる。

また、この発明の実施の形態２に係る画像処理装置および画像処理方法によれば、二次元超解像処理を現低解像度入力画像の参照が終了する前に、次低解像度入力画像の処理を開始できるので、処理ブロックの使用が重ならないようにしさえすれば、より効率的にパイプラインを構成して並行して二次元超解像処理することができ、処理時間の短縮を図ることができる。

実施の形態３．
この発明の実施の形態３では、この発明の実施の形態１および実施の形態２と異なる装置構成で、二次元超解像処理および三次元超解像処理を行う画像処理装置および画像処理方法について説明する。

図８は、この発明の実施の形態３に係る画像処理装置の一例を示すブロック構成図である。図８のブロック構成図は、この発明の実施の形態１に係る画像処理装置の一例を示すブロック構成図である図２および図３に対し、第１の高解像度変換部１２ａと第２の高解像度変換部１９を共通化した高解像度変換部１２ｂに、共通化して統合した高解像度変換部１２２、この高解像度変換部１２２の入力元を切り替えるスイッチ（ＳＷｐ）１２１と出力先を切り替えるスイッチ（ＳＷｑ）１２３を設けたものである。その他の処理ブロックは、この発明の実施の形態１に係る画像処理装置の一例を示すブロック構成図である図２および図３に同一番号を付した処理ブロックと同様である。

図８において、高解像度変換部１２ｂは、スイッチ（ＳＷｐ）１２１、高解像度変換部１２２、スイッチ（ＳＷｑ）１２３を有する。スイッチ（ＳＷｐ）１２１は、低解像度入力画像記憶部１１ａが記憶する低解像度入力画像ｇ（ｎ）と差分画像記憶部１７ａが記憶する差分画像ｇ”（ｎ）を入力として、低解像度入力画像ｇ（ｎ）または差分画像ｇ”（ｎ）を出力する。高解像度変換部１２２は、スイッチ（ＳＷｐ）１２１が出力する低解像度入力画像ｇ（ｎ）または差分画像ｇ”（ｎ）を高解像度変換して出力する。スイッチ（ＳＷｑ）１２３は、高解像度変換部１２２が低解像度入力画像ｇ（ｎ）を高解像度変換した高解像度入力画像を推定高解像度画像記憶部１３ａに出力するとともに、高解像度変換部１２２が低解像度入力画像ｇ（ｎ）を高解像度変換した差分高解像度画像ｊ（ｎ）を差分高解像度画像記憶部２０に出力する。このとき、制御部は、スイッチ（ＳＷｐ）１２１およびスイッチ（ＳＷｑ）１２３を制御して画像データの経路を確保して出力させる。

二次元超解像処理または三次元超解像処理を行う画像処理装置および画像処理方法として動作する場合については、いずれも図１のフローチャートにおけるこの発明の実施の形態１に係る画像処理方法における二次元超解像処理または三次元超解像処理の動作と同様に説明できる。

この発明の実施の形態３に係る画像処理装置の二次元超解像処理および三次元超解像処理がこの発明の実施の形態１に係る画像処理装置の二次元超解像処理および三次元超解像処理と相違する点は、図８の高解像度変換部１２ｂに、この発明の実施の形態１の図２および図３における第１の高解像度変換部１２ａと第２の高解像度変換部１９を共通化して統合することで、１つの高解像度変換部で構成できることである。２つの高解像度変換部を共通化して１つの高解像度変換部に統合することで、装置規模、回路規模を小さくでき、低コスト化を図ることが可能となる。

このように、この発明の実施の形態３に係る画像処理装置および画像処理方法によれば、この発明の実施の形態１および実施の形態２と同様に、二次元超解像処理と三次元超解像処理を同一の構成で、二次元超解像処理または三次元超解像処理を実行するように制御することで、低解像度の入力画像を超解像処理した所望の二次元超解像画像または三次元超解像画像を生成することができる。

また、この発明の実施の形態３に係る画像処理装置および画像処理方法によれば、この発明の実施の形態１および実施の形態２と同様に、二次元超解像処理と三次元超解像処理の回路を個別に設ける必要がないため、装置規模や回路規模の削減、低コスト化を図ることができる。

また、この発明の実施の形態３に係る画像処理装置および画像処理方法によれば、２つの高解像度変換部を共通化して１つの高解像度変換部に統合することで、装置規模、回路規模をより小さくでき、低コスト化を図れる。

また、この発明の実施の形態３に係る画像処理装置および画像処理方法によれば、この発明の実施の形態１と同様に、三次元超解像処理を現低解像度入力画像の参照が終了した時点で、次低解像度入力画像の処理を開始できるので、効率的にパイプラインを構成して三次元超解像処理することができ、フレーム間処理のタイムラグを最小にすることが可能となり、動画処理時のフレームレートを維持できる。

実施の形態４．
この発明の実施の形態４では、この発明の実施の形態１ないし実施の形態３と異なる装置構成で、二次元超解像処理および三次元超解像処理を行う画像処理装置および画像処理方法について説明する。

図９は、この発明の実施の形態４に係る画像処理装置の一例を示すブロック構成図である。図９のブロック構成図は、この発明の実施の形態３に係る画像処理装置の一例を示すブロック構成図である図８に対する低解像度入力画像記憶部１１ａ、推定高解像度画像記憶部１３ａをこの発明の実施の形態２に係る画像処理装置の一例を示すブロック構成図である図７に対する低解像度入力画像記憶部１１ｂ、推定高解像度画像記憶部１３ｂに置き換えたものである。各処理ブロックは、この発明の実施の形態２および３に係る画像処理装置の一例を示すブロック構成図である図７および図８に同一番号を付した処理ブロックと同様である。

二次元超解像処理または三次元超解像処理を行う画像処理装置および画像処理方法として動作する場合については、いずれも図１のフローチャートにおけるこの発明の実施の形態１に係る画像処理方法における二次元超解像処理または三次元超解像処理の動作と同様に説明できる。

このように、この発明の実施の形態４に係る画像処理装置および画像処理方法によれば、この発明の実施の形態１ないし実施の形態３と同様に、二次元超解像処理と三次元超解像処理を同一の構成で、二次元超解像処理または三次元超解像処理を実行するように制御することで、低解像度の入力画像を超解像処理した所望の二次元超解像画像または三次元超解像画像を生成することができる。

また、この発明の実施の形態４に係る画像処理装置および画像処理方法によれば、この発明の実施の形態１ないし実施の形態３と同様に、二次元超解像処理と三次元超解像処理の回路を個別に設ける必要がないため、装置規模や回路規模の削減、低コスト化を図ることができる。

また、この発明の実施の形態４に係る画像処理装置および画像処理方法によれば、この発明の実施の形態３と同様に、２つの高解像度変換部を共通化して１つの高解像度変換部に統合することで、装置規模、回路規模をより小さくでき、低コスト化を図れる。

また、この発明の実施の形態４に係る画像処理装置および画像処理方法によれば、この発明の実施の形態２と同様に、三次元超解像処理を現低解像度入力画像の参照が終了する前に、次低解像度入力画像の処理を開始できるので、より効率的にパイプラインを構成して三次元超解像処理することができ、フレーム間処理のタイムラグを最小にすることが可能となり、動画処理時のフレームレートを維持できる。

また、この発明の実施の形態４に係る画像処理装置および画像処理方法によれば、この発明の実施の形態２と同様に、二次元超解像処理を現低解像度入力画像の参照が終了する前に、次低解像度入力画像の処理を開始できるので、処理ブロックの使用が重ならないようにしさえすれば、より効率的にパイプラインを構成して並行して二次元超解像処理することができ、処理時間の短縮を図ることができる。

実施の形態５．
この発明の実施の形態５では、この発明の実施の形態２のブロック構成を示す図７、またはこの発明の実施の形態４の構成を示す図９のように、三次元超解像処理を行う際に、低解像度入力画像記憶部に映像の連続する２枚の低解像度入力画像ｇ（ｎ）、ｇ（ｎ＋１）を記憶し、その２枚の低解像度入力画像から動き検出して、動きのある領域を動き補償して参照した差分画像ｇ”（ｎ）から差分高解像度画像ｊ（ｎ）を生成して超解像処理を行う画像処理装置および画像処理方法について説明する。

図１０は、この発明の実施の形態５に係る画像処理装置の動き検出部が検出した動き領域の一例を示す説明図である。図において、前フレームと現フレーム間の画像情報を用いて動き検出を行い、例えば、木を含む背景領域は静止しており、動きのある領域とは検出されず、移動する人物の周囲の領域が動きのある領域（動き検出領域）として検出される場合を示している。動きのない領域および動きのある領域のそれぞれは、１枚の画像に１領域に限らず、また連続した領域でも分割された状態で複数の領域として検出してもよい。また、動きのある領域は動きのある対象物の形状のまま抽出しても、周囲の背景を含む矩形のブロック等の形状で抽出してもよい。動き検出に用いる領域のサイズは、１つに固定しても、また複数を組み合わせても構わない。

図１１は、この発明の実施の形態５に係る画像処理装置の一例を示すブロック構成図である。図において、この発明の実施の形態３のブロック構成を示す図７と異なる部分は、動き情報を検出する動き検出部（ＭＶ）３１ａを備えたことである。また、差分画像記憶部１７ｂは、動き検出部（ＭＶ）３１ａが検出した動き情報に基づいて差分画像ｇ”（ｎ）を出力する。その他の処理ブロックは、この発明の実施の形態３に係る画像処理装置の一例を示すブロック構成図である図７に同一番号を付した処理ブロックと同様である。

動き検出部（ＭＶ）３１ａは、低解像度入力画像記憶部１１ｃの蓄積部１１１ｂ、１１４ｂに記憶された低解像度入力画像ｇ（ｎ）、ｇ（ｎ＋１）を参照して領域単位に動き情報を検出(動き検出)し、差分画像記憶部１７ｂに出力する。差分画像記憶部１７ｂは、動き検出部（ＭＶ）３１ａが検出した動き情報に基づいて、高解像度変換部１９で高解像度変換する差分高解像度画像ｊ（ｎ）の領域に対応した差分画像ｇ”（ｎ）の参照画像領域を出力する。高解像度変換部１９は、差分画像記憶部１７ｂが動き情報に基づいて出力した差分画像ｇ”（ｎ）の参照画像領域を高解像度変換して差分高解像度画像ｊ（ｎ）を生成する。差分高解像度画像記憶部２０は、高解像度変換部１９が生成した差分高解像度画像ｊ（ｎ）を対応する領域に記憶する。このとき、制御部は、高解像度変換部１９で高解像度変換する差分高解像度画像ｊ（ｎ）の領域に対応した差分画像ｇ”（ｎ）の参照画像領域が差分画像記憶部１７ｂから出力されるように、動き検出部（ＭＶ）３１ａに動き情報を出力させ、動き情報の検出対象とした各領域について動き補償された差分高解像度画像ｊ（ｎ）を生成させる。

図１２は、この発明の実施の形態５に係る画像処理方法における三次元超解像処理の一例を示すフローチャート（動き検出の部分変更例）である。図１のステップＳＴ３０８の部分において、図１２に示すように、領域単位に、ステップＳＴ３０８１で、動き検出部（ＭＶ）３１ａは動き情報を検出する。ステップＳＴ３０８２では、動き検出部（ＭＶ）３１ａが検出した動き情報に基づいて、生成しようとする差分高解像度画像ｊ（ｎ）の領域に対応した差分画像ｇ”（ｎ）の参照領域を差分画像記憶部１７ｂから出力させ、高解像度変換部１９で高解像度変換して差分高解像度画像ｊ（ｎ）を差分高解像度画像記憶部２０に記憶する。ステップＳＴ３０８３では、最終領域まで差分高解像度画像ｊ（ｎ）を生成したか判定し、未処理の領域が残っていれば、その領域についてステップＳＹ３０８１から繰り返し、未処理の領域がなくなれば、差分高解像度画像ｊ（ｎ）の生成を終了してステップＳＴ３０９へ進む。このとき、制御部は、これらの処理を領域ごとに行うように制御する。

この発明の実施の形態５に係る画像処理装置では、例えば動き検出する単位領域を固定のサイズとすれば、低解像度入力画像記憶部の蓄積部１１１ｂ、１１４ｂ、推定高解像度画像記憶部の蓄積部１３２、１３４、動き情報によって領域参照される差分画像記憶部１７ｂは記憶する対象の各画像１枚の容量を必要とするが、低解像度画像記憶部１５、差分高解像度画像記憶部２０は領域単位で三次元超解像処理を進めることで１領域分の容量で実装してもよい。ただし、この画像処理装置と同一の構成で行う二次元超解像処理も領域単位で行うことになる。

この発明の実施の形態５に係る画像処理装置では、この発明の実施の形態３の図７のブロック構成に対して動き検出部（ＭＶ）３１ａを設ける例について説明したが、この発明の実施の形態４の図９のブロック構成に対しても同様に、動き検出部（ＭＶ）３１ａを設けた三次元超解像処理を説明できることはいうまでもない。

なお、この発明の実施の形態５に係る画像処理装置および画像処理方法を用いて、動き検出部（ＭＶ）３１ａを動作させずに処理すれば、この発明の実施の形態１ないし実施の形態４と同様に二次元超解像処理を行うことができることは明らかである。

このように、この発明の実施の形態５に係る画像処理装置および画像処理方法によれば、この発明の実施の形態２および実施の形態４と同様に、二次元超解像処理と三次元超解像処理を同一の構成で、二次元超解像処理または三次元超解像処理を実行するように制御することで、低解像度の入力画像を超解像処理した所望の二次元超解像画像または三次元超解像画像を生成することができる。

また、この発明の実施の形態５に係る画像処理装置および画像処理方法によれば、この発明の実施の形態２および実施の形態４と同様に、二次元超解像処理と三次元超解像処理の回路を個別に設ける必要がないため、装置規模や回路規模の削減、低コスト化を図ることができる。

また、この発明の実施の形態５に係る画像処理装置および画像処理方法によれば、この発明の実施の形態４と同様に、２つの高解像度変換部を共通化して１つの高解像度変換部に統合することで、装置規模、回路規模をより小さくでき、低コスト化を図れる。

また、この発明の実施の形態５に係る画像処理装置および画像処理方法によれば、この発明の実施の形態２および実施の形態４と同様に、三次元超解像処理を現低解像度入力画像の参照が終了する前に、次低解像度入力画像の処理を開始できるので、より効率的にパイプラインを構成して三次元超解像処理することができ、フレーム間処理のタイムラグを最小にすることが可能となり、動画処理時のフレームレートを維持できる。

また、この発明の実施の形態５に係る画像処理装置および画像処理方法によれば、三次元超解像処理する際に２枚の低解像度入力画像の動き情報を検出して動き補償した差分高解像度画像を生成するので、高解像度画像生成部（加算部）で加算する推定高解像度画像と差分高解像度画像との領域対応が向上するので、より高精度な三次元超解像処理を実現できる。

実施の形態６．
この発明の実施の形態６では、この発明の実施の形態５と同様に、この発明の実施の形態２の画像処理装置のブロック構成を示す図７、またはこの発明の実施の形態４の画像処理装置のブロック構成を示す図９のように、三次元超解像処理を行う際に、低解像度入力画像記憶部に映像の連続する２枚の低解像度入力画像ｇ（ｎ）、ｇ（ｎ＋１）を記憶し、その２枚の低解像度入力画像から動き検出して、動きのある領域を動き補償して参照した差分画像ｇ”（ｎ）から差分高解像度画像ｊ（ｎ）を生成して超解像処理を行う画像処理装置および画像処理方法について説明する。ただし、この発明の実施の形態６の画像処理装置および画像処理方法では、動き情報を検出して、動きがある領域にはこの発明の実施の形態５と同様の処理を行うが、動きがない領域にはこの発明の実施の形態５と異なる変換処理で低解像度入力画像を高解像度変換する。以下、この発明の実施の形態６における検出された動き情報の有無により適用する高解像度変換、低解像度変換を切り替える画像処理装置および画像処理方法について説明する。

図１３は、この発明の実施の形態６に係る画像処理装置の一例を示すブロック構成図である。図において、この発明の実施の形態５のブロック構成を示す図１１と異なる部分は、動き情報を検出する動き検出部（ＭＶ）３１ａに代えて動き検出部（ＭＶ）３１ｂを備えたことである。また、高解像度変換部１２ｃは、動き情報に基づいて動きのある領域と動きのない領域で異なる高解像度変換（Ｔ^−１）を適用する。差分画像記憶部１７ｃは、動き情報に基づいて動きのない領域では領域内の差分を０とする。その他の処理ブロックは、この発明の実施の形態５に係る画像処理装置の一例を示すブロック構成図である図１１に同一番号を付した処理ブロックと同様である。

動き検出部３１ｂは、低解像度入力画像記憶部１１ｃの蓄積部１１１ｂ、１１４ｂに記憶された低解像度入力画像ｇ（ｎ）、ｇ（ｎ＋１）を参照して領域単位に動き情報を検出(動き検出)する。検出した動き情報は、高解像度変換部１２ｃ、差分画像記憶部１７ｃに通知する。

高解像度変換部１２ｃは、動き検出部３１ｂから通知された動き情報に基づいて、動きのない領域では高解像度変換（Ｔ^−１）を逆投映法ではなく、より低い処理負荷でも実行できる一般的な画像拡大処理、例えば最近傍法、線形補間法、双三次補間等を適用し、また動きのある領域では高解像度変換部１２ａと同様に逆投映法による高解像度変換（Ｔ^−１）を適用する。動きない領域の高解像度入力画像として得られた推定高解像度画像ｆ（ｎ）は、この画像拡大処理された時点で、三次元超解像画像として推定高解像度画像記憶部１３ｂに記憶される。

差分画像記憶部１７ｃは、動き検出部３１ｂから通知された動き情報に基づいて、領域内の差分を０とし、動き検出部３１ａと同様に差分高解像度画像ｊ（ｎ）を生成する際の各領域に対応した差分画像ｇ”（ｎ）の参照領域を差分画像記憶部１７ｂから出力させる。すなわち、動きのない領域に対しては、低解像度変換部１４、低解像度画像記憶部１５、減算器（差分画像生成部）１６を経由せず、領域の変換、演算を伴わずに差分画像ｇ”（ｎ）＝０とすることができる。ここで、動きのない領域の差分画像ｇ”（ｎ）を０にしておくのは、動き情報に基づいて差分高解像度画像ｊ（ｎ）を生成する際に参照される可能性があるためであるが、低解像度入力画像ｇ（ｎ）の三次元超解像処理を開始する際に差分画像ｇ”（ｎ）全体を予め０で初期化するのであれば、動きのない各領域の差分画像の記憶処理の段階になって差分画像ｇ”（ｎ）＝０とする必要はない。

図１４は、この発明の実施の形態６に係る画像処理方法における三次元超解像処理の一例を示すフローチャートである。図において、各処理ステップは、この発明の実施の形態５に係る画像処理方法のフローチャートでもある図１および図１２に同一番号を付した処理ステップと同様である。

図１に示した画像処理方法のフローチャートは二次元超解像処理および三次元超解像処理の両方を図示したが、超解像モードの指定が二次元超解像モードか否かを判定するステップＳＴ２０７で分岐して、二次元超解像モードの二次元超解像処理および三次元超解像モードの三次元超解像処理のフローチャートをモードごとに示すこともできる。この図１４に示した画像処理方法のフローチャートは、動き情報を検出し、動き補償を利用して超解像処理を行う三次元超解像モードの三次元超解像処理を図示したものである。図１に示した画像処理方法のフローチャートに対して、三次元超解像モードの三次元超解像処理には処理手順を変更しているが、二次元超解像モードの二次元超解像処理の処理手順は変更しないものとする。

ここで、三次元超解像処理として変更されたステップＳＴ４０１からステップ４０６の処理ステップ、およびステップＳＴ４０７からステップＳＴ４１０の処理ステップは、それぞれ領域単位で行われる。このとき、制御部は、これらの処理を領域ごとに行うように制御する。

ステップＳＴ４０１からステップ４０６に示される動き検出から差分画像ｇ”（ｎ）を生成するまでの処理ステップについて説明する。ステップＳＴ４０１では、図１２のステップ３０８１と同様に、領域ごとに動き情報を検出する。ここで、検出する各動き情報は、低解像度入力画像ｇ（ｎ）の三次元超解像処理が終わるまで必要とする間保持しておく。

ステップＳＴ４０２では、ステップＳＴ４０１で検出した動き情報に基づいて動きの有無を判定し、動きがあったときステップＳＴ３０３に進ませ、動きがなかったときステップＳＴ４０３に進ませる。

処理する領域が動きのある領域とステップＳＴ４０２で判定されたとき、図１で説明したように、ステップＳＴ３０３で低解像度入力画像ｇ（ｎ）を逆投映法によって高解像度変換して高解像度入力画像を生成し、推定高解像度画像ｆ（ｎ）として記憶し、ステップＳＴ２０４で推定高解像度画像ｆ（ｎ）を低解像度変換して低解像度画像ｇ’（ｎ）を生成して記憶し、ステップＳＴ２０５で低解像度入力画像ｇ（ｎ）と低解像度画像ｇ’（ｎ）の差分をとって差分画像ｇ”（ｎ）を生成して記憶する。

また、処理する領域が動きのない領域とステップＳＴ４０２で判定されたとき、ステップＳＴ４０３で低解像度入力画像記憶部１１ｃ（蓄積部１１４ｂ）に記憶された低解像度入力画像ｇ（ｎ＋１）を高解像度変換部１２ｃで一般的な画像拡大処理によって高解像度変換して高解像度入力画像を生成し、推定高解像度画像ｆ（ｎ＋１）として推定高解像度画像記憶部１３ｂ（蓄積部１３４）に記憶する。

ステップＳＴ４０５では、差分画像ｇ”（ｎ）＝０を生成して差分画像記憶部１７ｂに記憶する。

ステップＳＴ４０６では、ステップＳＴ４０１からステップ４０５の処理を最終領域まで行ったか判定し、未処理の領域が残っていればステップＳＴ４０１に戻して繰り返し処理させ、最終領域まで終了していればステップＳＴ２０６へ進む。

次に、ステップＳＴ４０７からステップＳＴ４１０に示される差分高解像度画像ｊ（ｎ）の生成から推定高解像度画像ｆ（ｎ＋１）を生成するまでの処理ステップについて説明する。

ステップＳＴ４０７では、ステップＳＴ４０１で検出して保持された動き情報に基づいて動きの有無を判定し、動きがあったときステップＳＴ４０８に進ませ、動きがなかったときステップＳＴ４１０に進ませる。

ステップＳＴ４０８では、ステップＳＴ４０１で検出して保持された動き情報に基づいて生成しようとする差分高解像度画像ｊ（ｎ）の領域に対応した差分画像ｇ”（ｎ）の参照領域を差分画像記憶部１７ｃから出力させ、高解像度変換部１９で高解像度変換して差分高解像度画像ｊ（ｎ）を差分高解像度画像記憶部２０に記憶する。

ステップＳＴ４０９では、差分高解像度画像ｊ（ｎ）を推定高解像度画像ｆ（ｎ＋１）に加算器（高解像度画像生成部）２１で加えて高解像度画像ｆ’（ｎ＋１）を生成し、推定高解像度画像ｆ（ｎ＋１）として推定高解像度画像記憶部１３ａに再記憶して更新する。

ステップＳＴ４１０では、ステップＳＴ４０７からステップ４０９の処理を最終領域まで行ったか判定し、未処理の領域が残っていればステップＳＴ４０７に戻して繰り返し処理させ、最終領域まで終了していればステップＳＴ３１０へ進む。

なお、この発明の実施の形態６の画像処理装置として、この発明の実施の形態４の画像処理装置のブロック構成を示す図９の高解像度変換部１２ｂに対して動き検出部３１ｂを追加して適用する場合には、動き検出部３１ｂが検出した動き情報を共用高解像度変換部１２２に通知し、低解像度入力画像ｇ（ｎ＋１）を高解像度変換して高解像度入力画像を生成するときに、動き情報に基づいて、動きのある領域に逆投映法による高解像度変換を行い、動きのない領域に一般的な画像拡大処理による高解像度変換を行うように切り替えることで、動き情報の有無を利用した三次元超解像処理することができる。

このように、この発明の実施の形態６に係る画像処理装置および画像処理方法によれば、この発明の実施の形態２、実施の形態４および実施の形態５と同様に、二次元超解像処理と三次元超解像処理を同一の構成で、二次元超解像処理または三次元超解像処理を実行するように制御することで、低解像度の入力画像を超解像処理した所望の二次元超解像画像または三次元超解像画像を生成することができる。

また、この発明の実施の形態６に係る画像処理装置および画像処理方法によれば、この発明の実施の形態２、実施の形態４および実施の形態５と同様に、二次元超解像処理と三次元超解像処理の回路を個別に設ける必要がないため、装置規模や回路規模の削減、低コスト化を図ることができる。

また、この発明の実施の形態６に係る画像処理装置および画像処理方法によれば、この発明の実施の形態４および実施の形態５と同様に、２つの高解像度変換部を共通化して１つの高解像度変換部に統合することで、装置規模、回路規模をより小さくでき、低コスト化を図れる。

また、この発明の実施の形態６に係る画像処理装置および画像処理方法によれば、この発明の実施の形態２、実施の形態４および実施の形態５と同様に、三次元超解像処理を現低解像度入力画像の参照が終了する前に、次低解像度入力画像の処理を開始できるので、より効率的にパイプラインを構成して三次元超解像処理することができ、フレーム間処理のタイムラグを最小にすることが可能となり、動画処理時のフレームレートを維持できる。

また、この発明の実施の形態６に係る画像処理装置および画像処理方法によれば、この発明の実施の形態５と同様に、三次元超解像処理する際に２枚の低解像度入力画像の動き情報を検出して動き補償した差分高解像度画像を生成するので、高解像度画像生成部（加算部）で加算する推定高解像度画像と差分高解像度画像との領域対応が向上するので、より高精度な三次元超解像処理を実現できる。

また、この発明の実施の形態６に係る画像処理装置および画像処理方法によれば、検出した動き情報に基づいて、動きのある領域に逆投映法による高解像度変換を行い、動きのない領域に一般的な画像拡大処理による高解像度変換を行うように、領域ごとに切り替えるようにしたので、高解像度変換を行う演算負荷を軽減することができる。

実施の形態７．
この発明の実施の形態７では、この発明の実施の形態１ないし６の画像処理装置および画像処理方法において、デジタルスチルカメラなどの撮影機器の光学補正を解像度変換に適用した画像処理装置および画像処理方法について説明する。

図１５は、この発明の実施の形態７に係る画像処理装置の画像入力系の光軸中心からの距離とＭＴＦ（Modulation Transfer Function：光学伝達関数）の関係を示す説明図である。デジタルカメラ等の光学系を持つ機器では、レンズ歪みのために画像の中心部より周辺部の解像度が低下する特性（光学特性）がある。すなわち、処理対象画素が光軸中心から離れるに従ってＭＴＦが低下するという画像入力系のレンズの特性として表れる。

このようなレンズの特性（ＭＴＦ特性）を補正するために、高解像度変換処理において、処理対象画素の光軸中心からの距離ｒに応じて変換定義（変換パラメータ）を調整する。この光軸中心からの距離ｒに応じて変換定義を補正する演算は、光軸中心からの距離ｒを考慮していない（式１）に対して次の（式８）のように表せる。ここで、α_ｒは、図１５のＭＴＦ特性に応じて、光軸中心からの距離ｒのときに図４の±３σの幅を修正するための係数（修正係数）である。

図１６は、この発明の実施の形態７に係る画像処理装置の画像入力系の光軸中心からの距離と変換パラメータの修正係数の関係を示す説明図である。光軸中心付近に位置する処理対象画素ではＭＴＦが１．０に近く、画像周辺部（光軸中心からの距離ｒ）に位置する処理対象画素では距離ｒが大きくなるに伴いＭＴＦが低下していくという図１５のＭＴＦ特性があるので、修正係数α_ｒを例えば次のように設定する。

処理対象画素が光軸中心付近に位置する場合は図１５のＭＴＦは１.０に近いため、通常の逆変換Ｔ^−１に近い変換となる修正係数α_０を選択する。一方で、処理対象画素が画像周辺部（光軸中心からの距離Ｒ）に位置し、より大きなぼけ改善効果を要する場合は、図１５のＭＴＦ特性に基づく大きさで図４の±３σの幅を広げることで、逆変換Ｔ^−１による補正度合いを大きくする修正係数α_Ｒを選択する。ここで、修正係数α_ｒを光軸中心からの距離ｒの関数として定義してもよく、また、光軸中心からの代表的な距離ｒに対して修正係数α_ｒを求めておき、実際の光軸中心からの距離ｒに近い２点の修正係数から補間、例えば線形補間して設定するようにしてもよい。

このようなＭＴＦ特性に応じて各処理対象画素が位置する光軸中心からの距離ｒに基づく修正係数α_ｒで補正する高解像度変換（Ｔ^−１）は、この発明の実施の形態１ないし６に係る画像処理装置および画像処理方法に適用することができることはいうまでもない。このとき、画像処理装置の制御部は、各処理対象画素が位置する光軸中心からの距離ｒを管理し、修正係数α_ｒで補正した高解像度変換（Ｔ^−１）に適用させる。

変換定義（変換パラメータ）については、例えば図１に示した画像処理方法のフローチャートにおけるステップＳＴ２０１の変換定義の初期化、ステップＳＴ２１１およびステップＳＴ３１１の変換定義の修正は、光軸中心の処理対象画素に対する高解像度変換（Ｔ^−１）の変換定義（変換パラメータ）を対象とし、さらに実際に各処理対象画素を高解像度変換（Ｔ^−１）をするステップＳＴ２０３およびステップＳＴ３０３で、この発明の実施の形態７で説明した光軸中心からの距離ｒに応じた修正係数α_ｒを用いて補正した変換定義（変換パラメータ）を適用する。

また、この発明の実施の形態１ないし６に係る画像処理装置および画像処理方法で行う二次元超解像処理および三次元超解像処理では、例えば図１に示した画像処理方法のフローチャートにおけるステップＳＴ２０３およびステップＳＴ３０３で、低解像度入力画像ｇ（ｎ）を高解像度変換（Ｔ^−１）して高解像度入力画像（推定高解像度画像ｆ（ｎ））を得るときにＭＴＦ特性に応じて各処理対象画素が位置する光軸中心からの距離ｒに基づく修正係数α_ｒで補正するだけでなく、ステップＳＴ２０４で、推定高解像度画像ｆ（ｎ）を低解像度変換（Ｔ）して低解像度画像ｇ’（ｎ）を得るとき、およびステップＳＴ２０８およびステップＳＴ３０８で、差分画像ｇ”（ｎ）を高解像度変換（Ｔ^−１）して差分高解像度画像ｊ（ｎ）を得るときにも同様に修正係数で補正する必要がある。この光軸中心からの距離ｒに基づく修正係数で変換定義を補正する演算は、光軸中心からの距離ｒを考慮していない（式２）、（式５）に対して次の（式９）、（式１０）、のように表せる。ここで、α_ｒは、（式８）に示した修正係数、β_ｒは、高解像度変換（Ｔ^−１）の修正係数α_ｒに対する低解像度変換（Ｔ）のための修正係数である。

このようなＭＴＦの特性に応じた修正係数を解像度変換に適用するように構成することで、複雑な群構成の光学系が搭載された撮影機器で撮影されるときに、映像のＭＴＦの特性がズーム動作によってダイナミックに変動する場合に対しても、高解像度変換（Ｔ^−１）、低解像度変換（Ｔ）を光軸中心から処理対象画素までの距離に応じて順次補正していくことで好適なＭＴＦ補正が実現可能になる。

このように、この発明の実施の形態７に係る画像処理装置および画像処理方法によれば、この発明の実施の形態１ないし６に係る画像処理装置および画像処理方法で行う二次元超解像処理および三次元超解像処理に対して、ＭＴＦの特性に応じた修正係数で光学補正を適用した各実施の形態と同様の効果をそれぞれ得ることができる。

また、この発明の実施の形態７に係る画像処理装置および画像処理方法によれば、この発明の実施の形態１ないし６に係る画像処理装置および画像処理方法で行う二次元超解像処理および三次元超解像処理の解像度変換に、ＭＴＦの特性に応じた修正係数で光学補正を適用することで、光軸中心から離れた処理対象画素でも劣化のない超解像画像を得ることができる。

以上のように、この発明に係る画像処理装置および画像処理方法によれば、次のような効果が得られる。

この発明に係る画像処理装置および画像処理方法によれば、二次元超解像処理と三次元超解像処理を同一の構成で、二次元超解像処理または三次元超解像処理を実行するように制御することで、低解像度の入力画像を超解像処理した二次元超解像画像または三次元超解像画像を生成することができる。

また、この発明に係る画像処理装置および画像処理方法によれば、二次元超解像処理と三次元超解像処理の回路を個別に設ける必要がないため、装置規模や回路規模の削減、低コスト化を図ることができる。

また、この発明に係る画像処理装置および画像処理方法によれば、２つの高解像度変換部を共通化して１つの高解像度変換部に統合することで、装置規模、回路規模をより小さくでき、低コスト化を図れる。

また、この発明に係る画像処理装置および画像処理方法によれば、三次元超解像処理を現低解像度入力画像の参照が終了した時点で、次低解像度入力画像の処理を開始できるので、効率的にパイプラインを構成して三次元超解像処理することができ、フレーム間処理のタイムラグを最小にすることが可能となり、動画処理時のフレームレートを維持できる。

また、この発明に係る画像処理装置および画像処理方法によれば、三次元超解像処理を現低解像度入力画像の参照が終了する前に、次低解像度入力画像の処理を開始できるので、より効率的にパイプラインを構成して三次元超解像処理することができ、フレーム間処理のタイムラグを最小にすることが可能となり、動画処理時のフレームレートを維持できる。

また、この発明に係る画像処理装置および画像処理方法によれば、二次元超解像処理を現低解像度入力画像の参照が終了する前に、次低解像度入力画像の処理を開始できるので、処理ブロックの使用が重ならないようにしさえすれば、より効率的にパイプラインを構成して並行して二次元超解像処理することができ、処理時間の短縮を図ることができる。

また、この発明に係る画像処理装置および画像処理方法によれば、三次元超解像処理する際に２枚の低解像度入力画像の動き情報を検出して動き補償した差分高解像度画像を生成するので、高解像度画像生成部（加算部）で加算する推定高解像度画像と差分高解像度画像との領域対応が向上するので、より高精度な三次元超解像処理を実現できる。

また、この発明に係る画像処理装置および画像処理方法によれば、検出した動き情報に基づいて、動きのある領域に逆投映法による高解像度変換を行い、動きのない領域に一般的な画像拡大処理による高解像度変換を行うように、領域ごとに切り替えるようにしたので、高解像度変換を行う演算負荷を軽減することができる。

また、この発明に係る画像処理装置および画像処理方法によれば、二次元超解像処理および三次元超解像処理の解像度変換に、ＭＴＦの特性に応じた修正係数で光学補正を適用することで、光軸中心から離れた処理対象画素でも劣化のない超解像画像を得ることができる。

１１ａ、１１ｂ、１１ｃ 低解像度入力画像記憶部
１２ａ、１２ｂ、１２ｃ 高解像度変換部
１３ａ、１３ｂ、１３ｃ 推定高解像度画像記憶部
１４ 低解像度変換部
１５ 低解像度画像記憶部
１６ 差分画像生成部（減算部）
１７ａ、１７ｂ、１７ｃ 差分画像記憶部
１８ 指標値算出部
１９ 高解像度変換部
２０ 差分高解像度画像記憶部
２１ 高解像度画像生成部（加算部）
３１ａ、３１ｂ 動き検出部
１１１ａ、１１１ｂ、１１４ａ、１１４ｂ 蓄積部
１１２ａ、１１２ｂ、１１３ スイッチ
１２１、１２３ スイッチ
１２２ 共用高解像度変換部
１３１ａ、１３１ｂ、１３３ａ、１３３ｂ スイッチ
１３２、１３４ 蓄積部

Claims (9)

1. 低解像度入力画像を入力して超解像画像を出力する画像処理装置において、
   前記低解像度入力画像を第１の高解像度変換をして高解像度入力画像を生成する第１の高解像度変換部と、
   前記低解像度入力画像に基づいて生成される推定高解像度画像を低解像度変換して低解像度画像を生成する低解像度変換部と、
   前記低解像度画像と前記低解像度入力画像とから差分画像を生成する差分画像生成部と、
   前記差分画像から指標値を算出する指標値算出部と、
   前記差分画像を第２の高解像度変換をして差分高解像度画像を生成する第２の高解像度変換部と、
   前記差分高解像度画像と前記推定高解像度画像とから高解像度画像を生成する高解像度画像生成部と、
   前記第１の高解像度変換、前記第２の高解像度変換および前記低解像度変換で用いられる変換パラメータを前記指標値と所定のしきい値とを比較して修正し、前記推定高解像度画像を前記低解像度変換部および前記高解像度画像生成部に出力するか、超解像画像として出力して画像処理を終了するかを判定する制御部とを備え、
   前記低解像度変換部は、前記高解像度入力画像および前記高解像度画像を入力し、入力した前記高解像度入力画像および前記高解像度画像から１つを選択して前記推定高解像度画像とすることを特徴とする画像処理装置。
2. 低解像度入力画像を入力して超解像画像を出力する画像処理装置において、
   前記低解像度入力画像を第１の高解像度変換をして高解像度入力画像を生成する第１の高解像度変換部と、
   前記低解像度入力画像に基づいて生成される推定高解像度画像を低解像度変換して低解像度画像を生成する低解像度変換部と、
   前記低解像度画像と前記低解像度入力画像とから差分画像を生成する差分画像生成部と、
   前記差分画像から指標値を算出する指標値算出部と、
   前記差分画像を第２の高解像度変換をして差分高解像度画像を生成する第２の高解像度変換部と、
   前記差分高解像度画像と前記推定高解像度画像とから高解像度画像を生成する高解像度画像生成部と、
   前記第１の高解像度変換、前記第２の高解像度変換および前記低解像度変換で用いられる変換パラメータを前記指標値と所定のしきい値とを比較して修正する制御部とを備え、
   前記高解像度生成部は、第２の低解像度入力画像に対して得られる前記高解像度入力画像および前記高解像度画像を入力し、入力した前記高解像度入力画像および前記高解像度画像から１つを選択して前記推定高解像度画像とし、
   前記高解像度画像生成部は、前記低解像度入力画像に対して得られる差分高解像度画像と第２の低解像度入力画像に対して得られる推定高解像度画像とから前記高解像度画像を
   生成することを特徴とする画像処理装置。
3. 前記低解像度入力画像と前記第２の低解像度入力画像とから動き情報を検出する動き検出部を備え、
   前記高解像度画像生成部は、前記低解像度入力画像に対して得られた差分画像を前記動き検出部が検出した動き情報に基づいて参照し、高解像度変換して得られる前記差分高解像度画像と前記第２の低解像度入力画像に対して得られる推定高解像度画像とから前記高解像度画像を生成する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記動き検出部は、領域ごとに動き情報を検出し、
   前記第１の高解像度変換部は、前記動き検出部が検出した動き情報に基づいて、動きが検出されない領域には、動きが検出された領域に対する高解像度変換より処理負荷が低い拡大処理を適用して前記高解像度入力画像を生成する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記制御部は、前記低解像度入力画像に対して前記高解像度画像生成部が高解像度画像を反復して生成した回数を計数し、計数された反復して生成した回数に基づいて、前記高解像度画像生成部に前記高解像度画像を反復して生成させるか、または前記推定高解像度画像を超解像画像として出力して終了するかを判定する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記制御部は、光学系の光軸中心から変換対象画素の位置までの距離に基づいて、前記第１、第２の高解像度変換部が行う高解像度変換および前記低解像度変換部が行う低解像度変換を定義する変換パラメータを修正する
   ことを特徴とする請求項１ないし請求項５のいずれかに記載の画像処理装置。
7. 低解像度入力画像を入力して超解像画像を出力する画像処理装置において、
   低解像度入力画像または差分画像を高解像度変換をして、前記低解像度入力画像を高解像度変換した高解像度入力画像または前記差分画像を高解像度変換した差分高解像度画像を生成する高解像度変換部と、
   この高解像度変換部が生成した高解像度入力画像または高解像度画像を推定高解像度画像として、この推定高解像度画像を低解像度変換して低解像度画像を生成する低解像度変換部と、
   この低解像度変換部が生成した低解像度画像と前記低解像度入力画像とから得られる前記差分画像を生成する差分画像生成部と、
   前記差分画像から指標値を算出する指標値算出部と、
   前記差分画像生成部が生成した差分画像から前記高解像度変換部が生成した差分高解像度画像と前記推定高解像度画像とから得られる前記高解像度画像を生成する高解像度画像生成部と、
   前記高解像度変換部が行う高解像度変換および前記低解像度変換部が行う低解像度変換で用いられる変換パラメータを前記指標値と所定のしきい値とを比較して修正し、前記推定高解像度画像を前記低解像度変換部および前記高解像度画像生成部に出力するか、超解像画像として出力して画像処理を終了するかを判定する制御部とを備え、
   前記低解像度変換部は、前記高解像度入力画像および前記高解像度画像を入力し、入力した前記高解像度入力画像および前記高解像度画像から１つを選択して前記推定高解像度画像とすることを特徴とする画像処理装置。
8. 低解像度入力画像を入力して超解像画像を出力する画像処理装置において、
   前記低解像度入力画像を第１の高解像度変換をして高解像度入力画像を生成する第１の高解像度変換ステップと、
   前記低解像度入力画像に基づいて生成される推定高解像度画像を低解像度変換して低解像度画像を生成する低解像度変換ステップと、
   前記低解像度画像と前記低解像度入力画像とから差分画像を生成する差分画像生成ステップと、
   前記差分画像から指標値を算出する指標値算出ステップと、
   前記差分画像を第２の高解像度変換をして差分高解像度画像を生成する第２の高解像度変換ステップと、
   前記差分高解像度画像と前記推定高解像度画像とから高解像度画像を生成する高解像度画像生成ステップと、
   前記第１の高解像度変換、前記第２の高解像度変換および前記低解像度変換で用いられる変換パラメータを前記指標値と所定のしきい値とを比較して修正し、前記推定高解像度画像を前記低解像度変換ステップおよび前記高解像度画像生成ステップに出力するか、超解像画像として出力して画像処理を終了するかを判定する制御ステップとを備え、
   前記低解像度変換ステップは、前記高解像度入力画像および前記高解像度画像を入力し、入力した前記高解像度入力画像および前記高解像度画像から１つを選択して前記推定高解像度画像とすることを特徴とする画像処理方法。
9. 低解像度入力画像を入力して超解像画像を出力する画像処理装置において、
   前記低解像度入力画像を第１の高解像度変換をして高解像度入力画像を生成する第１の高解像度変換ステップと、
   前記低解像度入力画像に基づいて生成される推定高解像度画像を低解像度変換して低解像度画像を生成する低解像度変換ステップと、
   前記低解像度画像と前記低解像度入力画像とから差分画像を生成する差分画像生成ステップと、
   前記差分画像から指標値を算出する指標値算出ステップと、
   前記差分画像を第２の高解像度変換をして差分高解像度画像を生成する第２の高解像度変換ステップと、
   前記差分高解像度画像と前記推定高解像度画像とから高解像度画像を生成する高解像度画像生成ステップと、
   前記第１の高解像度変換、前記第２の高解像度変換および前記低解像度変換で用いられる変換パラメータを前記指標値と所定のしきい値とを比較して修正する制御ステップとを備え、
   前記高解像度生成ステップは、第２の低解像度入力画像に対して得られる前記高解像度入力画像および前記高解像度画像を入力し、入力した前記高解像度入力画像および前記高解像度画像から１つを選択して前記推定高解像度画像とし、
   前記高解像度画像生成ステップは、前記低解像度入力画像に対して得られる差分高解像度画像と第２の低解像度入力画像に対して得られる推定高解像度画像とから前記高解像度画像を
   生成することを特徴とする画像処理方法。

Images