JP5847228B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに係り、特に、複数の画像を合成処理することにより高解像度化した画像を取得する画像処理装置、画像処理方法及び画像処理プログラムに関するものである。

従来、複数枚の入力画像からより高解像度の出力画像を生成する超解像処理が知られている。この超解像処理の一例として、特許文献１には、推定した高解像度画像を、カメラモデルから得られる点広がり関数（ＰＳＦ関数）によって低解像度画像にリサンプリングし、それらの低解像度画像と元の入力画像との画素値の差が小さくなるように高解像度画像を推定する処理を繰り返し行う再構成型超解像処理が開示されている。

特開２００６−１２７２４１号公報

しかしながら、特許文献１の最構成型超解像処理は、高解像度画像を推定する処理を繰り返し行うため、計算コストが高くなる。一方、計算コストを抑えるために、繰り返し回数を少なく制限すると、推定高解像度画像において動体等によって生じる多重像やアーティファクトを低減しきれず、出力画像の画質が低下する。

本発明は、上述した事情に鑑みてなされたものであって、計算コストを抑制しつつ、多重像やアーティファクトを低減し、良好に解像度を向上させた画像を取得することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、時系列的に撮像された複数の低解像度画像を取得する画像取得手段と、複数の前記低解像度画像間の動きを検出する動き検出手段と、前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせ手段と、前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出手段と、複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成手段と、前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出手段と、前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成手段と、前記動きに基づいて、前記部分領域が動体の境界領域であるか否かを判定する動体境界判定手段と、を備え、前記合成比率算出手段が、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出し、前記部分領域が前記境界領域である場合、非境界領域である場合よりも、前記高解像度画像の割合が小さくなるように合成比率を算出する画像処理装置を提供する。

本態様によれば、時系列的に撮像された同一被写体に係る複数の低解像度画像を取得し、これら複数の低解像度画像から高解像度化した１の画像を取得する。この場合において、低解像度画像中の動きに起因して高解像度化した画像において多重像などが生じることを防止するため、位置合わせ手段により、動き検出手段において検出された複数の画像間の動きを補正、すなわち位置合わせしながら、高解像度画像空間上に複数の低解像度画像を画素配置して高解像度画像を生成する。高解像度画像を所定の部分領域に区分し、この部分領域に相当する低解像度画像の対応領域間の相関の度合いを示す相関情報を部分領域毎に算出する。相関情報により、当該部分領域が複数の画像間の相関が小さい、すなわち、動きの大きい領域や動体を含む領域であるかをある程度判断することができる。相関が低いと判断される領域は、高解像度画像において位置合わせが失敗している可能性がある。このため、被合成画像生成手段により、高解像度画像又は複数の低解像度画像から、高解像度画像よりも低解像度の被合成画像を生成する。そして、合成比率算出手段により、相関情報に基づいて高解像度画像と被合成画像との合成比率を部分領域毎に算出する。このとき、相関性の低い領域ほど高解像度画像の割合が小さく、相関性の高い領域ほど高解像度画像の割合が大きくなるように部分領域毎に合成比率を算出し、画像合成手段がこれに従って高解像度画像と被合成画像との合成画像を生成する。

このようにすることで、合成画像の生成に際して、例えば動体を含む等動きの大きい領域など、複数の低解像度画像間において相関性の低い領域に基づく部分領域については、被合成画像の割合を高くすることによって、多重像やアーティファクトを抑制する。一方、例えば静止領域など、複数の低解像度画像間において相関性の高い領域に基づく部分領域については、高解像度画像の割合を高くすることで確実に高解像度化する。従って、計算コストを抑制しつつ、多重像やアーティファクトを低減し、良好に解像度を向上させた画像を取得することができる。

また、前記動きに基づいて、前記部分領域が動体の境界領域であるか否かを判定する動体境界判定手段を備え、前記合成比率算出手段が、前記部分領域が前記境界領域である場合、非境界領域である場合よりも、前記高解像度画像の割合が小さくなるように合成比率を算出するので、部分領域間の相関情報が同程度であっても、当該部分領域が境界領域であるか否かに応じて合成比率を異ならせることができる。従って、アーティファクトや多重像が生じやすい動体境界周辺においても、確実にアーティファクトや多重像を抑制しながら、背景などの静止領域におけるモアレ領域の解像度を向上することができる。

本発明の他の態様は、時系列的に撮像された複数の低解像度画像を取得する画像取得手段と、複数の前記低解像度画像間の動きを検出する動き検出手段と、前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせ手段と、前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出手段と、複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成手段と、前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出手段と、前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成手段とを備え、前記被合成画像生成手段が、前記高解像度画像にフィルタ処理を施すことにより前記高解像度画像よりも解像度を低下させた画像を被合成画像として生成し、前記合成比率算出手段が、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出する画像処理装置を提供する。
このようにすることで、例えば、高解像度画像の高周波成分を低減させるローパスフィルタなどを適用することができ、このようにして被合成画像を生成することで、後の合成処理において相関が低いと判断される領域について多重像やアーティファクトを抑制することができる。

上記した態様において、前記画像取得手段が、時系列的に被写体の光学像を複数フレーム取得する撮像素子と、前記光学像に対する前記撮像素子の位置を相対的に移動させる移動手段と、該移動手段による前記光学像と前記撮像素子との相対的な移動方向及び移動量を制御する移動制御手段と、を有する撮像ユニットであることとしてもよい。
また、上記した態様において、前記位置合わせ手段が、前記動き、又は前記移動方向及び前記移動量の少なくとも一方に基づいて位置合わせを行うこととしてもよい。

このようにすることで、撮像ユニットにより時系列的に画素をずらしながら取得された複数の低解像度画像について、動きのみならず、撮像素子の移動方向や移動量をも考慮して高解像度画像を生成することができるので、解像度を向上させながら、より多重像等の抑制効果が向上する。

上記した態様において、前記相関算出手段が、前記高解像度画像の色チャネルに基づいて部分領域毎の相関情報を算出することが好ましい。
このようにすることで、当該部分領域に対する相関情報の算出が容易であり、相関情報を容易に取得しつつ計算コストを低減することができる。

上記した態様において、前記被合成画像生成手段が、複数の前記低解像度画像のうち何れか１の画像を前記高解像度画像と同解像度に拡大した拡大画像を被合成画像として生成することが好ましい。
このようにして被合成画像を生成することで、後の合成処理において相関が低いと判断される領域について多重像やアーティファクトを抑制することができる。

また、本発明の一態様は、時系列的に撮像された複数の低解像度画像を取得する画像取得ステップと、複数の前記低解像度画像間の動きを検出する動き検出ステップと、前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせステップと、前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出ステップと、複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成ステップと、前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出ステップと、前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成ステップと、前記動きに基づいて、前記部分領域が動体の境界領域であるか否かを判定する動体境界判定ステップと、を備え、前記合成比率算出ステップが、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出し、前記部分領域が前記境界領域である場合、非境界領域である場合よりも、前記高解像度画像の割合が小さくなるように合成比率を算出する画像処理方法を提供する。
また、本発明の他の態様は、時系列的に撮像された複数の低解像度画像を取得する画像取得ステップと、複数の前記低解像度画像間の動きを検出する動き検出ステップと、前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせステップと、前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出ステップと、複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成ステップと、前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出ステップと、前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成ステップと、を備え、前記被合成画像生成ステップが、前記高解像度画像にフィルタ処理を施すことにより前記高解像度画像よりも解像度を低下させた画像を被合成画像として生成し、前記合成比率算出ステップが、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出する画像処理方法を提供する。

さらに、本発明の一態様は、時系列的に撮像された複数の低解像度画像を取得する画像取得ステップと、複数の前記低解像度画像間の動きを検出する動き検出ステップと、前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせステップと、前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出ステップと、複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成ステップと、前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出ステップと、前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成ステップと、前記動きに基づいて、前記部分領域が動体の境界領域であるか否かを判定する動体境界判定ステップと、を備え、前記合成比率算出ステップが、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出し、前記部分領域が前記境界領域である場合、非境界領域である場合よりも、前記高解像度画像の割合が小さくなるように合成比率を算出する処理をコンピュータに実行させる画像処理プログラムを提供する。
また、本発明の他の態様は、時系列的に撮像された複数の低解像度画像を取得する画像取得ステップと、複数の前記低解像度画像間の動きを検出する動き検出ステップと、前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせステップと、前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出ステップと、複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成ステップと、前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出ステップと、前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成ステップと、を備え、前記被合成画像生成ステップが、前記高解像度画像にフィルタ処理を施すことにより前記高解像度画像よりも解像度を低下させた画像を被合成画像として生成し、前記合成比率算出ステップが、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出する処理をコンピュータに実行させる画像処理プログラムを提供する。

本発明によれば、計算コストを抑制しつつ、多重像やアーティファクトを低減し、良好に解像度を向上させた画像を取得することができるという効果を奏する。

本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図である。 本発明の第１の実施形態に係る画像処理装置における撮像素子の構造を示す参考図である。 本発明の第１の実施形態において、動体の境界領域と非境界領域との判別に係る説明図である。 本発明の第１の実施形態において、合成比率の例を示すグラフである。 本発明の第２の実施形態に係る画像処理装置の概略構成を示すブロック図である。

（第１の実施形態）
以下に、本発明の第１の実施形態に係る画像処理装置について図面を参照して説明する。
図１に示すように、画像処理装置は、画像取得部１１、動き検出部１２、位置合わせ部１３、相関算出部１４、動体境界判定部１５、フィルタ処理部１６（被合成画像生成手段）、合成比率算出部１７、及び画像合成部１８を備えている。
画像取得部１１は、時系列的に撮像された複数の低解像度画像を取得する。画像取得部１１として、本実施形態においては、被写体の光学像を取得する撮像素子２１、撮像素子２１を移動させるシフト機構（移動手段）２２、及びシフト機構２２による撮像素子２１の移動方向及び移動量を制御するセンサシフト制御部２３（移動制御手段）を備えた撮像ユニットを適用することができる。

撮像素子１１は、撮像レンズ２０によって集光され、撮像素子２１の像面上に結像された被写体の光学像を撮像することにより、被写体の光学像に係る低解像度画像を取得する。本実施形態における画像処理装置では、撮像素子２１により低解像度画像を時系列的に取得し、これらを合成することにより高解像度の１の画像を取得する、所謂超解像処理を行っている。このため、本実施形態において撮像素子２１は、図２に示すベイヤー配列構造を有している。

シフト機構２２は、光学像に対する撮像素子２１の位置を相対的に移動させるものであり、撮像素子２１を水平、垂直方向にサブピクセル単位で相対移動させることができるようになっている。センサシフト制御部２３は、シフト機構２２によって撮像素子２１を相対移動させる方向と量とをフレーム毎に制御する。

すなわち、センサシフト制御部２３は、予め定めた条件に従って、撮像素子２１を光学像に対して相対移動させるように移動方向及び移動量に関する制御信号をシフト機構２２に出力する。画像取得部１１では、センサシフト制御部２３によりシフト機構２２を制御しながら、撮像素子２１により互いにサブピクセルの位置ずれを有する複数の低解像度画像を撮像し、これら複数の低解像度画像をフレームメモリ２４に記憶する。また、センサシフト制御部２３は、撮像素子２１の移動方向及び移動量に関する情報（以下、「シフト情報」という）を動き検出部１２に出力する。

なお、画像取得部１１として、必ずしも撮像ユニットを適用する必要はなく、例えば、画像処理装置の外部の撮像装置によって既に時系列に取得された複数の低解像度画像を一時に取得する構成とすることもできる。

動き検出部１２は、フレームメモリ２４に記憶された複数の低解像度画像間の動きを検出する。より具体的には、動き検出部１２は、フレームメモリ２４に格納された複数の低解像度画像のうち、何れか１の低解像度画像を基準画像とし、基準画像以外の画像を参照画像として、基準画像と参照画像との間の動き情報を所定の部分領域毎に取得する。例えば、３２画素×３２画素からなる１ブロックを部分領域として、部分領域毎にブロックマッチング法等により水平方向と垂直方向の動きベクトルを取得する。なお、取得する動き情報は、水平方向と垂直方向の動きだけでなく、回転方向や拡大縮小の変化でも良い。

位置合わせ部１３は、動き検出部１２において検出した動き又はセンサシフト制御部２３から出力されたシフト情報に基づいて複数の低解像度画像の位置合わせを行い、低解像度画像よりも高解像度の画像空間上に複数の低解像度画像を画素配置した高解像度画像を生成する。より具体的には、動き検出部１２による低解像度画像間の部分領域毎の動き情報又はセンサシフト制御部２３によるシフト情報に基づいてフレームメモリ２４に記憶された複数の低解像度画像を色チャネル（Ｒ、Ｇｒ、Ｇｂ、Ｂ）毎の高解像度画像空間上に画素配置して、高解像度画像を生成する。

画素配置の手順としては、まず基準画像の画素を高解像度画像空間上に画素配置し、次に基準画像と処理対象の参照画像との間の部分領域毎の動き情報及び当該参照画像のシフト情報を用いて、参照画像の位置を移動させて所定位置に画素配置する。画素配置する際には、配置する画素の色と同色の画素が、既に基準画像の画素や他の参照画像の画素で配置されている場合には、新たに画素配置しなくても良いし、既に配置されている同色画素と加算平均して画素値を更新しても良い。

また、位置合わせ部１３は、全ての画像を画素配置した後に、まだ画素配置されていない空間を補間して埋める処理を行う。補間の方法は、例えば、周囲の配置されている画素を用いてエッジ方向を考慮した方向判別補間を施したり、最近傍に存在する画素をコピーして補間したりすることができる。

相関算出部１４は、高解像度画像の部分領域毎に、その部分領域に相当する低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する。すなわち、相関算出部１４は、相関情報として、位置合わせ部１３で色チャネルごとに高解像度画像空間上に画素配置された高解像度画像上の同一位置のＧｒ画素とＧｂ画素の差分値ΔＧ＝（｜Ｇｒ−Ｇｂ｜）を算出し、合成比率算出部１７に出力する。差分値ΔＧが大きい場合には、対応領域間の相関の度合いが小さく、差分値ΔＧが小さい場合には、対応領域間の相関の度合いが大きいということができる。

動体境界判定部１５は、動きに基づいて、各部分領域が動体の境界領域であるか否かを判定する。つまり、動体境界判定部１５は、動き検出部１２で取得された部分領域毎の動き情報に基づいて、動体の境界領域（以下、単に「境界領域」という）と動体の境界でない領域（以下、「非境界領域」という）を判定する。部分領域が動体の境界領域であるか否かを判定するために、例えば、判定対象の部分領域と当該部分領域に隣接する周囲の部分領域とのローカル動きベクトルの類似度を算出することができる。

図３に、基準画像２００と参照画像２０１間で動体が動いたときの動体境界判定の一例を示す。図３において、判定対象の部分領域２０２について動体の境界領域であるか否かを判定する場合、部分領域２０２と、部分領域２０２に隣接する８つの部分領域３０１〜３０８とのローカル動きベクトルを算出し、隣接する部分領域３０１〜３０８間においてローカル動きベクトルの類似度を算出する。

８つの隣接する部分領域３０１〜３０８のうち、ローカル動きベクトルの類似度が高い領域群（部分領域３０５，３０７，３０８）と類似度が低い領域群（接領域３０１〜３０４，３０６）の２つの領域群が存在するため、判定対象の部分領域２０２が動体の境界領域であると判定する。一方、判定対象の部分領域２０３は、隣接する８つの部分領域４０１〜４０８間においてローカル動きベクトルがすべて類似しており、つまり、類似度が高い領域群のみが存在すると判断できるため、動体の境界でない領域（非境界領域）と判定する。

フィルタ処理部１６は、被合成画像生成手段として機能し、複数の低解像度画像又は高解像度画像に基づいて、高解像度画像よりも低解像度の被合成画像を生成する。本実施形態において、フィルタ処理部１６は、ローパス効果の強い第１のローパスフィルタ及びローパス効果の弱い第２のローパスフィルタを備えている。フィルタ処理部１６は、位置合わせ部１３から取得した高解像度画像に対して、第１のローパスフィルタによりローパス効果の強いフィルタ処理を施して被合成画像を生成すると共に、第２のローパスフィルタによりローパス効果の弱いフィルタ処理を施して合成用の高解像度画像を生成する。

第１のローパスフィルタ、つまりローパス効果の強いフィルタは、例えば、相関情報により複数の低解像度画像間において相関の度合いが低く、動体の位置合わせが失敗していると想定できる領域等に対し、動く被写体の軌道を大きくぼかし、出来る限り高周波成分を減衰させる低域通過フィルタ特性であり、あたかも露光内の動体ぶれのようにするフィルタである。

第２のローパスフィルタ、つまり、ローパス効果の弱いフィルタとは、例えば、高解像度画像におけるエッジやテクスチャをできる限り残しつつ、微小な位置合わせ誤差を除去するようなフィルタ特性をもつフィルタであり、低域からナイキスト周波数帯域までの周波数成分は通過または強調しつつ、高解像度画像のナイキスト周波数のみを減衰させるようなフィルタである。

なお、第１のローパスフィルタは、第２のローパスフィルタに比して、その効果が強いため、第２のローパスフィルタによって生成させる合成用の高解像度画像よりも、第１のローパスフィルタによって生成される被合成画像のほうが低解像度の画像となる。

合成比率算出部１７は、相関情報に基づいて、高解像度画像と被合成画像との合成比率を部分領域毎に算出する。このとき、合成比率算出部１７は、相関性の低い領域ほど高解像度画像の割合が小さく、相関性の高い領域ほど高解像度画像の割合が大きくなるように、部分領域毎に合成比率を算出する。また、合成比率算出部１７は、部分領域が境界領域である場合、非境界領域である場合よりも、高解像度画像の割合が小さくなるように合成比率を算出する。

図４に、高解像度画像の合成比率の例を示す。図４中、非境界領域に対する合成比率をＡ、動体の境界領域に対する合成比率をＢとして示す。図４に示すように、非境界領域に対する合成比率Ａも、境界領域に対する合成比率をＢも共に、相関性の低い領域ほど高解像度画像の割合が小さく、相関性の高い領域ほど高解像度画像の割合が大きい合成比率となっている。

さらに、非境界領域に対する合成比率Ａでは、閾値１までは合成比率を１とし、閾値１から閾値２までは合成比率を直線的に変化させ、閾値２より大きい場合は合成比率を０にしている。一方、動体の境界領域に対する合成比率をＢでは、閾値１’までは合成比率を１とし、閾値１’から閾値２’までは合成比率を直線的に変化させ、閾値２’より大きい場合は合成比率を０にしている。閾値１’と閾値２’はそれぞれ閾値１と閾値２よりも小さな値としている。

このように、部分領域が境界領域である場合、非境界領域である場合よりも、高解像度画像の割合が小さくなるように合成比率を算出する。つまり、閾値を制御することで、部分領域が動体の境界領域である場合と非境界領域である場合とが、互いに同一の差分値（相関情報）を有している場合でも、境界領域の方が、より高解像度画像の割合が小さくなるように合成比率を算出する。

なお、例えば、合成比率については、図４のＡの相関情報（差分値）に応じた合成比率をそのまま適用し、相関算出部で算出された差分値ΔＧ自体を、境界領域であるか非境界領域であるかに応じて補正するようにしてもよい。つまり、差分値ΔＧを任意の係数αにより補正した差分値をΔＧ’とすると、ΔＧ’＝α×ΔＧの式で差分値を補正し、その差分値で合成比率を算出してもよい。例えば境界領域でα＝１．５、非境界領域でα＝１．０として差分値を補正すれば、境界領域のほうがより合成比率が０に近づく方向に差分値の寄与度を高くすることができる。
なお、被合成画像の合成比率は、以下のようになる。
被合成画像の合成比率＝１−高解像度画像の合成比率

画像合成部１８は、合成比率に従って、合成用の高解像度画像と被合成画像との合成画像を生成し、生成された合成画像を出力する。

このように構成された本実施形態に係る画像処理装置においては、以下のように画像処理、すなわち所謂超解像処理が行われる。
まず、画像取得部１１が時系列的に複数の低解像度画像を取得し、フレームメモリ２４に一時的に記憶する。続いて、動き検出部１２が、フレームメモリ２４に記憶された複数の低解像度画像間の動きを検出し、検出した動きを位置合わせ部１３及び動体境界判定部１４に出力する。

位置合わせ部１３では、動き検出部１２において検出した動き又はセンサシフト制御部２３から出力されたシフト情報に基づいて複数の低解像度画像を高解像度画像空間上に位置合わせすることにより高解像度画像を生成し、高解像度画像を相関算出部１４及びフィルタ処理部１６に出力する。相関算出部１４では、相関算出部１４は、相関情報として、位置合わせ部１３で色チャネルごとに高解像度画像空間上に画素配置された高解像度画像上の同一位置のＧｒ画素とＧｂ画素の差分値ΔＧ＝（｜Ｇｒ−Ｇｂ｜）を算出し、合成比率算出部１７に出力する。動体境界判定部１５は、動きに基づいて、各部分領域が動体の境界領域であるか非境界領域であるかを判定し、判定結果を合成比率算出部１７に出力する。

フィルタ処理部１６は、高解像度画像に対して、第１のローパスフィルタを適用して被合成画像を生成すると共に、第２のローパスフィルタを適用して合成用の高解像度画像を生成し、被合成画像と合成用の高解像度画像とを画像合成部１８に出力する。
合成比率算出部１７は、相関情報及び当該部分領域が境界領域であるか否かに基づいて部分領域毎に合成比率を算出する。
画像合成部１８は、合成比率算出部１７により算出された合成比率に従って、被合成画像と合成用の高解像度画像とを合成して合成画像を生成する。

本実施形態によれば、部分領域毎の合成比率を算出する際に、相関情報及び当該部分領域が境界領域であるか否かに基づいて部分領域毎に合成比率を算出している。つまり、差分値が大きく部分領域間の相関性が低い場合は位置合わせが失敗している可能性が高いため、ローパス効果の弱いフィルタを適用した高解像度画像の合成比率が小さく、ローパス効果の強いフィルタを適用した低解像度の被合成画像の合成比率が大きくなるようにする。

また、境界領域においては動体境界でない領域よりも相関情報に応じてより低解像度である被合成画像の合成比率が大きくなりやすいようにしている。このようにすることで、動体境界で生じやすい残像やアーティファクトを確実に低減することができると共に、動体境界でない背景などの領域では低解像度画像の合成比率を大きくすることにより、解像度を向上させることができる。つまり、計算コストを抑制しつつ、多重像やアーティファクトを低減し、良好に解像度を向上させた画像を取得することができる。

（第２の実施形態）
以下、本発明の第２の実施形態に係る画像処理装置ついて図面を参照して説明する。本実施形態に係る画像処理装置は、第１の実施形態に係る画像処理装置におけるフィルタ処理部１６に代えて拡大処理部１９を有している。本実施形態に係る画像処理装置おいて、第１の実施形態に係る画像処理装置における同一の構成については同一の符号を付しその説明を省略する。

本実施形態では、図５に示すように、被合成画像生成手段としての拡大処理部１９を備えており、拡大処理部１９は、フレームメモリ２４から直接、低解像度画像が入力されるようになっている。

拡大処理部１９では、フレームメモリ２４から複数の低解像度画像のうち基準画像を取得し、この基準画像を位置合わせ部１３において生成される高解像度画像と同じ解像度に拡大して拡大基準画像を被合成画像として生成し、画像合成部１８に出力する。画像合成部１８では、位置合わせ部１３から出力された高解像度画像と被合成画像としての拡大基準画像とを合成比率算出部１７により算出された合成比率に従って合成し、合成画像を生成する。合成比率算出部１７における合成比率の算出は上述の第１の実施形態と同様に行われる。

従って、本実施形態に係る画像処理装置によっても、動体境界で生じやすい残像やアーティファクトを低減し、動体境界でない背景などの領域では複数枚の画素が配置されてできた高解像度画像の合成比率を大きくすることにより、解像度を向上させることができる。
つまり、計算コストを抑制しつつ、多重像やアーティファクトを低減し、良好に解像度を向上させた画像を取得することができる。

なお、上述した各実施形態では、画像取得部で取得した複数枚の入力画像よりも高解像度の画像を生成する例について説明したが、上記画像処理装置を、入力画像と同じ解像度の画像を生成するような複数枚合成によるノイズリダクションや高ダイナミックレンジ化などの処理に適用することもできる。

また、上述した各実施形態に係る画像処理装置は、デジタルカメラ等の画像処理装置の内部に備えられる構成とすることができる。また、上記画像処理を行う画像処理プログラムが汎用又は専用のコンピュータにより展開され実行される構成とすることもできる、すなわち汎用又は専用のコンピュータにより上記画像処理装置を実現することができる。

なお、上記画像処理を行う画像処理プログラムは、予めコンピュータに記憶しておくことができるのは勿論、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等のコンピュータ読み取り可能な記憶媒体に記憶しておくこともできる。

１１ 画像取得部
１２ 動き検出部
１３ 位置合わせ部
１４ 相関算出部
１５ 動体境界判定部
１６ フィルタ処理部（被合成画像生成手段）
１７ 合成比率算出部
１８ 画像合成部
１９ 拡大処理部
２１ 撮像素子
２２ シフト機構（移動手段）
２３ センサシフト制御部（移動制御手段）

Claims (10)

1. 時系列的に撮像された複数の低解像度画像を取得する画像取得手段と、
   複数の前記低解像度画像間の動きを検出する動き検出手段と、
   前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせ手段と、
   前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出手段と、
   複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成手段と、
   前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出手段と、
   前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成手段と、
   前記動きに基づいて、前記部分領域が動体の境界領域であるか否かを判定する動体境界判定手段と、を備え、
   前記合成比率算出手段が、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出し、前記部分領域が前記境界領域である場合、非境界領域である場合よりも、前記高解像度画像の割合が小さくなるように合成比率を算出する画像処理装置。
2. 時系列的に撮像された複数の低解像度画像を取得する画像取得手段と、
   複数の前記低解像度画像間の動きを検出する動き検出手段と、
   前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせ手段と、
   前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出手段と、
   複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成手段と、
   前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出手段と、
   前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成手段とを備え、
   前記被合成画像生成手段が、前記高解像度画像にフィルタ処理を施すことにより前記高解像度画像よりも解像度を低下させた画像を被合成画像として生成し、
   前記合成比率算出手段が、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出する画像処理装置。
3. 前記画像取得手段が、
   時系列的に被写体の光学像を複数フレーム取得する撮像素子と、
   前記光学像に対する前記撮像素子の位置を相対的に移動させる移動手段と、
   該移動手段による前記光学像と前記撮像素子との相対的な移動方向及び移動量を制御する移動制御手段と、を有する撮像ユニットである請求項１又は請求項２記載の画像処理装置。
4. 前記位置合わせ手段が、前記動き、又は前記移動方向及び前記移動量の少なくとも一方に基づいて位置合わせを行う請求項３記載の画像処理装置。
5. 前記相関算出手段が、前記高解像度画像の色チャネルに基づいて部分領域毎の相関情報を算出する請求項１乃至請求項４の何れか１項記載の画像処理装置。
6. 前記被合成画像生成手段が、複数の前記低解像度画像のうち何れか１の画像を前記高解像度画像と同解像度に拡大した拡大画像を被合成画像として生成する請求項１，請求項３乃至請求項５の何れか１項記載の画像処理装置。
7. 時系列的に撮像された複数の低解像度画像を取得する画像取得ステップと、
   複数の前記低解像度画像間の動きを検出する動き検出ステップと、
   前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせステップと、
   前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出ステップと、
   複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成ステップと、
   前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出ステップと、
   前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成ステップと、
   前記動きに基づいて、前記部分領域が動体の境界領域であるか否かを判定する動体境界判定ステップと、を備え、
   前記合成比率算出ステップが、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出し、前記部分領域が前記境界領域である場合、非境界領域である場合よりも、前記高解像度画像の割合が小さくなるように合成比率を算出する画像処理方法。
8. 時系列的に撮像された複数の低解像度画像を取得する画像取得ステップと、
   複数の前記低解像度画像間の動きを検出する動き検出ステップと、
   前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせステップと、
   前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出ステップと、
   複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成ステップと、
   前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出ステップと、
   前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成ステップと、を備え、
   前記被合成画像生成ステップが、前記高解像度画像にフィルタ処理を施すことにより前記高解像度画像よりも解像度を低下させた画像を被合成画像として生成し、
   前記合成比率算出ステップが、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出する画像処理方法。
9. 時系列的に撮像された複数の低解像度画像を取得する画像取得ステップと、
   複数の前記低解像度画像間の動きを検出する動き検出ステップと、
   前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせステップと、
   前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出ステップと、
   複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成ステップと、
   前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出ステップと、
   前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成ステップと、
   前記動きに基づいて、前記部分領域が動体の境界領域であるか否かを判定する動体境界判定ステップと、を備え、
   前記合成比率算出ステップが、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出し、前記部分領域が前記境界領域である場合、非境界領域である場合よりも、前記高解像度画像の割合が小さくなるように合成比率を算出する処理をコンピュータに実行させる画像処理プログラム。
10. 時系列的に撮像された複数の低解像度画像を取得する画像取得ステップと、
    複数の前記低解像度画像間の動きを検出する動き検出ステップと、
    前記動きに基づいて複数の前記低解像度画像の位置合わせを行い、該低解像度画像よりも高解像度の画像空間上に複数の前記低解像度画像を画素配置した高解像度画像を生成する位置合わせステップと、
    前記高解像度画像の部分領域毎に、該部分領域に相当する前記低解像度画像の対応領域間の相関の度合いを示す相関情報を算出する相関算出ステップと、
    複数の前記低解像度画像又は前記高解像度画像に基づいて、該高解像度画像よりも低解像度の被合成画像を生成する被合成画像生成ステップと、
    前記相関情報に基づいて、前記高解像度画像と前記被合成画像との合成比率を前記部分領域毎に算出する合成比率算出ステップと、
    前記合成比率に従って、前記高解像度画像と前記被合成画像との合成画像を生成する画像合成ステップと、を備え、
    前記被合成画像生成ステップが、前記高解像度画像にフィルタ処理を施すことにより前記高解像度画像よりも解像度を低下させた画像を被合成画像として生成し、
    前記合成比率算出ステップが、相関性の低い領域ほど前記高解像度画像の割合が小さく、相関性の高い領域ほど前記高解像度画像の割合が大きくなるように、前記部分領域毎に合成比率を算出する処理をコンピュータに実行させる画像処理プログラム。

Images