JP4429816B2 - 撮像装置および画像の高解像度化方法 - Google Patents

Description

本発明は、複数枚の低解像度画像から高解像度の画像を効率よく取得する、撮像装置および画像の高解像度化方法に関するものである。

ビデオカメラなどの撮像装置を使用する際に、複数フレームの位置ずれを有する画像を合成して、高解像度な画像を生成する撮像手法が提案されている。複数枚の低解像度画像から高解像度の画像を生成するためには、各低解像度画像同士の位置ずれを画素単位未満（本発明の明細書においては、サブピクセルということがある）の精度で検出する必要がある。

この際の計算量を減らすために、例えば特許文献１では、画像中の各物体について物体の特徴と物体相互の位置関係などの画像の構造解析を行う。そして、構造情報の対応づけを行うことで、フレーム画像間の相対的な位置ずれを検出し、画像の高解像化を行う手法が提案されている。

特開平１０−６９５３７号公報

しかしながら、特許文献１に開示されている手法では、画像処理手段の一部として被写体の構造解析手段を備えている必要があり、処理回路規模が大きくなるという問題があった。また、被写体の構造に関する情報がある程度事前に分っている必要があり、対応できる被写体の種類に制約を受けるという問題があった。

本発明は、上記問題に鑑みてなされたものであり、画像を帯域で分離することによって、各画像間の位置ずれ量（以下、モーションとする）の算出、高解像化処理を効率的に行う構成とした撮像装置および画像の高解像度化方法の提供を目的とする。

（１）．上記目的を達成するために、本発明の第１の実施形態にかかる撮像装置は、被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段と、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離する手段と、空間周波数によって分離された低周波成分画像を補間拡大処理を行う手段と、各フレーム間の被写体の相対的な変位量を推定する手段と、複数フレームの中から高解像画像推定処理を行うフレームを選択する手段と、複数フレームの画像信号からそれぞれ分離された高周波成分画像から高解像度な画像を推定する高解像画像推定手段と、補間拡大した画像と高解像化画像推定処理をした画像を合成する手段とを有することを特徴とする。

（１）の発明は、図１に示された第１の実施形態例が対応する。「被写体の像を結像させる光学的結像手段」は、光学系101が該当する。「光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段」は、イメージャ102が該当する。「サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離する手段」は、帯域分離処理部105が該当する。「空間周波数によって分離された低周波成分画像を補間拡大処理を行う手段」は、補間拡大処理部109が該当する。「各フレーム間の被写体の相対的な変位量を推定する手段」は、モーション推定部107が該当する。「複数フレームの中から高解像画像推定処理を行うフレームを選択する手段」は、超解像目的フレーム選択部106が該当する。「複数フレームの画像信号からそれぞれ分離された高周波成分画像から高解像度な画像を推定する高解像画像推定手段」は、高解像度画像推定部108が該当する。「補間拡大した画像と高解像化画像推定処理をした画像を合成する手段」は、合成演算処理部110が該当する。

（１）の発明の構成によれば、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離する手段を通した画像信号について、高解像画像推定手段で処理を行っている。このため、全画像データについて計算負荷の重い高解像度画像推定処理をする必要がなくなり、演算量を減らすことができるので、処理の高速化が可能となる。

（２）．前記（１）の発明において、前記サンプリングされた画像信号が、前記各フレーム間の被写体の相対的な変位量を推定する手段に入力されることを特徴とする。

（２）の発明は、図７に示された第１の実施形態例の変形例が対応する。すなわち、図７に示されているように、各フレーム間の被写体の相対的な変位量を推定する手段（モーション推定部107）には、イメージャ102でサンプリングされた画像信号が帯域分離処理部105で帯域分離される前に入力される。このため、イメージャ102でサンプリングされた画像信号の高周波成分および低周波成分すべてについて、各フレーム間の被写体の相対的な変位量を推定することができる。したがって、変位量推定の精度を高めることが可能となる。

（３）．前記（１）の発明において、前記各フレーム間の被写体の相対的な変位量を推定する手段は、前記複数の成分の画像信号に分離された少なくとも１つの成分の画像信号を用いて各フレーム間の被写体の相対的な変位量を推定することを特徴とする。（３）の発明は、図１に示された第１の実施形態例が対応する。モーション推定部107には、帯域分離処理部105で複数の成分に分離された画像信号の中で、少なくとも１つの成分の画像信号が入力されて各フレーム間の被写体の相対的な変位量を推定する。この構成によれば、帯域分離処理部105で複数の成分に分離された画像信号の中で、適宜の成分の画像信号をモーション推定部107に入力して、各フレーム間の被写体の相対的な変位量を推定することができる。

（４）．本発明の第２の実施形態にかかる撮像装置は、被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段と、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離する手段と、各フレーム間の被写体の相対的な変位量を推定する手段と、画像信号を一時記憶させておく画像記憶手段と、複数フレームの中から高解像画像推定処理を行うフレームを選択する手段と、複数フレームの画像信号から高解像度な画像を推定する高解像画像推定手段と、前記空間周波数によって分離された複数の成分の画像信号のうち少なくとも１つの画像信号を参照し、画像の情報を判別する画像情報判別手段と、前記画像情報判別手段により判別された画像の情報を用いて画像中の領域を設定する手段とを備え、前記高解像画像推定手段は、前記画像中の領域の情報を用いて高解像画像を推定することを特徴とする。

（４）の発明は、図１４に示された第２の実施形態例が対応する。「被写体の像を結像させる光学的結像手段」は、光学系101が該当する。「光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段」は、イメージャ102が該当する。「サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離する手段」は、帯域分離処理部105が該当する。「各フレーム間の被写体の相対的な変位量を推定する手段」は、モーション推定部107が該当する。「画像信号を一時記憶させておく画像記憶手段」は、メモリ部113が該当する。「複数フレームの中から高解像画像推定処理を行うフレームを選択する手段」は、超解像目的フレーム選択部106が該当する。「複数フレームの画像信号の高周波成分から高解像度な画像を推定する高解像画像推定手段」は、高解像度画像推定部108が該当する。「空間周波数によって分離された複数の成分の画像信号のうち少なくとも１つの画像信号を参照し、画像の情報を判別する画像情報判別手段」、および「画像情報判別手段により判別された画像の情報を用いて画像中の領域を設定する手段」は、処理領域決定部114が該当する。

（４）の発明によれば、（１）の発明の空間周波数によって分離された画像の低周波成分を補間拡大処理を行う手段、画像信号から高解像度化の処理を行う領域を決める手段、補間拡大した画像と高解像化画像推定処理をした画像を合成する手段が不要となり、処理の規模を縮小することが可能となる。

（５）．（４）の発明は、前記画像情報判別手段は、画像の高周波成分を抽出する手段であることを特徴とする。「画像情報判別手段」に相当する処理領域決定部114は、高周波成分と低周波成分に分離した画像のなかで、高周波成分のみの情報を判別する。この構成によれば、画像中の高周波成分を多く含む一部の領域のみを用いてモーション推定を行い、それを画像全体のモーションとして使用し高解像度画像推定演算を行うことができる。

（６）．また、（４）の発明は、前記画像情報判別手段は、前記空間周波数によって分離された複数の成分の画像信号のうち、少なくとも１つの画像信号の輝度情報を参照することを特徴とする。「空間周波数によって分離された複数の成分の画像信号のうち、少なくとも１つの画像信号の輝度情報を参照する画像情報判別手段」は、処理領域決定部114が相当する。この構成によれば、輝度情報から高周波成分の多い領域を決定して切り出し、モーション推定部107に送ることができる。

（７）．本発明の第１の実施形態にかかる画像の高解像度化方法は、サンプリングされた画像信号の高解像度化を行う方法において、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離するステップと、空間周波数によって分離された低周波成分画像に補間拡大処理を行うステップと、各フレーム間の相対的な変位量を変位量推定手段により推定するステップと、複数フレームの中から高解像化画像推定処理を行うフレームを選択するステップと、複数フレームの画像信号からそれぞれ分離された高周波成分画像から高解像度な画像を推定する高解像画像推定のステップと、補間拡大した画像と高解像化画像推定処理をした画像を合成するステップと、を有することを特徴とする。

（７）の発明は、図１の構成図による画像の高解像度化を行う方法が対応する。「サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離するステップ」は、帯域分離処理部105による処理が該当する。「空間周波数によって分離された低周波成分画像に補間拡大処理を行うステップ」は、補間拡大処理部109による処理が該当する。「各フレーム間の相対的な変位量を変位量推定手段により推定するステップ」は、モーション推定部107による処理が該当する。「複数フレームの中から高解像化画像推定処理を行うフレームを選択するステップ」は、超解像目的フレーム選択部106による処理が該当する。「複数フレームの画像信号からそれぞれ分離された高周波成分画像から高解像度な画像を推定する高解像画像推定のステップ」は、高解像度画像推定部108による処理が該当する。「補間拡大した画像と高解像化画像推定処理をした画像を合成するステップ」は、合成演算処理部110による処理が該当する。

（７）の発明によれば、ソフトウエアにより高解像度画像推定処理を行う際に、全画像についての処理が不要であり、演算速度を向上させることができる。

（８）．前記（７）の発明において、前記サンプリングされた画像信号が、前記各フレーム間の被写体の相対的な変位量を推定する変位量推定手段に入力されることを特徴とする。（８）の発明は、図７に示された第１の実施形態例の変形例による画像の高解像度化を行う方法が対応する。この構成によれば、ソフトウエアにより高解像度画像推定処理を行う際に、変位量推定の精度を高めることができる。

（９）また、前記（７）の発明において、前記各フレーム間の被写体の相対的な変位量を推定するステップは、前記複数の成分の画像信号に分離された少なくとも１つの成分の画像信号を用いて、各フレーム間の被写体の相対的な変位量を推定することを特徴とする。（９）の発明は、図１の構成図による画像の高解像度化を行う方法が対応する。この構成によれば、ソフトウエアにより高解像度画像推定処理を行う際に、複数の成分に分離された画像信号の中で、適宜の成分の画像信号に対して各フレーム間の被写体の相対的な変位量を推定することができる。

（１０）．本発明の第２の実施形態にかかる画像の高解像度化方法は、サンプリングされた画像信号の高解像度化を行う方法において、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離するステップと、各フレーム間の相対的な変位量を推定するステップと、画像信号を画像記憶手段に一時記憶させておくステップと、複数フレームの中から高解像化画像推定処理を行うフレームを選択するステップと、複数フレームの画像信号から高解像度な画像を推定する高解像画像推定のステップと、前記空間周波数によって分離された複数の成分の画像信号のうち少なくとも１つの画像信号を参照し画像の情報を判別手段により判別するステップと、前記判別手段により画像中の領域を設定するステップとを含み、前記高解像画像推定のステップは、前記画像中の領域の情報を用いて高解像画像を推定することを特徴とする。

（１０）の発明は、図１４に示された第２の実施形態例の構成図による画像の高解像度化を行う方法が対応する。「サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離するステップ」は、帯域分離処理部105による処理が該当する。「各フレーム間の相対的な変位量を推定するステップ」は、モーション推定部107による処理が該当する。「画像信号を画像記憶手段に一時記憶させておくステップ」は、メモリ部113による処理が該当する。「複数フレームの中から高解像化画像推定処理を行うフレームを選択するステップ」は、超解像目的フレーム選択部106による処理が該当する。「複数フレームの画像信号から高解像度な画像を推定する高解像画像推定のステップ」は、高解像度画像推定部108による処理が該当する。「前記空間周波数によって分離された複数の成分の画像信号のうち少なくとも１つの画像信号を参照し画像の情報を判別手段により判別するステップ」、および「前記判別手段により画像中の領域を設定するステップ」は、処理領域決定部114による処理が該当する。（１０）の発明によれば、ソフトウエアにより画像の高解像度化を行う際の処理速度を更に高めることができる。

（１１）．前記（１０）の発明は、前記画像の情報を判別するステップにおいて、画像の高周波成分を抽出することを特徴とする。この構成によれば、ソフトウエアにより高解像度画像推定処理を行う際に、画像中の高周波成分を多く含む一部の領域のみを用いたモーション推定で高解像度画像推定演算を行うことができる。

（１２）．また、前記（１０）の発明は、前記画像の情報を判別するステップは、前記空間周波数によって分離された複数の成分の画像信号のうち少なくとも１つの画像信号の輝度情報を参照することを特徴とする。この処理は、処理領域決定部114による処理が相当する。この構成によれば、ソフトウエアにより高解像度画像推定処理を行う際に、輝度情報から高周波成分の多い領域を決定して切り出し、モーション推定部で各フレーム間の相対的な変位量を推定することができる。

本発明の撮像装置および画像の高解像度化方法においては、高解像度画像推定演算やそのために必要なモーション推定演算を効率的に行うことが可能となる。

以下、本発明の実施形態例について図を参照して説明する。図１は第１の実施形態例の構成図である。図１において、光学系101はイメージャ102に光学像を結像し、イメージャ102は光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する。イメージャ102でサンプリングされた画像信号は、帯域分離処理部105で空間周波数によって高周波成分画像と低周波成分画像に分離する。

超解像処理は、モーション推定部107と、高解像度の画素配列の画像データを推定する高解像度画像推定部108により行う構成としている。高周波成分画像は超解像処理を行うために、モーション推定部107に伝送される。ここで、超解像処理は、サブピクセルレベルでの位置ずれのある画像を複数枚撮影し、これらの画像の光学系等の劣化要因などをキャンセルした上で合成して、１枚の高精細な画像を形成する手法である。

超解像目的フレーム選択部106では、超解像処理を行う目的のフレームを選択する。帯域分離処理部105で分離された低周波成分画像のうち、超解像処理を行う目的フレームに相当するフレームを選択して補間拡大処理部109に伝送する。補間拡大処理部109は、例えばバイキュービック（bicubic）による補間処理を備え、目的フレームの低周波成分画像の拡大処理を行う。

高解像画像演算領域判定部112では、例えば図１０に示されているように、帯域分離処理部105で出力された高周波成分画像と、超解像目的フレーム選択部106から与えられる目的フレームの情報から、画像中の高解像度画像推定演算を行う領域を判定する。高解像度画像推定演算部108では、モーション推定部107から与えられる各フレーム毎のモーションの情報と、高解像度画像推定演算領域判断部112から与えられる領域毎の演算指定情報のついた複数フレームの画像データから、高解像度画像推定演算を行う。これにより、高周波成分をもつ領域だけで高解像度画像推定演算が行われる。合成演算処理部110の構成については、図１３により後述する。

図１の構成では、光学系101はイメージャ102に光学像を結像し、イメージャ102は光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換している。本発明においては、画像信号は光学系101、イメージャ102で取得されたものには限定されない。適宜の記録媒体などに記録されている、サンプリングされた画像信号を用いて、画像の高解像度化処理を行う構成とすることもできる。この場合には、前記記録媒体などに記録されている、サンプリングされた画像信号を、帯域分離処理部105と超解像目的フレーム選択部106に入力する。以下、モーション推定部107、高解像度画像推定演算部108、補間拡大処理部109、合成演算処理部110、高解像画像演算領域判定部112により、前記したと同様の処理を行う。すなわち、図１の構成により、画像の高解像度化法の発明を実施することができる。

図２は、図１で説明した帯域分離処理部105の構成の一例を示す構成図である。イメージャ102より出力された画像信号は、ローパスフィルタ処理部1051で低周波画像に変換され、低周波成分画像のうち超解像目的フレーム選択部106で選択されたフレームを補間拡大処理部109に出力する。また、高周波成分画像は、ローパスフィルタ処理部1051で得られた画像に対して、バイアス加算処理部1052で所定のバイアス処理を行い、差分演算処理部1053で元の画像との差分演算を行う。バイアス加算処理部1052は、高周波成分の画像を所定の符合無しのビット幅のメモリに保持するための非負化処理を行う。

前記バイアス加算処理部1052には、バイアスレベルの信号と、ローパスフィルタ1051の信号が入力される。また、差分演算処理部1053には、バイアス加算処理部1052の信号と、図１のイメージャ102で出力される画像信号が入力される。したがって、差分演算処理部1053からは、イメージャ102の出力信号と、イメージャ102の出力信号をローパスフィルタ1051で通過させた信号に、バイアス信号を加算させた信号との差分が出力される。差分演算処理部1053の出力信号は、高周波成分画像として図１のモーション推定部107に入力される。

図３〜図５は、帯域分離処理部105で、イメージャ102の出力信号に対して帯域分離処理をおこなった画像の例を示す説明図である。元の画像信号（図３）に対して、ローパスフィルタ処理を行った画像は図４に示されている。すなわち、図４の画像は図１の補間拡大処理部109に入力される。また、図２のバイアス加算処理1052,差分演算処理部1053で処理を行った結果の高周波成分画像を、図５に示している。

図５の画像の階調のヒストグラムを、図６の特性図に示している。図６において、横軸は８ビットの画像信号を表している。また、縦軸の左側軸には差分の頻度を％で表している。更に、縦軸の右側軸には、画素頻度の累積値（絶対値）を示している。図６に示されているように、８ビットの画像信号の中央付近の１２８に差分の頻度のピーク値を形成している。また、９６から１６０の間の６４階調に９９．６％の画素が含まれており、高周波成分画像を６ビットで表現できる。

図７は、第１の実施形態例の変形例を示す構成図である。図１と相違するところのみを説明する。図７の構成においては、イメージャ102の信号を直接にモーション推定部107に入力している。すなわち、モーション推定に関しては、図７に示すように帯域分離を行わずに、イメージャ102で光学的に結像した画像を空間的に離散化してサンプリングした元の画像信号を用いるようにしても良い。図７の構成とする場合には、イメージャ102の信号をすべてモーション推定しているので、変位量推定の精度を高めることができる。

図７の例においても、光学系101、イメージャ102で取得された画像信号に代えて、適宜の記録媒体などに記録されている、サンプリングされた画像信号を用いて、画像の高解像度化処理を行う構成とすることもできる。この場合には、図１の例で説明したと同様にして、図７の構成により、画像の高解像度化法の発明を実施することができる。

図８は、モーション推定のアルゴリズムの詳細を示すフローチャートである。以下、アルゴリズムの流れにそって図８を説明する。処理プログラムを開始して、Ｓ１：モーション推定の基準となる画像を1枚読み込む。Ｓ２：基準画像を複数のモーションで変形させる。Ｓ３：基準画像との間のモーション推定を行う参照画像を1枚読み込む。Ｓ４：基準画像を複数変形させた画像列と参照画像の間の類似度値を算出する。Ｓ５：変形モーションのパラメータと算出した類似度値との関係を用いて、離散的な類似度マップを作成する。

Ｓ６：Ｓ５で作成した離散的な類似度マップを補完することで、類似度マップの極値を探索し、類似度マップの極値を求める。極値を持つ変形モーションが推定したモーションとなる。類似度マップの極値の探索法にはパラボラフィッティング、スプライン補間法等がある。Ｓ７：全ての参照画像において、対象となる全ての参照画像においてモーション推定を行なったかどうかを判定する。Ｓ８：モーション推定を行っていない場合には、Ｓ３の処理に戻り、次の画像の読み込み処理を継続する。対象となる全ての参照画像においてモーション推定を行っている場合には、処理プログラムを終了する。

図９は、図１で説明したモーション推定部107で行うモーション推定の最適類似度の推定を示す概念図である。図９においては、黒丸の３点を用いてモーション推定をパラボラフィッティングで行った例を示している。縦軸は類似度を表し、横軸は変形モーションパラメータを示している。縦軸の値が小さいほど類似度が高く、縦軸の値が最小値となる灰色の丸は類似度の極値となる。

図１０は、図１の高解像度画像演算領域判定部112の処理例を示す概念図である。図１０において、（ａ）は帯域分離処理部105で出力された高周波成分画像、（ｂ）は超解像目的フレーム選択部106から与えられる目的フレームの情報である。高解像度画像演算領域判定部112は、（ｂ）の高周波成分を有する領域から、画像中の高解像度画像推定演算を行う領域を判定し、この領域から（ｃ）の「１」のレベルの画素の情報を生成する。このような処理により、高周波成分をもつ領域だけで高解像度画像推定演算が行われることになる。

図１１は、高解像度画像推定処理のアルゴリズムを示すフローチャートである。処理プログラムを開始する。Ｓ１１：高解像度画像推定に用いるため複数枚の低解像度画像n枚を読み込む(n≧1)。Ｓ１２：複数枚の低解像度画像の中の任意の一枚をターゲットフレームと仮定し、補間処理を行うことで初期の高解像度画像を作成する。このステップは場合により省略することができる。Ｓ１３：あらかじめ何らかのモーション推定法で求められた、ターゲットフレームとその他のフレームの画像間のモーションにより、画像間の位置関係を明らかにする。Ｓ１４：光学伝達関数(OTF)、CCDアパーチャ等の撮像特性を考慮した点広がり関数(PSF：Point Spread Function）)を求める。PSFは例えばGauss関数を用いる。Ｓ１５：Ｓ３、Ｓ４の情報を元に、評価関数f(z)の最小化を行う。ただし、f(z)は次式で表される。

ここでyは低解像度画像、zは高解像度画像、Aは画像間モーション、PSF等を含めた撮像システムをあらわす画像変換行列である。g(z)は画像の滑らかさや色相関を考慮した拘束項等が入る。λは重み係数である。評価関数の最小化には、例えば最急降下法を用いる。Ｓ１６：Ｓ１５で求めたf(z)が最小化された場合、処理を終了し高解像度画像zを得る。Ｓ１７：f(z)がまだ最小化されていない場合には、高解像度画像zをアップデートしてＳ１３の処理に戻る。

図１２は、図１に示した高解像度画像推定演算部108の構成図である。高解像度画像推定処理部108は、初期画像作成部1201、畳込み積分部1202、PSFデータ保持部1203、画像比較部1204、乗算部1205、貼り合せ加算部1206、蓄積加算部1207、更新画像生成部1208、画像蓄積部1209、反復演算判定部1210、反復判定値保持部1211から構成される。また、図１２で破線で囲んだ部分は、図１１のＳ１５で説明した評価関数ｆ（ｚ）の最小化処理を行う構成に相当する最小化処理部1212である。なお、PSFデータは、点広がり関数のデータである。

図１２において、図１の高解像度画像推定演算領域判定部112より目的フレームの高周波画像情報が初期画像作成部1201に与えられ、ここで与えられた画像情報は補間拡大されてこれが初期画像となる。この初期画像は、畳込み積分部1202に与えられ、PSFデータ保持部1203より送信されるPSFデータと畳込み積分される。ここでのPSFデータは、各フレームのモーションも考慮して与えられる。初期画像データは、同時に画像蓄積部1209に送られ、画像蓄積部1209で蓄積される。畳込み積分部1202で畳込み演算された画像データは、画像比較部1204に送られ、モーション推定部で求められた各フレーム毎のモーションを元に、適切な座標位置で高解像度画像推定演算領域判定部112より与えられる撮影画像と比較される。

画像比較部1204で比較された残差は、乗算部1205に送られPSFデータ保持部1203より与えられるPSFデータの各画素毎の値と掛け合わされる。この演算結果は、貼り合せ加算部1206に送られ、それぞれ対応する座標位置に配置される。ここで、乗算部1205からの画像データは、重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる部分については貼り合せ加算部1206で加算していく。撮影画像1枚分のデータの貼り合せ加算が終ると、データは蓄積加算部1207に送られる。蓄積加算部1207では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データ順次加算していく。

蓄積加算部1207で加算された画像データは、更新画像生成部1208に送られる。更新画像生成部1208には、これと同時に画像蓄積部1209に蓄積されていた画像データが与えられ、この2つの画像データに重みをつけて加算して更新画像データを生成する。生成された更新画像データは、反復演算判定部1210に与えられ、反復判定値保持部1211から与えられる反復判定値を元に演算を反復するか否かを判断する。演算を反復する場合には、データを畳込み積分部1202に送り前記の一連の処理を繰り返し、反復しない場合は生成された画像データを出力する。

上記一連の処理を行なうことにより、反復演算判定部1210から出力される画像は撮影画像よりも高解像度なものとなっている。また前記PSFデータ保持部1203で保持されるPSFデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、図１のモーション推定部107より各フレーム毎のモーションが与えられるようになっている。図１２で、破線で囲んだ部分は、図１１のＳ１５でなされた評価関数f(z)の最小化処理に相当する最小化処理部1212である。

図１３は図１の合成演算処理部110の構成のを示す構成図である。図1３において、高解像度画像推定演算部108からは推定された高解像度画像情報が、補間拡大処理部109からは補間拡大画像情報が、合成演算処理部110に与えられる。合成演算処理部110に与えられた高解像度画像に、図２で帯域分離した際に加算したbiasレベルを差し引く。そして、biasレベルを差し引いた高解像度画像は、画像中の対応する座標位置で低周波画像と加算されることにより、エッジなどの高周波を持った部分のみが高解像化された画像が合成される。このような合成画像が、合成演算処理部110から出力される。

以上説明した本発明の第１の実施形態例により、高周波成分の少ない画像では全画像データについて計算負荷の重い高解像度画像推定処理をする必要がなくなり、演算量を減らすことができるので、処理の高速化が可能となる。

図１４は、本発明の第２の実施形態例を示す構成図である。図１４において、光学系101はイメージャ102に光学像を結像し、ここでサンプリングされた画像データは帯域分離処理部105とメモリ部113に与えられる。帯域分離処理部105では画像を高周波成分画像と低周波成分画像に分離し、このうち高周波成分画像の情報のみを処理領域決定部114に与える。処理領域決定部114では画像中で高周波成分の多い領域を検出して切り出し、モーション推定部107に与える。モーション推定部107の基本的なアルゴリズムは第1の実施の形態と同じものとする。

撮影した画像中である特定の物体のみが動いているのではなく、画像全体が動いている、と仮定できる場合には、画像内のモーションは均一であると考えられるので、画像全体でモーション推定を行う必要はなく、正確なモーション推定に寄与する高周波成分を持つ領域の情報のみを用いてモーション推定を行うことは可能である。従って、本発明の第２の実施形態例では、画像中の高周波成分を多く含む一部の領域のみを用いてモーション推定を行い、それを画像全体のモーションとして使用し高解像度画像推定演算を行う。処理領域決定部114では、画像の高周波成分から高周波の多い領域を一つ以上特定し、その領域の情報を切り出してモーション推定部107に送るものとする。また、このときに処理領域決定部114では、高周波成分画像の輝度情報を算出し、その輝度情報から高周波成分の多い領域を決定して切り出し、モーション推定部107に送るものとしても良い。

画像中の高周波成分を多く含む一領域から得られたモーション推定のデータを高解像度画像推定演算部108に与え、同時にメモリ部113に一時蓄積していた画像データを高解像度画像推定演算部108に与えて高解像度画像推定演算を行う。これにより高解像度推定画像が生成される。第２の実施形態例では、モーション推定、高解像度画像推定演算の詳細は第1の実施形態例と同様に行うものとする。

図１４に示された第２の実施形態例では、図１に示した第1の実施形態例で設けられていた補間拡大処理部109、高解像度画像推定演算領域判断部112、合成演算処理部110が不要となる。このため、高解像度画像を得るために要する処理の規模を縮小することが可能となる。

図１４の例においても、光学系101、イメージャ102で取得された画像信号に代えて、適宜の記録媒体などに記録されている、サンプリングされた画像信号を用いて、画像の高解像度化処理を行う構成とすることもできる。この場合には、図１、図７の例で説明したと同様にして、図１４の構成により、画像の高解像度化法の発明を実施することができる。

以上説明したように、本発明によれば、高解像度画像推定演算やそのために必要なモーション推定演算を効率的に行う撮像装置および画像の高解像度化方法を提供をすることができる。

第１の実施形態例の構成図である。 帯域処理部の構成図である。 帯域分離前の画像の例を示す説明図である。 図３の画像にローパスフィルタ処理を施した例の説明図である。 図４の画像に1052と1053の処理を行った例の説明図である。 図５の画像の階調のヒストグラムを示す特性図である。 第1の発明の実施形態における変形例の構成図である。 モーション推定アルゴリズムのフローチャートである。 モーション推定の最適類似度の推定を示す概念図である。 高解像度画像演算領域判定の概念図である。 高解像度画像推定処理アルゴリズムのフローチャートである。 高解像度画像推定演算部の構成図である。 合成演算処理部の構成図である。 第２の発明の実施の形態の構成図である。

符号の説明

１０１・・・光学系、１０２・・・イメージャ、１０５・・・帯域分離処理部、１０６・・・超解像目的フレーム選択部、１０７・・・モーション推定部、１０８・・・高解像度画像推定部、１０９・・・補間拡大処理部、１１０・・・合成演算処理部、１１２・・・高解像画像演算領域判定部、１１３・・・メモリ部、
１１４・・・処理領域決定部、１０５１・・・ローパスフィルタ、１０５２・・・バイアス加算処理部、１０５３・・・差分演算処理部

Claims (10)

1. 被写体の像を電子的に得る撮像装置において、
   被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段と、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離する手段と、空間周波数によって分離された低周波成分画像を補間拡大処理を行う手段と、各フレーム間の被写体の相対的な変位量を推定する手段と、複数フレームの中から高解像画像推定処理を行うフレームを選択する手段と、複数フレームの画像信号からそれぞれ分離された高周波成分画像から高解像度な画像を推定する高解像画像推定手段と、補間拡大した画像と高解像化画像推定処理をした画像を合成する手段とを有することを特徴とする撮像装置。
2. 前記サンプリングされた画像信号が、前記各フレーム間の被写体の相対的な変位量を推定する手段に入力されることを特徴とする、請求項１に記載の撮像装置。
3. 前記各フレーム間の被写体の相対的な変位量を推定する手段は、前記複数の成分の画像信号に分離された少なくとも１つの成分の画像信号を用いて各フレーム間の被写体の相対的な変位量を推定することを特徴とする、請求項１に記載の撮像装置。
4. 被写体の像を電子的に得る撮像装置において、
   被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段と、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離する手段と、各フレーム間の被写体の相対的な変位量を推定する手段と、画像信号を一時記憶させておく画像記憶手段と、複数フレームの中から高解像画像推定処理を行うフレームを選択する手段と、複数フレームの画像信号から高解像度な画像を推定する高解像画像推定手段と、前記空間周波数によって分離された高周波成分画像を用いて前記画像中の高周波成分の多い領域を設定する手段とを備え、前記高解像画像推定手段は、前記画像中の高周波成分の多い領域の情報を用いて高解像画像を推定することを特徴とする撮像装置。
5. 前記画像情報判別手段は、前記空間周波数によって分離された高周波成分画像の輝度情報
   を参照することを特徴とする、請求項４に記載の撮像装置。
6. サンプリングされた画像信号の高解像度化を行う方法において、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離するステップと、空間周波数によって分離された低周波成分画像に補間拡大処理を行うステップと、各フレーム間の相対的な変位量を変位量推定手段により推定するステップと、複数フレームの中から高解像化画像推定処理を行うフレームを選択するステップと、複数フレームの画像信号からそれぞれ分離された高周波成分画像から高解像度な画像を推定する高解像画像推定のステップと、補間拡大した画像と高解像化画像推定処理をした画像を合成するステップと、を有することを特徴とする画像の高解像度化方法。
7. 前記サンプリングされた画像信号が、前記各フレーム間の被写体の相対的な変位量を推定する変位量推定手段に入力されることを特徴とする、請求項６に記載の画像の高解像度化方法。
8. 前記各フレーム間の被写体の相対的な変位量を推定するステップは、前記複数の成分の画像信号に分離された少なくとも１つの成分の画像信号を用いて、各フレーム間の被写体の相対的な変位量を推定することを特徴とする、請求項６に記載の画像の高解像度化方法。
9. サンプリングされた画像信号の高解像度化を行う方法において、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離するステップと、各フレーム間の相対的な変位量を推定するステップと、画像信号を画像記憶手段に一時記憶させておくステップと、複数フレームの中から高解像化画像推定処理を行うフレームを選択するステップと、複数フレームの画像信号から高解像度な画像を推定する高解像画像推定のステップと、前記空間周波数によって分離された高周波成分画像により画像中の高周波成分の多い領域を設定するステップとを含み、前記高解像画像推定のステップは、前記画像中の高周波成分の多い領域の情報を用いて高解像画像を推定することを特徴とする画像の高解像度化方法。
10. 前記画像中の高周波成分の多い領域を設定するステップは、前記空間周波数によって分離された高周波成分画像の輝度情報を参照することを特徴とする、請求項９に記載の画像の高解像度化方法。

Images