WO2005122083A1

WO2005122083A1 - 撮像装置および画像の高解像度化方法

Info

Publication number: WO2005122083A1
Application number: PCT/JP2005/010992
Authority: WO
Inventors: Tomoyuki Nakamura; Takahiro Yano
Original assignee: Olympus Corporation
Priority date: 2004-06-10
Filing date: 2005-06-09
Publication date: 2005-12-22
Also published as: JP4429816B2; US20070177027A1; JP2005352720A

Abstract

光学系（１０１）はイメ−ジャ（１０２）に光学像を結像し、画像を空間的に離散化してサンプリングした画像信号に変換してから帯域分離処理部（１０５）で高周波成分と低周波成分に分離する。超解像目的フレ−ム選択部（１０６）では、分離された低周波成分画像のうち、超解像処理を行うフレ−ムを選択して補間拡大処理部（１０９）に伝送する。超解像処理は、モ−ションの推定部（１０７）と、高解像度の画素配列の画像デ−タを推定する高解像度画像推定部（１０８）により行う。高解像画像演算領域判定部（１１２）では、画像中の高解像度画像推定演算を行う領域を判定し、高解像度画像推定演算部（１０８）の出力は合成演算処理部（１１０）に送られる。

Description

明細書

撮像装置および画像の高解像度化方法

技術分野

本発明は、複数枚の低解像度画像から高解像度の画像を効率よく取得する、撮像装置および画像の高解像度化方法に関するものである。背景技術

ビデオカメラなどの撮像装置を使用する際に、複数フレームの位置ずれを有する画像を合成して、高解像度な画像を生成する撮像手法が提案されている。複数枚の低解像度画像から高解像度の画像を生成するためには、各低解像度画像同士の位置ずれを画素単位未満（本発明の明細書においては、サブピクセルということがある）の精度で検出する必要がある。

この際の計算量を減らすために、例えば特開平 1 0— 6 9 5 3 7号公報では、画像中の各物体について物体の特徴と物体相互の位置関係などの画像の構造解析を行う。そして、構造情報の対応づけを行うことで、フレーム画像間の相対的な位置ずれを検出し、画像の高解像化を行う手法が提案されている。

しかしながら、特開平 1 0— 6 9 5 3 7号公報に開示されている手法では、画像処理手段の一部として被写体の構造解析手段を備えている必要があり、処理回路規模が大きくなるという問題があった。また、被写体の構造に関する情報がある程度事前に分っている必要があり、対応できる被写体の種類に制約を受けるという問題があった。

本発明は、上記問題に鑑みてなされたものであり、画像を帯域で分離することによって、各画像間の位置ずれ量（以下、モーションとする）の算出、高解像化処理を効率的に行う構成とした撮像装置および画像の高解像度化方法の提供を目的とする。発明の開示

( 1 ) 上記目的を達成する本発明の第 1 の実施形態にかかる撮像装置は、被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段と、サンプリングされた画像信号を空間周波数によつて複数の成分の画像信号に分離する手段と、空間周波数によつて分離された低周波成分画像を補間拡大処理を行う手段と、各フレーム間の被写体の相対的な変位量を推定する手段と、複数フレームの中から高解像画像推定処理を行うフレームを選択する手段と、複数フレームの画像信号からそれぞれ分離された高周波成分画像から高解像度な画像を推定する高解像画像推定手段と、補間拡大した画像と高解像化画像推定処理をした画像を合成する手段とを有することを特徴とする。

( 1 ) の発明は、図 1 に示された第 1 の実施形態例が対応する。「被写体の像を結像させる光学的結像手段」は、光学系 101が該当する。

「光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段」は、イメージャ 102が該当する。「サンプリングされた画像信号を空間周波数によつて複数の成分の画像信号に分離する手段」は、帯域分離処理部 105が該当する。「空間周波数によって分離された低周波成分画像を補間拡大処理を行う手段」は、補間拡大処理部 109が該当する。「各フレーム間の被写体の相対的な変位量を推定する手段」は、モーション推定部 107が該当する。「複数フレームの中から高解像画像推定処理を行うフレームを選択する手段」は、超解像目的フレーム選択部 1 06が該当する。「複数フレームの画像信号からそれぞれ分離された高周波成分画像から高解像度な画像を推定する高解像画像推定手段」は、高解像度画像推定部 108が該当する。「補間拡大した画像と高解像化画像推定処理をした画像を合成する手段」は、合成演算処理部 110が該当する。

( 1 ) の発明の構成によれば、サンプリングされた画像信号を空間周波数によつて複数の成分の画像信号に分離する手段を通した画像信号について、高解像画像推定手段で処理を行っている。このため、全画像データについて計算負荷の重い高解像度画像推定処理をする必要がなくなり、演算量を減らすことができるので、処理の高速化が可能となる。

( 2 ) . 前記（ 1 ) の発明において、前記サンプリングされた画像信号が、前記各フレーム間の被写体の相対的な変位量を推定する手段に入力されることを特徴とする。

( 2 ) の発明は、図 7に示された第 1 の実施形態例の変形例が対応する。すなわち、図 7に示されているように、各フレーム間の被写体の相対的な変位量を推定する手段（モーション推定部 107) には、ィメ —ジャ 102でサンプリングされた画像信号が帯域分離処理部 105で帯域分離される前に入力される。このため、イメージャ 102でサンプリングされた画像信号の高周波成分および低周波成分すべてについて、各フレーム間の被写体の相対的な変位量を推定することができる。したがつて、変位量推定の精度を高めることが可能となる。

( 3 ) . 前記（ 1 ) の発明において、前記各フレーム間の被写体の相対的な変位量を推定する手段は、前記複数の成分の画像信号に分離された少なくとも 1つの成分の画像信号を用いて各フレーム間の被写体の相対的な変位量を推定することを特徴とする。（3 ) の発明は、図 1 に示された第 1の実施形態例が対応する。モーション推定部 107には、帯域分離処理部 105で複数の成分に分離された画像信号の中で、少なくとも 1つの成分の画像信号が入力されて各フレーム間の被写体の相対的な変位量を推定する。この構成によれば、帯域分離処理部 105で複数の成分に分離された画像信号の中で、適宜の成分の画像信号をモーション推定部 107に入力して、各フレーム間の被写体の相対的な変位量を推定することができる。

( 4 ) . 本発明の第 2の実施形態にかかる撮像装置は、被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段と、サンプリングされた画像信号を空間周波数によつて複数の成分の画像信号に分離する手段と、各フレーム間の被写体の相対的な変位量を推定する手段と、画像信号を一時記憶させておく画像記憶手段と、複数フレームの中から高解像画像推定処理を行うフレームを選択する手段と、複数フレームの画像信号から高解像度な画像を推定する高解像画像推定手段と、前記空間周波数によつて分離された複数の成分の画像信号のうち少なくとも 1つの画像信号を参照し、画像の情報を判別する画像情報判別手段と、前記画像情報判別手段により判別された画像の情報を用いて画像中の領域を設定する手段とを備え、前記高解像画像推定手段は、前記画像中の領域の情報を用いて高解像画像を推定することを特徴とする。

( 4 ) の発明は、図 1 4に示された第 2の実施形態例が対応する。「被写体の像を結像させる光学的結像手段」は、光学系 101が該当する。「光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段」は、イメージャ 102が該当する。「サンプリングされた画像信号を空間周波数によつて複数の成分の画像信号に分離する手段」は、帯域分離処理部 105が該当する。「各フレーム間の被写体の相対的な変位量を推定する手段」は、モーション推定部 107が該当する。「画像信号を一時記憶させておく画像記憶手段」は、メモリ部 1 13 が該当する。「複数フレームの中から高解像画像推定処理を行うフレームを選択する手段」は、超解像目的フレーム選択部 106が該当する。「複数フレームの画像信号の高周波成分から高解像度な画像を推定する高解像画像推定手段」は、高解像度画像推定部 108が該当する。「空間周波数によつて分離された複数の成分の画像信号のうち少なくとも 1つの画像信号を参照し、画像の情報を判別する画像情報判別手段」、および「画像情報判別手段により判別された画像の情報を用いて画像中の領域を設定する手段」は、処理領域決定部 114が該当する。

( 4 ) の発明によれば、（ 1 ) の発明の空間周波数によって分離された画像の低周波成分を補間拡大処理を行う手段、画像信号から高解像度化の処理を行う領域を決める手段、補間拡大した画像と高解像化画像推定処理をした画像を合成する手段が不要となり、処理の規模を縮小することが可能となる。

( 5 ) . ( 4 ) の発明は、前記画像情報判別手段は、画像の高周波成分を抽出する手段であることを特徴とする。「画像情報判別手段」に相当する処理領域決定部 114は、高周波成分と低周波成分に分離した圃像のなかで、高周波成分のみの情報を判別する。この構成によれば、画像中の高周波成分を多く含む一部の領域のみを用いてモーシヨン推定を行い、それを画像全体のモーシヨンとして使用し高解像度画像推定演算を行うことができる。

( 6 ) . また、（4 ) の発明は、前記画像情報判別手段は、前記空間周波数によって分離された複数の成分の画像信号のうち、少なぐとも 1つの画像信号の輝度情報を参照することを特徴とする。「空間周波数によって分離された複数の成分の画像信号のうち、少なくとも 1 つの画像信号の輝度情報を参照する画像情報判別手段」は、処理領域決定部 114が相当する。この構成によれば、輝度情報から高周波成分の多い領域を決定して切り出し、モ一ション推定部 107に送ることができる。

( 7 ) . 本発明の第 1 の実施形態にかかる画像の高解像度化方法は、サンプリングされた画像信号の高解像度化を行う方法において、サンプリングされた画像信号を空間周波数によつて複数の成分の画像信号に分離するステップと、空間周波数によつて分離された低周波成分画像に補間拡大処理を行うステップと、各フレーム間の相対的な変位量を変位量推定手段により推定するステップと、複数フレームの中から高解像化画像推定処理を行うフレームを選択するステップと、複数フレームの画像信号からそれぞれ分離された高周波成分画像から高解像度な画像を推定する高解像画像推定のステップと、補間拡大した画像と高解像化画像推定処理をした画像を合成するステツプと、を有することを特徴とする。

( 7 ) の発明は、図 1 の構成図による画像の高解像度化を行う方法が対応する。「サンプリングされた画像信号を空間周波数によつて複数の成分の画像信号に分離するステップ」は、帯域分離処理部 105による処理が該当する。「空間周波数によつて分離された低周波成分画像に補間拡大処理を行うステップ」は、補間拡大処理部 109による処理が該当する。「各フレーム間の相対的な変位量を変位量推定手段により推定するステップ」は、モーション推定部 107による処理が該当する。「複数フレームの中から高解像化画像推定処理を行うフレームを選択するステップ」は、超解像目的フレーム選択部 106による処理が該当する。「複数フレームの画像信号からそれぞれ分離された高周波成分画像から高解像度な画像を推定する高解像画像推定のステップ」は、高解像度画像推定部 108による処理が該当する。「補間拡大した画像と高解像化画像推定処理をした画像を合成するステップ」は、合成演算処理部 1 10による処理が該当する。

( 7 ) の発明によれば、ソフトウェアにより高解像度画像推定処理を行う際に、全画像についての処理が不要であり、演算速度を向上させることができる。 ( 8 ) . 前記（7 ) の発明において、前記サンプリングされた画像信号が、前記各フレーム間の被写体の相対的な変位量を推定する変位量推定手段に入力されることを特徴とする。（8 ) の発明は、図 7に示された第 1 の実施形態例の変形例による画像の高解像度化を行う方法が対応する。この構成によれば、ソフトウェアにより高解像度画像推定処理を行う際に、変位量推定の精度を高めることができる。

( 9 ) また、前記（7 ) の発明において、前記各フレーム間の被写体の相対的な変位量を推定するステツプは、前記複数の成分の画像信号に分離された少なくとも 1 つの成分の画像信号を用いて、各フレーム間の被写体の相対的な変位量を推定することを特徴とする。（9 ) の発明は、図 1 の構成図による画像の高解像度化を行う方法が対応する。この構成によれば、ソフトウェアにより高解像度画像推定処理を行う際に、複数の成分に分離された画像信号の中で、適宜の成分の画像信号に対して各フレーム間の被写体の相対的な変位量を推定することができる。

( 1 0 ) . 本発明の第 2の実施形態にかかる画像の高解像度化方法は、サンプリングされた画像信号の高解像度化を行う方法において、サンプリングされた画像信号を空間周波数によつて複数の成分の画像信号に分離するステップと、各フレーム間の相対的な変位量を推定するステップと、画像信号を画像記憶手段に一時記憶させておくステツプと、複数フレームの中から高解像化画像推定処理を行うフレームを選択するステップと、複数フレームの画像信号から高解像度な画像を推定する高解像画像推定のステップと、前記空間周波数によって分離された複数の成分の画像信号のうち少なくとも 1つの画像信号を参照し画像の情報を判別手段により判別するステップと、前記判別手段により画像中の領域を設定するステツプとを含み、前記高解像画像推定のステップは、前記画像中の領域の情報を用いて高解像画像を推定することを特徴とする。

( 1 0 ) の発明は、図 1 4に示された第 2の実施形態例の構成図による画像の高解像度化を行う方法が対応する。「サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離するステップ」は、帯域分離処理部 105による処理が該当する。「各フレーム間の相対的な変位量を推定するステップ」は、モーション推定部 107による処理が該当する。「画像信号を画像記憶手段に一時記憶させておくステップ」は、メモリ部 113による処理が該当する。「複数フレームの中から高解像化画像推定処理を行うフレームを選択するステップ」は、超解像目的フレーム選択部 106による処理が該当する。「複数フレームの画像信号から高解像度な画像を推定する高解像画像推定のステツプ」は、高解像度画像推定部 108による処理が該当する。「前記空間周波数によって分離された複数の成分の画像信号のうち少なくとも 1つの画像信号を参照し画像の情報を判別手段により判別するステップ」、および「前記判別手段により画像中の領域を設定するステップ」は、処理領域決定部 114による処理が該当する。（ 1 0 ) の発明によれば、ソフトウェアにより画像の高解像度化を行う際の処理速度を更に高めることができる。

( 1 1 ) . 前記（ 1 0 ) の発明は、前記画像の情報を判別するステップにおいて、画像の高周波成分を抽出することを特徴とする。この構成によれば、ソフトウェアにより高解像度画像推定処理を行う際に、画像中の高周波成分を多く含む一部の領域のみを用いたモーシヨン推定で高解像度画像推定演算を行うことができる。

( 1 2 ) . また、前記（ 1 0 ) の発明は、前記画像の情報を判別するステップは、前記空間周波数によつて分離された複数の成分の画像信号のうち少なくとも 1つの画像信号の輝度情報を参照することを特徴とする。この処理は、処理領域決定部 1 14による処理が相当する。この構成によれば、ソフトウェアにより高解像度画像推定処理を行う際に、輝度情報から高周波成分の多い領域を決定して切り出し、モーション推定部で各フレーム間の相対的な変位量を推定することができる。本発明の撮像装置および画像の高解像度化方法においては、高解像度画像推定演算やそのために必要なモ一ション推定演算を効率的に行うことが可能となる。

図面の簡単な説明

図 1は第 1の実施形態例の構成図である。

図 2は帯域処理部の構成図である。

図 3は帯域分離前の画像の例を示す説明図である。

図 4は図 3の画像に口一パスフィルタ処理を施した例の説明図である。図 5は図 4の画像に 1052と 1053の処理を行った例の説明図である。図 6は図 5の画像の階調のヒストグラムを示す特性図である。

図 7は第 1の発明の実施形態における変形例の構成図である。

図 8はモーション推定アルゴリズムのフローチャートである。

図 9はモーション推定の最適類似度の推定を示す概念図である。

図 1 0は高解像度画像演算領域判定の概念図である。

図 1 1は高解像度画像推定処理アルゴリズムのフローチャートである。図 1 2は高解像度画像推定演算部の構成図である。

図 1 3は合成演算処理部の構成図である。

図 1 4は第 2の発明の実施の形態の構成図である。発明を実施するための最良の形態

以下、本発明の実施の形態について図を参照して説明する。図 1 は、第 1の実施形態例の構成図である。図 1 において、光学系 101はィメ一ジャ 102に光学像を結像し、ィメ一ジャ 102は光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する。ィメ一ジャ 102でサンプリングされた画像信号は、帯域分離処理部 105で空間周波数によって高周波成分画像と低周波成分画像に分離する。

超解像処理は、モーション推定部 107と、高解像度の画素配列の画像データを推定する高解像度画像推定部 108により行う構成としている。高周波成分画像は超解像処理を行うために、モーション推定部 107に伝送される。ここで、超解像処理は、サブピクセルレベルでの位置ずれのある画像を複数枚撮影し、これらの画像の光学系等の劣化要因などをキヤンセルした上で合成して、 1枚の高精細な画像を形成する手法である。

超解像目的フレーム選択部 106では、超解像処理を行う目的のフレームを選択する。帯域分離処理部 105で分離された低周波成分画像のうち、超解像処理を行う目的フレームに相当するフレームを選択して補間拡大処理部 1 09に伝送する。補間拡大処理部 1 09は、例えばパイキュービック（b i cub i c) による補間処理を備え、目的フレームの低周波成分画像の拡大処理を行う。

高解像画像演算領域判定部 1 12では、例えば図 1 0に示されているように、帯域分離処理部 105で出力された高周波成分画像と、超解像目的フレーム選択部 106から与えられる目的フレームの情報から、画像中の高解像度画像推定演算を行う領域を判定する。高解像度画像推定演算部 108では、モーション推定部 107から与えられる各フレーム毎のモーションの情報と、高解像度画像推定演算領域判断部 1 12から与えられる領域毎の演算指定情報のついた複数フレームの画像データから、高解像度画像推定演算を行う。これにより、高周波成分をもつ領域だけで高解像度画像推定演算が行われる。合成演算処理部 1 10の構成については、図 1 3により後述する。図 1の構成では、光学系 101はイメージャ 102に光学像を結像し、ィメージャ 102は光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換している。本発明においては、画像信号は光学系 101、イメージャ 102で取得されたものには限定されない。適宜の記録媒体などに記録されている、サンプリングされた画像信号を用いて、画像の高解像度化処理を行う構成とすることもできる。この場合には、前記記録媒体などに記録されている、サンプリングされた画像信号を、帯域分離処理部 105と超解像目的フレーム選択部 106に入力する。以下、モーション推定部 107、高解像度画像推定演算部 108、補間拡大処理部 109、合成演算処理部 1 10、高解像画像演算領域判定部 112により、前記したと同様の処理を行う。すなわち、図 1の構成により、画像の高解像度化法の発明を実施することができる。

図 2は、図 1で説明した帯域分離処理部 105の構成の一例を示す構成図である。イメージャ 102より出力された画像信号は、ローパスフィルタ処理部 1051で低周波画像に変換され、低周波成分画像のうち超解像目的フレーム選択部 106で選択されたフレームを補間拡大処理部 109に出力する。また、高周波成分画像は、ローパスフィルタ処理部 1051で得られた画像に対して、バイァス加算処理部 1052で所定のパイァス処理を行い、差分演算処理部 1053で元の画像との差分演算を行う。パイァス加算処理部 1052は、高周波成分の画像を所定の符合無しのビット幅のメモリに保持するための非負化処埋を行う。

前記バイアス加算処理部 1052には、バイアスレベルの信号と、ローパスフィルタ 1051の信号が入力される。また、差分演算処理部 1053には、バイアス加算処理部 1052の信号と、図 1のイメージャ 102で出力される画像信号が入力される。したがって、差分演算処理部 1053からは、ィメ一ジャ 102の出力信号と、ィメージャ 102の出力信号をローバスフィルタ 1051で通過させた信号に、バイァス信号を加算させた信号との差分が出力される。差分演算処理部 1053の出力信号は、高周波成分画像として図 1 のモーション推定部 107に入力される。

図 3〜図 5は、帯域分離処理部 105で、イメージャ 102の出力信号に対して帯域分離処理をおこなった画像の例を示す説明図である。元の画像信号（図 3 ) に対して、ローパスフィルタ処理を行った画像は図 4に示されている。すなわち、図 4の画像は図 1の補間拡大処理部 109 に入力される。また、図 2のバイアス加算処理 1052,差分演算処理部 1053で処理を行った結果の高周波成分画像を、図 5に示している。

図 5の画像の階調のヒストグラムを、図 6の特性図に示している。図 6において、横軸は 8ビットの画像信号を表している。また、縦軸の左側軸には差分の頻度を％で表している。更に、縦軸の右側軸には、画素頻度の累積値（絶対値）を示している。図 6に示されているように、 8ビットの画像信号の中央付近の 1 2 8に差分の頻度のピーク値を形成している。また、 9 6から 1 6 0の間の 6 4階調に 9 9 . 6 % の画素が含まれており、高周波成分画像を 6ビットで表現できる。

図 7は、第 1の実施形態例の変形例を示す構成図である。図 1 と相違するところのみを説明する。図 7の構成においては、イメージャ 102 の信号を直接にモーション推定部 107に入力している。すなわち、モーシヨン推定に関しては、図 7に示すように帯域分離を行わずに、ィメージャ 102で光学的に結像した画像を空間的に離散化してサンプリングした元の画像信号を用いるようにしても良い。図 7の構成とする場合には、イメージャ 102の信号をすベてモーション推定しているので、変位量推定の精度を高めることができる。

図 7の例においても、光学系 101、イメージャ 102で取得された画像信号に代えて、適宜の記録媒体などに記録されている、サンプリングされた画像信号を用いて、画像の高解像度化処理を行う構成とすることもできる。この場合には、図 1 の例で説明したと同様にして、図 7 の構成により、画像の高解像度化法の発明を実施することができる。図 8は、モーション推定のァルゴリズムの詳細を示すフローチヤ一トである。以下、アルゴリズムの流れにそって図 8を説明する。処理プログラムを開始して、 S 1 ：モーション推定の基準となる画像を 1枚読み込む。 S 2 ：基準画像を複数のモーションで変形させる。 S 3 ：基準画像との間のモーション推定を行う参照画像を 1枚読み込む。 S 4 ：基準画像を複数変形させた画像列と参照画像の間の類似度値を算出する。 S 5 ：変形モーシヨンのパラメータと算出した類似度値との関係を用いて、離散的な類似度マップを作成する。

S 6 ： S 5で作成した離散的な類似度マップを補完することで、類似度マップの極値を探索し、類似度マップの極値を求める。極値を持つ変形モーションが推定したモーシヨンとなる。類似度マップの極値の探索法にはパラボラフイツティング、スプライン補間法等がある。 S 7 ：全ての参照画像において、対象となる全ての参照画像においてモーション推定を行なったかどうかを判定する。 S 8 ：モーション推定を行っていない場合には、 S 3の処理に戻り、次の画像の読み込み処理を継続する。対象となる全ての参照画像においてモーション推定を行っている場合には、処理プログラムを終了する。

図 9は、図 1で説明したモーション推定部 107で行うモ一シヨン推定の最適類似度の推定を示す概念図である。図 9においては、黒丸の 3 点を用いてモーション推定をパラボラフイツティングで行った例を示している。縦軸は類似度を表し、横軸は変形モーションパラメ一夕を示している。縦軸の値が小さいほど類似度が高く、縦軸の値が最小値となる灰色の丸は類似度の極値となる。

図 1 0は、図 1の高解像度画像演算領域判定部 1 12の処理例を示す概念図である。図 1 0において、（a ) は帯域分離処理部 105で出力された高周波成分画像、（b ) は超解像目的フレーム選択部 106から与えられる目的フレームの情報である。高解像度画像演算領域判定部 112は、 ( b ) の高周波成分を有する領域から、画像中の高解像度画像推定演算を行う領域を判定し、この領域から（c ) の「 1」のレベルの画素の情報を生成する。このような処理により、高周波成分をもつ領域だけで高解像度画像推定演算が行われることになる。

図 1 1は、高解像度画像推定処理のアルゴリズムを示すフローチヤートである。処理プログラムを開始する。 S 1 1 ：高解像度画像推定に用いるため複数枚の低解像度画像 n枚を読み込む（n≥l)。 S 1 2 ：複数枚の低解像度画像の中の任意の一枚をターゲットフレームと仮定し、補間処理を行うことで初期の高解像度画像を作成する。このステップは場合により省略することができる。 S 1 3 ：あらかじめ何らかのモーション推定法で求められた、ターゲットフレームとその他のフレームの画像間のモーシヨンにより、画像間の位置関係を明らかにする。 S 1 4 ：光学伝達関数（0TF)、 CCDアパーチャ等の撮像特性を考慮した点広がり関数（PSF： Po i nt Spread Funct i on) )を求める。 PSFは例えば Gauss関数を用いる。 S 1 5 ： S 3、 S 4の情報を元に、評価関数 f (z)の最小化を行う。ただし、 f (z)は次式で表される。ん

ここで yは低解像度画像、 zは高解像度画像、 Aは画像間モーション、 PSF等を含めた撮像システムをあらわす画像変換行列である。 g (z)は画像の滑らかさや色相関を考慮した拘束項等が入る。は重み係数である。評価関数の最小化には、例えば最急降下法を用いる。 S 1 6 ： S 1 5で求めた f (z)が最小化された場合、処理を終了し高解像度画像 zを得る。 S 1 7 ： f (z)がまだ最小化されていない場合には、高解像度画像 zをアツプデートして S 1 3の処理に戻る。

図 1 2は、図 1 に示した高解像度画像推定演算部 108の構成図である。高解像度画像推定処理部 108は、初期画像作成部 1201、畳込み積分部 1202、 PSFデータ保持部 1203、画像比較部 1204、乗算部 1205、貼り合せ加算部 1206、蓄積加算部 1207、更新画像生成部 1208、画像蓄積部 1209、反復演算判定部 1210、反復判定値保持部 1211から構成される。また、図 1 2で破線で囲んだ部分は、図 1 1の S 1 5で説明した評価関数 f ( z ) の最小化処理を行う構成に相当する最小化処理部 1212である。なお、 PSFデータは、点広がり関数のデータである。

図 1 2において、図 1の高解像度画像推定演算領域判定部 1 12より目的フレームの高周波画像情報が初期画像作成部 1201に与えられ、ここで与えられた画像情報は補間拡大されてこれが初期画像となる。この初期画像は、畳込み積分部 1202に与えられ、 PSFデータ保持部 1203より送信される PSFデータと畳込み積分される。ここでの PSFデータは、各フレームのモーションも考慮して与えられる。初期画像データは、同時に画像蓄積部 1209に送られ、画像蓄積部 1209で蓄積される。畳込み積分部 1202で畳込み演算された画像データは、画像比較部 1204に送られ、モーション推定部で求められた各フレーム毎のモーションを元に、適切な座標位置で高解像度画像推定演算領域判定部 1 12より与えられる撮影画像と比

較される。

画像比較部 1204で比較された残差は、乗算部 1205に送られ PSFデータ保持部 1203より与えられる PSFデータの各画素毎の値と掛け合わされる。この演算結果は、貼り合せ加算部 1206に送られ、それぞれ対応する座標位置に配置される。ここで、乗算部 1205からの画像データは、重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる部分については貼り合せ加算部 1206で加算していく。撮影画像 1枚分のデータの貼り合せ加算が終ると、データは蓄積加算部 1207に送られる。蓄積加算部 1207では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーシヨンに合わせて各フレーム分の画像データ順次加算していく。

蓄積加算部 1207で加算された画像データは、更新画像生成部 1208に送られる。更新画像生成部 1208には、これと同時に画像蓄積部 1209に蓄積されていた画像データが与えられ、この 2つの画像データに重みをつけて加算して更新画像データを生成する。生成された更新画像データは、反復演算判定部 1210に与えられ、反復判定値保持部 121 1から与えられる反復判定値を元に演算を反復するか否かを判断する。演算を反復する場合には、データを畳込み積分部 1202に送り前記の一連の処理を繰り返し、反復しない場合は生成された画像データを出力する。上記一連の処理を行なうことにより、反復演算判定部 1210から出力される画像は撮影画像よりも高解像度なものとなっている。また前記 PSFデータ保持部 1203で保持される PSFデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、図 1のモーション推定部 107より各フレーム毎のモーションが与えられるようになっている。図 1 2で、破線で囲んだ部分は、図 1 1の S 1 5でなされた評価関数 f (z)の最小化処理に相当する最小化処理部 1212である。

図 1 3は図 1の合成演算処理部 1 10の構成のを示す構成図である。図 1 3において、高解像度画像推定演算部 108からは推定された高解像度画像情報が、補間拡大処理部 109からは補間拡大画像情報が、合成演算処理部 1 10に与えられる。合成演算処理部 1 10に与えられた高解像度画像に、図 2で帯域分離した際に加算した b i asレベルを差し引く。そして、 bi asレベルを差し引いた高解像度画像は、画像中の対応する座標位置で低周波画像と加算されることにより、エツジなどの高周波を持つた部分のみが高解像化された画像が合成される。このような合成画像が、合成演算処理部 1 10から出力される。

以上説明した本発明の第 1の実施形態例により、高周波成分の少ない画像では全画像データについて計算負荷の重い高解像度画像推定処理をする必要がなくなり、演算量を減らすことができるので、処理の高速化が可能となる。

図 1 4は、本発明の第 2の実施形態例を示す構成図である。図 1 4 において、光学系 101はイメージャ 102に光学像を結像し、ここでサンプリングされた画像データは帯域分離処理部 105とメモリ部 1 13に与えられる。帯域分離処理部 105では画像を高周波成分画像と低周波成分画像に分離し、このうち高周波成分画像の情報のみを処理領域決定部 1 14 に与える。処理領域決定部 1 14では画像中で高周波成分の多い領域を検出して切り出し、モーション推定部 107に与える。モーション推定部 107の基本的なアルゴリズムは第 1の実施の形態と同じものとする。

撮影した画像中である特定の物体のみが動いているのではなく、画像全体が動いている、と仮定できる場合には、画像内のモーションは均一であると考えられるので、画像全体でモ一ション推定を行う必要はなく、正確なモ一ション推定に寄与する高周波成分を持つ領域の情報のみを用いてモーション推定を行うことは可能である。従って、本発明の第 2の実施形態例では、画像中の高周波成分を多く含む一部の領域のみを用いてモーション推定を行い、それを画像全体のモーションとして使用し高解像度画像推定演算を行う。処理領域決定部 1 14では、画像の高周波成分から高周波の多い領域を一つ以上特定し、その領域の情報を切り出してモーション推定部 107に送るものとする。また、このときに処理領域決定部 1 14では、高周波成分画像の輝度情報を算出し、その輝度情報から高周波成分の多い領域を決定して切り出し、モ —ション推定部 107に送るものとしても良い。

画像中の高周波成分を多く含む一領域から得られたモ一ション推定のデータを高解像度画像推定演算部 108に与え、同時にメモリ部 1 13に一時蓄積していた画像データを高解像度画像推定演算部 108に与えて高解像度画像推定演算を行う。これにより高解像度推定画像が生成される。第 2の実施形態例では、モーション推定、高解像度画像推定演算の詳細は第 1の実施形態例と同様に行うものとする。

図 1 4に示された第 2の実施形態例では、図 1 に示した第 1の実施形態例で設けられていた補間拡大処理部 109、高解像度画像推定演算領域判断部 1 12、合成演算処理部 1 10が不要となる。このため、高解像度画像を得るために要する処理の規模を縮小することが可能となる。

図 1 4の例においても、光学系 101、イメージャ 102で取得された画像信号に代えて、適宜の記録媒体などに記録されている、サンプリングされた画像信号を用いて、画像の高解像度化処理を行う構成とすることもできる。この場合には、図 1、図 7の例で説明したと同様にして、図 1 4の構成により、画像の高解像度化法の発明を実施することができる。産業上の利用可能性

以上説明したように、本発明によれば、高解像度画像推定演算やそのために必要なモーション推定演算を効率的に行う撮像装置および画像の高解像度化方法を提供をすることができる。

Claims

請求の範囲

1 . 被写体の像を電子的に得る撮像装置において、

被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段と、サンプリングされた画像信号を空間周波数によつて複数の成分の画像信号に分離する手段と、空間周波数によって分離された低周波成分画像を補間拡大処理を行う手段と、各フレーム間の被写体の相対的な変位量を推定する手段と、複数フレームの中から高解像画像推定処理を行うフレームを選択する手段と、複数フレームの画像信号からそれぞれ分離された高周波成分画像から高解像度な画像を推定する高解像画像推定手段と、補間拡大した画像と高解像化画像推定処理をした画像を合成する手段とを有することを特徴とする撮像装置。

2 . 前記サンプリングされた画像信号が、前記各フレーム間の被写体の相対的な変位量を推定する手段に入力されることを特徴とする、請求項 1 に記載の撮像装置。

3 . 前記各フレーム間の被写体の相対的な変位量を推定する手段は、前記複数の成分の画像信号に分離された少なくとも 1つの成分の画像信号を用いて各フレーム間の被写体の相対的な変位量を推定することを特徴とする、請求項 1 に記載の撮像装置。

4 . 被写体の像を電子的に得る撮像装置において、

被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段と、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離する手段と、各フレーム間の被写体の相対的な変位量を推定する手段と、画像信号を一時記憶させておく画像記憶手段と、複数フレームの中から高解像画像推定処理を行うフレームを選択する手段と、複数フレームの画像信号から高解像度な画像を推定する高解像画像推定手段と、前記空間周波数によって分離された複数の成分の画像信号のうち少なくとも 1つの画像信号を参照し、画像の情報を判別する画像情報判別手段と、前記画像情報判別手段により判別された画像の情報を用いて画像中の領域を設定する手段とを備え、前記高解像画像推定手段は、前記画像中の領域の情報を用いて高解像画像を推定することを特徴とする撮像装置。

5 . 前記画像情報判別手段は、画像の高周波成分を抽出する手段であることを特徴とする、請求項 4に記載の撮像装置。

6 . 前記画像情報判別手段は、前記空間周波数によって分離された複数の成分の画像信号のうち、少なくとも 1つの画像信号の輝度情報を参照することを特徴とする、請求項 4に記載の撮像装置。

7 . サンプリングされた画像信号の高解像度化を行う方法において、サンプリングされた画像信号を空間周波数によつて複数の成分の画像信号に分離するステップと、空間周波数によって分離された低周波成分画像に補間拡大処理を行うステップと、各フレーム間の相対的な変位量を変位量推定手段により推定するステップと、複数フレームの中から高解像化画像推定処理を行うフレームを選択するステップと、複数フレームの画像信号からそれぞれ分離された高周波成分画像から高解像度な画像を推定する高解像画像推定のステップと、補間拡大した画像と高解像化画像推定処理をした画像を合成するステップと、を有することを特徴とする画像の高解像度化方法。

8 . 前記サンプリングされた画像信号が、前記各フレーム間の被写体の相対的な変位量を推定する変位量推定手段に入力されることを特徴とする、請求項 7に記載の画像の高解像度化方法。

9 . 前記各フレーム間の被写体の相対的な変位量を推定するステツプは、前記複数の成分の画像信号に分離された少なくとも 1つの成分の画像信号を用いて、各フレーム間の被写体の相対的な変位量を推定することを特徴とする、請求項 7に記載の画像の高解像度化方法。

1 0 . サンプリングされた画像信号の高解像度化を行う方法において、サンプリングされた画像信号を空間周波数によって複数の成分の画像信号に分離するステップと、各フレーム間の相対的な変位量を推定するステップと、画像信号を画像記憶手段に一時記憶させておくステツプと、複数フレームの中から高解像化画像推定処理を行うフレームを選択するステップと、複数フレームの画像信号から高解像度な画像を推定する高解像画像推定のステップと、前記空間周波数によつて分離された複数の成分の画像信号のうち少なくとも 1つの画像信号を参照し画像の情報を判別手段により判別するステップと、前記判別手段により画像中の領域を設定するステップとを含み、前記高解像画像推定のステツプは、前記画像中の領域の情報を用いて高解像画像を推定することを特徴とする画像の高解像度化方法。

1 1 . 前記画像の情報を判別するステップにおいて、画像の高周波成分を抽出することを特徴とする、請求項 1 0に記載の画像の高解像度化方法。

1 2 . 前記画像の情報を判別するステップは、前記空間周波数によつて分離された複数の成分の画像信号のうち少なくとも 1つの画像信号の輝度情報を参照ることを特徴とする、請求項 1 0に記載の画像の高解像度化方法。