WO2006052029A1

WO2006052029A1 - 撮像装置および画像の高解像化方法

Info

Publication number: WO2006052029A1
Application number: PCT/JP2005/021312
Authority: WO
Inventors: Takahiro Yano; Tomoyuki Nakamura; Masatoshi Okutomi; Masao Shimizu
Original assignee: Olympus Corporation; Tokyo Institute Of Technology
Priority date: 2004-11-15
Filing date: 2005-11-15
Publication date: 2006-05-18
Also published as: JP4151793B2; JP2006140886A; EP1816856A1; US7990428B2; US20100253796A1

Abstract

画素数の少ない画像データを用いて精度よく高解像度の画像を生成する撮像装置および画像の高解像化方法を提供する。光学系は、撮像部101に光学像を結像し、結像した画像は空間的に離散化してサンプリング、画像信号に変換され記録部105に記録される。また、撮像部101で画像が撮像されたタイミングは、撮像タイミング記録部107に記録される。撮像された画像に対する重み係数は、撮像タイミング記録部107で得られたタイミング情報を利用して、重み計算部104で計算される。高解像度化処理部106は、重み計算部104で生成された画像の重み付け情報を用いて高解像度な画像を生成する。

Description

明細書撮像装置および画像の高解像化方法技術分野

本発明は、画素数の少ない画像入力手段を利用して高解像度の画像を生成する撮像装置および画像の高解像化方法に関するものである。背景技術

画素数の少ない画像デ一夕を用いて高解像度の画像を生成する方法として、例えば特許文献 1などで提案されているような超解像技術を用いて、位置ずれを持った複数フレームの低解像度画像を使つて高解像度の画像を生成する方法が知られている

しかしながら、特許文献 1 に開示されている手法では、複数枚の低解像度画像を用いる場合に、その画像の超解像処理における影響を考慮した重み付けがなされていない。そのため超解像処理に用いる複数の低解像度画像の撮影状態が超解像処理に不適切な場合、高解像画像の推定精度が低下する、とい問題があつた。

本発明は、上記問題に鑑みてなされたちのであり、不適切な影状態の影響による高解像度画像推定処理の精度の低下の問題点を改善して、高解像度画像の推定精を向上させる撮像装置および画像の高解像化方法の提供を目的とする発明の開示

( 1 ) . 上記目的を達成するために、本発明の第 1 の実施形にかかる撮像装置は、被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像の重み付け情報を生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された前記複数フレムの画像の重み付け情報を用いて高解像度な画像を生成する高解像度化手段と、を有する事を特徴とする。

( 1 ) の発明は、第 1 図に示された第 1 の実施形態例、第 7図に示された第 2 の実施形態例、第 9図に示された第 3 の実施形態例が対応する。（ 1 ) の発明の構成で「被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段」は、光学系、撮像部 1 0 1、 20 1、 30 1 が該当する。「撮像手段でサンプリングされた複数フレームの画像の重み付け情報を生成する重み付け情報生成手段」は、重み計算部 1 04、 20 4、 304 が該当する。「重み付け情報生成手段で生成された前記複数フレームの画像の重み付け情報を用いて高解像度な画像を生成する高解像度化手段」は、高解像化処理部 1 06、 206、 306が該当する。

( 1 ) の発明は、高解像化手段により複数フレームの画像信号から高解像度な画像を生成して、複数フレームのデータの重み付けを発生させている。この構成によれば、画素数の少ない画像デ一夕を用いて精度よく高解像度の画像を生成することができる。

( 2 ) . 本発明の第 2の実施形態にかかる撮像装置は、被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく時間関係記憶手段と、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段と、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段と、前記時間関係記憶手段に記憶されている相対的な時間関係を用いて各フレーム毎に前記基準画像決定手段で決定された前記基準画像との時間関係に対応した重み付け情報を生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段と、を有することを特徴とする。

( 2 ) の発明は、第 1 図に示された第 1 の実施形態例が対応する。（ 2 ) の発明の構成で「被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段」は光学系、撮像部 1 0 1 が該当する。「撮像手段でサンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく時間関係記憶手段」は記録部 1 0 5が該当する。「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段」は基準画像選択部 1 0 8が該当する。「時間関係記憶手段に記憶されている相対的な時間関係を用いて各フレーム毎に前記基準画像決定手段で決定された前記基準画像との時間関係に対応した重み付け情報を生成する重み付け情報生成手段」は重み計算部 1 04が該当する。「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段」は高解像化処理部 1 0 6が該当する。

( 2 ) の発明は、サンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく記憶手段を設け、各フレーム毎に基準となる画像との時間関係に対応した重み付けを行うものである。このように、（ 2 ) の発明は、高解像度化するフレームから遠いフレームに対しては高解像度化処理の影響を小さくする重みを付け、近いフレームに対しては影響を大きくする重みを付けるものである。この構成によれば、基準画像から時間的に離れたフレームを用いることによる、高解像度画像推定処理の精度の低下を改善して、高解像度画像の推定精度を向上させることが可能となることにより、基準画像から時間的に離れたフレームに対する対応の不整合に対応することができる。

( 3 ) . 本発明の第 3の実施形態にかかる撮像装置は、被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段と、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段と、前記位置関係算出手段で算出された相対的な位置関係を用いて各フレーム毎に前記基準画像との位置関係に対応した重み付け情報を生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段と、を有することを特徴とする。

( 3 ) の発明は、第 7図に示された第 2 の実施形態例が対応する。（ 3 ) の発明の構成で「被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段」は、光学系、撮像部 20 1 が該当する。 Γ 撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段 J は、位置推定部 20 2が該当する。「複数フレームの画像の中から基準となる基準画像を決定する基画像決定手段」は基準画像選択部が該当する。「位置関係算出手で算出された相対的な位置関係を用いて各フレーム毎に前記基準画像との位置関係に対応した重み付け情報を生成する重み付け情報生成手段 J は重み計算部 204が該当する。「重み付け情報生成手段で生成されたみ付け情報と前記位置関算出手段で算出した前記複数フレームの画間の相対的な位置関係、

よび前記複数フレームの画像を用いて高解度な画像を生成する高解度化手段」は高解像化処理部 1 06が該当する

( 3 ) の発明は、サンプリングされた複数フレームの画像間の相対的な位置関係を画素間隔よりも高い分解能で求める手段を設け、各フレーム毎に基準となる画像との位置関係に対応した重み付けを行うものである。重み計算部 204は、第 8図で説明したように、高解像度化に使用する複数枚の低解像度画像の相対的なばらつきが大きくなるような低解像度画像に対しては、高解像度化処理の影を大きくする重みをつけるこの構成によれば、基準画像に対する対画像の位置の偏差による、高解像度画像推定処理の精度の低下を改善して、高解像度画像の推定精度を向上させることが可能となる。

( 4 ) . 本発明の第 4の実施形態に力かる撮像装置は、被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段と、前記複数フレームの画像の中からとなる基準画像を決定する基準画像決定手段と、前記位置関係算出手段で求められた相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出手段と、該類似度算出手段で算出した類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段と、を有することを特徴とする。

( 4 ) の発明は、第 9図に示された第 3の実施形態例が対応する。（ 4 ) の発明の構成で「被-写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段」は光学系、撮像部 30 1 が該当する。「撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段」は撮像位置推定部 3 0 2が該当する。「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段」は基準画像選択部 30 7 が該当する。「位置関係算出手段で求められた相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出手段」、「類似度算出手段で算出した類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成手段」は重み計算部 304 が該当する。重み計算部 304は、第 1 0図で説明したように、モーション推定精度が高いものほど画像高解像度化処理のときに大きい重み付けを行う。「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段」は、高解像化処理部 306が該当する。

( 4 ) の発明は、サンプリングされた複数フレームの画像間の相対的な位置関係を画素間隔よりも高い分解能で求め、求められた相対的な位置関係を用いて得られる基準画像と各フレーム毎の画像との類似度を算出して、各画像毎に算出した基準となる画像との類似度に対応した重み付けを行うものである。この構成によれば、基準画像に対して対象画像の位置関係の推定精度が低いフレームを用いることによる.、高解像度画像推定処理の精度の低下を改善して、高解像度画像の推定精度を向上させることが可能となる。

( 5 ) .本発明の第 1 の実施形態にかかる画像の高解像化方法は、被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するステップと、前記サンプリングされた複数フレームの画像の重み付け情報を生成する重み付け情報生成ステップと、前記重み付け情報を用いて高解像度な画像を生成する高解像化ステップと、からなることを特徴とする。

( 5 ) の発明は、第 1 図に示された第 1 の実施形態例、第 7図に示された第 2の実施形態例、第 9図に示された第 3の実施形態例が対応する。（ 5 ) の発明は、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部 101、 201、 301 による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」とを備える。さらに、重み計算部 104、 204、 304による「サンプリングされた複数フレームの画像の重み付け情報を生成する重み付け情報生成ステツプ」と、高解像化処理部 106、 206、 306 による「重み付け情報を用いて高解像度な画像を生成する高解像化ステップ」を備える。（ 5 ) の発明にかかる画像の高解像化方法は、このような各ステップを備えることにより、画素数の少ない画像データを用いて精度よく高解像度の画像を生成する方法を提供することができる。

( 6 ) .本発明の第 2 の実施形態にかかる画像の高解像化方法は、被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するステップと、前記サンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく時間関係記憶ステップと、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像ステップでサンプリングする画素間隔よりも高い分解能で求める位置関係算出ステップと、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップと、前記記憶されている相対的な時間関係を用いて各フレーム毎に前記基準画像との時間関係に対応した重み付け情報を生成する重み付け情報生成ステップと、前記重み付け情報と、前記相対的な位置関係、および前記複数フレームの画像とから高解像度な画像を生成する高解像化ステップと、からなることを特徴とする。

( 6 ) の発明は、第 1 図に示された第 1 の実施形態例が対応する。（ 6 ) の発明は、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部 1 0 1 による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」とを備える。さらに、記録部 1 0 5 による「サンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく時間関係記憶ステップ」、基準画像選択部 1 08 による「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップ」、重み計算部 1 04による「時間関係記憶手段に記憶されている相対的な時間関係を用いて各フレーム毎に前記基準画像決定手段で決定された前記基準画像との時間関係に対応した重み付け情報を生成する重み付け情報生成ステップ」、高解像化処理部 1 0 6 による「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化ステップ」を備え

( 6 ) の発明にかかる画像の高解像化方法は、このような各ステップを備えるとによ Ό 解像度化するフレームから遠いフレームに対しては高解像度化処理の影響を小さくする重みを付け、近いフレームに対しては影響を大き <する重みを付けることにより、基準画像から時間的に離れたフレームに対する対応の不整合に対応する方法を提供することができる。

( 7 ) .本発明の第 3 の実施形態にかかる画像の高解像化方法は、写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプ U ングし画像信号に変換するステップと、前記サンプリングされた複数フレ —ムの画像間の相対的な位置関係を（¾ 記サンプリングする画素間隔 Ό も高い分解能で求める位置関係算出ステツフと HU'記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップと記相対的な位置関係を用いて各フレーム毎に frj記基準画像との位置関係に対応した重み付け情報を生成する重み付け情報生成ステップと、前記重み付け情報と、前記相対的な位置関係、および前記複数フレームの画像とを用いて高解像度な画像を生成する高解像化ステツプとからなることを特徴とする。

( 7 ) の発明は、第 7 図に示された第 2 の実施形態例が対応する (

7 ) の発明は、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部 20 1 による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」とを備えるさらに、位置推定部 202 による「サンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出ステップ」、基準画像選択部 2 0 7 による「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップ」

、重み計算部 204 による「位置関係算出手段で算出された相対的な位置' 関係を用いて各フレーム毎に前記基準画像との位置関係に対応した重み付け情報を生成する重み付け情報生成ステップ」、高解像化処理部 206 による「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化ステップ」を備える。

( 7 ) の発明にかかる画像の高解像化方法は、このような各ステップを備えることにより、サンプリングされた複数フレームの画像間の相対的な位置関係を画素間隔よりも高い分解能で求め、各フレーム毎に基準となる画像との位置関係に対応した重み付けを行うものである。重み計算部 204 による処理は、第 8 図で説明したように、高解像度化に使用する複数枚の低解像度画像の相対的なばらつきが大きくなるような低解像度画像に対しては、高解像度化処理の影響を大きくする重みをつける。このような処理を行うことにより、基準画像に対する対象画像の位置の偏差による高解像度画像推定処理の精度の低下に対応することが可能な方法を提供することができる。

( 8 ) .本発明の第 4の実施形態にかかる画像の高解像化方法は、被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するステップと、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像ステップでサンプリングする画素間隔よりも高い分解能で求める位置関係算出ステップと、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップと、前記相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出ステップと、前記類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成ステップと、前記重み付け情報と、前記相対的な位置関係、および前記複数フレームの画像とから高解像度な画像を生成する高解像化ステップと、からなることを特徴とする。

( 8 ) の発明は、第 9図に示された第 3の実施形態例が対応する。（ 8 ) の発明は、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部 301 による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」とを備える。さらに、撮像位置推定部 302 による「撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出ステップ」、基準画像選択部 307 による「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップ」、重み計算部 304による「位置関係算出手段で求められた相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出ステップ」、および「類似度算出手段で算出した類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成ステップ」、高解像化処理部 306 による「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化ステップ」を備える。

( 8 ) の発明にかかる画像の高解像化方法は、このような各ステップを備えることにより、サンプリングされた複数フレームの画像間の相対的な位置関係を画素間隔よりも高い分解能で求め、求められた相対的な位置関係を用いて得られる基準画像と各フレーム毎の画像との類似度を算出して、各画像毎に算出した基準となる画像との類似度に対応した重み付けを行うものである。このように、高解像度化する画像と低解像度画像の間で推定した位置関係から、画像間の類似度を求め、その類似度が高いほど大きな重みをつけることにより、基準画像に対して対象画像の位置関係の推定精度が低いフレームに対する対応の不整合による高解像度画像の推定精度の低下に対応することが可能な方法を提供するとができる。

( 9 ) .本発明の第 1 ないし第 4のいずれかの実施形態にかかる画像の高解像化方法は、前記位置関係算出ステップは、前記基準画像を複数のモーションで変形させて複数の画像列を生成するステップと、前記各フレーム画像から前記基準画像との間のモーション推定を行なう参照画像を読み込むステップと、前記複数の画像列と前記参照画像との類似度値を各々算出するステップと、前記複数の画像列を生成するための変形モーションのパラメ一夕と前記算出した各々の類似度値との関係を用いて類似度マップを作成するステップと、前記作成した類似度マップを用いて類似度の極値を求めるステップと、前記求めた類似度の極値を持つ変形モーションを特定するステップと、を含むことを特徴とする。

( 9 ) の発明は、第 3 図に示された第 1 の実施形態例が対応する。「基準画像を複数のモーションで変形させて複数の画像列を生成するステップ」は S 2 が、「各フレーム画像から前記基準画像との間のモーション推定を行なう参照画像を読み込むステップ」は S 3 が、「複数の画像列と前記参照画像との類似度値を各々算出するステップ」は S 4 が、「複数の画像列を生成するための変形モーションのパラメ一夕と前記算出した各々の類似度値との関係を用いて類似度マップを作成するステップ」は S 5 が、「作成した類似度マップを用いて類似度の極値を求めるステツプ」、および「求めた類似度の極値を持つ変形モーションを特定するステップ」は S 6が、それぞれ該当する。

( 9 ) の発明にかかる画像の高解像化方法は、このような各ステップを備えることにより、画素数の少ない画像データを用いてモーション推定を精度良く行うことができる。

( 1 0 ) .本発明の第 1 ないし第 4のいずれかの実施形態にかかる画像の高解像化方法は、前記高解像化ステップは、撮像特性を考慮した撮像画像の点広がり関数と、前記算出された位置関係とを用いて評価関数の最小化を行なうステップを含むことを特徴とする。

( 1 0 ) の発明は、第 5図に示された第 1 の実施形態例が対応する。 ( 1 0 ) の発明の「撮像特性を考慮した撮像画像の点広がり関数と、前記算出された位置関係とを用いて評価関数の最小化を行なうステップ」は、 S 1 5 が該当する。（ 1 0 ) の発明にかかる画像の高解像化方法は、このようなステップを備えることにより、読み取られた低解像度画像から高解像度画像への変換を円滑に行うことができる。図面の簡単な説明

第 1 図は、本発明の第 1 の実施形態例を示す構成図である。

第 2図は、重み付け計算の例を示す説明図である。

第 3図は、モーション推定アルゴリズムの例を示すフローチヤ一卜である。

第 4図は、モーション推定をパラボラフッティングで行う例の説明図である。

第 5図は、画像高解像度化処理の例を示すフローチャートである。第 6図は、アルゴリズムを実施する際の構成の一例を示す構成図である。

第 7図は、本発明の第 2の実施形態例を示す構成図である。

第 8図は、重み付け計算の例を示す説明図である。

第 9図は、本発明の第 3の実施形態例を示す構成図である。

0図は、重み付け計算の例を示す説明図である発明を実施するための最良の形態

以下、本発明の実施形態例について図を参照して説明する。第 1 図は第 1の実施形態例の構成図である。ここで、本発明の画像処理に関連する超解像処理について説明する。超解像処理は、サブピクセルレベルでの位置ずれのある画像を複数枚撮影し、これらの画像の光学系等の劣化要因などをキャンセルした上で合成する手法である。

第 1 図において、光学系は撮像部 1 0 1 に光学像を結像する。撮像部 1 0 1 に結像された画像は、空間的に離散化してサンプリングされ、画像信号に変換されて記録部 1 0 5 に記録される。また、撮像部 1 0 1 で画像が撮像されたタイミングは、撮像タイミング記録部 1 0 7 に記録される。撮像された画像に対する重み係数は、撮像タイミング記録部 1 0 7で得られたタイミング情報を利用して、重み計算部 1 04で計算される。

第 2図は、重み付けの例を示す説明図である。以下、第 2図を用いて重み計算部 1 04で実施される重み付け計算の例を説明する。第 2図では、各フレーム順の画像に対する重み付け係数ひ _kを示している。撮像された低解像度画像の n フレーム目を高解像度化したい場合には、 n フレームに近いフレームほど画像高解像度化処理のときに大きな重みを付ける。 n フレームから近いフレームほど大きい重み付けを行う方法には、閾値以下のフレームに一定の重みをつける方法や、ガウス分布的に重みを変化させる方法（第 2 図参照）などが考えられる。この手法によって求められた重み付け係数は、高解像度化手法の式内にあらわすと、下記数 1 の a _kで表現できる。

【数 1 】

ここで、 f (z)は画像高解像度化評価関数、は低解像度画像、は撮像系を考慮した画像変換行列、 z は高解像度画像、 λ は重み係数、 g(z)は画像の滑らかさや色差信号等の先見情報を考慮した拘束項である。

第 1 図において、撮像部 101 から送信され記録部 105 に記録された画像データの中から、基準画像選択部 108で基準となる画像を選択する。基準画像選択部 108で選択された基準画像と、その他の画像との位置推定を位置推定部 102 で行い、位置推定結果を位置記録部 103 に記録する第 1 の実施形態例におけるモ一ション推定のアルゴリズムの詳細を、第 3図のフローチャートに示す。以下、アルゴリズムの流れにそってフローチャートで説明する。 S1 ：モーション推定の基準となる画像を 1 枚読み込む。 S2 ：基準画像を複数のモーションで変形させる。 S3:基準画像との間のモーション推定を行う参照画像を 1 枚読み込む。 S4 ：基準画像を複数変形させた画像列と参照画像の間の類似度値を算出する。 S 5：変形モーションのパラメ一夕と算出した類似度値との関係を用いて、離散的な類似度マップを作成する。

S6:S5 で作成した離散的な類似度マップを補間して生成される、連続的な類似度値の極値を求める。この極値を持つ変形モーションが推定したモ一ションとなる。連続的な類似度値の極値の探索法にはパラボラフイツティング、スプライン補間法等がある。 S7: 全ての参照画像においてモーション推定を行っているかどうかを判定する。 S8 ：全ての参照画像においてモーション推定を行っていない場合、参照番号のフレーム番号 1 つ上げて S3 : へ戻り、次の画像の読み込み処理を継続する。対象となる全ての参照画像においてモーション推定を行い、 S7 の判定結果が Yになれば処理を終了する。

第 4図は、モーション推定をパラポラフッテ.ィングで行った例を示す説明図である。第 4図の縦軸は類似度を表し、値が小さいほど類似度が高い。第 4図の黒丸は離散類似度値、灰色の丸が類似度の極値を示している。離散類似度値を結ぶ曲線は、補間した類似度となる。第 1 図の構成に戻り、重み計算部 104で得られた重み係数、位置.記録部 103 に記録された画像間の位置推定量、記録部 105 に記録された画像データ、基準画像選択部 108 で得られた基準画像情報を用いて、高解像化処理部 106 において基準画像について画像高解像度化処理を行う。

画像高解像度化処理の実施形態のアルゴリズムを、第 5 図のフローチャ一卜に示す。 S 11：高解像度画像推定に用いるため複数枚の低解像度画像 n枚を読み込む（ただし、 n≥ l)。 S12 :複数枚の低解像度画像の中の任思の一枚を夕ーゲットフレームと仮定し、補間処理を行うことで初期の高解像度画像を作成する。このステップは場合により省略することがでさる S 13：あらかじめ何らかのモーション推定法で求められた、夕ーゲッ卜フレームとその他のフレームの画像間のモーションにより、画像間の位置関係を明らかにする。 S14:光学伝達関数（0TF)、 CCD ァパーチヤ等の撮像特性を考慮した点広がり関数（PSF)を求める。 PSF は例えば Gauss 関数を用いる。 S15:S13、 S14 の情報を元に、評価関数 f (z)の最小化を行う。ただし、 z)は下記数 2のような形となる。

【数 2】

ここで、 y _kは低解像度画像、 z は高解像度画像、 A_kは画像間モーシヨン、 PSF 等を含めた撮像システムをあらわす画像変換行列である。 g(z)は画像の滑らかさや色相関を考慮した拘束項等が入る。 λ は重み係数である。評価関数の最小化には、例えば最急降下法を用いる。 S16:S15で求めた f (z)が最小化されたかどうかを判定する。 f (z)が最小化された場合には、処理を終了し高解像度画像 z を得る。 S17 : f (z)がまだ最小化されていない場合には、高解像度画像 z をアップデートして S 13 に戻る。

第 6図は、前記アルゴリズムを実施する際の構成の一例を示す構成図である。第 1 図で説明した高解像化処理部 106は、第 6図に示すように、補間拡大部 61、畳込み積分部 62、 PSF データ保持部 63、画像比較部 64、乗算部 65、貼り合せ加算部 66、蓄積加算部 67、更新画像生成部 68 、画像蓄積部 69、反復演算判定部 610、反復判定値保持部 611 から構成される。

最初に、撮像部 101 より複数フレーム分の画像デ一夕のうち任意の 1 枚の画像データを補間拡大部 61 に与え、ここでこの画像の補間拡大を行う。ここで用いられる補間拡大の手法としては、例えば一般的なバイリニア補間やバイキュービック補間などが挙げられる。補間拡大された画像は畳込み積分部 62 に与えられ、 PSF デ一夕保持部 63 より与えられる PSFデータとモーション推定部で求められた各フレーム毎のモーションを考慮した適切な座標位置で畳込み積分される。補間拡大された画像データは、同時に画像蓄積部 69 に送られ、ここに蓄積される。畳込み演算された画像データは画像比較部 64 に送られ、撮像部より与えられる撮影画像と比較される。比較された残差は乗算部 6 5 に送られ P SFデータ保持部 63より与えられる P SFデータの各画素毎の値に掛け合わされる。

この演算結果は貼り合せ加算部 6 6 に送られ、それぞれ対応する座標位置に置かれる。ここで乗算部 65 からの画像データは、重なりを持ちながら少しずつ座標位置がずれて行くことになるので重なる部分については加算していく。撮影画像 1 枚分のデータの貼り合せ加算が終るとデ —夕は蓄積加算部 6 7 に送られる。蓄積加算部 67ではフレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データを順次加算してゆく。

加算された画像データは、更新画像生成部 68 に送られる。更新画像生成部 68 には、これと同時に画像蓄積部 69 に蓄積されていた画像デー夕が与えられ、この 2つの画像データに重みをつけて加算して更新画像データを生成する。生成された更新画像データは、反復演算判定部 6 1 0 に与えられ、反復判定値保持部 6 Π から与えられる反復判定値を元に演算を反復するか否かを判断する。

演算を反復する場合には、データを畳込み積分部 6 2 に送り前記の一連の処理を繰り返し、反復しない場合は生成された画像データを出力する。上記一連の処理を行うことにより、反復演算判定部 6 1 0から出力される画像は撮影画像よりも高解像度なものとなっている。また前記 P SF データ保持部 6 3 で保持される P SF データには、畳込み積分の際に適切な座標位置での計算が必要となるので、重み計算部 1 04よりデ一夕が与えられるようになっている。以上、第 1 図〜第 6図により第 1 の実施形態例の撮像装置について説明した。第 1 図〜第 6図の構成は、画像の高解像化方法の発明を構成することができる。すなわち、第 1 図における、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部 1 0 1 による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」と、記録部 1 0 5 による「サンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく時間関係記憶ステツプ」と、基準画像選択部 1 08による「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップ」と、重み計算部 1 04による「時間関係記憶手段に記憶されている相対的な時間関係を用いて各フレーム毎に前記基準画像決定手段で決定された前記基準画像との時間関係に対応した重み付け情報を生成する重み付け情報生成ステップ」と、高解像化処理部 1 0 6 による「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化ステップ」と、からなる、画像の高解像化方法の発明が実現できる。

以上説明した本発明の第 1 の実施形態例により、基準画像から時間的に離れたフレームを用いることによる、高解像度画像推定処理の精度の低下を改善して、高解像度画像の推定精度を向上させることが可能となる。

第 7図は、本発明にかかる第 2の実施形態例の構成を示す構成図である。光学系は撮像部 2 0 1 に光学像を結像し、結像した画像は空間的に離散化してサンプリング、画像信号に変換され記録部 2 0 5 に記録される。記録部 2 0 5 に記録された画像データは、基準画像選択部 2 0 7で基準となる画像を選択する。その基準画像とその他の画像との位置推定を位置推定部 2 0 2で行い、位置記録部 20 3 に記録する。モーション推定のァルゴリズムの詳細は、実施形態 1で用いた'ものと同一である。撮像された画像に対する重み係数は、位置記録部 203で記録された位置推定情報を利用して重み計算部 204で計算される。位置推定部 202 は、サンプリングされた複数フレームの画像間の相対的な位置関係を画素間隔よりも高い分解能で求める手段として機能する。

第 8図は、重み計算部 204で計算される重み付け計算の例を示す説明図である。以下、第 8図を用いて重み計算部 204で実施される重み付け計算の例を説明する。複数枚の低解像度画像を用いて画像高解像度処理を行う場合、複数枚の低解像度画像は同じようなサブピクセル位置で撮影されたものでなく、それぞれ違ったサブピクセル位置でばらつきを持つてサンプリングされていたほうが好ましい。そこで、サブピクセル単位でばらつきを持ってサンプリングされている低解像度画像の影響を大きくするように重み付けを行い、画像高解像度化処理に用いる。

具体的には以下のような方法が考えられる。第 8図の様な低解像度画像座標中で + 0. 2 5 [p i x e l ]のずれに近い画像を用いたいものとする。その場合、灰色の丸の位置で撮影された画像よりも、黒色の丸で撮影された画像を用いたほうが好ましい。その場合具体的には、 + 0. 2 5 [p i x e l ]ずれた位置から、撮影された画素の位置までの距離を求め、距離が小さい方大きな重み付けを行うような方法を行う。この手法によって求められた重み付け係数は、高解像度化手法の式内にあらわすと、下記数 3 の /3 _kで表現できる。

【数 3】

ここで、 f ( z )は画像高解像度化評価関数、 y _kは低解像度画像、 A _kは撮像系を考慮した画像変換行列、 z は高解像度画像、 λ は重み係数、 g ( z )は画像の滑らかさや色差信号等の先見情報を考慮した拘束項である次に、第 7図の重み計算部 204 で得られた重み係数、位置記録部 203 に記録された画像間の位置推定量、記録部 205 に記録された画像データ、基準画像選択部 207で得られた基準画像情報を用いて、高解像化処理部 206 において基準画像について画像高解像化処理を行う。画像高解像化処理の詳細は、前記実施形態 1 で用いたものと同一である。

以上、第 7図、第 8図により第 2の実施形態例の撮像装置について説明した。第 7図、第 8図の構成は、画像の高解像化方法の発明を構成することができる。すなわち、第 7図における、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部 20 1 による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」と、位置推定部 202 による「サンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出ステップ」と、基準画像選択部 207による「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップ」と、重み計算部 204 による「位置関係算出手段で算出された相対的な位置関係を用いて各フレーム毎に前記基準画像との位置関係に対応した重み付け情報を生成する重み付け情報生成ステップ」と、高解像化処理部 206 による「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化ステップ」と、からなる、画像の高解像化方法の発明が実現できる。

以上説明した本発明の第 2の実施形態例により、基準画像に対する対象画像の位置の偏差による、高解像度画像推定処理の精度の低下を改善して、高解像度画像の推定精度を向上させることが可能となる。

第 9図は、本発明にかかる第 3の実施形態の構成を示す構成図である。光学系は撮像部 3 0 1 に光学像を結像し、結像した画像は空間的に離散化してサンプリング、画像信号に変換され記録部 30 5 に記録される。記録部 30 5 に記録された画像データは、基準画像選択部 30 7で基準となる画像を選択する。その基準画像とその他の画像との位置推定を撮像位置推定部 30 2で行い、位置記録部 303に記録する。撮像位置推定部 30 2 は、サンプリングされた複数フレームの画像間の相対的な位置関係を画素間隔よりも高い分解能で求める手段として機能する。

モーション推定のアルゴリズムの詳細は、実施形態 1で用いたものと同一である。撮像された画像に対する重み係数は、位置記録部 30 3で記録された位置推定情報及び記録部 30 5で記録された画像データを利用して重み計算部 304で計算される。

第 1 0図は、重み計算部 304で実施される重み付け計算の例を示す説明図である。以下、第 1 0図を用いて説明する。重み計算部 304で重みを計算する方法は、以下のように実施する。 n フレーム目を高解像度化したい場合、 n フレーム目とその他のフレームとのモーションを求める。このとき、モーション推定精度が高いものほど画像高解像度化処理のときに大きい重み付けを行う。

モーション推定精度の指標として、求めたモーション推定値で画像の位置を合わせたときの非類似度評価値（SSD、 SAD など）を用いる（第 1 0図（ a ) ) 。非類似度評価値が低いものほどモーション推定精度が高精度であるとして、高い重み付けを行う。

非類似度評価'値から重み付けを行う方法には、閾値以下の非類似度には一定の重みをつける方法（第 1 0図（ b ) の ease l )や、ガウス分布的に重みを変化させる方法（第 1 0図（ c ) の case 2 )などが考えられる。この手法によって求められた重み付け係数は、高解像度化手法の式内にあらわすと。下記数 4のァ _kで表現できる。

【数 4】

ここで、 f (z)は画像高解像度化評価関数、 Y_kは低解像度画像、 A_kは撮像系を考慮した画像変換行列、 z は高解像度画像、 λ は重み係数、 g(z)は画像の滑らかさや色差信号等の先見情報を考慮した拘束項である次に、第 9図の重み計算部 304 で得られた重み係数、位置記録部 303 に記録された画像間の位置推定量、記録部 305 に記録された画像データ、基準画像選択部 307で得られた基準画像情報を用いて、高解像度処理部 306 において基準画像について画像高解像度化処理を行う。画像高解像度化処理の詳細は、第 1 の実施形態で用いたものと同一である。

以上、第 9図、第 1 0図により第 3の実施形態例の撮像装置について説明した。第 9図、第 1 0図の構成は、画像の高解像化方法の発明を構成することができる。すなわち、第 9図における、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部 301 による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」と、撮像位置推定部 302 による「撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出ステップ」と、基準画像選択部 307 による「複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップ」と、重み計算部 304 による「位置関係算出手段で求められた相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出ステップ」、および「類似度算出手段で算出した類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成ステップ」と、高解像化処理部 306 による「重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化ステップ」と、からなる、画像の高解像化方法の発明が実現できる。

以上説明した本発明の第 3 の実施形態例により、基準画像に対して対象画像の位置関係の推定精度が低いフレームを用いることによる、高解像度画像推定処理の精度の低下を改善して、高解像度画像の推定精度を向上させることが可能となる。

なお、第 1 図、第 7 図、第 9 図に記載の構成は、共通して画像の高解像化方法の発明を構成する。すなわち、光学系による「被写体の像を結像させる光学的結像ステップ」と、撮像部 1 0し 20 1、 30 1 による「光学的に結像された画像を空間的に離散化してサンプリングし画像信号に変換するステップ」と、重み計算部 1 04、 204、 304 による「サンプリングされた複数フレームの画像の重み付け情報を生成する重み付け情報生成ステップ」と、高解像化処理部 1 06、 206、 306 による「重み付け情報を用いて高解像度な画像を生成する高解像化ス丁ップ j と、からなる、画像の高解像化方法の発明が実現できる。産業上の利用可能性

以上説明したように、本発明によれば、画素数の少ない画像デ夕を用いて精度よく高解像度の画像を生成する撮像装置および画像の高解像化方法を提供することができる。

また、本発明の撮像装置および画像の高解像化方法においては、撮影状態による処理に使用する複数の低解像度画像間の変化の大きさによる高解像度画像推定処理の精度の低下を改善して高解像度画像の推定精度を向上させることが可能となる。

<参考文献一覧 >

特許文献 1 ：

特開平 1 0 - 69 537号公報

Claims

請求の範囲

1 . 被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像の重み付け情報を生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された前記複数フレームの画像の重み付け情報を用いて高解像度な画像を生成する高解像度化手段と、を有する事を特徴とする撮像装置。

2 . 被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像間の相対的な時間関係を記憶させておく時間関係記憶手段と、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段と、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段と、前記時間関係記憶手段に記憶されている相対的な時間関係を用いて各フレーム毎に前記基準画像決定手段で決定された前記基準画像との時間関係に対応した重み付け情報を生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段と、を有することを特徴とする撮像装置。

3 . 被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段と、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段と、前記位置関係算出手段で算出された相対的な位置関係を用いて各フレーム毎に前記基準画像との位置関係に対応した重み付け情報を生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段と、を有することを特徴とする撮像装置。

4 . 被写体の像を空間的に離散化してサンプリングし画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数フレームの画像間の相対的な位置関係を前記撮像手段の画素間隔よりも高い分解能で求める位置関係算出手段と、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定手段と、前記位置関係算出手段で求められた相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出手段と、該類似度算出手段で算出した類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成手段と、該重み付け情報生成手段で生成された重み付け情報と前記位置関係算出手段で算出した前記複数フレームの画像間の相対的な位置関係、および前記複数フレームの画像を用いて高解像度な画像を生成する高解像度化手段と、を有することを特徴とする撮像装置。

5 . 被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するステツプと、前記サンプリングされた複数フレ一ムの画像の重み付け情報を生成する重み付け情報生成スア一ツノと、 HU記重み付け情報を用いて高解像度な画像を生成する高解像化ステップと、からなることを特徴とする画像の高解像化方法。

6 . 被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプリングし画像信号に変換するスアツノと、育 U目 dサンフ U ングされた複数フレ一ムの画像間の相対的な時間関係を記憶させてお <時間関係記憶ステップと、靑 U記サンプリングされたネ复数フレ一ムの画像間の相対的な位置関係を前記サンプリングする画素間隔ょり高い分解能で求める位置関係算出ステップと、記複数フレムの画像の中から基準となる基準画像を決定する基準画像決定ステップと、 HU記記憶されている相対的な時間関係を用いて各フレーム毎に前記基準画像との時間関係に対応した重み付け情報を生成する重み付け情報生成ステップと、前記重み付け情報と、前記相対的な位置関係、および Wl ed複数フレームの画像とから高解像度な画像を生成する高解像化ステップと、からなることを特徴とする画像の高解像化方法

7 . 被写体の像を結像させる光学的結像ステツプと、前記光学的に結像させた画像を空間的に離散化してサンプ U ングし画像信号に変換するステップと、前記サンプングされた複数フレームの画像間の相対的な位置関係を前記サンプ U ングする画素間隔りも高い分解能で求める位置関係算出ステツフと、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステツフと、前記相対的な位置関係を用いて各フレーム毎に前記基準画像との位置関係に対応した重み付け情報を生成する重み付け情報生成ステップと、前記重み付け情報と、前記相対的な位置関係、および前記複数フレームの画像とから高解像度な画像を生成する高解像化ステップと、からなることを特徴とする画像の高解像化方法。

8 . 被写体の像を結像させる光学的結像ステップと、前記光学的に結像させた画像を空間的に離散化してサンプングし画像信号に変換するステツプと、前記サンプリングされた複数フレームの画像間の相対的な位置関係を前記サンプリングする画素間隔よりも高い分解能で求める位置関係算出ステツプと、前記複数フレームの画像の中から基準となる基準画像を決定する基準画像決定ステップと刖記相対的な位置関係を用いて前記基準画像と各フレーム毎の画像との類似度を算出する類似度算出ステップと、前記類似度に対応した重み付け情報を前記各フレーム毎に生成する重み付け情報生成ステツプと記重み付け情報と、前記相対的な位置関係、および前記複数フレームの画像とから高解像度な画像を生成する高解像化ステツプと、からなるとを特徴とする画像の高解像化方法。

9 . HU 己位置関係出ステップは、前記基準画像を複数のモーションで変形させて複数の画像列を生成するステップと、前記各フレーム画像から前記基準画像との間のモーション推定を行なう参照画像を読み込むステツフと、刖記複数の画像列と前記参照画像との類似度値を各々算出するステップと u記複数の画像列を生成するための変形モーションのパラメ一夕と前記算出した各々の類似度値との関係を用いて類似度マップを作成するステップと前記作成した類似度マップを用いて類似度の極値を求めるステップと、前記求めた類似度の極.値を持つ変形モーションを特定するステップと、を含むことを特徴とする請求の範囲第 6項乃至請求の範囲第 8項のいずれかに記載の画像の高解像化方法。

1 0 . 前記高解像化ステップは、撮像特性を考慮した撮像画像の点広がり関数と、前記算出された位置関係とを用いて評価関数の最小化を行なうステップを含むことを特徴とする、請求の範囲第 6項乃至請求の範囲第 9項のいずれかに記載の画像の高解像化方法。