JP4879261B2

JP4879261B2 - 撮像装置、高解像度化処理方法、高解像度化処理プログラム、及び記録媒体

Info

Publication number: JP4879261B2
Application number: JP2008503800A
Authority: JP
Inventors: 高宏矢野; 伸之渡辺
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2006-03-03
Filing date: 2007-02-28
Publication date: 2012-02-22
Anticipated expiration: 2027-02-28
Also published as: US20090002504A1; JPWO2007102377A1; WO2007102377A1; EP1993278A1; US7978234B2

Description

本発明は、異なる解像度での読み出しが可能な撮像素子を利用して高フレームレートで高解像度な画像を生成する撮像装置及び高解像度化処理方法に関する。また、その高解像度化処理方法をコンピュータに実行させる高解像度化処理プログラム及びそのような高解像度化処理プログラムを格納したコンピュータが読み取り可能な記録媒体に関する。

近年の半導体技術の発展により、撮像素子は多画素化の傾向がある。素子の小型化及び高速化が図られてはいるものの、多画素化された撮像素子では、撮像素子のデータ読み出しに多くの時間がかかる。また同一面積で多画素化を行った場合、撮像素子の大きさに対する１画素の大きさが小さくなる為に、Ｓ／Ｎ比が劣化する等の問題があった。そのため、多画素化された撮像素子においては、高いフレームレートで動画撮影を行うことが困難である。

一方、近年静止画像と動画像の撮影を兼用する機器が商品化されている。これは、高解像度の撮像素子を用い、静止画撮影のときには高解像度撮影を行ない、動画像撮影のためにはフレームレートを上げる必要があるためドラフトモードと呼ばれる読み出しを行う。例えば、ＣＣＤにおいて垂直８画素中４画素を２クロックで読み、残りを読み飛ばす、間引き読み出しと複数フィールド読み出しとを組み合わせた読み出し方法や、ＭＯＳ型撮像素子のように水平，垂直の方向に加算して読み出す方法などの方法が使われている。このようにして、静止画像の撮影と動画像の撮影とで１つの撮像素子を兼用している。実際の製品の例としては、動画撮影中に静止画撮影が行えるデジタルカメラ、デジタルビデオなどの撮像装置が有る。これらの撮像装置は、動画撮影中にシャッタ押下などの割り込み信号によって静止画像の撮影を行うことができる。

これらの撮像装置では、動画像用に読み出した低解像度画像は、フレームレートの高い画像列として得られる。しかしながら、解像度については、上述のような画素混合等の技術を用いる為、本来撮像素子が持っている解像力を発揮することができない。そのため、動画像撮影で得られた動画像の中に、高解像度の静止画として記録したい画像、或いは高精細にプリント等したい画像、いわゆるシャッタチャンスのシーン画像が含まれていても、そのシーン画像を高解像度で得ることができない。無論、上記のような動画像撮影中に割り込みシャッタを押下した場合、その瞬間の高解像度の静止画を撮像することは可能である。しかし、例えば高速連写やプリキャプチャのように、シャッタを押下した瞬間の前後のタイミングの撮影に対しては、動画撮影時の低解像度の画像のままである。或いは、その低解像度の画像に対して、補間処理等の高解像度化する手段を適応して、高解像度化を図るものも有るが、補間処理等では高品質な高解像度画像を得ることはできない。

従って、動画像撮影中の任意の画像を高品質に高解像度化して静止画として読み出すことが望まれる。

そこで、ビデオカメラなどの撮像装置を使用する際に、画素数の少ない画像データを用いて高解像度の画像を生成する方法が種々提案されている。その一例として上記のような（１）高解像高速撮影及び（２）動画解像度高解像度化の問題を解決する為に、例えば特開平１０−６９５３７号公報では、複数枚の位置ずれを持つ低解像度画像を用いて、高解像度の画像を生成するという方法が開示されている。ここでの高解像度化処理は、サブピクセルレベルでの位置ずれのある画像を同一解像度で複数枚撮影し、これらの画像の劣化要因などをキャンセルした上で合成して、１枚の高精細な画像を形成する手法である。

また、特開２００４−４０４２２号公報には、２種類の解像度を用いたデータの圧縮技術を用いて、複数枚の低解像度画像とこれに比べサンプリングレートが低い高解像度画像とを撮影し、この２種類の画像データから高解像画像を生成する方式が開示されている。この方式では、複数枚の低解像度画像と高解像度画像を撮影して、それらを用いて高解像度画像の生成を行う際、複数枚の低解像度画像間での位置ずれの対応をとる。その対応のとり方は以下のようにして行われる。はじめに、複数枚の低解像度画像のうち、隣接フレーム間の位置ずれを局所対応情報として求める。その後、それら複数の局所対応情報をキーフレームの間隔で統合することで、低解像度画像中で選択されたキーフレーム間の位置ずれとして大域対応情報を生成する。

上記特開平１０−６９５３７号公報に開示されている手法では、複数枚の低解像度画像のみから、高解像度画像を生成しなければならない。そのため、静止画像と動画像の撮影を兼用する機器では、高解像度画像が撮影できる利点を活かしきれていない。

また、上記特開２００４−４０４２２号公報に開示されている手法では、上述のように低解像度画像中で選択されたキーフレーム間の位置ずれとして大域対応情報を生成する際、低解像度の隣接画像間の局所対応情報を用いている。そのため、離れたフレームを複数枚用いて画像を高解像度化する場合、統合した時に生ずる累積誤差により、生成した高解像度画像に誤差が含まれる場合がある。

本発明は、上記問題に鑑みてなされたものであり、画像間変位の対応関係を高精度に推定することができ、また、低解像度出力の動画撮影中に含まれるシャッタチャンスのシーン画像を、より自然で高画質に高解像化可能な撮像装置、高解像度化処理方法、高解像度化処理プログラム、及び記録媒体を提供することを目的とする。

本発明の第１の態様によれば、被写体の画像を電子的に記録する撮像装置であって、画像の解像度を切り替えて撮影可能な撮像素子と、該撮像素子から出力される画像の解像度を切り替える解像度切り替え手段と、を具備する撮像装置において、上記撮像素子から上記解像度切り替え手段によって切り替えられて出力された、少なくとも第１の解像度を有する画像と上記第１の解像度よりも高い第２の解像度を有する画像を含む２種類以上の解像度の異なる複数の出力画像から基準画像を選択する画像選択手段と、上記基準画像とその他の画像間の画像間変位を推定する画像変位推定手段と、上記撮像素子で撮影された上記第１の解像度を有する画像及び上記第２の解像度を有する画像と上記画像変位推定手段で得られた画像間変位を用いて、上記撮像素子から出力された複数の出力画像中の任意の画像に対して解像度を変換する解像度変換手段と、を更に具備することを特徴とする撮像装置が提供される。

本発明の第２の態様によれば、被写体の画像を電子的に記録する撮像装置であって、画像の解像度を切り替えて撮影可能な撮像素子と、該撮像素子から出力される画像の解像度を切り替える解像度切り替え手段と、を具備する撮像装置において、上記撮像素子において、上記解像度切り替え手段によって解像度が切り替えられて出力された、少なくとも第１の解像度を有する画像と上記第１の解像度よりも高い第２の解像度を有する画像を含む２種類以上の解像度の異なる複数の出力画像から、第１の解像度を有する画像のうちの１枚を基準画像として選択する画像選択手段と、上記基準画像と、他の上記第１の解像度を有する画像との画像間変位を推定する第１の変位推定手段と、該第１の変位推定手段の演算結果を用いて、上記第１の解像度よりも高い第３の解像度を有する画像を推定する高解像度画像推定手段と、該高解像度画像推定手段によって得られた上記第３の解像度を有する画像と上記第２の解像度を有する画像との画像間変位を推定する第２の変位推定手段と、該第２の変位推定手段で得られた画像間変位を用いて、上記第３の解像度を有する画像に対して解像度を変換する解像度変換手段と、を更に具備することを特徴とする撮像装置が提供される。

本発明の第３の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素子から、少なくとも２種類以上の解像度の異なる複数の画像を取得する撮像装置において、上記撮像素子から出力された複数の出力画像中の任意の画像を解像度化する高解像度化処理方法であって、上記撮像素子から、少なくとも第１の解像度を有する画像と上記第１の解像度よりも高い第２の解像度を有する画像を含む２種類以上の解像度の異なる複数の出力画像を取得するステップと、上記撮像素子から取得した２種類以上の解像度の異なる複数の出力画像から基準画像を選択するステップと、上記基準画像とその他の画像間の画像間変位を推定するステップと、上記撮像素子から出力された上記第１の解像度を有する画像及び上記第２の解像度を有する画像と上記推定された画像変位とを用いて、上記撮像素子から出力された複数の出力画像中の任意の画像に対して解像度を変換するステップと、を有することを特徴とする高解像度化処理方法が提供される。

本発明の第４の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素子から、少なくとも２種類以上の解像度の異なる複数の画像を取得する撮像装置において、上記撮像素子から出力された複数の出力画像中の任意の画像を解像度化する高解像度化処理方法であって、上記撮像素子から、少なくとも第１の解像度を有する画像と上記第１の解像度よりも高い第２の解像度を有する画像を含む２種類以上の解像度の異なる複数の出力画像を取得するステップと、上記撮像素子から取得した２種類以上の解像度の異なる複数の出力画像から第１の解像度を有する画像のうちの１枚を基準画像として選択するステップと、上記基準画像と、他の上記第１の解像度を有する画像との画像間変位を推定する第１の変位推定ステップと、該第１の変位推定ステップの結果を用いて、上記第１の解像度よりも高い第３の解像度を有する画像を推定する高解像度画像推定ステップと、該高解像度画像推定ステップによって得られた上記第３の解像度を有する画像と上記第２の解像度を有する画像との画像間変位を推定する第２の変位推定ステップと、該第２の変位推定ステップで得られた画像変位と上記第２の解像度を有する画像を用いて、上記第３の解像度を有する画像に対して解像度を変換する画像解像度変換処理ステップと、を有することを特徴とする高解像度化処理方法が提供される。

本発明の第５の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素子から、少なくとも２種類以上の解像度の異なる複数の出力画像を取得する撮像装置において、上記撮像素子から出力された複数の出力画像中の任意の画像を解像度化する高解像度化処理方法であって、上記撮像素子から、第１の解像度を有する画像を取得するステップと、割り込み信号を発生するステップと、上記発生した割り込み信号によって上記撮像素子の出力画像の解像度を切り替える解像度切り替えステップと、上記解像度切り替えステップに対応して上記撮像素子から、上記第１の解像度より高い解像度を有する画像を取得するステップと、取得した上記第１の解像度より高い解像度を有する画像から基準画像を選択するステップと、上記画像選択手段で選択した基準画像とその他の上記第１の解像度を有する画像との画像間変位を推定する変位推定ステップと、上記撮像素子から出力された複数の出力画像と上記変位推定ステップで得られた画像間変位とを用いて上記複数の出力画像中の任意の画像の解像度を変換する解像度変換ステップと、を有することを特徴とする高解像度化処理方法が提供される。

本発明の第６の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素子で取得された少なくとも２種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成する高解像度化処理プログラムであって、コンピュータに、少なくとも第１の解像度を有する画像と上記第１の解像度よりも高い第２の解像度を有する画像を含む２種類以上の解像度の異なる複数の出力画像から基準画像を選択する手順と、上記基準画像とその他の画像との画像間変位を推定する手順と、上記第２の解像度を有する画像と上記推定された画像間変位とを用いて、上記複数の出力画像中の任意の画像に対して解像度を変換する手順と、を実行させるための高解像度化処理プログラムが提供される。

本発明の第７の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素子で取得された少なくとも２種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成する高解像度化処理プログラムであって、コンピュータに、少なくとも第１の解像度を有する画像と上記第１の解像度よりも高い第２の解像度を有する画像を含む２種類以上の解像度の異なる複数の画像の中から、第１の解像度を有する画像のうちの１枚を基準画像として選択する手順と、上記基準画像と、他の上記第１の解像度を有する画像との画像間変位を推定する第１の変位推定手順と、該第１の変位推定手順の結果を用いて、上記第１の解像度よりも高い第３の解像度を有する画像を推定する高解像度画像推定手順と、該高解像度画像推定手順によって得られた上記第３の解像度を有する画像と上記第２の解像度を有する画像との画像間変位を推定する第２の変位推定手順と、該第２の変位推定手順で得られた画像間変位と上記第２の解像度を有する画像を用いて、上記第３の解像度を有する画像に対して解像度を変換する解像度変換手順と、を実行させるための高解像度化処理プログラムが提供される。

本発明の第８の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素子で取得された少なくとも２種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成する高解像度化処理プログラムであって、コンピュータに、上記撮像素子から、第１の解像度を有する画像を取得する手順と、割り込み信号を発生する手順と、上記発生した割り込み信号によって上記撮像素子の出力画像の解像度を切り替える解像度切り替え手順と、上記解像度切り替え手順に対応して上記撮像素子から、上記第１の解像度より高い解像度を有する画像を取得する手順と、取得した上記第１の解像度より高い解像度を有する画像から基準画像を選択する画像選択手段手順と、上記画像選択手段で選択した基準画像とその他の上記第１の解像度を有する画像との画像間変位を推定する変位推定手順と、上記撮像素子から取得した複数の出力画像と上記変位推定手順で得られた画像間変位とを用いて上記撮像素子から取得した複数の出力画像中の任意の画像の解像度を変換する解像度変換手順と、を実行させるための高解像度化処理プログラムが提供される。

本発明の第９の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素子で取得された少なくとも２種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成する高解像度化処理プログラムを格納した、コンピュータが読み取り可能な記録媒体であって、上記高解像度化処理プログラムは、コンピュータに、少なくとも第１の解像度を有する画像と上記第１の解像度よりも高い第２の解像度を有する画像を含む２種類以上の解像度の異なる複数の出力画像から基準画像を選択する処理と、上記基準画像とその他の画像との画像間変位を推定する処理と、上記第２の解像度を有する画像と上記推定された画像間変位とを用いて、上記複数の出力画像中の任意の画像に対して解像度を変換する処理と、を実行させる命令を含むことを特徴とする記録媒体が提供される。

本発明の第１０の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素子で取得された少なくとも２種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成する高解像度化処理プログラムを格納した、コンピュータが読み取り可能な記録媒体であって、上記高解像度化処理プログラムは、コンピュータに、少なくとも第１の解像度を有する画像と上記第１の解像度よりも高い第２の解像度を有する画像を含む２種類以上の解像度の異なる複数の画像の中から、第１の解像度を有する画像のうちの１枚を基準画像として選択する処理と、上記基準画像と、他の上記第１の解像度を有する画像との画像間変位を推定する第１の変位推定処理と、該第１の変位推定処理の結果を用いて、上記第１の解像度よりも高い第３の解像度を有する画像を推定する高解像度画像推定処理と、該高解像度画像推定処理によって得られた上記第３の解像度を有する画像と上記第２の解像度を有する画像との画像間変位を推定する第２の変位推定処理と、該第２の変位推定処理で得られた画像間変位と上記第２の解像度を有する画像を用いて、上記第３の解像度を有する画像に対して解像度を変換する解像度変換処理と、を実行させる命令を含むことを特徴とする記録媒体が提供される。

本発明の第１１の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素子で取得された少なくとも２種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成する高解像度化処理プログラムを格納した、コンピュータが読み取り可能な記録媒体であって、上記高解像度化処理プログラムは、コンピュータに、上記撮像素子から、第１の解像度を有する画像を取得する処理と、割り込み信号を発生する処理と、上記発生した割り込み信号によって上記撮像素子の出力画像の解像度を切り替える解像度切り替え処理と、上記解像度切り替え処理に対応して上記撮像素子から、上記第１の解像度より高い解像度を有する画像を取得する処理と、取得した上記第１の解像度より高い解像度を有する画像から基準画像を選択する画像選択手段処理と、上記画像選択手段で選択した基準画像とその他の上記第１の解像度を有する画像との画像間変位を推定する変位推定処理と、上記撮像素子から取得した複数の出力画像と上記変位推定処理で得られた画像間変位とを用いて上記撮像素子から取得した複数の出力画像中の任意の画像の解像度を変換する解像度変換処理と、を実行させる命令を含むことを特徴とする記録媒体。

図１は、本発明の第１実施例に係る撮像装置の構成を示すブロック図である。図２は、画像間モーション推定を用いた超解像処理の概念図である。図３は、撮影時の割り込み動作の第１の例を示す概念図である。図４は、撮影時の割り込み動作の第２の例を示す概念図である。図５は、第１実施例における画像間変異推定処理の流れを示すフローチャートである。図６は、パラボラフィッティングによる類似度マップの極値の探索法の概念図である。図７は、第１実施例における画像解像度変換処理の流れを示すフローチャートである。図８は、高解像化処理部の構成の例として超解像処理の構成を示すブロック図である。図９は、本発明の第１実施例の変形例における画像間モーション推定を用いた超解像処理の概念図である。図１０は、第１実施例の変形例における画像高解像度化処理の流れを示すフローチャートである。図１１は、本発明の第２実施例に係る撮像装置の構成を示すブロック図である。図１２は、第２実施例の処理の概念を示す図である。図１３は、低解像度空間画像変位推定部の画像変位推定処理の流れを示すフローチャートである。図１４は、高解像度空間画像変位推定部の画像変位推定処理の流れを示すフローチャートである。図１５は、第２高解像化処理部の画像高解像度化処理アルゴリズムの詳細な流れを示すフローチャートである。

以下、図面を参照して本発明の実施例を説明する。

第１実施例に係る撮像装置は、図１に示すように、光学系１０、撮像部１２、撮像解像度切替部１４、割り込み発生部１６、画像記録部１８、基準画像選択部２０、画像変位推定部２２、画像変位記録部２４、高解像度化画像選択部２６、及び高解像化処理部２８から構成されている。

撮像部１２は、光学系１０を経て結像された光学的な被写体像を光電変換して電気的な画像データを出力する。この撮像部１２は、出力画像の解像度を切り替え可能な撮像素子である。例えば、プログレッシブ読み出し方式、インターリーブ読み出し方式、画素間引き読み出し方式、画素混合読み出し方式、等の複数の読み出し方式のうち、撮像装置の用途及び／又は機能に応じて適宜採用された複数の読み出し方式を、撮影シーン、モード等に応じて選択的に切り替え可能な機能を有している。ここで、プログレッシブ読み出し方式とは、各画素の信号を読み出す場合に、全画素信号を順次読み出す方式である。インターリーブ読み出しとは、奇数ライン毎と偶数ライン毎に交互に画素の信号を読み出す方式である。画素間引き読み出し方式とは、水平・垂直に指定された画素数おきに飛ばして画素の信号を読み出す方式である。画素混合読み出し方式とは、指定された画素数分を混合して１つの画素信号として読み出す方式である。また、撮像部１２は、読み出し範囲を変更可能として所望の一部の領域の画素信号を選択的に読み出す機能を有しても良いことは勿論である。

撮像解像度切替部１４は、上記撮像部１２からの出力画像の解像度を切り替える。即ち、上記撮像素子から出力される画像の解像度を切り替える解像度切り替え手段として機能する。割り込み発生部１６は、撮像解像度切替部１４で撮像解像度を切り替えるための割り込みを発生する。

画像記録部１８は、撮像部１２から出力された画像データを電子的に記録する。

基準画像選択部２０は、画像記録部１８に記録された複数の画像の内、基準画像を選択する。即ち、基準画像を選択する画像選択手段として機能する。

画像変位推定部２２は、画像記録部１８に記録された画像と基準画像選択部２０で選択された基準画像とから画像の変位を推定する。即ち、基準画像とその他の画像間の画像間変位を推定する画像変位推定手段として機能する。

画像変位記録部２４は、画像変位推定部２２で推定された画像変位を記録する。

高解像度化画像選択部２６は、高解像度画像化を行うターゲット画像を選択する。

高解像化処理部２８は、画像変位記録部２４からの画像変位情報を用いて、高解像度化画像選択部２６で選択された画像記録部１８からの画像を高解像度化処理する。即ち、解像度を変換する解像度変換手段として機能する。

なお、図１では図示されていないが、本撮像装置はコンピュータ、プロセッサ等の上記各部の動作を制御する動作制御部を備えている。また、コンピュータ、プロセッサ等が、上記各部の一部、或いは多くの処理、動作を行なっても良い。

次に、図１を参照して、データの流れを説明する。

光学系１０により結像された被写体像は、撮像部１２にて空間的に離散化してサンプリングされることにより画像データに変換される。この画像データは画像記録部１８に供給され、電子的に画像記録部１８に記録される。その際、撮像部１２から出力される画像の解像度は、撮像解像度切替部１４からの読み出し解像度の指示情報に応じて決定される。すなわち、撮像解像度切替部１４が高解像度モードに切り替わっている場合、撮像部１２は高解像度画像を出力する。撮像解像度切替部１４が低解像度モードに切り替わっている場合には、撮像部１２は、上記高解像度画像に比べ低解像度ではあるがフレームレートの高い低解像度画像を、連続して出力する。撮像解像度切替部１４は、割り込み発生部１６によって割り込みが発生した時に、解像度モードの切り替えを行う。

基準画像選択部２０は、画像記録部１８に記録された高解像度画像及び低解像度画像の中から、画像変位推定の基準となる基準画像を選択し、画像変位推定部２２は、画像間の変位推定を行う。この画像変位推定部２２によって推定された画像変位は、画像変位記録部２４に記録される。高解像化処理部２８は、画像変位記録部２４に記録された画像変位情報、画像記録部１８に記録された高解像度画像及び低解像度画像、及び高解像度化画像選択部２６で指定された高解像度画像化を行うターゲット画像を示す高解像度化画像選択情報を用いて、高解像度画像を生成する。

以下、第１実施例の概念図である図２をもとに図１の構成要素についてそれぞれ述べる。

はじめに、図２を用いて本実施例の概念について説明する。画像記録部１８には、異なった時間での撮影によって得られた高解像度画像３０（ｙ_１，ｙ_７）と、その間に挟まれた低解像度画像３２（ｙ_２，ｙ_３，ｙ_４，ｙ_５，ｙ_６）が記録されている。高解像度画像の生成の処理は、これらの画像３０，３２の全てを用いて行われる。すなわち、同図に破線で示すように、高解像度画像３０（ｙ_１，ｙ_７）と低解像度画像３２（ｙ_２，ｙ_３，ｙ_４，ｙ_５，ｙ_６）の夫々の画像間の変位（モーション）を推定し、さらに推定したモーションと、撮像システム関数（光学的なボケ、イメージャによるサンプリングに起因する帯域制限）とから、同図に実線矢印で示すように、超解像処理により高解像度画像３４を推定する。同図の例では、高解像度化したいターゲット画像として低解像度画像３２（ｙ_４）が選択され、推定された高解像度画像３４（ｚ_４）は、この低解像度画像３２（ｙ_４）のタイミングに対応した高解像度画像になる。高解像度画像３４（ｚ_４）の解像度が高解像度画像３０（ｙ_１，ｙ_７）と同じ解像度である場合は、低解像度画像３２と高解像度画像３０との間の変位量を推定する演算だけでもかまわない。高解像度画像３４（ｚ_４）の解像度が高解像度画像３０（ｙ_１，ｙ_７）以上の解像度の場合には、前述の高解像度化の推定演算を必要とする。以下、変位推定の基準になる画像を基準画像と呼び、その他の画像を参照画像と呼ぶ。

次に、割り込み動作を用いた撮影の流れに沿って、第１実施例に係る撮像装置の動作を説明する。

割り込み動作の第１の例では、図３のように、通常状態では、撮像解像度切替部１４を低解像度モードにして、撮影時には、連続した撮影により撮像部１２から低解像度画像３２を連続して出力するようにしておく。その連続した撮影中に、ユーザのスイッチ３６の押下操作などに応じて割り込み発生部１６が割り込みを発生させると、撮像解像度切替部１４は高解像度モードに切り替わり、撮像部１２に高解像度画像３０を出力させる。そしてその後、再び、撮像解像度切替部１４は低解像度モードに切り替わり、撮像部１２に低解像度画像３２を連続して出力させる。

割り込み動作の第２の例では、図４のように、撮影時には、撮像解像度切替部１４が低解像度モードに切り替えられて撮像部１２から低解像度画像３２を連続して出力している中で、割り込み発生部１６が割り込みを反復して発生させる。この反復割り込みが入った時に、撮像解像度切替部１４は高解像度モードに切り替わり、撮像部１２から高解像度画像３０を出力させる。すなわち、一定周期ごとに高解像度画像３０を取得する。

以上の第１又は第２の例のようにして、撮像部１２での撮影により得られた低解像度画像３２と高解像度画像３０は、画像記録部１８に記録される。

基準画像選択部２０では、画像変位推定のための基準画像として、画像記録部１８に保存された画像のなかの高解像度画像３０を１枚選択する。画像変位推定部２２は、この基準画像選択部２０で選択された基準画像と、対象となる基準画像以外の撮影画像との画像間の変位位置を求め、その結果を画像変位記録部２４に記録する。

次に、画像変位推定のアルゴリズムの詳細を、図５のフローチャートに示すアルゴリズムの流れに沿って説明する。

まず、画像変位推定の基準となる高解像度画像３０を基準画像として１枚読み込む（ステップＳ１０）。

次に、その読み込んだ基準画像を複数の画像変位で変形させ、画像列を生成する（ステップＳ１２）。

更に、基準画像との間の画像変位推定を行う低解像度画像３２を参照画像として１枚読み込む（ステップＳ１４）。

その後、上記読み込んだ参照画像にエイリアシングが多く含まれるか判断する（ステップＳ１６）。

その結果、エイリアシングが少ない場合、参照画像の解像度を補間処理により基準画像の解像度と同一にする（ステップＳ１８）。これに対して、エイリアシングが多い場合には、基準画像を複数変形させた画像列の解像度を参照画像の解像度と同一にする（ステップＳ２０）。

次に、参照画像と基準画像との間で大まかな画像変位推定を、領域ベースマッチング等の処理を用いて行い、その推定結果に基づいて参照画像を変形することにより、参照画像を基準画像へ大まかに合わせる（ステップＳ２２）。なお、ここでいう大まかな画像変位推定の一例として、ピクセル単位の領域ベースマッチング等の処理が挙げられる。なお、後述するステップＳ２８で精密な位置合わせを行う。従って、ステップＳ２８で行う画像変位推定処理よりも精度の低い画像変位推定処理であり、画像を大局的に位置合わせできる手法であれば、その他の手法でも良いものとする。

次に、ステップＳ１２で基準画像を画像変位のパラメータ（変形モーションパラメータ）を用いて複数変形させた画像列とステップＳ２２で基準画像に大まかに合わせられた参照画像との間の類似度値を算出する（ステップＳ２４）。

そして、画像変位のパラメータ（変形モーションパラメータ）と算出した類似度値との関係を用いて、離散的な類似度マップを作成する（ステップＳ２６）。

さらに、ステップＳ２６で作成した離散的な類似度マップを補完することで得られる、連続的な類似度値の極値を探索し、連続的な類似度値の極値を求める（ステップＳ２８）。その極値での画像変位のパラメータで示される画像変位が、求める画像変位（画像変位推定値）となる。類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法、等がある。図６は、画像変位推定をパラボラフッティングで行った例を示している。縦軸は類似度を表し、値が小さいほど類似度が高い。同図に示すように、離散的な類似度値３８間をパラボラフィッティングにより補完することで連続的な類似度のカーブ４０が得られ、その極値４２を探索することができる。求められた画像変位推定値は、画像変位記録部２４に記録される。

その後、対象となる全ての参照画像において画像変位推定を行っているか否か判断する（ステップＳ３０）。対象となる全ての参照画像において画像変位推定を行っていない場合は、参照画像のフレーム番号を変化させ（ステップＳ３２）、上記ステップＳ１４へ戻り、次の参照画像の読み込み処理を継続して行う。これに対して、対象となる全ての参照画像において画像変位推定を行っている場合は、処理を終了する。

高解像化処理部２８は、上記のように画像変位記録部２４に記録された画像変位推定値、高解像度化画像選択部２６により選択された高解像度化を行う目的の画像（以下：高解像度化ターゲット画像）の選択情報、及び画像記録部１８に記録された高解像度画像３０及び低解像度画像３２により、高解像度化ターゲット画像の画像高解像度化処理を行う。

この画像高解像度化処理の例を、アルゴリズムの流れを示す図７のフローチャートを参照して説明する。

まず、高解像度画像推定に用いるため、撮像部１２で撮影された複数枚の低解像度画像３２及び高解像度画像３０を読み込む（ステップＳ３４）。

次に、画像記録部１８に記録されている画像の中の、高解像度化画像選択部２６で選択した低解像度画像３２を高解像度化ターゲット画像とする。その高解像度化ターゲット画像に対し補完処理を行うことで初期の高解像度画像３４を作成する（ステップＳ３６）。この補間処理は場合により省略することができる。

その後、画像変位記録部２４に記録された画像変位により、高解像度化ターゲット画像とその他の画像との画像間の変位位置対応を明らかにする（ステップＳ３８）。高解像度化ターゲット画像とその他の画像との間の画像変位は、画像変位記録部２４に記録されている、画像変位推定部２２における基準画像と高解像度化ターゲット画像との画像間変位と、画像変位推定部２２における基準画像と高解像度化ターゲット画像以外の画像との画像間変位を統合することによって生成する。

次に、光学伝達関数（ＯＴＦ）、ＣＣＤアパーチャ等の撮像特性を考慮した点広がり関数（Point Spread Function:以下ＰＳＦ）を求める（ステップＳ４０）。ＰＳＦは例えばＧａｕｓｓ関数を簡易的に用いる。

その後、ステップＳ３８、ステップＳ４０の情報を元に、評価関数ｆ（ｚ）の最小化を行う（ステップＳ４２）。ただし、ｆ（ｚ）は以下のような形となる。

ここでｙは画像記録部１８に記録された第１の解像度の撮影画像（低解像度画像３２）及び第２の解像度の撮影画像（高解像度画像３０）を表す。ｚは第１の解像度の画像より選択された高解像度化ターゲット画像の高解像度画像３４（推定する目標の画像）、Ａ_ｋは画像変位、ＰＳＦ、画素混合等を含めた撮像システムを表す画像変換行列である。ｇ（ｚ）は画像の滑らかさや色相関を考慮した拘束項等である。λは重み係数である。評価関数の最小化には、例えば最急降下法を用いる。

次に、ステップＳ４２で求めたｆ（ｚ）が最小化されたか否かを判定し（ステップＳ４４）、ｆ（ｚ）が最小化された場合、処理を終了しターゲット画像の高解像度画像３４（ｚ）を得る。まだ最小化されていない場合、高解像度画像３４（ｚ）をアップデートして（ステップＳ４６）、ステップＳ４２に戻る。

以上の処理を高解像度化画像選択部２６で選択された全ての低解像度画像３２について行う。

以下に、複数枚の画像を使って高解像度画像３４を生成する処理の一例として、高解像化処理部２８の構成の例を示す図８を用いて、超解像処理の概略を説明する。尚、同図の例では、式（１）の拘束項ｇ（ｚ）を省略している。実際には、拘束条件は畳込み積分部２８Ｂに統合されている。式（１）の拘束条件ｇ（ｚ）を省略するとｆ（ｚ）を最小化するｚの条件は

をゼロにする。実際には反復復元のアルゴリズムを使用しているので、定式的には

となる。図８は式（３）の演算を反復の収束条件を含めて処理するブロック図である。

高解像化処理部２８は、補間拡大部２８Ａ、畳込み積分部２８Ｂ、ＰＳＦデータ保持部２８Ｃ、画像比較部２８Ｄ、乗算部２８Ｅ、貼り合せ加算部２８Ｆ、蓄積加算部２８Ｇ、更新画像生成部２８Ｈ、画像蓄積部２８Ｉ、反復演算判定部２８Ｊ、反復判定値保持部２８Ｋから構成される。また、式（３）の計算では、先に求めた画像変位推定値から、高解像度グリット単位の変位量は参照画像ｙに、高解像度グリット以下の微小変位量をシステム行列Ａに含めるようにしている。そのため、変位量データ分離部２８Ｌと、参照画像変形処理部２８Ｍとを有する。

まず撮像部１２より複数フレーム分の画像データのうち任意の１枚の画像の画像データを基準画像４４として補間拡大部２８Ａに与え、補間拡大を行う。ここで用いられる補間拡大の手法としては、例えばバイリニア補間やバイキュービック補間などが挙げられる。補間拡大された画像の画像データは、畳込み積分部２８Ｂに与えられ、ＰＳＦデータ保持部２８Ｃより与えられるＰＳＦデータと畳込み積分される。この処理は高解像度画像３４（ｚ）の初期値を与えるものである、従って図中（＊）で示された部分は、処理の開始時に１回だけ行われる。以降は、畳込み積分部２８Ｂでの畳込み積分演算は、更新した高解像度画像３４（ｚ）に対して行われる。

上述のように、先に求めた画像変位推定値は、変位量データ分離部２８Ｌにおいて、高解像度グリッド単位の変位量４６及び高解像度グリッド単位以下の微小変位量４８に分離される。高解像度グリッド単位の変位量４６は、参照画像の変形処理部２８Ｍに与えられ、高解像度グリッド単位以下の微小変位量４８はＰＳＦデータ保持部２８Ｃに与えられる。高解像度グリッド単位を１ピクセルとした場合は、例えば画像変位推定値が１．３ピクセルだった場合、参照画像変形処理部２８Ｍに１．０ピクセルを、ＰＳＦデータ保持部２８Ｃに０．３ピクセルをそれぞれ与える。ＰＳＦデータ保持部２８Ｃは、変位量データ分離部２８Ｌから与えられた高解像度グリッド単位以下の微小変位量４８に応じて、その使用するＰＳＦデータを決定する。例えば、ＰＳＦデータ保持部２８Ｃは、０．１ピクセル単位でＰＳＦデータを保持しておき、高解像度グリッド単位以下の微小変位量４８が与えられたとき、その微小変位量４８に最も近いＰＳＦデータを、使用するデータとして決定する構成としても良い。このように決定されたＰＳＦデータは、畳込み積分部２８Ｂ及び転置処理部２８Ｎにおいて使用される。

参照画像の変形処理部２８Ｍは、変位量データ分離部２８Ｌから与えられた各フレーム毎の高解像度グリッド単位の変位量４６に基づいて、参照画像５０に対して高解像度画像３４のグリットの単位で座標変換を施すことで、変形画像を生成する。この生成された変形画像の画像データは、画像比較部２８Ｄに送られる。

補間拡大部２８Ａにおいて補間拡大された基準画像４４の画像データは、畳込み積分部２８Ｂに与えられるのと同時に画像蓄積部２８Ｉにも送られ、ここに蓄積される。また、畳込み積分部２８Ｂにおいて畳込み積分演算された画像の画像データは、画像比較部２８Ｄに送られる。

画像比較部２８Ｄは、参照画像の変形処理部２８Ｍから送られてきた変形画像の画像データと畳込み積分部２８Ｂから送られてきた畳込み積分演算された画像の画像データとから、上述の（Ａｚ_ｎ−ｙ_ｋ）に対応する演算を行う。これらの画像の残差は乗算部２８Ｅに送られ、ＰＳＦデータ保持部２８Ｃより与えられるＰＳＦデータを転置処理部２８Ｎで転置化した転置データＡ^Ｔの各画素毎の値に掛け合わされる。この演算結果Ａ^Ｔ（Ａｚ_ｎ−ｙ_ｋ）は、貼り合せ加算部２８Ｆに送られ、それぞれ対応する座標位置に置かれる。ここで、乗算部２８Ｅからの画像データは重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる部分については加算していく。撮影画像１枚分の画像データの貼り合せ加算が終ると、結果の画像データは蓄積加算部２８Ｇに送られる。蓄積加算部２８Ｇでは、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定された変位量を考慮しながら各フレーム分の画像データを順次加算してゆく。蓄積加算された画像データは、更新画像生成部２８Ｈに送られる。

更新画像生成部２８Ｈには、これと同時に画像蓄積部２８Ｉに蓄積されていた画像データが与えられ、この２つの画像データに重みをつけて加算して、更新画像データを生成する。生成された更新画像データは、反復演算判定部２８Ｊに与えられ、反復判定値保持部２８Ｋから与えられる反復判定値を元に演算を反復するか否かが判断される。演算を反復する場合には、更新画像データを畳込み積分部２８Ｂに送り、上記の一連の処理を繰り返し、反復しない場合は生成された更新画像データを出力する。

上記一連の処理を行い反復演算判定部２８Ｊから出力される画像は、撮影時に得られた低解像度画像３２よりも高解像度なもの、つまり高解像度画像３４となっている。

上記ＰＳＦデータ保持部２８Ｃで保持されるＰＳＦデータは、結像光学系１０と撮像部１２の撮像素子上の受光部分の開口形状とから求められた点拡がり関数ＰＳＦ、もしくはこれを近似した値より与えられる。畳込み積分の際には適切な座標位置での計算が必要となるので、変位量データ分離部２８Ｌより各フレーム毎の高解像度グリッド単位以下の微小変位量４８が与えられるようになっている。

次に、本第１の実施例の変形例について、図９の概念図を参照して説明する。

本発明に関わる割り込み動作を用いた２種類の画像取得については図３及び図４で説明した例と同一である。

撮影によって得られた画像は、画像記録部１８に記録される。基準画像選択部２０では、画像変位推定のための基準画像として、画像記録部１８に保存された画像のなかの１枚を選択する。基準画像は高解像度化を行う低解像度画像３２を選択する。画像変位推定の為の基準画像と高解像度化を行うターゲット画像は同一のものとする。次に、参考画像として、基準画像の前後にある、撮影で得られた高解像度画像３０を選択する。そして、画像変位推定部２２において、図９に破線で示すように、基準画像選択部２０で選択された基準画像と、参考画像である高解像度画像３０との画像間の変位位置を求め、その結果を画像変位記録部２４に記録する。

画像変位推定のアルゴリズムの詳細については図５の実施例と同一である。

画像変位推定部２２で求めた画像変位推定値を画像変位記録部２４に記録し、記録された画像変位情報、高解像度化画像選択部２６により選択された高解像度化ターゲット画像の選択情報、及び画像記録部１８に記録された高解像度画像により、高解像化処理部２８において、図９に実線の矢印で示すように、高解像度化ターゲット画像の画像変形による画像高解像度化処理を行う。

次に、この画像変形による画像高解像度化処理の例を、図１０の画像高解像度化処理アルゴリズムの詳細な流れを示すフローチャートに沿って説明する。

まず、高解像度画像生成に用いるため、撮影によって撮像部１２で得られた高解像度画像３０（例えばｙ_１，ｙ_７）及び高解像度化ターゲット画像である低解像度画像３２（例えばｙ_４）を画像記録部１８から読み込む（ステップＳ４８）。高解像度画像３０は、基準画像選択部２０によって選択され、画像変位推定部２２によって高解像度化のターゲット画像ｙ_４である低解像度画像３２との間の画像間変位が求められているものとする。また、読み込む高解像度画像３０の枚数は複数枚でもかまわないものとする。

次に、ステップＳ４８で読み込んだ高解像度化ターゲット画像に対し補間処理を行うことで初期の高解像度画像を作成する（ステップＳ５０）。この補間処理は、場合により省略することができる。

画像変位記録部２４に記録された画像変位により、高解像度化ターゲット画像ｙ_４とステップＳ４８で読み込まれた高解像度画像３０との画像間対応位置を明らかにする（ステップＳ５２）。この変位位置対応は、ステップＳ４８で読み込まれた高解像度画像３０が、画像変位推定部２２の参考画像であることより、画像変位推定部２２に記録されている。

高解像度化ターゲット画像ｙ_４とステップＳ４８で読み込まれた高解像度画像３０間の変位位置対応情報より、ステップＳ４８で読み込まれた高解像度画像３０を変形させて、高解像度化ターゲット画像ｙ_４の高解像度化画像を生成する（ステップＳ５４）。この処理をステップＳ４８で読み込まれた全ての高解像度画像３０に対して行う（ステップＳ５６）。

そして、ステップＳ５４で生成された全ての高解像度化画像及びステップＳ５０で作成された初期の高解像度画像との重み付け平均化を行い、高解像度化ターゲット画像ｙ_４の一枚の高解像度画像３４（ｚ_４）を生成する（ステップＳ５８）。定式化を行うと以下のようになる。

ここで、ｚは高解像度化ターゲット画像が高解像度化された高解像度画像３４、αは重み係数、ｙはステップＳ４８で読み込まれた高解像度画像３０またはステップＳ５０で作成された初期の高解像度画像、Ｍは高解像度化ターゲット画像とｙとの間の画像間変位情報を含む行列とする。

以上で説明した第１実施例について、画像変位推定処理及び画像高解像度化処理は、画像撮影時の割り込みが終了し画像が画像記録部１８に記録された時点で、画像変位推定処理の基準画像が選択され、画像変位推定処理が行われ、画像変位が画像変位記録部２４に記録され、高解像度化ターゲット画像が選択され、高解像度化処理が行われる、という形で順次動作する。ただし、画像変位推定部２２で画像間変位推定を行う参照画像が複数枚の場合は、参照画像１枚の推定が終了した時点で、画像変位記録部２４に記録することができるので、画像変位推定処理と画像高解像度化処理は並列化で行ってもよい。

上記のように、複数枚の画像を使用して画像を高解像度化する場合、既存の超解像手法のように使用する画像を低解像度画像３２に限定せず、低解像度画像３２と高解像度画像３０の両方を用いることで、解像度は低いがフレームレートは高い低解像度画像３２及び解像度は高いがフレームレートは低い高解像度画像３０の利点を引き出し、欠点を補ったフレームレートの高い高解像度画像３４が生成される。これは例えば、画素混合読み出しを用いて動画撮影を行い、その合間にＣＣＤの最大解像度を用いて静止画像を撮影するといった静止画動画兼用機等で撮影された動画及び静止画を用いて、動画をフレームレートが高く高解像度なものにしたり、ノイズの少ない画素混合画像を高解像度化処理に用いてノイズを抑制したり、動画で撮影された任意の一枚を静止画並みの高解像度に変換する場合等に利用できる。

以上のように、本発明の第１実施例では、画像間の対応付けを行うことで、画素のサンプリングレートが高い高解像度画像空間上で画像間の対応付けを行うことができる。また、隣接画像間の対応付けを行う必要がなく、高解像度画像３０と、任意の低解像度画像３２との間の対応付けを行うことにより、隣接画像間の対応を統合した時のような累積誤差は乗らない。

次に、本発明の第２実施例を説明する。

まず、図１１を参照して、本第２実施例に係る撮像装置の構成を説明する。なお、図１と同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。

図１１において、光学系１０は撮像部１２に光学像を結像し、撮像部１２にて、結像した画像は空間的に離散化してサンプリング、画像データに変換され、電子的に画像記録部１８に記録される。その際、撮像部１２での撮影によって得られる画像の解像度は、撮像解像度切替部１４が高解像度モードに切り替わった場合、高解像度画像３０を撮影し、低解像度モードの場合、高解像度画像３０に比べ低解像度だがフレームレートの高い低解像度画像３２を連続して撮影する機構となっている。

そして、本第２実施形態では、高解像度化画像選択部２６により、画像記録部１８に記録された低解像度画像３２の中から画像変位推定の基準となる基準画像を選択すると、低解像度空間画像変位推定部５２は、その基準画像とその基準画像以外の低解像度画像３２との間で画像間の変位推定を行う。推定された画像変位は、画像変位記録部２４に記録される。第１高解像化処理部５４は、画像変位記録部２４に記録された画像変位、画像記録部１８に記録された低解像度画像３２、高解像度化画像選択部２６で選択された高解像度画像化を行うターゲット画像を示す高解像度化画像選択情報を用いて、高解像度化中間画像を生成する。

高解像度空間画像変位推定部５６は、この第１高解像化処理部５４で生成された高解像度化中間画像及び画像記録部１８に記録されている高解像度画像を用いて、高解像度化中間画像を基準画像として画像間変位推定を行う。第２高解像化処理部５８は、高解像度空間画像変位推定部５６で推定された画像間変位、高解像度化画像選択部２６で選択された高解像度化画像選択情報、第１高解像化処理部５４で推定された高解像度画像を用いて、高解像度化中間画像を高解像化することで、高解像度画像３４を生成して出力する。

この様に、本第２実施例では、高画質化処理において、第１の変位推定手段として機能する低解像度空間画像変位推定部５２と、第２の変位推定手段として機能する高解像度空間画像変位推定部５６とを備えている。

なお、高解像度化画像選択部２６は、少なくとも第１の解像度を有する出力画像と上記第１の解像度よりも高い第２の解像度を有する出力画像とを含む、２種類以上の解像度の異なる複数の出力画像から、第１の解像度を有する出力画像のうちの１枚を基準画像として選択する手段の機能を備えている。また、低解像度空間画像変位推定部５２は、第１の変位推定手段に該当し、第１高解像化処理部５４は高解像度画像推定手段に該当し、高解像度空間画像変位推定部５６は第２の変位推定手段に該当し、第２高解像化処理部５８は解像度変換手段に該当する。

本第２実施例の処理の概念を図１２に示す。すなわち、まず、同図に細い破線で示すような低解像度空間における画像モーション推定を用いて、同図に細い実線の矢印で示すように、低解像度画像列ｙ_２〜ｙ_６よりターゲット画像ｙ_４に対応する高解像度画像ｚ'_４を算出する。ここで、高解像度画像ｚ'_４が高解像度化中間画像６０に相当する。さらに、この高解像度化中間画像６０（ｚ'_４）と高解像度画像３０（ｙ_１，ｙ_７）を用いて、同図に太い破線で示すように、画像間の変位を推定する。このとき、高解像度化中間画像６０（ｚ'_４）は、低解像度画像３２（ｙ_２〜ｙ_６）よりも解像度の高いグリッドで定義された画像であり、エッジ情報についても元の画像を補完したものに比べて、多くを持っている。従って高解像度画像３０（ｙ_１，ｙ_７）のように高い解像度を持っている画像との変位推定を行ったときには、ターゲットの低解像度画像３２（ｙ_４）と高解像度画像３０（ｙ_１，ｙ_７）の間の変位を直接求める方法に比べて、精密な変位量の推定が行える。このような精密な変位量を用いて、同図に太線の矢印で示すように、高解像度化中間画像６０（ｚ'_４）と高解像度画像３０（ｙ_１，ｙ_７）とより、ターゲット画像ｙ4に対応する高解像度画像３４（ｚ_４）を算出する。

以下、第２実施例の概念図である図１２をもとに図１１に示す第２実施例に係る撮像装置の動作を説明する。

本発明に関わる２つの割り込み動作を用いた画像撮影の例について以下に示す。

まず、図１１において、図３のような割り込み動作の第１の例では、通常状態では、撮像解像度切替部１４を低解像度モードにして、撮影時には、連続した撮影により撮像部１２から低解像度画像３２を連続して出力するようにしておく。その連続した撮影中に、ユーザのスイッチ３６の押下操作などに応じて割り込み発生部１６が割り込みを発生させると、撮像解像度切替部１４は高解像度モードに切り替わり、撮像部１２に高解像度画像３０を出力させる。そしてその後、再び、撮像解像度切替部１４は低解像度モードに切り替わり、撮像部１２に低解像度画像３２を連続して出力させる。

以上の第１又は第２の例のようにして、撮像部１２での撮影により得られた低解像度画像３２と高解像度画像３０は、画像記録部１８に記録される。高解像度化画像選択部２６は、画像変位推定のための基準画像として、画像記録部１８に保存された画像のなかの１枚を選択する。本第２実施例では、この基準画像として、低解像度画像３２を選択する。低解像度空間画像変位推定部５２は、高解像度化画像選択部２６で選択された基準画像と、対象となる基準画像以外の低解像度画像３２との画像間の変位位置を求め、その結果を画像変位記録部２４に記録する。

ここで、低解像度空間画像変位推定部５２の画像変位推定のアルゴリズムの流れの詳細を、図１３に示すフローチャートに沿って説明する。

まず、画像変位推定の基準となる低解像度画像３２を基準画像として１枚読み込む（ステップＳ６０）。次に、その読み込んだ基準画像を複数の画像変位で変形させ、画像列を生成する（ステップＳ６２）。

その後、基準画像との間の画像変位推定を行う低解像度画像３２を、参照画像として１枚読み込む（ステップＳ６４）。次に、基準画像と参照画像の間で、大まかな画像間の変位推定を行う（ステップＳ６６）。この大まかな画像変位推定の詳細な手法は、前述した第１実施例の手法と同様である。その後、ステップＳ６２で基準画像を複数変形させた画像列と参照画像の間の類似度値を算出する（ステップＳ６８）。次に、画像変位のパラメータと算出した類似度値との関係を用いて、離散的な類似度マップを作成する（ステップＳ７０）。その後、ステップＳ７０で作成した離散的な類似度マップを補完することで得られる、連続的な類似度値の極値を探索し、連続的な類似度値の極値を求める（ステップＳ７２）。その極値を持つ画像変位が、求める画像変位となる。この類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法等がある。図７は、画像変位推定をパラボラフッティングで行った例を示している。縦軸は類似度を表し、値が小さいほど類似度が高い。求められた画像変位は、画像変位記録部２４に記録される。

そして、対象となる全ての参照画像において画像変位推定を行っているか判断し（ステップＳ７４）、終わっていない場合、参照画像のフレーム番号を変化させ（ステップＳ７６）、ステップＳ６４へ戻り、次の画像の読み込み処理を継続する。而して、対象となる全ての参照画像において画像変位推定を行ったところで、処理を終了する。

第１高解像化処理部５４は、上記のようにして画像変位記録部２４に記録された画像間変位、高解像度化画像選択部２６で選択された高解像度化するべき画像の選択情報、画像記録部１８に記録された低解像度画像３２列を用いて、高解像度化を行い、高解像度化中間画像６０を生成する。この高解像度化中間画像６０は、低解像度画像３２の解像度である第１の解像度よりも高い第３の解像度を有する画像に相当する。無論、第３の解像度は、高解像度画像３０の解像度である第２の解像度と同じかそれ以上の解像度でも良いし、第１の解像度よりも高いが第２の解像度よりも低くても良い。第１高解像化処理部５４の高解像度化の方法は、画像について画像間変位及び低解像度画像３２を用いて、それぞれの画像で高解像度画像空間への補間処理、動き補正処理を行い、全ての動き補正後の画像について、加算平均を取る等の処理を行ってもよいし、図７及び図８に示し、第１実施例で説明した高解像度化手法を用いてもよい。

高解像度空間画像変位推定部５６は、第１高解像化処理部５４で高解像度化された高解像度化中間画像６０、高解像度化画像選択部２６で選択された高解像度化するべき画像の選択情報、画像記録部１８に記録された高解像度画像３０列を用いて、高解像度化中間画像６０と画像記録部１８に記録された高解像度画像３０との間の画像間変位を推定する。高解像度空間画像変位推定部５６の詳細は、上記低解像度空間画像変位推定部５２の推定を行う解像度空間が高解像度になったこと以外は、同様のものである。高解像度空間画像変位推定部５６のアルゴリズムのフローチャートも、図１４に示すように、基本的には、低解像度空間画像変位推定部５２のそれと同じであり、基準画像が低解像度画像３２に代わって第１高解像化処理部５４で高解像度化された高解像度化中間画像６０である点、及び、参照画像が低解像度画像３２に代わって高解像度画像３０である点、が異なっているだけである。

即ち、まず、画像変位推定の基準となる高解像度画像３０を基準画像として１枚読み込む（ステップＳ７８）。次に、その読み込んだ基準画像を複数の画像変位で変形させ、画像列を生成する（ステップＳ８０）。

その後、基準画像との間の画像変位推定を行う高解像度画像３０を、参照画像として１枚読み込む（ステップＳ８２）。次に、基準画像と参照画像の間で、大まかな画像間の変位推定を行う（ステップＳ８４）。この大まかな画像変位推定の詳細な手法は、前述した第１実施例の手法と同様である。その後、ステップＳ８０で基準画像を複数変形させた画像列と参照画像の間の類似度値を算出する（ステップＳ８６）。次に、画像変位のパラメータと算出した類似度値との関係を用いて、離散的な類似度マップを作成する（ステップＳ８８）。その後、ステップＳ８８で作成した離散的な類似度マップを補完することで得られる、連続的な類似度値の極値を探索し、連続的な類似度値の極値を求める（ステップＳ９０）。その極値を持つ画像変位が、求める画像変位となる。この類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法等がある。

そして、対象となる全ての参照画像において画像変位推定を行っているか判断し（ステップＳ９２）、終わっていない場合、参照画像のフレーム番号を変化させ（ステップＳ９４）、ステップＳ８２へ戻り、次の画像の読み込み処理を継続する。而して、対象となる全ての参照画像において画像変位推定を行ったところで、処理を終了する。

第２高解像化処理部５８は、第１高解像化処理部５４で高解像度化された高解像度化中間画像６０、高解像度化画像選択部２６で選択された高解像度化するべき画像の選択情報、画像記録部１８に記録された高解像度画像３０列、高解像度空間画像変位推定部５６で推定された画像間変位を用いて、高解像度画像３４を生成出力する。

以下、この第２高解像化処理部５８の画像高解像度化処理の例を、図１５の画像高解像度化処理アルゴリズムの詳細な流れを示すフローチャートに沿って説明する。

まず、高解像度画像生成に用いるため、撮像部１２での撮影によって得られた高解像度画像３０を画像記録部１８から、また高解像度化中間画像６０を第１高解像化処理部５４から、それぞれ読み込む（ステップＳ９６）。また、読み込む高解像度画像３０の枚数は複数枚でもかまわないものとする。

次に、高解像度空間画像変位推定部５６で推定された画像間変位により、ステップＳ９６で読み込まれた高解像度化中間画像６０と高解像度画像３０との画像間対応位置を明らかにする（ステップＳ９８）。

そして、その画像間対応位置に基づいて、ステップＳ９６で読み込まれた高解像度画像を、ステップ７８で読み込まれた高解像度化中間画像６０に合わせるように変形させことによって、画像を生成する（ステップＳ１００）。

この処理をステップＳ９６で読み込まれた全ての高解像度画像３０に対して行い（ステップＳ１０２）、それらステップＳ９６で読み込まれた高解像度化中間画像６０とステップＳ１００での変形によって生成された画像全てとの重み付け加算を行い、高解像度化ターゲット画像に対応する一枚の高解像度画像３４を生成する（ステップＳ１０４）。定式化を行うと以下のようになる。

ここで、ｚは高解像度化ターゲット画像が高解像度化された高解像度画像３４、αは重み係数、ｙはステップＳ９６で読み込まれた高解像度化中間画像６０又はステップＳ１００での変形によって生成された画像、Ｍは高解像度化中間画像６０とｙとの間の画像間変位情報を含む行列とする。なお、第２高解像化処理部５８において行う画像高解像度化手法は、式（５）のように重み付け加算処理も用いても良いが、その他にも図７及び図８に示し、第１実施例で説明した高解像度化手法を用いても良い。

以上、画像変位推定処理及び画像高解像度化処理は、画像撮影時の割り込みが終了し画像が画像記録部１８に記録された時点で、画像変位推定処理の基準画像が選択され、画像変位推定処理が行われ、画像変位記録部２４に記録され、高解像度化ターゲット画像が選択され、高解像度化処理が行われる、という形で順次動作する。ただし、低解像度空間画像変位推定部５２で画像間変位推定を行う参照画像が複数枚の場合は、参照画像１枚の推定が終了した時点で、画像変位記録部２４に記録することができるので、画像変位推定処理と画像高解像度化処理は並列化で行ってもよい。

本第２実施例では、上述の第１実施例と同様に、複数枚の画像を使用して画像を高解像度化する場合、既存の超解像手法のように使用する画像を低解像度画像３２に限定せず、低解像度画像３２と高解像度画像３０の両方を用いることで、解像度は低いがフレームレートは高い低解像度画像３２及び解像度は高いがフレームレートは低い高解像度画像３０の利点を引き出し、欠点を補ったフレームレートの高い高解像度画像３４が生成可能となる。これは例えば、画素混合読み出しを用いて動画撮影を行い、その合間にＣＣＤの最大解像度を用いて静止画像を撮影するといった静止画動画兼用機等で撮影された動画及び静止画を用いて、動画をフレームレートが高く高解像度なものにしたり、動画で撮影された任意の一枚を静止画並みの高解像度に変換したり、動画撮影中にシャッタチャンスが有った場合にシャッタレリースより前に遡って高解像度化して撮影する（プリキャプチャ）場合に利用できる。

特に、本実施例では、画像変位推定処理において低解像度画像３２のみを用いて画像変位を推定しているため、割り込みモードがシャッタレリース時に高解像度画像３２を取り込むモードのときのプリキャプチャに対して有用である。

以上実施例に基づいて本発明を説明したが、本発明は上述した実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記実施例の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。即ち、画像記録部１８に記録された高解像度画像３０及び低解像度画像３２を、撮像装置外部のコンピュータに供給し、そのコンピュータ上で高解像度画像３４を生成することも可能である。

本発明は、複数の解像度の撮影が可能な撮像素子を有する撮像装置において、画像間変位の対応関係を高精度に推定する際に好適に用いることができる。また、より自然で高画質に画像を高解像化する際に好適に用いることができる。

Claims

被写体の画像を電子的に記録する撮像装置であって、
画像の解像度を切り替えて撮影可能な撮像素子（１２）と、
該撮像素子から出力される画像の解像度を切り替える解像度切り替え手段（１４）と、
を具備する撮像装置において、
上記撮像素子から上記解像度切り替え手段によって切り替えられて出力された、少なくとも第１の解像度を有する画像（３２）と上記第１の解像度よりも高い第２の解像度を有する画像（３０）を含む２種類以上の解像度の異なる複数の出力画像から基準画像を選択する画像選択手段（２０；２６）と、
上記基準画像とその他の画像間の画像間変位を推定する画像変位推定手段（２２；５２，５４，５６）と、
上記撮像素子で撮影された上記第１の解像度を有する画像及び上記第２の解像度を有する画像と上記画像変位推定手段で得られた画像間変位を用いて、上記撮像素子から出力された複数の出力画像中の任意の画像に対して解像度を変換する解像度変換手段（２８；５８）と、
を更に具備することを特徴とする撮像装置。
上記画像変位推定手段（２２）は、上記第１の解像度を有する画像と、上記第２の解像度を有する画像とから、画像間変位を推定することを特徴とする請求項１に記載の撮像装置。
上記画像変位推定手段（５２，５４，５６）は、上記第１の解像度を有する画像から上記第１の解像度よりも高い第３の解像度を有する画像（６０）を推定し、上記第２の解像度を有する画像と上記推定された第３の解像度を有する画像とから、画像間変位を推定することを特徴とする請求項１に記載の撮像装置。
上記画像選択手段は、複数の上記第１の解像度を有する画像のうち１枚を基準画像として選択し、
上記画像変位推定手段（５２，５４，５６）は、
上記選択した基準画像と他の上記第１の解像度を有する画像との画像間変位を推定する第１の変位推定手段（５２）と、
該第１の変位推定手段の演算結果を用いて、上記第１の解像度よりも高い上記第３の解像度を有する画像を推定する高解像度画像推定手段（５４）と、
該高解像度画像推定手段によって得られた上記第３の解像度を有する画像と上記第２の解像度を有する画像との画像間変位を推定する第２の変位推定手段（５６）と、
を有し、
上記解像度変換手段（５８）は、上記第２の変位推定手段で得られた画像間変位を用いて、上記撮像素子から出力された複数の出力画像中の任意の画像に対して解像度を変換することを特徴とする請求項３に記載の撮像装置。
上記解像度変換手段は、上記撮像素子から出力された第１の解像度の画像を、それよりも高い第２の解像度の画像に変換することを特徴とする請求項１乃至４の何れか１つに記載の撮像装置。
被写体の画像を電子的に記録する撮像装置であって、
画像の解像度を切り替えて撮影可能な撮像素子（１２）と、
該撮像素子から出力される画像の解像度を切り替える解像度切り替え手段（１４）と、
を具備する撮像装置において、
上記撮像素子において、上記解像度切り替え手段によって解像度が切り替えられて出力された、少なくとも第１の解像度を有する画像（３２）と上記第１の解像度よりも高い第２の解像度を有する画像（３０）を含む２種類以上の解像度の異なる複数の出力画像から、第１の解像度を有する画像のうちの１枚を基準画像として選択する画像選択手段（２６）と、
上記基準画像と、他の上記第１の解像度を有する画像との画像間変位を推定する第１の変位推定手段（５２）と、
該第１の変位推定手段の演算結果を用いて、上記第１の解像度よりも高い第３の解像度を有する画像（６０）を推定する高解像度画像推定手段（５４）と、
該高解像度画像推定手段によって得られた上記第３の解像度を有する画像と上記第２の解像度を有する画像との画像間変位を推定する第２の変位推定手段（５６）と、
該第２の変位推定手段で得られた画像間変位を用いて、上記第３の解像度を有する画像に対して解像度を変換する解像度変換手段（５８）と、
を更に具備することを特徴とする撮像装置。
上記撮像素子は、上記第１の解像度を有する画像における１フレームの読み出し速度を、上記第２の解像度を有する画像における１フレームの読み出し速度よりも高速に読み出すことを特徴とする請求項１乃至６の何れか１つに記載の撮像装置。
割り込み信号を発生する割り込み信号発生手段（１６）を更に具備し、
上記解像度切り替え手段は、上記割り込み信号発生手段によって発生した割り込み信号によって上記撮像素子から上記第２の解像度を有する画像を出力させることを特徴とする請求項１乃至７の何れか１つに記載の撮像装置。
上記解像度切り替え手段は、上記撮像素子から上記第２の解像度を有する画像を出力させた後に、上記撮像素子の出力画像の解像度を上記第１の解像度に切り替えることを特徴とする請求項８に記載の撮像装置。
上記割り込み信号発生手段は、上記割り込み信号を所定の周期で反復して出力することを特徴とする請求項８記載の撮像装置。
上記割り込み信号発生手段から発生された割り込み信号によって、上記解像度切り替え手段と上記画像選択手段と上記変位推定手段と上記解像度変換手段とを順次動作させることを特徴とする請求項８に記載の撮像装置。
出力画像の解像度を切り替えて撮影可能な撮像素子（１２）から、少なくとも２種類以上の解像度の異なる複数の画像を取得する撮像装置において、上記撮像素子から出力された複数の出力画像中の任意の画像を解像度化する高解像度化処理方法であって、
上記撮像素子から、少なくとも第１の解像度を有する画像（３２）と上記第１の解像度よりも高い第２の解像度を有する画像（３０）を含む２種類以上の解像度の異なる複数の出力画像を取得するステップと、
上記撮像素子から取得した２種類以上の解像度の異なる複数の出力画像から基準画像を選択するステップと、
上記基準画像とその他の画像間の画像間変位を推定するステップと、
上記撮像素子から出力された上記第１の解像度を有する画像及び上記第２の解像度を有する画像と上記推定された画像変位とを用いて、上記撮像素子から出力された複数の出力画像中の任意の画像に対して解像度を変換するステップと、
を有することを特徴とする高解像度化処理方法。
出力画像の解像度を切り替えて撮影可能な撮像素子（１２）から、少なくとも２種類以上の解像度の異なる複数の画像を取得する撮像装置において、上記撮像素子から出力された複数の出力画像中の任意の画像を解像度化する高解像度化処理方法であって、
上記撮像素子から、少なくとも第１の解像度を有する画像（３２）と上記第１の解像度よりも高い第２の解像度を有する画像（３０）を含む２種類以上の解像度の異なる複数の出力画像を取得するステップと、
上記撮像素子から取得した２種類以上の解像度の異なる複数の出力画像から第１の解像度を有する画像のうちの１枚を基準画像として選択するステップと、
上記基準画像と、他の上記第１の解像度を有する画像との画像間変位を推定する第１の変位推定ステップと、
該第１の変位推定ステップの結果を用いて、上記第１の解像度よりも高い第３の解像度を有する画像（６０）を推定する高解像度画像推定ステップと、
該高解像度画像推定ステップによって得られた上記第３の解像度を有する画像と上記第２の解像度を有する画像との画像間変位を推定する第２の変位推定ステップと、
該第２の変位推定ステップで得られた画像変位と上記第２の解像度を有する画像を用いて、上記第３の解像度を有する画像に対して解像度を変換する画像解像度変換処理ステップと、
を有することを特徴とする高解像度化処理方法。
出力画像の解像度を切り替えて撮影可能な撮像素子（１２）から、少なくとも２種類以上の解像度の異なる複数の出力画像を取得する撮像装置において、上記撮像素子から出力された複数の出力画像中の任意の画像を解像度化する高解像度化処理方法であって、
上記撮像素子から、第１の解像度を有する画像（３２）を取得するステップと、
割り込み信号を発生するステップと、
上記発生した割り込み信号によって上記撮像素子の出力画像の解像度を切り替える解像度切り替えステップと、
上記解像度切り替えステップに対応して上記撮像素子から、上記第１の解像度より高い解像度を有する画像（３０）を取得するステップと、
取得した上記第１の解像度より高い解像度を有する画像から基準画像を選択するステップと、
上記画像選択手段で選択した基準画像とその他の上記第１の解像度を有する画像との画像間変位を推定する変位推定ステップと、
上記撮像素子から出力された複数の出力画像と上記変位推定ステップで得られた画像間変位とを用いて上記複数の出力画像中の任意の画像の解像度を変換する解像度変換ステップと、
を有することを特徴とする高解像度化処理方法。
出力画像の解像度を切り替えて撮影可能な撮像素子（１２）で取得された少なくとも２種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成する高解像度化処理プログラムであって、
コンピュータに、
少なくとも第１の解像度を有する画像（３２）と上記第１の解像度よりも高い第２の解像度を有する画像（３０）を含む２種類以上の解像度の異なる複数の出力画像から基準画像を選択する手順と、
上記基準画像とその他の画像との画像間変位を推定する手順と、
上記第２の解像度を有する画像と上記推定された画像間変位とを用いて、上記複数の出力画像中の任意の画像に対して解像度を変換する手順と、
を実行させるための高解像度化処理プログラム。
出力画像の解像度を切り替えて撮影可能な撮像素子（１２）で取得された少なくとも２種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成する高解像度化処理プログラムであって、
コンピュータに、
少なくとも第１の解像度を有する画像（３２）と上記第１の解像度よりも高い第２の解像度を有する画像（３０）を含む２種類以上の解像度の異なる複数の画像の中から、第１の解像度を有する画像のうちの１枚を基準画像として選択する手順と、
上記基準画像と、他の上記第１の解像度を有する画像との画像間変位を推定する第１の変位推定手順と、
該第１の変位推定手順の結果を用いて、上記第１の解像度よりも高い第３の解像度を有する画像（６０）を推定する高解像度画像推定手順と、
該高解像度画像推定手順によって得られた上記第３の解像度を有する画像と上記第２の解像度を有する画像との画像間変位を推定する第２の変位推定手順と、
該第２の変位推定手順で得られた画像間変位と上記第２の解像度を有する画像を用いて、上記第３の解像度を有する画像に対して解像度を変換する解像度変換手順と、
を実行させるための高解像度化処理プログラム。
出力画像の解像度を切り替えて撮影可能な撮像素子（１２）で取得された少なくとも２種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成する高解像度化処理プログラムであって、
コンピュータに、
上記撮像素子から、第１の解像度を有する画像（３２）を取得する手順と、
割り込み信号を発生する手順と、
上記発生した割り込み信号によって上記撮像素子の出力画像の解像度を切り替える解像度切り替え手順と、
上記解像度切り替え手順に対応して上記撮像素子から、上記第１の解像度より高い解像度を有する画像（３０）を取得する手順と、
取得した上記第１の解像度より高い解像度を有する画像から基準画像を選択する画像選択手段手順と、
上記画像選択手段で選択した基準画像とその他の上記第１の解像度を有する画像との画像間変位を推定する変位推定手順と、
上記撮像素子から取得した複数の出力画像と上記変位推定手順で得られた画像間変位とを用いて上記撮像素子から取得した複数の出力画像中の任意の画像の解像度を変換する解像度変換手順と、
を実行させるための高解像度化処理プログラム。
出力画像の解像度を切り替えて撮影可能な撮像素子（１２）で取得された少なくとも２種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成する高解像度化処理プログラムを格納した、コンピュータが読み取り可能な記録媒体であって、
上記高解像度化処理プログラムは、コンピュータに、
少なくとも第１の解像度を有する画像（３２）と上記第１の解像度よりも高い第２の解像度を有する画像（３０）を含む２種類以上の解像度の異なる複数の出力画像から基準画像を選択する処理と、
上記基準画像とその他の画像との画像間変位を推定する処理と、
上記第２の解像度を有する画像と上記推定された画像間変位とを用いて、上記複数の出力画像中の任意の画像に対して解像度を変換する処理と、
を実行させる命令を含むことを特徴とする記録媒体。
出力画像の解像度を切り替えて撮影可能な撮像素子（１２）で取得された少なくとも２種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成する高解像度化処理プログラムを格納した、コンピュータが読み取り可能な記録媒体であって、
上記高解像度化処理プログラムは、コンピュータに、
少なくとも第１の解像度を有する画像（３２）と上記第１の解像度よりも高い第２の解像度を有する画像（３０）を含む２種類以上の解像度の異なる複数の画像の中から、第１の解像度を有する画像のうちの１枚を基準画像として選択する処理と、
上記基準画像と、他の上記第１の解像度を有する画像との画像間変位を推定する第１の変位推定処理と、
該第１の変位推定処理の結果を用いて、上記第１の解像度よりも高い第３の解像度を有する画像（６０）を推定する高解像度画像推定処理と、
該高解像度画像推定処理によって得られた上記第３の解像度を有する画像と上記第２の解像度を有する画像との画像間変位を推定する第２の変位推定処理と、
該第２の変位推定処理で得られた画像間変位と上記第２の解像度を有する画像を用いて、上記第３の解像度を有する画像に対して解像度を変換する解像度変換処理と、
を実行させる命令を含むことを特徴とする記録媒体。
出力画像の解像度を切り替えて撮影可能な撮像素子（１２）で取得された少なくとも２種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成する高解像度化処理プログラムを格納した、コンピュータが読み取り可能な記録媒体であって、
上記高解像度化処理プログラムは、コンピュータに、
上記撮像素子から、第１の解像度を有する画像（３２）を取得する処理と、
割り込み信号を発生する処理と、
上記発生した割り込み信号によって上記撮像素子の出力画像の解像度を切り替える解像度切り替え処理と、
上記解像度切り替え処理に対応して上記撮像素子から、上記第１の解像度より高い解像度を有する画像（３０）を取得する処理と、
取得した上記第１の解像度より高い解像度を有する画像から基準画像を選択する画像選択手段処理と、
上記画像選択手段で選択した基準画像とその他の上記第１の解像度を有する画像との画像間変位を推定する変位推定処理と、
上記撮像素子から取得した複数の出力画像と上記変位推定処理で得られた画像間変位とを用いて上記撮像素子から取得した複数の出力画像中の任意の画像の解像度を変換する解像度変換処理と、
を実行させる命令を含むことを特徴とする記録媒体。