WO2007102377A1 - 撮像装置、高解像度化処理方法、高解像度化処理プログラム、及び記録媒体 - Google Patents

Abstract

　出力画像の解像度を切り替え可能な撮像素子である撮像部１２と、該撮像部１２の出力画像の解像度を切り替える撮像解像度切替部１４と、上記撮像解像度切替部１４によって切り替えられて上記撮像部１２から出力された、少なくとも２種類以上の解像度の異なる複数の出力画像から、基準画像を選択する画像選択手段である基準画像選択部２０と、上記基準画像とその他の画像間の変位位置を推定する画像変位推定部２２と、上記撮像部１２から出力された出力画像と上記画像変位推定部２２で得られた画像変位を用いて、上記撮像部１２から出力された出力画像中の任意の画像に対して解像度を変換する高解像化処理部２８とを備えている。

Description

明 細 書

撮像装置、高解像度化処理方法、高解像度化処理プログラム、及び記録 媒体

技術分野

[0001] 本発明は、異なる解像度での読み出しが可能な撮像素子を利用して高フレームレ 一トで高解像度な画像を生成する撮像装置及び高解像度化処理方法に関する。ま た、その高解像度化処理方法をコンピュータに実行させる高解像度化処理プロダラ ム及びそのような高解像度化処理プログラムを格納したコンピュータが読み取り可能 な記録媒体に関する。

背景技術

[0002] 近年の半導体技術の発展により、撮像素子は多画素化の傾向がある。素子の小型 化及び高速化が図られてはいるものの、多画素化された撮像素子では、撮像素子の データ読み出しに多くの時間がかかる。また同一面積で多画素化を行った場合、撮 像素子の大きさに対する 1画素の大きさが小さくなる為に、 SZN比が劣化する等の 問題があった。そのため、多画素化された撮像素子においては、高いフレームレート で動画撮影を行うことが困難である。

[0003] 一方、近年静止画像と動画像の撮影を兼用する機器が商品化されている。これは 、高解像度の撮像素子を用い、静止画撮影のときには高解像度撮影を行なレ、、動画 像撮影のためにはフレームレートを上げる必要があるためドラフトモードと呼ばれる読 み出しを行う。例えば、 CCDにおいて垂直 8画素中 4画素を 2クロックで読み、残りを 読み飛ばす、間引き読み出しと複数フィールド読み出しとを組み合わせた読み出し 方法や、 MOS型撮像素子のように水平，垂直の方向に加算して読み出す方法など の方法が使われている。このようにして、静止画像の撮影と動画像の撮影とで 1つの 撮像素子を兼用している。実際の製品の例としては、動画撮影中に静止画撮影が行 えるデジタルカメラ、デジタルビデオなどの撮像装置が有る。これらの撮像装置は、 動画撮影中にシャツタ押下などの割り込み信号によって静止画像の撮影を行うことが できる。 [0004] これらの撮像装置では、動画像用に読み出した低解像度画像は、フレームレートの 高い画像列として得られる。し力 ながら、解像度については、上述のような画素混 合等の技術を用いる為、本来撮像素子が持っている解像力を発揮することができな レ、。そのため、動画像撮影で得られた動画像の中に、高解像度の静止画として記録 したい画像、或いは高精細にプリント等したい画像、いわゆるシャツタチャンスのシー ン画像が含まれていても、そのシーン画像を高解像度で得ることができない。無論、 上記のような動画像撮影中に割り込みシャツタを押下した場合、その瞬間の高解像 度の静止画を撮像することは可能である。しかし、例えば高速連写やプリキヤプチャ のように、シャツタを押下した瞬間の前後のタイミングの撮影に対しては、動画撮影時 の低解像度の画像のままである。或いは、その低解像度の画像に対して、補間処理 等の高解像度化する手段を適応して、高解像度化を図るものも有るが、補間処理等 では高品質な高解像度画像を得ることはできない。

[0005] 従って、動画像撮影中の任意の画像を高品質に高解像度化して静止画として読み 出すことが望まれる。

[0006] そこで、ビデオカメラなどの撮像装置を使用する際に、画素数の少なレ、画像データ を用いて高解像度の画像を生成する方法が種々提案されている。その一例として上 記のような（1)高解像高速撮影及び（2)動画解像度高解像度化の問題を解決する 為に、例えば特開平 10— 69537号公報では、複数枚の位置ずれを持つ低解像度 画像を用いて、高解像度の画像を生成するという方法が開示されている。ここでの高 解像度化処理は、サブピクセルレベルでの位置ずれのある画像を同一解像度で複 数枚撮影し、これらの画像の劣化要因などをキャンセルした上で合成して、 1枚の高 精細な画像を形成する手法である。

[0007] また、特開 2004— 40422号公報には、 2種類の解像度を用いたデータの圧縮技 術を用いて、複数枚の低解像度画像とこれに比べサンプリングレートが低い高解像 度画像とを撮影し、この 2種類の画像データから高解像画像を生成する方式が開示 されている。この方式では、複数枚の低解像度画像と高解像度画像を撮影して、そ れらを用いて高解像度画像の生成を行う際、複数枚の低解像度画像間での位置ず れの対応をとる。その対応のとり方は以下のようにして行われる。はじめに、複数枚の 低解像度画像のうち、隣接フレーム間の位置ずれを局所対応情報として求める。そ の後、それら複数の局所対応情報をキーフレームの間隔で統合することで、低解像 度画像中で選択されたキーフレーム間の位置ずれとして大域対応情報を生成する。 発明の開示

[0008] 上記特開平 10— 69537号公報に開示されている手法では、複数枚の低解像度画 像のみから、高解像度画像を生成しなければならなレ、。そのため、静止画像と動画 像の撮影を兼用する機器では、高解像度画像が撮影できる利点を活かしきれてレ、な レ、。

[0009] また、上記特開 2004— 40422号公報に開示されている手法では、上述のように低 解像度画像中で選択されたキーフレーム間の位置ずれとして大域対応情報を生成 する際、低解像度の隣接画像間の局所対応情報を用いている。そのため、離れたフ レームを複数枚用いて画像を高解像度化する場合、統合した時に生ずる累積誤差 により、生成した高解像度画像に誤差が含まれる場合がある。

[0010] 本発明は、上記問題に鑑みてなされたものであり、画像間変位の対応関係を高精 度に推定することができ、また、低解像度出力の動画撮影中に含まれるシャツタチヤ ンスのシーン画像を、より自然で高画質に高解像化可能な撮像装置、高解像度化処 理方法、高解像度化処理プログラム、及び記録媒体を提供することを目的とする。

[0011] 本発明の第 1の態様によれば、被写体の画像を電子的に記録する撮像装置であつ て、画像の解像度を切り替えて撮影可能な撮像素子と、該撮像素子から出力される 画像の解像度を切り替える解像度切り替え手段と、を具備する撮像装置において、 上記撮像素子から上記解像度切り替え手段によって切り替えられて出力された、少 なくとも第 1の解像度を有する画像と上記第 1の解像度よりも高い第 2の解像度を有 する画像を含む 2種類以上の解像度の異なる複数の出力画像から基準画像を選択 する画像選択手段と、上記基準画像とその他の画像間の画像間変位を推定する画 像変位推定手段と、上記撮像素子で撮影された上記第 1の解像度を有する画像及 び上記第 2の解像度を有する画像と上記画像変位推定手段で得られた画像間変位 を用いて、上記撮像素子から出力された複数の出力画像中の任意の画像に対して 解像度を変換する解像度変換手段と、を更に具備することを特徴とする撮像装置が 提供される。

[0012] 本発明の第 2の態様によれば、被写体の画像を電子的に記録する撮像装置であつ て、画像の解像度を切り替えて撮影可能な撮像素子と、該撮像素子から出力される 画像の解像度を切り替える解像度切り替え手段と、を具備する撮像装置において、 上記撮像素子にぉレ、て、上記解像度切り替え手段によって解像度が切り替えられて 出力された、少なくとも第 1の解像度を有する画像と上記第 1の解像度よりも高い第 2 の解像度を有する画像を含む 2種類以上の解像度の異なる複数の出力画像から、 第 1の解像度を有する画像のうちの:!枚を基準画像として選択する画像選択手段と、 上記基準画像と、他の上記第 1の解像度を有する画像との画像間変位を推定する第 1の変位推定手段と、該第 1の変位推定手段の演算結果を用いて、上記第 1の解像 度よりも高い第 3の解像度を有する画像を推定する高解像度画像推定手段と、該高 解像度画像推定手段によって得られた上記第 3の解像度を有する画像と上記第 2の 解像度を有する画像との画像間変位を推定する第 2の変位推定手段と、該第 2の変 位推定手段で得られた画像間変位を用いて、上記第 3の解像度を有する画像に対し て解像度を変換する解像度変換手段と、を更に具備することを特徴とする撮像装置 が提供される。

[0013] 本発明の第 3の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素 子から、少なくとも 2種類以上の解像度の異なる複数の画像を取得する撮像装置に おいて、上記撮像素子から出力された複数の出力画像中の任意の画像を解像度化 する高解像度化処理方法であって、上記撮像素子から、少なくとも第 1の解像度を有 する画像と上記第 1の解像度よりも高い第 2の解像度を有する画像を含む 2種類以上 の解像度の異なる複数の出力画像を取得するステップと、上記撮像素子から取得し た 2種類以上の解像度の異なる複数の出力画像から基準画像を選択するステップと 、上記基準画像とその他の画像間の画像間変位を推定するステップと、上記撮像素 子から出力された上記第 1の解像度を有する画像及び上記第 2の解像度を有する画 像と上記推定された画像変位とを用いて、上記撮像素子から出力された複数の出力 画像中の任意の画像に対して解像度を変換するステップと、を有することを特徴とす る高解像度化処理方法が提供される。 [0014] 本発明の第 4の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素 子から、少なくとも 2種類以上の解像度の異なる複数の画像を取得する撮像装置に おいて、上記撮像素子から出力された複数の出力画像中の任意の画像を解像度化 する高解像度化処理方法であって、上記撮像素子から、少なくとも第 1の解像度を有 する画像と上記第 1の解像度よりも高い第 2の解像度を有する画像を含む 2種類以上 の解像度の異なる複数の出力画像を取得するステップと、上記撮像素子から取得し た 2種類以上の解像度の異なる複数の出力画像から第 1の解像度を有する画像のう ちの:!枚を基準画像として選択するステップと、上記基準画像と、他の上記第 1の解 像度を有する画像との画像間変位を推定する第 1の変位推定ステップと、該第 1の変 位推定ステップの結果を用いて、上記第 1の解像度よりも高い第 3の解像度を有する 画像を推定する高解像度画像推定ステップと、該高解像度画像推定ステップによつ て得られた上記第 3の解像度を有する画像と上記第 2の解像度を有する画像との画 像間変位を推定する第 2の変位推定ステップと、該第 2の変位推定ステップで得られ た画像変位と上記第 2の解像度を有する画像を用いて、上記第 3の解像度を有する 画像に対して解像度を変換する画像解像度変換処理ステップと、を有することを特 徴とする高解像度化処理方法が提供される。

[0015] 本発明の第 5の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素 子から、少なくとも 2種類以上の解像度の異なる複数の出力画像を取得する撮像装 置において、上記撮像素子から出力された複数の出力画像中の任意の画像を解像 度化する高解像度化処理方法であって、上記撮像素子から、第 1の解像度を有する 画像を取得するステップと、割り込み信号を発生するステップと、上記発生した割り込 み信号によって上記撮像素子の出力画像の解像度を切り替える解像度切り替えステ ップと、上記解像度切り替えステップに対応して上記撮像素子から、上記第 1の解像 度より高い解像度を有する画像を取得するステップと、取得した上記第 1の解像度よ り高い解像度を有する画像から基準画像を選択するステップと、上記画像選択手段 で選択した基準画像とその他の上記第 1の解像度を有する画像との画像間変位を推 定する変位推定ステップと、上記撮像素子から出力された複数の出力画像と上記変 位推定ステップで得られた画像間変位とを用いて上記複数の出力画像中の任意の 画像の解像度を変換する解像度変換ステップと、を有することを特徴とする高解像度 化処理方法が提供される。

[0016] 本発明の第 6の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素 子で取得された少なくとも 2種類以上の解像度の異なる複数の出力画像中の任意の 画像の高解像度像を生成する高解像度化処理プログラムであって、コンピュータに、 少なくとも第 1の解像度を有する画像と上記第 1の解像度よりも高い第 2の解像度を 有する画像を含む 2種類以上の解像度の異なる複数の出力画像から基準画像を選 択する手順と、上記基準画像とその他の画像との画像間変位を推定する手順と、上 記第 2の解像度を有する画像と上記推定された画像間変位とを用いて、上記複数の 出力画像中の任意の画像に対して解像度を変換する手順と、を実行させるための高 解像度化処理プログラムが提供される。

[0017] 本発明の第 7の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素 子で取得された少なくとも 2種類以上の解像度の異なる複数の出力画像中の任意の 画像の高解像度像を生成する高解像度化処理プログラムであって、コンピュータに、 少なくとも第 1の解像度を有する画像と上記第 1の解像度よりも高い第 2の解像度を 有する画像を含む 2種類以上の解像度の異なる複数の画像の中から、第 1の解像度 を有する画像のうちの 1枚を基準画像として選択する手順と、上記基準画像と、他の 上記第 1の解像度を有する画像との画像間変位を推定する第 1の変位推定手順と、 該第 1の変位推定手順の結果を用いて、上記第 1の解像度よりも高い第 3の解像度 を有する画像を推定する高解像度画像推定手順と、該高解像度画像推定手順によ つて得られた上記第 3の解像度を有する画像と上記第 2の解像度を有する画像との 画像間変位を推定する第 2の変位推定手順と、該第 2の変位推定手順で得られた画 像間変位と上記第 2の解像度を有する画像を用いて、上記第 3の解像度を有する画 像に対して解像度を変換する解像度変換手順と、を実行させるための高解像度化処 理プログラムが提供される。

[0018] 本発明の第 8の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素 子で取得された少なくとも 2種類以上の解像度の異なる複数の出力画像中の任意の 画像の高解像度像を生成する高解像度化処理プログラムであって、コンピュータに、 上記撮像素子から、第 1の解像度を有する画像を取得する手順と、割り込み信号を 発生する手順と、上記発生した割り込み信号によって上記撮像素子の出力画像の解 像度を切り替える解像度切り替え手順と、上記解像度切り替え手順に対応して上記 撮像素子から、上記第 1の解像度より高い解像度を有する画像を取得する手順と、 取得した上記第 1の解像度より高い解像度を有する画像から基準画像を選択する画 像選択手段手順と、上記画像選択手段で選択した基準画像とその他の上記第 1の 解像度を有する画像との画像間変位を推定する変位推定手順と、上記撮像素子か ら取得した複数の出力画像と上記変位推定手順で得られた画像間変位とを用いて 上記撮像素子から取得した複数の出力画像中の任意の画像の解像度を変換する解 像度変換手順と、を実行させるための高解像度化処理プログラムが提供される。

[0019] 本発明の第 9の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像素 子で取得された少なくとも 2種類以上の解像度の異なる複数の出力画像中の任意の 画像の高解像度像を生成する高解像度化処理プログラムを格納した、コンピュータ が読み取り可能な記録媒体であって、上記高解像度化処理プログラムは、コンビユー タに、少なくとも第 1の解像度を有する画像と上記第 1の解像度よりも高い第 2の解像 度を有する画像を含む 2種類以上の解像度の異なる複数の出力画像から基準画像 を選択する処理と、上記基準画像とその他の画像との画像間変位を推定する処理と 、上記第 2の解像度を有する画像と上記推定された画像間変位とを用いて、上記複 数の出力画像中の任意の画像に対して解像度を変換する処理と、を実行させる命令 を含むことを特徴とする記録媒体が提供される。

[0020] 本発明の第 10の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像 素子で取得された少なくとも 2種類以上の解像度の異なる複数の出力画像中の任意 の画像の高解像度像を生成する高解像度化処理プログラムを格納した、コンピュー タが読み取り可能な記録媒体であって、上記高解像度化処理プログラムは、コンビュ ータに、少なくとも第 1の解像度を有する画像と上記第 1の解像度よりも高い第 2の解 像度を有する画像を含む 2種類以上の解像度の異なる複数の画像の中から、第 1の 解像度を有する画像のうちの:!枚を基準画像として選択する処理と、上記基準画像と 、他の上記第 1の解像度を有する画像との画像間変位を推定する第 1の変位推定処 理と、該第 1の変位推定処理の結果を用いて、上記第 1の解像度よりも高い第 3の解 像度を有する画像を推定する高解像度画像推定処理と、該高解像度画像推定処理 によって得られた上記第 3の解像度を有する画像と上記第 2の解像度を有する画像 との画像間変位を推定する第 2の変位推定処理と、該第 2の変位推定処理で得られ た画像間変位と上記第 2の解像度を有する画像を用いて、上記第 3の解像度を有す る画像に対して解像度を変換する解像度変換処理と、を実行させる命令を含むこと を特徴とする記録媒体が提供される。

[0021] 本発明の第 11の態様によれば、出力画像の解像度を切り替えて撮影可能な撮像 素子で取得された少なくとも 2種類以上の解像度の異なる複数の出力画像中の任意 の画像の高解像度像を生成する高解像度化処理プログラムを格納した、コンピュー タが読み取り可能な記録媒体であって、上記高解像度化処理プログラムは、コンビュ ータに、上記撮像素子から、第 1の解像度を有する画像を取得する処理と、割り込み 信号を発生する処理と、上記発生した割り込み信号によって上記撮像素子の出力画 像の解像度を切り替える解像度切り替え処理と、上記解像度切り替え処理に対応し て上記撮像素子から、上記第 1の解像度より高い解像度を有する画像を取得する処 理と、取得した上記第 1の解像度より高い解像度を有する画像から基準画像を選択 する画像選択手段処理と、上記画像選択手段で選択した基準画像とその他の上記 第 1の解像度を有する画像との画像間変位を推定する変位推定処理と、上記撮像素 子から取得した複数の出力画像と上記変位推定処理で得られた画像間変位とを用 いて上記撮像素子から取得した複数の出力画像中の任意の画像の解像度を変換す る解像度変換処理と、を実行させる命令を含むことを特徴とする記録媒体。

図面の簡単な説明

[0022] [図 1]図 1は、本発明の第 1実施例に係る撮像装置の構成を示すブロック図である。

[図 2]図 2は、画像間モーション推定を用いた超解像処理の概念図である。

[図 3]図 3は、撮影時の割り込み動作の第 1の例を示す概念図である。

[図 4]図 4は、撮影時の割り込み動作の第 2の例を示す概念図である。

[図 5]図 5は、第 1実施例における画像間変異推定処理の流れを示すフローチャート である。 [図 6]図 6は、パラボラフィッティングによる類似度マップの極値の探索法の概念図で ある。

[図 7]図 7は、第 1実施例における画像解像度変換処理の流れを示すフローチャート である。

[図 8]図 8は、高解像化処理部の構成の例として超解像処理の構成を示すブロック図 である。

[図 9]図 9は、本発明の第 1実施例の変形例における画像間モーション推定を用いた 超解像処理の概念図である。

[図 10]図 10は、第 1実施例の変形例における画像高解像度化処理の流れを示すフ ローチャートである。

[図 11]図 11は、本発明の第 2実施例に係る撮像装置の構成を示すブロック図である [図 12]図 12は、第 2実施例の処理の概念を示す図である。

[図 13]図 13は、低解像度空間画像変位推定部の画像変位推定処理の流れを示す フローチャートである。

[図 14]図 14は、高解像度空間画像変位推定部の画像変位推定処理の流れを示す フローチャートである。

[図 15]図 15は、第 2高解像化処理部の画像高解像度化処理アルゴリズムの詳細な 流れを示すフローチャートである。

発明を実施するための最良の形態

[0023] 以下、図面を参照して本発明の実施例を説明する。

[0024] 第 1実施例に係る撮像装置は、図 1に示すように、光学系 10、撮像部 12、撮像解 像度切替部 14、割り込み発生部 16、画像記録部 18、基準画像選択部 20、画像変 位推定部 22、画像変位記録部 24、高解像度化画像選択部 26、及び高解像化処理 部 28から構成されている。

[0025] 撮像部 12は、光学系 10を経て結像された光学的な被写体像を光電変換して電気 的な画像データを出力する。この撮像部 12は、出力画像の解像度を切り替え可能な 撮像素子である。例えば、プログレッシブ読み出し方式、インターリーブ読み出し方 式、画素間引き読み出し方式、画素混合読み出し方式、等の複数の読み出し方式 のうち、撮像装置の用途及び/又は機能に応じて適宜採用された複数の読み出し 方式を、撮影シーン、モード等に応じて選択的に切り替え可能な機能を有している。 ここで、プログレッシブ読み出し方式とは、各画素の信号を読み出す場合に、全画素 信号を順次読み出す方式である。インターリーブ読み出しとは、奇数ライン毎と偶数 ライン毎に交互に画素の信号を読み出す方式である。画素間引き読み出し方式とは 、水平'垂直に指定された画素数おきに飛ばして画素の信号を読み出す方式である 。画素混合読み出し方式とは、指定された画素数分を混合して 1つの画素信号として 読み出す方式である。また、撮像部 12は、読み出し範囲を変更可能として所望の一 部の領域の画素信号を選択的に読み出す機能を有しても良いことは勿論である。

[0026] 撮像解像度切替部 14は、上記撮像部 12からの出力画像の解像度を切り替える。

即ち、上記撮像素子から出力される画像の解像度を切り替える解像度切り替え手段 として機能する。割り込み発生部 16は、撮像解像度切替部 14で撮像解像度を切り 替えるための割り込みを発生する。

[0027] 画像記録部 18は、撮像部 12から出力された画像データを電子的に記録する。

[0028] 基準画像選択部 20は、画像記録部 18に記録された複数の画像の内、基準画像を 選択する。即ち、基準画像を選択する画像選択手段として機能する。

[0029] 画像変位推定部 22は、画像記録部 18に記録された画像と基準画像選択部 20で 選択された基準画像とから画像の変位を推定する。即ち、基準画像とその他の画像 間の画像間変位を推定する画像変位推定手段として機能する。

[0030] 画像変位記録部 24は、画像変位推定部 22で推定された画像変位を記録する。

[0031] 高解像度化画像選択部 26は、高解像度画像化を行うターゲット画像を選択する。

[0032] 高解像化処理部 28は、画像変位記録部 24からの画像変位情報を用いて、高解像 度化画像選択部 26で選択された画像記録部 18からの画像を高解像度化処理する 。即ち、解像度を変換する解像度変換手段として機能する。

[0033] なお、図 1では図示されていないが、本撮像装置はコンピュータ、プロセッサ等の上 記各部の動作を制御する動作制御部を備えている。また、コンピュータ、プロセッサ 等が、上記各部の一部、或いは多くの処理、動作を行なっても良い。 [0034] 次に、図 1を参照して、データの流れを説明する。

[0035] 光学系 10により結像された被写体像は、撮像部 12にて空間的に離散化してサン プリングされることにより画像データに変換される。この画像データは画像記録部 18 に供給され、電子的に画像記録部 18に記録される。その際、撮像部 12から出力され る画像の解像度は、撮像解像度切替部 14からの読み出し解像度の指示情報に応じ て決定される。すなわち、撮像解像度切替部 14が高解像度モードに切り替わつてい る場合、撮像部 12は高解像度画像を出力する。撮像解像度切替部 14が低解像度 モードに切り替わつている場合には、撮像部 12は、上記高解像度画像に比べ低解 像度ではあるがフレームレートの高い低解像度画像を、連続して出力する。撮像解 像度切替部 14は、割り込み発生部 16によって割り込みが発生した時に、解像度モ ードの切り替えを行う。

[0036] 基準画像選択部 20は、画像記録部 18に記録された高解像度画像及び低解像度 画像の中から、画像変位推定の基準となる基準画像を選択し、画像変位推定部 22 は、画像間の変位推定を行う。この画像変位推定部 22によって推定された画像変位 は、画像変位記録部 24に記録される。高解像化処理部 28は、画像変位記録部 24 に記録された画像変位情報、画像記録部 18に記録された高解像度画像及び低解 像度画像、及び高解像度化画像選択部 26で指定された高解像度画像化を行うター ゲット画像を示す高解像度化画像選択情報を用いて、高解像度画像を生成する。

[0037] 以下、第 1実施例の概念図である図 2をもとに図 1の構成要素についてそれぞれ述 ベる。

[0038] はじめに、図 2を用いて本実施例の概念について説明する。画像記録部 18には、 異なった時間での撮影によって得られた高解像度画像 30 (y , y )と、その間に挟ま れた低解像度画像 32 (y， y , y， y , y )が記録されている。高解像度画像の生成

2 3 4 5 6

の処理は、これらの画像 30， 32の全てを用いて行われる。すなわち、同図に破線で 示すように、高解像度画像 30 (y , y )と低解像度画像 32 (y , y , y， y , y )の夫々

1 7 2 3 4 5 6 の画像間の変位（モーション）を推定し、さらに推定したモーションと、撮像システム関 数 (光学的なボケ、イメージャによるサンプリングに起因する帯域制限）とから、同図に 実線矢印で示すように、超解像処理により高解像度画像 34を推定する。同図の例で は、高解像度化したいターゲット画像として低解像度画像 32 (y )が選択され、推定さ

4

れた高解像度画像 34 (z )は、この低解像度画像 32 (y )のタイミングに対応した高

4 4

解像度画像になる。高解像度画像 34 (z )の解像度が高解像度画像 30 (y， y )と同

4 1 7 じ解像度である場合は、低解像度画像 32と高解像度画像 30との間の変位量を推定 する演算だけでもかまわない。高解像度画像 34 (z )の解像度が高解像度画像 30 (y

4

, y )以上の解像度の場合には、前述の高解像度化の推定演算を必要とする。以下 、変位推定の基準になる画像を基準画像と呼び、その他の画像を参照画像と呼ぶ。

[0039] 次に、割り込み動作を用いた撮影の流れに沿って、第 1実施例に係る撮像装置の 動作を説明する。

[0040] 割り込み動作の第 1の例では、図 3のように、通常状態では、撮像解像度切替部 14 を低解像度モードにして、撮影時には、連続した撮影により撮像部 12から低解像度 画像 32を連続して出力するようにしておく。その連続した撮影中に、ユーザのスイツ チ 36の押下操作などに応じて割り込み発生部 16が割り込みを発生させると、撮像解 像度切替部 14は高解像度モードに切り替わり、撮像部 12に高解像度画像 30を出 力させる。そしてその後、再び、撮像解像度切替部 14は低解像度モードに切り替わ り、撮像部 12に低解像度画像 32を連続して出力させる。

[0041] 割り込み動作の第 2の例では、図 4のように、撮影時には、撮像解像度切替部 14が 低解像度モードに切り替えられて撮像部 12から低解像度画像 32を連続して出力し ている中で、割り込み発生部 16が割り込みを反復して発生させる。この反復割り込み が入った時に、撮像解像度切替部 14は高解像度モードに切り替わり、撮像部 12か ら高解像度画像 30を出力させる。すなわち、一定周期ごとに高解像度画像 30を取 得する。

[0042] 以上の第 1又は第 2の例のようにして、撮像部 12での撮影により得られた低解像度 画像 32と高解像度画像 30は、画像記録部 18に記録される。

[0043] 基準画像選択部 20では、画像変位推定のための基準画像として、画像記録部 18 に保存された画像のなかの高解像度画像 30を 1枚選択する。画像変位推定部 22は 、この基準画像選択部 20で選択された基準画像と、対象となる基準画像以外の撮影 画像との画像間の変位位置を求め、その結果を画像変位記録部 24に記録する。 [0044] 次に、画像変位推定のアルゴリズムの詳細を、図 5のフローチャートに示すアルゴリ ズムの流れに沿って説明する。

[0045] まず、画像変位推定の基準となる高解像度画像 30を基準画像として 1枚読み込む

(ステップ S 10)。

[0046] 次に、その読み込んだ基準画像を複数の画像変位で変形させ、画像列を生成する

(ステップ S 12)。

[0047] 更に、基準画像との間の画像変位推定を行う低解像度画像 32を参照画像として 1 枚読み込む (ステップ S 14)。

[0048] その後、上記読み込んだ参照画像にエイリアシングが多く含まれるか判断する（ス テツプ S 16)。

[0049] その結果、エイリアシングが少ない場合、参照画像の解像度を補間処理により基準 画像の解像度と同一にする（ステップ S18)。これに対して、エイリアシングが多い場 合には、基準画像を複数変形させた画像列の解像度を参照画像の解像度と同一に する（ステップ S 20)。

[0050] 次に、参照画像と基準画像との間で大まかな画像変位推定を、領域ベースマッチ ング等の処理を用いて行い、その推定結果に基づいて参照画像を変形することによ り、参照画像を基準画像へ大まかに合わせる (ステップ S22)。なお、ここでいぅ大ま 力な画像変位推定の一例として、ピクセル単位の領域ベースマッチング等の処理が 挙げられる。なお、後述するステップ S28で精密な位置合わせを行う。従って、ステツ プ S28で行う画像変位推定処理よりも精度の低い画像変位推定処理であり、画像を 大局的に位置合わせできる手法であれば、その他の手法でも良いものとする。

[0051] 次に、ステップ S12で基準画像を画像変位のパラメータ（変形モーションパラメータ )を用いて複数変形させた画像列とステップ S22で基準画像に大まかに合わせられ た参照画像との間の類似度値を算出する (ステップ S24)。

[0052] そして、画像変位のパラメータ（変形モーションパラメータ）と算出した類似度値との 関係を用いて、離散的な類似度マップを作成する (ステップ S26)。

[0053] さらに、ステップ S26で作成した離散的な類似度マップを補完することで得られる、 連続的な類似度値の極値を探索し、連続的な類似度値の極値を求める（ステップ S 2 8)。その極値での画像変位のパラメータで示される画像変位力 求める画像変位（ 画像変位推定値）となる。類似度マップの極値の探索法には、パラボラフィッティング 、スプライン補間法、等がある。図 6は、画像変位推定をパラボラフッティングで行った 例を示している。縦軸は類似度を表し、値が小さいほど類似度が高い。同図に示すよ うに、離散的な類似度値 38間をパラボラフィッティングにより補完することで連続的な 類似度のカーブ 40が得られ、その極値 42を探索することができる。求められた画像 変位推定値は、画像変位記録部 24に記録される。

[0054] その後、対象となる全ての参照画像において画像変位推定を行っているか否か判 断する（ステップ S30)。対象となる全ての参照画像において画像変位推定を行って いない場合は、参照画像のフレーム番号を変化させ（ステップ S32)、上記ステップ S 14へ戻り、次の参照画像の読み込み処理を継続して行う。これに対して、対象となる 全ての参照画像において画像変位推定を行っている場合は、処理を終了する。

[0055] 高解像化処理部 28は、上記のように画像変位記録部 24に記録された画像変位推 定値、高解像度化画像選択部 26により選択された高解像度化を行う目的の画像 (以 下：高解像度化ターゲット画像）の選択情報、及び画像記録部 18に記録された高解 像度画像 30及び低解像度画像 32により、高解像度化ターゲット画像の画像高解像 度化処理を行う。

[0056] この画像高解像度化処理の例を、アルゴリズムの流れを示す図 7のフローチャート を参照して説明する。

[0057] まず、高解像度画像推定に用いるため、撮像部 12で撮影された複数枚の低解像 度画像 32及び高解像度画像 30を読み込む (ステップ S34)。

[0058] 次に、画像記録部 18に記録されている画像の中の、高解像度化画像選択部 26で 選択した低解像度画像 32を高解像度化ターゲット画像とする。その高解像度化ター ゲット画像に対し補完処理を行うことで初期の高解像度画像 34を作成する (ステップ S36)。この補間処理は場合により省略することができる。

[0059] その後、画像変位記録部 24に記録された画像変位により、高解像度化ターゲット 画像とその他の画像との画像間の変位位置対応を明らかにする（ステップ S38)。高 解像度化ターゲット画像とその他の画像との間の画像変位は、画像変位記録部 24 に記録されている、画像変位推定部 22における基準画像と高解像度化ターゲット画 像との画像間変位と、画像変位推定部 22における基準画像と高解像度化ターゲット 画像以外の画像との画像間変位を統合することによって生成する。

[0060] 次に、光学伝達関数（〇TF)、 CCDアパーチャ等の撮像特性を考慮した点広がり 関数（Point Spread Function:以下 PSF)を求める（ステップ S40)。 PSFは例えば Ga uss関数を簡易的に用いる。

[0061] その後、ステップ S 38、ステップ S40の情報を元に、評価関数 f (z)の最小化を行う ( ステップ S42)。ただし、 f (z)は以下のような形となる。

[数 1] f(z) = ∑ |y_k - _kz + Xq{z) ( 1 ) k

[0062] ここで yは画像記録部 18に記録された第 1の解像度の撮影画像 (低解像度画像 32) 及び第 2の解像度の撮影画像（高解像度画像 30)を表す。 zは第 1の解像度の画像 より選択された高解像度化ターゲット画像の高解像度画像 34 (推定する目標の画像 )、 Aは画像変位、 PSF、画素混合等を含めた撮像システムを表す画像変換行列で k

ある。 g (z)は画像の滑らかさや色相関を考慮した拘束項等である。 λは重み係数で ある。評価関数の最小化には、例えば最急降下法を用いる。

[0063] 次に、ステップ S42で求めた f (ζ)が最小化されたか否かを判定し (ステップ S44)、 f

(z)が最小化された場合、処理を終了しターゲット画像の高解像度画像 34 (z)を得る 。まだ最小化されていない場合、高解像度画像 34 (z)をアップデートして (ステップ S 46)、ステップ S42に戻る。

[0064] 以上の処理を高解像度化画像選択部 26で選択された全ての低解像度画像 32に ついて行う。

[0065] 以下に、複数枚の画像を使って高解像度画像 34を生成する処理の一例として、高 解像化処理部 28の構成の例を示す図 8を用いて、超解像処理の概略を説明する。 尚、同図の例では、式（1 )の拘束項 g (z)を省略している。実際には、拘束条件は畳 込み積分部 28Bに統合されている。式（1 )の拘束条件 g (z)を省略すると f (z)を最小 化する zの条件は [数 2]

[0066] をゼロにする。実際には反復復元のアルゴリズムを使用しているので、定式的には [数 3] ζη = ¾-1 +∑Α^Τ(Αζ_η— 1 - y_k) ( 3 )

[0067] となる。図 8は式（3)の演算を反復の収束条件を含めて処理するブロック図である。

[0068] 高解像化処理部 28は、補間拡大部 28A、畳込み積分部 28B、 PSFデータ保持部 28C、画像比較部 28D、乗算部 28E、貼り合せ加算部 28F、蓄積加算部 28G、更新 画像生成部 28H、画像蓄積部 281、反復演算判定部 28J、反復判定値保持部 28K 力 構成される。また、式 (3)の計算では、先に求めた画像変位推定値から、高解像 度グリット単位の変位量は参照画像 yに、高解像度グリット以下の微小変位量をシス テム行列 Aに含めるようにしている。そのため、変位量データ分離部 28Lと、参照画 像変形処理部 28Mとを有する。

[0069] まず撮像部 12より複数フレーム分の画像データのうち任意の 1枚の画像の画像デ ータを基準画像 44として補間拡大部 28Aに与え、補間拡大を行う。ここで用いられる 補間拡大の手法としては、例えばバイリニア補間やバイキュービック補間などが挙げ られる。補間拡大された画像の画像データは、畳込み積分部 28Bに与えられ、 PSF データ保持部 28Cより与えられる PSFデータと畳込み積分される。この処理は高解 像度画像 34 (z)の初期値を与えるものである、従って図中（ * )で示された部分は、 処理の開始時に 1回だけ行われる。以降は、畳込み積分部 28Bでの畳込み積分演 算は、更新した高解像度画像 34 (z)に対して行われる。

[0070] 上述のように、先に求めた画像変位推定値は、変位量データ分離部 28Lにおいて 、高解像度グリッド単位の変位量 46及び高解像度グリッド単位以下の微小変位量 48 に分離される。高解像度グリッド単位の変位量 46は、参照画像の変形処理部 28M に与えられ、高解像度グリッド単位以下の微小変位量 48は PSFデータ保持部 28C に与えられる。高解像度グリッド単位を 1ピクセルとした場合は、例えば画像変位推定 値が 1. 3ピクセルだった場合、参照画像変形処理部 28Mに 1. 0ピクセノレを、 PSFデ ータ保持部 28Cに 0· 3ピクセルをそれぞれ与える。 PSFデータ保持部 28Cは、変位 量データ分離部 28Lから与えられた高解像度グリッド単位以下の微小変位量 48に 応じて、その使用する PSFデータを決定する。例えば、 PSFデータ保持部 28Cは、 0 . 1ピクセル単位で PSFデータを保持しておき、高解像度グリッド単位以下の微小変 位量 48が与えられたとき、その微小変位量 48に最も近レ、 PSFデータを、使用するデ ータとして決定する構成としても良レ、。このように決定された PSFデータは、畳込み積 分部 28Β及び転置処理部 28Νにおいて使用される。

[0071] 参照画像の変形処理部 28Μは、変位量データ分離部 28Lから与えられた各フレ ーム毎の高解像度グリッド単位の変位量 46に基づいて、参照画像 50に対して高解 像度画像 34のグリットの単位で座標変換を施すことで、変形画像を生成する。この生 成された変形画像の画像データは、画像比較部 28Dに送られる。

[0072] 補間拡大部 28Αにおいて補間拡大された基準画像 44の画像データは、畳込み積 分部 28Βに与えられるのと同時に画像蓄積部 281にも送られ、ここに蓄積される。ま た、畳込み積分部 28Βにおいて畳込み積分演算された画像の画像データは、画像 比較部 28Dに送られる。

[0073] 画像比較部 28Dは、参照画像の変形処理部 28Μから送られてきた変形画像の画 像データと畳込み積分部 28Βから送られてきた畳込み積分演算された画像の画像 データとから、上述の (Αζ— y )に対応する演算を行う。これらの画像の残差は乗算

n k

部 28Eに送られ、 PSFデータ保持部 28Cより与えられる PSFデータを転置処理部 2 8Nで転置化した転置データ A^Tの各画素毎の値に掛け合わされる。この演算結果 A^T (Az y )は、貼り合せ加算部 28Fに送られ、それぞれ対応する座標位置に置かれ n k

る。ここで、乗算部 28Eからの画像データは重なりを持ちながら少しずつ座標位置が ずれて行くことになるので、重なる部分については加算していく。撮影画像 1枚分の 画像データの貼り合せ加算が終ると、結果の画像データは蓄積加算部 28Gに送られ る。蓄積加算部 28Gでは、フレーム数分の処理が終るまで順次送られてくるデータを 蓄積し、推定された変位量を考慮しながら各フレーム分の画像データを順次加算し てゆく。蓄積加算された画像データは、更新画像生成部 28Hに送られる。

[0074] 更新画像生成部 28Hには、これと同時に画像蓄積部 281に蓄積されていた画像デ ータが与えられ、この 2つの画像データに重みをつけて加算して、更新画像データを 生成する。生成された更新画像データは、反復演算判定部 28Jに与えられ、反復判 定値保持部 28Kから与えられる反復判定値を元に演算を反復するか否かが判断さ れる。演算を反復する場合には、更新画像データを畳込み積分部 28Bに送り、上記 の一連の処理を繰り返し、反復しなレ、場合は生成された更新画像データを出力する

[0075] 上記一連の処理を行い反復演算判定部 28Jから出力される画像は、撮影時に得ら れた低解像度画像 32よりも高解像度なもの、つまり高解像度画像 34となっている。

[0076] 上記 PSFデータ保持部 28Cで保持される PSFデータは、結像光学系 10と撮像部

12の撮像素子上の受光部分の開口形状とから求められた点拡がり関数 PSF、もしく はこれを近似した値より与えられる。畳込み積分の際には適切な座標位置での計算 が必要となるので、変位量データ分離部 28Lより各フレーム毎の高解像度グリッド単 位以下の微小変位量 48が与えられるようになつている。

[0077] 次に、本第 1の実施例の変形例について、図 9の概念図を参照して説明する。

[0078] 本発明に関わる割り込み動作を用いた 2種類の画像取得については図 3及び図 4 で説明した例と同一である。

[0079] 撮影によって得られた画像は、画像記録部 18に記録される。基準画像選択部 20 では、画像変位推定のための基準画像として、画像記録部 18に保存された画像の なかの 1枚を選択する。基準画像は高解像度化を行う低解像度画像 32を選択する。 画像変位推定の為の基準画像と高解像度化を行うターゲット画像は同一のものとす る。次に、参考画像として、基準画像の前後にある、撮影で得られた高解像度画像 3 0を選択する。そして、画像変位推定部 22において、図 9に破線で示すように、基準 画像選択部 20で選択された基準画像と、参考画像である高解像度画像 30との画像 間の変位位置を求め、その結果を画像変位記録部 24に記録する。

[0080] 画像変位推定のアルゴリズムの詳細については図 5の実施例と同一である。

[0081] 画像変位推定部 22で求めた画像変位推定値を画像変位記録部 24に記録し、記 録された画像変位情報、高解像度化画像選択部 26により選択された高解像度化タ 一ゲット画像の選択情報、及び画像記録部 18に記録された高解像度画像により、高 解像化処理部 28において、図 9に実線の矢印で示すように、高解像度化ターゲット 画像の画像変形による画像高解像度化処理を行う。

[0082] 次に、この画像変形による画像高解像度化処理の例を、図 10の画像高解像度化 処理アルゴリズムの詳細な流れを示すフローチャートに沿って説明する。

[0083] まず、高解像度画像生成に用いるため、撮影によって撮像部 12で得られた高解像 度画像 30 (例えば y , 及び高解像度化ターゲット画像である低解像度画像 32 ( 例えば y )を画像記録部 18から読み込む (ステップ S48)。高解像度画像 30は、基

4

準画像選択部 20によって選択され、画像変位推定部 22によって高解像度化のター ゲット画像 yである低解像度画像 32との間の画像間変位が求められているものとす

4

る。また、読み込む高解像度画像 30の枚数は複数枚でもかまわなレ、ものとする。

[0084] 次に、ステップ S48で読み込んだ高解像度化ターゲット画像に対し補間処理を行う ことで初期の高解像度画像を作成する (ステップ S50)。この補間処理は、場合により 省略すること力 Sできる。

[0085] 画像変位記録部 24に記録された画像変位により、高解像度化ターゲット画像 yと

4 ステップ S48で読み込まれた高解像度画像 30との画像間対応位置を明らかにする（ ステップ S52)。この変位位置対応は、ステップ S48で読み込まれた高解像度画像 3 0が、画像変位推定部 22の参考画像であることより、画像変位推定部 22に記録され ている。

[0086] 高解像度化ターゲット画像 yとステップ S48で読み込まれた高解像度画像 30間の

4

変位位置対応情報より、ステップ S48で読み込まれた高解像度画像 30を変形させて 、高解像度化ターゲット画像 yの高解像度化画像を生成する (ステップ S54)。この処

4

理をステップ S48で読み込まれた全ての高解像度画像 30に対して行う（ステップ S5 6)。

[0087] そして、ステップ S54で生成された全ての高解像度化画像及びステップ S50で作 成された初期の高解像度画像との重み付け平均化を行い、高解像度化ターゲット画 像 yの一枚の高解像度画像 34 (z )を生成する（ステップ S58)。定式化を行うと以下

4 4

のようになる。

[数 4] k

[0088] ここで、 zは高解像度化ターゲット画像が高解像度化された高解像度画像 34、 aは 重み係数、 yはステップ S48で読み込まれた高解像度画像 30またはステップ S50で 作成された初期の高解像度画像、 Mは高解像度化ターゲット画像と yとの間の画像 間変位情報を含む行列とする。

[0089] 以上で説明した第 1実施例について、画像変位推定処理及び画像高解像度化処 理は、画像撮影時の割り込みが終了し画像が画像記録部 18に記録された時点で、 画像変位推定処理の基準画像が選択され、画像変位推定処理が行われ、画像変位 が画像変位記録部 24に記録され、高解像度化ターゲット画像が選択され、高解像度 化処理が行われる、という形で順次動作する。ただし、画像変位推定部 22で画像間 変位推定を行う参照画像が複数枚の場合は、参照画像 1枚の推定が終了した時点 で、画像変位記録部 24に記録することができるので、画像変位推定処理と画像高解 像度化処理は並列化で行ってもょレ、。

[0090] 上記のように、複数枚の画像を使用して画像を高解像度化する場合、既存の超解 像手法のように使用する画像を低解像度画像 32に限定せず、低解像度画像 32と高 解像度画像 30の両方を用いることで、解像度は低いがフレームレートは高い低解像 度画像 32及び解像度は高いがフレームレートは低い高解像度画像 30の利点を引き 出し、欠点を補ったフレームレートの高い高解像度画像 34が生成される。これは例え ば、画素混合読み出しを用いて動画撮影を行い、その合間に CCDの最大解像度を 用いて静止画像を撮影するといつた静止画動画兼用機等で撮影された動画及び静 止画を用いて、動画をフレームレートが高く高解像度なものにしたり、ノイズの少ない 画素混合画像を高解像度化処理に用いてノイズを抑制したり、動画で撮影された任 意の一枚を静止画並みの高解像度に変換する場合等に利用できる。

[0091] 以上のように、本発明の第 1実施例では、画像間の対応付けを行うことで、画素の サンプリングレートが高い高解像度画像空間上で画像間の対応付けを行うことができ る。また、隣接画像間の対応付けを行う必要がなぐ高解像度画像 30と、任意の低解 像度画像 32との間の対応付けを行うことにより、隣接画像間の対応を統合した時のよ うな累積誤差は乗らない。

[0092] 次に、本発明の第 2実施例を説明する。

[0093] まず、図 11を参照して、本第 2実施例に係る撮像装置の構成を説明する。なお、図 1と同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点につ いてのみ説明する。

[0094] 図 11において、光学系 10は撮像部 12に光学像を結像し、撮像部 12にて、結像し た画像は空間的に離散化してサンプリング、画像データに変換され、電子的に画像 記録部 18に記録される。その際、撮像部 12での撮影によって得られる画像の解像 度は、撮像解像度切替部 14が高解像度モードに切り替わった場合、高解像度画像 30を撮影し、低解像度モードの場合、高解像度画像 30に比べ低解像度だがフレー ムレートの高レ、低解像度画像 32を連続して撮影する機構となってレ、る。

[0095] そして、本第 2実施形態では、高解像度化画像選択部 26により、画像記録部 18に 記録された低解像度画像 32の中から画像変位推定の基準となる基準画像を選択す ると、低解像度空間画像変位推定部 52は、その基準画像とその基準画像以外の低 解像度画像 32との間で画像間の変位推定を行う。推定された画像変位は、画像変 位記録部 24に記録される。第 1高解像化処理部 54は、画像変位記録部 24に記録さ れた画像変位、画像記録部 18に記録された低解像度画像 32、高解像度化画像選 択部 26で選択された高解像度画像化を行うターゲット画像を示す高解像度化画像 選択情報を用いて、高解像度化中間画像を生成する。

[0096] 高解像度空間画像変位推定部 56は、この第 1高解像化処理部 54で生成された高 解像度化中間画像及び画像記録部 18に記録されている高解像度画像を用いて、高 解像度化中間画像を基準画像として画像間変位推定を行う。第 2高解像化処理部 5 8は、高解像度空間画像変位推定部 56で推定された画像間変位、高解像度化画像 選択部 26で選択された高解像度化画像選択情報、第 1高解像化処理部 54で推定 された高解像度画像を用いて、高解像度化中間画像を高解像化することで、高解像 度画像 34を生成して出力する。

[0097] この様に、本第 2実施例では、高画質化処理において、第 1の変位推定手段として 機能する低解像度空間画像変位推定部 52と、第 2の変位推定手段として機能する 高解像度空間画像変位推定部 56とを備えている。

[0098] なお、高解像度化画像選択部 26は、少なくとも第 1の解像度を有する出力画像と 上記第 1の解像度よりも高い第 2の解像度を有する出力画像とを含む、 2種類以上の 解像度の異なる複数の出力画像から、第 1の解像度を有する出力画像のうちの 1枚 を基準画像として選択する手段の機能を備えている。また、低解像度空間画像変位 推定部 52は、第 1の変位推定手段に該当し、第 1高解像化処理部 54は高解像度画 像推定手段に該当し、高解像度空間画像変位推定部 56は第 2の変位推定手段に 該当し、第 2高解像化処理部 58は解像度変換手段に該当する。

[0099] 本第 2実施例の処理の概念を図 12に示す。すなわち、まず、同図に細い破線で示 すような低解像度空間における画像モーション推定を用いて、同図に細い実線の矢 印で示すように、低解像度画像列 y

2〜yよりターゲット画像 yに対応する高解像度画 6 4

像 z'を算出する。ここで、高解像度画像 z'が高解像度化中間画像 60に相当する。

4 4

さらに、この高解像度化中間画像 60 (ζ' )と高解像度画像 30 (y， y )を用いて、同

4 1 7

図に太い破線で示すように、画像間の変位を推定する。このとき、高解像度化中間 画像 60 (ζ' )は、低解像度画像 32 (y〜y )よりも解像度の高いグリッドで定義された

4 2 6

画像であり、エッジ情報についても元の画像を補完したものに比べて、多くを持って いる。従って高解像度画像 30 (y , y )のように高い解像度を持っている画像との変

1 7

位推定を行ったときには、ターゲットの低解像度画像 32 (y )と高解像度画像 30 (y

4 1， y )の間の変位を直接求める方法に比べて、精密な変位量の推定が行える。このよう な精密な変位量を用いて、同図に太線の矢印で示すように、高解像度化中間画像 6 0 (ζ' )と高解像度画像 30 (y， y )とより、ターゲット画像 y4に対応する高解像度画像

4 1 7

34 (z )を算出する。

4

[0100] 以下、第 2実施例の概念図である図 12をもとに図 11に示す第 2実施例に係る撮像 装置の動作を説明する。

[0101] 本発明に関わる 2つの割り込み動作を用いた画像撮影の例について以下に示す。

[0102] まず、図 11において、図 3のような割り込み動作の第 1の例では、通常状態では、 撮像解像度切替部 14を低解像度モードにして、撮影時には、連続した撮影により撮 像部 12から低解像度画像 32を連続して出力するようにしておく。その連続した撮影 中に、ユーザのスィッチ 36の押下操作などに応じて割り込み発生部 16が割り込みを 発生させると、撮像解像度切替部 14は高解像度モードに切り替わり、撮像部 12に高 解像度画像 30を出力させる。そしてその後、再び、撮像解像度切替部 14は低解像 度モードに切り替わり、撮像部 12に低解像度画像 32を連続して出力させる。

[0103] 割り込み動作の第 2の例では、図 4のように、撮影時には、撮像解像度切替部 14が 低解像度モードに切り替えられて撮像部 12から低解像度画像 32を連続して出力し ている中で、割り込み発生部 16が割り込みを反復して発生させる。この反復割り込み が入った時に、撮像解像度切替部 14は高解像度モードに切り替わり、撮像部 12か ら高解像度画像 30を出力させる。すなわち、一定周期ごとに高解像度画像 30を取 得する。

[0104] 以上の第 1又は第 2の例のようにして、撮像部 12での撮影により得られた低解像度 画像 32と高解像度画像 30は、画像記録部 18に記録される。高解像度化画像選択 部 26は、画像変位推定のための基準画像として、画像記録部 18に保存された画像 のなかの 1枚を選択する。本第 2実施例では、この基準画像として、低解像度画像 32 を選択する。低解像度空間画像変位推定部 52は、高解像度化画像選択部 26で選 択された基準画像と、対象となる基準画像以外の低解像度画像 32との画像間の変 位位置を求め、その結果を画像変位記録部 24に記録する。

[0105] ここで、低解像度空間画像変位推定部 52の画像変位推定のアルゴリズムの流れの 詳細を、図 13に示すフローチャートに沿って説明する。

[0106] まず、画像変位推定の基準となる低解像度画像 32を基準画像として 1枚読み込む

(ステップ S60)。次に、その読み込んだ基準画像を複数の画像変位で変形させ、画 像列を生成する (ステップ S62)。

[0107] その後、基準画像との間の画像変位推定を行う低解像度画像 32を、参照画像とし て 1枚読み込む (ステップ S64)。次に、基準画像と参照画像の間で、大まかな画像 間の変位推定を行う（ステップ S66)。この大まかな画像変位推定の詳細な手法は、 前述した第 1実施例の手法と同様である。その後、ステップ S62で基準画像を複数変 形させた画像列と参照画像の間の類似度値を算出する (ステップ S68)。次に、画像 変位のパラメータと算出した類似度値との関係を用いて、離散的な類似度マップを作 成する（ステップ S70)。その後、ステップ S70で作成した離散的な類似度マップを補 完することで得られる、連続的な類似度値の極値を探索し、連続的な類似度値の極 値を求める（ステップ S72)。その極値を持つ画像変位が、求める画像変位となる。こ の類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法等が ある。図 7は、画像変位推定をパラボラフッティングで行った例を示している。縦軸は 類似度を表し、値が小さいほど類似度が高い。求められた画像変位は、画像変位記 録部 24に記録される。

[0108] そして、対象となる全ての参照画像において画像変位推定を行っているか判断し（ ステップ S74)、終わっていない場合、参照画像のフレーム番号を変化させ（ステップ S76)、ステップ S64へ戻り、次の画像の読み込み処理を継続する。而して、対象とな る全ての参照画像にぉレ、て画像変位推定を行ったところで、処理を終了する。

[0109] 第 1高解像化処理部 54は、上記のようにして画像変位記録部 24に記録された画 像間変位、高解像度化画像選択部 26で選択された高解像度化するべき画像の選 択情報、画像記録部 18に記録された低解像度画像 32列を用いて、高解像度化を 行レ、、高解像度化中間画像 60を生成する。この高解像度化中間画像 60は、低解像 度画像 32の解像度である第 1の解像度よりも高い第 3の解像度を有する画像に相当 する。無論、第 3の解像度は、高解像度画像 30の解像度である第 2の解像度と同じ 力それ以上の解像度でも良いし、第 1の解像度よりも高いが第 2の解像度よりも低くて も良い。第 1高解像化処理部 54の高解像度化の方法は、画像について画像間変位 及び低解像度画像 32を用いて、それぞれの画像で高解像度画像空間への補間処 理、動き補正処理を行い、全ての動き補正後の画像について、加算平均を取る等の 処理を行ってもよいし、図 7及び図 8に示し、第 1実施例で説明した高解像度化手法 を用いてもよい。

[0110] 高解像度空間画像変位推定部 56は、第 1高解像化処理部 54で高解像度化され た高解像度化中間画像 60、高解像度化画像選択部 26で選択された高解像度化す るべき画像の選択情報、画像記録部 18に記録された高解像度画像 30列を用いて、 高解像度化中間画像 60と画像記録部 18に記録された高解像度画像 30との間の画 像間変位を推定する。高解像度空間画像変位推定部 56の詳細は、上記低解像度 空間画像変位推定部 52の推定を行う解像度空間が高解像度になったこと以外は、 同様のものである。高解像度空間画像変位推定部 56のアルゴリズムのフローチヤ一 トも、図 14に示すように、基本的には、低解像度空間画像変位推定部 52のそれと同 じであり、基準画像が低解像度画像 32に代わって第 1高解像化処理部 54で高解像 度化された高解像度化中間画像 60である点、及び、参照画像が低解像度画像 32 に代わって高解像度画像 30である点、が異なっているだけである。

[0111] 即ち、まず、画像変位推定の基準となる高解像度画像 30を基準画像として:!枚読 み込む (ステップ S78)。次に、その読み込んだ基準画像を複数の画像変位で変形さ せ、画像列を生成する（ステップ S80)。

[0112] その後、基準画像との間の画像変位推定を行う高解像度画像 30を、参照画像とし て 1枚読み込む (ステップ S82)。次に、基準画像と参照画像の間で、大まかな画像 間の変位推定を行う（ステップ S84)。この大まかな画像変位推定の詳細な手法は、 前述した第 1実施例の手法と同様である。その後、ステップ S80で基準画像を複数変 形させた画像列と参照画像の間の類似度値を算出する (ステップ S86)。次に、画像 変位のパラメータと算出した類似度値との関係を用いて、離散的な類似度マップを作 成する（ステップ S88)。その後、ステップ S88で作成した離散的な類似度マップを補 完することで得られる、連続的な類似度値の極値を探索し、連続的な類似度値の極 値を求める（ステップ S90)。その極値を持つ画像変位が、求める画像変位となる。こ の類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法等が ある。

[0113] そして、対象となる全ての参照画像において画像変位推定を行っているか判断し（ ステップ S92)、終わっていない場合、参照画像のフレーム番号を変化させ (ステップ S94)、ステップ S82へ戻り、次の画像の読み込み処理を継続する。而して、対象とな る全ての参照画像にぉレ、て画像変位推定を行ったところで、処理を終了する。

[0114] 第 2高解像化処理部 58は、第 1高解像化処理部 54で高解像度化された高解像度 化中間画像 60、高解像度化画像選択部 26で選択された高解像度化するべき画像 の選択情報、画像記録部 18に記録された高解像度画像 30列、高解像度空間画像 変位推定部 56で推定された画像間変位を用いて、高解像度画像 34を生成出力す る。

[0115] 以下、この第 2高解像化処理部 58の画像高解像度化処理の例を、図 15の画像高 解像度化処理アルゴリズムの詳細な流れを示すフローチャートに沿って説明する。

[0116] まず、高解像度画像生成に用いるため、撮像部 12での撮影によって得られた高解 像度画像 30を画像記録部 18から、また高解像度化中間画像 60を第 1高解像化処 理部 54から、それぞれ読み込む (ステップ S96)。また、読み込む高解像度画像 30 の枚数は複数枚でもかまわないものとする。

[0117] 次に、高解像度空間画像変位推定部 56で推定された画像間変位により、ステップ

S96で読み込まれた高解像度化中間画像 60と高解像度画像 30との画像間対応位 置を明らかにする（ステップ S98)。

[0118] そして、その画像間対応位置に基づいて、ステップ S96で読み込まれた高解像度 画像を、ステップ 78で読み込まれた高解像度化中間画像 60に合わせるように変形さ せことによって、画像を生成する（ステップ S100)。

[0119] この処理をステップ S96で読み込まれた全ての高解像度画像 30に対して行い（ス テツプ S 102)、それらステップ S96で読み込まれた高解像度化中間画像 60とステツ プ S 100での変形によって生成された画像全てとの重み付け加算を行レ、、高解像度 化ターゲット画像に対応する一枚の高解像度画像 34を生成する（ステップ S104)。 定式化を行うと以下のようになる。

[数 5] z = £ «kMkYk ( ⁵ ) k

[0120] ここで、 zは高解像度化ターゲット画像が高解像度化された高解像度画像 34、 aは 重み係数、 yはステップ S96で読み込まれた高解像度化中間画像 60又はステップ S 100での変形によって生成された画像、 Mは高解像度化中間画像 60と yとの間の画 像間変位情報を含む行列とする。なお、第 2高解像化処理部 58において行う画像高 解像度化手法は、式（5)のように重み付け加算処理も用いても良いが、その他にも 図 7及び図 8に示し、第 1実施例で説明した高解像度化手法を用いても良い。

[0121] 以上、画像変位推定処理及び画像高解像度化処理は、画像撮影時の割り込みが 終了し画像が画像記録部 18に記録された時点で、画像変位推定処理の基準画像 が選択され、画像変位推定処理が行われ、画像変位記録部 24に記録され、高解像 度化ターゲット画像が選択され、高解像度化処理が行われる、という形で順次動作す る。ただし、低解像度空間画像変位推定部 52で画像間変位推定を行う参照画像が 複数枚の場合は、参照画像 夂の推定が終了した時点で、画像変位記録部 24に記 録することができるので、画像変位推定処理と画像高解像度化処理は並列化で行つ てもよい。

[0122] 本第 2実施例では、上述の第 1実施例と同様に、複数枚の画像を使用して画像を 高解像度化する場合、既存の超解像手法のように使用する画像を低解像度画像 32 に限定せず、低解像度画像 32と高解像度画像 30の両方を用いることで、解像度は 低いがフレームレートは高い低解像度画像 32及び解像度は高いがフレームレートは 低い高解像度画像 30の利点を引き出し、欠点を補ったフレームレートの高い高解像 度画像 34が生成可能となる。これは例えば、画素混合読み出しを用いて動画撮影を 行レ、、その合間に CCDの最大解像度を用いて静止画像を撮影するといつた静止画 動画兼用機等で撮影された動画及び静止画を用いて、動画をフレームレートが高く 高解像度なものにしたり、動画で撮影された任意の一枚を静止画並みの高解像度に 変換したり、動画撮影中にシャツタチャンスが有った場合にシャツタレリースより前に 遡って高解像度化して撮影する（プリキヤプチャ）場合に利用できる。

[0123] 特に、本実施例では、画像変位推定処理において低解像度画像 32のみを用いて 画像変位を推定しているため、割り込みモードがシャツタレリース時に高解像度画像 32を取り込むモードのときのプリキヤプチヤに対して有用である。

[0124] 以上実施例に基づいて本発明を説明したが、本発明は上述した実施例に限定され るものではなぐ本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論で ある。

[0125] 例えば、上記実施例の機能を実現するソフトウェアのプログラムをコンピュータに供 給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現す ることも可能である。即ち、画像記録部 18に記録された高解像度画像 30及び低解像 度画像 32を、撮像装置外部のコンピュータに供給し、そのコンピュータ上で高解像 度画像 34を生成することも可能である。

産業上の利用可能性

本発明は、複数の解像度の撮影が可能な撮像素子を有する撮像装置において、 画像間変位の対応関係を高精度に推定する際に好適に用いることができる。また、 より自然で高画質に画像を高解像化する際に好適に用いることができる。

Claims

請求の範囲

被写体の画像を電子的に記録する撮像装置であって、

画像の解像度を切り替えて撮影可能な撮像素子（12)と、

該撮像素子から出力される画像の解像度を切り替える解像度切り替え手段（14)と を具備する撮像装置において、

上記撮像素子から上記解像度切り替え手段によって切り替えられて出力された、少 なくとも第 1の解像度を有する画像（32)と上記第 1の解像度よりも高い第 2の解像度 を有する画像（30)を含む 2種類以上の解像度の異なる複数の出力画像から基準画 像を選択する画像選択手段（20； 26)と、

上記基準画像とその他の画像間の画像間変位を推定する画像変位推定手段（22 ; 52, 54, 56)と、

上記撮像素子で撮影された上記第 1の解像度を有する画像及び上記第 2の解像 度を有する画像と上記画像変位推定手段で得られた画像間変位を用いて、上記撮 像素子から出力された複数の出力画像中の任意の画像に対して解像度を変換する 解像度変換手段（28 ; 58)と、

を更に具備することを特徴とする撮像装置。

上記画像変位推定手段（22)は、上記第 1の解像度を有する画像と、上記第 2の解 像度を有する画像とから、画像間変位を推定することを特徴とする請求項 1に記載の 撮像装置。

上記画像変位推定手段（52, 54, 56)は、上記第 1の解像度を有する画像から上 記第 1の解像度よりも高い第 3の解像度を有する画像（60)を推定し、上記第 2の解 像度を有する画像と上記推定された第 3の解像度を有する画像とから、画像間変位 を推定することを特徴とする請求項 1に記載の撮像装置。

上記画像選択手段は、複数の上記第 1の解像度を有する画像のうち 1枚を基準画 像として選択し、

上記画像変位推定手段（52, 54， 56)は、

上記選択した基準画像と他の上記第 1の解像度を有する画像との画像間変位を 推定する第 1の変位推定手段（52)と、

該第 1の変位推定手段の演算結果を用いて、上記第 1の解像度よりも高い上記第 3の解像度を有する画像を推定する高解像度画像推定手段（54)と、

該高解像度画像推定手段によって得られた上記第 3の解像度を有する画像と上 記第 2の解像度を有する画像との画像間変位を推定する第 2の変位推定手段（56) と、

を有し、

上記解像度変換手段 (58)は、上記第 2の変位推定手段で得られた画像間変位を 用いて、上記撮像素子から出力された複数の出力画像中の任意の画像に対して解 像度を変換することを特徴とする請求項 3に記載の撮像装置。

[5] 上記解像度変換手段は、上記撮像素子から出力された第 1の解像度の画像を、そ れよりも高い第 2の解像度の画像に変換することを特徴とする請求項 1乃至 4の何れ 力 1つに記載の撮像装置。

[6] 被写体の画像を電子的に記録する撮像装置であって、

画像の解像度を切り替えて撮影可能な撮像素子（12)と、

該撮像素子から出力される画像の解像度を切り替える解像度切り替え手段（14)と を具備する撮像装置において、

上記撮像素子において、上記解像度切り替え手段によって解像度が切り替えられ て出力された、少なくとも第 1の解像度を有する画像（32)と上記第 1の解像度よりも 高い第 2の解像度を有する画像（30)を含む 2種類以上の解像度の異なる複数の出 力画像から、第 1の解像度を有する画像のうちの 1枚を基準画像として選択する画像 選択手段（26)と、

上記基準画像と、他の上記第 1の解像度を有する画像との画像間変位を推定する 第 1の変位推定手段 (52)と、

該第 1の変位推定手段の演算結果を用いて、上記第 1の解像度よりも高い第 3の解 像度を有する画像 (60)を推定する高解像度画像推定手段（54)と、

該高解像度画像推定手段によって得られた上記第 3の解像度を有する画像と上記 第 2の解像度を有する画像との画像間変位を推定する第 2の変位推定手段（56)と、 該第 2の変位推定手段で得られた画像間変位を用いて、上記第 3の解像度を有す る画像に対して解像度を変換する解像度変換手段（58)と、

を更に具備することを特徴とする撮像装置。

[7] 上記撮像素子は、上記第 1の解像度を有する画像における 1フレームの読み出し 速度を、上記第 2の解像度を有する画像における 1フレームの読み出し速度よりも高 速に読み出すことを特徴とする請求項 1乃至 6の何れ力 4つに記載の撮像装置。

[8] 割り込み信号を発生する割り込み信号発生手段（16)を更に具備し、

上記解像度切り替え手段は、上記割り込み信号発生手段によって発生した割り込 み信号によって上記撮像素子から上記第 2の解像度を有する画像を出力させること を特徴とする請求項 1乃至 7の何れ力、 1つに記載の撮像装置。

[9] 上記解像度切り替え手段は、上記撮像素子から上記第 2の解像度を有する画像を 出力させた後に、上記撮像素子の出力画像の解像度を上記第 1の解像度に切り替 えることを特徴とする請求項 8に記載の撮像装置。

[10] 上記割り込み信号発生手段は、上記割り込み信号を所定の周期で反復して出力 することを特徴とする請求項 8記載の撮像装置。

[11] 上記割り込み信号発生手段から発生された割り込み信号によって、上記解像度切 り替え手段と上記画像選択手段と上記変位推定手段と上記解像度変換手段とを順 次動作させることを特徴とする請求項 8に記載の撮像装置。

[12] 出力画像の解像度を切り替えて撮影可能な撮像素子（12)から、少なくとも 2種類 以上の解像度の異なる複数の画像を取得する撮像装置にぉレ、て、上記撮像素子か ら出力された複数の出力画像中の任意の画像を解像度化する高解像度化処理方法 であって、

上記撮像素子から、少なくとも第 1の解像度を有する画像（32)と上記第 1の解像度 よりも高い第 2の解像度を有する画像（30)を含む 2種類以上の解像度の異なる複数 の出力画像を取得するステップと、

上記撮像素子から取得した 2種類以上の解像度の異なる複数の出力画像から基準 画像を選択するステップと、 上記基準画像とその他の画像間の画像間変位を推定するステップと、 上記撮像素子から出力された上記第 1の解像度を有する画像及び上記第 2の解像 度を有する画像と上記推定された画像変位とを用いて、上記撮像素子から出力され た複数の出力画像中の任意の画像に対して解像度を変換するステップと、

を有することを特徴とする高解像度化処理方法。

[13] 出力画像の解像度を切り替えて撮影可能な撮像素子（12)から、少なくとも 2種類 以上の解像度の異なる複数の画像を取得する撮像装置において、上記撮像素子か ら出力された複数の出力画像中の任意の画像を解像度化する高解像度化処理方法 であって、

上記撮像素子から、少なくとも第 1の解像度を有する画像（32)と上記第 1の解像度 よりも高い第 2の解像度を有する画像（30)を含む 2種類以上の解像度の異なる複数 の出力画像を取得するステップと、

上記撮像素子から取得した 2種類以上の解像度の異なる複数の出力画像から第 1 の解像度を有する画像のうちの 1枚を基準画像として選択するステップと、

上記基準画像と、他の上記第 1の解像度を有する画像との画像間変位を推定する 第 1の変位推定ステップと、

該第 1の変位推定ステップの結果を用いて、上記第 1の解像度よりも高い第 3の解 像度を有する画像（60)を推定する高解像度画像推定ステップと、

該高解像度画像推定ステップによって得られた上記第 3の解像度を有する画像と 上記第 2の解像度を有する画像との画像間変位を推定する第 2の変位推定ステップ と、

該第 2の変位推定ステップで得られた画像変位と上記第 2の解像度を有する画像 を用いて、上記第 3の解像度を有する画像に対して解像度を変換する画像解像度変 換処理ステップと、

を有することを特徴とする高解像度化処理方法。

[14] 出力画像の解像度を切り替えて撮影可能な撮像素子（12)から、少なくとも 2種類 以上の解像度の異なる複数の出力画像を取得する撮像装置において、上記撮像素 子から出力された複数の出力画像中の任意の画像を解像度化する高解像度化処理 方法であって、

上記撮像素子から、第 1の解像度を有する画像（32)を取得するステップと、 割り込み信号を発生するステップと、

上記発生した割り込み信号によって上記撮像素子の出力画像の解像度を切り替え る解像度切り替えステップと、

上記解像度切り替えステップに対応して上記撮像素子から、上記第 1の解像度より 高い解像度を有する画像（30)を取得するステップと、

取得した上記第 1の解像度より高い解像度を有する画像から基準画像を選択する ステップと、

上記画像選択手段で選択した基準画像とその他の上記第 1の解像度を有する画 像との画像間変位を推定する変位推定ステップと、

上記撮像素子から出力された複数の出力画像と上記変位推定ステップで得られた 画像間変位とを用いて上記複数の出力画像中の任意の画像の解像度を変換する解 像度変換ステップと、

を有することを特徴とする高解像度化処理方法。

[15] 出力画像の解像度を切り替えて撮影可能な撮像素子（12)で取得された少なくとも 2種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成 する高解像度化処理プログラムであって、

コンピュータに、

少なくとも第 1の解像度を有する画像 (32)と上記第 1の解像度よりも高い第 2の解 像度を有する画像（30)を含む 2種類以上の解像度の異なる複数の出力画像から基 準画像を選択する手順と、

上記基準画像とその他の画像との画像間変位を推定する手順と、

上記第 2の解像度を有する画像と上記推定された画像間変位とを用いて、上記 複数の出力画像中の任意の画像に対して解像度を変換する手順と、

を実行させるための高解像度化処理プログラム。

[16] 出力画像の解像度を切り替えて撮影可能な撮像素子（12)で取得された少なくとも 2種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成 する高解像度化処理プログラムであって、

コンピュータに、

少なくとも第 1の解像度を有する画像 (32)と上記第 1の解像度よりも高い第 2の解 像度を有する画像（30)を含む 2種類以上の解像度の異なる複数の画像の中から、 第 1の解像度を有する画像のうちの 1枚を基準画像として選択する手順と、

上記基準画像と、他の上記第 1の解像度を有する画像との画像間変位を推定す る第 1の変位推定手順と、

該第 1の変位推定手順の結果を用いて、上記第 1の解像度よりも高い第 3の解像 度を有する画像 (60)を推定する高解像度画像推定手順と、

該高解像度画像推定手順によって得られた上記第 3の解像度を有する画像と上 記第 2の解像度を有する画像との画像間変位を推定する第 2の変位推定手順と、 該第 2の変位推定手順で得られた画像間変位と上記第 2の解像度を有する画像 を用いて、上記第 3の解像度を有する画像に対して解像度を変換する解像度変換手 順と、

を実行させるための高解像度化処理プログラム。

出力画像の解像度を切り替えて撮影可能な撮像素子（12)で取得された少なくとも 2種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成 する高解像度化処理プログラムであって、

コンピュータに、

上記撮像素子から、第 1の解像度を有する画像（32)を取得する手順と、 割り込み信号を発生する手順と、

上記発生した割り込み信号によって上記撮像素子の出力画像の解像度を切り替 える解像度切り替え手順と、

上記解像度切り替え手順に対応して上記撮像素子から、上記第 1の解像度より高 い解像度を有する画像（30)を取得する手順と、

取得した上記第 1の解像度より高い解像度を有する画像から基準画像を選択す る画像選択手段手順と、

上記画像選択手段で選択した基準画像とその他の上記第 1の解像度を有する画 像との画像間変位を推定する変位推定手順と、

上記撮像素子から取得した複数の出力画像と上記変位推定手順で得られた画 像間変位とを用いて上記撮像素子から取得した複数の出力画像中の任意の画像の 解像度を変換する解像度変換手順と、

を実行させるための高解像度化処理プログラム。

[18] 出力画像の解像度を切り替えて撮影可能な撮像素子（12)で取得された少なくとも 2種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成 する高解像度化処理プログラムを格納した、コンピュータが読み取り可能な記録媒体 であって、

上記高解像度化処理プログラムは、コンピュータに、

少なくとも第 1の解像度を有する画像（32)と上記第 1の解像度よりも高い第 2の解 像度を有する画像（30)を含む 2種類以上の解像度の異なる複数の出力画像から基 準画像を選択する処理と、

上記基準画像とその他の画像との画像間変位を推定する処理と、

上記第 2の解像度を有する画像と上記推定された画像間変位とを用いて、上記 複数の出力画像中の任意の画像に対して解像度を変換する処理と、

を実行させる命令を含むことを特徴とする記録媒体。

[19] 出力画像の解像度を切り替えて撮影可能な撮像素子（12)で取得された少なくとも 2種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成 する高解像度化処理プログラムを格納した、コンピュータが読み取り可能な記録媒体 であって、

上記高解像度化処理プログラムは、コンピュータに、

少なくとも第 1の解像度を有する画像（32)と上記第 1の解像度よりも高い第 2の解 像度を有する画像（30)を含む 2種類以上の解像度の異なる複数の画像の中から、 第 1の解像度を有する画像のうちの 1枚を基準画像として選択する処理と、

上記基準画像と、他の上記第 1の解像度を有する画像との画像間変位を推定す る第 1の変位推定処理と、

該第 1の変位推定処理の結果を用いて、上記第 1の解像度よりも高い第 3の解像 度を有する画像（60)を推定する高解像度画像推定処理と、

該高解像度画像推定処理によって得られた上記第 3の解像度を有する画像と上 記第 2の解像度を有する画像との画像間変位を推定する第 2の変位推定処理と、 該第 2の変位推定処理で得られた画像間変位と上記第 2の解像度を有する画像 を用いて、上記第 3の解像度を有する画像に対して解像度を変換する解像度変換処 理と、

を実行させる命令を含むことを特徴とする記録媒体。

出力画像の解像度を切り替えて撮影可能な撮像素子（12)で取得された少なくとも 2種類以上の解像度の異なる複数の出力画像中の任意の画像の高解像度像を生成 する高解像度化処理プログラムを格納した、コンピュータが読み取り可能な記録媒体 であって、

上記高解像度化処理プログラムは、コンピュータに、

上記撮像素子から、第 1の解像度を有する画像（32)を取得する処理と、 割り込み信号を発生する処理と、

上記発生した割り込み信号によって上記撮像素子の出力画像の解像度を切り替 える解像度切り替え処理と、

上記解像度切り替え処理に対応して上記撮像素子から、上記第 1の解像度より高 い解像度を有する画像（30)を取得する処理と、

取得した上記第 1の解像度より高い解像度を有する画像から基準画像を選択す る画像選択手段処理と、

上記画像選択手段で選択した基準画像とその他の上記第 1の解像度を有する画 像との画像間変位を推定する変位推定処理と、

上記撮像素子から取得した複数の出力画像と上記変位推定処理で得られた画 像間変位とを用いて上記撮像素子から取得した複数の出力画像中の任意の画像の 解像度を変換する解像度変換処理と、

を実行させる命令を含むことを特徴とする記録媒体。