WO2005122554A1

WO2005122554A1 - 撮像装置

Info

Publication number: WO2005122554A1
Application number: PCT/JP2005/011004
Authority: WO
Inventors: Nobuyuki Watanabe; Tomoyuki Nakamura; Takahiro Yano
Original assignee: Olympus Corporation
Priority date: 2004-06-10
Filing date: 2005-06-09
Publication date: 2005-12-22
Also published as: US20070268388A1; US7868923B2; JP2005352721A; JP4184319B2

Abstract

光学系（１０１）はイメ−ジャ（１０２）に光学像を結像し、読み出し制御部（１０４）は倍率指定部（１０３）によって指定した倍率に応じて、イメ−ジャの読み出し規則を選択する。イメ−ジャ（１０２）は読み出し規則に従って、指定の領域の光学像を電気信号に変換する。読み出された画像信号は、ｎ個の画像メモリ（１０５−１）から（１０５−ｎ）に格納される。ここでｎは超解像処理を行うのに必要な画像の枚数である。超解像処理はモ−ションの推定部（１０７）と、高解像度の画素配列の画像デ−タを推定する高解像度画像推定部（１０８）により構成されている。セレクタ（１０６）はモ−ション推定を行う基準の画像と、モ−ション推定の対象の画像を選択する。

Description

明細書

撮像装置技術分野

本発明は、画素数の少ない画像入力手段を利用して高解像度の画像を生成する撮像装置に関するものである。背景技術

ビデオカメラなどの撮像装置を使用する際に、画素数の少ない画像デ一夕を用いて高解像度の画像を生成する方法が種々提案されている。その一例として、例えば特開平 1 0— 6 9 5 3 7号公報などで提案されているように、超解像技術を用いて、位置ずれを持った複数フレームの低解像度画像を用いて高解像度の画像を生成する方法がある。超解像処理は、サブピクセルレベルでの位置ずれのある画像を複数枚撮影し、これらの画像の劣化要因などをキャンセルした上で合成して、 1枚の高精細な画像を形成する手法である。

ところで、ビデオ撮影のように 1 フレームのクロック数に制限があり、撮像デバイスの画素数が出力する画像の画素数よりも多くなるような撮像システムを用いる場合がある。このような撮像システムを用いる場合に、有効な超解像処理を行うためには、撮像デバイスの一部分のみのデータを読み出し、その領域に対して超解像処理を行う必要がある。しかしながらこの場合には、超解像処理を行う画角の変更は光学的な像倍率の変更を必要とする。

画素数の少ない画像データを用いて高解像度の画像を生成する際に、特許文献 1 に開示されている手法では、前記のように超解像処理を行う画角の変更は光学的な像倍率の変更をしなければならず、処理が煩雑になるという問題があつた。本発明は、上記問題に鑑みてなされたものであり、フレームのクロック数が変動することなく、電子的に撮像領域の大きさを変更し、さらに、取り込んだ領域に対して、超解像処理を行う構成とした撮像装置の提供を目的とする。発明の開示

( 1 ) . 上記目的を達成するために、本発明の撮像装置は、被写体の像を電子的に得る撮像装置において、

被写体の像を撮像デバイスに結像する光学的結像手段と、所定領域の画像信号を出力することができる撮像デバイスと、前記撮像デバイスからの出力領域を設定する領域設定部と、領域設定部で設定した領域の大きさに応じて前記撮像デバイスの読み出し規則を選択する手段と、前記撮像デバイスから出力される複数のフレームの画像信号から高解像度な画像を生成する手段とを備えた事を特徴とする。

( 1 ) の発明は、図 1 に示された実施形態が対応する。「被写体の像を撮像デバイスに結像する光学的結像手段」は、光学系 101が該当する。「所定領域の画像信号を出力することができる撮像デバイス」は、イメージャ 102が該当する。「前記撮像デバイスからの出力領域を設定する領域設定部」は、倍率指定部 103が該当する。「領域設定部で設定した領域の大きさに応じて前記撮像デバイスの読み出し規則を選択する手段」は、読み出し制御部 104が該当する。「撮像デバイスから出力される複数のフレームの画像信号から高解像度な画像を生成する手段」は、高解像度画像推定部 108が該当する。（ 1 ) の発明の構成によれば、電子的に撮像領域の大きさを変更し、さらに、取り込んだ領域に対して超解像処理を行うことができる。

( 2 ) . また、前記（ 1 ) の発明は、前記撮像デバイスの読み出し規則は、前記出力領域の大きさによらず画素の読み出しの総クロック数が一定である事を特徴とする。（2 ) の発明は、図 2の実施形態が対応する。「前記撮像デバイスの読み出し規則は、前記出力領域の大きさによらず画素の読み出しの総クロック数が一定である事」は、「 read/sk i pのパターンは倍率指定部 103による倍率に対応して変更される」処理が該当する。この構成によれば、 1 フレームのクロック数を一定に保持しながら、イメージャの読み出し制御の機能で読み出しの領域の広さを変更できる。

( 3 ) . また、前記（2 ) の発明は、前記撮像デバイスの読み出し規則を、フレーム毎に異ならせる手段を有することを特徴とする。

( 3 ) の発明は、図 2の実施形態が対応する。「前記撮像デバイスの読み出し規則をフレーム毎に異ならせる手段」は、「読み出し制御部 104により、 ODD (奇数） . EVEN (偶数）の 2フレームの周期で読み出しの規則を変更する処理」が該当する。この構成によれば、フレーム毎に画像情報を異ならせ、互いに欠落している情報を補完することがでぎる。

( 4 ) . また、前記（3 ) の発明は、前記複数のフレームの画像信号から高解像度な画像を生成する手段が、複数フレーム間のモーションを推定する手段と、モーション推定がなされた複数フレームの画像信号を用いて高解像度画像信号を推定する手段よりなり、前記複数フレーム間のモーション推定を行うときに、互いに同一の読み出し規則を選択する手段を有することを特徴とする。

( 4 ) の発明は、図 1、図 8の実施形態が対応する。「複数フレーム間のモーションを推定する手段」は、モーション推定部 107が該当する。また、「モーション推定がなされた複数フレームの画像信号を用いて高解像度画像信号を推定する手段」は、高解像度画像推定演算部 108が該当する。モーション推定部 107は、図 8に示されているように、同一の読み出し規則によるフレームを選択してモーションを推定する。 (4) の発明によれば、画像信号の特性に応じたモーション推定を行うことができる。

(5) · また、前記（4) の発明は、前記複数フレーム間のモーシヨン推定を行うときに、同一の読み出し規則のフレームを選択してモーシヨン推定を行い、さらに、連続するフレーム間のモーション推定演算を行う手段を有することを特徴とする。（5) の発明は、図 1、図 9の実施形態が対応する。モーション推定部 107は、図 9に示されているように、前記複数フレーム間のモーション推定を行うときに、同一の読み出し規則のフレームを選択してモーション推定を行い、さらに、連続するフレーム間のモーション推定演算を行う。（5) の発明によれば、モーション推定の形態を多様化することができる。

(6) . また、前記（2) 、または（3) の発明は、前記撮像デバイスの読み出し規則が、画素を離間的に読み出す間引き読み出しであることを特徴とする。（6) の発明は、図 2の実施形態が対応する。

「前記撮像デバイスの読み出し規則が画素を離間的に読み出す間引き読み出しであること」は、図 2の skip処理が該当する。このような間引き読み出しを行うことにより、出力する画素数よりも広い領域の読み出しをした場合でもク口ック数を一定にすることができる。

(7) . また、前記（6) の発明は、前記撮像デバイスの間引き読み出しを行った後、間引き読み出しによる歪みの補正処理を行う手段を有することを特徴とする。（7) の発明は、図 1 3の実施形態が対応する。「前記撮像デバイスの間引き読み出しを行った後、間引き読み出しによる歪みの補正処理を行う手段」は、歪み補正処理部 113が該当する。この構成により、間引き読み出しを行った画像の歪みを補正し、更に前記（3) のようにフレーム毎に異なる読み出し規則を使用している場合でも、連続するフレーム間でモーション推定ができる。

(8) . また、前記（7) の発明は、前記歪みの補正処理が同一フレーム内の画素演算処理であることを特徴とする。（8 ) の発明は、図 1 1 、図 1 2の実施形態が対応する。「前記歪みの補正処理が同一フレーム内の画素演算処理であること」は、図 1 2の線形補間パラメ一夕 k l、 k2による補正処理が該当する。この構成によれば、歪みの補正処理が簡略化される。

本発明の撮像装置においては、 1 フレームのクロック数が変動することなく、電子的に撮像領域の大きさを変更し、さらに、取り込んだ領域に対して、超解像処理を行うことができる。図面の簡単な説明

図 1は第 1の実施形態例の構成図である。

図 2は間引き読み出しの例を示す説明図である。

図 3はモーション推定アルゴリズムのフローチヤ一トである。

図 4はモーション推定の最適類似度の推定を示す概念図である。

図 5は高解像度画像推定のフローチヤートである。

図 6は超解像処理の構成を示す構成図である。

図 7は間引き読み出しに対するモーション推定の概念図である。図 8は連続フレームのモーション推定の概念図である。

図 9は連続フレームのモ一ション推定の概念図である。

図 1 0はフレーム内補間（歪み補正）処理後に連続フレームのモーシヨン推定を行う概念図である。

図 1 1 は歪み補正処理の概念図である。

図 1 2は歪み補正処理のフィルタ構成を示す構成図である。

図 1 3は歪み補正処理部を含む実施形態の構成図である。発明を実施するための最良の形態

以下、本発明の実施の形態について図を参照して説明する。図 1 は第 1 の実施形態例の構成図である。図 1 において、光学系 101はィメージャ 102に光学像を結像する。倍率指定部 103によって指定した倍率に応じて、読み出し制御部 104はィメージャの読み出し規則を選択する。読み出し規則とは、後述するように、イメージャ上での読み出しの開始位置と間引き読み出しの規則を表す。イメージャ 102は読み出し規則に従って、指定の領域の光学像を電気信号に変換する。

読み出された画像信号は、 n個の画像メモリ 105-1から 105- nに格納される。ここで nは超解像処理を行うのに必要な画像の枚数である。超解像処理はモーションの推定 107と、高解像度の画素配列の画像データを推定する高解像度画像推定部 108により構成されている。セレクタ 106はモーション推定を行う基準の画像と、モーション推定の対象の画像を選択する。

図 2は、読み出し制御部 104で選択される読み出し規則である、間引き読み出しの例を示す説明図である。この例では、出力する画素数に対して X方向に 4/3倍、 y方向の 4/3倍の広さの領域の読み出しを行っている。図 1-104の読み出し制御部では、フレーム毎に読み出しの規則を異ならせる機能を有する。図 2では、 ODD (奇数） .EVEN (偶数）の 2 フレームの周期で読み出しの規則を変更している。

ODDおよびの EVENの横方向画素は、 1行目が RG RG ' · · の配列、 2行目が G B G B ' · · の配列、 3行目が RG R G ' · ' の配列、 4 行目が G B G B · · · の配列、と繰り返されている。また、縦方向の画素は、 1列目が R GR G ' · ' の配列、 2列目が G B G B ' · ' の配列、 3列目が RG RG · · · の配列、 4列目が G B G B ' · ' の配列、と繰り返されている。

図 2で readは画素の読み出しを行っている位置を示し、 skip (太い斜線）は読み出しを行っていない位置を示している。 skipの位置では読み出しのクロックは発生していない。 read/skipのパターンは、倍率指定部 103による倍率に対応して変更される。従って、このような読み出しを行うことで、 1 フレームのクロック数を一定に保持しながら、イメージャの読み出し制御の機能で読み出しの画角が変更できる。

図 3は、モーション推定のアルゴリズムを示すフローチヤ一トである。以下、図 3のアルゴリズムの流れにそって説明する。 S 1 ：モーシヨン推定の基準となる画像を 1枚読み込む。 S 2 ：基準画像を複数のモーションで変形させる。 S 3 ：基準画像との間のモーション推定を行う参照画像を 1枚読み込む。 S 4 ：基準画像を複数変形させた画像列と、参照画像の間の類似度値を算出する。 S 5 ：変形モーシヨンのパラメータと算出した類似度値との関係を用いて、離散的な類似度マツプを作成する。

S 6 ： S 5で作成した離散的な類似度マップを補完することで、類似度マップの極値を探索し、類似度マップの極値を求める。極値を持つ変形モーションが、推定したモーションとなる。類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法等がある。 S 7 ：全ての参照画像においてモーション推定を行っているかどうかを判定する。 S 8 ：全ての参照画像においてモーション推定を行つていない場合には、参照画像のフレーム番号を 1 つあげて S 3の処理へ戻り、次の画像を読み込み処理を継続する。対象となる全ての参照画像においてモーション推定を行い、処理を終了する。

図 4は、図 1で説明したモーション推定部 107で行うモーション推定の最適類似度の推定を示す概念図である。図では簡単のため、一次元の最適類似度を示しているが、二次元の最適類似度も同様の手法で推定される。図 4においては、黒丸の 3点を用いてモーション推定をパラボラフィッティングで行った例を示している。縦軸は類似度を表し、横軸は変形モーシヨンパラメータを示している。縦軸の値が小さいほど類似度が高く、縦軸の値が最小値となる灰色の丸は類似度の極値となる。

図 5は、高解像度画像推定処理の実施形態のアルゴリズムを示すフ口一チャートである。 S 1 1 ：高解像度画像推定に用いるため複数枚の低解像度画像 π枚を読み込む（n 1 )。 S 1 2 ：複数枚の低解像度画像の中の任意の一枚をターゲットフレームと仮定し、補完処理を行うことで初期の高解像度画像を作成する。このステップは場合により省略することができる。 S 1 3 : あらかじめ何らかのモーション推定法で求められた、ターゲットフレームとその他のフレームの画像間のモーシヨンにより、画像間の位置関係を明らかにする。 S 1 4 ：光学伝達関数（0TF)、 CCDアパーチャ等の撮像特性を考慮した点広がり関数（PSF) を求める。 PSFは例えば Gauss関数を用いる。 S 1 5 ： S 1 3、 S 1 4、の情報を元に、評価関数 f (z)の最小化を行う。ただし、 f (z)は（ 1 ) 式めような形となる。

ここで yは低解像度画像、 zは高解像度画像、 Aは画像間モーション、 PSF等を含めた撮像システムをあらわす画像変換行列である。 g (z)は画像の滑らかさや色相関を考慮した拘束項等が入る。 1 は重み係数である。評価関数の最小化には、例えば最急降下法を用いる。 S 1 6 ： S 1 5で求めた f (z)が最小化された場合、処理を終了し高解像度画像 zを得る。 S 1 7 ： f (z)がまだ最小化されていない場合には、高解像度画像 zをアップデートして S 1 5に戻る。

図 6は、前記アルゴリズムを実施する際の超解像処理の構成を示す構成図である。図 6において、高解像度画像推定演算部 108は、補間拡大部 6し畳込み積分部 62、 PSFデータ保持部 63、画像比較部 64、乗算部 65、貼り合せ加算部 66、蓄積加算部 67、更新画像生成部 68、画像蓄積部 69、反復演算判定部 610、反復判定値保持部 61 1から構成される。最初に、画像メモリ 105- 1〜 105- nに記録された複数フレーム分の画像データのうち、基準となる任意の 1枚の画像データを補間拡大部 61に与え、補間拡大部 61でこの画像の補間拡大を行う。ここで用いられる補間拡大の手法としては、例えば一般的なバイリニァ補間やバイキュ一ビック補間などが挙げられる。補間拡大された画像は、畳込み積分部 62に与えられ、 PSFデータ保持部 63より与えられる PSFデータと畳込み積分される。ここでの PSFデータは、各フレームのモーションも考慮して与えられる。補間拡大された画像データは同時に画像蓄積部 69に送られ、ここに蓄積される。

畳込み演算された画像データは画像比較部 64に送られ、モーション推定部 107で求められた各フレーム毎のモーションを元に、適切な座標位置で撮像部より与えられる撮影画像と比較される。比較された残差は乗算部 65に送られ、 PSFデータ保持部 63より与えられる PSFデータの各画素毎の値に掛け合わされる。この演算結果は貼り合せ加算部 66に送られ、それぞれ対応する座標位置に置かれる。ここで、乗算部 65からの画像データは、重なりを持ちながら少しずつ座標位置がずれて行くことになるので重なる部分については加算していく。撮影画像 1枚分のデータの貼り合せ加算が終ると、画像データは蓄積加算部 67に送られる。

蓄積加算部 67では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーシヨンに合わせて各フレーム分の画像データを順次加算していく。加算された画像データは、更新画像生成部 68に送られる。更新画像生成部 68には、これと同時に画像蓄積部 69に蓄積されていた画像データが与えられ、この 2つの画像データに重みをつけて加算して更新画像データを生成する。

生成された更新画像データは反復演算判定部 610に与えられ、反復判定値保持部 61 1から与えられる反復判定値を元に、演算を反復するか否かを判断する。演算を反復する場合には、データを畳込み積分部 62に送り前記の一連の処理を繰り返し、反復しない場合は生成された画像データを出力する。上記一連の処理を行い反復演算判定部 610から出力される画像は、撮影画像よりも高解像度なものとなっている。また、前記 PSFデータ保持部 63で保持される PSFデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、モ一ション推定部 107より各フレーム毎のモーションが与えられるようになつている。

図 2の様な間引き読み出しを行った画像に対して、モーション推定を行うには、以下の 3つ実施形態がある。（ 1 ) 同じ読み出し規則を行うフレーム間でモーションの推定を行い、連続するフレーム間でのモーション推定の補間を行わない。（ 2 ) 同じ読み出し規則を行うフレーム間でモーションの推定を行い、連続するフレーム間でのモーシヨン推定の補間を行う。（3 ) 各フレーム内で欠落している画素データの推定を行い、連続するフレーム間でのモーションの推定を行う。

( 1 ) , ( 2 ) の手法では、図 2に示すように、 ODD, EVENでそれぞれ同じ読み出し規則で読み出しており、これらのフレーム間で、モ一シヨンの推定を行う。モーション推定を行う場合に、図 2の様な読み出し方で、画像信号を得た後に、画像メモリに蓄え、読み飛ばした位置を考慮してモーション推定を行う。すなわち、 2 フレームの間で被写体の像が読み飛ばした位置にかかる場合や、前のフレームでは読み飛ばした位置にあるものが、出現する場合を考慮してモーションの推定に拘束条件を付ける。

図 7は、間引き読み出しに対するモーション推定の概念図である。図 7に示されているように、（ 1 ) の場合、 0DD、 EVENのそれぞれのフレーム列だけで、高解像度画像の推定を行う。図 8は、連続フレームのモーション推定の概念図である。図 8 に示されているように、 ( 2 ) の場合、 ODD, EVENのそれぞれでモーションの推定を行った後に、連続するフレームのモーションの推定を行う。連続フレームのモーシヨンの推定は、例えば平均化処理による補間処理でも良い。例えば Iフレームと 1 +2フレームのモーション a、 1 + 1 , 1 +3のモーション a 'がそれぞれベクトルとして求まり、 1 +2フレームから aの 1 /2の大きさのモーションを差し引き、これを 1 + 1と 1 +2の間のモーションの候補値とする。これと a 'の 1 /2のモーションとの加算平均をとり、平均値処理による連続フレームのモーションの推定値とする。

図 9は、連続フレームのモーション推定の概念図である。図 9に示すように、（3 ) の場合、連続するフレームの画像信号データからそれそれのフレーム内での補間処理を行い、フレーム間のデータを対応させる。このように、図 2に示した例の読み出し規則に対して、間引き読み出しによって生じた画像の歪みを補正する処理を歪み補正処理と称することにする。

図 1 0は、フレーム内補間（歪み補正）処理後に連続フレームのモ —シヨン推定を行う概念図である。図 1 0では、 i フレームと i + 1 フレームのそれぞれについて歪み補正処理を行い、その後モーションデータ補間処理部で連続フレームのモーション推定を行っている。すなわち、図 1 0の例では、歪み補正処理を含む実施の形態を示している。

図 1 1 は、歪み補正処理の概念図である。図 1 1 により歪み補正処理の詳細について説明する。図 1 1 の例では、 Bayer配列の R-Gラインの水平方向 R0〜G7の 8画素のうち、 G3および R6の 2画素を飛び越して読み出した画像データから、等間隔の R- G- R- G…の配列を生

成する処理の概念図を示している。処理の概要は、（1 )読み出した画素データから欠落している画素のデータの推定値を算出し 8画素のデータとして、（2) 8画素から 6画素のデータを生成する縮小処理を行う。このとき、欠落した画素の値を推定する方法としては、図 1 1 ( a ) のように補間 · 縮小の 2段階処理でも良いが、図 1 1 ( b ) のように 1回の補間処理を用いる方式でも良い。これは後述の（3) 式のような線形変換で表せる。一方縮小処理としては、以下に述べるような 1次補間でも良いし、 3次補間を用いても良い。また、 3次補間の場合も図 1 1 (b) や後述の（3) 式と同様に、 1回の線形変換に簡略化できる。間引き読み出し、歪み補正処理において、 8画素中 6 画素を読み出しでいれば 75%の縮小処理になる。あるいは、 10画素中 8 画素で有れば 80%、 12画素中 10画素であれば 83%となる。

以下に、欠落した画素を線形補間で埋めて、サイズ変更として線形補間を用いる方法を行列形式で表したものを（2) 式に示す。

(2) 式の右辺の 2項目の操作は、

R(i),G(i + l),R(i+2),R(i+4),G(i+5),G(i+7),R(i+8) · · ·

のようにサンプリングした画像データを補間して、

R(i),G(i + l),R(i+2),G— (i+3),R(i+4).G(i+5),R— (i+8),G(i+7) · · · を生成し、右辺 1項目の操作は線形補間により 8画素を 6画素に変換する操作を示している。

これらの操作を合成すると（3) 式のような線形変換になる。

図 1 2は、歪み補正処理のフィルタ構成を示す構成図である。図 1 2に示すように、この操作を実行する構成はパイプライン処理としている。図 1 2において、シフトレジスタ 901は 6タツプの FIFOになつており、 1画素毎にシフトするように構成されている。 iO- i5は画素デー夕が入るシフトレジスタを表し、 sl,s2はセレクタの信号を表している。

31.32には-1，0， 1,2の4種の値が入る。値の範囲に限定は無く 4種の値で有れば良い。 d l,d2はセレクタ 902、 903の出力、 kl,k2は線形補間のパラメータで、加算器 904の出力値は kl · dl + k2 · d2となる。図 1 2の構成で、 1画素ク口ック毎に演算を行うときの論理表を表 1に示す。

JP2005/011004

(表 1 )

表 1 の論理表は、行方向に 1 画素クロックの状態を示しており、画素データが C1 く = C2 <= C3の様にシフ卜している。

また、欠落した画素の輝度レベルの推定においては、前述したような同一チヤンネルの 1次補間あるいは、同一チヤンネルの 3次補間、 sine関数等の線形補間以外にも、 R G Bチャンネル間の相関関係を用いた補間方法を用いることが出来る。

欠落した画素の輝度レベルの推定値は、（4) 式、あるいは（5) 式で与えられる。

、^Λ,·+3 + +1ノノ図 2のような離間的な読み出しを行った後に、（4) 式、あるいは

14

差替え用紙（規則 26) ( 5 ) 式により欠落画素の推定を行うことで、読み出し方式が異なる隣接フレーム間でのモーション推定が出来る。

図 1 3は、上述した歪み補正手段. （歪補正処理部 1 13) を備えた実施形態の構成を示す構成図である。歪み補正処理がなされた画像データは、画像メモリ 105- 1〜1 05- nに保持される。その後、前述のようにフレーム間のモーション推定が行われ、図 6に示した構成の高解像度画像推定演算部 108により、推定高解像度画像を得る。産業上の利用可能性

以上説明したように、本発明によれば、 1 フレームのクロック数の変動をせずに、電子的に撮像領域の大きさを変更し、さらに、取り込んだ領域に対して、超解像処理を行う撮像装置を提供することができる。

Claims

請求の範囲

1 . 被写体の像を電子的に得る撮像装置において、

被写体の像を撮像デバイスに結像する光学的結像手段と、所定領域の画像信号を出力することができる撮像デバイスと、前記撮像デバイスからの出力領域を設定する領域設定部と、領域設定部で設定した領域の大きさに応じて前記撮像デバイスの読み出し規則を選択する手段と、前記撮像デバイスから出力される複数のフレームの画像信号から高解像度な画像を生成する手段とを備えた事を特徴とする撮像装置。

2 . 前記撮像デバイスの読み出し規則は、前記出力領域の大きさによらず画素の読み出しの総クロック数が一定である事を特徴とする請求項 1 に記載の撮像装置。

3 . 前記撮像デバイスの読み出し規則を、フレーム毎に異ならせる手段を有することを特徴とする請求項 2に記載の撮像装置。

4 . 前記複数のフレームの画像信号から高解像度な画像を生成する手段が、複数フレーム間のモーションを推定する手段と、モーション推定がなされた複数フレームの画像信号を用いて高解像度画像信号を推定する手段よりなり、前記複数フレーム間のモーション推定を行うときに、互いに同一の読み出し規則を選択する手段を有することを特徴とする請求項 3に記載の撮像装置。

5 . 前記複数フレーム間のモーション推定を行うときに、同一の読み出し規則のフレームを選択してモーション推定を行い、さらに、連続するフレーム間のモーション推定演算を行う手段を有することを特徴とする請求項 4に記載の撮像装置。

6 . 前記撮像デバイスの読み出し規則が、画素を離間的に読み出す間引き読み出しであることを特徴とする請求項 2ないし請求項 5のいずれかに記載の撮像装置。

7 . 前記撮像デバイスの間引き読み出しを行った後、間引き読み出しによる歪みの補正処理を行う手段を有することを特徴とする請求項

6に記載の撮像装置。

8 . 前記歪みの補正処理が同一フレーム内の画素演算処理であることを特徴とする請求項 7に記載の撮像装置。