JP5263753B2 - 超解像処理装置及び方法並びに撮像装置 - Google Patents

Description

本発明は、超解像処理によって低解像度画像から高解像度画像を生成する超解像処理装置及び方法に関する。また、本発明は、それらを利用した撮像装置に関する。

多画素から成る静止画を撮影可能な撮像素子（イメージセンサ）にて動画を撮影する場合、撮像素子からの画素信号の読み出し速度に応じて、フレームレートを低く抑える必要がある。高フレームレートを実現するためには、画素信号の間引き読み出し或いは加算読み出しを行って画像データを減らす必要があるが、画像データの減少により解像度が低くなってしまう。また、低照度時に静止画を撮影する場合、露光時間を長くする必要があるが、露光時間を長くすると手ぶれの影響を受けやすくなる。加算読み出しを利用すれば露光時間を長くすることなく感度を高めることができるが、加算読み出しに由来する画像データの減少により解像度が低くなってしまう。

このような解像度劣化を防ぐべく、間引き読み出しを利用して得た複数の画像を合成する手法が提案されている（特許文献１参照）。この手法では、間引きの対象となる画素が異なる４つの間引きパターンを用いて画素信号の間引き読み出しを行い、解像度の低い４枚の画像を取得する。その後、この４枚の取得画素を合成することで解像度の高い画像を生成している。

一方において、低い解像度の画像を高解像度化する画像処理技術として超解像処理が提案されている（非特許文献１参照）。超解像処理では、位置ズレのある複数の低解像度画像から１枚の高解像度画像を推定する。超解像処理の方式として、再構成型方式が提案されている。再構成型方式では、一旦、高解像度画像を推定した後、その高解像度画像を再度劣化させて高解像度画像を構築する元の低解像度画像を推定する。そして、推定した低解像度画像と実際の低解像度画像との比較結果を用いて、更に、高解像度画像を理想的なものに近づけてゆく。

この再構成型方式として、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法などが、提案されている。ＭＬ法では、高解像度画像から推定した低解像度画像の画素値と実際の低解像度画像の画素値との二乗誤差を評価関数とし、この評価関数を最小化する高解像度画像を生成する（非特許文献２参照）。即ち、このＭＬ法による超解像処理は、最尤推定の原理に基づく処理である。ＭＡＰ法では、高解像度画像から推定した低解像度画像の画素値と実際の低解像度画像の画素値との二乗誤差に高解像度画像の確率情報を付加したものを評価関数とし、この評価関数を最小化するように高解像度画像を生成する（非特許文献３及び４参照）。即ち、ＭＡＰ法では、事前知識に基づく事後確率分布での出現確率が最大化されるように高解像度画像を推定する。ＰＯＣＳ法では、高解像度画像の画素値と低解像度画像の画素値に関する連立方程式を作成し、その連立方程式を逐次的に解くことにより、高解像度画像の画素値の最適値を取得して高解像度画像を生成する（非特許文献５参照）。ＩＢＰ法では、撮影位置が異なるが被写体の画素位置に重なりをもつ複数の低解像度画像から高解像度画像を生成する（非特許文献６参照）。

尚、読み出す信号毎に異なる画素数の画素信号加算を行い、２種類の信号（加算信号と間引き信号）に基づいて超解像処理を行う手法も提案されている（特許文献２参照）。但し、この手法では、加算信号と間引き信号の２種類の信号を同時に読み出して利用するため、データ量が多くなると共に読み出す撮像装置の構成も複雑化してしまう。

特開２００６−３２５０７３号公報 特開２００７−１９６４１号公報 Sung, C. P. Min, K. P. Moon, G. K. 共著, "Super-resolution image reconstruction: a technical overview", Signal processing Magazine, IEEE, May 2003, Volume 26,Issue 3, p.21-36 Tom, B.C. Katsaggelos, A.K. 共著, "Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of low-resolution images", Image Processing, Proceedings, International Conference, Oct. 1995, Volume 2, p.23-26 Schultz, R.R. Stevenson, R.L. 共著, "Extraction of high-resolution frames from video sequences", Image Processing, IEEE Transactions, June 1996, Volume 5, Issue 6, p.996-1011 Hardie R.C. Barnard K.J. Armstrong E.E. 共著, "Joint MAP registration and high-resolution image estimation using a sequence of undersampled images", Image Processing, IEEE Transactions, Dec. 1997, Volume 6, Issue 12, p.1621-1633 Stark, H. Oskoui, P. 共著, "High resolution image recovery from image-plane arrays, using convex projections", J. Opt. Soc. Am. A, 1989, Volume 6, p.1715-1726 Michel, I. Peleg, S. 共著, "Improving Resolution by Image Registration", CVGIP: Graph Models Image Process, Mar. 1991, vol. 53, p.231-239

特許文献１の手法を用いれば、少ないデータ量且つ比較的簡素な構成で高解像度化が見込める。しかしながら、用いる間引きパターンが異なる４枚の取得画像を単純に足し合わせて高解像度化を行っているため、手ぶれ等に由来してフレーム間に動きが生じると良好な画像が生成されない。

そこで本発明は、フレーム間の動きにも対応しつつ良好な高解像度画像を得ることのできる超解像処理装置及び方法並びに撮像装置を提供することを目的とする。

上記目的を達成するために本発明に係る第１の超解像処理装置は、撮像素子に配列された各画素の画素信号の間引き読み出しを行う読出手段を有し、間引きの対象となる画素が異なる複数の間引きパターンを用いて複数の低解像度画像を取得する低解像度画像取得手段と、前記複数の低解像度画像間の動き量を検出する動き量検出手段と、検出された前記動き量に基づいて前記複数の低解像度画像に対して超解像処理を施すことにより高解像度画像を生成する超解像処理手段と、を備えたことを特徴とする。

複数の低解像度画像間の動き量に基づいて複数の低解像度画像から高解像度画像を生成するため、フレーム間の動きにも対応した良好な高解像度画像を得ることができる。また、間引きの対象となる画素が異なる複数の間引きパターンを用いるようにしているため、仮に、フレーム間に動きが生じなくても、擬似的に複数の低解像度実画像間に位置ズレが発生する。このため、超解像の効果を十分に得ることが可能である。

上記目的を達成するために本発明に係る第２の超解像処理装置は、撮像素子に配列された全画素に含まれる複数画素の画素信号の加算読み出しを行う読出手段を有し、加算の対象となる画素の組み合わせが異なる複数の加算パターンを用いて複数の低解像度画像を取得する低解像度画像取得手段と、前記複数の低解像度画像間の動き量を検出する動き量検出手段と、検出された前記動き量に基づいて前記複数の低解像度画像に対して超解像処理を施すことにより高解像度画像を生成する超解像処理手段と、を備えたことを特徴とする。

複数の低解像度画像間の動き量に基づいて複数の低解像度画像から高解像度画像を生成するため、フレーム間の動きにも対応した良好な高解像度画像を得ることができる。また、加算の対象となる画素の組み合わせが異なる複数の加算パターンを用いるようにしているため、仮に、フレーム間に動きが生じなくても、擬似的に複数の低解像度実画像間に位置ズレが発生する。このため、超解像の効果を十分に得ることが可能である。

上記目的を達成するために本発明に係る撮像装置は、撮像素子と、上記の何れかに記載の超解像処理装置と、を備えている。

上記目的を達成するために本発明に係る第１の超解像処理方法は、撮像素子に配列された各画素の画素信号の間引き読み出しを実行し、間引きの対象となる画素が異なる複数の間引きパターンを用いて複数の低解像度画像を取得する低解像度画像取得ステップと、前記複数の低解像度画像間の動き量を検出する動き量検出ステップと、検出された前記動き量に基づいて前記複数の低解像度画像に対して超解像処理を施すことにより高解像度画像を生成する超解像処理ステップと、を備えたことを特徴とする。

上記目的を達成するために本発明に係る第２の超解像処理方法は、撮像素子に配列された全画素に含まれる複数画素の画素信号の加算読み出しを実行し、加算の対象となる画素の組み合わせが異なる複数の加算パターンを用いて複数の低解像度画像を取得する低解像度画像取得ステップと、前記複数の低解像度画像間の動き量を検出する動き量検出ステップと、検出された前記動き量に基づいて前記複数の低解像度画像に対して超解像処理を施すことにより高解像度画像を生成する超解像処理ステップと、を備えたことを特徴とする。

本発明によれば、フレーム間の動きにも対応しつつ良好な高解像度画像を得ることのできる超解像処理装置及び方法並びに撮像装置を提供可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。尚、動画撮影機能を省略し、撮像装置１を静止画のみを撮影可能なデジタルスチルカメラとすることも可能である。

［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＤＲＡＭ（Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。

撮像部１１は、撮像素子（イメージセンサ）３３の他、図示されない光学系、絞り及びドライバを備える。被写体からの入射光は、光学系及び絞りを介して、撮像素子３３に入射する。光学系を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系及び絞りを介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。

ＡＦＥ１２は、撮像素子３３から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施し、画像処理後の画像についての映像信号を生成する。映像信号は、画像の輝度を表す輝度信号Ｙと、画像の色を表す色差信号Ｕ及びＶと、から構成される。

マイク１４は撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画の撮影及び記録時において、圧縮された映像信号は外部メモリ１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に記録される。

録画ボタン２６ａは、動画の撮影及び記録の開始／終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、静止画の撮影及び記録を指示するための押しボタンスイッチである。

撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード１８に格納された動画及び静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。撮影モードでは、所定のフレーム周期にて周期的に訪れる各フレームにおいて、順次、ＡＦＥ１２を介して撮像素子３３から１枚の画像が取得される。この各フレームにて得られる画像を「フレーム画像」とも呼ぶ。

撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介してメモリカード１８に記録される。動画撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、映像信号及び音声信号のメモリカード１８への記録は終了し、１つの動画の撮影は完了する。また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影及び記録が行われる。

映像信号処理部１３内で超解像処理を実施することも可能である（詳細は後述）。この場合、複数の低解像度画像に対して超解像処理を施すことによって得られた高解像度画像の映像信号が、圧縮処理部１６を介して外部メモリ１８に記録される。例えば、動画撮影時に得られた複数の低解像度画像としての複数のフレーム画像に対して、超解像処理は実施される。勿論、静止画の撮影指示がなされた時に、複数の低解像度画像としての複数のフレーム画像を取得し、それらに対して超解像処理を実施するようにしても良い。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画又は静止画を表す圧縮された映像信号は、伸張処理部１９にて伸張され映像出力回路２０に送られる。尚、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６に対する操作内容に関係なく、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。

映像出力回路２０は、与えられた映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。

［超解像処理の基本概念］
次に、映像信号処理部１３にて実施される超解像処理の基本概念について簡単に説明する。例として、再構築型方式を用いた超解像処理を説明する。図２に、再構築型方式の一種であるＭＡＰ（Maximum A Posterior）方式を用いた超解像処理の概念図を示す。この超解像処理では、実際の撮影によって得られた複数の低解像度画像から１枚の高解像度画像を推定し、この推定した高解像度画像を劣化させることによって元の複数の低解像度画像を推定する。実際の撮影によって得られた低解像度画像を特に「低解像度実画像」と呼び、推定された低解像度画像を特に「低解像度推定画像」と呼ぶ。その後、低解像度実画像と低解像度推定画像との誤差が最小化されるように、高解像度画像と低解像度画像を反復推定し、最終的に取得される高解像度画像を出力する。

複数の低解像度実画像が、第１フレームにて取得された低解像度実画像Ｆａ及び第２フレームにて取得された低解像度実画像Ｆｂを含むものとする。そして、超解像処理の基本概念の説明においては、説明の簡略化上、各画像が１次元の画像であって且つ２枚の低解像度実画像Ｆａ及びＦｂに基づいて超解像処理がなされるものとし、更に、画素値が輝度値であるとする。画素値とは、画素の画素信号の値を意味する。また、以下の説明において、或る画像の画素値を表すデータを「画像データ」と呼ぶこともある。

図３（ａ）は、撮像装置１の被写体の輝度分布を示している。図３（ｂ）及び（ｃ）は、夫々、この被写体を第１及び第２の時刻にて撮影することによって得られた第１及び第２フレームの画像データを表す。図３（ｄ）については後述する。図４（ａ）〜（ｄ）は、低解像度実画像から高解像度画像が求められる動作の流れを表す図であり、図５は、この動作の流れを表すフローチャートである。図４（ａ）、（ｂ）、（ｃ）及び（ｄ）は、夫々、図５のステップＳ１１、Ｓ１２、Ｓ１３及びＳ１４の処理に対応している。

第１の時刻において、被写体の輝度がサンプル点Ｓ_A、（Ｓ_A＋ΔＳ）及び（Ｓ_A＋２ΔＳ）にてサンプリングされたとする（図３（ｂ）参照）。このため、第１フレームの低解像度実画像Ｆａにおける画素Ｐ１、Ｐ２及びＰ３の画素値Ｐａ１、Ｐａ２及びＰａ３は、サンプル点Ｓ_A、（Ｓ_A＋ΔＳ）及び（Ｓ_A＋２ΔＳ）における被写体の輝度値となる。他方、第２の時刻において、被写体の輝度がサンプル点Ｓ_B、（Ｓ_B＋ΔＳ）及び（Ｓ_B＋２ΔＳ）にてサンプリングされたとする（図３（ｃ）参照）。このため、第２フレームの低解像度実画像Ｆｂにおける画素Ｐ１、Ｐ２及びＰ３の画素値Ｐｂ１、Ｐｂ２及びＰｂ３は、サンプル点Ｓ_B、（Ｓ_B＋ΔＳ）及び（Ｓ_B＋２ΔＳ）における被写体の輝度値となる。

第１の時刻と第２の時刻は互いに異なり、手ぶれ等に由来して、サンプル点Ｓ_AとＳ_Bの位置にはズレが生じているものとする。このため、図３（ｃ）に示す低解像度実画像Ｆｂは、図３（ｂ）に示す低解像度実画像Ｆａを基準として、動き量（Ｓ_A−Ｓ_B）に相当する分だけ位置ズレが生じた画像とみなすことができる。この動き量（Ｓ_A−Ｓ_B）が打ち消されるように、図３（ｃ）に示す低解像度実画像Ｆｂに対して位置ズレ補正を行うと、低解像度実画像Ｆｂは図３（ｄ）のように表される。

この位置ズレ補正後の、図３（ｂ）及び（ｄ）の低解像度実画像Ｆａ及びＦｂを組み合わせることによって高解像度画像Ｆｘ１を推定する。この推定の様子を図４（ａ）に示す。また、この推定を行う処理を、ステップＳ１１の処理とする（図５参照）。説明の簡略化上、超解像処理によって解像度を２倍にする場合を考える。即ち、高解像度画像Ｆｘ１の画素として、画素Ｐ１〜Ｐ３に加えて、画素Ｐ１とＰ２の中間に位置する画素Ｐ４と、画素Ｐ２とＰ３の中間に位置する画素Ｐ５とが設定されるものとする。

低解像度実画像Ｆａを基準として考え、高解像度画像Ｆｘ１の画素Ｐ１、Ｐ２及びＰ３での画素値が、低解像度実画像Ｆａにおける画素値Ｐａ１、Ｐａ２及びＰａ３とされる。画素Ｐ４の画素値は、例えば、位置ズレ補正後の低解像度実画像Ｆａ及びＦｂにおける各画素（Ｐ１、Ｐ２、Ｐ３）の内、画素Ｐ４の画素位置（画素の中心位置）に最も近い画素の画素値とされる。今、位置ズレ補正後の低解像度実画像Ｆｂにおける画素Ｐ１の画素位置が画素Ｐ４の画素位置に最も近いものとする。従って、画素Ｐ４の画素値はｐｂ１とされる。画素Ｐ５の画素値も同様に決定され、画素Ｐ５の画素値がｐｂ２とされたものとする。このように、画素Ｐ１〜Ｐ５の画素値をｐａ１、ｐａ２、ｐａ３、ｐｂ１及びｐｂ２と設定した高解像度画像が、高解像度画像Ｆｘ１として推定される。

この後、ダウンサンプリング量、低解像度化によるぼけ量及び位置ズレ量をパラメータとして備えた変換式を高解像度画像Ｆｘ１に作用させることによって、図４（ｂ）に示す如く、低解像度実画像Ｆａ及びＦｂの推定画像としての低解像度推定画像Ｆａ１及びＦｂ１を生成する。後述の説明からも明らかとなるが、低解像度実画像の推定及びそれに基づく高解像度画像の推定を含む処理は反復実行される。ｎ回目の処理によって得られた、低解像度実画像Ｆａ及びＦｂの推定画像をＦａｎ及びＦｂｎにて表し、ｎ回目の処理によって得られた高解像度画像をＦｘｎにて表す（ｎは自然数）。図４（ｂ）では、ｎ回目の処理によって得られた低解像度推定画像、即ち、高解像度画像Ｆｘｎに基づいて生成された低解像度推定画像Ｆａｎ及びＦｂｎを示している。高解像度画像Ｆｘｎに基づいて低解像度推定画像Ｆａｎ及びＦｂｎを生成する処理を、ステップＳ１２の処理とする（図５参照）。

１回目のステップＳ１２では、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ_A、（Ｓ_A＋ΔＳ）及び（Ｓ_A＋２ΔＳ）における画素値を推定し、推定した画素値ｐａ１１〜ｐａ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆａ１を生成する。同様に、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ_B、（Ｓ_B＋ΔＳ）及び（Ｓ_B＋２ΔＳ）における画素値を推定し、推定した画素値ｐｂ１１〜ｐｂ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆｂ１を生成する。

そして、図４（ｃ）に示すように、低解像度推定画像Ｆａ１と低解像度実画像Ｆａとの間の差分と、低解像度推定画像Ｆｂ１と低解像度実画像Ｆｂとの間の差分を求め、両差分を合成することで、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を生成する。低解像度推定画像Ｆａ１と低解像度実画像Ｆａとの間における、画素Ｐ１、Ｐ２及びＰ３での画素値の差分値（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）及び（ｐａ３１−ｐａ３）が、差分画像ΔＦａ１の画素値であり、低解像度推定画像Ｆｂ１と低解像度実画像Ｆｂとの間における、画素Ｐ１、Ｐ２及びＰ３での画素値の差分値（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）及び（ｐｂ３１−ｐｂ３）が、差分画像ΔＦｂ１の画素値である。そして、差分画像ΔＦａ１とΔＦｂ１の画素値を合成して画素Ｐ１〜Ｐ５の夫々における差分値を算出することにより、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を生成する。

尚、高解像度画像Ｆｘｎに対する差分画像をΔＦｘｎにて表す（ｎは自然数）。図４（ｃ）では、差分画像ΔＦｘｎ、即ち、低解像度推定画像Ｆａｎ、Ｆｂｎと低解像度実画像Ｆａ、Ｆｂとによる差分画像ΔＦａｎ、ΔＦｂｎを合成することによって得られた差分画像ΔＦｘｎを示している。理想的な高解像度画像を推定するために差分画像ΔＦｘｎを用いて高解像度画像Ｆｘｎを更新することになるが（詳細は後述）、差分画像ΔＦｘｎは、この更新の内容（更新量）を表している。差分画像ΔＦｘｎを算出して更新の内容（更新量）を導出する処理を、ステップＳ１３の処理とする（図５参照）。

その後、図４（ｄ）に示すように、高解像度画像Ｆｘ１における画素Ｐ１〜Ｐ５の画素値から差分画像ΔＦｘ１における画素Ｐ１〜Ｐ５の画素値（差分値）を減算する（換言すれば、差分画像ΔＦｘ１を用いて高解像度画像Ｆｘ１を更新することにより）、高解像度画像Ｆｘ２が再構成される。高解像度画像Ｆｘ１と比べて、高解像度画像Ｆｘ２は、図３（ａ）に示す被写体の輝度分布により近い画素値を有することとなる。尚、図４（ｄ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘ（ｎ＋１）、即ち、高解像度画像Ｆｘｎより差分画像ΔＦｘｎが減算されて得られた高解像度画像Ｆｘ（ｎ＋１）を示している。更新量としての差分画像ΔＦｘｎを用いて高解像度画像Ｆｘｎを更新し、新たな高解像度画像Ｆｘ（ｎ＋１）を得る処理をステップＳ１４の処理とする（図５参照）。

そして、ステップＳ１２〜Ｓ１４の処理を繰り返し実行することによって、ステップＳ１３にて得られる差分画像ΔＦｘｎの画素値が小さくなってゆき、高解像度画像Ｆｘｎの画素値が、図３（ａ）に示す被写体の輝度分布に概ね合致した画素値に収束される。尚、ｎ回目のステップＳ１２及びＳ１４の処理では、前回（即ち、（ｎ−１）回目）のステップＳ１４の処理によって得られた高解像度画像Ｆｘｎを用いて、低解像度推定画像Ｆａｎ及びＦｂｎ並びに高解像度画像Ｆｘ（ｎ＋１）を生成する。そして、差分画像ΔＦｘｎの画素値が所定値よりも小さくなった時や、差分画像ΔＦｘｎの画素値が収束した時、前回のステップＳ１４の処理（即ち、（ｎ−１）回目のステップＳ１４の処理）にて得られた高解像度画像Ｆｘｎを、最終的に得るべき高解像度画像として取り扱って、超解像処理を終了する。

上述した動作の流れを基本とする超解像処理が、撮像装置１内にて実施される。撮像装置１にて実施される超解像処理は、どのような方式の超解像処理であっても構わないが、本実施形態では再構成型方式の超解像処理を採用した場合を説明する。再構成型方式は、ＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法などを含むが、本実施形態では、ＭＡＰ法を採用した構成を例にとる。

以下に、撮像装置１の超解像処理に関する実施例として、第１〜第４実施例を例示する。或る実施例に記載した事項は、矛盾な限り、他の実施例にも適用可能である。

＜＜第１実施例＞＞
まず、第１実施例について説明する。撮像素子３３から画素信号を読み出す方式には、全画素読み出し方式の他、間引き読み出し方式があるが、第１実施例では、間引き読み出し方式を利用する。間引き読み出し方式について簡単に説明する。

［間引き読み出し及び低解像度実画像の取得方法］
図６は、撮像素子３３の有効領域内の受光画素配列を示している。撮像素子３３の有効領域は長方形形状を有しており、その長方形の一頂点を撮像素子３３の原点Ｏ_Sと捉える。原点Ｏ_Sが撮像素子３３の有効領域の左上隅に位置するものとする。また、撮像素子３３の垂直方向における有効画素数をＭとし、撮像素子３３の水平方向における有効画素数をＮとする（Ｍ及びＮは、数１００から数１０００程度の整数）。従って、マトリクス状に配列された（Ｍ×Ｎ）個の受光画素によって有効領域が形成される。そして、撮像素子３３の有効領域内の各受光画素をＰ_S［ｉ，ｊ］にて表す。ここで、ｉ及びｊは整数であって、１≦ｉ≦Ｍ且つ１≦ｊ≦Ｎ、を満たす。原点Ｏ_Sから見て、下方向に位置する受光画素ほど変数ｉの値が大きくなり、右方向に位置する受光画素ほど変数ｊの値が大きくなるものとする。Ｐ_S［１，１］は原点Ｏ_Sに最も近い受光画素を表し、Ｐ_S［Ｍ，Ｎ］は原点Ｏ_Sから最も遠い受光画素、即ち、撮像素子３３の有効領域の右下隅に位置する受光画素を表す。

撮像装置１は、１枚のイメージセンサのみを用いる、いわゆる単板方式を採用している。図７は、撮像素子３３の各受光画素の前面に配置されたカラーフィルタの配列を示している。図７に示される配列は、一般に、ベイヤー配列と呼ばれる。カラーフィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。赤フィルタは、受光画素Ｐ_S［２ｎ_A−１，２ｎ_B］の前面に配置され、青フィルタは、受光画素Ｐ_S［２ｎ_A，２ｎ_B−１］の前面に配置され、緑フィルタは、受光画素Ｐ_S［２ｎ_A−１，２ｎ_B−１］又はＰ_S［２ｎ_A，２ｎ_B］の前面に配置される。ここで、ｎ_A及びｎ_Bは自然数である。尚、図７並びに後述の図９（ａ）等において、赤フィルタに対応する部位をＲにて表し、緑フィルタに対応する部位をＧにて表し、青フィルタに対応する部位をＢにて表す。

赤フィルタ、緑フィルタ、青フィルタが前面に配置された受光画素を、夫々、赤受光画素、緑受光画素、青受光画素とも呼ぶ。各受光画素は、カラーフィルタを介して自身に入射した光を光電変換によって電気信号に変換する。この電気信号は、受光画素の画素信号を表し、以下、それを「受光画素信号」と呼ぶこともある。赤受光画素、緑受光画素及び青受光画素は、夫々、光学系の入射光の、赤成分、緑成分及び青成分にのみ反応する。

全画素読み出し方式にて撮像素子３３から受光画素信号を読み出す場合、撮像素子３３の有効領域内に位置する全ての受光画素からの受光画素信号が個別にＡＦＥ１２を介して映像信号処理部１３に与えられる。従って、この場合において撮像素子３３から取得される画像の垂直方向及び水平方向の画素数は、Ｍ及びＮとなる。

一方、間引き読み出し方式にて撮像素子３３から受光画素信号を読み出す際には、受光画素信号が間引いて読み出される。

説明の明確化のため、８×８の領域に特に着目して間引き読み出し方式を説明する。図７は、着目した８×８の領域におけるカラーフィルタの配列を示したものである。着目した８×８の領域の左上隅に緑受光画素が位置しており、且つ、その右上隅に赤受光画素が位置している。そして、この緑受光画素をＰ_S［ｉ，ｊ］にて表すものとする（即ち、ｉ＝２ｎ_A−１且つｊ＝２ｎ_B−１であるとする）。そうすると、着目した８×８の領域内の各受光画素は、図８に示す如く、Ｐ_S［ｉ，ｊ］〜Ｐ_S［ｉ＋７，ｊ＋７］にて表される。

第１実施例では、第１〜第４の間引きパターンが利用される。図９（ａ）、（ｂ）、（ｃ）及び（ｄ）は、夫々、第１、第２、第３及び第４の間引きパターンを示しており、図９（ａ）、（ｂ）、（ｃ）及び（ｄ）の夫々において、丸枠内の受光画素の画素信号が読み出され、丸枠外の受光画素の画素信号が間引かれる。第１、第２、第３及び第４の間引きパターン間で、間引きの位置は異なる。図１０（ａ）、（ｂ）、（ｃ）及び（ｄ）は、夫々、第１、第２、第３及び第４の間引きパターンを用いて間引き読み出しを行った場合に読み出される受光画素信号の様子を示す。

より明確には、第１の間引きパターンを用いる場合には、受光画素Ｐ_S［ｉ，ｊ］〜Ｐ_S［ｉ＋７，ｊ＋７］の受光画素信号の内、(i_S,j_S)=(i,j),(i,j+1),(i+1,j),(i+1,j+1),(i,j+4),(i,j+5),(i+1,j+4),(i+1,j+5),(i+4,j),(i+4,j+1),(i+5,j),(i+5,j+1),(i+4,j+4),(i+4,j+5),(i+5,j+4),(i+5,j+5)、である場合における計１６個の受光画素Ｐ_S［ｉ_S，ｊ_S］の受光画素信号のみが読み出される。
第２の間引きパターンを用いる場合には、受光画素Ｐ_S［ｉ，ｊ］〜Ｐ_S［ｉ＋７，ｊ＋７］の受光画素信号の内、(i_S,j_S)=(i,j+2),(i,j+3),(i+1,j+2),(i+1,j+3),(i,j+6),(i,j+7),(i+1,j+6),(i+1,j+7),(i+4,j+2),(i+4,j+3),(i+5,j+2),(i+5,j+3),(i+4,j+6),(i+4,j+7),(i+5,j+6),(i+5,j+7)、である場合における計１６個の受光画素Ｐ_S［ｉ_S，ｊ_S］の受光画素信号のみが読み出される。
第３の間引きパターンを用いる場合には、受光画素Ｐ_S［ｉ，ｊ］〜Ｐ_S［ｉ＋７，ｊ＋７］の受光画素信号の内、(i_S,j_S)=(i+2,j),(i+2,j+1),(i+3,j),(i+3,j+1),(i+2,j+4),(i+2,j+5),(i+3,j+4),(i+3,j+5),(i+6,j),(i+6,j+1),(i+7,j),(i+7,j+1),(i+6,j+4),(i+6,j+5),(i+7,j+4),(i+7,j+5)、である場合における計１６個の受光画素Ｐ_S［ｉ_S，ｊ_S］の受光画素信号のみが読み出される。
第４の間引きパターンを用いる場合には、受光画素Ｐ_S［ｉ，ｊ］〜Ｐ_S［ｉ＋７，ｊ＋７］の受光画素信号の内、(i_S,j_S)=(i+2,j+2),(i+2,j+3),(i+3,j+2),(i+3,j+3),(i+2,j+6),(i+2,j+7),(i+3,j+6),(i+3,j+7),(i+6,j+2),(i+6,j+3),(i+7,j+2),(i+7,j+3),(i+6,j+6),(i+6,j+7),(i+7,j+6),(i+7,j+7)、である場合における計１６個の受光画素Ｐ_S［ｉ_S，ｊ_S］の受光画素信号のみが読み出される。

第１実施例では、用いる間引きパターンを上記の４つの間引きパターンの間で順次変更しながら間引き読み出しを行い、間引きパターンの異なる４フレーム分の低解像度実画像から超解像処理によって１枚の高解像度画像を生成する。より具体的には、第１、第２、第３及び第４の時刻におけるフレームを、夫々、第１、第２、第３及び第４フレームとし、第１、第２、第３、第４フレームにおいて、夫々、第１、第２、第３、第４の間引きパターンにて間引き読み出しを行う。これにより、第１〜第４フレームにて取得されるフレーム画像は、夫々、（Ｍ／２×Ｎ／２）の画素数を有する低解像度実画像となる。第１〜第４フレームにて取得される低解像度実画像を、夫々、Ｆａ、Ｆｂ、Ｆｃ及びＦｄにて表す。尚、第１の時刻から、時間Δｔ、２Δｔ及び３Δｔが経過すると、夫々、第２、第３及び第４の時刻が訪れるものとする（ここで、Δｔ＞０）。第１実施例において、単に、低解像度実画像といった場合、それは、低解像度実画像Ｆａ、Ｆｂ、Ｆｃ又はＦｄを指すものとする。

図１のＣＰＵ２３が、何れのフレームで何れの間引きパターンを用いるかを制御する。従って、低解像度実画像Ｆａ〜Ｆｄを取得する低解像度画像取得手段は、主としてＣＰＵ２３と映像信号処理部１３によって実現されると考えることができ、この低解像度画像取得手段は画素信号の間引き読み出しを行う読出手段を内包している。超解像処理装置は、この低解像度画像取得手段と図１１の符号４１〜４８にて参照される各部位を含む。

図１１は、撮像装置１内の、超解像処理に関与する部位のブロック図を示している。図１１の映像信号処理部１３は、符号４１〜４９にて参照される各部位を含む。フレームメモリ４１は、ＡＦＥ１２からのデジタル信号によって表される、１フレーム分の低解像度実画像の画像データを一時的に記憶する。フレームメモリ４２は、フレームメモリ４１に記憶された１フレーム分の低解像度実画像の画像データを一時的に記憶する。フレームメモリ４３は、フレームメモリ４２に記憶された１フレーム分の低解像度実画像の画像データを一時的に記憶する。フレームメモリ４４は、フレームメモリ４３に記憶された１フレーム分の低解像度実画像の画像データを一時的に記憶する。フレームメモリ４１の記憶内容は、１フレームが経過する毎に、順次、フレームメモリ４２、４３及び４４に転送される。これにより、第４フレームの終了時点においては、フレームメモリ４１、４２、４３及び４４に、夫々、低解像度実画像Ｆａ、Ｆｂ、Ｆｃ及びＦｄの画像データが記録される。

［動き量の算出方法］
動き量算出部（動き量検出部）４５には、ＡＦＥ１２より現フレームの低解像度実画像の画像データと、フレームメモリ４１より前回フレームの低解像度実画像の画像データとが与えられる。動き量算出部４５は、与えられた両画像データを比較することにより、両低解像度実画像間の位置ズレを表す動き量を算出する。この動き量は、水平成分及び垂直成分を含む二次元量であり、所謂動きベクトルとして表現される。現フレームが第２、第３、第４フレームと変化していくことにより、図１２に示す如く、動き算出部４５では、低解像度実画像ＦａとＦｂ間についての動き量ＭＶ_abと、低解像度実画像ＦｂとＦｃ間についての動き量ＭＶ_bcと、低解像度実画像ＦｃとＦｄ間についての動き量ＭＶ_cdと、が求められる。求められた各動き量は、動き量記憶部４６に記憶される。また、動き量ＭＶ_ab、ＭＶ_bc及びＭＶ_cdから、低解像度実画像ＦａとＦｃ間についての動き量ＭＶ_ac、低解像度実画像ＦｂとＦｄ間についての動き量ＭＶ_bd及び低解像度実画像ＦａとＦｄ間についての動き量ＭＶ_adを算出することもでき、これらも動き量記憶部４６に記憶される或いは必要に応じ後段の部位にて算出される。

低解像度実画像Ｆａ、Ｆｂ、Ｆｃ及びＦｄの夫々の画素数は、実際は（Ｍ／２×Ｎ／２）個である。しかしながら、必要に応じて、低解像度実画像Ｆａ、Ｆｂ、Ｆｃ及びＦｄの夫々がマトリクス状に配列された（Ｍ×Ｎ）個の画素にて形成されると考え、且つ、各低解像度実画像において、間引き読み出しによって間引かれた画素は画素信号を有さない空白画素であると考える。空白画素以外の、受光画素信号に基づく画素信号を有する画素を、実画素と呼ぶ。図１３に示す如く、（Ｍ×Ｎ）個の画素から形成されると考えた場合における低解像度実画像内の画素をＰ［ｉ，ｊ］にて表す。或るフレームにおける低解像度実画像内の画素Ｐ［ｉ，ｊ］の画素信号は、そのフレームにおける受光画素Ｐ_S［ｉ，ｊ］の画素信号をデジタル化したものである（但し、ＡＦＥ１２における信号増幅を無視）。例えば、図１０（ａ）に対応する低解像度実画像Ｆａでは、画素Ｐ［ｉ，ｊ］〜Ｐ［ｉ＋７，ｊ＋７］の受光画素信号の内、(i_S,j_S)=(i,j),(i,j+1),(i+1,j),(i+1,j+1),(i,j+4),(i,j+5),(i+1,j+4),(i+1,j+5),(i+4,j),(i+4,j+1),(i+5,j),(i+5,j+1),(i+4,j+4),(i+4,j+5),(i+5,j+4),(i+5,j+5)、である場合における計１６個の画素Ｐ［ｉ_S，ｊ_S］が実画素であり、残りの計３２個の画素が空白画素となる。低解像度実画像Ｆｂ、Ｆｃ及びＦｄについても同様である。

動き量算出部４５は、各低解像度実画像が、上述の如く、（Ｍ×Ｎ）個の画素から成ると考える。そして、空間画素の画素信号を該空白画素の近傍画素の画素信号を用いて補間してから、動き量を算出する。例えば、図１０（ａ）に対応する低解像度実画像Ｆａに関しては、以下のように補間する。緑フィルタに対応する画素Ｐ［ｉ，ｊ＋２］の画素信号を、緑フィルタに対応する画素［ｉ，ｊ］と画素［ｉ，ｊ＋４］の画素信号を用いて線形補間することによって生成し、赤フィルタに対応する画素Ｐ［ｉ，ｊ＋３］の画素信号を、赤フィルタに対応する画素［ｉ，ｊ＋１］と画素［ｉ，ｊ＋５］の画素信号を用いて線形補間することによって生成し、青フィルタに対応する画素Ｐ［ｉ＋１，ｊ＋２］の画素信号を、青フィルタに対応する画素［ｉ＋１，ｊ］と画素［ｉ＋１，ｊ＋４］の画素信号を用いて線形補間することによって生成し、緑フィルタに対応する画素Ｐ［ｉ＋１，ｊ＋３］の画素信号を、緑フィルタに対応する画素［ｉ＋１，ｊ＋１］と画素［ｉ＋１，ｊ＋５］の画素信号を用いて線形補間することによって生成する。

このように、或る着目した空白画素の画素信号を補間する際は、その着目した空白画素に対応するカラーフィルタと同一色のカラーフィルタに対応する画素の画素信号を用いて補間を行う。水平方向に対する補間について具体例を挙げたが、垂直方向及び斜め方向に対しても同様の補間が行われる。この結果、各低解像度実画像は、全てが画素信号を有する（Ｍ×Ｎ）個の画素から形成されることになる。このような補間によって得られた低解像度画像を、特に「動き量算出用の低解像度実画像」と呼ぶ。尚、補間の方式は線形補間以外であってもよく、例えば、キュービック補間やスプライン補間などの多項式補間を用いてもよい。

（Ｍ×Ｎ）個の画素を有する、２つの動き量算出用の低解像度実画像（例えば、ＦａとＦｂ）を用いて、両画像間の動き量（例えば、ＭＶ_ab）を算出する手法について説明する。２つの動き量算出用の低解像度実画像の内、一方を基準画像として取り扱い、他方を非基準画像として取り扱う。動き量を算出する際には、各画素の画素値として各画素の輝度値が用いられるので、動き量算出部４５は、動き量算出用の低解像度実画像を形成する各画素の輝度値を算出しておく。第１実施例では、単板方式を採用しているため、１つの画素の画素信号からでは、その画素の輝度値は定まらない。従って、着目した画素の画素信号とその周辺画素の画素信号を用い、周知の手法に従って着目した画素の輝度値を求めておく。

動き量の算出処理は、画素単位の動き量検出処理と、１画素内での動き量検出処理と、から成る。

画素単位の動き量検出処理では、周知の画像マッチング法を用いて、基準画像に対する非基準画像の位置ズレ量を表す、画素単位の動き量が検出される。例として、代表点マッチング法を用いる場合を説明する。勿論、ブロックマッチング法などを用いても構わない。

図１４を参照する。図１４において、画像１００は、基準画像又は非基準画像を表している。画像１００内に、複数の検出領域Ｅが設けられる。例えば、画像１００の全体領域を垂直方向及び水平方向に３等分することにより、合計９つの検出領域Ｅを設ける。各検出領域Ｅは、更に、複数の小領域ｅに分割されている。図１４に示す例では、各検出領域が、４８個の小領域ｅに分割されている（垂直方向に６分割され且つ水平方向に８分割されている）。各小領域ｅは、例えば、３２×３２の画素（垂直方向に３２画素且つ水平方向に３２画素の二次元配列された画素）で構成される。そして、図１４に示すように、各小領域ｅに、複数のサンプリング点Ｓと１つの代表点Ｒが設定される。或る１つの小領域ｅに関し、例えば、その小領域ｅ内の、代表点Ｒにおける画素を除く全画素をサンプリング点Ｓとする。

このように検出領域Ｅ及び小領域ｅを設定した後、代表点マッチング法に従って、検出領域ごとに、基準画像−非基準画像間における画素値のＳＡＤ（Sum of Absolute Difference）又はＳＳＤ（Sum of Square Difference）を算出する。この算出結果を用いて、検出領域ごとに、代表点Ｒとの相関性が最も高いサンプリング点Ｓを求め、代表点Ｒから見た該サンプリング点Ｓの偏移量を画素単位で求める。そして、検出領域ごとに求めた偏移量の平均値を、基準画像と非基準画像との間における画素単位の動き量として検出する。

画素単位の動き量を検出した後、更に、１画素内での動き量を検出する。上記の代表点マッチング法によって求められた、代表点Ｒとの相関性が最も高いサンプリング点ＳをＳ_Xとする。そして例えば、小領域ｅごとに、基準画像の代表点Ｒにおける画素の画素値と非基準画像のサンプリング点Ｓ_Xにおける画素及びその周辺画素の画素値とに基づいて１画素内での動き量を求める。

これを、図１５（ａ）及び（ｂ）並びに図１６（ａ）及び（ｂ）を参照して説明する。基準画像において、代表点Ｒが画素位置（ａｒ，ｂｒ）に配置されるとし、その代表点Ｒでの画素値をＬａとする（図１５（ａ）参照）。非基準画像において、サンプリング点Ｓ_Xが画素位置（ａｓ，ｂｓ）に配置されるとし、そのサンプリング点Ｓ_Xでの画素値をＬｂとする（図１５（ｂ）参照）。更に、非基準画像において、サンプリング点Ｓ_Xと水平方向（図１５（ｂ）において、右方向）に隣接する画素位置（ａｓ＋１，ｂｓ）での画素値をＬｃとし、サンプリング点Ｓ_Xと垂直方向（図１５（ｂ）において、上方向）に隣接する画素位置（ａｓ，ｂｓ＋１）での画素値をＬｄとする。この時、基準画像と非基準画像との間における画素単位の動き量は（ａｓ−ａｒ，ｂｓ−ｂｒ）で表されるベクトル量にて表現される。

また、図１６（ａ）に示す如く、サンプリング点Ｓ_Xにおける画素から水平方向に１画素ずれることで画素値がＬｂからＬｃに線形的に変化すると仮定し、図１６（ｂ）に示す如く、サンプリング点Ｓ_Xにおける画素から垂直方向に１画素ずれることで画素値がＬｂからＬｄに線形的に変化すると仮定する。その仮定の下、画素位置（ａｓ，ｂｓ）と（ａｓ＋１，ｂｓ）の間で画素値がＬａとなる水平方向の位置（ａｓ＋Δｘ）を求めるとともに、画素位置（ａｓ，ｂｓ）と（ａｓ，ｂｓ＋１）の間で画素値がＬａとなる垂直方向の位置（ｂｓ＋Δｙ）を求める。Δｘ及びΔｙは、Δｘ＝（Ｌａ−Ｌｂ）／（Ｌｃ−Ｌｂ）及びΔｙ＝（Ｌａ−Ｌｂ）／（Ｌｄ−Ｌｂ）、にて求められる。Δｘ及びΔｙの算出は、小領域ｅごとに行われ、（Δｘ，Δｙ）で表されるベクトル量が小領域ｅにおける１画素内での動き量として求められる。

その後、小領域ｅそれぞれにおける１画素内での動き量を平均化し、平均化することによって得られた動き量を、基準画像と非基準画像との間における１画素内での動き量として検出する。そして、基準画像と非基準画像との間における画素単位の動き量に、基準画像と非基準画像との間における１画素内での動き量を加えたものを、最終的に求めるべき、基準画像と非基準画像との間における動き量（基準画像及び非基準画像がＦａ及びＦｂの場合は、動き量ＭＶ_ab）とする。

［超解像処理部の動作］
次に、図１１の超解像処理部４８の動作について説明する。超解像処理部４８は、低解像度実画像Ｆａ〜Ｆｄの一部又は全部を用いて初期高解像度画像（図４（ａ）のＦｘ１に相当）としての高解像度画像を推定する初期高解像度推定部６１と、初期高解像度推定部６１にて推定された高解像度画像とフレームメモリ４７に一時的に記憶された高解像度画像の何れか１つを選択して出力する選択部６２と、選択部６２にて選択された高解像度画像とフレームメモリ４１〜４４に記憶された低解像度実画像Ｆａ〜Ｆｄとに基づいて高解像度画像に対する更新量（図４（ｃ）の差分画像ΔＦｘｎに相当）を求める高解像度更新量算出部６３（以下、更新量算出部６３と略記する）と、選択部６２にて選択された高解像度画像から更新量算出部６３にて算出された更新量を減算する減算部６４と、を備える。選択部６２では、１回目の選択動作において、初期高解像度推定部６１で推定された初期高解像度画像を選択し、２回目以降の各選択動作において、フレームメモリ４７に一時記憶された高解像度画像を選択する。フレームメモリ４７は、減算部６４の減算処理を介して得られた、更新量による画像更新後の高解像度画像を一時的に記憶し、これを選択部６２に与える。

動き量算出部４５では、動き量算出のために低解像度実画像の画素数を（Ｍ×Ｎ）と捉えたが、それとは異なり、超解像処理部４８内では、低解像度実画像及び低解像度推定画像を含む低解像度画像の画素数は（Ｍ／２×Ｎ／２）であると捉えられる。低解像度実画像及び低解像度推定画像を含む低解像度画像の画素数をｕ（＝Ｍ／２×Ｎ／２）とし、初期高解像度画像を含む高解像度画像の画素数をｖとする。ｖは、ｕよりも大きな任意の値とされるが、今、高解像度画像の解像度が垂直及び水平方向それぞれに低解像度画像の２倍とされる場合を考える。即ち、高解像度画像の垂直方向及び水平方向の画素数が夫々Ｍ及びＮの場合を考えるものとする。

ｕ画素から成る低解像度実画像Ｆａの画素値群をＹａ＝［ｙａ₁，ｙａ₂，・・・，ｙａ_u］にて表し、ｕ画素から成る低解像度実画像Ｆｂの画素値群をＹｂ＝［ｙｂ₁，ｙｂ₂，・・・，ｙｂ_u］にて表し、ｕ画素から成る低解像度実画像Ｆｃの画素値群をＹｃ＝［ｙｃ₁，ｙｃ₂，・・・，ｙｃ_u］にて表し、ｕ画素から成る低解像度実画像Ｆｄの画素値群をＹｄ＝［ｙｄ₁，ｙｄ₂，・・・，ｙｄ_u］にて表す。

初期高解像度推定部６１は、フレームメモリ４１〜４４に記憶された低解像度実画像Ｆａ〜Ｆｄと動き量記憶部４６に記憶された動き量とに基づいて図５のステップＳ１１（図４（ａ）も参照）に対応する処理を実行し、これによって初期高解像度画像としての高解像度画像Ｆｘ１を生成する。即ち、動き量記憶部４６に記憶された動き量に基づいて低解像度実画像Ｆａ〜Ｆｄ間の位置ズレを検出し、低解像度実画像Ｆａ〜Ｆｄの画素値群Ｙａ〜Ｙｄに対して検出した位置ズレを利用した補間処理を施すことで、高解像度画像Ｆｘ１を生成する。例えば、低解像度実画像Ｆａに対する低解像度実画像Ｆｂ、Ｆｃ及びＦｄの位置ズレを動き量ＭＶ_ab、ＭＶ_ac及びＭＶ_ad（図１２参照）に基づいて検出し、各位置ズレを打ち消すように位置ズレ補正した後の低解像度実画像Ｆａ〜Ｆｄを組み合わせることによって、高解像度画像Ｆｘ１を推定する。

或いは、上述した動き量算出用の低解像度実画像と同様の、（Ｍ×Ｎ）の画素数を有する低解像度実画像Ｆａ〜Ｆｄを補間処理によって生成し、得られた（Ｍ×Ｎ）の画素数を有する低解像度実画像（以下、Ｆａ'〜 Ｆｄ'にて参照する）から高解像度画像Ｆｘ１を推定するようにしてもよい。この場合例えば、低解像度実画像Ｆａ'、 Ｆｂ'、 Ｆｃ'又はＦｄ'そのものを、高解像度画像Ｆｘ１として推定する。或いは例えば、低解像度実画像Ｆａ'、 Ｆｂ'、 Ｆｃ'及びＦｄ'の内の２以上の低解像度実画像を、動き量記憶部４６に記憶された動き量に基づいて位置ズレ補正し、位置ズレ補正後の２以上の低解像度実画像を平均化することによって高解像度画像Ｆｘ１を推定する。

推定されたｖ画素から成る高解像度画像Ｆｘ１の画素値群をＸ＝［ｘ₁，ｘ₂，・・・，ｘ_v］にて表す。高解像度画像Ｆｘ１は後段の処理によって更新されて高解像度画像Ｆｘ２が生成され、その後更に更新処理を介して順次、高解像度画像Ｆｘ３、Ｆｘ４、・・・、Ｆｘｎ、が生成される。この高解像度画像Ｆｘ２〜Ｆｘｎの夫々についての画素値群もＸ＝［ｘ₁，ｘ₂，・・・，ｘ_v］にて表すこととする。

初期高解像度推定部６１から高解像度画像Ｆｘ１が出力されると、この高解像度画像Ｆｘ１が選択部６２によって選択されて更新量算出部６３に与えられる。更新量算出部６３には動き量記憶部４６に記憶された各動き量も与えられ、更新量算出部６３は、この各動き量に基づいて選択部６２から与えられた高解像度画像に対する低解像度実画像Ｆａ〜Ｆｄの各位置ズレを算出する。その後、選択部６２からの高解像度画像を劣化させて元の低解像度画像（即ち、低解像度実画像Ｆａ〜Ｆｄ）を推定するために、算出した各位置ズレ、低解像度化によって生じる画像ぼけ、及び、ｖ画素の高解像度画像からｕ画素の低解像度画像へのダウンサンプリング量をパラメータとするカメラパラメータ行列Ｗａ〜Ｗｄを求める。

そして、更新量算出部６３は、図５のステップＳ１２の如く（図４（ｂ）も参照）、高解像度画像Ｆｘ１の画素値群Ｘに対してカメラパラメータ行列Ｗａ〜Ｗｄの夫々を個別に乗じることによって、低解像度実画像Ｆａ〜Ｆｄの推定画像に相当する低解像度推定画像Ｆａ１（＝Ｗａ・Ｘ）〜Ｆｄ１（＝Ｗｄ・Ｘ）を生成する。尚、乗算等の演算処理において、着目した画像を、その画像の画素値を要素とする行列として捉えることが可能なことは言うまでもなく、高解像度画像についての画素値群Ｘや低解像度実画像Ｆａ〜Ｆｄについての画素値群Ｙａ〜Ｙｄも行列として捉えることが可能である。

低解像度推定画像と低解像度実画像との誤差は｜Ｗａ・Ｘ−Ｙａ｜〜｜Ｗｄ・Ｘ−Ｙａ｜によって表される。従って、その誤差を見積もるための評価関数として下記式（１）の評価関数Ｉを定義し、この評価関数Ｉを最小化するように更新量を求める。式（１）の右辺の第５項は、選択部６２からの高解像度画像に基づく拘束項である。この拘束項γ｜Ｃ・Ｘ｜²における行列Ｃは、事前確率モデルに基づく行列である。行列Ｃは、「高解像度画像には高域成分が少ない」という事前知識に基づき設定され、例えばラプラシアンフィルタなどのハイパスフィルタによって形成される。また、係数γは、評価関数Ｉに対する拘束項の重みを表すパラメータである。
Ｉ＝｜Ｗａ・Ｘ−Ｙａ｜²＋｜Ｗｂ・Ｘ−Ｙｂ｜²＋
｜Ｗｃ・Ｘ−Ｙｃ｜²＋｜Ｗｄ・Ｘ−Ｙｄ｜²＋γ｜Ｃ・Ｘ｜² ・・・（１）

評価関数Ｉを最小化する手法として任意の手法を採用可能であるが、今、勾配法を用いる場合を想定する。この場合、更新量算出部６３では、評価関数Ｉに対する勾配∂Ｉ／∂Ｘが求められる。勾配∂Ｉ／∂Ｘは、下記式（２）によって表される。式（２）において、添え字Ｔが付与された行列は、元の行列の転置行列を表す。従って例えば、Ｗａ^Tは行列Ｗａの転置行列を表す。
∂Ｉ／∂Ｘ＝２×｛Ｗａ^T・（Ｗａ・Ｘ−Ｙａ）＋Ｗｂ^T・（Ｗｂ・Ｘ−Ｙｂ）＋
Ｗｃ^T・（Ｗｃ・Ｘ−Ｙｃ）＋Ｗｄ^T・（Ｗｄ・Ｘ−Ｙｄ）＋γＣ^T・Ｃ・Ｘ｝ ・・・（２）

高解像度画像Ｆｘ１に基づいて求められた勾配∂Ｉ／∂Ｘは、高解像度画像Ｆｘ１に対する更新量として算出される。この勾配∂Ｉ／∂Ｘは差分画像ΔＦｘ１に相当し（図４（ｃ）参照）、この算出処理は図５のステップＳ１３の処理に相当する。

減算部６４は、図５のステップＳ１４のように、高解像度画像Ｆｘ１（即ち、高解像度画像Ｆｘ１の画素値群Ｘ）から高解像度画像Ｆｘ１に対する更新量∂Ｉ／∂Ｘを減算することにより、下記式（３）の行列Ｘ'の各要素を画素値として有する高解像度画像Ｆｘ２を算出する。得られた高解像度画像Ｆｘ２はフレームメモリ４７に与えられて一時的に記憶される。
Ｘ'＝Ｘ−∂Ｉ／∂Ｘ ・・・（３）

高解像度画像Ｆｘ２が得られた後、選択部６２は、フレームメモリ４７に記憶された高解像度画像を選択して更新量算出部６３及び減算部６４に与える。その後、超解像処理部４８内において、図５のステップＳ１２〜Ｓ１４の各処理が繰り返し実行される。

即ち、ｎを２以上の整数と捉えてｎ回目の演算処理を一般化すると、以下のような動作が行われる。ｎ回目の演算処理において、選択部６２は、フレームメモリ４７に記憶された高解像度画像Ｆｘｎを更新量算出部６３及び減算部６４に与える。更新量算出部６３は、高解像度画像Ｆｘｎに基づき、低解像度実画像Ｆａ〜Ｆｄの推定画像に相当する低解像度推定画像Ｆａｎ（＝Ｗａ・Ｘ）〜Ｆｄｎ（＝Ｗｄ・Ｘ）を生成する。そして、生成された低解像度推定画像Ｆａｎ〜Ｆｄｎと低解像度実画像Ｆａ〜Ｆｄ及び高解像度画像Ｆｘｎとに基づき、上記式（２）に従って高解像度画像Ｆｘｎに対する更新量∂Ｉ／∂Ｘ（換言すれば、差分画像ΔＦｘｎ）を算出する。減算部６４は、式（３）に従って、この更新量∂Ｉ／∂Ｘ（換言すれば、差分画像ΔＦｘｎ）を高解像度画像Ｆｘｎから減算することにより、新たな高解像度画像Ｆｘ（ｎ＋１）を生成する。

更新量算出部６３等による演算処理の繰り返し上限回数がｎ回に設定されている場合は、減算部６４にて得られた最新の高解像度画像Ｆｘ（ｎ＋１）を減算部６４から信号処理部４９に出力する。上記の繰り返し上限回数が（ｎ＋１）回以上に設定されている場合は、高解像度画像Ｆｘ（ｎ＋１）をフレームメモリ４７を介して選択部６２に入力し、（ｎ＋１）回目の演算処理を行う。

また、更新量算出部６３等による演算処理の繰り返し回数に関わらず、高解像度画像Ｆｘｎに対する更新量∂Ｉ／∂Ｘが収束したと判断される場合は、減算部６４にて得られた最新の高解像度画像Ｆｘ（ｎ＋１）を減算部６４から信号処理部４９に出力するようにしても構わない。

信号処理部４９は、減算部６４から与えられた高解像度画像の画像データに基づき、その高解像度画像の映像信号（輝度信号及び色差信号）を生成する。尚、超解像処理を行わない場合は、ＡＦＥ１２から直接与えられた画像データに基づく映像信号が信号処理部４９にて生成される。信号処理部４９にて生成された映像信号は圧縮処理部１６に与えられる。

上述の如く処理することにより、良好な高解像度画像を生成することができる。また、高解像度画像の生成に当たり、複数の低解像度実画像間の動き量が考慮されるため、フレーム間に生じる手ぶれ等にも対応することができる。

尚、同じ間引きパターンを用いて複数の低解像度実画像を取得し、この複数の低解像度実画像に基づいて高解像度画像を生成することも考えられる。しかしながら、同じ間引きパターンを用いる場合においてフレーム間に手ぶれ等に由来する動きが生じないと、複数の低解像度実画像間に位置ズレが生じないため、超解像の効果が十分に或いは全く得られない。本実施例では、間引きパターンを順次変更しながら複数の低解像度実画像を取得するようにしているため、フレーム間に動きが生じなくても、擬似的に複数の低解像度実画像間に位置ズレが発生する。このため、超解像の効果を十分に得ることが可能である。

＜＜第２実施例＞＞
次に、第２実施例について説明する。第２実施例において、撮像素子３３は、第１実施例で述べたものと同じ構成を有するものとする。第２実施例では、撮像素子３３から画素信号を読み出す方式として、複数の画素信号を加算しながら読み出す加算読み出し方式を用いる。この際、用いる加算パターンを４つの加算パターンの間で順次変更させながら加算読み出しを行い、加算パターンの異なる４フレーム分の低解像度実画像から超解像処理によって１枚の高解像度画像を生成する。加算パターンとは、加算の対象となる受光画素の組み合わせパターンを意味し、上記の４つの加算パターンは、互いに異なる第１、第２、第３及び第４の加算パターンから形成される。

図１７（ａ）、（ｂ）、図１８（ａ）及び（ｂ）は、夫々、第１、第２、第３及び第４の加算パターンを用いた場合の信号加算の様子を示す。図１９（ａ）、（ｂ）、（ｃ）及び（ｄ）は、夫々、第１、第２、第３及び第４の加算パターンを用いて加算読み出しを行った場合における画素信号の様子を示す。

第１実施例と同様に、撮像素子３３内の或る緑受光画素をＰ_S［ｉ，ｊ］で表し、緑受光画素Ｐ_S［ｉ，ｊ］の右側に隣接する受光画素Ｐ_S［ｉ，ｊ＋１］が赤受光画素であって且つ緑受光画素Ｐ_S［ｉ，ｊ］の下側に隣接する受光画素Ｐ_S［ｉ＋１，ｊ］が青受光画素である場合を想定する（図７及び図８参照）。また、説明の簡略化上、ＡＦＥ１２における信号増幅及びデジタル化を無視して考える。また、受光画素Ｐ_S［ｉ，ｊ］の画素位置及び低解像度画像内の画素の画素位置を単に［ｉ，ｊ］で表し、画素位置［ｉ，ｊ］〜［ｉ＋９，ｊ＋９］のみに着目する。

第１の加算パターンを用いる場合は、以下のように仮想的な受光画素を想定する。
撮像素子３３の画素位置［ｉ＋１，ｊ＋１］、［ｉ＋１，ｊ＋５］、［ｉ＋２，ｊ＋２］、［ｉ＋２，ｊ＋６］、［ｉ＋５，ｊ＋１］、［ｉ＋５，ｊ＋５］、［ｉ＋６，ｊ＋２］及び［ｉ＋６，ｊ＋６］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［ｉ＋１，ｊ＋２］、［ｉ＋１，ｊ＋６］、［ｉ＋５，ｊ＋２］及び［ｉ＋５，ｊ＋６］に仮想的な赤受光画素が配置され、撮像素子３３の画素位置［ｉ＋２，ｊ＋１］、［ｉ＋２，ｊ＋５］、［ｉ＋６，ｊ＋１］及び［ｉ＋６，ｊ＋５］に仮想的な青受光画素が配置されている。
第２の加算パターンを用いる場合は、以下のように仮想的な受光画素を想定する。
撮像素子３３の画素位置［ｉ＋１，ｊ＋３］、［ｉ＋１，ｊ＋７］、［ｉ＋２，ｊ＋４］、［ｉ＋２，ｊ＋８］、［ｉ＋５，ｊ＋３］、［ｉ＋５，ｊ＋７］、［ｉ＋６，ｊ＋４］及び［ｉ＋６，ｊ＋８］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［ｉ＋１，ｊ＋４］、［ｉ＋１，ｊ＋８］、［ｉ＋５，ｊ＋４］及び［ｉ＋５，ｊ＋８］に仮想的な赤受光画素が配置され、撮像素子３３の画素位置［ｉ＋２，ｊ＋３］、［ｉ＋２，ｊ＋７］、［ｉ＋６，ｊ＋３］及び［ｉ＋６，ｊ＋７］に仮想的な青受光画素が配置されている。
第３の加算パターンを用いる場合は、以下のように仮想的な受光画素を想定する。
撮像素子３３の画素位置［ｉ＋３，ｊ＋１］、［ｉ＋３，ｊ＋５］、［ｉ＋４，ｊ＋２］、［ｉ＋４，ｊ＋６］、［ｉ＋７，ｊ＋１］、［ｉ＋７，ｊ＋５］、［ｉ＋８，ｊ＋２］及び［ｉ＋８，ｊ＋６］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［ｉ＋３，ｊ＋２］、［ｉ＋３，ｊ＋６］、［ｉ＋７，ｊ＋２］及び［ｉ＋７，ｊ＋６］に仮想的な赤受光画素が配置され、撮像素子３３の画素位置［ｉ＋４，ｊ＋１］、［ｉ＋４，ｊ＋５］、［ｉ＋８，ｊ＋１］及び［ｉ＋８，ｊ＋５］に仮想的な青受光画素が配置されている。
第４の加算パターンを用いる場合は、以下のように仮想的な受光画素を想定する。
撮像素子３３の画素位置［ｉ＋３，ｊ＋３］、［ｉ＋３，ｊ＋７］、［ｉ＋４，ｊ＋４］、［ｉ＋４，ｊ＋８］、［ｉ＋７，ｊ＋３］、［ｉ＋７，ｊ＋７］、［ｉ＋８，ｊ＋４］及び［ｉ＋８，ｊ＋８］に仮想的な緑受光画素が配置され、撮像素子３３の画素位置［ｉ＋３，ｊ＋４］、［ｉ＋３，ｊ＋８］、［ｉ＋７，ｊ＋４］及び［ｉ＋７，ｊ＋８］に仮想的な赤受光画素が配置され、撮像素子３３の画素位置［ｉ＋４，ｊ＋３］、［ｉ＋４，ｊ＋７］、［ｉ＋８，ｊ＋３］及び［ｉ＋８，ｊ＋７］に仮想的な青受光画素が配置されている。

１つの仮想的な受光画素の画素信号は、その仮想的な受光画素の左斜め上、右斜め上、左斜め下及び右斜め下に隣接する実際の受光画素の画素信号の加算信号とされる。例えば、第１の加算パターンを用いる場合において、画素位置［ｉ＋１，ｊ＋１］に配置される仮想的な緑受光画素の画素信号は、撮像素子３３内の画素位置［ｉ，ｊ］、［ｉ，ｊ＋２］、［ｉ＋２，ｊ］及び［ｉ＋２，ｊ＋２］に位置する実際の緑受光画素の画素信号の加算信号とされる。このように、同一色のカラーフィルタが配置された４つの受光画素の画素信号を加算することによって、その４つの受光画素の中心に位置する１つの仮想的な受光画素の画素信号を形成する。これは、どの加算パターンを用いた場合も同じである。

そして、撮像素子３３内の画素位置［ｉ，ｊ］〜［ｉ＋９，ｊ＋９］に配置された仮想的な受光画素の画素信号を、低解像度実画像内の画素位置［ｉ，ｊ］〜［ｉ＋９，ｊ＋９］に配置された画素の画素信号として取り扱うようにする。そうすると、例えば、第１の加算パターンを用いる場合は、低解像度実画像内の画素位置［ｉ＋１，ｊ＋１］や［ｉ＋１，ｊ＋２］の画素は実画素となり、低解像度実画像内の画素位置［ｉ＋１，ｊ＋３］や［ｉ＋１，ｊ＋４］の画素は空白画素となる。

第１、第２、第３及び第４の時刻におけるフレームを、夫々、第１、第２、第３及び第４フレームとする。そして、第１、第２、第３、第４フレームにおいて、夫々、第１、第２、第３、第４の加算パターンにて加算読み出しを行う。これにより、第１〜第４フレームにて取得されるフレーム画像は、夫々、（Ｍ／２×Ｎ／２）の画素数を有する低解像度実画像となる。第２実施例では、第１、第２、第３、第４の加算パターンを用いて加算読み出しを行って得られる低解像度実画像を、夫々、低解像度実画像Ｆａ、Ｆｂ、Ｆｃ及びＦｄとする。尚、第１の時刻から、時間Δｔ、２Δｔ及び３Δｔが経過すると、夫々、第２、第３及び第４の時刻が訪れるものとする（ここで、Δｔ＞０）。

第２実施例における、撮像装置１内の超解像処理に関与する部位のブロック図は、第１実施例におけるそれ（図１１）と同じであり、低解像度実画像Ｆａ〜Ｆｄが得られた後の動作は、第１実施例と同様である。即ち、第１〜第４の加算パターンにて得られた低解像度実画像Ｆａ〜Ｆｄと低解像度実画像Ｆａ〜Ｆｄ間の動き量に基づいて超解像処理部４８が超解像処理を行って１枚の高解像度画像を生成し、これを信号処理部４９に出力する。

図１のＣＰＵ２３が、何れのフレームで何れの加算パターンを用いるかを制御する。従って、低解像度実画像Ｆａ〜Ｆｄを取得する低解像度画像取得手段は、主としてＣＰＵ２３と映像信号処理部１３によって実現されると考えることができ、この低解像度画像取得手段は画素信号の加算読み出しを行う読出手段を内包している。超解像処理装置は、この低解像度画像取得手段と図１１の符号４１〜４８にて参照される各部位を含む。

上述の如く処理することにより、良好な高解像度画像を生成することができる。また、高解像度画像の生成に当たり、複数の低解像度実画像間の動き量が考慮されるため、フレーム間に生じる手ぶれ等にも対応することができる。更に、加算読み出しを利用しているため、画像のＳ／Ｎ比（信号対雑音比）の向上が見込める。

尚、同じ加算パターンを用いて複数の低解像度実画像を取得し、この複数の低解像度実画像に基づいて高解像度画像を生成することも考えられる。しかしながら、同じ加算パターンを用いる場合においてフレーム間に手ぶれ等に由来する動きが生じないと、複数の低解像度実画像間に位置ズレが生じないため、超解像の効果が十分に或いは全く得られない。本実施例では、加算パターンを順次変更しながら複数の低解像度実画像を取得するようにしているため、フレーム間に動きが生じなくても、擬似的に複数の低解像度実画像間に位置ズレが発生する。このため、超解像の効果を十分に得ることが可能である。

＜＜第３実施例＞＞
第１実施例では、撮像素子３３が単板方式の撮像素子であることを想定したが、撮像素子３３が３板方式の撮像素子である場合にも、第１実施例で述べた技術は利用可能である。これを第３実施例として説明する。

撮像素子３３が３板方式の撮像素子である場合、図２０に示す如く、撮像素子３３は、３枚の撮像素子３３Ｒ、３３Ｇ及び３３Ｂから形成される。撮像素子３３Ｒ、３３Ｇ及び３３Ｂの夫々は、ＣＣＤやＣＭＯＳイメージセンサ等から成り、光学系を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。撮像素子３３Ｒ、３３Ｇ及び３３Ｂの夫々は、マトリクス状に二次元配列された（Ｍ×Ｎ）個の受光画素を備える。この（Ｍ×Ｎ）個の受光画素は、有効領域内の受光画素であるとする。撮像部１１内の光学系により、撮像素子３３Ｒ、３３Ｇ及び３３Ｂは、夫々、撮像部１１の光学系に対する入射光の、赤成分、緑成分及び青成分にのみ反応する。

第３実施例でも、第１実施例と同様、第１〜第４の間引きパターンを用いる。但し、間引きパターンの細部は、３板方式を用いるが故に第１実施例と異なる。図２１（ａ）、（ｂ）、（ｃ）及び（ｄ）は、夫々、第３実施例に係る第１、第２、第３及び第４の間引きパターンを示しており、図２１（ａ）、（ｂ）、（ｃ）及び（ｄ）の夫々において、丸枠内の受光画素の画素信号が読み出され、丸枠外の受光画素の画素信号が間引かれる。各間引きパターンでは、撮像素子３３Ｒ、３３Ｇ及び３３Ｂ内の受光画素が水平方向及び垂直方向に１画素ずつ間引かれる。つまり、実際に読み出される受光画素信号の数は、受光画素信号の全数の１／４となる。

第１〜第４の間引きパターン間で、間引きの対象となる受光画素は異なる。図２１（ａ）〜（ｄ）の例では、撮像素子３３Ｒの有効領域を（２×２）の画素群にて等分割して考え、第１の間引きパターン使用時には各画素群の左上の受光画素の受光画素信号のみを読み出し、第２の間引きパターン使用時には各画素群の右上の受光画素の受光画素信号のみを読み出し、第３の間引きパターン使用時には各画素群の左下の受光画素の受光画素信号のみを読み出し、第４の間引きパターン使用時には各画素群の右下の受光画素の受光画素信号のみを読み出して、残りを間引くようする。撮像素子３３Ｇ及び３３Ｂに対しても同様である。

第１、第２、第３及び第４の時刻におけるフレームを、夫々、第１、第２、第３及び第４フレームとし、第１、第２、第３、第４フレームにおいて、夫々、第１、第２、第３、第４の間引きパターンにて間引き読み出しを行う。これにより、第１〜第４フレームにて取得されるフレーム画像は、夫々、（Ｍ／２×Ｎ／２）の画素数を有する低解像度実画像となる。但し、３板方式を採用しているため、第１実施例と異なり、低解像度実画像内の１つの画素の画素信号は、赤、緑及び青に関する情報を含んでいる。第３実施例では、図２１（ａ）〜（ｄ）に対応する第１、第２、第３、第４の間引きパターンを用いて得られる低解像度実画像を、夫々、低解像度実画像Ｆａ、Ｆｂ、Ｆｃ及びＦｄとする。尚、第１の時刻から、時間Δｔ、２Δｔ及び３Δｔが経過すると、夫々、第２、第３及び第４の時刻が訪れるものとする（ここで、Δｔ＞０）。図１のＣＰＵ２３が、何れのフレームで何れの間引きパターンを用いるかを制御する。

第３実施例における、撮像装置１内の超解像処理に関与する部位のブロック図は、第１実施例におけるそれ（図１１）と同じであり、低解像度実画像Ｆａ〜Ｆｄが得られた後の動作は、第１実施例と同様である（但し、３板方式を用いるが故に細部の動作は第１実施例と若干異なる）。

＜＜第４実施例＞＞
第２実施例では、撮像素子３３が単板方式の撮像素子であることを想定したが、撮像素子３３が３板方式の撮像素子である場合にも、第２実施例で述べた技術は利用可能である。これを第４実施例として説明する。第４実施例では、第３実施例と同様、撮像素子３３が、３枚の撮像素子３３Ｒ、３３Ｇ及び３３Ｂから形成されるものとする。

第４実施例でも、第２実施例と同様、第１〜第４の加算パターンを用いる。但し、加算パターンの細部は、３板方式を用いるが故に第２実施例と異なる。図２２（ａ）、（ｂ）、（ｃ）及び（ｄ）は、夫々、第４実施例に係る第１、第２、第３及び第４の加算パターンを用いた場合の信号加算の様子を示している。

各加算パターンでは、撮像素子３３Ｒの有効領域を（２×２）の画素群にて等分割して考え、その画素群を形成する４つの受光画素の中心に仮想的な受光画素を想定する。そして、その４つの受光画素の受光画素信号の加算信号を、仮想的な受光画素の画素信号としてＡＦＥ１２に出力する。撮像素子３３Ｇ及び３３Ｂに対しても同様である。このため、ＡＦＥ１２の出力信号から形成される画像の画素数は（Ｍ／２×Ｎ／２）となる。

図２２（ａ）〜（ｄ）に示すように、第１〜第４の加算パターン間で、加算の対象となる受光画素の組み合わせパターンが異なる。第１の加算パターンを基準にして考えた場合、第２の加算パターンでは加算の対象となる受光画素が水平方向に１画素ずれており、第３の加算パターンでは加算の対象となる受光画素が垂直方向に１画素ずれており、第４の加算パターンでは加算の対象となる受光画素が水平及び垂直方向に１画素ずつ、ずれている。

第１、第２、第３及び第４の時刻におけるフレームを、夫々、第１、第２、第３及び第４フレームとし、第１、第２、第３、第４フレームにおいて、夫々、第１、第２、第３、第４の加算パターンにて加算読み出しを行う。これにより、第１〜第４フレームにて取得されるフレーム画像は、夫々、（Ｍ／２×Ｎ／２）の画素数を有する低解像度実画像となる。但し、３板方式を採用しているため、第２実施例と異なり、低解像度実画像内の１つの画素の画素信号は、赤、緑及び青に関する情報を含んでいる。第４実施例では、図２２（ａ）〜（ｄ）に対応する第１、第２、第３、第４の加算パターンを用いて得られる低解像度実画像を、夫々、低解像度実画像Ｆａ、Ｆｂ、Ｆｃ及びＦｄとする。尚、第１の時刻から、時間Δｔ、２Δｔ及び３Δｔが経過すると、夫々、第２、第３及び第４の時刻が訪れるものとする（ここで、Δｔ＞０）。図１のＣＰＵ２３が、何れのフレームで何れの加算パターンを用いるかを制御する。

第４実施例における、撮像装置１内の超解像処理に関与する部位のブロック図は、第１実施例におけるそれ（図１１）と同じであり、低解像度実画像Ｆａ〜Ｆｄが得られた後の動作は、第１実施例と同様である（但し、３板方式を用いるが故に細部の動作は第１実施例と若干異なる）。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
間引きパターンを第１、第２、第３、第４の間引きパターンの順番で変更していく例を上述したが、この順番は任意に変更可能である。同様に、加算パターンを第１、第２、第３、第４の加算パターンの順番で変更していく例を上述したが、この順番は任意に変更可能である。

［注釈２］
第１実施例では、互いに異なる複数の間引きパターンとして、水平及び垂直方向に２画素ずつ画素信号を間引く第１〜第４の間引きパターンを例示したが（図９（ａ）〜（ｄ）参照）、勿論、これらの間引きパターンを様々に変更することが可能である。例えば、水平及び垂直方向に４画素ずつ画素信号を間引くようにした、互いに異なる複数の間引きパターンを用いるようにしてもよい。第３実施例に関しても、同様に、用いる間引きパターンを任意に変更することが可能である。

第２実施例で例示した第１〜第４の加算パターンも様々に変更することが可能である。例えば、第２実施例では、４個の受光画素信号を加算して１つの画素信号を形成するようにしているが、４個以外の複数の受光画素信号（例えば、９個又は１６個の受光画素信号）を加算することによって１つの画素信号を形成するようにしてもよい。但し、用いる複数の加算パターンを互いに異ならせる必要がある。第４実施例に関しても、同様に、用いる加算パターンを任意に変更することが可能である。

［注釈３］
４枚の低解像度実画像から１枚の高解像度画像を生成する場合を上述したが、高解像度画像を生成するための低解像度実画像の枚数は２以上であればよい。

［注釈４］
上述の実施形態では、超解像処理として再構築型方式の一種であるＭＡＰ方式を用いた超解像処理を例示したが、本発明にて利用可能な超解像処理はどのような方式の超解像処理であっても構わない。上述の実施形態では、初期高解像度画像を生成した後、更新量の算出及び該更新量による高解像度画像の更新を含む演算処理を繰り返し実行しているが、この演算処理の繰り返しは必須ではなく、超解像処理の方式によっては、この繰り返しは行われない。即ち、互いに異なる複数の間引きパターンを用いて間引き読み出しを行うことにより或いは互いに異なる複数の加算パターンを用いて加算読み出しを行うことにより複数の低解像度実画像を取得した後、複数の低解像度実画像間の動き量及び複数の低解像度実画像に基づいて１枚の初期高解像度画像を推定し、この初期高解像度画像を最終的に求めるべき高解像度画像として、後段部位（例えば図１１の信号処理部４９）に出力することも可能である。

［注釈５］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図１１の映像信号処理部１３内で実行される処理の一部を、ソフトウェアを用いて実現することも可能である。勿論、映像信号処理部１３をハードウェアのみで形成することも可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。

［注釈６］
映像信号処理部１３内で実行される処理（特に超解像処理）を、撮像装置１と異なる外部機器（例えば、表示装置やパーソナルコンピュータ；不図示）にて実行することも可能である。この場合、その外部機器内に図１１の映像信号処理部１３と同等の映像信号処理部（不図示）を設けるようにし、撮像装置１にて複数の低解像度実画像（例えば、４枚の低解像度実画像Ｆａ〜Ｆｄ）を取得した後、その複数の低解像度実画像の画像データを無線又は有線にて或いは記録媒体を介して上記外部機器に供給すればよい。

本発明の実施形態に係る撮像装置の全体ブロック図である。 ＭＡＰ方式を用いた超解像処理の概念図である。 超解像処理の基本概念を説明するための図であり、被写体の輝度分布（ａ）と該被写体に関する画像データ（ｂ）〜（ｄ）とを示す図である。 超解像処理の基本概念を説明するための図であり、低解像度実画像から高解像度画像が求められる動作の流れを表す図である。 超解像処理の基本概念を説明するための図であり、低解像度実画像から高解像度画像が求められる動作の流れを表すフローチャートである。 本発明の第１実施例に係り、図１の撮像素子の有効領域内の受光画素配列を示す図である。 本発明の第１実施例に係り、図１の撮像素子におけるカラーフィルタ配列を示す図である。 本発明の第１実施例に係り、図１の撮像素子における、着目した８×８の領域内の受光画素配列を示す図である。 本発明の第１実施例に係り、第１〜第４の間引きパターンを示す図である。 図９（ａ）〜（ｄ）に示される第１、第２、第３及び第４の間引きパターンを用いて間引き読み出しを行った場合に読み出される受光画素信号の様子を示した図である。 図１の撮像装置内の、超解像処理に関与する部位のブロック図である。 複数の低解像度実画像と複数の低解像度実画像間の動き量との関係を示す図である。 図１１の映像信号処理部内にて認識される画像の画素配列を示す図である。 図１１の動き量算出部の動作を説明するための図であり、画像の全体領域が複数の検出領域に分割され、且つ、各検出領域が複数の小領域に分割され、且つ、各小領域に１つの代表点と複数のサンプリング点が設定される様子を示す図である。 図１１の動き量算出部による、１画素内での動き量検出処理を説明するための図である。 図１１の動き量算出部による、１画素内での動き量検出処理を説明するための図である。 本発明の第２実施例に係り、第１及び第２の加算パターンを用いた場合の信号加算の様子を示す図である。 本発明の第２実施例に係り、第３及び第４の加算パターンを用いた場合の信号加算の様子を示す図である。 本発明の第２実施例に係り、第１〜第４の加算パターンを用いて加算読み出しを行った場合における画素信号の様子を示す図である。 本発明の第３実施例に係り、図１の撮像素子が３枚の撮像素子から形成されることを示す図である。 本発明の第３実施例に係り、第１〜第４の間引きパターンを示す図である。 本発明の第４実施例に係り、第１〜第４の加算パターンを用いた場合の信号加算の様子を示す図である。

符号の説明

１ 撮像素子
１１ 撮像部
１２ ＡＦＥ
１３ 映像信号処理部
３３ 撮像素子
４１〜４４、４７ フレームメモリ
４５ 動き量算出部
４６ 動き量記憶部
４８ 超解像処理部
６１ 初期高解像度推定部
６２ 選択部
６３ 高解像度更新量算出部
６４ 減算部

Claims (3)

1. 撮像素子に配列された各画素の画素信号の間引き読み出しを行う読出手段を有し、間引きの対象となる画素が異なり、かつ、間引き読み出しの対象となる画素が重複しない複数の間引きパターンを用いて複数の低解像度画像を取得する低解像度画像取得手段と、
   前記複数の低解像度画像間の動き量を検出する動き量検出手段と、
   検出された前記動き量に基づいて前記複数の低解像度画像に対して超解像処理を施すことにより高解像度画像を生成する超解像処理手段と、を備えた
   ことを特徴とする超解像処理装置。
2. 撮像素子と、
   請求項１に記載の超解像処理装置と、を備えた
   ことを特徴とする撮像装置。
3. 撮像素子に配列された各画素の画素信号の間引き読み出しを実行し、間引きの対象となる画素が異なり、かつ、間引き読み出しの対象となる画素が重複しない複数の間引きパターンを用いて複数の低解像度画像を取得する低解像度画像取得ステップと、
   前記複数の低解像度画像間の動き量を検出する動き量検出ステップと、
   検出された前記動き量に基づいて前記複数の低解像度画像に対して超解像処理を施すことにより高解像度画像を生成する超解像処理ステップと、を備えた
   ことを特徴とする超解像処理方法。

Images