JP6006389B1 - 撮像装置、撮像方法及び撮像プログラム - Google Patents

Abstract

【課題】 画素ずらし高解像度処理を行う装置において色収差補正をできるようにする場合でも、伝送帯域を低減することができる。【解決手段】 撮像装置は、所定の色配列の画素を有し画素ずらしによって前記色配列に対応した複数枚の色配列画像を取得できる撮像素子と、前記複数枚の色配列画像が与えられてそれぞれに色収差補正処理を行う色収差補正処理部と、前記色収差補正処理部により色収差補正処理された複数枚の色配列画像を画素ずらし合成処理して画素ずらし高解像度画像を得る画素ずらし合成処理部と、前記画素ずらし高解像度画像に対してデモザイキング処理を行うデモザイキング処理部とを具備する。【選択図】図１

Description

本発明は、画素ずらしを行って高解像度の合成画像を生成する撮像装置、撮像方法及び撮像プログラムに関する。

一般的に、カメラの光学系においては、色収差や歪曲収差が現れる。特許文献１には、歪曲収差補正をパイプライン処理によって行う技術が開示されている。パイプライン処理では、収差補正等の画像処理を含む複数の処理を行う各処理回路は、処理後の信号を直接次段の処理回路に出力する。即ち、パイプライン処理では、画像データ等のデータをメモリから読み出し、処理後のデータをメモリに格納するデータ転送の回数が少なく、データ転送のためのバス帯域を低減させることができる。また、パイプライン処理では、流れ作業的に各処理が行われるので、全体的に処理を高速化することができる。なお、各処理回路は、前段の処理回路の出力を保持して処理を実行するためのメモリ（以下、バッファメモリという）を備えている。

ところで、従来、画素ピッチの非整数倍の移動量で画素ずらしを行って取得した複数の画像を合成し、高解像度の合成画像を生成する技術が提案されている。例えば、特許文献２においては、低い画素数のＣＣＤ等を０．５画素ずつずらしながら複数回の撮影を行い、複数の撮影画像を合成することで、高解像度の画像を得ている。

特開２００５−４４０９８号公報 特開平６−２２５３１７号公報

しかしながら、従来、画素ずらしによって高解像度の合成画像を得るための処理（以下、画素ずらし高解像度処理という）を行う装置においては、色収差補正に必要なデータ量が増大してしまうという問題があった。

本発明は、画素ずらし高解像度処理を行う装置において色収差補正をできるようにする場合でも、伝送帯域を低減することができる撮像装置、撮像方法及び撮像プログラムを提供することを目的とする。

本発明に係る撮像装置は、所定の色配列の画素を有し画素ずらしによって前記色配列に対応した複数枚の色配列画像を取得できる撮像素子と、前記複数枚の色配列画像が与えられてそれぞれに色収差補正処理を行う色収差補正処理部と、前記色収差補正処理部により色収差補正処理された複数枚の色配列画像を画素ずらし合成処理して画素ずらし高解像度画像を得る画素ずらし合成処理部と、前記画素ずらし高解像度画像に対してデモザイキング処理を行うデモザイキング処理部とを具備する。

また、本発明に係る撮像方法は、所定の色配列の画素を有する撮像素子の画素ずらし撮影によって前記色配列に対応した複数枚の色配列画像を取得し、前記複数枚の色配列画像が与えられてそれぞれに色収差補正処理を行い、色収差補正処理された複数枚の色配列画像を画素ずらし合成処理して画素ずらし高解像度画像を得、前記画素ずらし高解像度画像に対してデモザイキング処理を行う。

また、本発明に係る撮像プログラムは、コンピュータに、所定の色配列の画素を有する撮像素子の画素ずらし撮影によって前記色配列に対応した複数枚の色配列画像を取得し、前記複数枚の色配列画像が与えられてそれぞれに色収差補正処理を行い、色収差補正処理された複数枚の色配列画像を画素ずらし合成処理して画素ずらし高解像度画像を得、前記画素ずらし高解像度画像に対してデモザイキング処理を行う手順を実行させる。

本発明によれば、画素ずらし高解像度処理を行う装置において色収差補正をできるようにする場合でも、伝送帯域を低減することができるという効果を有する。

本発明の第１の実施の形態に係る撮像装置を示すブロック図。 歪補正のために必要な画素範囲（ブロック）を説明するための説明図。 図１中の画素ずらし合成処理部２７の具体的な構成の一例を示すブロック図。 画素ずらしにおける撮像素子２２の移動を説明するための説明図。 図４に示すように撮像素子２２のセンタリング位置を変化させながら撮像素子２２により得られる８枚のベイヤー画像のＲ，Ｇｒ，Ｇｂ，Ｂの基本的な色配列を示す説明図。 Ｒ画素の色配列を示す説明図。 Ｇｒ画素の色配列を示す説明図。 Ｇｂ画素の色配列を示す説明図。 Ｂ画素の色配列を示す説明図。 Ｂａｙｅｒ画素抽出部５４からの合成画像の色配列を示す説明図。 図１中の画像処理部２８の具体的な構成の一例を示すブロック図。 カメラの全体処理シーケンスを示すフローチャート。 撮影シーケンスを示すフローチャート。 画像処理シーケンスを示すフローチャート。 第１の実施の形態の動作を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 本発明の第２の実施の形態において採用される動作フローを示すフローチャート。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮像装置を示すブロック図である。図２は収差補正のために必要な画素範囲（ブロック）を説明するための説明図であり、画素ずらし高解像度処理を行わない通常解像度処理時と画素ずらし高解像度処理時とを比較して示すものである。

先ず、図２を参照してパイプライン処理を行う各処理回路に必要なバッファメモリの容量について説明する。撮像系において取得された撮像画像には、光学系等の影響によって色収差及び歪曲収差が含まれる。一般的には、色収差補正と歪曲収差補正とを実行する場合、先ず色収差補正が先に行われる。色収差補正では、例えば、Ｇ色の画素位置を基準に、Ｒ，Ｂの各色の画素の画素位置を補正する処理を行う。そして、色収差が補正されたＲ，Ｇ，Ｂ信号を、デモザイキング処理して例えばＹ，Ｃｂ，Ｃｒ色空間への変換処理が行われる。この変換処理によって得られた画像は輝度情報を含み、歪曲補正はこの輝度情報に対して行われる。つまり、歪曲補正は、色毎に処理が分割されておらず、輝度情報に対して１回だけ実行されるようになっている。これにより、全体の演算量を低減させるようになっている。

撮像系からの撮像画像は、１フレーム分の画像を記憶する容量を要するメモリに格納された後、各処理回路に供給される。この場合には、バスに必要な伝送帯域を低減して高速処理をできるように、パイプライン処理が行われる。

また、パイプライン処理に必要な各処理回路のバッファメモリの容量を低減するために、1フレーム分の撮像画像を記憶するメモリであるＤＲＡＭ（ダイナミックＲＡＭ）から、各処理回路への転送はブロック単位で行われる。これにより、各処理回路のバッファメモリの容量をブロックのデータ分に低減することができる。

一方、画素ずらし高解像度処理は、撮像素子を例えば１／２ピクセルだけずらして得た撮像画像を合成することで、例えば縦横２倍の合計４倍の解像度を有する画像を得るものである。画素ずらし高解像度処理を行った場合には、ＤＲＡＭに必要な容量は、通常解像度処理時に比べて４倍となる。

図２の符号Ｂｎ１で示す領域は、通常解像度処理時において、パイプライン処理の１回の１連の処理において最終的に出力する撮像画像の範囲（以下、出力ブロックという）Ｂｎ１を示している。出力ブロックＢｎ１の収差を補正するためには、この出力ブロックＢｎ１を含み出力ブロックＢｎ１よりも広い撮像画像の範囲（以下、転送ブロックという）の画像の情報が必要である。先ず、上述したように、色収差補正が行われる。出力ブロックＢｎ１について、Ｒ成分の歪が図２の領域Ｂｎｒで表せるものとし、Ｇ成分の歪が図２の領域Ｂｎｇで表せるものとし、Ｂ成分の歪が図２の領域Ｂｎｂで表せるものとすると、出力ブロックＢｎ１を得るための色収差補正に必要な転送ブロックは、これらの領域Ｂｎｒ，Ｂｎｇ，Ｂｎｂを含む図２のブロックＢｎｔｃで示される。

色収差補正では、Ｒ，Ｂ成分をＧ成分に一致させる補正が行われる。色収差補正後の歪曲収差補正ではＧ成分のサイズを考慮すればよく、出力ブロックＢｎ１を得るために、必要なブロックは、領域Ｂｎｇを含むブロックＢｎｔｙとなる。ブロックＢｎｔｃのサイズはブロックＢｎｔｙよりも大きく、転送ブロックのサイズはブロックＢｎｔｃによって与えられる。なお、レンズ特性から収差の量は予め分かっており、出力ブロックの範囲を補正するために必要な転送ブロック範囲も既知である。即ち、図２の例では、ブロックＢｎｔｃは既知の範囲であり、パイプライン処理を行う各処理回路のバッファメモリの容量はブロックＢｎｔｃの範囲の画像を格納できる容量に設定すればよい。

ここで、画素ずらし高解像度処理によって、撮像画像の画素数が縦横２倍ずつの計４倍になるものとする。図２の符号Ｂｎ２に示す斜線領域は、出力ブロックＢｎ１の縦横１／２ずつの計１／４の領域を示している。そして、図２の符号Ｂｈ１で示す斜線領域は、画素ずらし高解像度処理時において出力ブロックＢｎ２に対応する出力ブロックＢｈ１を示している。即ち、出力ブロックＢｈ１は、撮像画像中の出力ブロックＢｎ２と同一の画像範囲の画像部分であり、画素ずらし高解像度処理によって、例えば、出力ブロックＢｈ１の画素数は、出力ブロックＢｎ２の画素数の縦横２倍ずつの計４倍となっている。

出力ブロックＢｈ１について、Ｒ成分の歪が図２の領域Ｂｈｒで表せるものとし、Ｇ成分の歪が図２の領域Ｂｈｇで表せるものとし、Ｂ成分の歪が図２の領域Ｂｈｂで表せるものとすると、出力ブロックＢｈ１を得るための色収差補正に必要なブロックは、これらの領域Ｂｈｒ，Ｂｈｇ，Ｂｈｂを含む図２のブロックＢｈｔｃで示される。

一方、出力ブロックＢｈ１を得るために、色収差補正後における歪曲収差補正に必要なブロックは、領域Ｂｈｇを含むブロックＢｈｔｙとなる。歪曲収差は、略相似形で生じると考えることができ、出力ブロックのサイズが縦横２倍ずつの４倍になると、歪曲収差補正に必要なブロックサイズも縦横２倍の４倍になると考えることができる。従って、図２に示すように、ブロックＢｈｔｙのサイズはブロックＢｎｔｙと略同様である。従って、画素ずらし高解像度処理時においても、歪曲収差補正については、転送ブロックサイズを通常解像度処理時と同様に設定し、通常解像度処理時の１／４のサイズ毎に処理を行うことで、転送ブロックサイズを変更することなく収差補正ができる。

しかしながら、例えばベイヤ配列の撮像素子では、Ｒ，Ｇ，Ｂの各画素は点順次で配列されており、撮像画像中でＲ，Ｇ，Ｂ画像が分離されている訳ではない。従って、画素ずらし高解像度処理を行うことによりRとGの色ずれ量とBとGの色ずれ量が画素数換算で2倍になると、色ずれを補正するためには、撮像画像と比して2倍離れた画素位置にあるRとGとＢそれぞれの画素を同時に入力しなければならない。このため、図２の領域Ｂｈｒ，Ｂｈｇ，Ｂｈｂに示すように、範囲の補正に必要なブロック範囲は、画素ずらし高解像度処理時には通常解像度処理時よりも大きくなってしまう。図２において、ブロックＢｈｔｙからブロックＢｈｔｃまでの広がりは、ブロックＢｎｔｙからブロックＢｎｔｃまでの広がりよりも縦方向及び横方向のいずれにも略２倍である。

従って、色収差補正を考慮した場合、画素ずらし高解像度処理時に必要な転送ブロックサイズは、通常解像度処理時に必要な転送ブロックサイズよりも大きくする必要があり、伝送帯域及びバッファメモリの容量を増大させる必要があるという問題があった。

そこで、本実施の形態においては、色収差補正については、通常解像度の状態の画像に対して行い、色収差補正後の画像に対して画素ずらし高解像度処理のための合成処理を行うことで、伝送帯域及びバッファメモリの容量を低減できるようにしている。

図１において、撮像装置は、交換式レンズ１とカメラ本体２とをインタフェース（Ｉ／Ｆ）３を介して通信できるように接続して構成されている。交換式レンズ１は、例えば図示しないレンズマウントを介してカメラ本体２に対して着脱自在に装着されるようになっており、レンズマウントに形成した電気接点（交換式レンズ１側に設けられた電気接点およびカメラ本体２側に設けられた電気接点）等によりインタフェース３が構成されている。こうして、交換式レンズ１は、インタフェース３を介してカメラ本体２と通信できるようになっている。

交換式レンズ１は、レンズ１１と、絞り１２と、ドライバ１３と、フラッシュメモリ１４と、制御部１５と、を備えている。レンズ１１は、被写体の光学像をカメラ本体２の後述する撮像素子２２上に結像するための撮影光学系を構成する。絞り１２は、レンズ１１を通過する光束の通過範囲を制御する光学絞りである。

ドライバ１３は、制御部１５からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行い、レンズ１１が電動ズームレンズ等である場合にはさらに焦点距離の変更も行う。加えて、ドライバ１３は、制御部１５からの指令に基づき、絞り１２を駆動して開口径を変化させる。この絞り１２の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。なお、後述する画素ずらし高解像度処理モードにおいて画素ずらしを行いながら複数枚の画像を取得する場合には、絞り１２は、最初の画像を取得する前の時点から最後の画像を取得した後の時点まで駆動させず維持される。これは、絞り１２を駆動するときの振動が、画素ずらし位置に影響を及ぼさないようにするためである。フラッシュメモリ１４は、制御部１５により実行される制御プログラムや、交換式レンズ１に関する各種の情報を記憶する記憶媒体である。

制御部１５は、図示しないＣＰＵ等のプロセッサによって構成することができ、メモリに記憶されたプログラムに従って各部を制御することができるようになっている。制御部１５は、ドライバ１３、フラッシュメモリ１４、およびインタフェース３と接続されている。そして、制御部１５は、インタフェース３を介して後述する本体側の制御部４５と通信し、制御部４５からの指令を受けて、フラッシュメモリ１４に記憶されている情報の読出／書込を行い、ドライバ１３を制御する。さらに、制御部１５は、この交換式レンズ１に関する各種の情報を制御部４５へ送信する。

インタフェース３は、交換式レンズ１の制御部１５と、カメラ本体２の制御部４５とを、双方向に通信できるように接続する。

カメラ本体２は、メカニカルシャッタ（メカシャッタ）２１と、撮像素子２２と、ボイスコイルモータ（ＶＣＭ）２３と、アナログ処理部２４と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２５と、バス３０と、ＤＲＡＭ３１と、ＡＥ／ＡＦ処理部２６と、画素ずらし合成処理部２７と、画像処理部２８と、ＪＰＥＧ処理部２９と、モニタドライバ３２と、モニタ３３と、ホール素子３４と、メモリインタフェース（メモリＩ／Ｆ）４１と、記録媒体４２と、操作部４３と、フラッシュメモリ４４と、制御部４５と、を備えている。

制御部４５は、図示しないＣＰＵ等のプロセッサによって構成することができ、メモリに記憶されたプログラムに従って各部を制御することができるようになっている。制御部４５は、カメラ本体２内の各部を制御すると共に、インタフェース３を介して制御部１５に指令を送信し交換式レンズ１を制御するものであり、この撮像装置を統括的に制御する制御部である。制御部４５は、ユーザにより操作部４３から操作入力が行われると、フラッシュメモリ４４に記憶されている処理プログラムに従って、フラッシュメモリ４４から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。

メカシャッタ２１は、レンズ１１からの光束が撮像素子２２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成のメカシャッタとなっている。このメカシャッタ２１は、制御部４５の指令により駆動されて、光束の撮像素子２２への到達時間、つまり撮像素子２２による被写体の露光時間を制御する。なお、後述する画素ずらし高解像度処理モードにおいて画素ずらしを行いながら複数枚の画像を取得する場合には、メカシャッタ２１は、最初の画像を取得する前の時点から最後の画像を取得した後の時点まで開いた状態に維持される。これは、メカシャッタ２１を開閉するときの振動が、画素ずらし位置に影響を及ぼさないようにするためである。

撮像素子２２は、所定の画素ピッチ（図５に示す画素ピッチＰを参照）で２次元状に配列された複数の画素を有し、制御部４５の制御に基づき、レンズ１１および絞り１２を介して結像された被写体の光学像を光電変換して画像信号を生成するものである。この撮像素子２２は、撮影された画像を所定の読出順序（例えば、ローリング読出（あるいはラスタスキャン）の順序）で読み出すものとなっており、さらに、所望の画素領域（例えば、所望のライン群）の画像のみを読み出しできるようになっている。

本実施形態の撮像素子２２は、輝度相当色（例えば緑色）を含む複数色の色フィルタを１画素に１色が対応するように配置して構成され、具体的には、垂直方向および水平方向に配列された複数の画素の前面に原色ベイヤー配列のカラーフィルタを配置した単板式の撮像素子として構成されている。なお、撮像素子２２は、単板式の撮像素子に限らないことは勿論であり、例えば基板厚み方向に色成分を分離するような積層式の撮像素子であっても良い。

ボイスコイルモータ（ＶＣＭ）２３は、撮像素子２２と、この撮像素子２２により受光される光束と、の上述した２次元状配列方向の相対位置を変化させるものである。ＶＣＭ２３は、相対位置を画素ピッチの非整数倍の移動量で移動させることができる。ＶＣＭ２３は、移動量が異なる複数の相対位置が得られるように、所謂画素ずらしを行うことができるようになっている。具体的に、ボイスコイルモータ（ＶＣＭ）２３は、撮像素子２２を磁力で宙に浮かせて、磁力を制御することにより位置を移動するものとなっている。

そして、図１に示す構成例においては、このＶＣＭ２３は、レンズ１１の光軸に垂直な面内で撮像素子２２を移動させているが、レンズ１１を移動させるようにしても良いし、撮像素子２２とレンズ１１との両方を移動させても構わない。本実施形態において、このＶＣＭ２３は、撮像素子２２から得られる画像よりも高解像度の合成画像を得るべく複数枚の画像を撮影する際に、画素ピッチの非整数倍の移動量、例えば半画素ピッチ単位の移動量で撮像素子２２を移動させるのに用いられる。なお、ホール素子３４は、撮像素子２２の位置を判定し、判定結果を制御部４５に出力するようになっており、制御部４５は、ホール素子３４の判定結果を用いてＶＣＭ２３を駆動することで、撮像素子２２を正確な位置に移動させることができるようになっている。

なお、ここでは画素ずらしを行う機構としてＶＣＭ２３を例に挙げているが、これに限るものではなく、画素ずらし時に所望の相対位置からの位置ズレが発生するような機構を採用して、本発明を広く適用することができる。

アナログ処理部２４は、撮像素子２２から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。Ａ／Ｄ変換部２５は、アナログ処理部２４から出力されたアナログ画像信号をデジタル画像信号に変換する。

バス３０は、カメラ本体２内のある場所で発生した各種のデータや制御信号を、カメラ本体２内の他の場所へ転送するための転送路である。本実施形態におけるバス３０は、ＶＣＭ２３と、Ａ／Ｄ変換部２５と、ＤＲＡＭ３１と、ＡＥ／ＡＦ処理部２６と、画素ずらし合成処理部２７と、画像処理部２８と、ＪＰＥＧ処理部２９と、モニタドライバ３２と、ホール素子３４と、メモリＩ／Ｆ４１と、制御部４５と、に接続されている。

Ａ／Ｄ変換部２５から出力された画像は、バス３０を介して転送され、ＤＲＡＭ３１に一旦記憶される。なお、Ａ／Ｄ変換部２５から出力される画像は、各画素が色配列に応じた単色の色情報しか有していない画像（以下、色配列画像という）であり、以下では適宜、ＲＡＷ画像ということもある。なお、特に、色配列がベイヤー配列の場合には、撮像素子から出力される色配列画像をベイヤー画像ともいう。

なお、画素ずらし高解像度処理モード時には、ＶＣＭ２３及び撮像素子２２は制御部４５により駆動制御されて、撮像素子２２を移動させながら複数回の撮影を行う画素ずらし撮影が行われる。この画素ずらし高解像度処理モード時には、ＤＲＡＭ３１には、画素ずらし撮影により得られる複数の画像も記憶されるようになっている。ＤＲＡＭ３１は、画素ずらしを行うことなく撮像素子２２により１回の撮影を行う通常解像度処理モードにおいて得られた画像や画素ずらし撮影により得られる複数の画像だけでなく、画素ずらし合成処理部２７、画像処理部２８、ＪＰＥＧ処理部２９等において処理された画像等の各種データを一時的に記憶する記憶部である。

ＡＥ／ＡＦ処理部２６は、ＲＡＷ画像から高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、制御部４５に供給され、更に制御部１５に転送されて、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２２上のＡＦ用画素）を用いて位相差ＡＦを行うようにしても構わない。

ＡＦ／ＡＥ処理部２６は、ＲＡＷ画像に基づき、被写体輝度を算出する。ここで算出された被写体輝度は制御部４５に与えられて、制御部４５によって、自動露出（ＡＥ）制御、すなわち、絞り１２の制御やメカシャッタ２１の制御、撮像素子２２の露光タイミング制御（あるいは、いわゆる素子シャッタの制御）等に用いられる。なお、被写体輝度を算出するためのデータとして、ここではＲＡＷ画像を利用したが、これに代えて、例えばカメラ本体２に専用の測光センサを設けて得られたデータを利用するようにしても構わない。

画素ずらし合成処理部２７は、ＶＣＭ２３により撮像素子２２を移動させて撮影を行う画素ずらし撮影によって得られた複数の画像を合成する画素ずらし合成処理を行うことにより、画素ずらしを行うことなく撮像素子２２から得られる画像（以下、通常解像度画像ともいう）よりも高解像度の合成画像（以下、高解像度画像という）を生成する。

図３は図１中の画素ずらし合成処理部２７の具体的な構成の一例を示すブロック図である。図４は画素ずらしにおける撮像素子２２の移動を説明するための説明図である。図４では撮像素子２２のセンタリング位置を丸印によって示している。図４の例は丸印Ａ１〜Ａ８に示すように、センタリング位置を８つの位置に変化させながら、８回の画素ずらし撮影を行うものである。なお、図４中のＰは１画素ピッチを示し、破線の間隔は１／２画素ピッチである。

図５は図４に示すように撮像素子２２のセンタリング位置を変化させながら撮像素子２２により得られる８枚のベイヤー画像のＲ，Ｇｒ，Ｇｂ，Ｂの基本的な色配列を示す説明図である。なお、図５中のＰは１画素ピッチを示している。また、画素Ｒ，Ｇｒ，Ｇｂ，Ｂの添え字は、画素ずらし撮影における回数を示している。

図５のような色配列を有する撮像画像（色配列画像、ＲＡＷ画像）がＤＲＡＭ３１に記憶される。入力ＤＭＡ部５１は、ＤＲＡＭ３１からバス３０を介してＤＭＡ（Direct Memory Access）転送されたＲＡＷ画像を取り込んで画素配置部５２に与える。なお、ＲＡＷ画像は、撮像素子２２のベイヤー配列による各色画素の輝度値を表すものである。画素配置部５２は、画素ずらしによる８枚分の画像から各色を分離して、各色毎に配置を行う。

図６Ａ乃至図６ＤはＲ画素の色配列、Ｇｒ画素の色配列、Ｇｂ画素の色配列及びＢ画素の色配列をそれぞれ示す説明図である。なお、図６Ａ〜図６Ｄ中のＰは１画素ピッチを示しており、格子の間隔は１／２画素ピッチである。画素配置部５２は、図５に示す８枚分の色配列の画像に基づいて、図６Ａ〜６Ｄに示す色配列の各色毎の合成画像を生成する。即ち、画素配置部５２は、図５に示すような基本的な色配列を繰り返して構成されている８枚のベイヤー画像から、Ｒ成分を抽出して図４に示したセンタリング位置Ａ１〜Ａ８に応じて再配置し、図６Ａに示すような４×４色配列中にＲ１〜Ｒ８画素が配列された色配列のＲ合成画像を生成する。同様に、画素配置部５２は、８枚のベイヤー画像から、Ｇｒ，Ｇｂ，Ｂ成分を各抽出して、センタリング位置Ａ１〜Ａ８に応じて再配置し、図６Ｂ〜図６Ｄに各示すような色配列のＧｒ合成画像，Ｇｂ合成画像，Ｂ合成画像をそれぞれ生成する。

画素補間部５３は、画素配置部５２が配置した画素相互間の画素位置について、画素の補間処理を行う。画素補間部５３による補間処理の結果はＢａｙｅｒ画素抽出部５４に与えられる。Ｂａｙｅｒ画素抽出部５４は、図６Ａ〜図６Ｄの４種類の色配列の各色の画像及び画素補間部５３の補間処理結果に基づいて、ベイヤー配列の色配列による合成画像（高解像度画像）を生成する。

図７はＢａｙｅｒ画素抽出部５４からの合成画像の色配列を示す説明図である。図７と図６Ｂ及び図６Ｃとの比較から明らかなように、ベイヤー配列のＧ画素については、同一位置のＧｒ画素及びＧｂ画素を用いて生成することができる。即ち、Ｂａｙｅｒ画素抽出部５４は、図７の画素Ｇ’１〜Ｇ’８の画素値Ｇ’１〜Ｇ’８を、以下の演算によって求める。

Ｇ’１＝（Ｇｒ３＋Ｇｂ８）／２
Ｇ’２＝（Ｇｒ４＋Ｇｂ７）／２
Ｇ’３＝（Ｇｒ１＋Ｇｂ６）／２
Ｇ’４＝（Ｇｒ２＋Ｇｂ５）／２
Ｇ’５＝（Ｇｒ６＋Ｇｂ１）／２
Ｇ’６＝（Ｇｒ５＋Ｇｂ２）／２
Ｇ’７＝（Ｇｒ８＋Ｇｂ４）／２
Ｇ’８＝（Ｇｒ７＋Ｇｂ３）／２
また、画素補間部５３は、図７の画素Ｒ’１〜Ｒ’４の画素値Ｒ’１〜Ｒ’４については、それぞれこれらの画素の周辺の同色の画素の画素値を用いて求める。同様に、画素補間部５３は、図７の画素Ｂ’１〜Ｂ’４の画素値Ｂ’１〜Ｂ’４については、それぞれこれらの画素の周辺の同色の画素の画素値を用いて求める。

例えば、画素補間部５３は、周辺４画素補間を行う場合には、以下の演算によって、画素値Ｒ’１〜Ｒ’４，Ｂ’１〜Ｂ’４を求める。

なお、下記演算において、「上」、「左」、「右」、「下」は、図６Ａ又は図６Ｄに示す４×４色配列の、上側に位置する４×４色配列、左側に位置する４×４色配列、右側に位置する４×４色配列、下側に位置する４×４色配列をそれぞれ表している。

Ｒ’１＝（Ｒ１＋Ｒ２＋Ｒ３＋（上Ｒ７））／４
Ｒ’２＝（Ｒ３＋Ｒ４＋（右Ｒ１）＋（上Ｒ５））／４
Ｒ’３＝（Ｒ２＋Ｒ６＋Ｒ７＋Ｒ８）／４
Ｒ’４＝（Ｒ４＋Ｒ５＋Ｒ６＋（右Ｒ８））／４
Ｂ’１＝（Ｂ３＋Ｂ５＋Ｂ６＋（左Ｂ７））／４
Ｂ’２＝（Ｂ１＋Ｂ５＋Ｂ７＋Ｂ８）／４
Ｂ’３＝（Ｂ３＋Ｂ４＋（左Ｂ２）＋（下Ｂ６））／４
Ｂ’４＝（Ｂ１＋Ｂ２＋Ｂ４＋（下Ｂ８））／４
Ｂａｙｅｒ画素抽出部５４は、生成した合成画像（高解像度画像）を出力ＤＭＡ部５５に与える。出力ＤＭＡ部５５は、入力された高解像度画像をバス３０にＤＭＡ転送する。このように、画素ずらし合成処理部２７は、重複する位置において取得した輝度相当色（ここでは緑色）の複数の画素データを平均して、この重複する位置における合成後の画素データとすることにより、ノイズを低減して高画質化を図るようにしている。図５と図７との比較から明らかなように、画素ずらし高解像度処理モードにおいては、水平方向に２倍かつ垂直方向に２倍の解像度の高解像度画像が得られるようになっている。

図１において、画像処理部２８は、通常解像度画像あるいは画素ずらし合成処理部２７により生成された高解像度画像に対して種々の画像処理を行うものである。図８は図１中の画像処理部２８の具体的な構成の一例を示すブロック図である。

入力ＤＭＡ部６１は、ＤＲＡＭ３１からバス３０を介してＤＭＡ転送された画像を取り込んで倍率色収差補正処理部６２に与える。倍率色収差補正処理部６２は、入力された画像の倍率色収差を補正する。例えば、倍率色収差補正処理部６２は、倍率色収差に関する光学系の情報に基づいて、Ｒ色画像，Ｂ色画像について、収差が無ければ本来同一位置にあるべきＧ色画像の画素位置に一致させるように、補正を行う。なお、撮像素子２２のＲ，Ｇ，Ｂ色毎にズレ量が異なることから、３板化されてＲ，Ｇ，Ｂ色が混ざった状態の画像については、それぞれの色毎にズレを正確に補正することができない。このため、倍率色収差補正処理は、デモザイキング処理によってベイヤー画像の画素値がカラー画像に変換される前に行われる。倍率色収差補正処理部６２の出力は、スイッチ６８を介してＹＣ処理部６３に与えられる。

ＹＣ処理部６３は、各画素がＲＧＢ成分のうちの１色の色情報のみを有するベイヤー画像（色配列画像）を、各画素がそれぞれフルカラーの情報を有するカラー画像に変換するデモザイキング処理を行う。デモザイキング処理部であるＹＣ処理部６３は、例えば、ベイヤー画像をＹＣｂＣｒ空間のカラー画像に変換する。また、ＹＣ処理部６３は、デモザイキング処理前にホワイトバランス補正処理を実行し、例えばデモザイキング処理後に色補正処理、階調補正処理、エッジ強調処理等の各種処理を実行する。ＹＣ処理部６３の出力はＮＲ処理部６４に与えられる。ＮＲ処理部６４は入力された画像に対するノイズリダクション処理を行った後、歪曲収差補正処理部６５に出力する。

歪曲収差補正処理部６５は、入力された画像の歪曲収差を補正する。例えば、歪曲収差補正処理部６５は、歪曲収差に関する光学系の情報に基づいて、デモザイキング処理後の画像の各画素位置を歪が無ければ本来位置するべき画素位置に一致させるように、補正を行う。歪曲収差補正処理部６５は、歪曲収差補正後の画像を出力ＤＭＡ部６６に与える。出力ＤＭＡ部６６は、入力された画像をバス３０にＤＭＡ転送する。

本実施の形態においては、ＹＣ処理部６３によるデモザイキング処理の前に倍率色収差補正処理を行うか又はデモザイキング処理の後に倍率色収差補正処理を行うかを切換制御するために、画像処理部２８には制御部４５によって制御されるスイッチ６７，６８が設けられている。

制御部４５は、スイッチ６７をオフにし、スイッチ６８に端子ａを選択させることで、入力ＤＭＡ部６１を介して入力されたベイヤー画像を倍率色収差補正処理部６２に与えて色収差補正した後、スイッチ６８を介してＹＣ処理部６３に供給することができるようになっている。また、制御部４５は、スイッチ６７をオフにし、スイッチ６８に端子ｂを選択させることで、入力されたベイヤー画像を倍率色収差補正処理部６２に与えて色収差補正した後、スイッチ６８を介して直接出力ＤＭＡ部６６に与えることもできるようになっている。更に、制御部４５は、スイッチ６７をオンにするとともにスイッチ６８に端子ａを選択させることで、倍率色収差補正処理をスルーさせ、入力ＤＭＡ部６１を介して入力されたベイヤー画像を直接スイッチ６８を介してＹＣ処理部６３に供給することもできるようになっている。

画像処理部２８は、パイプライン処理ができ、このパイプライン処理のために、画像処理部２８の各処理部は、それぞれバッファメモリを有している。

図１において、ＪＰＥＧ処理部２９は、画像を記録する際には、ＤＲＡＭ３１から画像を読み出して、読み出した画像をＪＰＥＧ圧縮方式に従って圧縮し、圧縮した画像をＤＲＡＭ３１に一旦記憶させる。こうしてＤＲＡＭ３１に記憶された圧縮した画像は、制御部４５により、ファイルを構成するために必要なヘッダが付加されて記録用のデータとして整えられる。そして、制御部４５の制御に基づき、整えられた記録用のデータが、メモリＩ／Ｆ４１を介して記録媒体４２に記録される。

また、ＪＰＥＧ処理部２９は、読み出された画像の伸張も行う。すなわち、記録済み画像の再生を行う場合には、制御部４５の制御に基づき、例えばＪＰＥＧファイルがメモリＩ／Ｆ４１を介して記録媒体４２から読み出され、ＤＲＡＭ３１に一旦記憶される。ＪＰＥＧ処理部２９は、ＤＲＡＭ３１に記憶されたＪＰＥＧ画像を読み出して、読み出したＪＰＥＧ画像をＪＰＥＧ伸張方式に従って伸張し、伸張した画像をＤＲＡＭ３１に記憶させる。

モニタドライバ３２は、ＤＲＡＭ３１に記憶されている画像を読み出して、読み出した画像を映像信号へ変換し、モニタ３３を駆動制御して映像信号に基づく画像をモニタ３３に表示させる。このモニタドライバ３２により行われる画像表示には、撮影直後の画像を短時間だけ表示するレックビュー表示、記録媒体４２に記録されたＪＰＥＧファイルの再生表示、およびライブビュー表示などが含まれる。

モニタ３３は、上述したようなモニタドライバ３２の駆動制御により、画像を表示すると共に、撮像装置に係る各種の情報を表示する。また、メモリＩ／Ｆ４１は、上述したように、画像の記録媒体４２への書き込み、および記録媒体４２からの画像の読み出しを行う。

記録媒体４２は、画像を不揮発に記憶するものであり、例えばカメラ本体２に着脱できるようなメモリカード等により構成されている。ただし、記録媒体４２は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であっても良い。こうして記録媒体４２は、撮像装置に固有の構成である必要はない。

操作部４３は、この撮像装置に対する各種の操作入力を行うためのものであり、撮像装置の電源をオン／オフするめの電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定できるような項目には、撮影モード（通常撮影モード、画素ずらし高解像度処理モード等）、記録モード（ＪＰＥＧ記録モード、ＲＡＷ＋ＪＰＥＧ記録モード等）などが含まれている。この操作部４３に対して操作が行われると、操作内容に応じた信号が制御部４５へ出力される。

フラッシュメモリ４４は、制御部４５により実行される処理プログラムや、この撮像装置に係る各種の情報を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ４４が記憶する情報としては、例えば、エッジ強調処理に用いるパラメータやノイズ低減処理に用いるパラメータ等の撮像装置の動作に必要な各種パラメータ、画素ずらし高解像度処理モードにおける画素ずらしの大きさ、方向、順序等の情報、および撮像装置を特定するための製造番号などが幾つかの例として挙げられる。このフラッシュメモリ４４が記憶する情報は、制御部４５により読み取られる。

次に、このように構成された実施の形態の動作について図９乃至図１１のフローチャート及び図１２Ａ〜図１２Ｃの説明図を参照して説明する。図９はカメラの全体処理シーケンスを示し、図１０は撮影シーケンスを示し、図１１は画像処理シーケンスを示している。

図９の各処理は制御部４５の制御に基づき行われる。操作部４３の図示しない電源ボタンがオン操作されて電源がオンになると、図９の処理が開始され、まず初期化が行われる（ステップＳ１）。次に、制御部４５は、操作部４３の再生ボタンが操作されたか否かを判定する（ステップＳ２）。再生ボタンが操作された場合には、再生・編集処理を行う（ステップＳ３）。この再生・編集処理は、記録媒体４２に記録されているファイルの一覧を表示して、ユーザーからの選択操作を待ち、選択決定されたファイルを再生したり、選択されている画像を編集したりする処理である。

制御部４５は、ステップＳ４において、操作部４３のメニューボタンが操作されて、撮像装置に関するカメラ設定が選択されたか否かを判定する。ここでカメラ設定が選択された場合には、制御部４５は、カメラ設定を変更するメニューをモニタ３３に表示させて、カメラ設定を変更するユーザ操作の待機状態となる。なお、カメラ設定としては、上述した通常解像度処理モード、画素ずらし高解像度処理モード、ＪＰＥＧ記録モード、ＲＡＷ＋ＪＰＥＧ記録モード等の各種記録モードなどが挙げられるが、これらに限るものではない。ユーザ操作がなされた場合には、制御部４５は、操作内容に応じてカメラ設定を行う（ステップＳ５）。

制御部４５は、ステップＳ６において、レリーズボタンのオフから１段階目の押圧状態（いわゆる半押状態）である１ｓｔレリーズオンの状態へ遷移したか否かを判定する。ここで１ｓｔレリーズオンの状態へ遷移した場合には、この遷移したタイミングにおいて、ＡＦ／ＡＥ処理部２６により、画像を撮影するための自動露出（ＡＥ）制御及び自動焦点制御（ＡＦ）を行う（ステップＳ７）。これにより、１ｓｔレリーズボタンが押圧された以降は、いわゆるＡＥロックおよびＡＦロックが行われる。

制御部４５は、ステップＳ６において１ｓｔレリーズオンの状態へ遷移していないものと判定した場合には、レリーズボタンが２段階目の押圧状態である２ｎｄレリーズオンの状態（いわゆる全押状態）となっているか否かを判定する（ステップＳ９）。ここで、２ｎｄレリーズオンの状態となっていない場合、即ち、レリーズボタンの操作が全く行われていない場合には、制御部４５は、ステップＳ９からステップＳ１０に処理を移行して、メカシャッタ２１を開放状態にして、ライブビュー用の自動露出（ＡＥ）制御をＡＦ／ＡＥ処理部２６により行った後、電子シャッタによる１フレーム（あるいは１フィールド等）の画像撮影を行う。

こうして撮影された画像に対して、制御部４５は、記録画像に対して行う画像処理の幾つかを例えば省略した基本画像処理を行い（ステップＳ１１）、基本画像処理されたフレーム画像をモニタ３３にライブビューの１フレームとして表示する（ステップＳ１２）。

一方、ユーザか２ｎｄレリーズオン操作を行うと、制御部４５は、処理をステップＳ９からステップＳ１３に移行して、後述する撮影処理を実行する。更に、制御部４５は、ステップＳ１４において後述する画像処理を行い、画像処理後の画像を記録媒体４２に静止画記録する（ステップＳ１５）。

制御部４５は、ステップＳ８において電源ボタンがオフ操作されたか否かを判定し、オフ操作されていない場合には、処理をステップＳ２に戻し上述した処理を繰り返す。

図１０は図９中のステップＳ１３における撮影処理の具体的な処理の一例を示している。

ステップＳ１３の撮影処理においては、先ず、制御部４５は、画素ずらし高解像度処理モードが指定されているか否かを判定する（ステップＳ２１）。画素ずらし高解像度処理モードに設定されていない場合、即ち、通常解像度処理モードが設定されている場合には、制御部４５は、絞り１２を駆動しメカシャッタ２１を開いて撮像素子２２により露光を行い、画像を１枚撮影する通常の撮影処理を行う（ステップＳ２２）。即ち、撮像素子２２の本来の画素数である通常画素数の画像の撮影が行われ、撮影により得られた画像はＤＲＡＭ３１に転送されて記憶される（ステップＳ２３）。

また、画素ずらし高解像度処理モードが設定されている場合には、制御部４５は画素ずらし撮影のための設定を行う。先ず、制御部４５は、レンズ１１の光軸に垂直な面内における撮像素子２２のセンタリング位置を設定し（ステップＳ２４）、ＶＣＭ２３を制御して撮像素子２２を設定したセンタリング位置へ移動させる（ステップＳ２５）。次のステップＳ２６において、制御部４５は、絞り１２を駆動しメカシャッタ２１を開いて撮像素子２２により露光を行い、画像を１枚撮影する通常の撮影処理を行う。撮像素子２２の本来の画素数である通常画素数の画像の撮影が行われ、撮影により得られた画像はＤＲＡＭ３１に転送されて記憶される（ステップＳ２７）。

制御部４５は、ステップＳ２８において、画素ずらし撮影に設定された回数の撮影が終了したか否かを判定する。例えば、図４に示す画素ずらし撮影を行う場合には、制御部４５は、８回の画素ずらし撮影が行われたか否かを判定し、必要な回数の撮影が行われるまで、ステップＳ２４〜Ｓ２７の処理を繰り返す。こうして、例えば、図４に示す８つのセンタリング位置に撮像素子２２の中央を位置させながら撮影が行われて、８枚の通常画像数の画像が撮影される。

即ち、通常解像度処理モード時には、通常解像度画像の元となる通常画素数の１枚のベイヤー画像がＤＲＡＭ３１に記憶され、画素ずらし高解像度処理モード時には、撮像素子２２の位置を１／２画素ピッチずつ変化させながら撮影した通常画素数の８枚のベイヤー画像がＤＲＡＭ３１に記憶されることになる。

通常解像度処理モードにおける１枚のベイヤー画像、又は、画素ずらし高解像度処理モードにおける８枚のベイヤー画像がＤＲＡＭ３１に記憶されると、図９のステップＳ１４の画像処理が行われる。

図１１は図９中のステップＳ１４における画像処理の具体的な処理の一例を示している。

ステップＳ１４の画像処理においては、先ず、制御部４５は、画素ずらし高解像度処理モードが指定されているか否かを判定する（ステップＳ３１）。画素ずらし高解像度処理モードに設定されていない場合、即ち、通常解像度処理モードが設定されている場合には、制御部４５は、スイッチ６７をオフにし、スイッチ６８に端子ａを選択させる。この場合には、画像処理部２８は、全ての処理部６２〜６５による処理を行う。以下、この場合のパイプライン処理のラインを画像処理パイプラインＡという。

図１２Ａは太線にて画像処理パイプラインＡの処理の流れを示している。制御部４５は、ステップＳ３２において画像処理部２８を制御して、画像処理パイプラインＡを使用して、ＤＲＡＭ３１から読み出した通常画素数画像に対して、色収差補正、デモザイキング処理（ＹＣ）、ノイズリダクション処理（ＮＲ）、歪曲収差補正の一連の処理を行う。こうして、色収差補正及び歪曲収差補正処理が行われた通常画素数画像がＤＲＡＭ３１に書込まれて記憶される。

次に、画素ずらし高解像度処理モードが指定されているものとする。本実施の形態においては、画素ずらし高解像度処理モードが指定されている場合には、制御部４５は、画素ずらし合成処理の前に、倍率色収差補正処理を行わせる。

制御部４５は、画像処理部２８のスイッチ６７をオフにし、スイッチ６８に端子ｂを選択させる。この場合には、画像処理部２８は、倍率色収差補正処理部６２による処理のみを行う。この場合の画像処理部２８におけるパイプライン処理のラインを画像処理パイプラインＢという。

図１２Ｂは太線にて画像処理パイプラインＢの処理の流れを示している。制御部４５は、ステップＳ３４において画像処理部２８を制御して、画像処理パイプラインＢを使用して、ＤＲＡＭ３１から読み出した通常画素数画像に対して、色収差補正処理を行う。制御部４５は、画素ずらし合成処理に用いる通常画素数画像（ベイヤー画像）の全てについて色収差補正処理を行う。図１１は画素ずらし合成処理に用いるベイヤー画像の数が８枚の例を示しており、制御部４５は、８枚の通常画素数画像に対する色収差補正処理が終了したか否かをステップＳ３５において判定し、終了していない場合にはステップＳ３４の処理を繰り返させる。こうして、この場合には、色収差補正行われた８枚の通常画素数画像がＤＲＡＭ３１に書込まれて記憶される。

次に、制御部４５は、ステップＳ３６において、画素ずらし合成処理部２７を制御して、ＤＲＡＭ３１から色収差補正処理が行われた通常画素数画像を読み出して、画素ずらし合成処理を行わせる。こうして、画素ずらし合成処理部２７により画素ずらし高解像度画像が生成される。この高解像度画像は、ＤＲＡＭ３１に与えられて記憶される。

次に、制御部４５は、画像処理部２８を制御して、倍率色収差補正処理以外の各処理を実行させる（ステップＳ３７）。この場合には、制御部４５は、スイッチ６７をオンにするとともにスイッチ６８に端子ａを選択させる。この場合の一連の処理は、画像処理パイプラインＡを使用して、倍率色収差補正処理部６２の処理をスルーさせることと等価である。即ち、ステップＳ３７の処理は、ステップＳ３２において倍率色収差補正処理をスルーしたものと同様の処理である。

通常解像度処理モード時において、画像処理部２８は例えば図２の出力ブロックＢｎ１のサイズの領域毎に収差補正をするものとする。この場合には、図１２Ａに示す画像処理パイプラインＡを使用した処理が行われ、倍率色収差補正に必要なブロックは図２のブロックＢｎｔｃとなる。即ち、各処理部６２〜６５のバッファメモリとしては、ブロックＢｎｔｃのサイズの領域を記憶できる容量があればよい。

一方、本実施の形態における画素ずらし高解像度処理モード時においては、画像処理部２８において画像処理パイプラインＢを用いた画像処理（倍率色収差補正処理）と画像処理パイプラインＡ（倍率色収差補正処理はスルー）を用いた画像処理とが行われる。画像処理パイプラインＢを用いた倍率色収差補正処理では、図２の出力ブロックＢｎ１のサイズの領域毎に収差補正が行われる。この場合には、図１２Ｂに示すように、画像処理パイプラインＢには、倍率色収差補正に必要な図２のブロックＢｎｔｃのサイズの領域のデータが与えられる。即ち、この場合には、各処理部６２〜６５のバッファメモリとしては、ブロックＢｎｔｃのサイズの領域を記憶できる容量があればよい。

また、画像処理パイプラインＡを用いた倍率色収差補正処理を除く画像処理は解像度が縦横２倍になった高解像度画像に対する処理を行うので、図２の出力ブロックＢｎ２のサイズの領域毎に収差補正が行われる。この場合には、図１２Ｃに示すように、画像処理パイプラインＡ（倍率色収差補正処理はスルー）には、歪曲色収差補正に必要な図２のブロックＢｈｔｙのサイズの領域のデータが与えられる。即ち、この場合には、各処理部６２〜６５のバッファメモリとしては、ブロックＢｎｔｙのサイズの領域を記憶できる容量があればよい。即ち、本実施の形態を採用することで、画素ずらし高解像度処理において倍率色収差補正処理を行う場合でも、バッファメモリの容量は通常解像度処理時と同様で済む。

このように本実施の形態においては、画素ずらし高解像度処理において色収差補正処理を行う場合には、画素ずらし合成処理前の色配列画像に対して色収差補正処理を実施し、色収差補正処理後の色配列画像を画素ずらし合成処理して画素ずらし高解像度画像を得、この画素ずらし高解像度画像についてデモザイキング処理を行ってカラー画像を得るようになっている。これにより、色収差補正処理において処理に必要な画像領域のサイズを小さくして伝送帯域を低減し、色収差補正処理部におけるバッファメモリに必要な容量が増大することを防止することができる。また、色収差補正処理、デモザイキング処理及び歪曲収差補正処理をパイプライン処理する場合でも、色収差補正処理部と歪曲収差補正処理部において処理に必要な画像領域のサイズを略同様にすることができ、バッファメモリに必要な容量が増大することを防止することができる。更に、通常解像度処理時と画素ずらし高解像度処理時において、色収差補正処理及び歪曲収差補正処理に必要な画像領域のサイズを略同様にすることができ、バッファメモリに必要な容量が増大することを防止することができる。また、歪曲収差補正処理は、画素ずらし高解像度画像に対して行っており、高画質化を図ることができる。

（第２の実施の形態）
図１３は本発明の第２の実施の形態において採用される動作フローを示すフローチャートである。図１３において図１１と同一の手順には同一符号を付して説明を省略する。

第１の実施の形態においては、倍率色収差補正処理は、画素ずらし合成処理前の、色配列画像である通常解像度画像を用いて行った。しかし、画質を考慮した場合には、倍率色収差補正処理は、画素ずらし合成処理後の画素ずらし高解像度画像を用いて行った方がよい。そこで、本実施の形態においては、倍率色収差補正に必要な画像の領域のサイズが、所定のサイズよりも小さい場合には、画素ずらし合成処理後に倍率色収差補正処理を行うものである。

図１３のフローは、ステップＳ４１〜Ｓ４４の処理が追加された点が図１１のフローと異なる。ステップＳ４１においては、制御部４５は、色収差係数を読み込んで、画面内の最大色ずれ量を算出する。色収差の量（色ずれ量）は、光学系によって決まっており、交換式レンズ１のフラッシュメモリ１４には、色収差を補正するために用いる色収差係数がズーム位置及びフォーカス位置毎に記憶されている。制御部４５は、フラッシュメモリ１４に記憶されている色収差係数を制御部１５及びＩ／Ｆ３を介して読み込む。

いま、高画素数画像の水平及び垂直座標位置を（ｘ，ｙ）とし、高画素数画像の水平及び垂直の中心座標を（ｘ０，ｙ０）とし、中心座標からの座標（ｘ，ｙ）までの距離をｒとする。ｒは下記（１）式で表される。

この場合、色収差を表す色収差式は、色収差係数がａ（ｉ），ｂ（ｉ），ｃ（ｉ）（ｉはＲ画像又はＢ画像を示す）とすると、例えば、下記（２）式によって示すことができる。なお、ｒ’（ｘ，ｙ，ｉ）は、Ｒ画像又はＢ画像において、座標（ｘ，ｙ）の画素が色収差によってずれた位置までの中心座標からの距離を示している。

制御部４５は、読み込んだ色収差係数を用いて上記（２）式のｒ’（ｘ，ｙ，ｉ）を求める。制御部４５は、例えば、色収差の量を下記（３）式によって求める。

制御部４５は、画面内の最大色ずれ量ＤＸ，ＤＹを、例えば、下記（４）式によって求める。

制御部４５は、次のステップＳ４２において、色ずれ量が所定の閾値を超えるか否かを判定する。例えば、この閾値としては、パイプラインＡの各処理部のバッファメモリに記憶できるような領域のサイズに基づく値を設定してもよい。例えば、制御部４５は、求めた最大色ずれ量ＤＸ，ＤＹの範囲がパイプラインＡの各処理部のバッファメモリが記憶できるような領域のサイズに含まれるか否かを判定し、含まれる場合には色ずれ量は閾値以内であると判定し、含まれない場合には色ずれ量は閾値を超えるものと判定してもよい。

例えば、パイプラインＡの各処理部のバッファメモリとして、通常解像度処理時に必要な容量を設定した場合においても、色ずれ量が所定の閾値以内であれば、画像処理部２８において、画素ずらし高解像度処理後の高解像度画像についての倍率色収差補正ができる。

制御部４５は、色ずれ量が所定の閾値を超えると判定した場合には、処理をステップＳ３４に移行して、第１の実施の形態と同様に、通常画素数画像に対して色収差補正を行う。一方、制御部４５は、色ずれ量が所定の閾値を超えないと判定した場合には、処理をステップＳ４３に移行する。

制御部４５は、ステップＳ４３において、例えば８枚の通常画素数画像を用いて、画素ずらし合成処理を行う画素ずらし高解像度画像を生成して、ＤＲＡＭ３１に記憶させる。制御部４５は、次のステップＳ４４において、画像処理パイプラインＡを使用して、高画素数画像に対して、色収差補正、デモザイキング処理（ＹＣ）、ノイズリダクション処理（ＮＲ）、歪曲収差補正の一連の処理を行う。こうして、生成された収差補正後の画像をＤＲＡＭ３１に記憶させる。

このように本実施の形態においては、色ずれ量が所定の閾値を超えるか否かを判定し、超えない場合には、画素ずらし高解像度処理を行って得た高解像度画像に対して、色収差補正及び歪曲収差補正を行う。これにより、色収差補正及び歪曲収差補正のいずれも高解像度画像に対して行われるので、画質を向上させることができる。例えば、画像処理部のパイプライン処理に必要なバッファメモリ容量として通常解像度処理時に必要な容量を設定した場合においても、画素ずらし高解像度画像に対して色収差補正ができる場合もあり、バッファメモリの容量を増大させることなく、より高画質化を図ることができる。

さらに、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよい。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略できることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定でき、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供できる。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の撮像装置を実現することができる。

１…交換式レンズ、２…カメラ本体、１１…レンズ、１４…フラッシュメモリ、１５，４５…制御部、２２…撮像素子、２３…ＶＣＭ、２６…ＡＥ／ＡＦ処理部、２７…画素ずらし合成処理部、２８…画像処理部、２９…ＪＰＥＧ処理部、３０…バス、３１…ＤＲＡＭ、

Claims (8)

1. 所定の色配列の画素を有し画素ずらしによって前記色配列に対応した複数枚の色配列画像を取得可能な撮像素子と、
   前記複数枚の色配列画像が与えられてそれぞれに色収差補正処理を行う色収差補正処理部と、
   前記色収差補正処理部により色収差補正処理された複数枚の色配列画像を画素ずらし合成処理して画素ずらし高解像度画像を得る画素ずらし合成処理部と、
   前記画素ずらし高解像度画像に対してデモザイキング処理を行うデモザイキング処理部と
   を具備したことを特徴とする撮像装置。
2. 前記デモザイキング処理後の画素ずらし高解像度画像に対して、歪曲収差補正処理を行う歪曲収差補正処理部
   を具備したことを特徴とする請求項１に記載の撮像装置。
3. 前記色収差補正処理部による処理が可能な第１の画像処理パイプラインと、
   前記デモザイキング処理部及び前記歪曲収差補正処理部による一連の処理が可能な第２の画像処理パイプラインと、
   前記複数枚の色配列画像に対して前記第１の画像処理パイプラインにより前記色収差補正処理を実行させ、前記色収差補正処理後の複数枚の色配列画像に対して前記画素ずらし合成処理部により前記画素ずらし合成処理を実行させ、前記画素ずらし合成処理後の画素ずらし高解像度画像に対して前記第２の画像処理パイプラインにより前記デモザイキング処理及び前記歪曲収差補正処理を実行させる制御部と、
   を具備したことを特徴とする請求項２に記載の撮像装置。
4. 前記色収差補正処理部、前記デモザイキング処理部及び前記歪曲収差補正処理部による一連の処理が可能な第３の画像処理パイプラインを具備し、
   前記制御部は、前記撮像素子から前記色配列に対応した１枚の色配列画像が出力される場合には、前記１枚の色配列画像に対して前記第３の画像処理パイプラインによる処理を実行させる
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記色収差補正処理部は前記第１及び第３の画像処理パイプラインにおいて共通の処理部であり、前記デモザイキング処理部及び前記歪曲収差補正処理部は前記第２及び第３の画像処理パイプラインにおいて共通の処理部であり、前記第１乃至第３の画像処理パイプラインの各処理部のバッファメモリは、前記撮像素子から前記色配列に対応した１枚の色配列画像が出力される場合に対応した容量値に設定される
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記色収差補正処理部における色収差補正処理のための色収差特性の情報を記録するメモリ
   を具備したことを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
7. 所定の色配列の画素を有する撮像素子の画素ずらし撮影によって前記色配列に対応した複数枚の色配列画像を取得し、
   前記複数枚の色配列画像が与えられてそれぞれに色収差補正処理を行い、
   色収差補正処理された複数枚の色配列画像を画素ずらし合成処理して画素ずらし高解像度画像を得、
   前記画素ずらし高解像度画像に対してデモザイキング処理を行う
   ことを特徴とする撮像方法。
8. コンピュータに、
   所定の色配列の画素を有する撮像素子の画素ずらし撮影によって前記色配列に対応した複数枚の色配列画像を取得し、
   前記複数枚の色配列画像が与えられてそれぞれに色収差補正処理を行い、
   色収差補正処理された複数枚の色配列画像を画素ずらし合成処理して画素ずらし高解像度画像を得、
   前記画素ずらし高解像度画像に対してデモザイキング処理を行う
   手順を実行させることを特徴とする撮像プログラム。

Images