JP5460473B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮像装置および撮像方法に関する。

単板式のデジタルカメラに搭載される撮像素子は、ベイヤ（Ｂａｙｅｒ）配列の色フィルタを有するものが多い。このベイヤ配列とは、単板撮像素子でカラー画像を得るためのＲＧＢ（赤色・緑色・青色）三原色フィルタの配置を指すものである。具体的には、ベイヤ配列は、画素ごとの色フィルタの配列であり、ＲフィルタおよびＧフィルタを水平方向に交互に配置した第１のラインと、ＧフィルタおよびＢフィルタを水平方向に交互に配置した第２のラインとを、Ｇフィルタの配置が市松模様状となるように垂直方向に交互に配置したものである。各色フィルタは画素に対応しているため、ベイヤ配列の色フィルタを備える単板撮像素子は、一画素あたり一色の画素値（撮像色値）を得る。よって、単板撮像素子は、各画素で撮像されない色の画素値（非撮像色値）を、周辺画素において撮像された当該色の画素値に基づいて生成することにより、各画素で三色の画素値を得る。この処理をデモザイキング（Ｄｅｍｏｓａｉｃｉｎｇ）処理という。

従来、撮像画像（ＲＡＷデータとも呼ばれる）のデモザイキング処理により得られたカラー画像には、非撮像色値の補間誤差によって偽色が発生することが知られており、このような偽色の発生を低減するデモザイキング処理技術が提案されている（例えば、特許文献１および特許文献２参照）。

特開２００９−２７５３７号公報 特開２０１０−４１２５１号公報

しかしながら、特許文献１および特許文献２に記載されたデモザイキング処理技術は、相関量を求めたり信頼度を判定したりする処理等によって撮像していない色値を推定することにより偽色を改善する方式であるため、被写体像のパターン（模様）によってはその推定値に大きな誤差が生じるおそれがあった。
そこで、本発明は上記問題を解決するためになされたものであり、補間誤差を低減して偽色による画質劣化の程度を低く抑えることのできる撮像装置および撮像方法を提供することを目的とする。

［１］上記の課題を解決するため、本発明の一態様である撮像装置は、被写体から到来する光束を集光するレンズ光学系と、画素ごとの撮像色値に基づく撮像データを出力する撮像素子と、前記撮像素子の画素配列におけるそれぞれの画素に対応する色フィルタと、前記レンズ光学系によって集光された光束が前記撮像素子の撮像面の第１の位置に結像する状態と前記光束が前記第１の位置に対して前記撮像面の面方向に所定画素分変位した第２の位置に結像する状態とのいずれかとなるように、前記撮像面における結像位置を変更する結像位置変更部と、前記撮像素子から供給される、前記撮像面の前記第１の位置に結像した光束の第１の撮像データと前記第２の位置に結像した光束の第２の撮像データとに基づいて、画素ごとに、前記画素に対応する前記色フィルタの色以外の非撮像色値を、前記第１の撮像データと前記第２の撮像データとにおける前記画素に対して前記変位分の範囲内にある画素の撮像色値に基づき計算するデモザイキング処理部と、を備えることを特徴とする。
このように構成したことにより、本発明の一態様である撮像装置は、画素ずれを生じさせた被写体像を撮像することにより得られる第１および第２の撮像データに基づいてモザイキング処理を行うが、これら第１および第２の撮像データは画素ずれが生じる方向において画素が重複するため、非撮像色値の計算精度を高めることができる。

［２］上記［１］記載の撮像装置において、前記撮像素子は、ベイヤ配列による三原色フィルタを有し、前記結像位置変更部は、前記レンズ光学系によって集光された光束が前記撮像素子の前記撮像面の第１の位置に結像する状態と前記光束が前記第１の位置に対して前記撮像面の水平方向および垂直方向またはいずれか一方向に２画素分未満に変位した第２の位置に結像する状態とのいずれかとなるように、前記撮像面における結像位置を変更することを特徴とする。
［３］上記［１］記載の撮像装置において、前記結像位置変更部は、前記レンズ光学系によって集光された光束が前記撮像素子の前記撮像面の第１の位置に結像する状態と前記光束が前記第１の位置に対して前記撮像面の面方向に所定画素分変位した第２の位置および前記第１の位置の両位置に結像する状態とのいずれかとなるように、前記撮像面における結像位置を変更し、前記デモザイキング処理部は、前記撮像素子から供給される、前記撮像面の前記第１の位置および前記第２の位置に結像した光束の第１の撮像データと前記第１の位置に結像した光束の第２の撮像データとに基づいて、画素ごとに、前記画素に対応する前記色フィルタの色以外の非撮像色値を、前記第１の撮像データと前記第２の撮像データとにおける前記画素に対して前記変位分の範囲内にある画素の撮像色値に基づき計算することを特徴とする。
［４］上記の課題を解決するため、本発明の一態様である撮像方法は、被写体から到来する光束をレンズ光学系が集光し、撮像面の画素配列におけるそれぞれの画素に対応する色フィルタを設けた撮像素子が、前記レンズ光学系によって集光された光束を前記撮像面の第１の位置に結像させた状態で撮像して第１の撮像データを出力し、前記光束を前記第１の位置に対して前記撮像面の面方向に所定画素分変位した第２の位置に結像させた状態で撮像して第２の撮像データを出力し、前記撮像素子が出力した前記第１の撮像データと前記第２の撮像データとに基づいて、画素ごとに、前記画素に対応する前記色フィルタの色以外の非撮像色値を、前記第１の撮像データと前記第２の撮像データとにおける前記画素に対して前記変位分の範囲内にある画素の撮像色値に基づき計算することを特徴とする。

本発明によれば、補間誤差を低減して偽色による画質劣化の程度を低く抑えることができる。

本発明の実施形態の参考例である撮像装置の機能構成を示すブロック図である。 同参考例における、ウォブリング光学素子の内部構成を示すブロック図である。 同参考例における、ウォブリング光学素子の各部における偏光状態と光路とを模式的に示す図である。 同参考例において、タイミング制御部が生成する撮像信号と切換信号との動作タイミングを示す概略のタイミングチャートである。 同参考例において、二つの撮像素子それぞれに設けられる色フィルタを模式的に示す図である。 同参考例において、ウォブリング光学素子と撮像素子との受光状態を模式的に示す図である。 同参考例において、ウォブリングによって隣接する画素同士の重複関係を示す図である。 同参考例において、第１の被写体サンプルを撮像する場合の、ウォブリング光学素子と撮像素子との受光状態を模式的に示す図である。 同参考例において、第２の被写体サンプルを撮像する場合の、ウォブリング光学素子と撮像素子との受光状態を模式的に示す図である。 本発明の第１実施形態である撮像装置の機能構成を示すブロック図である。 同実施形態において、タイミング制御部が生成する撮像信号および切換信号の動作タイミングを示す概略のタイミングチャートである。 同実施形態における、撮像素子に設けられるＲＧＢ三原色フィルタを模式的に示す図である。 本発明の第２実施形態である撮像装置の機能構成を示すブロック図である。 同実施形態における、ウォブリング光学素子の内部構成を示すブロック図である。 同実施形態において、ウォブリング光学素子の各部における偏光状態と光路とを模式的に示す図である。 同実施形態において、タイミング制御部が生成する撮像信号および切換信号の動作タイミングを示す概略のタイミングチャートである。 同実施形態の変形例である撮像装置の機能構成を示すブロック図である。

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［実施の形態の参考例］
まず、本発明の実施形態の参考例である撮像装置について説明する。この参考例は、後述する実施形態における説明を簡潔なものとし、これによって理解容易なものとするためのものである。本参考例である撮像装置は、緑色フィルタのみを有する第１の単板撮像素子と、赤色フィルタおよび青色フィルタを有する第２の単板撮像素子とを備えてカラー静止画を撮像するカメラ装置である。そして、この撮像装置は、第１の単板撮像素子が撮像して得る一つの撮像画像と、第２の単板撮像素子が２回撮像することにより得る画素ずれの生じた二つの撮像画像とに基づいて、モザイキング処理を行って一つのカラー静止画を生成するものである。

図１は、本参考例である撮像装置の機能構成を示すブロック図である。同図に示すように、撮像装置１００は、レンズ光学系１０と、光束分離部２０と、ウォブリング光学素子（結像位置変更部）３０と、撮像素子（第１の単板撮像素子）４０Ｇと、撮像素子（第２の単板撮像素子）４０ＲＢと、記憶部５０と、タイミング制御部６０と、デモザイキング処理部７０とを備える。同図において、破線（長破線および短破線）で表した矢印は、光束の進路の概略を示すものであり、実線で表した矢印は、電気信号の経路を示すものである。

図１に示すように、レンズ光学系１０は、被写体から到来する光束を集光し、その光束を撮像素子４０Ｇおよび撮像素子４０ＲＢそれぞれの撮像面に結像させる単一のレンズまたはレンズ群である。
光束分離部２０は、レンズ光学系１０から到来する光束を２系統の光路に分離するビームスプリッタであり、例えばキューブビームスプリッタやハーフミラーである。光束分離部２０を透過した光束Ｊはウォブリング光学素子３０に供給される一方、光束分離部２０のビームスプリット面で反射した光束Ｋは撮像素子４０Ｇに供給される。
ウォブリング光学素子３０は、タイミング制御部６０から供給される切換信号Ｔの信号レベル（２値）に応じて、光束Ｊをその光路を変更しないか所定方向に所定距離だけ変更するかして、光束Ｌとして出力する光路変更部である。所定方向とは、撮像素子４０ＲＢの撮像面において画素ずらしを行う方向である。また、所定距離とは、撮像素子４０ＲＢの撮像面における２画素未満に相当する距離であり、好ましくは０．５画素分に相当する距離である。本参考例では、所定距離が０．５画素分に相当する距離である場合について説明する。

撮像素子４０Ｇは、撮像面の全画素を含む領域に緑色フィルタを設けた撮像素子であり、例えばＣＭＯＳイメージセンサまたはＣＣＤイメージセンサである。撮像装置１００の１回の撮影操作にしたがって、撮像素子４０Ｇは、タイミング制御部６０から供給される撮像信号Ｓ１に基づいて光束Ｋを１回撮像し、その撮像データＧｒを記憶部５０に供給する。
撮像素子４０ＲＢは、撮像面に赤色フィルタのラインと青色フィルタのラインとを交互に設けた単板撮像素子であり、例えばＣＭＯＳイメージセンサまたはＣＣＤイメージセンサである。撮像素子４０ＲＢは、タイミング制御部６０から供給される撮像信号Ｓ２に基づいて光束Ｌを２回撮像し、それら撮像データＲＢｒを記憶部５０に供給する。ただし、撮像素子４０ＲＢが撮像する第１回目の撮像は、光束Ｌの光路が変更されず画素ずれのない状態（第１の位置）での撮像であり、この撮像時のフレームを第１フレームと呼ぶ。また、撮像素子４０ＲＢが撮像する第２回目の撮像は、光束Ｌの光路がウォブリング光学素子３０により変更されて画素ずれがある状態（第２の位置）での撮像であり、この撮像時のフレームを第２フレームと呼ぶ。画素ずれの方向は、フィルタラインの方向に直交する方向であるが、詳しくは後述する。

記憶部５０は、データの書き込みおよび読出しが可能なメモリである。記憶部５０には、撮像素子４０Ｇによって撮像データＧｒが、また撮像素子４０ＲＢによって第１フレームの撮像データＲＢｒ（第１の撮像データ）と第２フレームの撮像データＲＢｒ（第２の撮像データ）とが書き込まれて記憶される。また、記憶部５０からは、これら記憶されたデータが、デモザイキング処理部７０によって撮像データＲＧＢｒとして読み出される。
タイミング制御部６０は、撮像装置１００が備える不図示の制御部の制御に基づいて、各種タイミング信号を生成して各処理部に供給する。具体的には、タイミング制御部６０は、例えば、切換信号Ｔを生成してウォブリング光学素子３０に供給し、また撮像信号Ｓ１を生成して撮像素子４０Ｇに供給し、また撮像信号Ｓ２を生成して撮像素子４０ＲＢに供給する。
デモザイキング処理部７０は、記憶部５０から撮像データＲＧＢｒを読み込み、撮像されていない色の画素値（非撮像色値）を生成してカラー画像データＲＧＢを生成し出力する。

次に、ウォブリング光学素子３０の内部構成について説明する。図２は、ウォブリング光学素子３０の内部構成を示すブロック図である。同図に示すように、ウォブリング光学素子３０は、偏光子３１と、光位相変調素子３２と、複屈折光学素子３３とを含んで構成される。同図において、破線で表した矢印は、光束の進路の概略を示すものであり、実線で表した矢印は、電気信号の経路を示すものである。

偏光子３１は、非偏光である光束Ｊを直線偏光に変換する直線偏光子であり、本参考例では、偏光子３１は、光束Ｊを鉛直方向に振動する直線偏光に変換する。
光位相変調素子３２は、タイミング制御部６０から供給される切換信号Ｔの信号レベルに応じて、偏光子３１を通過した直線偏光を位相変調しないか位相変調するかして出力する光学素子である。具体的には、光位相変調素子３２は、切換信号Ｔがローレベル（“ＯＦＦ”）のときは、偏光子３１を通過した直線偏光を、その偏光状態を変更せずにそのまま出力する。また、光位相変調素子３２は、切換信号Ｔがハイレベル（“ＯＮ”）のときは、偏光子３１を通過した直線偏光を、その偏光状態を当該直線偏光の振動方向に直交する方向（つまり、水平方向）に振動する偏光状態に変更して出力する。

複屈折光学素子３３は、複屈折特性を有する複屈折媒体を含んで形成される光学素子である。複屈折特性は、光線が複屈折媒体を通過する際に、光線の偏光状態に応じて２種類の方向に進む性質のことである。複屈折光学素子３３に光線が入射されると、複屈折媒体の光学軸に対して垂直方向に振動する光線（常光線）は複屈折媒体中を直進し、水平方向に振動する光線（異常光線）は複屈折媒体中を屈折して斜め方向に進行する。複屈折媒体としては、水晶、方解石、ルチル、液晶等が適用可能である。

複屈折光学素子３３出力端の媒体結晶表面上における常光線の射出光軸に対する異常光線の射出光軸のずれ量（光路変位量）は、複屈折媒体の射出光軸方向の厚みを変えることによって変化する。また、光路変更方向は、常光線を回転軸とした場合の複屈折光学素子３３の回転角度を変化させることによって変化する。本参考例では、光路変更方向が撮像素子４０ＲＢの撮像面上で画素ずらしを行う方向（つまり、色フィルタのラインに直交する方向）となるように、また、光路変位量が０．５画素分の画素ずらし量になるようにウォブリング光学素子３０を設ける。

図３は、ウォブリング光学素子３０の各部における偏光状態と光路とを模式的に示す図である。同図（ａ）は、切換信号Ｔが“ＯＦＦ”状態であるときのウォブリング光学素子３０の状態を示し、同図（ｂ）は、切換信号Ｔが“ＯＮ”状態であるときのウォブリング光学素子３０の状態を示す。同図において、破線で表した矢印は、光束の進路の概略を示すものであり、実線で表した矢印は、電気信号の経路を示すものである。

図３（ａ）において、ウォブリング光学素子３０に非偏光である光束Ｊを入射すると、偏光子３１は、光束Ｊを鉛直方向に振動する直線偏光に変換する。そして、タイミング制御部６０から供給される切換信号Ｔが“ＯＦＦ”状態であるとき、光位相変調素子３２は、偏光子３１を通過して鉛直方向に振動する直線偏光を位相変調せずに透過させる。つまり、光位相変調素子３２は、鉛直方向に振動する直線偏光をその偏光状態のまま透過させる。次に、複屈折光学素子３３は、光位相変調素子３２から供給される鉛直方向に振動する直線偏光を常光線として複屈折媒体内を直進させて、光路変位量が“０”（ゼロ）である光束Ｌを出力する。

また、図３（ｂ）において、ウォブリング光学素子３０に非偏光である光束Ｊを入射すると、偏光子３１は、光束Ｊを鉛直方向に振動する直線偏光に変換する。そして、タイミング制御部６０から供給される切換信号Ｔが“ＯＮ”状態であるとき、光位相変調素子３２は、偏光子３１を通過して鉛直方向に振動する直線偏光を水平方向に振動する直線偏光に位相変調して透過させる。次に、複屈折光学素子３３は、光位相変調素子３２から供給される水平方向に振動する直線偏光を異常光線として複屈折媒体内を斜め方向に進行させて、光路変位量のある光束Ｌを出力する。

つまり、切換信号Ｔが“ＯＮ”状態であるときの光位相変調素子３２の偏光特性を数値化したミュラー行列Ｍ（ボールド体）は式（１）となる。なお、“（ボールド体）”という記載は、その直前の文字がボールド体で表されることを示し、当該文字が行列またはベクトルであることを意味する。

切換信号Ｔが“ＯＮ”状態であるとき、光位相変調素子３２に鉛直方向に振動する直線偏光、言い換えると偏光方位角が９０度である直線偏光が入射されると、位相変調後のストークスベクトルＳ（ボールド体）’（ダッシュ）は式（２）となる。すなわち、切換信号Ｔが“ＯＮ”状態であるとき、光位相変調素子３２に鉛直方向に振動する直線偏光が入射されると、水平方向に振動する直線偏光、言い換えると偏光方位角が０度である直線偏光が出力される。

次に、タイミング制御部６０が生成する出力信号の動作タイミングについて説明する。図４は、タイミング制御部６０が生成する撮像信号Ｓ１と撮像信号Ｓ２と切換信号Ｔとの動作タイミングを示す概略のタイミングチャートである。同図は、撮像装置１００の１回の撮影操作にしたがって、タイミング制御部６０が生成する信号のタイミングを示したものである。具体的には、撮像装置１００の撮影操作にしたがって、タイミング制御部６０は、撮像信号Ｓ１と撮像信号Ｓ２とに一定期間ハイレベルとなるパルスを発生する。このとき、タイミング制御部６０は、切換信号Ｔをローレベル（“ＯＦＦ”）に保持する。次に、タイミング制御部６０は、切換信号Ｔをハイレベル（“ＯＮ”）に変化させた後、撮像信号Ｓ２に一定期間ハイレベルとなるパルスを発生する。そして、タイミング制御部６０は、撮像信号Ｓ２の第２回目のパルスを発生させた後に切換信号Ｔをローレベル（“ＯＦＦ”）に変化させる。

すなわち、撮像装置１００の１回の撮影操作にしたがって、タイミング制御部６０は、撮像素子４０Ｇに１回の撮像指示を与えるとともに、撮像素子４０ＲＢに切換信号Ｔの信号レベルの異なる２回の撮像指示を与える。撮像素子４０ＲＢに供給される第１回目の撮像指示によって撮像されるフレームは第１フレームであり、第２回目の撮像指示によって撮像されるフレームは第２フレームである。前述したとおり、切換信号Ｔがローレベル（“ＯＦＦ”）であるときは、撮像素子４０ＲＢに結像されている光束Ｌは画素ずれがない状態であり、切換信号Ｔがハイレベル（“ＯＮ”）であるときは、撮像素子４０ＲＢに結像されている光束Ｌは０．５画素分の画素ずれが生じている状態である。よって、図４の動作タイミングにより、撮像素子４０ＲＢは、画素ずれのない第１フレームの撮像画像と画素ずれが生じている第２フレームの撮像画像とを撮像する。
なお、撮像信号Ｓ１のパルスは、撮像信号Ｓ２の２回のパルスのうちいずれかに同期するタイミングであってもよいし、厳密には撮像信号Ｓ１のパルスの立ち上りタイミングが撮像信号Ｓ２のパルスの立ち上がりタイミングに一致しなくてもよい。

図５は、撮像素子４０Ｇおよび撮像素子４０ＲＢそれぞれに設けられる色フィルタを模式的に示す図である。同図（ａ）は撮像素子４０Ｇの撮像面に設けられる色フィルタを表すものであり、同図（ｂ）は撮像素子４０ＲＢの撮像面に設けられる色フィルタを表すものである。同図（ａ）に示すように、撮像素子４０Ｇの撮像面上には、全画素に対応して緑色フィルタ５Ｇが設けられている。また、同図（ｂ）に示すように、撮像素子４０ＲＢの撮像面上には、Ｘ軸方向（水平方向）に一画素分の幅でありＹ軸方向（鉛直方向）に沿うライン状の赤色フィルタ５Ｒおよび青色フィルタ５ＢがＸ軸方向に交互に配列されている。前述したとおり、同図（ｂ）における画素ずらしの方向はＸ軸方向である。

次に、本参考例である撮像装置１００の動作について説明する。撮像装置１００の撮影操作にしたがって、制御部がタイミング制御部６０に撮像開始の指示を与えると、タイミング制御部６０は、図４のタイミングチャートに示すように、切換信号Ｔをローレベル（“ＯＦＦ”）に保持したまま、撮像信号Ｓ１と撮像信号Ｓ２とに一定期間ハイレベルとなるパルスを発生する。つまり、タイミング制御部６０は、撮像素子４０Ｇに光束Ｋの撮像指示を与えるとともに、撮像素子４０ＲＢに光束Ｌの撮像指示を与える。

撮像素子４０Ｇは、撮像信号Ｓ１がハイレベルである期間に、光束分離部２０から到来する光束Ｋを撮像し、その撮像データＧｒを記憶部５０に記憶させる。
一方、ウォブリング光学素子３０は、タイミング制御部６０からローレベル（“ＯＦＦ”）である切換信号Ｔの供給を受けるとともに光束分離部２０から到来する光束Ｊを受光し、その光束Ｊをその光路を変更せずに光束Ｌとして透過出力する。そして、撮像素子４０ＲＢは、撮像信号Ｓ２がハイレベルである期間に、ウォブリング光学素子３０から到来する光束Ｌを撮像し、第１フレームの撮像データＲＢｒとして記憶部５０に記憶させる。
次に、タイミング制御部６０は、切換信号Ｔをハイレベル（“ＯＮ”）に変化させた後、撮像信号Ｓ２に一定期間ハイレベルとなるパルスを発生する。つまり、タイミング制御部６０は、ウォブリング光学素子３０に光路の切換指示を与えた後、撮像素子４０ＲＢに光束Ｌの撮像指示を与える。

ウォブリング光学素子３０は、タイミング制御部６０からハイレベル（“ＯＮ”）である切換信号Ｔの供給を受けるとともに光束分離部２０から到来する光束Ｊを受光すると、その光束Ｊの光路を変更し光束Ｌとして透過出力する。そして、撮像素子４０ＲＢは、撮像信号Ｓ２がハイレベルである期間に、ウォブリング光学素子３０から到来する光束Ｌを撮像し、第２フレームの撮像データＲＢｒとして記憶部５０に記憶させる。
次に、タイミング制御部６０は、撮像信号Ｓ２の２回目のパルスを発生させた後に切換信号Ｔをローレベル（“ＯＦＦ”）に変化させる。

ここで、ウォブリング光学素子３０と撮像素子４０ＲＢとの受光状態について説明する。図６は、ウォブリング光学素子３０と撮像素子４０ＲＢとの受光状態を模式的に示す図である。同図（ａ）および（ｂ）は、撮像素子４０ＲＢの色フィルタにおけるＹ軸方向から見たウォブリング光学素子３０と撮像素子４０ＲＢとの断面を表している。同図（ａ）は、切換信号Ｔがローレベル（“ＯＦＦ”）であるときの第１フレームの受光状態を表したものであり、同図（ｂ）は、切換信号Ｔがハイレベル（“ＯＮ”）であるときの第２フレームの受光状態を表したものである。同図（ａ）に示すように、切換信号Ｔがローレベル（“ＯＦＦ”）であるときは、ウォブリング光学素子３０は、光束Ｊからの光路変位量が“０”（ゼロ）である光束Ｌを出力し、撮像素子４０ＲＢは、光束Ｌを画素ずれのない状態で撮像する。一方、同図（ｂ）に示すように、切換信号Ｔがハイレベル（“ＯＮ”）であるときは、ウォブリング光学素子３０は、光束Ｊからの光路変位量が０．５画素分の距離である光束Ｌを出力し、撮像素子４０ＲＢは、０．５画素分の画素ずれのある光束Ｌを撮像する。

次に、撮像素子４０ＲＢの撮像面でのＹ軸上任意の位置におけるＸ軸方向の画素の並びと、この画素の並び位置と同位置である撮像素子４０Ｇの撮像面での画素の並びとに着目し、デモザイキング処理部７０による一次元のデモザイキング処理について説明する。記憶部５０に記憶された第１フレームの撮像データＲＢｒと第２フレームの撮像データＲＢｒとにおけるある１ラインの一次元の画素値をｆ（ｎ）（ｎ＝０，１，２，・・・）とすると、画素の位置を表すｎの内訳は次のとおりである。
ｎ＝０，２， ４，・・・ ： 第１フレームの画素に対応する位置
ｎ＝０，４， ８，・・・ ： 第１フレームにおける赤色フィルタに対応する画素の位置
ｎ＝２，６，１０，・・・ ： 第１フレームにおける青色フィルタに対応する画素の位置
ｎ＝１，３， ５，・・・ ： 第２フレームの画素に対応する位置
ｎ＝１，５， ９，・・・ ： 第２フレームにおける赤色フィルタに対応する画素の位置
ｎ＝３，７，１１，・・・ ： 第２フレームにおける青色フィルタに対応する画素の位置
すなわち、ｆ（ｎ）は、一次元において単一フレームの赤色フィルタまたは青色フィルタに対応する画素の解像度の２倍の解像度を有している。

デモザイキング処理部７０が記憶部５０から読み込むｆ（ｎ）に基づきデモザイキング処理を行って生成するカラー撮像データＲＧＢの画素値を、ｆ_Ｒ（ｎ），ｆ_Ｇ（ｎ），ｆ_Ｂ（ｎ）とする。ｆ_Ｒ（ｎ）は赤色の画素値であり、ｆ_Ｇ（ｎ）は緑色の画素値であり、ｆ_Ｂ（ｎ）は青色の画素値である。デモザイキング処理部７０は、デモザイキング処理の初期段階では、表１の撮像データを得る。なお、表１は、画素の位置がｎ＝０，１，２，・・・，１１である画素値を示したものである。

デモザイキング処理部７０は、表１における空欄部分の画素値を推定して求めるものである。次に、デモザイキング処理部７０が、表１における空欄部分の画素値を求める方法について、画素の位置がｎ＝２である場合について説明する。
まず、デモザイキング処理部７０は、表１におけるｆ（ｎ）を確定した画素値（撮像色値）として記憶する。よって、デモザイキング処理部７０は表２の撮像データを得る。

表２において、空欄に相当するｆ_Ｒ（２）は、隣接するｆ_Ｒ（１）の影響を受ける。これは、第２フレームの画素値であるｆ_Ｒ（１）の画素位置は、第１フレームの画素値であるｆ_Ｒ（２）の画素位置に対して０．５画素分だけ重複するようにずれているためである。ここで、仮想的にｆ_Ｒ（ｎ）が二つの画素値ｆ_Ｒ（ｎ）_Ｒおよびｆ_Ｒ（ｎ）_Ｌからなるとすると、ｆ_Ｒ（１）およびｆ_Ｒ（２）は、図７に示すように表される。同図に示すように、ｆ_Ｒ（２）_Ｒは隣接するｆ_Ｒ（１）の半画素であるため、デモザイキング処理部７０は、ｆ_Ｒ（２）_Ｒを下記の式（３）で近似する。

一方、ｆ_Ｒ（２）_Ｌには下記の式（４）の制限がある。

よって、式（３）および式（４）より、ｆ_Ｒ（２）のとり得る画素値の範囲は、下記の式（５）である。

本参考例では、近傍画素において色味が変化しないことを前提として、デモザイキング処理部７０が非撮像色値を推定する。本参考例では、デモザイキング処理部７０は、色味である赤みＣ_Ｒ（ｎ）、緑みＣ_Ｇ（ｎ）、および青みＣ_Ｂ（ｎ）を下記の式（６）により計算する。式（６）は、当該画素の色値と、当該画素の近傍画素の画素値から内挿する値との差分値に基づき、その差分値が正値として大きいほど当該画素の色の色味であり、その差分値が負値として大きいほど当該画素の色の逆の色味であり、またその差分値が“０”（ゼロ）に近いほど色味がないことを意味する。

式（６）において、例えば、Ｃ_Ｒ（ｎ）を例とすると、ｆ_Ｒ（ｎ）は当該画素位置における実際の赤色の画素値であり、［ｆ_Ｒ（ｎ）］は近傍画素の画素値から内挿した値である。Ｃ_Ｒ（ｎ），Ｃ_Ｇ（ｎ），Ｃ_Ｂ（ｎ）のいずれとも、最大値は１．０であり、最小値は−１．０である。

例えば、表２において、画素（ｎ＝２）においては、緑色および青色の画素値は既知であり、これらは色味の変化がないとの前提であるため、デモザイキング処理部７０は、ｆ_Ｒ（２）がｆ_Ｇ（２）とｆ_Ｂ（２）との平均値に等しいと推定する。すなわち、画素（ｎ＝１）における内挿の値および赤みは式（７）で示される。

式（７）による赤みＣ_Ｒ（１）が隣接する画素（ｎ＝２）においても類似色であるとの前提に基づいて、デモザイキング処理部７０はｆ_Ｒ（２）を計算する。前述したとおり、Ｃ_Ｒ（１）は最大値が１．０（このとき、ｆ_Ｒ（１）が大きい）であり、最小値が−１．０（このとき、ｆ_Ｒ（１）が小さい）である。また、Ｃ_Ｒ（１）が０である場合は無彩色であり、このときｆ_Ｒ（２）はｆ_Ｇ（２）とｆ_Ｂ（２）との平均値である。なお、以下の説明において、ｆ_Ｇ（ｎ）とｆ_Ｂ（ｎ）との平均値を、ｆ_Ｇ／Ｂ（ｎ）と表記する。
ここで、ｆ_Ｇ／Ｂ（ｎ）と式（５）とに基づいて下記の式（８）に示すように場合分けを行う。

式（８）を表２に適用するために一般化したｆ_Ｒ（ｎ）の式は下記の式（９）となる。

また、これと同様に一般化したｆ_Ｂ（ｎ）の式は下記の式（１０）となる。

また、Ｃ_Ｒ（ｎ），Ｃ_Ｂ（ｎ）の内挿は帯域を半分にする低域通過型の補間であり、デモザイキング処理部７０は、内挿された値であるＣ’_Ｒ（ｎ），Ｃ’_Ｇ（ｎ），Ｃ’_Ｂ（ｎ）を、例えば下記の式（１１）により計算する。

すなわち、デモザイキング処理部７０は、撮像色値を有する画素に対して、隣接する画素の非撮像色値に色味があるか否かを判定し、色味があると判定した場合は、どのような系統の色味であるかを推定するものである。

次に、本参考例における偽色の改善効果について説明する。図８は、第１の被写体サンプルを撮像する場合の、ウォブリング光学素子３０と撮像素子４０ＲＢとの受光状態を模式的に示す図である。同図（ａ）および（ｂ）は、撮像素子４０ＲＢの色フィルタにおけるＹ軸方向から見たウォブリング光学素子３０と撮像素子４０ＲＢとの断面を表している。第１の被写体サンプルは、Ｙ軸方向に沿う赤色ラインと青色ラインとが交互に設けられた縞模様である。そして、第１の被写体サンプルの縞模様のピッチと色フィルタの赤色ラインおよび青色ラインのピッチとは、色が同相となる位相関係を有して一致する。
本参考例である撮像装置１００がウォブリング光学素子３０を設けていない場合、撮像装置１００が出力する撮像画像は、赤色値＝１、青色値＝１、緑色値＝０の画像処理結果であるマゼンタ色となる。

本参考例において、図８（ａ）は、切換信号Ｔがローレベル（“ＯＦＦ”）であるときの第１フレームの受光状態を表したものであり、同図（ｂ）は、切換信号Ｔがハイレベル（“ＯＮ”）であるときの第２フレームの受光状態を表したものである。同図（ａ）に示すように、切換信号Ｔがローレベル（“ＯＦＦ”）であるときは、ウォブリング光学素子３０は、光束Ｊからの光路変位量が“０”（ゼロ）である光束Ｌを出力し、撮像素子４０ＲＢは、光束Ｌを画素ずれのない状態で撮像する。つまり、ｆ_Ｒ（ｎ）はｎ＝０，４，８，・・・、ｆ_Ｂ（ｎ）はｎ＝２，６，１０，・・・に対応する。一方、同図（ｂ）に示すように、切換信号Ｔがハイレベル（“ＯＮ”）であるときは、ウォブリング光学素子３０は、光束Ｊからの光路変位量が０．５画素分の距離である光束Ｌを出力し、撮像素子４０ＲＢは、０．５画素分の変位量がある光束Ｌを撮像する。つまり、ｆ_Ｒ（ｎ）はｎ＝１，５，９，・・・、ｆ_Ｂ（ｎ）はｎ＝３，７，１１，・・・に対応する。

図８の撮像状態においてデモザイキング処理部７０が得る撮像データの確定値および色味は表３となる。なお、表３において、ｆ_Ｇ（ｎ）は全て“０”（ゼロ）であるため記載を省略する。

また、表３の確定値および色味に基づいてデモザイキング処理部７０が計算する内挿の値であるＣ’_Ｒ（ｎ），Ｃ’_Ｂ（ｎ）と画素値の推定値とは表４である。この表４によれば、撮像装置１００は、縞模様のピッチと色フィルタの赤色ラインおよび青色ラインのピッチとが同相となる位置関係では大きな偽色のない撮像画像データを出力している。

また、図９は、第２の被写体サンプルを撮像する場合の、ウォブリング光学素子３０と撮像素子４０ＲＢとの受光状態を模式的に示す図である。同図において、第２の被写体サンプルは、Ｙ軸方向に沿う赤色ラインと青色ラインとが交互に設けられた縞模様である。そして、第２の被写体サンプルの縞模様のピッチと色フィルタの赤色ラインおよび青色ラインのピッチとは、色が逆相となる位相関係を有して一致する。
本参考例である撮像装置１００がウォブリング光学素子３０を設けていない場合、撮像装置１００が出力する撮像画像は、赤色値＝０、青色値＝０、緑色値＝０の画像処理結果である黒色となる。第２の被写体サンプルは、図８の場合と同様にマゼンタ色が生ずべき被写体であるため、その黒色が偽色である。

本参考例では、図９の撮像状態においてデモザイキング処理部７０が得る撮像データの確定値および色味は表５となる。なお、表３において、ｆ_Ｇ（ｎ）は全て“０”（ゼロ）であるため記載を省略する。

また、表５の確定値および色味に基づいてデモザイキング処理部７０が計算する内挿の値であるＣ’_Ｒ（ｎ），Ｃ’_Ｂ（ｎ）と画素値の推定値とは表６である。この表６によれば、撮像装置１００は、偽色（黒色）を大幅に改善して撮像画像データを出力している。

すなわち、本参考例である撮像装置１００は、デモザイキング処理部７０による補間誤差を少なくし、偽色による画質劣化の程度を低く抑えることができる。

［第１の実施の形態］
次に、上述した参考例を踏まえ、本発明の第１実施形態である撮像装置について説明する。本実施形態である撮像装置は、ベイヤ配列の色フィルタを有する単板撮像素子を備えてカラー静止画を撮像するカメラ装置である。そして、この撮像装置は、画素ずれを生じさせた被写体像を２回撮像することにより得られる二つの撮像画像に基づいて、モザイキング処理を行って一つのカラー静止画を生成するものである。
なお、本実施形態の説明において、参考例と同一の構成については同一の符号を付してその説明を省略する。

図１０は、本実施形態である撮像装置の機能構成を示すブロック図である。同図に示すように、撮像装置１００ａは、レンズ光学系１０と、ウォブリング光学素子３０と、撮像素子４０と、記憶部５０と、タイミング制御部６０ａと、デモザイキング処理部７０とを備える。同図において、破線および破線で表した矢印は、光束の進路の概略を示すものであり、実線で表した矢印は、電気信号の経路を示すものである。

撮像素子４０は、撮像面にベイヤ配列のＲＧＢ三原色フィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）を設けた単板撮像素子であり、例えばＣＭＯＳイメージセンサまたはＣＣＤイメージセンサである。
撮像素子４０は、タイミング制御部６０ａから供給される撮像信号Ｓに基づいて光束Ｌを２回撮像し、それら撮像データＲＧＢｒを記憶部５０に供給する。ただし、撮像素子４０が撮像する第１回目の撮像は、光束Ｌの光路が変更されず画素ずれのない状態での撮像であり、この撮像時のフレームを第１フレームと呼ぶ。また、撮像素子４０が撮像する第２回目の撮像は、光束Ｌの光路が変更されて画素ずれがある状態での撮像であり、この撮像時のフレームを第２フレームと呼ぶ。

タイミング制御部６０ａは、撮像装置１００ａが備える不図示の制御部の制御に基づいて、各種タイミング信号を生成して各処理部に供給する。具体的には、タイミング制御部６０ａは、例えば、切換信号Ｔを生成してウォブリング光学素子３０に供給し、また撮像信号Ｓを生成して撮像素子４０に供給する。

次に、タイミング制御部６０ａが生成する出力信号の動作タイミングについて説明する。図１１は、タイミング制御部６０ａが生成する撮像信号Ｓおよび切換信号Ｔの動作タイミングを示す概略のタイミングチャートである。同図は、撮像装置１００ａの１回の撮影操作にしたがって、タイミング制御部６０ａが生成する信号のタイミングを示したものである。具体的には、撮像装置１００ａの撮影操作にしたがって、タイミング制御部６０ａは、撮像信号Ｓに一定期間ハイレベルとなるパルスを発生する。このとき、タイミング制御部６０ａは、切換信号Ｔをローレベル（“ＯＦＦ”）に保持する。次に、タイミング制御部６０ａは、切換信号Ｔをハイレベル（“ＯＮ”）に変化させた後、撮像信号Ｓに一定期間ハイレベルとなるパルスを発生する。そして、タイミング制御部６０ａは、撮像信号Ｓの第２回目のパルスを発生させた後に切換信号Ｔをローレベル（“ＯＦＦ”）に変化させる。

すなわち、撮像装置１００ａの１回の撮影操作にしたがって、タイミング制御部６０ａは、撮像素子４０に対して、切換信号Ｔの信号レベルの異なる２回の撮像指示を与える。撮像素子４０に供給される第１回目の撮像指示によって撮像されるフレームは第１フレームであり、第２回目の撮像指示によって撮像されるフレームは第２フレームである。前述したとおり、切換信号Ｔがローレベル（“ＯＦＦ”）であるときは、撮像素子４０に結像されている光束Ｌは画素ずれがない状態であり、切換信号Ｔがハイレベル（“ＯＮ”）であるときは、撮像素子４０に結像されている光束Ｌは０．５画素分の画素ずれが生じている状態である。よって、図１１の動作タイミングにより、撮像素子４０は、画素ずれのない第１フレームの画像と画素ずれが生じている第２フレームの画像とを撮像する。

図１２は、撮像素子４０に設けられるＲＧＢ三原色フィルタを模式的に示す図である。同図に示すように、撮像素子４０の撮像面上には、ＲフィルタおよびＧフィルタをＸ軸方向に交互に配置した第１のラインと、ＧフィルタおよびＢフィルタをＸ軸方向（水平方向）に交互に配置した第２のラインとが、Ｇフィルタの配置が市松模様状となるようにＹ軸方向（鉛直方向）に交互に配置されている。本実施形態における画素ずらしの方向はＸ軸方向である。

次に、第１実施形態である撮像装置１００ａの動作について説明する。撮像装置１００ａの撮影操作にしたがって、制御部がタイミング制御部６０ａに撮像開始の指示を与えると、タイミング制御部６０ａは、図１１のタイミングチャートに示すように、切換信号Ｔをローレベル（“ＯＦＦ”）に保持したまま、撮像信号Ｓに一定期間ハイレベルとなるパルスを発生する。
ウォブリング光学素子３０は、タイミング制御部６０ａからローレベル（“ＯＦＦ”）である切換信号Ｔの供給を受けるとともにレンズ光学系１０から到来する光束Ｊを受光し、その光束Ｊをその光路を変更せずに光束Ｌとして透過出力する。そして、撮像素子４０は、撮像信号Ｓがハイレベルである期間に、ウォブリング光学素子３０から到来する光束Ｌを撮像し、第１フレームの撮像データＲＧＢｒとして記憶部５０に記憶させる。
次に、タイミング制御部６０ａは、切換信号Ｔをハイレベル（“ＯＮ”）に変化させた後、撮像信号Ｓに一定期間ハイレベルとなるパルスを発生する。つまり、タイミング制御部６０ａは、ウォブリング光学素子３０に光路の切換指示を与えた後、撮像素子４０に光束Ｌの撮像指示を与える。

ウォブリング光学素子３０は、タイミング制御部６０ａからハイレベル（“ＯＮ”）である切換信号Ｔの供給を受けるとともにレンズ光学系１０から到来する光束Ｊを受光すると、その光束Ｊの光路を変更し光束Ｌとして透過出力する。そして、撮像素子４０は、撮像信号Ｓがハイレベルである期間に、ウォブリング光学素子３０から到来する光束Ｌを撮像し、第２フレームの撮像データＲＧＢｒとして記憶部５０に記憶させる。第２フレームでの画素の位置は、図１２においてＸ軸方向に０．５画素ずれた位置である。
次に、タイミング制御部６０ａは、撮像信号Ｓの２回目のパルスを発生させた後に切換信号Ｔをローレベル（“ＯＦＦ”）に変化させる。

次に、デモザイキング処理部７０のデモザイキング処理について説明する。デモザイキング処理部７０が記憶部５０から読み込む第１フレームおよび第２フレームの撮像データＲＧＢｒに基づきデモザイキング処理を行って生成するカラー撮像データＲＧＢの画素値を、ｆ_Ｒ（ｍ，ｎ），ｆ_Ｇ（ｍ，ｎ），ｆ_Ｂ（ｍ，ｎ） （ｍ＝０，１，２，・・・，ｎ＝０，１，２，・・・）とすると、画素の位置を表すｍ，ｎの内訳は次のとおりである。
ｍ＝偶数 ： 第１フレームの画素に対応する位置
ｍ＝奇数 ： 第２フレームの画素に対応する位置
ｍ＝４ｈ ，４ｈ＋１、ｎ＝偶数 ： 赤色の画素値ｆ_Ｒ（ｍ，ｎ）の位置
ｍ＝４ｈ＋２，４ｈ＋３、ｎ＝偶数 ： 緑色の画素値ｆ_Ｇ（ｍ，ｎ）の位置
ｍ＝４ｈ ，４ｈ＋１、ｎ＝奇数 ： 緑色の画素値ｆ_Ｇ（ｍ，ｎ）の位置
ｍ＝４ｈ＋２，４ｈ＋３、ｎ＝奇数 ： 青色の画素値ｆ_Ｂ（ｍ，ｎ）の位置
ｈ＝０，１，２，３，・・・

デモザイキング処理部７０は、デモザイキング処理の初期段階では、表７および表８の撮像データを得る。表７は第１フレームの撮像データを表し、表８は第２フレームの撮像データを表す。なお、表７および表８ともに、撮像データの部分データを表している。

本実施形態におけるデモザイキング処理部７０は、参考例における式（９）および式（１０）を二次元に展開した下記の式（１２）および式（１３）を計算する。

デモザイキング処理部７０が式（１２）および式（１３）を計算した結果を前記の表７および表８の空欄部分に代入して得られる表を下記の表９に示す。

表９によれば、いずれの画素においても二色の画素値が得られているため、デモザイキング処理部７０は、参考例と同様に内挿を行って画素値の推定を行うことができる。

本実施形態である撮像装置１００ａは、１回の撮影操作にしたがって、ウォブリング光学素子３０によりウォブリングされた光束Ｌを２回撮像し、二つの撮像画像に基づいて非撮像色値の色味の存否を判定し、当該色味が存在すると判定した場合にどのような系統の色成分であるかを推定するようにした。これにより、本実施形態である撮像装置１００ａは、偽色の推定誤差を少なくして偽色による画質劣化の程度を低く抑えることができる。

なお、本実施形態では画素ずらしの方向を図１２におけるＸ軸方向としたが、画素ずらしの方向をＹ軸方向としてもよい。

［第１の実施の形態の変形例］
次に、前述した参考例を踏まえ、第１実施形態の変形例である撮像装置について説明する。第１実施形態における撮像装置１００ａは、第１フレームに対して第２フレームをＸ軸方向に０．５画素分の距離をずらして撮像するものであったが、第１実施形態の変形例における撮像装置は、第１フレームに対して第２フレームをＸ軸方向およびＹ軸方向それぞれに０．５画素分の距離をずらして撮像するものである。
本変形例における撮像装置の構成は、第１実施形態における撮像装置１００ａの構成と同一である。よって、本変形例における撮像装置を撮像装置１００ａとして説明する。

本変形例における撮像装置１００ａでは、ウォブリング光学素子３０は、光路変更方向と光路変位量とを、撮像素子４０の撮像面上で画素ずらしを行う方向（つまり、ＲＧＢ三原色フィルタにおけるＸ軸方向を基準としてＹ軸方向に４５度の方向）と、Ｘ軸方向およびＹ軸方向それぞれに０．５画素分の画素ずらし量とに合うように設ける。
本変形例における撮像装置１００ａの他の構成については、第１実施形態における撮像装置１００ａの構成と同一であるため、当該他の構成についての説明を省略する。
また、本変形例における撮像装置１００ａの動作概要については、第１実施形態における撮像装置１００ａの動作と同一であるため、本変形例における撮像装置１００ａの動作概要の説明を省略する。

次に、デモザイキング処理部７０のデモザイキング処理について説明する。本変形例において、画素の位置を表すｍ，ｎの内訳は次のとおりである。
ｍ＝偶数、ｎ＝偶数 ： 第１フレームの画素に対応する位置
ｍ＝奇数、ｎ＝奇数 ： 第２フレームの画素に対応する位置
ｍ＝４ｈ 、ｎ＝４ｋ ： 赤色の画素値ｆ_Ｒ（ｍ，ｎ）の位置
ｍ＝４ｈ＋１、ｎ＝４ｋ＋１ ： 赤色の画素値ｆ_Ｒ（ｍ，ｎ）の位置
ｍ＝４ｈ＋２、ｎ＝４ｋ ： 緑色の画素値ｆ_Ｇ（ｍ，ｎ）の位置
ｍ＝４ｈ＋３、ｎ＝４ｋ＋１ ： 緑色の画素値ｆ_Ｇ（ｍ，ｎ）の位置
ｍ＝４ｈ 、ｎ＝４ｋ＋２ ： 緑色の画素値ｆ_Ｇ（ｍ，ｎ）の位置
ｍ＝４ｈ＋１、ｎ＝４ｋ＋３ ： 緑色の画素値ｆ_Ｇ（ｍ，ｎ）の位置
ｍ＝４ｈ＋２、ｎ＝４ｋ＋２ ： 青色の画素値ｆ_Ｂ（ｍ，ｎ）の位置
ｍ＝４ｈ＋３、ｎ＝４ｋ＋３ ： 青色の画素値ｆ_Ｂ（ｍ，ｎ）の位置
ｈ＝０，１，２，・・・、ｋ＝０，１，２，・・・

デモザイキング処理部７０は、デモザイキング処理の初期段階では、表１０および表１１の撮像データを得る。表１０は第１フレームの撮像データを表し、表１１は第２フレームの撮像データを表す。なお、表１０および表１１ともに、撮像データの部分データを表している。

例えば、表１０において、画素（ｍ＝１，ｎ＝１）における赤みＣ_Ｒ（１，１）および内挿の値［ｆ_Ｒ（１，１）］は、前記の式（７）に基づくと下記の式（１４）のように表される。

参考例における式（９）に対応して、本変形例のデモザイキング処理部７０は下記の式（１５）を計算する。なお、式（１５）中に示される分数の分母が“４”であるのは、画素の重複の割合が１／４であるためである。

また、参考例における式（１０）に対応して、本変形例のデモザイキング処理部７０は下記の式（１６）を計算する。なお、式（１６）中に示される分数の分母が“４”であるのは、画素の重複の割合が１／４であるためである。

また、ｆ_Ｇ（ｍ，ｎ）は、下記の式（１７）のように表される。

前記の第１の被写体サンプルを撮像した場合に、デモザイキング処理部７０がデモザイキング処理の初期段階で得る画素値と、当該画素におけるＣ_Ｒ（ｍ，ｎ），Ｃ_Ｇ（ｍ，ｎ），Ｃ_Ｂ（ｍ，ｎ）とを表１２に示す。なお、表１２中では、Ｃ_Ｒ（ｍ，ｎ），Ｃ_Ｇ（ｍ，ｎ），Ｃ_Ｂ（ｍ，ｎ）をそれぞれＣＲ，ＣＧ，ＣＢと略記する。また、下線が付されるデータは、デモザイキング処理部７０によって計算されるデータであることを示している。

また、前記の第２の被写体サンプルを撮像した場合に、デモザイキング処理部７０がデモザイキング処理の初期段階で得る画素値と、当該画素におけるＣ_Ｒ（ｍ，ｎ），Ｃ_Ｇ（ｍ，ｎ），Ｃ_Ｂ（ｍ，ｎ）とを表１３に示す。なお、表１３中でも、Ｃ_Ｒ（ｍ，ｎ），Ｃ_Ｇ（ｍ，ｎ），Ｃ_Ｂ（ｍ，ｎ）をそれぞれＣＲ，ＣＧ，ＣＢと略記する。また、下線が付されるデータは、デモザイキング処理部７０によって計算されるデータであることを示している。

表１２に対応して、デモザイキング処理部７０が、前記の式（１５）から式（１７）までを計算することによって得る撮像データを表１４に示す。

また、表１３に対応して、デモザイキング処理部７０が、前記の式（１５）から式（１７）までを計算することによって得る撮像データを表１５に示す。

表１４および表１５によれば、本変形例である撮像装置１００ａは、第１および第２の被写体サンプルを撮像して得た撮像画像においても、偽色による画質劣化の程度を低く抑えることができる。

［第２の実施の形態］
本発明の第２実施形態である撮像装置について説明する。前述した第１実施形態における撮像装置１００ａは、ウォブリング光学素子３０によってウォブリングされた光束Ｌを撮像することによって色味の存否を判定し、当該色味が存在すると判定した場合にどのような系統の色成分であるかを推定するものであった。本発明の第２実施形態である撮像装置は、ウォブリング光学素子を低域通過型フィルタとして用いてぼけた画像を撮像し、偽色の成分を削減するものである。
なお、本実施形態の説明において、参考例または第１実施形態と同一の構成については同一の符号を付してその説明を省略する。

図１３は、本実施形態である撮像装置の機能構成を示すブロック図である。同図に示すように、撮像装置２００は、レンズ光学系１０と、ウォブリング光学素子（結像位置変更部）３０ａと、撮像素子４０と、記憶部５０と、タイミング制御部６０ａと、デモザイキング処理部７０とを備える。同図において、破線および破線で表した矢印は、光束の進路の概略を示すものであり、実線で表した矢印は、電気信号の経路を示すものである。

ウォブリング光学素子３０ａは、タイミング制御部６０ａから供給される切換信号Ｔの信号レベル（２値）に応じて、光束Ｊを光学的な低域通過型フィルタを介さずに透過させるか低域通過型フィルタを介して透過させるかして、光束Ｌとして出力する光学フィルタ部である。
撮像素子４０は、第１実施形態における撮像素子４０と同一のものである。ただし、本実施形態における撮像素子４０が撮像する第１回目の撮像は、低域通過型フィルタを通した状態（第１および第２の位置）での撮像であり、この撮像時のフレームを第１フレームと呼ぶ。また、撮像素子４０が撮像する第２回目の撮像は、低域通過型フィルタを通さない状態（第１の位置）での撮像であり、この撮像時のフレームを第２フレームと呼ぶ。

次に、ウォブリング光学素子３０ａの内部構成について説明する。図１４は、ウォブリング光学素子３０ａの内部構成を示すブロック図である。同図に示すように、ウォブリング光学素子３０ａは、偏光子３１と、光位相変調素子３２ａと、複屈折光学素子３３とを含んで構成される。同図において、破線で表した矢印は、光束の進路の概略を示すものであり、実線で表した矢印は、電気信号の経路を示すものである。

光位相変調素子３２ａは、タイミング制御部６０ａから供給される切換信号Ｔの信号レベルに応じて、偏光子３１を通過した直線偏光を位相変調するか位相変調しないかして出力する光学素子である。具体的には、光位相変調素子３２は、切換信号Ｔがハイレベル（“ＯＮ”）のときは、偏光子３１を通過した直線偏光を、例えば右円偏光に変更して出力する。また、光位相変調素子３２ａは、切換信号Ｔがローレベル（“ＯＦＦ”）のときは、偏光子３１を通過した直線偏光を、その偏光状態を変更せずにそのまま出力する。

複屈折光学素子３３は、参考例における複屈折光学素子３３と同一のものである。ただし、切換信号Ｔがハイレベル（“ＯＮ”）であるときに本実施形態の複屈折光学素子３３に入射される光線は右円偏光であるため、光線は、その鉛直方向成分が複屈折媒体中を直進し、水平方向成分が複屈折媒体中を屈折して斜め方向に進行する。つまり、本実施形態においては、切換信号Ｔがハイレベル（“ＯＮ”）であるときに複屈折光学素子３３から射出される光線は、入射光の直進光の成分と屈折光の成分とを含んでいる。

図１５は、ウォブリング光学素子３０ａの各部における偏光状態と光路とを模式的に示す図である。同図（ａ）は、切換信号Ｔが“ＯＮ”状態であるときのウォブリング光学素子３０ａの状態を示し、同図（ｂ）は、切換信号Ｔが“ＯＦＦ”状態であるときのウォブリング光学素子３０ａの状態を示す。同図において、破線で表した矢印は、光束の進路の概略を示すものであり、実線で表した矢印は、電気信号の経路を示すものである。

図１５（ａ）において、ウォブリング光学素子３０ａに非偏光である光束Ｊを入射すると、偏光子３１は、光束Ｊを鉛直方向に振動する直線偏光に変換する。そして、タイミング制御部６０ａから供給される切換信号Ｔが“ＯＮ”状態であるとき、光位相変調素子３２ａは、偏光子３１を通過した鉛直方向に振動する直線偏光を右円偏光に位相変調して透過させる。次に、複屈折光学素子３３は、光位相変調素子３２ａから供給される右円偏光のうち、鉛直方向成分を位相変調せずに透過させて光路変位量が“０”（ゼロ）である光束を出力するとともに、水平方向成分を異常光線として複屈折媒体内を斜め方向に進行させて光路変位量のある光束を出力する。これら両光束が光束Ｌである。

また、図１５（ｂ）において、ウォブリング光学素子３０ａに非偏光である光束Ｊを入射すると、偏光子３１は、光束Ｊを鉛直方向に振動する直線偏光に変換する。そして、タイミング制御部６０ａから供給される切換信号Ｔが“ＯＦＦ”状態であるとき、光位相変調素子３２ａは、偏光子３１を通過した鉛直方向に振動する直線偏光を位相変調せずに透過させる。つまり、光位相変調素子３２ａは、鉛直方向に振動する直線偏光をその偏光状態のまま透過させる。次に、複屈折光学素子３３は、光位相変調素子３２ａから供給される鉛直方向に振動する直線偏光を常光線として複屈折媒体内を直進させて、光路変位量が“０”（ゼロ）である光束Ｌを出力する。

つまり、切換信号Ｔが“ＯＮ”状態であるときの光位相変調素子３２ａの偏光特性を数値化したミュラー行列Ｍ（ボールド体）は式（１８）となる。

切換信号Ｔが“ＯＮ”状態であるとき、光位相変調素子３２ａに鉛直方向に振動する直線偏光、言い換えると偏光方位角が９０度である直線偏光が入射されると、位相変調後のストークスベクトルＳ（ボールド体）’（ダッシュ）は式（１９）となる。すなわち、切換信号Ｔが“ＯＮ”状態であるとき、光位相変調素子３２ａに鉛直方向に振動する直線偏光が入射されると右円偏光が出力される。

次に、タイミング制御部６０ａが生成する出力信号の動作タイミングについて説明する。図１６は、タイミング制御部６０ａが生成する撮像信号Ｓおよび切換信号Ｔの動作タイミングを示す概略のタイミングチャートである。同図は、撮像装置２００の１回の撮影操作にしたがって、タイミング制御部６０ａが生成する信号のタイミングを示したものである。具体的には、撮像装置２００の撮影操作にしたがって、タイミング制御部６０ａは、切換信号Ｔをハイレベル（“ＯＮ”）に変化させた後、撮像信号Ｓに一定期間ハイレベルとなるパルスを発生する。次に、タイミング制御部６０ａは、切換信号Ｔをローレベル（“ＯＦＦ”）に変化させた後、撮像信号Ｓに一定期間ハイレベルとなる２回目のパルスを発生する。

すなわち、撮像装置２００の１回の撮影操作にしたがって、タイミング制御部６０ａは、撮像素子４０に対して、切換信号Ｔの信号レベルの異なる２回の撮像指示を与える。撮像素子４０に供給される第１回目の撮像指示によって撮像されるフレームは第１フレームであり、第２回目の撮像指示によって撮像されるフレームは第２フレームである。前述したとおり、切換信号Ｔがハイレベル（“ＯＮ”）であるときは、撮像素子４０に結像されている光束Ｌは低域通過型フィルタを通した状態のものであり、切換信号Ｔがローレベル（“ＯＦＦ”）であるときは、撮像素子４０に結像されている光束Ｌは低域通過型フィルタを通していない状態のものである。よって、図１６の動作タイミングにより、撮像素子４０は、光学的にぼけのある状態の第１フレームの画像と、ぼけがない状態の第２フレームの画像とを撮像する。

次に、第２実施形態である撮像装置２００の動作について説明する。撮像装置２００の撮影操作にしたがって、制御部がタイミング制御部６０ａに撮像開始の指示を与えると、タイミング制御部６０ａは、図１６のタイミングチャートに示すように、切換信号Ｔをハイレベル（“ＯＮ”）に変化させた後、撮像信号Ｓに一定期間ハイレベルとなるパルスを発生する。
ウォブリング光学素子３０ａは、タイミング制御部６０ａからハイレベル（“ＯＮ”）である切換信号Ｔの供給を受けるとともにレンズ光学系１０から到来する光束Ｊを受光し、その光束Ｊを低域通過型フィルタを介し光束Ｌとして透過出力する。そして、撮像素子４０は、撮像信号Ｓがハイレベルである期間に、ウォブリング光学素子３０ａから到来する光束Ｌを撮像し、第１フレームの撮像データＲＧＢｒ（第１の撮像データ）として記憶部５０に記憶させる。
次に、タイミング制御部６０ａは、切換信号Ｔをローレベル（“ＯＦＦ”）に変化させた後、撮像信号Ｓに一定期間ハイレベルとなるパルスを発生する。つまり、タイミング制御部６０ａは、ウォブリング光学素子３０ａに低域通過型フィルタを解除する切換指示を与えた後、撮像素子４０に光束Ｌの撮像指示を与える。

ウォブリング光学素子３０ａは、タイミング制御部６０ａからローレベル（“ＯＦＦ”）である切換信号Ｔの供給を受けるとともにレンズ光学系１０から到来する光束Ｊを受光すると、その光束Ｊを低域通過型フィルタを介さずに透過出力する。そして、撮像素子４０は、撮像信号Ｓがハイレベルである期間に、ウォブリング光学素子３０ａから到来する光束Ｌを撮像し、第２フレームの撮像データＲＧＢｒ（第２の撮像データ）として記憶部５０に記憶させる。

次に、デモザイキング処理部７０のデモザイキング処理について説明する。この説明において、デモザイキング処理部７０が記憶部５０から読み込む撮像データＲＧＢｒにおいて、第１フレームの撮像データＲＧＢｒの画素値をｇ_Ｒ（ｎ，ｍ），ｇ_Ｇ（ｎ，ｍ），ｇ_Ｂ（ｎ，ｍ） （ｍ＝０，１，２，・・・，ｎ＝０，１，２，・・・）と表記し、第２フレームの撮像データＲＧＢｒの画素値をｆ_Ｒ（ｎ，ｍ），ｆ_Ｇ（ｎ，ｍ），ｆ_Ｂ（ｎ，ｍ）と表記する。画素位置は（ｎ，ｍ）で示される。ｇ_Ｒ（ｎ，ｍ），ｇ_Ｇ（ｎ，ｍ），ｇ_Ｂ（ｎ，ｍ）およびｆ_Ｒ（ｎ，ｍ），ｆ_Ｇ（ｎ，ｍ），ｆ_Ｂ（ｎ，ｍ）ともに、画素単位ではベイヤ配列によるサンプリングとなるため各画素は、青色、緑色、または青色いずれかの値しか有しないが、第２フレームの画像値であるｆ_Ｒ（ｎ，ｍ），ｆ_Ｇ（ｎ，ｍ），ｆ_Ｂ（ｎ，ｍ）は像がぼけているため、いずれの画素位置（ｎ，ｍ）においてもｇ_Ｒ（ｎ，ｍ），ｇ_Ｇ（ｎ，ｍ），ｇ_Ｂ（ｎ，ｍ）は赤色、緑色、および青色の全色についての値を有する。

すなわち、画素位置（ｎ，ｍ）においてｆ_Ｒ（ｎ，ｍ）が画素値を有している場合のｆ_Ｇ（ｎ，ｍ）およびｆ_Ｂ（ｎ，ｍ）は、下記の式（２０）として表される。

また、画素位置（ｎ，ｍ）においてｆ_Ｇ（ｎ，ｍ）が画素値を有している場合のｆ_Ｒ（ｎ，ｍ）およびｆ_Ｂ（ｎ，ｍ）は、下記の式（２１）として表される。

また、画素位置（ｎ，ｍ）においてｆ_Ｂ（ｎ，ｍ）が画素値を有している場合のｆ_Ｒ（ｎ，ｍ）およびｆ_Ｇ（ｎ，ｍ）は、下記の式（２２）として表される。

デモザイキング処理部７０は、式（２０）から式（２２）までの計算を全画素について行う。ただし、式（２０）から式（２２）において、ｇ_Ｒ（ｎ，ｍ），ｇ_Ｇ（ｎ，ｍ），ｇ_Ｂ（ｎ，ｍ）が“０”（ゼロ）である場合は、ｆ_Ｒ（ｎ，ｍ），ｆ_Ｇ（ｎ，ｍ），ｆ_Ｂ（ｎ，ｍ）が不定となる。そこで、デモザイキング処理部７０は、この不定状態を発生させないために、例えば、ＲＧＢ三原色フィルタの純度を下げて赤色、緑色、および青色を混色させる。この純度を下げた状態での撮像データを、ｇ’_Ｒ（ｎ，ｍ），ｇ’_Ｇ（ｎ，ｍ），ｇ’_Ｂ（ｎ，ｍ），ｆ’_Ｒ（ｎ，ｍ），ｆ’_Ｇ（ｎ，ｍ），ｆ’_Ｂ（ｎ，ｍ）と表記する。混色の割合をＡとすると、ｆ’_Ｒ（ｎ，ｍ），ｆ’_Ｇ（ｎ，ｍ），ｆ’_Ｂ（ｎ，ｍ）は下記の式（２３）として表される。

式（２３）の条件において、式（２０）から式（２２）までは、下記の式（２４）から式（２６）までとして表される。

また、式（２３）に基づくと、ｆ’_Ｒ（ｎ，ｍ），ｆ’_Ｇ（ｎ，ｍ），ｆ’_Ｂ（ｎ，ｍ）とｆ_Ｒ（ｎ，ｍ），ｆ_Ｇ（ｎ，ｍ），ｆ_Ｂ（ｎ，ｍ）との関係は、下記の式（２７）として表される。

よって、ｆ_Ｒ（ｎ，ｍ），ｆ_Ｇ（ｎ，ｍ），ｆ_Ｂ（ｎ，ｍ）は、下記の式（２８）として表される。

また、ｇ’_Ｒ（ｎ，ｍ），ｇ’_Ｇ（ｎ，ｍ），ｇ’_Ｂ（ｎ，ｍ）は、混色の割合Ａを用いると下記の式（２９）として表される。

つまり、例えば混色の割合ＡをＡ＝０．２とすると、ｇ’_Ｒ（ｎ，ｍ）＝ｇ’_Ｂ（ｎ，ｍ）＝０．４あり、ｇ’_Ｇ（ｎ，ｍ）＝０．２である。

前記の第１の被写体サンプルを撮像した場合に、デモザイキング処理部７０が得るべき撮像データを表１６に示す。

また、前記の第２の被写体サンプルを撮像した場合に、デモザイキング処理部７０が得るべき撮像データを表１７に示す。

デモザイキング処理部７０が、式（２４）および式（２９）に基づいて表１６の撮像データを計算した結果を表１８に示す。

また、デモザイキング処理部７０が、式（２４）および式（２９）に基づいて表１７の撮像データを計算した結果を表１９に示す。

デモザイキング処理部７０が、表１８の撮像データを式（２８）に基づいてｆ_Ｒ（ｎ，ｍ），ｆ_Ｇ（ｎ，ｍ），ｆ_Ｂ（ｎ，ｍ）に変換した結果を表２０に示す。

すなわち、撮像装置２００は、第１の被写体サンプルを撮像した場合の偽色を表２０に示すように大幅に改善することができる。

また、デモザイキング処理部７０が、表１９の撮像データを式（２８）に基づいてｆ_Ｒ（ｎ，ｍ），ｆ_Ｇ（ｎ，ｍ），ｆ_Ｂ（ｎ，ｍ）に変換した結果を表２１に示す。

すなわち、撮像装置２００は、第２の被写体サンプルを撮像した場合の偽色を表２１に示すように大幅に改善することができる。

表２０と表２１とでは、平均レベルが異なる。そこで、デモザイキング処理部７０は、ベイヤ配列の最小単位である２×２画素単位で画素値の平均レベルを計算して式（２４）に適用することによって、被写体によって生じる平均レベル値のばらつきを低減する。具体的には、デモザイキング処理部７０は、下記の式（３０）が成立するように未知の値を計算する。

赤色の画素を例にした場合、ｆ’_Ｒ（２ｈ，２ｋ）が既知であるときは、ｆ’_Ｒ（２ｈ，２ｋ＋１），ｆ’_Ｒ（２ｈ＋１，２ｋ），ｆ’_Ｒ（２ｈ＋１，２ｋ＋１）を計算すればよい。よって、デモザイキング処理部７０は、式（２４）から式（２６）までの計算結果に基づいて下記の式（３１）から式（３３）までの計算を行う。

デモザイキング処理部７０が、表１８の撮像データを式（３１）から式（３３）の計算によって補正した結果を表２２に示す。

また、デモザイキング処理部７０が、表１９の撮像データを式（３１）から式（３３）の計算によって補正した結果を表２３に示す。

次に、デモザイキング処理部７０が、表２０の撮像データを式（３１）から式（３３）の計算によって補正した結果を表２４に示す。

また、デモザイキング処理部７０が、表２１の撮像データを式（３１）から式（３３）の計算によって補正した結果を表２５に示す。

表２４および表２５それぞれにおいて、２×２画素ブロックにおけるｆ_Ｒ（ｎ，ｍ）の平均値とｆ_Ｂ（ｎ，ｍ）の平均値とは略等しく、青みや赤みを帯びた偽色となっていない。よって、撮像装置２００は、第１および第２の被写体サンプルを撮像した場合の偽色を大幅に改善することができる。

本実施形態である撮像装置２００は、１回の撮影操作にしたがって、ウォブリング光学素子３０ａにより低域通過型フィルタを通した場合と通さない場合との光束Ｌを２回撮像し、二つの撮像画像に基づいて偽色の成分を削減するようにした。これにより、本実施形態である撮像装置２００は、偽色の誤差を少なくして偽色による画質劣化の程度を低く抑えることができる。

［第２の実施の形態の変形例］
上述した第２実施形態の撮像装置２００は、ウォブリング光学素子を低域通過型フィルタとして用いてぼけた像を撮像素子４０の撮像面に結像させて撮像するものであった。第２実施形態の変形例である撮像装置は、レンズ光学系１０からの光束Ｊを互いに画素ずれがある２系統の光路に分離することによって撮像素子４０の撮像面にぼけた像を結像させるものである。
なお、本実施形態の説明において、参考例または第２実施形態と同一の構成については同一の符号を付してその説明を省略する。

図１７は、本変形例である撮像装置の機能構成を示すブロック図である。同図に示すように、撮像装置２００ａは、第２実施形態である撮像装置２００に対して、ウォブリング光学素子３０ａの代わりに、参考例で用いたウォブリング光学素子３０と、ハーフミラー２１，２２と、ミラー２３，２４とを備える。

ハーフミラー２１は、レンズ光学系１０で集光された光束Ｊの照射を受けて、光束Ｊの一部の光束を透過させてハーフミラー２２に供給する一方、光束Ｊの前記一部を除く光束を反射させてミラー２３に供給する。ハーフミラー２２は、ハーフミラー２１から到来する光束を透過させて撮像素子４０の撮像面上に結像させる（図１７における長破線の経路）。ミラー２３は、ハーフミラー２１から到来する光束を反射させてウォブリング光学素子３０に供給する。ウォブリング光学素子３０は、参考例に示したように、タイミング制御部６０ａから供給される切換信号Ｔがハイレベル（“ＯＮ”）であるときに、入射光の光路を変更して出力する。ミラー２４は、ウォブリング光学素子３０から到来する光束を反射させてハーフミラー２２に供給する。そして、ハーフミラー２２は、ミラー２４から到来する光束を反射させて撮像素子４０の撮像面上に結像させる（同図における短破線の経路）。

つまり、切換信号Ｔがハイレベル（“ＯＮ”）であるときは、直進進行した光束とウォブリング光学素子３０内部を屈折した光束との両方が撮像素子４０に供給される一方、切換信号Ｔがオフレベル（“ＯＦＦ”）であるときは、直進した光束とウォブリング光学素子３０内部を直進した光束との両方（つまり、位相差がないか略無視できる。）が撮像素子４０に供給される。

撮像装置２００ａにおける他の構成は第２実施形態と同一であるため、その説明を省略する。また、撮像装置２００ａのデモザイキング処理部７０の動作は、第２実施形態と同一であるため、その説明も省略する。

なお、上述した参考例および実施形態は、カラー静止画を得る撮像装置１００，１００ａ，２００，２００ａであったが、第１フレームおよび第２フレームのペアの撮像を繰り返す処理を行うことによって、偽色を改善したカラー動画を得ることのできるビデオカメラ装置に適用可能である。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

１０ レンズ光学系
２０ 光束分離部
２１，２２ ハーフミラー
２３，２４ ミラー
３０，３０ａ ウォブリング光学素子（結像位置変更部）
３１ 偏光子
３２，３２ａ 光位相変調素子
３３ 複屈折光学素子
４０，４０Ｇ，４０ＲＢ 撮像素子
５０ 記憶部
６０，６０ａ タイミング制御部
７０ デモザイキング処理部
１００，１００ａ，２００，２００ａ 撮像装置

Claims (4)

1. 被写体から到来する光束を集光するレンズ光学系と、
   画素ごとの撮像色値に基づく撮像データを出力する撮像素子と、
   前記撮像素子の画素配列におけるそれぞれの画素に対応する色フィルタと、
   前記レンズ光学系によって集光された光束が前記撮像素子の撮像面の第１の位置に結像する状態と前記光束が前記第１の位置に対して前記撮像面の面方向に所定画素分変位した第２の位置に結像する状態とのいずれかとなるように、前記撮像面における結像位置を変更する結像位置変更部と、
   前記撮像素子から供給される、前記撮像面の前記第１の位置に結像した光束の第１の撮像データと前記第２の位置に結像した光束の第２の撮像データとに基づいて、画素ごとに、前記画素に対応する前記色フィルタの色以外の非撮像色値を、前記第１の撮像データと前記第２の撮像データとにおける前記画素に対して前記変位分の範囲内にある画素の撮像色値に基づき計算するデモザイキング処理部と、
   を備えることを特徴とする撮像装置。
2. 前記撮像素子は、ベイヤ配列による三原色フィルタを有し、
   前記結像位置変更部は、前記レンズ光学系によって集光された光束が前記撮像素子の前記撮像面の第１の位置に結像する状態と前記光束が前記第１の位置に対して前記撮像面の水平方向および垂直方向またはいずれか一方向に２画素分未満に変位した第２の位置に結像する状態とのいずれかとなるように、前記撮像面における結像位置を変更する
   ことを特徴とする請求項１記載の撮像装置。
3. 前記結像位置変更部は、前記レンズ光学系によって集光された光束が前記撮像素子の前記撮像面の第１の位置に結像する状態と前記光束が前記第１の位置に対して前記撮像面の面方向に所定画素分変位した第２の位置および前記第１の位置の両位置に結像する状態とのいずれかとなるように、前記撮像面における結像位置を変更し、
   前記デモザイキング処理部は、前記撮像素子から供給される、前記撮像面の前記第１の位置および前記第２の位置に結像した光束の第１の撮像データと前記第１の位置に結像した光束の第２の撮像データとに基づいて、画素ごとに、前記画素に対応する前記色フィルタの色以外の非撮像色値を、前記第１の撮像データと前記第２の撮像データとにおける前記画素に対して前記変位分の範囲内にある画素の撮像色値に基づき計算することを特徴とする請求項１記載の撮像装置。
4. 被写体から到来する光束をレンズ光学系が集光し、
   撮像面の画素配列におけるそれぞれの画素に対応する色フィルタを設けた撮像素子が、前記レンズ光学系によって集光された光束を前記撮像面の第１の位置に結像させた状態で撮像して第１の撮像データを出力し、前記光束を前記第１の位置に対して前記撮像面の面方向に所定画素分変位した第２の位置に結像させた状態で撮像して第２の撮像データを出力し、
   前記撮像素子が出力した前記第１の撮像データと前記第２の撮像データとに基づいて、画素ごとに、前記画素に対応する前記色フィルタの色以外の非撮像色値を、前記第１の撮像データと前記第２の撮像データとにおける前記画素に対して前記変位分の範囲内にある画素の撮像色値に基づき計算する
   ことを特徴とする撮像方法。

Images