(第1実施の形態)図1は、本実施の形態における撮像装置の構成を示している。本実施の形態における撮像装置は、同図に示すように、光学系1、固体撮像素子2、A/D変換器(Analog to Digital Converter )3、画像メモリ4、LPF5、駆動部6、同期信号発生部7、メモリ制御部8、信号処理部9、記録媒体10を備えている。
被写体からの画像光は、光学系1の集光レンズで集光された後、撮像素子2の結像面上に結像される。撮像素子2の結像面には、複数の受光領域PDが行列状に並べられる。
光学系1には、画像光を集光する集光レンズの他に、イメージシフト機構が含まれる。イメージシフト機構は、駆動部6により制御されて、あらかじめ定める時間毎に、結像面上の画像光の結像位置を第1および第2結像位置にそれぞれシフト移動させる。この動作をイメージシフト動作と称する。
撮像素子2は、予め定める露光時間だけ、光学系2からの画像光を各受光領域PDに受光させることによって、画像光を撮像する。露光時間が経過すると、撮像素子2は、あらかじめ定める時間毎に、各受光領域PDからの受光データを第1または第2原画像信号として、A/D変換器3に導出する。なお、第1および第2原画像信号は、それぞれ画像光が第1および第2結像位置に結像されたときに、画像光を撮像して得られる画像信号である。各原画像信号は、各受光領域PDでの受光量に対応する受光データからそれぞれ構成される。
A/D変換器3は、撮像素子2からのアナログ信号である第1及び第2原画像信号をデジタル信号に変換して、画像メモリ4にストアする。
同期信号発生部7は、2つの原画像信号の撮像動作に対応する同期信号を発生させ、駆動部6およびメモリ制御部8に与える。駆動部6は、光学系1内のイメージシフト機構を用いて、イメージシフト動作を行う。これによって、撮像素子2では、各受光領域PDが受光する画像光が、被写体の像の中で移動前の撮像光とずれる。メモリ制御部8(請求項における画像合成手段)は、受光データを結像位置の異なる2つの原画像信号毎に関連させて、画像メモリ4にストアする。
ローパスフィルタ(以下、LPFと云う)5(請求項における光量差補正手段)は、画像メモリ4からの原画像信号を入力し、それに対して後述する光量差補正を行った後、再び画像メモリ4にストアする。この際、画像メモリ4における光量差補正前の原画像信号は、光量差補正後の原画像信号に上書きされて、消去される。
画像メモリ4にストアされた光量差補正後の原画像信号は、信号処理部9(請求項における補間手段)に与えられる。信号処理部9は、2つの原画像信号から撮像から得られない画像データを補間により生成して(2つの原画像信号を合成したときにデータを有していない画素の画像データを生成して)、補間後の画像信号を出力画像の出力画像信号として、記録媒体10にストアする。
次に、本実施の形態の撮像装置の具体的な例について説明する。図2は、撮像素子2の結像面の具体的な画素配列を示す平面図である。撮像素子2は、N×M個の受光領域PDが、水平および垂直方向H,Vに沿って、配列周期PH,PVで行列状に配列される。水平および垂直方向H,Vは、相互に直交する。ここで、PD(1,1),PD(2,2),PD(3,3),…を通る方向を第1斜め方向U1と称することにする。また、PD(1,3),PD(2,2),PD(3,1),…を通る方向を第2斜め方向U2と称することにする。さらに、第1および第2斜め方向U1,U2を総称するとき、およびいずれか一方の斜め方向を任意に選ぶときには、「斜め方向U」と略称する。
この画素配列において、画像光に対する水平および垂直方向H,Vのサンプリング周波数fH,fVは、水平および垂直方向H,Vの配列周期の逆数であり、以下の式で示される。
fH=1/PH (1)
fV=1/PV (2)
更に、以後、水平方向Hに沿って直線上に並べられる1群の構成要素を「行」と称する。同様に垂直方向Vに沿って直線上に並べられた1群の構成要素を「列」と称する。行列状に配列された1群の構成要素において、紙面上側から下側に向かって、各行を第1行,第2行,…,第N行とする。また紙面左側から右側に向かって各列を第1列,第2列,…,第M列とする。これら構成要素のうち、第n行第m列に属する単一の構成要素を表すとき、その構成要素を総称して示す参照符号と共に、符号(n,m)を付して示す。n,mは1以上N,M以下の任意の整数である。図2では、受光領域PDの配列パターンを4行3列の12個の受光領域PD(1,1)〜PD(4,3)で代表させて表す。実際の撮像素子2の結像面では、図2に示す構造が、水平及び垂直方向H,Vに周期的に繰り返される。
図3は、画像光の第1および第2結像位置の位置関係を示す図である。第1結像位置A1を基準にすると、第2結像位置B1は、第1結像位置A1から、受光領域PDの水平方向Hの配列周期PHの半分の長さだけ、かつ垂直方向Vの配列周期PVの半分の長さだけ、移動した位置である。
撮像素子2は、この第1および第2結像位置A1,B1に画像光が結像されたときに、該画像光を撮像して、第1および第2原画像信号を得る。
図4は、上述した原画像を示す第1および第2原画像から構成される合成画像を表す図である。第1原画像の画素は、右下がりのハッチングをして表し、第2原画像の画素は、右上がりのハッチングをして表す。合成画像は、撮像時の空間的な位置を合わせるように第1および第2原画像を重ね合わせて生成される。この合成動作は、画像メモリ4を用い、第1および第2原画像の各画素データが交互にストアされるように、画素データがストアされるべきアドレスを定めてストアして行われる。すなわち合成画像は、第1および第2原画像を前述した結像位置のシフト方向と同じ方向に平行でかつ逆向きに、同じシフト長さだけずれるように重ね合わせた画像として表される。
第1原画像の画素に対応する合成画像の画素sは、添字(n,m)がnおよびmがともに奇数である。また、第2原画像の画素に対応する合成画像の画素sは、添字(n,m)がnおよびmがともに偶数である。以後、いずれかの原画像に対応し画素データを有する画素を、実画素と称する。
合成画像全体として、第1および第2原画像のいずれか一方に対応する画素を有する実画素は、市松状に配列される。水平および垂直方向H,Vに沿って隣接する2つの実画素の間には、画素データを有しない仮想画素がある。この仮想画素は、第1および第2原画像の画素に対応しない。仮想画素は、画素sの添字(n,m)がnおよびmがどちらか一方が偶数でありかつ他方が奇数である。
信号処理部9は、この仮想画素の画素データをその周囲の実画素の画素データから補間して代入して生成する。
この補間処理では、例えば線形補間法、またはキュービックコンボリューション補間法などが用いられる。線形補間法は、例えば合成画像において仮想画素の周囲の4つの実画素の画素データの平均値として、仮想画素の画素データを補間する補間手法である。キュービックコンボリューション補間法は、仮想画素の周囲16個の実画素の画素データを用いて、仮想画素の画素データを補間する補間法である。
さらに、信号処理部9は、ガンマ補正を行う。陰極線管(ブラウン管)の電気−光電変換特性は、非直線性を持っている。このため、撮像装置の受光量と陰極線管の発光強度とが比例するように、受光量に対応する受光データを補正する。この補正をガンマ補正と称する。
出力画像の配列周期は、第1および第2原画像の画素配列と比較して、水平、垂直はいずれに関しても半分となる。ゆえに、第1および第2原画像の解像度を標準解像度とすると、出力画像の解像度は、各方向H,Vに関して標準解像度よりも高解像度となる。また、出力画像の斜め方向Uの画素の配列周期は、合成画像の配列周期の半分になる。しかし、出力画像信号は、合成画像信号を補間して得られる。このとき補間処理で増加した画素によって出力画像の画素の配列周期が合成画像よりも小さくなっても、解像度は合成画像と変わらない。ゆえに、出力画像の斜め方向Uの解像度は、画素の配列周期から得られるべき解像度よりも低下する。
次に、本発明の特徴部分である光量差補正を行うLPF5について、説明する。LPF5は、2枚の原画像間に光量差がある場合に発生する市松模様を除去するために、実画素から構成された合成画像に対してローパスフィルタを施す。
図5は、LPF5のローパス特性及び合成画像の基底帯域を空間周波数座標上に表した図である。基底帯域11は、以下の4点を頂点とする矩形領域(図中、ハッチング領域)となる。
(fH,0)
(0,fV)
(−fH,0)
(0,−fV)
ここで、例えば(fH,0)は、水平方向の空間周波数fH、かつ垂直方向の空間周波数0である空間周波数を表す。2枚の原画像間に光量差がある場合に発生する市松模様の周波数成分は、イメージシフトによるシフト量の2倍の周期となり、且つその方向はイメージシフトの方向に一致する。従って、その周波数成分は図5における点(fH,0),点(0,fV)を結ぶ境界線及び点(−fH,0),点(0,−fV)を結ぶ境界線上に存在する。このため、LPF5は、この境界線上のゲインが零であることが望ましく、上記基底帯域11を通過帯域とするものが望ましい。また、原画像が本来保持している周波数成分を減衰させないために(画像がぼやけないために)、境界線を除く矩形領域内の領域では、LPF5のゲインが1であることが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、LPF5は直線位相特性であることが望ましい。
上記のような要求を満たすローパスフィルタは、その次数が非常に大きくなってしまう傾向がある。高次数のローパスフィルタは、処理に時間がかかったり、回路規模が大きくなり、実用的でなくなってしまう。従って、上述のローパスフィルタの満たすべき条件と、処理時間や回路規模を鑑みて、適当な次数を設定する。例えば、以下のようなローパスフィルタr1が上げられる。
このローパスフィルタr1は、7行7列の行列として表される2次元ローパスフィルタである。第p行q列の要素をr1(p,q)として表すと、このローパスフィルタr1により、合成画像を光量差補正する計算は、以下の式で計算される。
ここで、s(n,m)は、光量差補正前の合成画像の第n行m列の画素を表す。また、t(n,m)は、光量差補正後の合成画像の第n行m列の画素を表す。図4に示したように、仮想画素には画素データがない。式(4)の計算においては、仮想画素の画素データは、零として行う。ローパスフィルタr1よりも簡略化したローパスフィルタr2を、以下に示す。
ローパスフィルタr2は、5行5列の行列として表される2次元ローパスフィルタである。第p行q列の要素は、r2(p,q)として表すとする。このローパスフィルタr2により、合成画像を光量差補正する計算は、以下の式で計算される。
ローパスフィルタr2は、ローパスフィルタr1よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタr2は、通過帯域11のゲインが境界線に近づくに連れて1よりも小さくなる傾向が強く、結果としてローパスフィルタr1よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
また、さらに計算量を減らしたローパスフィルタを、以下に示す。
ローパスフィルタr3は、4行4列の行列として表される1次元ローパスフィルタである。第p行q列の要素は、r3(p,q)として表すとする。このローパスフィルタr3により、合成画像を光量差補正する計算は、以下の式で計算される。
このローパスフィルタr3は、図3に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。上記したように2枚の原画像間に光量差がある場合に発生する市松模様の周波数成分は、図3に示したイメージシフト量を表す有向線分A1B1の2倍を周期とする空間周波数Fdと等しい。空間周波数Fdは、その方向が第1斜め方向U1と等しく、この方向に以下の大きさの空間周波数である。
ローパスフィルタr3は、上記した2次元ローパスフィルタと異なり、空間周波数Fdを含む破線12上のみをカットオフするように限定されている。このような第1斜め方向U1に対する1次元ローパスフィルタr3であっても、十分に光量差補正ができる。
さらに、さらに計算量を減らしたローパスフィルタを、以下に示す。
ローパスフィルタr4は、3行3列の行列として表される1次元ローパスフィルタである。第p行q列の要素は、r4(p,q)として表すとする。このローパスフィルタr4により、合成画像を光量差補正する計算は、以下の式で計算される。
このローパスフィルタr4は、図3に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。ローパスフィルタr4は、ローパスフィルタr3よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタr4は、通過帯域11のゲインが破線12に近づくにつれて1よりも小さくなる傾向が強く、結果としてローパスフィルタr3よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
以上のように、本実施の形態の撮像装置によれば、光量差補正をローパスフィルタにより行うことにより、従来よりも簡単に処理することができ、また、画素毎にローパス処理を行うため、2枚の原画像間の部分的な光量差をも的確に補正することができ、出力画像の劣化を防止することができる。
なお、本実施の形態では、(1)2つの原画像信号を合成して合成画像を生成した後、(2)その合成画像に対してローパスフィルタリングを施し、その後、(3)信号処理部9が仮想画素の画像データを補間により求めているが、処理順序はこれに限るものではなく、仮想画素の画像データを求めた後ローパスフィルタリングを施しても良いし(第5実施の形態参照)、また、ローパスフィルタリングと補間処理を同時に行っても良い。
また、ここでは、LPF5としてr1〜r4のローパスフィルタを用いる例について示したが、これに限るものではなく、例えば、第5実施の形態のように図5に示した基底帯域11の対向する2頂点をそれぞれカットオフ周波数とする水平,垂直の2つの1次元ローパスフィルタを用いても良い。
(第2実施の形態)本発明の第2実施の形態である撮像装置を以下に説明する。本実施の形態の撮像装置は、第1実施の形態の撮像装置と類似の構成を有している。このため、第1実施の形態と同一部分については同一符号を付し、詳細な説明を省略する。本実施の形態の撮像装置では、第1実施の形態と異なり、水平方向Hにイメージシフトを行う。
図6は、画像光の第1および第2結像位置の位置関係を示す図である。第1結像位置A2を基準にすると、第2結像位置B2は、第1結像位置A2から、受光領域PDの水平方向Hの配列周期PHの半分の長さ(PH/2)だけ移動した位置である。
撮像素子2は、この第1および第2結像位置A2,B2に画像光が結像されたときに、該画像光を撮像して、第1および第2原画像信号を得る。
図7は、上述した原画像を示す第1および第2原画像から構成される合成画像を表す図である。第1原画像の画素は、右下がりのハッチングをして表し、第2原画像の画素は、右上がりのハッチングをして表す。合成画像は、撮像時の空間的な位置を合わせるように第1および第2原画像を重ね合わせて生成される。この合成動作は、画像メモリ4を用い、第1および第2原画像の各画素データが交互にストアされるように、画素データがストアされるべきアドレスを定めてストアして行われる。すなわち合成画像は、第1および第2原画像を前述した結像位置のシフト方向と同じ方向に平行でかつ逆向きに、同じシフト長さだけずれるように重ね合わせた画像として表される。
第1原画像の画素に対応する合成画像の画素s(n,m)は、mが奇数である。また、第2原画像の画素に対応する合成画像の画素s(n,m)はmが偶数である。
合成画像全体として、第1および第2原画像のいずれか一方に対応する画素を有する実画素は、垂直縞状に配列される。また、第2実施例においては、合成画像と出力画像の画素構成は、同じになる。
信号処理部9は、ガンマ補正を行う。
出力画像の配列周期は、第1および第2原画像の画素配列と比較して、水平方向Hに関して半分となる。ゆえに、第1および第2原画像の解像度を標準解像度とすると、出力画像の解像度は、水平方向Hに関して標準解像度よりも高解像度となる。
ここで、第2実施の形態におけるLPF5について、説明する。LPF5は、2枚の原画像間に光量差がある場合に発生する垂直縞模様を除去するために、合成画像に対してローパスフィルタを施す。図8は、合成画像の基底帯域及びLPF5のローパス特性を空間周波数座標上に表した図である。合成画像の基底帯域13は、以下の4点を頂点とする矩形領域(図中、ハッチング領域)となる。
(fH,fV/2)
(−fH,fV/2)
(−fH,−fV/2)
(fH,−fV/2)
2枚の原画像間に光量差がある場合に発生する垂直縞模様の周波数成分は、(fH,fV/2),(fH,−fV/2)を結ぶ境界線及び(−fH,fV/2),(−fH,−fV/2)を結ぶ境界線上に存在する。従って、使用するLPF5は、この境界線上においてゲインがゼロであるものが望ましく、上記基底帯域15を通過帯域とするものが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、LPF5は直線位相特性であることが望ましい。このような要求を満たすローパスフィルタは、その次数が非常に大きくなってしまう傾向がある。高次数のローパスフィルタは、処理に時間がかかったり、回路規模が大きくなり、実用的でなくなってしまう。従って、上述のローパスフィルタの満たすべき条件と、処理時間や回路規模を鑑みて、適当な次数を設定する。例えば、以下のようなローパスフィルタr5が上げられる。
ローパスフィルタr5は、4行4列の行列として表される2次元ローパスフィルタである。第p行q列の要素は、r5(p,q)として表すとする。このローパスフィルタr5により、合成画像を光量差補正する計算は、以下の式で計算される。
ここで、s(n,m)は、光量差補正前の合成画像の第n行m列の画素を表す。また、t(n,m)は、光量差補正後の合成画像の第n行m列の画素を表す。
ローパスフィルタr5よりも簡略化したローパスフィルタr6を、以下に示す。
ローパスフィルタr6は、3行3列の行列として表される2次元ローパスフィルタである。第p行q列の要素は、r6(p,q)として表すとする。このローパスフィルタr6により、合成画像を光量差補正する計算は、以下の式で計算される。
ローパスフィルタr6は、ローパスフィルタr5よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタr6は、通過帯域13のゲインが境界線に近づくに連れて1よりも小さくなる傾向が強く、結果としてローパスフィルタr5よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
また、さらに計算量を減らしたローパスフィルタを、以下に示す。
ローパスフィルタr7は、行ベクトルとして表される1次元ローパスフィルタである。第q要素は、r7(q)として表すとする。このローパスフィルタr7により、合成画像を光量差補正する計算は、以下の式で計算される。
このローパスフィルタr7は、図6に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。2枚の原画像間に光量差がある場合に発生する垂直縞模様の周波数成分は、図6に示したイメージシフト量を表す有向線分A2B2の2倍を周期とする空間周波数Fc2と等しい。この空間周波数Fc2は、その方向が水平方向Hと等しく、この方向にfHの大きさの空間周波数である。
ローパスフィルタr7は、上記した2次元ローパスフィルタと異なり、空間周波数Fc2を含む破線14上をカットオフするように限定されている。このような水平方向Hに対する1次元ローパスフィルタr7であっても、十分に光量差補正ができる。
さらに計算量を減らしたローパスフィルタを、以下に示す。
ローパスフィルタr8は、行ベクトルとして表される1次元ローパスフィルタである。第qの要素は、r8(q)として表すとする。このローパスフィルタr8により、合成画像を光量差補正する計算は、以下の式で計算される。
このローパスフィルタr8は、図6に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。ローパスフィルタr8は、ローパスフィルタr7よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタr8は、通過帯域13のゲインが破線14に近づくに連れて1よりも小さくなる傾向が強く、結果としてローパスフィルタr7よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
以上のように、本実施の形態の撮像装置によれば、光量差補正をローパスフィルタにより行うことにより、従来よりも簡単に処理することができ、また、画素毎にローパス処理を行うため、2枚の原画像間の部分的な光量差をも的確に補正することができ、出力画像の劣化を防止することができる。
(第3実施の形態)本発明の第3実施の形態である撮像装置を以下に説明する。本実施の形態の撮像装置は、第1及び第2実施の形態の撮像装置と類似の構成を有しているため、同一部分には同一符号を付し、詳細な説明を省略する。本実施の形態の撮像装置では、第1及び第2実施の形態とは異なり、垂直方向Vにイメージシフトする。
図9は、本実施の形態における画像光の第1および第2結像位置の位置関係を示す図である。第1結像位置A3を基準にすると、第2結像位置B3は、第1結像位置A3から、受光領域PDの垂直方向Vの配列周期PVの半分の長さだけ移動した位置である。
撮像素子2は、この第1および第2結像位置A3,B3に画像光が結像されたときに、画像光を撮像して、第1および第2原画像信号を得る。
図10は、上述した原画像を示す第1および第2原画像から構成される合成画像を表す図である。第1原画像の画素は、右下がりのハッチングをして表し、第2原画像の画素は、右上がりのハッチングをして表す。合成画像は、撮像時の空間的な位置を合わせるように第1および第2原画像を重ね合わせて生成される。この合成動作は、画像メモリ4を用い、第1および第2原画像の各画素データが交互にストアされるように、画素データがストアされるべきアドレスを定めてストアして行われる。すなわち合成画像は、第1および第2原画像を前述した結像位置のシフト方向と同じ方向に平行でかつ逆向きに、同じシフト長さだけずれるように重ね合わせた画像として表される。
第1原画像の画素に対応する合成画像の画素s(n,m)は、nが奇数である。また、第2原画像の画素に対応する合成画像の画素s(n,m)はnが偶数である。
合成画像全体として、第1および第2原画像のいずれか一方に対応する画素を有する実画素は、水平縞状に配列される。また、第3実施の形態においては、合成画像と出力画像の画素構成は、同じになる。
信号処理部9は、ガンマ補正を行う。
出力画像の配列周期は、第1および第2原画像の画素配列と比較して、垂直方向Vに関して半分となる。ゆえに、第1および第2原画像の解像度を標準解像度とすると、出力画像の解像度は、垂直方向Vに関して標準解像度よりも高解像度となる。
第3実施の形態におけるLPF5について、説明する。LPF5は、2枚の原画像間に光量差がある場合に発生する水平縞模様を除去するために、合成画像に対してローパスフィルタを施す。図11は、合成画像の基底帯域及びLPF5のローパス特性を空間周波数座標上に表した図である。合成画像の基底帯域15は、以下の4点を頂点とする矩形領域(図中、ハッチング領域)となる。
(fH/2,fV)
(−fH/2,fV)
(−fH/2,−fV)
(fH/2,−fV)
2枚の原画像間に光量差がある場合に発生する水平縞模様の周波数成分は、イメージシフトの方向にイメージシフト量の2倍を周期とするものである。したがって、点(fH/2,fV)と(−fH/2,fV)を結ぶ境界線及び点(−fH/2,−fV)と(fH/2,−fV)を結ぶ境界線上に存在する。従って、LPF5は、この境界線上のゲインがゼロであることが望ましく、上記基底帯域15を通過帯域とするものが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、LPF5は直線位相特性であることが望ましい。このような要求を満たすローパスフィルタは、その次数が非常に大きくなってしまう傾向がある。高次数のローパスフィルタは、処理に時間がかかったり、回路規模が大きくなり、実用的でなくなってしまう。従って、上述のローパスフィルタの満たすべき条件と、処理時間や回路規模を鑑みて、適当な次数を設定する。例えば、以下のようなローパスフィルタr9が上げられる。
ローパスフィルタr9は、4行4列の行列として表される2次元ローパスフィルタである。第p行q列の要素は、r9(p,q)として表すとする。このローパスフィルタr9により、合成画像を光量差補正する計算は、以下の式で計算される。
ここで、s(n,m)は、光量差補正前の合成画像の第n行m列の画素を表す。また、t(n,m)は、光量差補正後の合成画像の第n行m列の画素を表す。
ローパスフィルタr9よりも簡略化したローパスフィルタr10を、以下に示す。
ローパスフィルタr10は、3行3列の行列として表される2次元ローパスフィルタである。第p行q列の要素は、r10(p,q)として表すとする。このローパスフィルタr10により、合成画像を光量差補正する計算は、以下の式で計算される。
ローパスフィルタr10は、ローパスフィルタr9よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタr10は、通過帯域15のゲインが境界線に近づくに連れて1よりも小さくなる傾向が強く、結果としてローパスフィルタr9よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
また、さらに計算量を減らしたローパスフィルタを、以下に示す。
ローパスフィルタr11は、列ベクトルとして表される1次元ローパスフィルタである。第p要素は、r11(p)として表すとする。このローパスフィルタr11により、合成画像を光量差補正する計算は、以下の式で計算される。
このローパスフィルタr11は、図9に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。2枚の原画像間に光量差がある場合に発生する水平縞模様の周波数成分は、図9に示したイメージシフト量を表す有向線分A3B3の2倍を周期とする空間周波数Fc3と等しい。空間周波数Fc3は、その方向が垂直方向Vと等しく、この方向にfVの大きさの空間周波数である。
ローパスフィルタr11は、上記した2次元ローパスフィルタと異なり、空間周波数Fc3を含む破線16上をカットオフするように限定されている。このような垂直方向Vに対するローパスフィルタr11であっても、十分に光量差補正ができる。
さらに、さらに計算量を減らしたローパスフィルタを、以下に示す。
ローパスフィルタr12は、列ベクトルとして表される1次元ローパスフィルタである。第p要素は、r12(p)として表すとする。このローパスフィルタr12により、合成画像を光量差補正する計算は、以下の式で計算される。
このローパスフィルタr12は、図9に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。ローパスフィルタr12は、ローパスフィルタr11よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタr12は、通過帯域15のゲインが破線16に近づくに連れて1よりも小さくなる傾向が強く、結果としてローパスフィルタr11よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
本実施の形態においても、簡単な処理により2つの原画像間の光量差を補正することが可能となる。また、ローパスフィルタリングは画素毎に行われるため、画像間の光量差が部分的に生じている場合においてもその光量差補正を的確に実行でき、光量差に基づく画像の劣化を抑制することができる。
(第4実施の形態)上述した第1から第3実施の形態の撮像装置は、モノクロ画像を撮像する撮像装置であるとして説明したけれども、カラー画像を撮像するカラー撮像装置に関しても同様に光量差補正を行うことができる。例えば、カラー撮像装置には、単板方式および3板方式の撮像装置がある。単板方式の撮像装置では、撮像素子の光入射側に各受光領域で受光する光の波長を制限する色フィルタを設け、フィルタを通過した光を撮像させる。3板方式の撮像装置では、撮像光を色分解プリズムで赤青緑の3原色の単色画像光に分解して、各単色画像光を個別的に撮像素子で撮像する。従って、3板方式の撮像装置には、3つの撮像素子を設けている。
LPF5では、これらの手法で得られた各単色画像光の画像信号を例えば赤緑青の3原色それぞれの色調を示すベクトル量の信号として取り扱い(この場合、請求項におけるu=3)、各単色画像光画像信号に対して個別的にローパスフィルタ処理を施す。または、カラーの画像信号から輝度信号と2種類の色差信号とを生成し(この場合、請求項におけるu=3)、輝度信号と色差信号とに対して個別的にローパスフィルタ処理を施す。これによって、カラー撮像装置においても、出力画像の光量差を補正することができる。
上記のようにローパスフィルタ処理の施されたデータは信号処理部9により補間がなされた後、記録媒体10に記録される。記録媒体に記録されるデータはLPF5により個別的に処理された個々の信号であっても良いし、また、それらが合成された信号であっても良い。
本発明の第4実施の形態の単板方式のカラー撮像装置の具体例を以下に説明する。本実施の形態の撮像装置の構成要素の構造は、第1実施の形態の撮像装置と略等しいため、同一の構成要素には同一の符号を付して説明は省略する。
図12は、色フィルタの透過領域の色配列の基本配列パターン17を示す図である。この基本配列パターン17は、2行2列に配列される4つの透光領域Lから成る。このパターン17は、緑の透光領域Lだけを2つ含み、赤および青の透光領域を1つずつ含む。この基本配列パターン17において、透光領域L(1,1)、L(2,2)は、緑の透光領域Lである。透光領域L(1,2)は、赤の透光領域Lである。透光領域L(2,1)は、青の透光領域Lである。
撮像素子2は、この色フィルタを介して結像される画像光を撮像して、原画像信号を出力する。原画像信号の画素の配列、および該画素と受光データとの対応関係は、図12の色フィルタの透光領域Lの配列と等価であり、各対応画素は、単一の色彩光の受光データを有する。
上述の撮像装置の画像光の撮像動作は、第1実施の形態の画像光の撮像動作と類似し、光学系1、撮像素子2、A/D変換器3、および画像メモリ4の挙動は、第1実施の形態と等しい。このとき、イメージシフトは、画像光の結像位置を、図13に示すように、水平方向Hに間隔PHだけ離れた第1および第2結像位置A4、B4に移動させる。この第4実施の形態では、水平方向にイメージシフトすることにより、水平方向の解像度を向上させている。
信号処理部9は、まず第1および第2原画像信号から合成画像信号を生成する。この合成画像は、M行N列に配列されるM×N個の対応画素からなる。合成画像の水平および垂直方向H,Vの画素の配列周期は、それぞれ周期PH,PVである。各対応画素は、それぞれ異なる2種類の色彩光の受光データを有する。
図14は、上述の合成画像信号が表す合成画像の等価的な画素Dの配列の基本配列パターン18を示す図である。この基本配列パターン18は、2行2列に配列される4つの画素からなる。画素D(1,1)、D(1,2)は、緑と赤との対応画素である。画素D(2,1)、D(2,2)は、緑と青との対応画素である。図14では、緑と赤との対応画素には符号「Fa」を記し、緑と青との対応画素には、符号「Fb」を記す。このことから、合成画像では、画素配列が原画像の画素配列と等しく、また全画素が緑の対応画素であることがわかる。また、奇数行の画素が赤の対応画素であり、偶数行には赤の対応画素はひとつもない仮想画素である。偶数行の画素が青の対応画素であり、奇数行には青の対応画素はひとつもない仮想画素である。各赤青緑毎の個別の合成画像の配列を、図15、図16、図17に示す。図15は、赤の配列である。図16は青の配列である。図17は緑の配列である。第1原画像の画素は、右下がりのハッチングをして表し、第2原画像の画素は、右上がりのハッチングをして表す。
次に本発明の特徴部分であるLPF5について、説明する。LPF5は、各単色画像光画像信号に対して個別的にローパスフィルタ処理を施す。図18は、合成画像の赤または青の画素に関する基底帯域及びLPF5の特性を空間周波数座標上に表した図である。この基底帯域19は、以下の4点を頂点とする矩形領域(図中、ハッチング領域)となる。
(fH/2,fV/4)
(−fH/2,fV/4)
(−fH/2,−fV/4)
(fH/2,−fV/4)
2枚の原画像間に光量差がある場合に発生する水平縞模様の周波数成分は、イメージシフトの方向にイメージシフトのシフト量の2倍の周期のものである。したがって、点(fH/2,fV/4)と点(fH/2,−fV/4)を結ぶ境界線及び点(−fH/2,fV/4)と点(−fH/2,−fV/4)を結ぶ境界線上に存在する。このため、LPF5は、この境界線上においてゲインがゼロであることが望ましく、上記基底帯域15を通過帯域とするものが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、LPF5は直線位相特性であることが望ましい。このような要求を満たすローパスフィルタは、その次数が非常に大きくなってしまう傾向がある。高次数のローパスフィルタは、処理に時間がかかったり、回路規模が大きくなり、実用的でなくなってしまう。従って、上述のローパスフィルタの満たすべき条件と、処理時間や回路規模を鑑みて、適当な次数を設定する。例えば、以下のようなローパスフィルタr13が上げられる。
ローパスフィルタr13は、7行4列の行列として表される2次元ローパスフィルタである。第p行q列の要素は、r13(p,q)として表すとする。このローパスフィルタr13により、合成画像を光量差補正する計算は、以下の式で計算される。
ここで、s(n,m)は、光量差補正前の合成画像の第n行m列の赤または青の画素を表す。図15および図16に示したように、仮想画素には画素データがない。式(4)の計算においては、仮想画素の画素データは、零として行う。また、t(n,m)は、光量差補正後の合成画像の第n行m列の赤または青の画素を表す。仮想画素であるs(n,m)を式(28)で計算すると、光量差補正後の画素t(n,m)の画素値は、零になる。従って、仮想画素の計算は、式(28)に関して省略できる。
ローパスフィルタr13よりも簡略化したローパスフィルタr14を、以下に示す。
ローパスフィルタr14は、5行3列の行列として表される2次元ローパスフィルタである。第p行q列の要素は、r14(p,q)として表すとする。このローパスフィルタr14により、合成画像を光量差補正する計算は、以下の式で計算される。
ローパスフィルタr14は、ローパスフィルタr13よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタr14は、通過帯域19のゲインが境界線に近づくに連れて1よりも小さくなる傾向が強く、結果としてローパスフィルタr13よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
また、さらに計算量を減らしたローパスフィルタを、以下に示す。
ローパスフィルタr15は、行ベクトルとして表される1次元ローパスフィルタである。第q要素は、r15(q)として表すとする。このローパスフィルタr15により、合成画像を光量差補正する計算は、以下の式で計算される。
このローパスフィルタr15は、図13に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。2枚の原画像間に光量差がある場合に発生する垂直縞模様の周波数成分は、図13に示したイメージシフト量を表す有向線分A4B4の2倍を周期とする空間周波数Fc4と等しい。空間周波数Fc4は、その方向が水平方向Hと等しく、この方向にfHの大きさの空間周波数である。このローパスフィルタr15は、上記した2次元ローパスフィルタと異なり、空間周波数Fc4を含む破線20上をカットオフするように限定されている。このような水平方向Hに対するローパスフィルタr15であっても、十分に光量差補正が行える。
さらに、計算量を減らしたローパスフィルタを、以下に示す。
ローパスフィルタr16は、行ベクトルとして表される1次元ローパスフィルタである。第qの要素は、r16(q)として表すとする。このローパスフィルタr16により、合成画像を光量差補正する計算は、以下の式で計算される。
このローパスフィルタr16は、図13に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。ローパスフィルタr16は、ローパスフィルタr15よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタr16は、通過帯域19のゲインが破線20に近づくに連れて1よりも小さくなる傾向が強く、結果としてローパスフィルタr15よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
次に、合成画像の緑の画素に関して説明する。図19は、緑の画素の基底帯域を示す空間周波数図である。LPF5は、以下の4点を頂点とする矩形領域(図中、ハッチング領域)を通過帯域21とする。
(fH/2,fV/2)
(−fH/2,fV/2)
(−fH/2,−fV/2)
(fH/2,−fV/2)
2枚の原画像間に光量差がある場合に発生する市松模様の周波数成分は、イメージシフトの方向にイメージシフトのシフト量の2倍の周期のものである。したがって、点(fH/2,fV/2)と点(fH/2,−fV/2)を結ぶ境界線及び点(−fH/2,fV/2)と点(−fH/2,−fV/2)を結ぶ境界線上に存在する。このため、LPF5はこの境界線上においてゲインがゼロであることが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、LPF5は直線位相特性であることが望ましい。このような要求を満たすローパスフィルタは、その次数が非常に大きくなってしまう傾向がある。高次数のローパスフィルタは、処理に時間がかかったり、回路規模が大きくなり、実用的でなくなってしまう。従って、上述のローパスフィルタの満たすべき条件と、処理時間や回路規模を鑑みて、適当な次数を設定する。例えば、以下のようなローパスフィルタr17が上げられる。
ローパスフィルタr17は、4行4列の行列として表される2次元ローパスフィルタである。第p行q列の要素は、r17(p,q)として表すとする。このローパスフィルタr17により、合成画像を光量差補正する計算は、以下の式で計算される。
ここで、G(n,m)は、光量差補正前の合成画像の緑の第n行m列の画素を表す。また、t(n,m)は、光量差補正後の合成画像の緑の第n行m列の画素を表す。
ローパスフィルタr17よりも簡略化したローパスフィルタr18を、以下に示す。
ローパスフィルタr18は、3行3列の行列として表される2次元ローパスフィルタである。第p行q列の要素は、r18(p,q)として表すとする。このローパスフィルタr18により、合成画像を光量差補正する計算は、以下の式で計算される。
ローパスフィルタr18は、ローパスフィルタr17よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタr18は、通過帯域21のゲインが境界線に近づくに連れて1よりも小さくなる傾向が強く、結果としてローパスフィルタr17よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
また、さらに計算量を減らしたローパスフィルタを、以下に示す。
ローパスフィルタr19は、行ベクトルとして表される1次元ローパスフィルタである。第q要素は、r19(q)として表すとする。このローパスフィルタr19により、合成画像を光量差補正する計算は、以下の式で計算される。
このローパスフィルタr19は、図13に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。2枚の原画像間に光量差がある場合に発生する市松模様の周波数成分は、図13に示したイメージシフト量を表す有向線分A4B4の2倍を周期とする空間周波数Fc4と等しい。空間周波数Fc4は、その方向が水平方向Hと等しく、この方向にfHの大きさの空間周波数である。
このローパスフィルタr19は、上記した2次元ローパスフィルタと異なり、空間周波数Fc4を含む破線22上をカットオフするように限定されている。このような水平方向Hに対するローパスフィルタr19であっても、十分に光量差補正ができる。
さらに計算量を減らしたローパスフィルタを、以下に示す。
ローパスフィルタr20は、行ベクトルとして表される1次元ローパスフィルタである。第qの要素は、r20(q)として表すとする。このローパスフィルタr8により、合成画像を光量差補正する計算は、以下の式で計算される。
このローパスフィルタr20は、図13に示したイメージシフト方向に、合成画像をローパスフィルタリングしている。ローパスフィルタr20は、ローパスフィルタr19よりも計算量が少なくてすむ利点がある。しかし、ローパスフィルタr20は、通過帯域11のゲインが破線22に近づくに連れて1よりも小さくなる傾向が強く、結果としてローパスフィルタr19よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
上述したように第4実施の形態の2枚の原画像間に光量差がある場合に発生する空間周波数Fc4は、水平方向の空間周波数である。しかし、図17の緑の画素配列からわかるように光量差がある場合に発生する緑の画素は市松模様である。この市松模様を除去するローパスフィルタは、垂直方向の1次元ローパスフィルタでもよい。第4実施の形態は、水平方向の解像度を向上させる目的でイメージシフトを行うものであったので、水平方向にローパスフィルタを施すことは、この目的に反する。従って、垂直方向の1次元ローパスフィルタは、第4実施の形態にとって、より望ましい。
また、ローパスフィルタは、画素毎に施すので、画像のどの部分においても、また、部分毎に光量差が異なる場合でも、光量差補正することができる。
なお、第2〜第4実施の形態では第1実施の形態と同様に、(1)2つの原画像信号を合成して合成画像を生成した後、(2)その合成画像に対してローパスフィルタリングを施し、その後、(3)信号処理部9が仮想画素の画像データを補間により求めているが、処理順序はこれに限るものではなく、仮想画素の画像データを求めた後(補間処理後)ローパスフィルタリングを施しても良いし(第5実施の形態参照)、また、ローパスフィルタリングと補間処理を同時に行っても良い。
(第5実施の形態)図20は、本実施の形態における撮像装置の構成を示している。本実施の形態における撮像装置は、同図に示すように、光学系51、固体撮像素子52、A/D変換器53、画像メモリ54、補間処理部55、駆動部56、同期信号発生部57、メモリ制御部58、LPF59、記録媒体60を備えている。
被写体からの画像光は、光学系51の集光レンズで集光された後、撮像素子52の結像面上に結像される。撮像素子52の結像面には、複数の受光領域PDが行列状に並べられる。
光学系51には、画像光を集光する集光レンズの他に、イメージシフト機構が含まれる。イメージシフト機構は、駆動部56により制御されて、あらかじめ定める時間毎に、結像面上の画像光の結像位置を第1および第2結像位置にそれぞれシフト移動させる。
撮像素子52は、あらかじめ定める露光時間だけ、光学系52からの画像光を各受光領域PDに受光させることによって、画像光を撮像する。露光時間が経過すると、撮像素子52は、あらかじめ定める時間毎に、各受光領域PDからの受光データを第1または第2原画像信号として、A/D変換器53に導出する。
A/D変換器53は、撮像素子52からのアナログ信号である第1及び第2原画像信号をデジタル信号に変換して、画像メモリ54にストアする。
同期信号発生部57は、2つの原画像信号の撮像動作に対応する同期信号を発生させ、駆動部56およびメモリ制御部58に与える。駆動部56は、光学系1内のイメージシフト機構を用いて、イメージシフト動作を行う。これによって、撮像素子52では、各受光領域PDが受光する画像光が、被写体の像の中で移動前の撮像光とずれる。メモリ制御部58は、受光データを結像位置の異なる2つの原画像信号毎に関連させて、画像メモリ54にストアする。
補間処理部55は、画像メモリ54からの原画像信号を受信し、2つの原画像信号からは得られない画像データを補間により生成する。つまり、2つの原画像信号を合成したときにデータを有していない画素の画像データを補間により生成する。そして、補間後の画像信号を再び画像メモリ54にストアする。なお、この画像メモリ4に記憶された原画像信号は、後述するLPF59により画質補正され、補正後の信号に上書きされて消去される。
LPF59は、2つの原画像信号の間の光量差及び補間処理により生じる画質の劣化を除去するためのローパスフィルタであり、原画像信号画像メモリ54にストアされた補間処理後の原画像信号を受信して、画質補正(光量差補正及び補間補正)を行う。この画質補正後の信号は、出力画像信号として記録媒体60にストアされる。
次に、本実施の形態の撮像装置の具体的な例について説明する。ここでは、撮像素子52の結像面の画素配列が図2に示す構造が、水平及び垂直方向H,Vに周期的に繰り返されたものとなっており、画像光の第1および第2結像位置の位置関係が図3に示す関係となっているものとする。ここで、第1結像位置A1を基準にすると、第2結像位置B1は、第1結像位置A1から、受光領域PDの水平方向Hの配列周期PHの半分の長さだけ、かつ垂直方向Vの配列周期PVの半分の長さだけ、移動した位置である。
撮像素子52は、この第1および第2結像位置A1,B1に画像光が結像されたときに、該画像光を撮像して、第1および第2原画像信号を得る。図4はそれらの合成画像を表す図である。第1原画像の画素は、右下がりのハッチングをして表し、第2原画像の画素は、右上がりのハッチングをして表している。ここでの動作は図1に示した第1の実施の形態の撮像装置と同様である。
補間処理部55は、上記合成画像におけるデータのない画素(仮想画素)の画素データを、その周囲の実画素の画素データから補間して、この仮想画素の画素データを代入して生成する。
この補間処理では、例えば線形補間法、またはキュービックコンボリューション補間法などが用いられる。線形補間法は、例えば合成画像において仮想画素の周囲の4つの実画素の画素データの平均値として、仮想画素の画素データを補間する補間手法である。キュービックコンボリューション補間法は、仮想画素の周囲16個の実画素の画素データを用いて、仮想画素の画素データを補間する補間法である。
補間後の画像の配列周期は、第1および第2原画像の画素配列と比較して、水平、垂直はいずれに関しても半分となる。ゆえに、第1および第2原画像の解像度を標準解像度とすると、出力画像の解像度は、各方向H,Vに関して標準解像度よりも高解像度となる。また、出力画像の斜め方向Uの画素の配列周期は、合成画像の配列周期の半分になる。しかし、出力画像信号は、合成画像信号を補間して得られる。このとき補間処理で増加した画素によって出力画像の画素の配列周期が合成画像よりも小さくなっても、解像度は合成画像と変わらない。ゆえに、出力画像の斜め方向Uの解像度は、画素の配列周期から得られるべき解像度よりも低下する。
次に、本実施の形態の特徴部分である光量差補正を行うLPF59について、説明する。LPF59は、2枚の原画像間に光量差に起因する市松模様、及び、補間処理により発生する市松模様を除去するために、補間後の出力画像に対してローパスフィルタ処理を施す。
図5は、LPF59のローパス特性および合成画像の基底帯域を空間周波数座標上に表した図である。基底帯域11は、以下の4点を頂点とする矩形領域(図中、ハッチング領域)となる。
(fH,0)
(0,fV)
(−fH,0)
(0,−fV)
ここで、例えば(fH,0)は、水平方向の空間周波数fH、かつ垂直方向の空間周波数0である空間周波数を表す。
2枚の原画像間に光量差がある場合に発生する市松模様の周波数成分は、イメージシフトによるシフト量の2倍の周期となり、かつその方向はイメージシフトの方向に一致する。これを、図4を使って説明する。図4において、画素s(1,1)を通るイメージシフト方向を考えると、s(2,2)、s(3,3)、s(4,4)、s(5,5)、s(6,6)を通る斜め方向の画素列になる。このうち、第1原画像の画素に対応する合成画像の画素sは、s(1,1)、s(3,3)、s(5,5)である。また、第2原画像の画素に対応する合成画像の画素sは、s(2,2)、s(4,4)、s(6,6)である。すなわち、第1原画像の画素と第2原画像の画素が交互に配列されている。2枚の原画像間に光量差が生じた場合には、この斜め方向の画素列において2画素周期の空間周波数が発生することになる。この2画素周期の空間周波数は、方向が第1斜め方向U1と等しく、この方向に以下の大きさの空間周波数である。
このように、第1斜め方向U1に関して1次元空間的に考えると、この2枚の原画像間に光量差がある場合に発生する空間周波数は、図5においてFdと等しい。Fdは、2次元空間周波数として表せば(fH/2,fV/2)および(−fH/2,−fV/2)となる。この周波数成分Fdは、図5における点(fH,0)、点(0,fV)を結ぶ境界線、および点(−fH,0)、点(0,−fV)を結ぶ境界線上に存在する。
また、2枚の原画像間に光量差がある場合に発生する市松模様の周波数成分は、水平方向,垂直方向で考えると、図5においてFcと等しい。つまり、(fH,0)、(0,fV)、(−fH,0)、(0,−fV)の空間周波数となる。これを図21、図22を使って説明する。図21は、(fH,0)または(−fH,0)の空間周波数を示す合成画像を表す図である。(fH,0)または(−fH,0)の空間周波数は、水平方向に周期PHの縦縞である。図21中では、黒い画素の列と、白い画素の列が交互に並んだ縦縞として表している。図22は、(0,fV)または(0,−fV)の空間周波数を示す合成画像を表す図である。(0,fV)または(0,−fV)の空間周波数は、垂直方向に周期PVの横縞である。図22中では、黒い画素の行と、白い画素の行が交互に並んだ横縞として表している。図21もしくは図22のどちらにおいても、黒い画素は第1原画像の全ての画素を含み、白い画素は第2原画像の全ての画素を含んでいる。従って、2枚の原画像間に光量差がある場合に発生する空間周波数は、Fcを含んでいる。また、その周波数成分Fcは、図5における点(fH,0)、点(0,fV)を結ぶ境界線、および点(−fH,0)、点(0,−fV)を結ぶ境界線上に存在する。
LPF59は、上記のような空間周波数をカットするものであり、1次元フィルタとして構成する場合は、LPF59の1次元フィルタ方向は第1斜め方向U1と等しく、周波数Fd上のゲインが零であることが望ましく、上記基底帯域11を通過帯域とするものが望ましい。この場合のLPF59は、空間周波数Fdを含む破線12上のみをカットオフするようになる。また、原画像が本来保持している周波数成分を減衰させないために(画像がぼやけないために)、境界線を除く矩形領域内の領域では、LPF59のゲインが1であることが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、LPF59は直線位相特性であることが望ましい。
LPF59を2次元フィルタとして構成する場合は、境界線12上のゲインが零であることが望ましく、上記基底帯域11を通過帯域とするものが望ましい。また、原画像が本来保持している周波数成分を減衰させないために(画像がぼやけないために)、境界線を除く矩形領域内の領域では、LPF59のゲインが1であることが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、LPF59は直線位相特性であることが望ましい。
このような1次元フィルタや2次元フィルタとしては、第1の実施の形態で説明したローパスフィルタ(r1〜r4)を使用することができるが、ここでは、以下のようなローパスフィルタについて説明する。
縞模様の原因となる空間周波数成分の内で最も目立つものは、基底帯域11における水平,垂直方向の最大絶対値周波数成分であるFcである。そこで、2次元フィルタとして構成する場合、その周波数成分Fc上のゲインのみを零にするローパスフィルタを用いれば、縞模様は目立たなくなる。このようなローパスフィルタのローパス特性を、図23を使って説明する。ローパスフィルタは、図23において破線63および64上のゲインが零であることが望ましく、破線63および64で囲まれた領域65(図中、右下がりのハッチング領域、ただし基底帯域11を含む)を通過帯域とするものが望ましい。また、原画像が本来保持している周波数成分を減衰させないために(画像がぼやけないために)、境界線を除く矩形領域内の領域では、LPF59のゲインが1であることが望ましい。また、ローパス後の画像つまり光量差補正後の合成画像が歪まないために、LPF59は直線位相特性であることが望ましい。
上記のような要求を満たすローパスフィルタは、その次数が非常に大きくなってしまう傾向がある。高次数のローパスフィルタは、処理に時間がかかったり、回路規模が大きくなり、実用的でなくなってしまう。従って、上述のローパスフィルタの満たすべき条件と、処理時間や回路規模を鑑みて、適当な次数を設定する。例えば、以下のようなローパスフィルタm1が適当である。
このローパスフィルタm1は、4行4列の行列として表される2次元ローパスフィルタである。第p行q列の要素をm1(p,q)として表すと、このローパスフィルタm1により、合成画像を光量差補正する計算は、以下の式で計算される。
ここで、s(n,m)は、光量差補正前の合成画像の第n行m列の画素を表す。また、t(n,m)は、光量差補正後の合成画像の第n行m列の画素を表す。図4に示したように、仮想画素には画素データが無い。従って、ローパスフィルタm1の計算を行う前に、補間処理部55により仮想画素の画素を補間により求めておく。
ローパスフィルタm1よりも簡略化したローパスフィルタm2を、以下に示す。
ローパスフィルタm2は、3行3列の行列として表される2次元ローパスフィルタである。第p行q列の要素をm2(p,q)として表すと、このローパスフィルタm2により、合成画像を光量差補正する計算は、以下の式で計算される。
図4に示したように、仮想画素には画素データが無い。従って、ローパスフィルタm2の計算を行う前に、補間処理部55により仮想画素の画素を補間により求めておく。
ローパスフィルタm2は、ローパスフィルタm1よりも計算量が少なくて済む利点がある。しかし、ローパスフィルタm2は、通過帯域15のゲインが境界線に近づくに連れて1よりも小さくなる傾向が強く、結果としてローパスフィルタm1よりも、通過域の特性が良くなく、光量差補正後の合成画像がぼやける欠点がある。
また、2次元ローパスフィルタm1は、水平方向の1次元ローパスフィルタ(以下、水平ローパスフィルタと云う)mh1と垂直方向の1次元ローパスフィルタ(以下、垂直ローパスフィルタと云う)mv1とに分解できる。mh1は、行ベクトルとして表される1次元ローパスフィルタである。また、mv1は、列ベクトルとして表される1次元ローパスフィルタである。
水平ローパスフィルタmh1と垂直ローパスフィルタmv1により、合成画像を光量差補正する計算は、以下の式で計算される。
このように、水平ローパスフィルタmh1と垂直ローパスフィルタmv1を縦続形接続することにより、2次元ローパスフィルタm1を構成できるため、回路構成を簡略化できる。
図24は、この構成例を示すブロック図であり、垂直ローパスフィルタmv1と水平LPFmh1が縦続接続している。この縦続接続形回路には、合成画像の画素データを、ノンインターレースにより入力する事により、2次元ローパスフィルタ処理された画素データを出力できる。
図25は垂直ローパスフィルタmv1の回路構成例を表し、図26は水平ローパスフィルタmh1の回路構成例を表す。どちらの回路も、3個の加算器、1個の5倍乗算器により計算できる。なお、1/8の割り算器は、3ビットシフトにより計算できる。また、5倍乗算器も、ビットシフトと加算器により構成することもできる(図27参照)。
一方、2次元ローパスフィルタm1をそのまま回路に構成したブロック図を図28に示す。この図で、Dは1画素遅延素子、破線ブロックは、1水平遅延ラインを表す。従って、破線ブロック内の遅延ラインの遅延画素数は、出力画像の水平画素数より3画素少ない数となる。この回路の場合、15個の加算器、2個の5倍乗算器により計算できる。縦続接続形に比べて、かなりの加算器が必要であることがわかる。
また、2次元ローパスフィルタm2は、水平ローパスフィルタmh2と垂直ローパスフィルタmv2とに分解できる。mh2は、行ベクトルとして表される1次元ローパスフィルタである。また、mv2は、列ベクトルとして表される1次元ローパスフィルタである。
水平ローパスフィルタmh2と垂直ローパスフィルタmv2により、合成画像を光量差補正する計算は、以下の式で計算される。
このように、水平ローパスフィルタmh2と垂直ローパスフィルタmv2を縦続形接続することにより、2次元ローパスフィルタm2を構成できるため、回路構成を簡略化できる。
また、本第5実施の形態によれば、画像に含まれる水平方向のエッジまたは垂直方向のエッジが的確に補正できる。図29は、垂直方向のエッジを撮像した例を示している。画素s(p,q)においてq≦3が黒レベルであり、q≧4が白レベルであるような、q=3と4の間に垂直方向のエッジがある場合である。第1原画像においては、黒レベルは10、白レベルは200であったとする。つまり、s(p,1)=10、s(p,3)=10、s(p,5)=200であったとする。第2原画像においては、2原画像間に光量差が生じたため黒レベルは0、白レベルは190であったとする。つまり、s(p,2)=0、s(p,4)=190、s(p,6)=190であったとする。図30に各画素の画素値、および線形補間法により、仮想画素の画素データを計算した値を示す。本来は、垂直方向の直線上のエッジであったものが、ジグザグ状のエッジになっている。この画像に対して、式(49)に基づく光量差補正処理を施すと、図31のようになる。ジグザグ状のエッジであったものが、垂直方向のエッジに補正できている。また、水平方向のエッジについても同様に的確に補正ができる。
また、本実施の形態によれば、補間処理後にローパスフィルタ処理を行っているため、補間処理により発生する画質の劣化、即ち、特定周波数成分の画像ムラの発生をも同時に補正することができる。これは、補間処理により発生する画像ムラの周波数成分が、通常、イメージシフト時の光量差に基づく周波数成分と一致するからである。
ところで、ローパスフィルタ等のフィルタにおいては、カットしたい周波数成分でのゲインが0であり、その他の周波数成分のゲインが1であるような理想特性のフィルタを作成することは困難である。したがって、通常は、カットしたい周波数成分のゲインを0とすれば上記周波数成分近傍のゲインは1よりも低下してしまう。このため、本発明のように光量差により発生する縞模様に対応する周波数成分をカット(減衰)する場合、基底帯域中の周波数成分の一部を必然的に減衰させなければならなくなるが、本実施の形態ではフィルタによりカットする周波数成分を空間周波数座標に表した基底帯域の水平,垂直方向の頂点(水平軸,垂直軸上における絶対値が最大の周波数成分)としているため、第1〜第4実施の形態のように基底帯域の境界線をカットする場合よりも、減衰させなければならない周波数成分を減少できる。よって画質の劣化を抑制することが可能である。
なお、本第5実施の形態では、(1)2つの原画像信号を合成して合成画像を生成した後、(2)その合成画像に対して補間処理部55が仮想画素の画像データを補間により求めた後、(3)その補間画像に対してLPF59がローパスフィルタリングを施しているが、処理順序はこれに限るものではなく、合成画像に対してローパスフィルタリングを施した後に、補間処理を施しても良い。したがって、第1の実施の形態で説明した図1の構成のLPF5として本実施の形態のLPF59(m1,m2)を用いてもよい、この場合は、LPF59は、仮想画素の画素データは零として、ローパスフィルタリングを施せば良い。また、ローパスフィルタリングと補間処理を同時に行っても良い。
また、上述した第5実施の形態では、モノクロ画像を撮像する撮像装置について説明したが、カラー画像を撮像するカラー撮像装置に関しても同様に光量差補正を行うことができる。
例えば、カラー撮像装置には、単板方式および3板方式の撮像装置がある。単板方式の撮像装置では、撮像素子の光入射側に各受光領域で受光する光の波長を制限する色フィルタを設け、フィルタを通過した光を撮像させる。3板方式の撮像装置では、撮像光を色分解プリズムで赤青緑の3原色の単色画像光に分解して、各単色画像光を個別的に撮像素子で撮像する。従って、3板方式の撮像装置には、3つの撮像素子を設けている。
LPF59では、これらの手法で得られた各単色画像光の画像信号を例えば赤青緑の3原色それぞれの色調を示すベクトル量の信号として取り扱い(この場合、請求項におけるu=3)、各単色画像光画像信号に対して個別的にローパスフィルタ処理を施す。または、カラーの画像信号から輝度信号と2種類の色差信号とを生成し(この場合、請求項におけるu=3)、輝度信号と色差信号とに対して個別的にローパスフィルタ処理を施す。これによって、カラー撮像装置においても、出力画像の光量差を補正することができる。
上記のようにローパスフィルタ処理の施されたデータは、記録媒体60に記録される。記録媒体に記録されるデータはLPF59により個別的に処理された個々の信号であっても良いし、また、それらが合成された信号であっても良い。
なお、以上説明した第1〜第5実施の形態では、イメージシフトによりシフト量が水平方向あるいは垂直方向に対して1画素を超えないものであったが、シフト量が1画素を超える場合には、光量差によって出現する模様の周波数成分は、そのイメージシフト量の1画素未満の成分の2倍を周期とするものとなる。すなわち、イメージシフト量をXとしたとき、2×(X−INT(X))を周期とするものとなる(但し、INT(y)はyを超えない最大の整数)。このため、使用するローパスフィルタとしては、上記周波数成分をカットすることのできるものを選択する必要がある。
また、第1〜第5実施の形態では、2つの原画像により1つの合成画像を生成したが、本発明は更に多くの原画像から1つの合成画像を生成する場合にも適用できる。その場合、各原画像の配列を考慮し、光量差を打ち消すことのできるローパスフィルタを選択する必要がある。
更に、第1〜第5実施の形態におけるローパスフィルタの代わりにバンドパスフィルタを使用することも可能である。