JP3787927B2 - 撮像装置及びカラー画像信号の処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画素間の補間処理を行って高解像度を得る撮像装置及びカラー画像信号の処理方法に関する。
【０００２】
【従来の技術】
近年、高解像カラー画像は、パーソナル・コンピュータの入力画像として適しており、いわゆるマルチメディアの浸透によってますます安価な高解像度カラーカメラが求められている。
【０００３】
【発明が解決しようとする課題】
ところで、単板式カメラは、３板式カメラに比べて安価であり、色ずれ補正や固着が不要であって、さらに撮像速度が速く電子シャッタが可能である。しかし、単板式カメラは、色解像度が低く、図２５に示すように、折り返し歪の影響を軽減するために光学ローパスフィルタ等を用いても解像度を高めることが困難であった。
【０００４】
また、通常のカメラは、いわゆるフィルムカメラに比べてダイナミックレンジが不足し、画像に白潰れあるいは黒潰れ部分が目立ってしまうという問題が生じた。これに対して、複数のフレームメモリを用いて、シャッタ時間の異なる２枚のＣＣＤ（Charge Coupled Devise）イメージセンサが出力するフレーム画像から合成画像信号を生成して、高ダイナミックレンジを得る２板式カメラが提案されている。しかし、２板式カメラは、複数のフレームメモリを用いるために電子シャッタ機能を設けることができず、高速シャッタ機能を発揮することができなかった。
【０００５】
高解像度の画像を得る方法として、バイモルフ駆動のＣＣＤイメージセンサ等による光路シフトのウォーブリング手法によって複数のフレームからフルカラー高解像度を得るものがある。この手法は、単板式及び２板式に用いることができるが、撮像速度の低下，電子シャッタの使用が不可能等の欠点があり、用途が限定されてしまった。
【０００６】
また、カラー解像度を向上させるカメラとして、３枚のＣＣＤイメージセンサを有する３板式カメラがある。３板式カメラは、ＣＣＤイメージセンサが１枚の単板式カメラに比べて高価であり、とりわけ１３０万画素以上のＣＣＤイメージセンサを用いると非常に高価になってしまう。
【０００７】
本発明は、このような問題点に鑑みてなされたものであり、電子シャッタ等の諸機能を犠牲にすることなく、安価でかつ高解像度を得ることができる撮像装置及びカラー画像信号の処理方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る撮像装置は、３原色にそれぞれ対応して市松模様状に配列された画素の色信号をそれぞれ出力する撮像部と、上記撮像部が出力した各色信号のうち赤色信号と緑色信号を取り込んで記憶する記憶手段と、上記記憶手段に取り込んだ赤色信号と緑色信号に対応する画素によって囲まれる青色信号に対応する画素を輝度信号の補間箇所とし、前記補間箇所を挟んで位置する各画素の相関度の大きい方向に位置する画素の各色信号に基づいて、上記補間箇所の画素の輝度信号を補間することにより補間処理済みの輝度信号を生成する補間処理手段と、補間済みの輝度信号、赤色信号、及び、緑色信号の低域成分を除去して高域輝度信号を生成するハイパスフィルタと、上記高域輝度信号と上記撮像部で生成された３原色の各色信号とを合成する合成手段とを備えることを特徴とする。
【０００９】
したがって、上記撮像装置は、撮像部で生成された３原色の色信号に基づいて高域輝度信号を生成するとともに、上記３原色の色信号のそれぞれに上記高域輝度信号を合成することによって、解像度の良好な画像を得ることができる。
【００１０】
本発明に係るカラー画像信号の処理方法は、３原色にそれぞれ対応して市松模様状に配列された画素の各色信号のうち赤色信号及び緑色信号を輝度信号として取り扱い、青色信号に対応する画素を輝度信号の補間箇所とし、この補間箇所を中心としてそれぞれ対をなす画素間の相関度を算出し、算出された相関度の大きい対をなす画素の各色信号に基づいて輝度信号の補間処理を行い、上記補間処理済みの輝度信号、赤色信号、及び、緑色信号の低域成分を除去して高域輝度信号を生成し、上記３原色の各色信号にそれぞれ上記高域輝度信号を合成することを特徴とする。
【００１１】
したがって、上記カラー画像信号の処理方法は、撮像部で生成された３原色の色信号に基づいて高域輝度信号を生成するとともに、上記３原色の色信号のそれぞれに上記高域輝度信号を合成することによって、解像度の良好な画像を得ることができる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１３】
第１の実施の形態に係る撮像装置は、単板式であって、例えば１枚のＣＣＤ（Charge Coupled Device ）イメージセンサから得られる各色信号に対して画素間の適応補間により生成された高域輝度成分を合成することによって、高解像度化を図るものである。
【００１４】
第１の実施の形態に係る撮像装置１０は、例えば図１に示すように、ＣＣＤドライバ１２により駆動される１枚のＣＣＤイメージセンサ１１と、相関二重サンプリング／自動利得制御（ＣＤＳ／ＡＧＣ：Correlated Double sampling/Automatic Gain Control ）回路１３と、Ａ／Ｄコンバータ１４と、ディジタルシグナルプロセッサ（ＤＳＰ：Digital Signal Processor）１５と、ローパスフィルタ（ＬＰＦ）１７と、バッファメモリ１８と、適応補間処理回路１９と、ハイパスフィルタ（ＨＰＦ）２０と、バッファメモリ２１と、加算回路２２と、ビデオエンコーダ２３とを備える。
【００１５】
ＣＣＤイメージセンサ１１は、例えば全画素同時読出しのものであって、図２に示すように、赤（Ｒ），緑（Ｇ），青（Ｂ）の各画素が市松模様状の配列で構成される。ＣＣＤイメージセンサ１１は、被写体からの入射光を受光すると、この入射光に応じて色信号Ｒ，Ｇ，Ｂを生成してＣＤＳ／ＡＧＣ回路１３に供給する。
【００１６】
ＣＤＳ／ＡＧＣ回路１３は、各色信号のプリチャージレベルとデータレベルをサンプルホールドし、その差分を検出して正確な信号レベルを検出することによりランダム雑音を除去し、さらに、各色信号の強弱に応じてＣＤＳ／ＡＧＣ回路自体の利得を自動的に制御して常に信号レベルの安定した撮像信号を出力している。
【００１７】
Ａ／Ｄコンバータ１４は、サンプリングパルスに基づいて駆動するようになっていて、ＣＤＳ／ＡＧＣ回路１３からの各色信号をディジタル信号に変換してＤＳＰ１５に供給する。
【００１８】
ＤＳＰ１５は、ガンマ補正，ニー処理等のいわゆるディジタル信号処理を各色データに施して、得られた３原色の各色信号をＬＰＦ１７及び適応補間処理回路１９に供給する。
【００１９】
ＬＰＦ１７は、各色信号Ｒ，Ｇ，Ｂの高帯域成分をカットして、低域成分の色データＲＬ，ＧＬ，ＢＬをバッファメモリ１８を介して加算回路２２に供給する。
【００２０】
一方、適応補間処理回路１９は、色信号Ｒ，Ｇから局所画素相関度を計算し、その相関度が最大になる画素で補間を行って高解像度の輝度信号を得る。
【００２１】
ここで、適応補間処理回路１９は、ＤＳＰ１５でホワイトバランス調整の施された各色信号Ｒ，Ｇ，Ｂが供給され、図３に示すように、内部メモリ１９ａ上に赤色信号と緑色信号の各画素に対応するデータとして取り込まれる。ホワイトバランス調整後において色信号Ｒと色信号Ｇのレベルは同じに調整されているので、色信号Ｒ，Ｇが有する輝度信号Ｙの情報に着目すると、図３の点線で囲った３×３の近傍では、図４に示すように輝度信号Ｙ１〜Ｙ９が配列されているとみなすことができる。
【００２２】
相関度Ｓは、ある方向の画素列Ｙｎに対して以下のように定義される。
【００２３】
Ｓ＝ｍｉｎ（Ｙｎ）／ｍａｘ（Ｙｎ）
なお、Ｓ≦１であるので、Ｓ＝１のとき相関が最大となる。
【００２４】
縦，横，斜めの各方向の相関度を計算した後、相関度が最大となる方向で補間を行えば、それに直交する方向にＬＰＦ処理を施すことにはならないので、直交方向の解像度は劣化しない。換言すると、相関に応じて適応的に補間することで解像度の向上を図ることができる。
【００２５】
かかる補間処理を行うために、適応補間処理回路１９は、具体的には図５に示すステップＳ１以下の処理を行う。
【００２６】
ステップＳ１において、適応補間処理回路１９は、色信号Ｒ，Ｇのみを内部メモリ１９ａに取り込んで、図３に示すＲＧ画像を得て、ステップＳ２に進む。
【００２７】
ステップＳ２において、ポインタを最初の画像補間点に設定して、ステップＳ３に進む。
【００２８】
ステップＳ３において、適応補間処理回路１９は、縦方向の相関度ａを計算する。ここで、縦方向の相関度ａは、具体的には以下の式によって算出される。
【００２９】

適応補間処理回路１９は、算出されたａを変数Ｘに代入して、この変数ＸにフラグＡを立てて、ステップＳ４に進む。
【００３０】
ステップＳ４において、適応補間処理回路１９は、横方向の相関度ｂを以下の式に基づいて計算して、ステップＳ５に進む。
【００３１】

ステップＳ５において、適応補間処理回路１９は、縦方向と横方向の相関度を比較すべく、Ｘの値が相関度ｂより大きいかを判定し、Ｘが大きいときはステップＳ７に進み、Ｘが大きくないときはステップＳ６に進む。
【００３２】
ステップＳ６において、適応補間処理回路１９は、変数Ｘに相関度ｂを代入して、フラグＢを立てて、ステップＳ７に進む。
【００３３】
ステップＳ７において、適応補間処理回路１９は、左上右下斜め方向の相関度ｃを以下の式により計算して、ステップＳ８に進む。
【００３４】
ｃ＝ｍｉｎ（Ｙｎ）／ｍａｘ（Ｙｎ）
ｍｉｎ（Ｙｎ）＝ｍｉｎ（Ｙ２，Ｙ６）・ｍｉｎ（Ｙ４，Ｙ８）
ｍａｘ（Ｙｎ）＝ｍａｘ（Ｙ２，Ｙ６）・ｍａｘ（Ｙ４，Ｙ８）
ステップＳ８において、適応補間処理回路１９は、変数Ｘがｃより大きいかを判定し、ｃより大きいときは図６に示すステップＳ１０に進み、ｃより大きくないときはステップＳ９に進む。
【００３５】
ステップＳ９において、適応補間処理回路１９は、変数Ｘに相関度ｃの値を代入して、フラグＣを立てて、図６に示すステップＳ１０に進む。
【００３６】
ステップＳ１０において、適応補間処理回路１９は、左下右上斜め方向の相関度ｄを以下の式によって算出して、ステップＳ１１に進む。
【００３７】
ｄ＝ｍｉｎ（Ｙｎ）／ｍａｘ（Ｙｎ）
ｍｉｎ（Ｙｎ）＝ｍｉｎ（Ｙ２，Ｙ４）・ｍｉｎ（Ｙ６，Ｙ８）
ｍａｘ（Ｙｎ）＝ｍａｘ（Ｙ２，Ｙ４）・ｍａｘ（Ｙ６，Ｙ８）
ステップＳ１１において、適応補間処理回路１９は、変数Ｘより相関度ｄが大きいかを判定し、Ｘが大きいときはステップＳ１３に進み、Ｘが大きくないときはステップＳ１２に進む。
【００３８】
ステップＳ１２において、適応補間処理回路１９は、変数Ｘに相関度ｄを代入し、フラグＤを立てて、ステップＳ１３に進む。
【００３９】
ステップＳ１３において、適応補間処理回路１９は、変数Ｘに立てていたフラグがＡであるかを判定し、フラグがＡであるときは縦方向の補間を行い（ステップＳ１４）、フラグがＡでないときはステップＳ１５に進む。ステップＳ１４では、適応補間処理回路１９は、例えば（Ｙ２＋Ｙ８）／２のように、Ｙ５に対する縦方向の輝度信号Ｙの平均を算出して、縦方向の補間処理を行う。
【００４０】
ステップＳ１５において、適応補間処理回路１９は、フラグがＢであるかを判定し、フラグがＢであるときは横方向の補間を行い（ステップＳ１６）、フラグがＢでないときはステップＳ１７に進む。ステップＳ１６では、適応補間処理回路１９は、例えば（Ｙ４＋Ｙ６）／２のように、Ｙ５に対する横方向の輝度信号Ｙの平均を算出して、横方向の補間処理を行う。
【００４１】
ステップＳ１７において、適応補間処理回路１９は、フラグがＣであるかを判定し、フラグがＣであるときは左上右下斜め方向の補間を行い（ステップＳ１８）、フラグがＣでないときはステップＳ１９に進む。ステップＳ１８では、適応補間処理回路１９は、例えば（Ｙ１＋Ｙ９）／２のように、Ｙ５に対する左上右下斜め方向の輝度信号Ｙの平均を算出して、斜め方向の補間処理を行う。
【００４２】
ステップＳ１９において、適応補間処理回路１９は、フラグがＤであるかを判定し、フラグがＤであるときは左下右上斜め方向の補間を行い（ステップＳ２０）、フラグがＤでないときはステップＳ２１に進む。ステップＳ２０では、適応補間処理回路１９は、例えば（Ｙ３＋Ｙ７）／２のように、Ｙ５に対する左下右上斜め方向の輝度信号Ｙの平均を算出して、斜め方向の補間処理を行う。
【００４３】
ステップＳ２１において、適応補間処理回路１９は、ポインタを次の画像補間点に設定して、ステップＳ２２に進む。
【００４４】
ステップＳ２２において、適応補間処理回路１９は、ポインタが最後の画像補間点に設定されたかを判定して、ポインタが最後の画像補間点に設定されたときは補間処理を終了し、最後の画像補間点に設定されていないと判定したときは上述のステップＳ３に戻って、ステップＳ３以下の画像補間処理を実行する。
【００４５】
以上のように、適応補間処理回路１９は、適応補間処理を次式
Ｙ５＝ａＹ１＋ｂＹ２＋ｃＹ３＋ｄＹ４＋ｅＹ６＋ｆＹ７＋ｇＹ８＋ｈＹ９
によって表すことができ、周辺画素の相関度を求めてからａ〜ｈを設定することにより、最適な適応補間処理を行うことができる。なお、相関度の代わりに画素間の類似度で計算してもよい。
【００４６】
ここで、ステップＳ１８及びステップＳ２０では、具体的には図７のステップＳ３１以下のサブルーチン処理を行っている。
【００４７】
ステップＳ３１において、適応補間処理回路１９は、ポインタの近傍Ｒの分散度σを計算する。
【００４８】
同じ色の分散度σは、局所近傍空間内において平均値からの偏差のばらつきを示すものである。例えば分散度σが小さければ、その色での相関はどの方向でも同じであることであり、適応補間の効果がなくなる。すなわち、σＲが小さければＲを除いたＧで縦と横のみの適応補間を行うようにすれば十分である。
【００４９】
ここで、分散度σを以下のように定義すると、
σ色＝ｍｉｎ（色全画素）／ｍａｘ（色全画素）
図８の場合は
σＲ＝ｍｉｎ（Ｒ１，Ｒ２，Ｒ３，Ｒ４）／ｍａｘ（Ｒ１，Ｒ２，Ｒ３，Ｒ４）
となる。
【００５０】
ステップＳ３２において、適応補間処理回路１９は、分散度σが所定値より大きいかを判定し、大きいときはステップＳ３３に進み、大きくないときはステップＳ３４に進む。
【００５１】
ステップＳ３３において、適応補間処理回路１９は、斜め方向の補間処理を行う。ここで、ステップＳ１８からの処理を行っているときは左上右下斜め方向の補間処理を行い、ステップＳ２０からの処理を行っているときは左下右上斜め方向の補間処理を行って、サブルーチン処理を終了する。
【００５２】
一方、ステップＳ３２で分散度σが大きくないと判定したときのステップＳ３４において、適応補間処理回路１９は、上述したステップＳ３で算出した縦方向の相関度ａとステップＳ４で算出した横方向の相関度ｂのうち、相関度の大きい方向において補間処理を行って、サブルーチン処理を終了する。
【００５３】
すなわち、適応補間処理回路１９は、分散度σが大きいときは斜め方向の補間処理を行い、分散度σが小さいときはその色（Ｒ）での相関はどの方向もほとんど同じであって適応補間処理の効果がそれほど大きくないので、Ｒを除いて一般画像の中で最も頻度の高いＧのみで縦方向又は横方向の適応補間を行うようになっている。換言すると、分散度σが小さいときは、カラー画像のＲ及びＧのレベルの違いによる適応補間処理のわずかなずれを回避すべく、最も頻度が高くレベルの高いＧのみで補間処理を行うことにより、より高解像な画像を得ることができる。
【００５４】
以上の処理により輝度信号Ｙが補間されると、適応補間処理回路１９は、図９に示す輝度信号Ｙ及び色信号Ｒ，ＧをＨＰＦ２０に供給する。
【００５５】
ＨＰＦ２０は、適応補間処理回路１９で得られた輝度信号から低帯域成分をカットすることにより、図１０に示すように、高域成分の輝度信号ＹＨを生成して、この高域輝度信号ＹＨをバッファメモリ２１を介して加算回路２２に供給する。
【００５６】
加算回路２２は、低帯域成分の各色信号ＲＬ，ＧＬ，ＢＬに対して高帯域成分の輝度信号ＹＨをそれぞれ合成することによって、高解像度の色信号Ｒ，Ｇ，Ｂを出力する。また、ビデオエンコーダ２３は、加算回路２２で生成された高解像度の色信号Ｒ，Ｇ，Ｂを例えばＮＴＳＣ（National Television System Committee）方式のビデオ信号にエンコードして、外部に設けられた図示しないモニタ装置にビデオ信号を供給するようになっている。
【００５７】
以上のように、本実施の形態に係る撮像装置１０では、カラーフィルタの配列からＲＧ画素で適応補間処理を施すことにより、縦横のみならず斜め方向も含む全方向の解像度を向上することができる。また、単板式であるために安価でコンパクトであるにも拘らず、画素ずらし機構等を用いることなく３板式相当の高解像度を得ることができる。また、上記撮像装置１０は、画素ずらし機構等を用いることなく高解像度を得ることができるので、電子シャッタ機能も使用することができる。撮像装置１０は、全画素同時読出し式のＣＣＤイメージセンサ１１を用いているので、パーソナルコンピュータのモニタ装置等に最適なノンインターレス画像を得ることができる。
【００５８】
つぎに、本発明の第２の実施の形態について説明する。なお、上述の実施の形態と同じ回路等については同じ符号を付けて詳細な説明は省略し、以下、他の実施の形態においても同様に説明する。
【００５９】
第２の実施の形態に係る撮像装置３０は、図１１に示すように、撮像部３０Ａとコンピュータ部３０Ｂとで構成され、撮像部３０Ａで得られた色信号Ｒ，Ｇ，Ｂの適応補間処理をコンピュータ部３０Ｂのソフト処理で行うことによって、フレキシブル（多種類・多機能）に高解像度の画像の取込を行うことができるものである。
【００６０】
撮像部３０Ａは、例えば図１１に示すように、ＣＣＤイメージセンサ１１と、ＣＣＤイメージセンサ１１を駆動するＣＣＤドライバ１２と、ＣＣＤイメージセンサ１１からの各色信号に相関二重サンプリング処理及び利得制御を施すＣＤＳ／ＡＧＣ回路１３と、ＣＤＳ／ＡＧＣ回路１３から各色信号をディジタル化するＡ／Ｄコンバータ１４と、Ａ／Ｄコンバータ１４からのディジタル化された各色信号にディジタル信号処理を施すＤＳＰ１５と、ＤＳＰ１５からの各色信号を所定のビデオ信号に変換するビデオエンコーダ２３とを備える。これらの回路は、第１の実施の形態と同様の機能を有する。
【００６１】
また、撮像部３０Ａは、ＤＳＰ１５からの各色信号に簡易な補間処理を施す簡易補間回路３１と、ＤＳＰ１５からの各色信号をコンピュータ部３０Ｂに送信するために所定の信号変換処理を施すパーソナルコンピュータインターフェース（以下、パソコンＩ／Ｆという）３２とを備え、画素間が補間された各色信号を出力し、また、双方向バス３３を介してコンピュータ部３０Ｂに各色信号を送信したり、コンピュータ部３０Ｂからの制御信号を受信することができるようになっている。
【００６２】
一方、コンピュータ部３０Ｂは、例えばパーソナルコンピュータに用いて好適なものであり双方向バス３３を介して各色信号が送信されるパソコンＩ／Ｆ３４と、所定のプログラム等を保存するハード・ディスク・ドライブ（ＨＤＤ：Hard Disk Drive）メモリ３５と、パソコンＩ／Ｆ３４からの各色信号の高域成分をカットするＬＰＦ１７と、ＬＰＦ１７からの各色信号を記憶するバッファメモリ１８と、パソコンＩ／Ｆ３４からの各色信号に適応補間処理を施す適応補間処理回路１９と、適応補間処理回路１９からの各色信号の低域成分をカットするＨＰＦ２０と、ＨＰＦ２０からの輝度信号ＹＨを記憶するバッファメモリ２１と、バッファメモリ１８，２１からの信号を加算する加算回路２２と、加算回路２２からの各色信号をモニタ５０に出力するためのアクセラレータ３６とを備える。
【００６３】
以上のように構成された撮像装置３０において、ＣＣＤイメージセンサ１１は、色信号Ｒ，Ｇ，Ｂを生成し、ＣＤＳ／ＡＧＣ回路１３，Ａ／Ｄコンバータ１４を介してＤＳＰ１５に供給する。ＤＳＰ１５は、ビデオエンコーダ２３を介して所定のビデオ信号に変換して輝度信号Ｙ／クロマ信号Ｃを出力し、また、簡易補間回路３１を介して簡易補間を施して各色信号を出力したり、パソコンＩ／Ｆ３２を介して各色信号をコンピュータ部３０Ｂに送信するようになっている。
【００６４】
コンピュータ部３０Ｂにおいて、パソコンＩ／Ｆ３４は、適応補間処理回路１９及びＬＰＦ１７に各色信号を供給する。ＬＰＦ１７は、各色信号の高域成分を除去した後、各色信号をバッファメモリ１８を介して加算回路２２に供給する。
【００６５】
適応補間処理回路１９は、上述したステップＳ１〜ステップＳ２２及びステップＳ３１〜ステップＳ３４の処理を行うことにより適応補間を施し、図９に示す輝度信号Ｙ及び各色信号Ｒ，Ｇ，ＢをＨＰＦ２０に供給する。ＨＰＦ２０は、輝度信号Ｙ及び各色信号の低域成分をカットすることにより得られる高域の輝度信号ＹＨをバッファメモリ２１を介して加算回路２２に供給する。
【００６６】
加算回路２２は、バッファメモリ１８からの各色信号ＲＬ，ＧＬ，ＢＬに高域輝度信号Ｙを加算して生成された高解像度の色信号Ｒ，Ｇ，Ｂを、アクセラレータ３６を介してモニタ５０に供給する。
【００６７】
以上のように、第２の実施の形態に係る撮像装置３０は、適応補間処理をパーソナルコンピュータ内のソフトウェア処理で行うことにより、撮像部３０Ａの小型化・軽量化を図るとともに、上記ソフトウェアが例えばバージョンアップしても撮像部３０Ａを代えることなくフレキシブルに補間処理を行うことができる。また、カラーフィルタの配列からＲＧ画素で適応補間処理を施すことにより、縦横のみならず斜め方向も含む全方向の解像度を向上することができる。また、上記撮像装置３０は、単板式であるために安価でコンパクトであるにも拘らず、画素ずらし機構等を用いることなく高解像度を得ることができ、電子シャッタ機能も使用することができる。また、撮像装置３０は、全画素同時読出し式のＣＣＤイメージセンサ１１を用いているので、パーソナルコンピュータのモニタ装置等に最適なノンインターレス画像を得ることができる。
【００６８】
つぎに、本発明の第３の実施の形態について説明する。
【００６９】
第３の実施の形態に係る撮像装置６０は、静止画カメラに好適なものであり、図１２に示すように、カメラヘッドユニット（ＣＨＵ：Camera Head Unit）に用いて好適な撮像部６０Ａ内の回路を撮像する瞬間だけ稼働し、コンピュータ部６０Ｂから撮像要求がないときには待機モードになって省電力化を図るものである。
【００７０】
具体的には、撮像部６０Ａは、例えば図１２に示すように、ＣＣＤイメージセンサ１１と、ＣＣＤイメージセンサ１１からの各色信号に相関二重サンプリング処理を施すＣＤＳ回路１３ａと、ＣＤＳ回路１３ａからの各色信号の利得を制御するＡＧＣ回路１３ｂと、ＡＧＣ回路１３ｂからの各色信号の高域成分を除去するＬＰＦ６１と、ＬＰＦ６１からの各色信号をディジタル化するＡ／Ｄコンバータ１４と、Ａ／Ｄコンバータ１４からの各色信号に所定の信号変換を施すパソコンＩ／Ｆ３２と、ＣＣＤイメージセンサ１１を駆動するための読出しパルス等を生成するタイミングジェネレータ６２と、アイリス制御回路６３と、アイリス制御回路６３に基づいてアイリスの調整等を行うレンズブロック６４とを備える。
【００７１】
ＣＣＤイメージセンサ１１は、タイミングジェネレータ６２からの掃き出しパルス及び読出しパルスに基づいて有効電荷蓄積期間（電子シャッタ期間）が制御される。また、静止画撮像のために単発撮像（電子シャッタ期間を１フレーム又は数フレーム期間に設定して各色信号のみをパソコンへ転送すること）を行えば十分なので、タイミングジェネレータ６２がＣＣＤイメージセンサ１１に供給するクロックは低周波数になっている。
【００７２】
パソコンＩ／Ｆ３２は、コンピュータ部６０Ｂからの撮像モードの要求に基づいて全回路の機能をオンにしたり、待機モードの要求に基づいてパソコンＩ／Ｆ３２以外の回路の機能をオフにする。従って、撮像部６０Ａは、待機モードのときに電力の消費を抑制して、省電力化を図ることができる。
【００７３】
また、コンピュータ部６０Ｂは、パソコンＩ／Ｆ３４と、所定のプログラム等を保存するＨＤＤメモリ３５と、パソコンＩ／Ｆ３４からの各色信号に所定の信号処理を施す信号処理回路６５と、信号処理回路６５からの各色信号の高域成分をカットするＬＰＦ１７と、ＬＰＦ１７からの各色信号を記憶するバッファメモリ１８と、パソコンＩ／Ｆ３４からの各色信号に適応補間処理を施す適応補間処理回路１９と、適応補間処理回路１９からの各色信号の低域成分をカットするＨＰＦ２０と、ＨＰＦ２０からの各色信号を記憶するバッファメモリ２１と、バッファメモリ１８，２１からの信号を加算する加算回路２２と、加算回路２２からの各色信号をモニタ５０に出力するためのアクセラレータ３６と、撮像部６０Ａに電源を供給するための電源回路６６とを備える。
【００７４】
撮像部６０Ａのモードの切換制御は、コンピュータ部６０Ｂのカメラ制御用ソフトが稼働している状態において、キーボード入力等に基づいて行われる。すなわち、撮像部６０Ａの有する電子シャッタ制御，アイリス制御，待機モードの制御はコンピュータ部６０Ｂによって行われ、また、撮像部６０Ａからの各色信号に対する適応補間処理やディジタル信号処理もコンピュータ部６０Ｂ内の適応補間処理回路１９及び信号処理回路６５で行われるようになっている。
【００７５】
以上のように構成された撮像装置６０において、コンピュータ部６０Ｂの制御に基づいて待機モードに設定されているときは、撮像部６０Ａは、電源回路６６から電源が供給されずパソコンＩ／Ｆ３２を除いた全回路の機能が停止する。
【００７６】
そして、撮像部６０Ａは、電源回路６６から電源が供給されて撮像モードに設定されると全回路が機能するようになる。このとき、例えばコンピュータ部６０Ｂは、キーボード等の操作手段の操作設定に基づいて、パソコンＩ／Ｆ３２，アイリス制御回路６３を介してアイリスを調整することができる。
【００７７】
また、コンピュータ部６０Ｂが撮像部６０Ａに撮像要求すると、ＣＣＤイメージセンサ１１は、１フレーム又は数フレーム期間の電子シャッタ期間に得られた各色信号をＣＤＳ回路１３ａ，ＡＧＣ回路１３ｂ等を介してパソコンＩ／Ｆ３２に供給する。パソコンＩ／Ｆ３２は、各色信号に所定の信号変換処理を行って双方向バス３３を介してパソコンＩ／Ｆ３４に供給する。
【００７８】
コンピュータ部６０Ｂにおいて、信号処理回路６５は、パソコンＩ／Ｆ３４からの各色信号にディジタル信号処理を施して、この各色信号をＬＰＦ１７等を介して加算回路２２に供給するとともに、適応補間処理回路１９にも供給する。適応補間処理回路１９は、信号処理回路６５からの各色信号Ｒ，Ｇ，Ｂから高解像度の輝度信号Ｙを生成してＨＰＦ２０等を介して加算回路２２に供給する。加算回路２２は、各色信号ＲＬ，ＧＬ，ＢＬと高解像度の輝度信号ＹＨとを合成して出力することにより、高解像度の各色信号Ｒ，Ｇ，Ｂを生成し、アクセラレータ３６を介してモニタ５０に供給することができる。
【００７９】
以上のように、第３の実施の形態に係る撮像装置６０は、撮像するときのみ撮像部６０Ａを稼働して、待機モードのときには撮像部６０Ａの各回路の機能を停止させることにより、省電力化を図ることができる。また、撮像装置６０は、撮像部６０Ａで生成された各色信号について、適応補間処理のみならずニー処理・ガンマ補正等のディジタル信号処理をもコンピュータ部６０Ｂ内のソフトウェア処理で行うことにより、撮像部６０Ａの小型化・軽量化を図るとともに、上記ソフトウェアが例えばバージョンアップしても撮像部６０Ａを代えることなくフレキシブルに行うことができる。また、カラーフィルタの配列からＲＧ画素で適応補間処理を施すことにより、縦横のみならず斜め方向も含む全方向の解像度を向上することができる。上記撮像装置６０は、単板式であるために安価でコンパクトであるにも拘らず、画素ずらし機構等を用いることなく高解像度を得ることができるので、電子シャッタ機能も使用することができる。なお、撮像装置６０は、全画素同時読出し式のＣＣＤイメージセンサ１１を用いているので、コンピュータ部６０Ｂを介してモニタ装置５０にノンインターレス画像を供給することができる。
【００８０】
つぎに、第４の実施の形態に係る撮像装置について説明する。第４の実施の形態に係る撮像装置は、２枚の撮像素子を用いてダイナミックレンジを拡大するとともに、高解像度の画像を得ることができるものである。
【００８１】
第４の実施の形態に係る撮像装置８０は、例えば図１３に示すように、撮像レンズ８１によって集光されて光学フィルタ８２で色分離された撮像光がハーフミラーブロック８３を介して入射されるＣＣＤイメージセンサ８４，８６と、ＣＣＤイメージセンサ８４からの画素信号に適応補間処理を施す適応補間処理部８５と、ＣＣＤイメージセンサ８６からの画素信号に適応補間処理を施す適応補間処理部８７と、適応補間処理部８５，８７からの各色信号を合成する画像合成部８８と、画像合成部８８で合成された各色信号を所定のビデオ信号に変換するビデオエンコーダ８９と、全体を制御するシステムコントローラ９０とを備える。
【００８２】
ここで、ＣＣＤイメージセンサ８４，８６は、例えば全画素同時読出しのものであって、上述の図２に示すように、赤（Ｒ），緑（Ｇ），青（Ｂ）の各画素が市松配列で構成される。
【００８３】
また、ＣＣＤイメージセンサ８４は、図１４に示すように、ＣＣＤイメージセンサ８６に比べて、掃き捨てパルスから読出しパルスまでの期間である有効電荷蓄積期間が短く設定されている。従って、ＣＣＤイメージセンサ８４は、ＣＣＤイメージセンサ８６に比べて、全体的に光量の少ない各色信号を出力するようになっている。
【００８４】
ここで、適応補間処理部８５と適応補間処理部８７とは同じ構成になっている。具体的には、適応補間処理部８５，８７は、図１５に示すように、ＣＣＤイメージセンサ８４，８６からの各色信号に相関二重サンプリング処理等を施すＣＤＳ／ＡＧＣ回路１３と、ＣＤＳ／ＡＧＣ回路１３から各色信号をディジタル化するＡ／Ｄコンバータ１４と、Ａ／Ｄコンバータ１４からのディジタル化された各色信号にディジタル信号処理を施すＤＳＰ１５とを備える。
【００８５】
適応補間処理部８５，８７は、さらに、ＤＳＰ１５から供給される各色信号の高域成分をカットするＬＰＦ１７と、ＬＰＦ１７からの各色信号を記憶するバッファメモリ１８と、ＤＳＰ１５からの各色信号に適応補間処理を施す適応補間処理回路１９と、適応補間処理回路１９からの各色信号の低域成分をカットするＨＰＦ２０と、ＨＰＦ２０からの各色信号を記憶するバッファメモリ２１と、バッファメモリ１８，２１の各色信号を加算する加算回路２２とを備える。
【００８６】
画像合成部８８は、適応補間処理部８５からの信号レベルの低い各色信号と適応補間処理部８７からの通常の信号レベルの各色信号とを選択して出力するものであり、図１６に示すように、ＬＰＦ９１と、レベル比較器９２と、切換回路９３とを備える。
【００８７】
ＬＰＦ９１は、適応補間処理部８５から供給される画素データの不要な高域成分を除去して、この各色信号をレベル比較器９２に供給する。
【００８８】
レベル比較器９２は、図１７（Ａ）に示すように、ＬＰＦ９１から供給される各色信号ＨＤ１のレベルと白潰れが生じるレベルに設定されたスレショールドレベルとを比較して、図１７（Ｂ）に示すように、各色信号ＨＤ１のレベルが高いときにＨレベルのスイッチ制御信号を出力するようになっている。
【００８９】
切換回路９３では、端子ａに適応補間処理部８５からの各色信号ＨＤ１が供給され、端子ｂに適応補間処理部８７からの各色信号ＨＤ２が供給される。切換回路９３は、レベル比較器９２からＨレベルのスイッチ制御信号が供給されると端子ａに供給されている各色信号ＨＤ１を出力し、レベル比較器９２からＬレベルの信号が供給されると端子ｂに供給されている各色信号ＨＤ２を出力するようになっている。
【００９０】
換言すると、切換回路９３の端子ａには図１７（Ａ）に示す各色信号ＨＤ１が供給され、端子ｂには図１７（Ｃ）に示す各色信号ＨＤ２が供給される。各色信号ＨＤ２が白潰れを生じていない期間は、スイッチ制御信号がＬレベルになっているので、図１７（Ｄ）に示すように、切換回路９３は各色信号ＨＤ２を出力する。各色信号ＨＤ２に白潰れが生じている期間は、スイッチ制御信号はＨレベルになって、図１７（Ｄ）に示すように、切換回路９３は各色信号ＨＤ１を出力する。
【００９１】
したがって、例えば室内から屋外を撮影しているときに各色信号ＨＤ２に白潰れが生じると、画像合成部８８は、この白潰れが生じた部分に各色信号ＨＤ１を挿入することにより白潰れの生じない各色信号を出力して、ダイナミックレンジを拡大することができる。
【００９２】
以上のように、撮像装置８０は、２枚のＣＣＤイメージセンサの出力信号に対してそれぞれ適応補間処理を施して高解像度画像を得ることができ、かつ、シャッタ時間の異なる各色信号を選択して合成することによってダイナミックレンジの向上を図ることができ、銀塩写真に匹敵する各色信号を得ることができる。また、カラーフィルタの配列からＲＧ画素で適応補間処理を施すことにより、縦横のみならず斜め方向も含む全方向の解像度を向上することができる。また、上記撮像装置８０は、画素ずらし機構等を用いることなく高解像度を得ることができるので、電子シャッタ機能も使用することができる。なお、撮像装置８０は、全画素同時読出し式のＣＣＤイメージセンサ８４，８６を用いているので、パーソナルコンピュータのモニタ装置等に最適なノンインターレス画像を得ることができる。
【００９３】
また、撮像装置８０におけるハーフミラーブロック８３とＣＣＤイメージセンサ８４の間にＮＤ（Neutral Density）フィルタ９５を設け、ＣＣＤイメージセンサ８４，８６のシャッタ時間を同じにしてもよい。すなわち、ＣＣＤイメージセンサ８４は、ＮＤフィルタ９５を介して入射光を受光すると全体的に光量の少ない各色信号を生成し、シャッタ時間を短くした場合と同様の各色信号を生成することができる。
【００９４】
つぎに、第５の実施の形態に係る撮像装置について説明する。
【００９５】
第５の実施の形態に係る撮像装置は、白潰れのみならず黒潰れも生じないように、図１６に示した画像合成部８８の代わりに、白潰れモード又は黒潰れモードの切換を行うことができる画像合成部８８ａを設けたものである。
【００９６】
画像合成部８８ａにおいて、切換回路９４は、具体的には図１８に示すように、適応補間処理部８５からの各色信号ＨＤ１が供給される端子ｃ，ｆと、適応補間処理部８７からの各色信号ＨＤ２が供給される端子ｄ，ｅと、端子ｃ又は端子ｄに供給された各色信号を選択して出力するスイッチ９４Ｘと、端子ｅ又は端子ｆに供給された各色信号を選択して出力するスイッチ９４Ｙとを備える。スイッチ９４Ｘ，９４Ｙは、互いに連動して、システムコントローラ９０で切換制御されている。すなわち、システムコントローラ９０は、白潰れ補正モードになったときはスイッチ９４Ｘを端子ｃに，スイッチ９４Ｙを端子ｄに設定して、また、黒潰れ補正モードになったときはスイッチ９４Ｙを端子ｅに，スイッチ９４Ｙを端子ｆに設定するようになっている。そして、スイッチ９４Ｘは、選択出力した各色信号をＬＰＦ９１及び切換回路９３の端子ａに供給する。スイッチ９４Ｙは、選択出力した各色信号を切換回路９３の端子ｂに供給する。
【００９７】
ＬＰＦ９１は、各色信号の高域成分を除去してレベル比較器９２に供給する。レベル比較器９２は、図１９（Ａ）に示すように、ＬＰＦ９１から供給される各色信号のレベルとスレショールドレベルとを比較して、図１９（Ｂ）に示すように、各色信号のレベルの方が高いときにスイッチ制御信号を出力するようになっている。ここで、システムコントローラ９０は、白潰れ補正モード又は黒潰れ補正モードに応じてスレショールドレベルを設定するようになっている。そして、切換回路９３は、レベル比較器９２からＨレベルのスイッチ制御信号が供給されると端子ａに供給されている各色信号を出力し、Ｌレベルのスイッチ制御信号が供給されると端子ｂに供給されている各色信号を出力するようになっている。
【００９８】
ここで、黒潰れ補正モードに設定されると、システムコントローラ９０は、スイッチ９４Ｘを端子ｄに、スイッチ９４Ｙを端子ｆに切換設定して、スレショールドレベルを黒潰れ補正に応じた所定のレベルに設定する。このとき切換回路９３では、端子ａには図１９（Ａ）に示す各色信号ＨＤ２が供給され、端子ｂには図１９（Ｃ）に示す各色信号ＨＤ１が供給される。
【００９９】
各色信号ＨＤ１が黒潰れを生じていないときは、図１９（Ｂ）に示すようにスイッチ制御信号がＨレベルになっているので、切換回路９３は、図１９（Ｄ）に示すように、各色信号ＨＤ１を出力する。各色信号ＨＤ１に黒潰れが生じると、スイッチ制御信号はＬレベルになって、切換回路９３は、図１９（Ｄ）に示すように、各色信号ＨＤ２を出力する。
【０１００】
すなわち、画像合成部８８ａは、例えば屋外から室内を撮影する場合等において一方の各色信号に黒潰れが生じると、黒潰れの生じた部分に他方の各色信号を挿入することにより、黒潰れのない各色信号を出力することができる。
【０１０１】
なお、白潰れモードに設定されると、画像合成部８８ａでは、スイッチ９４Ｘは端子ｃに設定され、スイッチ９４Ｙは端子ｄに設定される。すなわち、画像合成部８８ａは、画像合成部８８と等価になって、白潰れのない各色信号を出力することができる。
【０１０２】
つぎに第６の実施の形態に係る撮像装置について説明する。
【０１０３】
第６の実施の形態に係る撮像装置は、３板式であって、図２０に示すように、撮像レンズ１０１により集光されて光学フィルタ１０２で色分離された撮像光をＲ，Ｇ，Ｂの３原色に分解するダイクロイックミラー１０３と、分解された撮像光に応じて色信号Ｒを出力するＣＣＤイメージセンサ１０４Ｒと、色信号Ｇを出力するＣＣＤイメージセンサ１０４Ｇと、色信号Ｂを出力するＣＣＤイメージセンサ１０４Ｂとを備える。
【０１０４】
ここで、ＣＣＤイメージセンサ１０４Ｒ，１０４Ｇ，１０４Ｂは、全画素同時読出し式のものである。また、ＣＣＤイメージセンサ１０４Ｒ，１０４Ｇは、図２１に示すように、半ピッチ斜め画素ずらしをして、ＧＲ配列をツインカンクス配列にしている。
【０１０５】
また、撮像装置１００は、ＣＣＤイメージセンサ１０４Ｒ，１０４Ｇ，１０４Ｂからの各色信号に相関二重サンプリング処理・利得制御を施すＣＤＳ／ＡＧＣ回路１３と、ＣＤＳ／ＡＧＣ回路１３からの各色信号をディジタル化するＡ／Ｄコンバータ１４と、Ａ／Ｄコンバータ１４からの各色信号にガンマ補正等の所定のディジタル信号処理を行うＤＳＰ１５と、ＤＳＰ１５からの各色信号の高域成分を除去するＬＰＦ１７と、ＬＰＦ１７からの各色信号を記憶するバッファメモリ１８と、ＤＳＰ１５からの各色信号に適応補間の処理を施す適応補間処理回路１９と、適応補間処理回路１９からの各色信号の低域成分を除去して高域の輝度信号を生成するＨＰＦ２０と、ＨＰＦ２０からの高域輝度信号を記憶するバッファメモリ２１と、バッファメモリ１８からの各色信号とバッファメモリ２１からの輝度信号を合成する加算回路２２とを備える。
【０１０６】
以上のように構成された撮像装置１００において、適応補間処理回路１９には、ＤＳＰ１５からの各色信号Ｒ，Ｇ，Ｂが供給される。適応補間処理回路１９内の内部メモリ１９ａには、図２２（Ａ）に示すように、ツインカンクス配列で色信号Ｒ，Ｇが記憶される。
【０１０７】
適応補間処理回路１９は、ツインカンクス配列の色信号Ｒ，Ｇの補間部分にポインタを設定して、適応補間処理を行う前に縦方向及び横方向の相関度を算出して、相関度の大きい方向において適応補間処理を行う。
【０１０８】
ここで、適応補間処理回路１９に供給される各色信号はホワイトバランス調整後においてＲとＧのレベルが同じに調整されているので、画素データＲ，Ｇが有する輝度信号Ｙの情報に着目すると、任意のポインタＹ０近傍では図２３に示すように輝度信号Ｙ１〜Ｙ４が配列されているとみなすことができる。従って、
Ｙ０＝ａＹ１＋ｂＹ２＋ｃＹ３＋ｄＹ４
となる。なお、ａ〜ｄの値は縦方向又は横方向の画素相関によって決定される。
【０１０９】
具体的には、適応補間処理回路１９は、横方向のＹ１とＹ２、縦方向のＹ３とＹ４のレベル差を求めて、そのレベル差が小さい方向は相関度が大きいと判断し、相関度が大きい方向でＹ０の補間処理を行う。例えば横方向の相関度が大きいときは、
Ｙ０＝（Ｙ１＋Ｙ２）／２として求めることができる。
【０１１０】
なお、相関度は、画素間の類似度で求めてもよい。従って、類似度が最も大きくなる方向において補間処理を行うこともできる。
【０１１１】
適応補間処理回路１９は、図２２（Ｂ）に示すように、ツインカンクス配列の色信号Ｒ，Ｇの補間部分に輝度信号を補間したものをＨＰＦ２０に供給する。ＨＰＦ２０は、色信号Ｒ，Ｇ及び輝度信号の低域成分を除去することにより高解像度の輝度信号を生成して、この輝度信号をバッファメモリ２１を介して加算回路２２に供給する。加算回路２２は、ＤＳＰ１５からＬＰＦ１７等を介して供給される低域成分の各色信号Ｒ，Ｇ，Ｂと高域成分の輝度信号とを加算合成して、高解像度の各色信号を生成する。
【０１１２】
加算回路２２で生成された各色信号は、図２４（Ａ）に示す従来のスペクトル特性に比べて、図２４（Ｂ）に示すスペクトル特性により高域が劣化することなく、縦横の解像度がほぼ倍になっている。
【０１１３】
すなわち、適応補間処理回路１９は、適応補間処理により縦又は横方向近辺においても近似的に適応補間処理を行って、ツインカンクス領域における信号生成を良好にし、画質の良好な各色信号を生成することができる。換言すると、適応補間処理は、水平又は垂直方向に近い信号成分に対して近似的に作用し、折り返し成分を軽減させる効果があり、全体的に高画質の各色信号を生成することができる。
【０１１４】
以上のように、撮像装置１００は、縦方向又は横方向の相関度が大きい方向において補間処理を行って高域成分の輝度信号を生成し、この輝度信号を中域以下の各色信号Ｒ，Ｇ，Ｂにそれぞれ等しく合成することにより、高解像度で画質の良好な各色信号を生成することができる。また、撮像装置１００は、画素ずらし機構等を用いることなく高解像度を得ることができるので、電子シャッタ機能も使用することができる。さらに、撮像装置１００は、全画素同時読出し式のＣＣＤイメージセンサ１０４Ｒ，１０４Ｇ，１０４Ｂを用いているので、パーソナルコンピュータのモニタ装置等に最適なノンインターレス画像を得ることができる。
【０１１５】
なお、ＣＣＤイメージセンサ１０４Ｒ，１０４Ｇ，１０４Ｂの画素は、図２１に示すツインカンクス配列のものに限定されることなく、例えば図２に示す市松模様状の配列であってもよい。このとき、ＣＣＤイメージセンサ１０４Ｒ，１０４Ｇ，１０４Ｂで生成された色信号Ｒ，Ｇ，Ｂは、ＣＤＳ／ＡＧＣ回路１３，Ａ／Ｄコンバータ１４等を介して適応補間処理回路１９に供給される。そして、適応補間処理回路１９は、第１の実施の形態で説明したような補間処理を行うことができる。
【０１１６】
また、第２の実施の形態と同様に、ＬＰＦ１７，バッファメモリ１８，適応補間処理回路１９，ＨＰＦ２０，バッファメモリ２１，加算回路２２で行う高域の輝度信号の生成をパーソナルコンピュータのソフト処理によって行ってもよい。これにより、撮像装置の小型化・軽量化を図るとともに、上記ソフトウェアが例えばバージョンアップしても撮像装置を代えることなくフレキシブルに行うことができる。
【０１１７】
なお、本発明は、上述の実施の形態に限定されるものではなく、例えばＣＣＤイメージセンサの代わりにＭＯＳ等の撮像素子を用いてもよく、特許請求の範囲に記載された範囲内で種々の変更ができるのは勿論である。
【０１１８】
【発明の効果】
以上詳細に説明したように、本発明に係る撮像装置によれば、補間箇所を中心としてそれぞれ対向する画素の方向において相関度を算出し、この相関度の大きい方向において赤色信号及び緑色信号に基づいて補間処理により生成した輝度信号、赤色信号、及び、緑色信号の低域成分を除去し、この高解像度の高域輝度信号と撮像部で生成された３原色の各色信号とを合成することにより高解像度の３原色の各色信号を生成することができる。すなわち、上記撮像装置によれば、補間箇所を中心とする全ての方向の解像度を向上させることができ、また、光路シフトのウォーブリング手法を用いていないので電子シャッタ等の諸機能の妨げになることを回避することができる。
【０１１９】
上記撮像装置では、斜め方向の補間処理を行う前に補間処理を行う部分の周辺の分散度が小さいときには緑色信号が設けられている方向であって上記算出した相関度の大きい方向において補間処理を施すことにより、カラー画像のレベルの違いによる適応補間処理のわずかなずれを回避して、緑色信号のみで補間処理を行って、より高解像な画像を得ることができる。
【０１２０】
上記撮像装置では、縦方向又は横方向又は斜め方向の相関度の最も大きい方向において取り込んだ各色信号間の補間処理を施すことにより、各画像における各方向の解像度に応じて最も解像度の低い方向の解像度を向上させることができる。
【０１２１】
上記撮像装置では、単板式又は多板式であっても高解像度の画像を得ることができる。
【０１２２】
また、本発明に係る補間処理方法によれば、補間箇所を中心としてそれぞれ対向する画素の方向において相関度を算出し、算出された相関度の大きい方向において、赤色信号及び緑色信号に基づいて補間処理により生成した輝度信号、赤色信号、及び、緑色信号の低域成分を除去し、この高解像度の高域輝度信号と色信号とを合成することにより高解像度の３原色の各色信号を生成することができる。すなわち、上記補間処理方法によれば、補間箇所を中心とした全ての方向の解像度を向上させることができ、また、光路シフトのウォーブリング手法を用いていないので、撮像装置に設けられている電子シャッタ等の諸機能の妨げになることを回避することができる。
【０１２３】
上記撮像方法では、斜め方向の補間処理を行う前に補間処理を行う部分の周辺の分散度が小さいときには緑色信号が設けられている方向であって上記算出した相関度の大きい方向において補間処理を施すことにより、カラー画像のレベルの違いによる適応補間処理のわずかなずれを回避して、緑色信号のみで補間処理を行って、より高解像な画像を得ることができる。
【０１２４】
上記補間処理方法では、縦方向又は横方向又は斜め方向の相関度の最も大きい方向において取り込んだ各色信号間の補間処理を施すことにより、各画像における各方向の解像度に応じて最も解像度の低い方向の解像度を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る撮像装置の具体的な構成を示すブロック図である。
【図２】上記撮像装置のＣＣＤイメージセンサが市松模様状の配列で構成された状態を示す図である。
【図３】内部メモリにＲＧ画像データを合成したときの状態を示す図である。
【図４】ＲＧ画像データの輝度信号の情報が配列されているときの状態を説明する図である。
【図５】適応補間処理を説明するためのフローチャートである。
【図６】適応補間処理を説明するためのフローチャートである。
【図７】適応補間処理を説明するためのフローチャートである。
【図８】分散度に応じて適応補間処理するときのＲ，Ｇの状態を説明する図である。
【図９】補間処理された後のＲＧ画像と輝度信号Ｙの配列を示す図である。
【図１０】高域成分の輝度信号ＹＨが生成されたときの状態を示す図である。
【図１１】他の実施の形態に係る撮像装置の具体的な構成を示すブロック図である。
【図１２】他の実施の形態に係る撮像装置の具体的な構成を示すブロック図である。
【図１３】他の実施の形態に係る撮像装置の具体的な構成を示すブロック図である。
【図１４】上記撮像装置のＣＣＤイメージセンサの有効電荷蓄積期間を説明するためのタイミングチャートである。
【図１５】上記撮像装置の適応補間処理部の構成を示すブロック図である。
【図１６】上記撮像装置の画像合成部の構成を示すブロック図である。
【図１７】画像データの信号レベルの状態を示す図である。
【図１８】上記撮像装置の他の画像合成部の構成を示すブロック図である。
【図１９】画像データの信号レベルの状態を示す図である。
【図２０】他の実施の形態に係る撮像装置の具体的な構成を示すブロック図である。
【図２１】上記撮像装置のＣＣＤイメージセンサの画素配列を示す図である。
【図２２】適応補間処理回路に記憶された画像データＲ，Ｇ及び補間された輝度信号Ｙの配列を示す図である。
【図２３】適応補間処理回路における適応補間処理を説明する図である。
【図２４】適応補間処理された画像データのスペクトル特性を示す図である。
【図２５】従来の光学ローパスフィルタ等を用いたときの折り返し歪の影響を説明する図である。
【符号の説明】
１１ ＣＣＤイメージセンサ、１９ 適応補間処理回路、２０ ＨＰＦ、２２加算回路
簡易補間回路３１
パソコンＩ／Ｆ３２
パソコンＩ／Ｆ４１→３４
ＨＤＤメモリ４２ →３５
アクセラレータ４３→３６
ＬＰＦ６１
信号処理回路７１ →６５
電源回路７２ →６６
以上済み

Claims (8)

1. ３原色にそれぞれ対応して市松模様状に配列された画素の色信号をそれぞれ出力する撮像部と、
   上記撮像部が出力した各色信号のうち赤色信号と緑色信号を取り込んで記憶する記憶手段と、
   上記記憶手段に取り込んだ赤色信号と緑色信号に対応する画素によって囲まれる青色信号に対応する画素を輝度信号の補間箇所とし、前記補間箇所を挟んで位置する各画素の相関度の大きい方向に位置する画素の各色信号に基づいて、上記補間箇所の画素の輝度信号を補間することにより補間処理済みの輝度信号を生成する補間処理手段と、
   補間済みの輝度信号、赤色信号、及び、緑色信号の低域成分を除去して高域輝度信号を生成するハイパスフィルタと、
   上記高域輝度信号と上記撮像部で生成された３原色の各色信号とを合成する合成手段とを備えることを特徴とする撮像装置。
2. 上記補間処理手段は、上記補間箇所を中心として縦方向又は横方向又は斜め方向において相関度を算出し、算出された相関度の大きい方向において補間処理を施すことを特徴とする請求項１に記載の撮像装置。
3. 上記補間処理手段は、上記補間箇所の斜め方向で補間処理を施す前に、補間箇所周辺の色信号の分散度を算出し、分散度が小さいときには緑色信号に基づいて上記算出した相関度の大きい方向において補間処理を施すことを特徴とする請求項２に記載の撮像装置。
4. 上記撮像部は、３原色にそれぞれ対応して市松模様状に配列された画素の色信号をそれぞれ出力する１枚の撮像素子であることを特徴とする請求項１に記載の撮像装置。
5. 上記撮像部は、３原色にそれぞれ対応して市松模様状に配列された画素の色信号をそれぞれ複数の撮像素子から出力することを特徴とする請求項１に記載の撮像装置。
6. ３原色にそれぞれ対応して市松模様状に配列された画素の各色信号のうち赤色信号及び緑色信号を輝度信号として取り扱い、青色信号に対応する画素を輝度信号の補間箇所とし、この補間箇所を中心としてそれぞれ対をなす画素間の相関度を算出し、
   算出された相関度の大きい対をなす画素の各色信号に基づいて輝度信号の補間処理を行い、
   上記補間処理済みの輝度信号、赤色信号、及び、緑色信号の低域成分を除去して高域輝度信号を生成し、
   上記３原色の各色信号にそれぞれ上記高域輝度信号を合成することを特徴とするカラー画像信号の処理方法。
7. 上記補間箇所を中心として縦方向又は横方向又は斜め方向において相関度を算出し、算出された相関度の大きい方向において補間処理を行うことを特徴とする請求項６に記載のカラー画像信号の処理方法。
8. 斜め方向の補間処理を施す前に、補間箇所周辺の分散度を算出し、分散度が小さいときには緑色信号が設けられている方向であって上記算出した相関度の大きい方向において赤色信号及び緑色信号に基づいて輝度信号を生成して上記補間箇所に取り込むことを特徴とする請求項７に記載のカラー画像信号の処理方法。

Images