WO2012124183A1

WO2012124183A1 - 撮像装置およびその動作制御方法

Info

Publication number: WO2012124183A1
Application number: PCT/JP2011/067916
Authority: WO
Inventors: 田中　誠二; 賢司今村
Original assignee: 富士フイルム株式会社
Priority date: 2011-03-11
Filing date: 2011-07-29
Publication date: 2012-09-20
Also published as: US8786738B2; EP2645722A4; US20130286261A1; JPWO2012124183A1; EP2645722A1; CN103270757A; JP5378626B2; CN103270757B

Abstract

水平方向および垂直方向にそれぞれ６つの光電変換素子から構成されるブロックにおいて，水平方向，垂直方向および斜め方向のすべてに緑色の光成分を透過するフィルタ特性をもつ緑色フィルタＧが少なくとも一つ形成されている。また，水平方向および垂直方向に青色の光成分および赤色の光成分を透過するフィルタ特性をもつ青色フィルタＢおよび赤色フィルタＲが少なくとも一つ形成されている。水平方向および垂直方向にそれぞれ１／２間引きをした後に得られる画像にも６画素×６画素のブロック内には水平方向，垂直方向および斜め方向のすべてに緑色成分をもつ画素が含まれる。補間処理の再現精度が向上する。

Description

撮像装置およびその動作制御方法

　この発明は，撮像装置およびその動作制御方法に関する。

　第８ａ図は，固体電子撮像素子１の受光面の一部を示している。固体電子撮像素子１には，水平方向および垂直方向に多数の光電変換素子２が設けられている。光電変換素子２の受光面上には赤色の光成分を透過する特性を有するカラー・フィルタＲ，緑色の光成分を透過する特性を有するカラー・フィルタＧまたは青色の光成分を透過する特性を有するカラー・フィルタＢが形成されている。第８ａ図においては，ベイヤ配列と呼ばれる配列でカラー・フィルタＲＧまたはＢが光電変換素子２の受光面上に形成されている。第８ｂ図は，固体電子撮像素子１の光電変換素子２の３列に対応した周期の画像が固体電子撮像素子１上に結像した様子を示している。白色の部分のレベルは８ビットで表した場合に２５５であり，ハッチングで示した部分のレベルは８ビットで表した場合に０である。このような画像が結像した場合において，第３ｎ＋１（ｎは正の整数）行の光電変換素子２に蓄積された信号電荷を読み出す間引き処理が行われると，高周波数成分が折り返り，第８ｃ図に示すように明るく平坦なモアレ画像となってしまう。
　第９図は，第８ａ図に示す固体電子撮像素子１の一行の光電変換素子を示している。水平方向において，同じ特性を有するカラー・フィルタが形成されている光電変換素子２に蓄積された信号電荷が混合されている。カラー・フィルタは一個おきに同じ特性となっているので，画素混合後の画像はロウ・パス・フィルタを通過したように解像度が低下してしまう。
　さらに，第１０ａ図に示すように，固体電子撮像素子１の光電変換素子２の列に対応した周期の画像が固体電子撮像素子１上に結像している場合において，第１０ｂ図に示すように，３×３の光電変換素子２のブロックごとに信号電荷を混合すると，そのブロック内での赤色のレベルは８ビットで２５５，緑色のレベルは８ビットで１２８，青色のレベルは０となり，第１０ｃ図に示すように，オレンジ色（符号Ｏｒで示す）となってしまう（色モアレ）。
　従来は，固体電子撮像素子の受光面前方に光学的ロウ・パス・フィルタを配置し，被写体像の高周波数成分を除去することにより，色モアレの発生などを抑えていた。しかしながら，解像度が低下してしまう。
　このために，固体電子撮像素子のフィルタ配列を，任意の着目画素が，その着目画素の色を含む３色と着目画素の４辺のいずれかにいて隣接する配列制限条件を満たす３色ランダム配列としたものがある（特開２０００−３０８０８０号公報）。しかしながら，同時化処理をランダム・パターンごとに最適化する必要があり，煩雑となる。また，高周波成分による偽色には有効ではない。
　また，分光感度が異なる複数のフィルタを有し，そのうちの第１のフィルタと第２のフィルタとが，画像格子の一方の対角方向に第１の所定周期で交互に配置され，他方の対角方向に第２の所定周期で交互に配置されているセンサもある（特開２００５−１３６７６６号公報）。しかしながら，画素再現精度が高くない。
　また，水平方向および垂直方向にそれぞれ２個ずつ緑の色成分をもつ画素が形成されているものもある（特許第４０１９４１７号）。しかしながら，これらの感度は異なっているので，緑色成分をもつ画素を利用する場合には感度調整が必要となる。
　さらに，カラー・フィルタの配列について言及しているもの（特許第４０８８９５９号），緑色の光透過特性を有するフィルタが形成されている光電変換素子が水平方向および垂直方向に２個ずつ配置されているもの（特表昭６２−５０３０６８号公報），１列おきに必ずＧ画素が含まれているもの（特開２００９−４９５３３号公報），ベイヤ配列に対してＧ画素数を増やすもの（特開平８−０２３５４２号公報，特開平８−０２３５４３号公報）などもある。
　さらに，画素を間引くことにより，データ量を少なくしてフレーム・レートを高くする場合にも生じる問題である。

　この発明は，画素を間引いた場合においても，高解像度化を図るようにすることを目的とする。
　この発明による撮像装置は，水平方向および垂直方向に多数配列された光電変換素子を備え，赤色，緑色および青色のうちのいずれかの色の光成分またはシアン，マゼンタおよびイエローのうちのいずれかの色の光成分を透過するフィルタ特性を有するカラー・フィルタが上記光電変換素子の受光面上に形成され，赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数または青色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりも緑色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，あるいは，シアンの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数またはマゼンタの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりもイエローの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，水平方向および垂直方向にそれぞれ６つの上記光電変換素子から構成されるブロックにおいて，水平方向および垂直方向のすべてに緑色の光成分，青色の光成分および赤色の光成分またはイエローの光成分，シアンの光成分またはマゼンタの光成分を透過するフィルタ特性をもつカラー・フィルタが少なくとも一つ形成されており，かつ上記ブロックが周期的に繰り返されることにより斜め方向に緑色の光成分またはイエローの光成分を透過するフィルタ特性をもつカラー・フィルタが形成され，上記光電変換素子に蓄積された信号電荷を映像信号として出力する固体電子撮像素子，ならびに上記固体電子撮像素子から出力される映像信号のうち水平方向および垂直方向にそれぞれ奇数個おきの上記光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号を出力するように上記固体電子撮像素子を駆動する駆動回路を備えていることを特徴とする。
　この発明は，上記撮像装置に適した動作制御方法も提供している。すなわち，この方法は，固体電子撮像素子が，水平方向および垂直方向に多数配列された光電変換素子を備え，赤色，緑色および青色のうちのいずれかの色の光成分またはシアン，マゼンタおよびイエローのうちのいずれかの色の光成分を透過するフィルタ特性を有するカラー・フィルタが上記光電変換素子の受光面上に形成され，赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数または青色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりも緑色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，あるいは，シアンの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数またはマゼンタの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりもイエローの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，水平方向および垂直方向にそれぞれ６つの上記光電変換素子から構成されるブロックにおいて，水平方向および垂直方向のすべてに緑色の光成分，青色の光成分および赤色の光成分またはイエローの光成分，シアンの光成分またはマゼンタの光成分を透過するフィルタ特性をもつカラー・フィルタが少なくとも一つ形成されており，かつ上記ブロックが周期的に繰り返されることにより斜め方向に緑色の光成分またはイエローの光成分を透過するフィルタ特性をもつカラー・フィルタが形成され，上記光電変換素子に蓄積された信号電荷を映像信号として出力し，駆動回路が，上記固体電子撮像素子から出力される映像信号のうち水平方向および垂直方向にそれぞれ奇数個おきの上記光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号を出力するように上記固体電子撮像素子を駆動するものである。
　この発明によると，固体電子撮像素子から出力される映像信号によって表される画像を構成する画素のうち，緑色またはイエローの光成分をもつ画素については，固体電子撮像素子を構成する光電変換素子の受光面上に形成されている緑色またはイエローの光成分を透過する特性を有するカラー・フィルタの配列と同じように，水平方向および垂直方向のいずれも６つの画素から構成されるブロックにおいて，水平方向，垂直方向および斜め方向のすべてに含まれるようになる。固体電子撮像素子から出力される映像信号によって表される画像は，高周波領域での補間処理の再現精度が向上するものとなる。
　上記ブロックは，たとえば，水平方向および垂直方向にそれぞれ３つの上記光電変換素子から構成される小ブロックが４つ集まったものである。この場合，上記光電変換素子の受光面上に形成されているカラー・フィルタのうち，赤色またはシアンの光成分を透過する特性を有するカラー・フィルタの配列と青色またはマゼンタの光成分を透過する特性を有するカラー・フィルタの配列とが，水平方向および垂直方向に隣接する小ブロックにおいて逆となろう。
　上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが水平方向，垂直方向および斜め方向のすべてにおいて２つ連続している部分が少なくとも一つ含まれているようにしてもよい。
　上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが水平方向および垂直方向において２つずつ連続している部分が少なくとも一つ含まれているようにしてもよい。
　上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過するカラー・フィルタが水平方向および垂直方向において２つずつ連続している部分にもとづいて得られる４つの画素の画素レベルから相関方向を検出する相関方向検出装置（相関方向検出手段），上記相関方向検出装置において検出された相関方向に存在する赤色，シアン，青色またはマゼンタの色成分をもつ画素の緑色またはイエローの色成分を，上記相関方向検出装置において検出された相関方向に存在する緑色またはイエローの色成分をもつ画素を用いて補間する補間装置（補間手段），ならびに上記相関方向検出装置による処理および上記補間装置による処理を一画像分について繰り返す制御装置（制御手段）をさらに備えてもよい。
　上記相関方向検出装置は，たとえば，水平方向，垂直方向および斜め方向の方向ごとに，隣接する画素の画素レベルの差分絶対値を算出し，方向ごとの差分絶対値の総和または平均値のうち最小となる方向を相関方向と決定するものである。
　上記補間装置は，たとえば，上記赤色，シアン，青色またはマゼンタの色成分をもつ画素のうちの色成分を有していない色成分を，上記補間装置により補間された緑色またはイエローの色成分と，上記赤色，シアン，青色またはマゼンタの色成分のうち有している色成分と，から補間するものである。
　上記緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが形成されている光電変換素子の感度が等しいことが好ましい。

　第１図はＣＣＤの受光面の一部を示している。
　第２図は画像の一部分を示している。
　第３図はＣＣＤの受光面の一部を示している。
　第４図は画像の一部分を示している。
　第５図は方向判別ブロックを示している。
　第６図はディジタル・カメラの電気的構成の一部を示している。
　第７図はＣＣＤの受光面の一部を示している。
　第８ａ図は固体電子撮像素子の受光面の一部を示し，第８ｂ図および第８図ｃは画像の一部を示している。
　第９図は画素混合を示している。
　第１０ａ図から第１０ｃ図は画像の一部を示している。

　第１図は，この発明の実施例によるＣＣＤ（Ｃ−ＭＯＳなどの他の固体電子撮像素子でもよい）１０の受光面の一部を示している。
　ＣＣＤ１０には水平方向（矢印Ｈで示す）および垂直方向（矢印Ｖで示す）に多数の光電変換素子１１が配列されている。これらの多数の光電変換素子１１の感度はすべて等しいものである（少なくとも緑色の光成分を透過するフィルタが形成されている光電変換素子の感度は等しい）。光電変換素子１１の受光面上には，赤色，緑色または青色（シアン，イエローまたはマゼンタでもよい）の光成分を透過する特性を有するカラー・フィルタＲ，ＧまたはＢが形成されている。赤色の光成分を透過する特性を有する赤色フィルタが符号Ｒで，緑色の光成分を透過する特性を有する緑色フィルタが符号Ｇで，青色の光成分を透過する特性を有する青色フィルタが符号Ｂで図示されている。
　水平方向および垂直方向にそれぞれ６つの光電変換素子から構成されるブロック２０を考えた場合に，そのブロック２０において緑色フィルタＧ，青色フィルタＢおよび赤色フィルタＲが少なくとも一つは含まれている。このようなブロック２０が水平方向および垂直方向に繰り返されることにより，いずれの水平方向，垂直方向および斜め方向においても緑色フィルタＧが少なくとも一つは形成されており，このように配列されたカラー・フィルタによりＣＣＤ１０の受光面が形成されている。
　また，ブロック２０は，水平方向および垂直方向にそれぞれ３つの光電変換素子１１から構成される４つの小ブロック２１~２４が集まったものとも考えることができる。小ブロック２１の中心およびその中心の斜め方向の光電変換素子１１の受光面に形成されているカラー・フィルタは緑色フィルタＧである。小ブロック２１の中心の水平方向の両側の光電変換素子１１の受光面に形成されているカラー・フィルタは赤色フィルタＲであり，小ブロック２１の中心の垂直方向の両側の光電変換素子１１の受光面に形成されているカラー・フィルタは青色フィルタＢである。
　小ブロック２１の右斜め下に配置されている小ブロック２４に含まれる光電変換素子１１のフィルタ配列は，小ブロック２１のフィルタ配列と同じである。小ブロック２１の右側に配置されている小ブロック２２および小ブロック２１の下側に配置されている小ブロック２３に含まれる光電変換素子１１のフィルタ配列は緑色フィルタＧについては小ブロック２１に含まれる光電変換素子１１に形成されている緑色フィルタＧの配列と同じであるが，赤色フィルタＲおよび青色フィルタＢについては逆となっている。すなわち，小ブロック２２および２３においては，赤色フィルタＲは中心の光電変換素子１１の垂直方向の両側にある光電変換素子１１の受光面上に形成され，青色フィルタＢは中心の光電変換素子１１の水平方向の両側にある光電変換素子１１の受光面上に形成されている。
　第１図に示すカラー・フィルタ配列をもつＣＣＤ１０を用いて被写体が撮像されると，撮像により得られた被写体像を構成する画素において，水平方向，垂直方向および斜め方向のそれぞれにおいて緑色成分が含まれているので，高周波領域での補間処理再現精度を向上できる。また，同様に，水平方向および垂直方向のそれぞれにおいて赤色成分および青色成分が含まれているので，偽色の発生を未然に防止できる。
　第１図に示すカラー・フィルタ配列では，ブロック２０において，緑色フィルタＧが水平方向および垂直方向および斜め方向のすべてにおいて２つ連続している部分が含まれている。また，ブロック２０において，緑色フィルタＧが水平方向および垂直方向に２つずつ連続している部分も含まれている。
　第２図は，上記のようなカラー・フィルタ配列をもつＣＣＤ１０において，被写体を撮像することにより得られた画像から水平方向および垂直方向にそれぞれ１つ（奇数個）おきの画素を抽出する間引き処理により得られる画像（一部）の一例である。
　画像部分３０は，水平方向および垂直方向にそれぞれ６つの画素３５から構成されている。この画像部分３０は，第１図に示すブロック２０に対応する。画像部分３０は，水平方向および垂直方向にそれぞれ３画素ずつの４つの小ブロック３１~３４から構成される。小ブロック３１~３４は，すべて中心および中心の斜め方向に緑色成分の画素３５が配置されており，中心の緑色成分の画素３５の水平方向の両側の画素は赤色成分の画素３５であり，中心の緑色成分の画素３５の垂直方向の両側の画素は青色成分の画素３５である。
　第２図に示す画像部分３５と第１図に示すブロック２０とを比べればわかるように，第１図に示すブロック２０では，水平方向および垂直方向に隣接する小ブロック同士では青色フィルタＢの配置と赤色フィルタＲの配置とが逆であるが，第２図に示す画像部分３０では，青色フィルタＢの配置と赤色フィルタＲの配置とは小ブロック３１~３４にかかわらず同じである。
　第１図に示したカラー・フィルタ配列をもつＣＣＤ１０において，被写体を撮像することにより得られた画像から水平方向および垂直方向にそれぞれ１つおきの画素を抽出する間引き処理を行うことにより得られる，第２図に示す画像においても，水平方向，垂直方向および斜め方向のそれぞれにおいて緑色成分が含まれているので，高周波領域での補間処理の再現精度を向上できる。フレーム・レートを向上させるなどにより間引き処理が行われた画像についても補間処理の再現精度を向上させることができる。
　奇数行奇数列の画素を間引くことにより，第２図に示す画像部分３０が得られるが，偶数行偶数列，奇数行偶数列または偶数行奇数列の画素を間引いても第２図に示す画像部分と同様に６画素×６画素の画像部分において水平方向，垂直方向および斜め方向のそれぞれにおいて緑色成分が含まれている間引き後の画像が得られる。
　第３図は，第１図に示すＣＣＤ１０の受光面の一部を示すもので，第１図に比べて垂直転送路１２，水平転送路１３および増幅回路１４が追加されている。
　上述のように，水平方向（矢印Ｈで示す）および垂直方向（矢印Ｖで示す）に多数の光電変換素子１１が配列されている。また，これらの光電変換素子１１の受光面上に赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢのいずれかのカラー・フィルタが形成されている。カラー・フィルタの配列は第１図に示すものと同じである。
　光電変換素子１１の各列の右側（左側でもよい）には光電変換素子１１に蓄積された信号電荷を垂直方向に転送する垂直転送路１２が配列されている。垂直転送路１２の下側には，垂直転送路１２から転送されてきた信号電荷を水平方向に転送する水平転送路１３が設けられている。水平転送路１３の出力側には増幅回路１４が接続されている。
　光電変換素子１１が露光されることにより，光電変換素子１１に信号電荷が蓄積される。赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されている光電変換素子１１には，それぞれ赤色成分，緑色成分または青色成分の画素を表わす信号電荷が蓄積される。光電変換素子１１に蓄積された信号電荷は，光電変換素子１１にシフト・パルスが与えられることにより，垂直転送路１２にシフトされる。垂直転送路１２にシフトされた信号電荷は垂直転送路１２に垂直転送パルスφＶが与えられることにより垂直方向に転送させられ，垂直転送路１２にシフト・パルスが与えられることにより垂直転送路１２を転送されてきた信号電荷は水平転送路１３に与えられる。水平転送路１３に与えられた信号電荷は，水平転送パルスφＨが与えられることにより，水平方向に転送させられる。水平方向に転送させられた信号電荷は，増幅回路１４を経て映像信号としてＣＣＤ１０から出力される。
　奇数行の光電変換素子１１にシフト・パルスが与えられ，偶数行光電変換素子１１にはシフト・パルスが与えられなければ，奇数行の光電変換素子１１に蓄積された信号電荷のみが垂直転送路１２にシフトされる。これにより，垂直方向に１／２の間引き（１個おきの画素の抽出）が実現される。また，奇数行の垂直転送路１２を転送されてきた信号電荷のみを水平転送路１３に転送し，偶数行垂直転送路１２を転送されてきた信号電荷を水平転送路１３に転送させないように奇数行の垂直転送路１２にのみシフト・パルスを与えることにより，水平方向に１／２の間引きが実現される。このようにして，第２図に示したように，水平方向および垂直方向にそれぞれ１／２に間引かれた画像（画素が１個おきに抽出された画像）を表わす映像信号がＣＣＤ１０から出力されることとなる。
　上述の実施例では，固体電子撮像素子１０において間引き処理を行っているが，固体電子撮像素子１０において間引き処理を行わずに，固体電子撮像素子１０から出力された映像信号に対して間引き処理を行うようにしてもよい。その場合には，固体電子撮像素子１０から出力された１画像分の映像信号をメモリに記憶し，そのメモリから垂直方向および水平方向に１画素おきに映像信号を読み出すこととなろう。
　以下，第２図に示すように間引かれた画像について補間処理を行う方法について説明する。
　第４図は，上述のようにして間引き処理が行われることにより得られる画像部分４０を示している。第４図においては分りやすくするために，Ｒ，ＧまたはＢの符号の右側に数字が付されている。符号Ｒが赤色フィルタ，符号Ｇが緑色フィルタ，符号Ｂが青色フィルタであるのは上述したのと同様である。
　画像部分４０は，水平方向および垂直方向にそれぞれ５画素有している（５画素ずつでなくともよいのはいうまでもない）。画像部分４０のうち，水平方向および垂直方向にそれぞれ３画素からなる中央の小ブロック４１および水平方向および垂直方向にそれぞれ２画素からなる右上の方向判別ブロック４２を考える。
　第５図は，方向判別ブロック４２を示している。
　方向判別ブロック４２には，４つの画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５が含まれている。これらの画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５は，緑色成分をもつものであるが，青色成分および赤色成分をもっていない。この実施例では，これらの画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５のレベルの差分絶対値を水平方向（矢印Ｈで示す），垂直方向（矢印Ｖで示す）および斜め方向のそれぞれにおいて算出し，算出された差分絶対値が最小となる方向が相関方向と判断される。これらの画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５のレベルも画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５で表わすと，垂直方向の差分絶対値は（｜Ｇ１４−Ｇ２４｜＋｜Ｇ１５−Ｇ２５｜）／２，水平方向の差分絶対値は（｜Ｇ１４−Ｇ１５｜＋｜Ｇ２４−Ｇ２５｜）／２，右上斜め方向（矢印ＵＲで示す）の差分絶対値は｜Ｇ１５−Ｇ２４｜および左上斜め方向（矢印ＵＬで示す）の差分絶対値は｜Ｇ１４−Ｇ２５｜である。
　第４図を参照して，方向判別ブロック４２を利用して右上斜め方向が相関方向と判別されると，小ブロック４１に含まれる画素Ｂ２３の緑色成分は，方向判別ブロック４２に含まれる画素Ｇ１４を用いて補間され，小ブロック４１に含まれる画素Ｒ３４の緑色成分は，画素Ｇ２５を用いて補間される。方向判別ブロック４２を利用して水平方向が相関方向と判別されると，小ブロック４１に含まれる画素Ｂ２３の緑色成分は，方向判別ブロック４２に含まれる画素Ｇ２４を用いて補間され，小ブロック４１に含まれる画素Ｒ３４の緑色成分は，画素Ｇ３３を用いて補間される。方向判別ブロック４２を利用して垂直方向が相関方向と判別されると，小ブロック４１に含まれる画素Ｂ２３の緑色成分は，画素３３を用いて補間され，小ブロック４１に含まれる画素Ｒ３４の緑色成分は，方向判別ブロック４２に含まれる画素Ｇ２４を用いて補間される。
　また，第４図において，２画素×２画素からなる四隅の方向判別ブロック４２，４４，４５および４６のそれぞれにおいて，水平方向，垂直方向，左上斜め方向および右上斜め方向の差分絶対値を算出し，算出された差分絶対値の総和（平均）を方向別に算出し，得られた総和（平均値）のうち最小となる値をとる方向を相関方向としてもよい。
　上述の実施例において，青色画素Ｂ２３の緑色成分および赤色画素Ｒ３４の緑色成分については補間されているが，青色画素Ｂ２３の赤色成分および赤色画素Ｒ３４の青色成分については補間されていない。青色画素Ｂ２３の赤色成分については，青色画素Ｂ２３の近傍にある赤色画素Ｒ３２（またはＲ３４）および補間により得られた緑色成分を用いて補間が行われる。具体的には，赤色画素Ｂ２３の赤色成分をＲ２３とし，補間により得られた緑色成分をＧ２３とすると，Ｒ２３＝Ｇ２３＋（Ｒ３２−Ｇ３２）で得られる。但し，Ｇ３２は補間により得られた画素Ｒ３２の緑色成分である。もっとも，青色画素Ｂ２３の近傍にある赤色画素Ｒ３２およびＲ３４の両方の画素を用いて青色画素Ｂ２３の赤色成分Ｒ２３を補間するようにしてもよい。たとえば，Ｒ２３＝Ｇ２３＋｛（Ｒ３２＋Ｒ３４）／２−（Ｇ３２＋Ｇ３４）／２｝で得られる。但し，Ｇ３４は赤色画素Ｒ３４において補間された緑色画素である。
　緑色画素についても同様に赤色成分および青色成分を補間できるのはいうまでもない。
　上述した補間処理をまとめると，次のようになる。
　近傍の画素の色差により対象画素の画素値を補間して他の色の画素値を算出する方法をまとめると、下記のようになる。
　補間処理の対象画素が緑色画素Ｇであり，その画素値がＧであるとする。また，判別された相関方向に赤色画素Ｒ，または青色画素Ｂが存在しない場合，緑色画素Ｇの近傍の赤色画素Ｒ，青色画素Ｂの画素値をＲ，Ｂ，これらの画素の画素位置における緑色画素Ｇの画素値をＧ_Ｒ，Ｇ_Ｂとすると，補間対象画素の位置における赤色成分Ｒ，青色画素Ｂの画素値Ｒ_Ｇ，Ｂ_Ｇは，式１から得られる。
　Ｒ_Ｇ＝Ｇ＋（Ｒ−Ｇ_Ｒ），Ｂ_Ｇ＝Ｇ＋（Ｂ−Ｇ_Ｂ）…式１
　同様に，補間処理の対象画素が赤色画素Ｒ，その画素値がＲであり，判別された相関方向に緑色画素Ｇ，または青色画素Ｂが存在しない場合，赤色画素Ｒの近傍の緑色画素Ｇ，青色画素Ｂの画素値をＧ，Ｂ，これらの画素の画素位置における赤色画素Ｒの画素値をＲ_Ｇ，Ｒ_Ｂとすると，補間対象画素における緑色成分Ｇ，青色成分Ｂのの画素値Ｇ_Ｒ，Ｂ_Ｒをは式２から得られる。
　Ｇ_Ｒ＝Ｒ＋（Ｇ−Ｒ_Ｇ），Ｂ_Ｒ＝Ｒ＋（Ｂ−Ｒ_Ｂ）…式２
　また，補間処理の対象画素が青色画素Ｂ，その画素値がＢであり、判別された相関方向に緑色画素Ｇ，または赤色画素Ｒ画素が存在しない場合，青色画素Ｂの近傍の緑色画素Ｇ，赤色画素Ｒの画素値をＧ，Ｒ，これらの画素の画素位置における青色画素Ｂの画素値をＢ_Ｇ，Ｂ_Ｒとすると，補間対象画素の緑色成分Ｇ，赤色成分Ｒの画素値Ｇ_Ｂ，Ｒ_Ｂは式３により得られる。
　Ｇ_Ｂ＝Ｂ＋（Ｇ−Ｂ_Ｇ），Ｒ_Ｂ＝Ｂ＋（Ｒ−Ｂ_Ｒ）…式３
　また，上記の実施例では，補間処理の対象画素に対し，判別された相関方向に他の色の画素が存在しない場合には，近傍の他の色の画素の色差により対象画素の画素値を補間して他の色の画素値を算出するようにしているが，これに限らず，次のように，近傍の他の色の画素の色比により対象画素の画素値を補間して他の色の画素値を算出するようにしてもよい。
　補間処理の対象画素が緑色画素Ｇ，その画素値がＧであり，判別された相関方向に赤色画素Ｒ，または青色画素Ｂが存在しない場合，緑色画素Ｇの近傍の赤色画素Ｒ，青色画素Ｂの画素値をＲ，Ｂ，これらの画素の画素位置における緑色画素Ｇの画素値をＧ_Ｒ，Ｇ_Ｂとすると，前記対象画素の位置における赤色成分Ｒ，青色成分Ｂの画素値Ｒ_Ｇ，Ｂ_Ｇは，式４により得られる。
　Ｒ_Ｇ＝Ｇ×（Ｒ／Ｇ_Ｒ），Ｂ_Ｇ＝Ｇ×（Ｂ／Ｇ_Ｂ）…式４
　同様に，補間処理の対象画素が赤色Ｒ，その画素値がＲであり，判別された相関方向に緑色画素Ｇ，または青色画素Ｂが存在しない場合，赤色画素Ｒの近傍の緑色画素Ｇ，青色画素Ｂの画素値をＧ，Ｂ，これらの画素の画素位置における赤色画素Ｒの画素値をＲ_Ｇ，Ｒ_Ｂとすると，対象画素の位置における緑色成分Ｇ，青色成分Ｂの画素値Ｇ_Ｒ，Ｂ_Ｒは式５により得られる。
　Ｇ_Ｒ＝Ｒ×（Ｇ／Ｒ_Ｇ），Ｂ_Ｒ＝Ｒ×（Ｂ／Ｒ_Ｂ）…式５
　また，補間処理の対象画素が青色画素Ｂ，その画素値がＢであり，判別された相関方向に緑色画素Ｇまたは赤色画素Ｒが存在しない場合，青色画素Ｂの近傍の緑色画素Ｇ，赤色画素Ｒの画素値をＧ，Ｒ，これらの画素の画素位置における青色画素Ｂの画素値をＢ_Ｇ，Ｂ_Ｒとすると，補間対象画素の位置における緑色成分Ｇ，赤色成分Ｒの画素値Ｇ_Ｂ，Ｒ_Ｂは式６により得られる。
　Ｇ_Ｂ＝Ｂ×（Ｇ／Ｂ_Ｇ），Ｒ_Ｂ＝Ｂ×（Ｒ／Ｂ_Ｒ）…式６
　第６図は，ディジタル・カメラ（ディジタル・スチル・カメラ，ディジタル・ムービ・カメラ，携帯電話にディジタル・カメラの機能を持たせたものを含む）の電気的構成の一部を示すブロック図である。
　ディジタル・カメラの全体の動作は，制御装置６０によって統括される。
　撮像レンズ６１によって被写体像が，上述したＣＣＤ１０の受光面上に結像する。ＣＣＤ１０は，駆動装置６４によって駆動させられる。上述のように間引き処理を行うように，駆動装置６４からＣＣＤ１０にシフト・パルス，垂直転送パルスφＶ，水平転送パルスφＨなどが与えられる。
　ＣＣＤ１０から間引き済みの映像信号が出力され，撮像処理装置６２に入力する。撮像処理装置６２においてアナログ／ディジタル変換，ガンマ補正，白バランス調整などの所定の撮像処理が行われる。上述したように，ＣＣＤ１０において間引き処理を行わずに撮像処理装置６２において間引き処理が行われるようにしてもよい。その場合には，撮像処理装置６２に，画像データを一時的に記憶するメモリが含まれ，そのメモリから読み出されるときに上述したように間引き処理が行われることなろう。
　撮像処理装置６２から出力された画像データは画像処理装置６３に入力する。この画像処理装置６３において上述したように，方向判別等が行われ，判別された方向に応じて補間処理が行われることとなる。画像処理装置６３からは，補間されたカラー画像データが出力される。なお，上記実施例においては，間引き画像に対してだけでなく間引く前の解像度の高い画像に対しても，上述した方向判別処理により判別された相関方向に基づいて補間処理を行うことが可能である。
　第７図は，ＣＣＤ１０の受光面の一部を示している。
　上述した実施例では水平方向および垂直方向にそれぞれ１画素おきに画素を抽出することにより，水平方向１／２，垂直方向１／２の間引きを実現しているが，水平方向および垂直方向に３画素おきに画素を抽出することにより水平方向１／４，垂直方向１／４の間引きを実現することもできる。
　第７図に示す受光面には，第１図に示すＣＣＤ１０と同じカラー・フィルタ配列をもつ多数の光電変換素子１１が含まれている。水平方向（矢印Ｈで示す）１／４，垂直方向（矢印Ｖで示す）１／４の間引きが行われることにより，第２図に示すカラー・配列をもつ間引き後の画像が得られる。
　このように，水平方向および垂直方向に奇数個おきに画素を抽出することにより，間引き処理を行っても第２図に示す色配列をもつ画像が得られるようになる。

Claims

水平方向および垂直方向に多数配列された光電変換素子を備え，赤色，緑色および青色のうちのいずれかの色の光成分またはシアン，マゼンタおよびイエローのうちのいずれかの色の光成分を透過するフィルタ特性を有するカラー・フィルタが上記光電変換素子の受光面上に形成され，赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数または青色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりも緑色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，あるいは，シアンの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数またはマゼンタの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりもイエローの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，水平方向および垂直方向にそれぞれ６つの上記光電変換素子から構成されるブロックにおいて，水平方向および垂直方向のすべてに緑色の光成分，青色の光成分および赤色の光成分またはイエローの光成分，シアンの光成分またはマゼンタの光成分を透過するフィルタ特性をもつカラー・フィルタが少なくとも一つ形成されており，かつ上記ブロックが周期的に繰り返されることにより斜め方向に緑色の光成分またはイエローの光成分を透過するフィルタ特性をもつカラー・フィルタが形成され，上記光電変換素子に蓄積された信号電荷を映像信号として出力する固体電子撮像素子，ならびに
　上記固体電子撮像素子から出力される映像信号のうち水平方向および垂直方向にそれぞれ奇数個おきの上記光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号を出力するように上記固体電子撮像素子を駆動する駆動回路，
　を備えた撮像装置。
上記ブロックは，水平方向および垂直方向にそれぞれ３つの上記光電変換素子から構成される小ブロックが４つ集まったものであり，
　上記光電変換素子の受光面上に形成されているカラー・フィルタのうち，赤色またはシアンの光成分を透過する特性を有するカラー・フィルタの配列と青色またはマゼンタの光成分を透過する特性を有するカラー・フィルタの配列とが，水平方向および垂直方向に隣接する小ブロックにおいて逆である，
　請求の範囲第１項に記載の撮像装置。
上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが水平方向，垂直方向および斜め方向のすべてにおいて２つ連続している部分が少なくとも一つ含まれている，
　請求の範囲第１項に記載の撮像装置。
上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが水平方向および垂直方向において２つずつ連続している部分が少なくとも一つ含まれている，
　請求の範囲第３項に記載の撮像装置。
上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過するカラー・フィルタが水平方向および垂直方向において２つずつ連続している部分にもとづいて得られる４つの画素の画素レベルから相関方向を検出する相関方向検出装置，
　上記相関方向検出装置において検出された相関方向に存在する赤色，シアン，青色またはマゼンタの色成分をもつ画素の緑色またはイエローの色成分を，上記相関方向検出装置において検出された相関方向に存在する緑色またはイエローの色成分をもつ画素を用いて補間する補間装置，ならびに
　上記相関方向検出装置による処理および上記補間装置による処理を一画像分について繰り返す制御装置，
　をさらに備えた請求の範囲第４項に記載の撮像装置。
上記相関方向検出装置は，
　水平方向，垂直方向および斜め方向の方向ごとに，隣接する画素の画素レベルの差分絶対値を算出し，方向ごとの差分絶対値の総和または平均値のうち最小となる方向を相関方向と決定するものである，
　請求の範囲第５項に記載の撮像装置。
上記補間装置は，
　上記赤色，シアン，青色またはマゼンタの色成分をもつ画素のうちの色成分を有していない色成分を，上記補間装置により補間された緑色またはイエローの色成分と，上記赤色，シアン，青色またはマゼンタの色成分のうち有している色成分と，から補間するものである，
　請求の範囲第５項に記載の撮像装置。
上記緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが形成されている光電変換素子の感度が等しいものである，
　請求の範囲第３項に記載の撮像装置。
固体電子撮像素子が，水平方向および垂直方向に多数配列された光電変換素子を備え，赤色，緑色および青色のうちのいずれかの色の光成分またはシアン，マゼンタおよびイエローのうちのいずれかの色の光成分を透過するフィルタ特性を有するカラー・フィルタが上記光電変換素子の受光面上に形成され，赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数または青色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりも緑色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，あるいは，シアンの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数またはマゼンタの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりもイエローの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，水平方向および垂直方向にそれぞれ６つの上記光電変換素子から構成されるブロックにおいて，水平方向および垂直方向のすべてに緑色の光成分，青色の光成分および赤色の光成分またはイエローの光成分，シアンの光成分またはマゼンタの光成分を透過するフィルタ特性をもつカラー・フィルタが少なくとも一つ形成されており，かつ上記ブロックが周期的に繰り返されることにより斜め方向に緑色の光成分またはイエローの光成分を透過するフィルタ特性をもつカラー・フィルタが形成され，上記光電変換素子に蓄積された信号電荷を映像信号として出力し，
　駆動回路が，上記固体電子撮像素子から出力される映像信号のうち水平方向および垂直方向にそれぞれ奇数個おきの上記光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号を出力するように上記固体電子撮像素子を駆動する，
　撮像装置の動作制御方法。