JPWO2012124182A1 - 撮像装置及び撮像プログラム - Google Patents

Abstract

ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合でも、ベイヤー配列対応の画像処理部を変更することなく用いることができる撮像装置及び撮像プログラムを提供する。撮像装置（１０）は、一部にベイヤー配列パターンを含む６×６画素の基本配列パターンＣが繰り返し配置されたカラーフィルタ（３０）と、予め定めた位置のベイヤー配列パターンと同一のパターンとなる画素の画素データのみを読み出すように撮像素子（１４）を駆動する駆動部（２２）と、を備える。

Description

本発明は、撮像装置及び撮像プログラムに係り、特に、単板式のカラー撮像素子を用いた撮像装置及び撮像プログラムに関する。

単板カラー撮像素子の出力画像は、ＲＡＷ画像（モザイク画像）であるため、欠落している色の画素を、周囲の画素から補間する処理（同時化処理）により多チャネル画像を得ている。この場合、高周波の画像信号の再現特性が問題となる場合がある。カラー撮像素子は、白黒の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、モアレ（偽色）の発生を抑圧しつつ再現帯域を広げて高解像化することが重要となる。

特許文献１には、モアレなどの発生の少ない間引き出力を行なわせる撮像装置が開示されている。

また、特許文献２には、画素混合によって増感したときでも、モアレの発生及び色のＳ／Ｎ比の低下を抑圧し、解像度の向上を図る撮像装置が開示されている。

ところで、単板カラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列（例えば特許文献３参照）は、人間の目に敏感で、輝度信号を得るために最も寄与する緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、Ｇ信号は斜め方向で、Ｒ、Ｂ信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。

そこで、このような問題が発生しないように各色のフィルタを配列したベイヤー配列以外の配列のカラーフィルタを用いることが考えられる（例えば特許文献４参照）。
特開２００８−７８７９４号公報 特開２００９−２４６４６５号公報 特開２００７−１２４２９５号公報 特開平１１−２８５０１２号公報

この場合、例えば同時化処理等の画像処理は、新たなカラーフィルタの配列に応じた画像処理を行う必要があるが、新たなカラーフィルタの配列に応じて画像処理を変更するのは非常に煩雑であり、設計工数が膨大になる、という問題があった。

本発明は上記問題点を解決するためになされたものであり、ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合でも、ベイヤー配列対応の画像処理部を変更することなく用いることができる撮像装置及び撮像プログラムを提供することを目的とする。

上記課題を解決するため、請求項１記載の発明の撮像装置は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、２×２画素の正方配列の一方の対角線上の２つの画素上に、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが配置され、他方の対角線上の２つの画素上に、前記第１の色と異なる第２の色に対応した第２のフィルタと、前記第１の色及び前記第２の色と異なる第３の色に対応した第３のフィルタと、が配置されたベイヤー配列パターンを一部に含む３×３画素上に配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、前記撮像素子から、予め定めた位置の前記ベイヤー配列パターンと同一のパターンとなる画素の画素データのみを読み出すように前記撮像素子を駆動する駆動手段と、前記撮像素子から出力された前記ベイヤー配列パターンの画素データに基づいて、各画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間することにより、各画素の各色の画素データを生成する生成手段と、を備えたことを特徴とする。

この発明によれば、一部にベイヤー配列パターンと同一パターンを含むカラーフィルタを備え、撮像素子からベイヤー配列パターンと同一のパターンとなる画素の画素データのみを読み出すように撮像素子を駆動するので、ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合でも、ベイヤー配列対応の画像処理部を変更することなく用いることができる。

なお、請求項２に記載したように、前記カラーフィルタは、前記第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタとしてもよい。

また、請求項３に記載したように、前記カラーフィルタは、前記第３のフィルタが、３×３画素の正方配列の四隅の画素上に配置され、前記第２のフィルタが、前記正方配列の前記中央の画素上に配置され、前記第１のフィルタが、前記正方配列の前記垂直方向における中央のライン及び前記水平方向における中央のライン上に配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタとしてもよい。

また、請求項４に記載したように、前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色の一方の色であり、前記第３の色は、赤（Ｒ）色及び青（Ｂ）色の他方の色である構成としてもよい。

請求項５記載の発明の撮像プログラムは、コンピュータを、請求項１〜請求項４の何れか１項に記載の撮像装置を構成する駆動手段として機能させるための撮像プログラムである。

本発明によれば、ベイヤー配列以外の配列のカラーフィルタを備えた撮像素子を用いた場合でも、ベイヤー配列対応の画像処理部を変更することなく用いることができる、という効果を有する。

撮像装置の概略ブロック図である。 本発明に係るカラーフィルタの構成図である。 ベイヤー配列パターンのカラーフィルタの構成図である。 制御部で実行される処理のフローチャートである。 第１実施形態に係る間引き処理の流れを説明するための図である。 第３実施形態に係る間引き処理の流れを説明するための図である。 カラーフィルタの変形例を示す図である。 カラーフィルタに含まれる２×２画素のＧ画素の画素値から相関方向を判別する方法を説明するための図である。 カラーフィルタに含まれる基本配列パターンの概念を説明するための図である。 カラーフィルタの変形例を示す図である。 第４実施形態に係るカラーフィルタに含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを水平及び垂直方向に繰り返し配置してなるカラーフィルタを示す図である。 図１１ＡのカラーフィルタによるＧ画素の特徴的な配置を示す図である。

以下、図面を参照して本発明の実施形態について説明する。

（第１実施形態）

図１には、本実施形態に係る撮像装置１０の概略ブロック図を示した。撮像装置１０は、光学系１２、撮像素子１４、撮像処理部１６、画像処理部２０、駆動部２２、及び制御部２４を含んで構成されている。

光学系１２は、例えば複数の光学レンズから成るレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含んで構成されている。

撮像素子１４は、水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子上にカラーフィルタが配置された構成の所謂単板式の撮像素子である。

図２には、本実施形態に係るカラーフィルタ３０の一部を示した。なお、画素数は一例として（４８９６×３２６４）画素であり、アスペクト比は３：２であるが、画素数及びアスペクト比はこれに限られるものではない。同図に示すように、カラーフィルタ３０は、輝度信号を得るために最も寄与するＧ（緑）に対応する第１のフィルタＧ（以下、Ｇフィルタと称する）が、３×３画素の正方配列の四隅及び中央の画素上に配置され、Ｒ（赤）に対応する第２のフィルタＲ（以下、Ｒフィルタと称する）が、正方配列の水平方向における中央のラインに配置され、Ｂ（青）に対応する第３のフィルタＲ（以下、Ｂフィルタと称する）が、正方配列の垂直方向における中央のラインに配置された第１の配列パターンＡと、第１の基本配列パターンＡとフィルタＧの配置が同一で且つフィルタＲの配置とフィルタＢの配置とを入れ替えた第２の配列パターンＢと、が点対称で配置された６×６画素の基本配列パターンＣが繰り返し配置されたカラーフィルタである。

すなわち、カラーフィルタ３０は、下記の特徴(1)、(2)、(3)、(4)、及び(5)を有している。

〔特徴(1)〕

図２に示すカラーフィルタ３０は、６×６画素に対応する正方配列パターンからなる基本配列パターンＣを含み、この基本配列パターンＣが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子から読み出されるＲ、Ｇ、Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターにしたがって処理を行うことができる。

また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

〔特徴(2)〕

図２に示すカラーフィルタ３０は、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されている。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

〔特徴(3)〕

図２に示すカラーフィルタ３０は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにすることができる。また、光学ローパスフィルタを適用する場合でも、偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

図２に示すように基本配列パターンＣは、破線の枠で囲んだ３×３画素の第１の配列パターンＡと、一点鎖線の枠で囲んだ３×３画素の第２の配列パターンＢとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

第１の配列パターンＡ及び第２の配列パターンＢは、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、第１の配列パターンＡは、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列され、一方、第２の配列パターンＢは、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列されている。即ち、第１の配列パターンＡと第２の配列パターンＢとは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、第１の配列パターンＡと第２の配列パターンＢの４隅のＧフィルタは、図８に示すように第１の配列パターンＡと第２の配列パターンＢとが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

〔特徴(4)〕

図２に示すカラーフィルタ３０は、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいる。

図８に示すように、Ｇフィルタからなる２×２画素を取り出し、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（右上斜め、左上斜め）のＧ画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。

即ち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理（同時化処理）に使用することができる。

〔特徴(5)〕

図２に示すカラーフィルタ３０の基本配列パターンＣは、その基本配列パターンＣの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図２に示したように、基本配列パターンＣ内の第１の配列パターンＡ及び第２の配列パターンＢも、それぞれ中心のＧフィルタに対して点対称になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。

図９に示すように基本配列パターンＣにおいて、水平方向の第１から第６のラインのうちの第１及び第３のラインのカラーフィルタ配列は、ＧＲＧＧＢＧであり、第２のラインのカラーフィルタ配列は、ＢＧＢＲＧＲであり、第４及び第６のラインのカラーフィルタ配列は、ＧＢＧＧＲＧであり、第５のラインのカラーフィルタ配列は、ＲＧＲＢＧＢとなっている。

いま、図９において、基本配列パターンＣを水平方向、及び垂直方向にそれぞれ１画素ずつシフトした基本配列パターンをＣ’、それぞれ２画素ずつシフトした基本配列パターンをＣ”とすると、これらの基本配列パターンＣ’、Ｃ”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。

即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図９に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。本実施形態では、基本配列パターンが点対称になっている基本配列パターンＣを、便宜上、基本配列パターンという。

図１０は本実施形態に係るカラーフィルタの変形例を示す図である。同図に示すカラーフィルタ３０Ａは、４×４画素に対応する正方配列パターンからなる基本配列パターンＣを含み、この基本配列パターンＣが水平方向及び垂直方向に繰り返し配置されている。

このカラーフィルタ３０Ａは、図２に示したカラーフィルタ３０と同様に、Ｇフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置され、かつＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。

また、基本配列パターンＣは、その基本配列パターンＣの中心に対して点対称になっている。

一方、このカラーフィルタ３０Ａは、Ｇフィルタからなる２×２画素に対応する正方配列を含んでいないが、水平方向に隣接するＧフィルタを有し、また、斜め方向（右上斜め、左上斜め）に隣接するＧフィルタを有する。

垂直方向には、Ｒフィルタ又はＢフィルタを挟んでＧフィルタが存在するため、これらのＧフィルタに対応するＧ画素の画素値を垂直方向の相関を判断する場合に使用することができる。

上記のようにカラーフィルタ３０Ａは、図２に示すカラーフィルタ３０の特徴(1)、(2)、(3)、及び(5)と同じ特徴を有している。

これに対し、図３には、ベイヤー配列のカラーフィルタ４０の一部を示した。なお、同図に示したカラーフィルタも画素数は一例として（４８９６×３２６４）画素であり、アスペクト比は３：２である。同図に示すように、ベイヤー配列のカラーフィルタ４０は、２×２画素の正方配列の一方の対角線上の２つの画素上にＧフィルタが配置され、他方の対角線上の２つの画素上にＲフィルタ及びＢフィルタが配置された構成である。

撮像処理部１６は、撮像素子１４から出力された撮像信号に対して増幅処理や相関二重サンプリング処理、Ａ／Ｄ変換処理等の予め定めた処理を施し、画素データとして画素変換処理部１８に出力する。

画像処理部２０は、撮像処理部１６から出力された画素データに対して所謂同時化処理を施す。すなわち、全画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間して、全画素のＲ，Ｇ，Ｂの画素データを生成する。そして、生成したＲ，Ｇ，Ｂの画素データに対して所謂ＹＣ変換処理を施し、輝度データＹ、色差データＣｒ、Ｃｂを生成する。そして、これらの信号を撮影モードに応じたサイズにリサイズするリサイズ処理を行う。なお、画像処理部２０は、ベイヤー配列パターンの画素データに対応した処理を行う。

駆動部２２は、制御部２４からの指示に応じて撮像素子１４からの撮像信号の読み出し駆動等を行う。

制御部２４は、撮影モード等に応じて駆動部２２及び画像処理部２０等を統括制御する。詳細は後述するが、制御部２４は、駆動部２２に対して、撮影モードに応じた読み出し方法で撮像信号を読み出すように指示したり、画像処理部２０に対して、撮影モードに応じた画像処理を行うよう指示したりする。

撮影モードによっては、撮像素子１４からの撮像信号を間引いて読み出す必要があるため、制御部２４は、指示された撮影モードに応じた間引き方法で間引いて撮像信号を読み出すように駆動部２２に指示する。

本実施形態では、撮影モードの一例として、撮像した画像を間引いて比較的高解像度のＨＤ（高精細）動画データを生成して図示しないメモリーカード等の記録媒体に記録するＨＤ動画モード、撮影した画像を間引いて比較的低解像度のスルー動画を図示しない表示部に出力するスルー動画モードが設定された場合の処理を例に説明する。

次に、本実施形態の作用として、制御部２４で実行される処理について、図４に示すフローチャートを参照して説明する。

なお、図４に示す処理は、撮影モードに応じた撮影を実行するように指示された場合に実行される。

まず、ステップ１００では、撮影モードに応じた間引き方法で画素データを読み出すように駆動部２２に指示する。

ステップ１０２では、撮影モードに応じたベイヤー処理（同時化処理及びＹＣ変換処理）及びリサイズ処理を実行するよう画像処理部２０に指示する。

なお、制御部２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性ＲＯＭ等を含むコンピュータで構成することができる。この場合、上記の処理の処理プログラムを例えば予め不揮発性ＲＯＭに記憶しておき、これをＣＰＵが読み込んで実行することができる。

以下、間引き読み出しの具体例について説明する。

図２に示すように、第１の配列パターンＡ、第２の配列パターンＢは、一部にベイヤー配列パターンを含んでいる。例えば第１の配列パターンＡは、対角線上にＧ画素が配置され、その他がＲ画素及びＢ画素となっているため、第１の配列パターンＡから任意の２×２画素を抜き出すと、図３に示す２×２画素のベイヤー配列パターンと同一となる。これは第２の配列パターンＢについても同様である。

従って、本実施形態では、間引き読み出しする際に、カラーフィルタ３０のベイヤー配列パターンと同一となるパターンの画素の画素データのみを読み出すように撮像素子１４を駆動する。

図５には、ＨＤ動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図５左上に示すように、制御部２４は、駆動部２２に対して垂直方向及び水平方向ともに（６ｎ＋１）番目（ｎ＝０，１，２，・・・）及び（６ｎ＋２）番目（ｎ＝０、１、２、・・・）のラインの画素データを読み出すように指示する。これにより、撮像素子１４からは、同図左上の枠５０内の２×２画素の画素データのみが出力される。これにより、画素数が（１６３２×１０８８）の画素データが撮像素子１４から出力される。この枠５０内の２×２画素はベイヤー配列となっているので、撮像素子１４から出力された画素データは、同図右上に示すように当然ベイヤー配列となる。

このように、ベイヤー配列パターンと異なるカラーフィルタ３０を用いた場合でも、ベイヤー配列パターンと同一のパターンの画素のみを読み出すので、撮像素子１４から出力された画素データをベイヤー配列パターンに変換する必要がなく、装置構成を簡略化することができる。また、後段のベイヤー配列に対応した画像処理部２０をカラーフィルタ３０用に変更することなく用いることができる。

画像処理部２０では、同図左下に示すようにベイヤー処理（同時化処理及びＹＣ変換処理）実行し、その後同図右下に示すようにリサイズ処理を実行する。図５右下では、一例として（１９２０×１０８０）のサイズにリサイズしている。そして、リサイズした画像を出力する。

（第２実施形態）

次に、本発明の第２実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。

本実施形態が第１実施形態と異なるのは撮影モードであり、その他は第１実施形態と同様である。

本実施形態では、間引き方は第１実施形態と同様であり、図５左上と同様に、制御部２４は、駆動部２２に対して垂直方向及び水平方向ともに（６ｎ＋１）番目（ｎ＝０，１，２，・・・）及び（６ｎ＋２）番目（ｎ＝０、１、２、・・・）のラインが交差する位置の画素の画素データを読み出すように指示する。これにより、同図右上に示すようにベイヤー配列の画素データが撮像素子１４から出力される。

画像処理部２０では、図５左下と同様にベイヤー処理を実行し、その後リサイズ処理を実行する。本実施形態では、スルー動画モードなので、ＨＤ動画モードよりも小さいサイズ、一例として（６４０×４８０）のサイズにリサイズする。そして、リサイズした画像を出力する。

（第３実施形態）

次に、本発明の第３実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。

本実施形態が第１実施形態と異なるのは撮影モード及び間引き方法であり、その他は第１実施形態と同様である。

図６には、スルー動画モードで撮影した場合の処理の流れを概略的に示した。本実施形態では、図６左に示すように、制御部２４は、駆動部２２に対して垂直方向に（１２ｎ＋１）番目（ｎ＝０，１，２，・・・）及び（１２ｎ＋２）番目（ｎ＝０、１、２、・・・）のラインと、水平方向に（６ｎ＋１）番目（ｎ＝０，１，２，・・・）及び（６ｎ＋２）番目（ｎ＝０、１、２、・・・）のラインと、が交差する位置の画素の画素データを読み出すように指示する。これにより、撮像素子１４からは、同図左の枠５０内の２×２画素の画素データのみが出力される。これにより、画素数が（１６３２×５４４）の画素データが撮像素子１４から出力される。この枠５０内の２×２画素はベイヤー配列となっているので、撮像素子１４から出力された画素データは、同図右に示すように当然ベイヤー配列となる。

画像処理部２０では、図６では図示は省略したが、第１実施形態と同様にベイヤー処理（同時化処理及びＹＣ変換処理）実行し、その後第１実施形態と同様にリサイズ処理を実行する。ただし、本実施形態では、スルー動画モードなので、ＨＤ動画モードよりも小さいサイズ、一例として（６４０×４８０）のサイズにリサイズする。そして、リサイズした画像を出力する。

（第４実施形態）

次に、本発明の第４実施形態について説明する。なお、上記実施形態と同一部分には同一符号を付し、その詳細な説明は省略する。

本実施形態では、カラーフィルタの変形例について説明する。図７には、変形例に係るカラーフィルタ６０を示した。なお、画素数は一例として（４８９６×３２６４）画素であり、アスペクト比は３：２であるが、画素数及びアスペクト比はこれに限られるものではない。

図７に示すように、カラーフィルタ６０は、Ｂフィルタが、３×３画素の正方配列の四隅の画素上に配置され、Ｒフィルタが、正方配列の中央の画素上に配置され、Ｇフィルタが、正方配列の垂直方向における中央のライン及び水平方向における中央のライン上に配置された第１の配列パターンＡと、第１の配列パターンＡとＧフィルタの配置が同一で且つＲフィルタの配置とＢフィルタの配置とを入れ替えた第２の配列パターンＢと、が点対称で配置された６×６画素の基本配列パターンＣが繰り返し配置されたカラーフィルタである。

すなわち、カラーフィルタ６０は、第１実施形態で説明した特徴(1)、下記の特徴(6)、(7)、及び(8)を有している。

〔特徴(6)〕

図７に示すカラーフィルタ６０を構成する基本配列パターンＣは、輝度信号を得るために最も寄与する色(この実施形態では、Ｇの色)に対応するＧフィルタと、Ｇの色以外の他の色（この実施形態では、Ｒ，Ｂ）に対応するＲフィルタ、Ｂフィルタとが、基本配列パターンＣ内の水平及び垂直方向の各ライン内に１つ以上配置されている。

Ｒ、Ｇ、Ｂフィルタが、それぞれ基本配列パターンＣ内の水平及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにすることができる。また、光学ローパスフィルタを適用する場合でも、偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

〔特徴(7)〕

輝度系画素に対応するＧフィルタは、基本配列パターンＣ内において、水平、垂直、及び斜め方向の各方向に２以上隣接する部分が含まれるように配置されている。

図７に示すように基本配列パターンＣは、破線の枠で囲んだ３×３画素の第１の配列パターンＡと、一点鎖線の枠で囲んだ３×３画素の第２の配列パターンＢとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

第１の配列パターンＡは、中心にＲフィルタが配置され、４隅にＢフィルタが配置され、中心のＲフィルタを挟んで上下左右にＧフィルタが配置されている。一方、第２の配列パターンＢは、中心にＢフィルタが配置され、４隅にＲフィルタが配置され、中心のＢフィルタを挟んで上下左右にＧフィルタが配置されている。これらの第１の配列パターンＡと第２の配列パターンＢとは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、図１１Ａに示すように、本実施形態に係るカラーフィルタは、上記第１の配列パターンＡ（Ａ配列）と第２の配列パターンＢ（Ｂ配列）とが、水平及び垂直方向に交互に配置されていると捉えることもできる。

いま、図１１Ａに示すように、撮像素子から出力されるモザイク画像を、Ａ配列を中心にして５×５画素の局所領域（太枠で示した領域）を抽出した場合、この局所領域内の８個のＧ画素は、図１１Ｂに示すように十字形状に配置される。これらのＧ画素を左から右の順にＧ１、Ｇ２、Ｇ３、Ｇ４とし、上から下の順にＧ５、Ｇ６、Ｇ７Ｇ８とすると、画素Ｇ１Ｇ２、画素Ｇ２Ｇ３が水平方向に隣接し、画素Ｇ５Ｇ６、画素Ｇ７Ｇ８が垂直方向に隣接し、画素Ｇ６Ｇ３、画素Ｇ２Ｇ７が左上斜め方向に隣接し、画素Ｇ６Ｇ２、画素Ｇ３Ｇ７が右上斜め方向に隣接している。

従って、これらの隣接する画素の画素値の差分絶対値を求めることにより、水平、垂直、及び斜め方向の各方向のうち、輝度の変化が最も小さい方向（相関の高い相関方向）を、最小画素間隔で判別することができる。

即ち、水平方向の差分絶対値の和は｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜、水平方向の差分絶対値の和は｜Ｇ５−Ｇ６｜＋｜Ｇ７−Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ２｜＋｜Ｇ３−Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ３｜＋｜Ｇ２−Ｇ７｜となる。

これらの４つの相関絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別することができる。尚、判別された相関方向は、同時化（補間）処理等を行う際に利用することができる。

〔特徴(8)〕

図７に示すカラーフィルタ６０を構成する基本配列パターンＣは、その基本配列パターンＣの中心に対して点対称になっている。

図７に示したように、基本配列パターンＣ内のＡ配列及びＢ配列は、それぞれ中心のＲフィルタ、又はＧフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。

尚、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図７に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在するが、本実施形態では、基本配列パターンが点対称になっている基本配列パターンＣを、便宜上、基本配列パターンという。

図７に示すように、カラーフィルタ６０は、第１の配列パターンＡ、第２の配列パターンＢは、一部にベイヤー配列パターンを含んでいる。例えば第１の配列パターンＡから任意の２×２画素を抜き出すと、図３に示す２×２画素のベイヤー配列パターンと同一となる。これは第２の配列パターンＢについても同様である。

従って、カラーフィルタ６０を用いた場合も、ベイヤー配列パターンと同一となるパターンの画素の画素データのみを読み出すように撮像素子１４を駆動することにより、ベイヤー配列の画素データが得られる。間引き方等は、第１〜第３実施形態と同様に実行することができる。

なお、上記各実施形態では、ＲＧＢの３原色のカラーフィルタのカラーフィルタ配列について説明したが、カラーフィルタの種類は、これに限定されるものではない。

１０ 撮像装置
１２ 光学系
１４ 撮像素子
１６ 撮像処理部
２０ 画像処理部
２２ 駆動部
２４ 制御部
３０ カラーフィルタ

図２には、本実施形態に係るカラーフィルタ３０の一部を示した。なお、画素数は一例として（４８９６×３２６４）画素であり、アスペクト比は３：２であるが、画素数及びアスペクト比はこれに限られるものではない。同図に示すように、カラーフィルタ３０は、輝度信号を得るために最も寄与するＧ（緑）に対応する第１のフィルタＧ（以下、Ｇフィルタと称する）が、３×３画素の正方配列の四隅及び中央の画素上に配置され、Ｒ（赤）に対応する第２のフィルタＲ（以下、Ｒフィルタと称する）が、正方配列の水平方向における中央のラインに配置され、Ｂ（青）に対応する第３のフィルタＢ（以下、Ｂフィルタと称する）が、正方配列の垂直方向における中央のラインに配置された第１の配列パターンＡと、第１の配列パターンＡとＧフィルタの配置が同一で且つＲフィルタの配置とＢフィルタの配置とを入れ替えた第２の配列パターンＢと、が点対称で配置された６×６画素の基本配列パターンＣが繰り返し配置されたカラーフィルタである。

また、基本配列パターンＣの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

即ち、水平方向の差分絶対値の和は｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜、垂直方向の差分絶対値の和は｜Ｇ５−Ｇ６｜＋｜Ｇ７−Ｇ８｜、右上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ２｜＋｜Ｇ３−Ｇ７｜、左上斜め方向の差分絶対値の和は｜Ｇ６−Ｇ３｜＋｜Ｇ２−Ｇ７｜となる。

図７に示したように、基本配列パターンＣ内のＡ配列及びＢ配列は、それぞれ中心のＲフィルタ、又はＢフィルタに対して点対称になっており、かつ上下左右が対称（線対称）になっている。

また、請求項３に記載したように、前記カラーフィルタは、前記第３のフィルタが、３×３画素の正方配列の四隅の画素上に配置され、前記第２のフィルタが、前記正方配列の中央の画素上に配置され、前記第１のフィルタが、前記正方配列の前記垂直方向における中央のライン及び前記水平方向における中央のライン上に配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタとしてもよい。

Claims (5)

1. 水平方向及び垂直方向に配列された複数の光電変換素子を含む撮像素子と、
   前記複数の光電変換素子からなる複数の画素上に設けられたカラーフィルタであって、２×２画素の正方配列の一方の対角線上の２つの画素上に、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタが配置され、他方の対角線上の２つの画素上に、前記第１の色と異なる第２の色に対応した第２のフィルタと、前記第１の色及び前記第２の色と異なる第３の色に対応した第３のフィルタと、が配置されたベイヤー配列パターンを一部に含む３×３画素上に配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタと、
   前記撮像素子から、予め定めた位置の前記ベイヤー配列パターンと同一のパターンとなる画素の画素データのみを読み出すように前記撮像素子を駆動する駆動手段と、
   前記撮像素子から出力された前記ベイヤー配列パターンの画素データに基づいて、各画素について、対応する色以外の色の画素データを周囲の画素の画素データから補間することにより、各画素の各色の画素データを生成する生成手段と、
   を備えた撮像装置。
2. 前記カラーフィルタは、前記第１のフィルタが、３×３画素の正方配列の四隅及び中央の画素上に配置され、前記第２のフィルタが、前記正方配列の前記水平方向における中央のラインに配置され、前記第３のフィルタが、前記正方配列の前記垂直方向における中央のラインに配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタである
   請求項１記載の撮像装置。
3. 前記カラーフィルタは、前記第３のフィルタが、３×３画素の正方配列の四隅の画素上に配置され、前記第２のフィルタが、前記正方配列の前記中央の画素上に配置され、前記第１のフィルタが、前記正方配列の前記垂直方向における中央のライン及び前記水平方向における中央のライン上に配置された第１の配列パターンと、前記第１の配列パターンと前記第１のフィルタの配置が同一で且つ前記第２のフィルタの配置と前記第３のフィルタの配置とを入れ替えた第２の配列パターンと、が点対称で配置された６×６画素の基本配列パターンが繰り返し配置されたカラーフィルタである
   請求項１記載の撮像装置。
4. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）色の一方の色であり、前記第３の色は、赤（Ｒ）色及び青（Ｂ）色の他方の色である
   請求項１〜３の何れか１項に記載の撮像装置。
5. コンピュータを、請求項１〜請求項４の何れか１項に記載の撮像装置を構成する制御手段として機能させるための撮像プログラム。

Images