WO2014020791A1 - 偏光カラー撮像装置 - Google Patents

Abstract

偏光カラー撮像装置は、第１の方向に偏光した第１の波長域の光を透過させる第１の領域、第２の方向に偏光した第２の波長域の光を透過させる第２の領域、および入射する光の少なくとも一部を透過させる第３の領域を有する偏光カラーフィルタ板と、各々が第１から第３の光感知セル、および前記第１から第３の光感知セルにそれぞれ対向して配置された第１から第３の偏光フィルタを有する複数の単位ブロックが撮像面上に配列された撮像素子であって、前記第１から第３の偏光フィルタの偏光透過軸の方向が全て異なる撮像素子と、前記撮像素子の前記撮像面上に像を形成する光学レンズとを備える。

Description

偏光カラー撮像装置

　本願は１組の光学系と、各画素に対向して偏光フィルタが配置された所謂偏光撮像素子とを用いてカラー画像を取得する単板カラー撮像技術に関する。

　近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。このような撮像素子の性能向上と共に、最近では新たな機能も追加されつつある。例えば、撮像素子の各画素上に偏光フィルタを配置し、２次元の偏光情報が得られる偏光イメージングカメラが開発されている。

　偏光イメージングカメラでは、撮像素子の前面にパターン化された偏光子のアレイが配置される。近接する複数画素の輝度値から、偏光の主軸方向、平均輝度、偏光成分の強度といった偏光情報を求めることができる。

　通常、偏光イメージングカメラは白黒画像しか得ることができない。偏光イメージングカメラでカラー画像を得るためには、撮像素子の画素上に色フィルタを配置する必要がある。例えば、特許文献１および特許文献２に開示された撮像装置では、撮像素子の複数の画素上にパターン化された複数の偏光子と、モザイク状に配列された複数の色フィルタとが重ねて配置されている。これにより、偏光情報とカラー情報とを同時に取得することを可能にしている。

国際公開２００８／１４９４８９号 特開２００９－２９０８９５号公報

　本願は、従来技術とは異なる光学構成および信号処理を用いて、偏光情報とカラー情報とを取得できる撮像技術を提供する。

　上記課題を解決するために、本発明の一態様に係る偏光カラー撮像装置は、第１の方向に偏光した第１の波長域の光を透過させる第１の領域、第２の方向に偏光した第２の波長域の光を透過させる第２の領域、および入射する光の少なくとも一部を透過させる第３の領域を有する偏光カラーフィルタ板と、各々が第１から第３の光感知セル、および前記第１から第３の光感知セルにそれぞれ対向して配置された第１から第３の偏光フィルタを有する複数の単位ブロックが撮像面上に配列された撮像素子であって、前記第１から第３の偏光フィルタの偏光透過軸の方向が全て異なる撮像素子と、前記撮像素子の前記撮像面上に像を形成する光学レンズと、前記撮像素子から出力される信号を処理する信号処理部とを備える。

　上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、または、システム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。

　本発明の一実施形態によれば、画素間の演算によりカラー情報を算出することができる。また、他の実施形態によれば、画素間の演算により偏光情報も取得できる。

実施形態１における撮像装置の構成図 実施形態１における撮像部の模式図 偏光カラーフィルタ移動部１１の他の構成例を示す模式図 実施形態１における偏光カラーフィルタ板１の平面図 実施形態１における撮像素子２の基本構成図 偏光カラーフィルタ板１を光路上から外した状態を模式的に示す平面図 偏光カラーフィルタ板１を光路上に挿入した状態を模式的に示す平面図 被写体から入射する光が偏光特性を有する場合のカラー画像を生成する動作の流れを示すフローチャート 偏光カラーフィルタ板１の変形例を示す平面図 撮像素子２の基本画素構成の変形例を示す図

　本発明の例示的な実施形態の概要は以下のとおりである。

　（１）本発明の一態様に係る偏光カラー撮像装置は、第１の方向に偏光した第１の波長域の光を透過させる第１の領域、第２の方向に偏光した第２の波長域の光を透過させる第２の領域、および入射する光の少なくとも一部を透過させる第３の領域を有する偏光カラーフィルタ板と、各々が第１から第３の光感知セル、および前記第１から第３の光感知セルにそれぞれ対向して配置された第１から第３の偏光フィルタを有する複数の単位ブロックが撮像面上に配列された撮像素子であって、前記第１から第３の偏光フィルタの偏光透過軸の方向が全て異なる撮像素子と、前記撮像素子の前記撮像面上に像を形成する光学レンズと、前記撮像素子から出力される信号を処理する信号処理部とを備える。

　（２）項目（１）に記載の偏光カラー撮像装置のある態様において、前記第３の領域は、第３の方向に偏光した第３の波長域の光を透過させるように構成されている。

　（３）項目（１）または（２）に記載の偏光カラー撮像装置のある態様において、前記信号処理部は、各単位ブロックにおける前記第１から第３の光感知セルから出力される信号に基づいて、カラー画像を生成する画像処理部を有している。

　（４）項目（１）から（３）のいずれかに記載の偏光カラー撮像装置のある態様において、前記第１から第３の領域の偏光透過軸の方向は、それぞれ前記第１から第３の偏光フィルタの偏光透過軸の方向と一致している。

　（５）項目（１）から（４）のいずれかに記載の偏光カラー撮像装置のある態様において、前記第１から第３の領域の各々は、色フィルタおよび偏光フィルタの重ね合わせによって形成されている。

　（６）項目（１）から（５）のいずれかに記載の偏光カラー撮像装置のある態様において、前記第１から第３の領域の偏光透過軸の方向は、６０度ずつ異なっている。

　（７）項目（１）から（６）のいずれかに記載の偏光カラー撮像装置のある態様において、前記第１の波長域は赤光の波長域に相当し、前記第２の波長域は緑光の波長域に相当し、前記第３の波長域は青光の波長域に相当する。

　（８）項目（１）から（７）のいずれかに記載の偏光カラー撮像装置は、ある態様において、前記偏光カラーフィルタ板を光路上に着脱することができる駆動機構をさらに備える。

　（９）項目（８）に記載の偏光カラー撮像装置は、ある態様において、前記偏光カラーフィルタ板が光路上から外された状態で第１の撮像を行い、前記偏光カラーフィルタ板が光路上に挿入された状態で第２の撮像を行うように前記駆動機構および前記撮像素子を制御する制御部をさらに備える。

　（１０）項目（９）に記載の偏光カラー撮像装置のある態様において、前記信号処理部は、前記第１の撮像によって各単位ブロックにおける前記第１から第３の光感知セルから出力される信号に基づいて被写体から入射する光の偏光情報を生成し、前記第２の撮像によって各単位ブロックにおける前記第１から第３の光感知セルから出力される信号および前記偏光情報に基づいてカラー画像を生成する画像処理部を有している。

　（１１）本発明の一態様に係る偏光カラーフィルタ板は、項目（１）から（１０）のいずれかに記載の偏光カラー撮像装置において用いられる。前記偏光カラーフィルタ板は、第１の方向に偏光した第１の波長域の光を透過させる第１の領域、第２の方向に偏光した第２の波長域の光を透過させる第２の領域、および入射する光の少なくとも一部を透過させる第３の領域を有する。

　（１２）本発明の一態様に係る画像処理装置は、項目（１）から（１０）のいずれかに記載の偏光カラー撮像装置から出力される信号に基づいて画像を生成するように構成されている。前記画像処理装置は、前記撮像素子の各単位ブロックにおける前記第１から第３の光感知セルから出力される信号に基づいて、カラー画像を生成する。

　（１３）本発明の一態様に係る画像処理プログラムは、項目（１）から（１０）のいずれかに記載の偏光カラー撮像装置から出力される信号に基づいて画像を生成するためのプログラムである。前記画像処理プログラムは、コンピュータに対し、前記撮像素子の各単位ブロックにおける前記第１から第３の光感知セルから出力される信号に基づいて、カラー画像を生成するステップを実行させる。

　以下、添付の図面を参照しながら、本発明のより具体的な実施形態を説明する。以下の説明において、複数の図にわたって共通または対応する要素には同一の符号を付している。

　（実施形態１）
　図１は、第１の実施形態における偏光カラー撮像装置の全体構成を示すブロック図である。本実施形態の偏光カラー撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００からの信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。

　撮像部１００は、撮像面上に配列された複数の光感知セルを備える撮像素子（イメージセンサ）２と、透過波長域および偏光透過軸の方向が互いに異なる３つの透光領域を有する偏光カラーフィルタ板１と、撮像素子２の撮像面上に像を形成する光学レンズ３と、赤外カットフィルタ４と、偏光カラーフィルタ板１を撮像光学系内に挿抜するように構成された駆動機構（偏光カラーフィルタ移動部）１１とを備えている。撮像素子２の各光感知セル（以下、「画素」とも呼ぶ。）の上には、偏光フィルタが配置されている。本実施形態では、４つの画素と、それらに対向する４つの偏光フィルタとが、１つの単位要素を構成し、複数の単位要素が撮像面上に２次元状に配列されている。単位要素中の４つの偏光フィルタのうち、３つの偏光フィルタの偏光透過軸の方向は異なっている。

　撮像部１００はまた、撮像素子２を駆動するための基本信号を発生するとともに撮像素子２から出力される信号を受けて信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって発生された基本信号に基づいて撮像素子２を駆動する制御部６とを備えている。制御部６は、さらに、撮像素子２の動作に連動して偏光カラーフィルタ移動部１１の動作を制御する。撮像素子２は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、例えば公知の半導体製造技術によって製造され得る。信号発生／受信部５および制御部６は、例えばＣＣＤドライバなどのＬＳＩから構成され得る。

　信号処理部２００は、撮像部１００から出力された信号を処理して画像信号を生成する画像処理部７と、画像信号および信号処理の過程で発生する各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像処理部７は、例えば公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、例えばＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録すると共に、画像処理部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。

　なお、本実施形態の偏光カラー撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本実施形態の理解に特に必要でないため省略する。また、上記の構成は一例であり、偏光カラーフィルタ板１、撮像素子２、画像処理部７以外の構成要素は、公知の要素を適宜組み合わせて用いることができる。

　以下、撮像部１００の構成を詳細に説明する。以下の説明において、撮像領域の位置や方向を説明する場合は、図中に示すｘｙ座標を用いる。

　図２は、撮像部１００における光学レンズ３、赤外カットフィルタ４、偏光カラーフィルタ板１、偏光カラーフィルタ移動部１１および撮像素子２の配置関係を模式的に示す図である。光学レンズ３は、複数のレンズ群から構成されたレンズユニットであり得るが、図２では簡単のため、単一のレンズとして描かれている。光学レンズ３は、公知のレンズであり、入射光を集光し、撮像素子２の撮像面２Ｐ上に結像させる。なお、図２に示す各構成要素の配置関係はあくまでも一例であって、このような例に限定されない。例えば、光学レンズ３と赤外カットフィルタ４の配置関係が入れ替わっていてもよいし、光学レンズ３と偏光カラーフィルタ板１の配置関係が入れ替わっていてもよい。あるいは、光学レンズ３と偏光カラーフィルタ版１とが一体化されていてもよい。

　赤外カットフィルタ４は、本実施形態では、およそ６５０ｎｍより長波長側の光を吸収するタイプの光学フィルタである。但し、必ずしも光吸収型の光学フィルタである必要はなく、例えば屈折率の異なる多層膜から成る反射型の光学フィルタであってもよい。偏光カラーフィルタ移動部１１は、モータを有し、偏光カラーフィルタ板１を撮像光学系の光軸上に挿抜することが可能な回転機構である。偏光カラーフィルタ移動部１１は、被写体の偏光情報を得る場合は偏光カラーフィルタ板１を撮像光学系から外し、カラー情報を得る場合は偏光カラーフィルタ板１を撮像光学系内に入れる。なお、偏光カラーフィルタ移動部１１は、光路上に偏光カラーフィルタ板１を挿抜できるように構成されていれば、必ずしも回転式機構である必要はなく、どのように構成されていてもよい。例えば、偏光カラーフィルタ移動部１１は、図３に例示するように、偏光カラーフィルタ板１を単に一方向に移動させるように構成されていてもよい。

　図４は、偏光カラーフィルタ板１を模式的に示す平面図である。本実施形態では、偏光カラーフィルタ板１の透光領域は、偏光特性が異なる３つの領域１ａ１、１ａ２、１ａ３に三等分割されている。水平方向（ｘ方向）を０度とすると、領域１ａ１、１ａ２、１ａ３の偏光透過軸の方向は、それぞれ＋６０度、０度、－６０度に設計されている。また、領域１ａ１、１ａ２、１ａ３は、上記の偏光特性の他、異なる色特性（波長選択性）を有している。領域１ａ１は赤（Ｒ）光のみを透過させ、領域１ａ２は緑（Ｇ）光のみを透過させ、領域１ａ３は青（Ｂ）光のみを透過させるように設計されている。本実施形態では、所望の偏光透過軸をもつ偏光フィルタと所望の波長選択性をもつ色フィルタとを貼り合わせることによって上記特性が実現されている。

　図５は、撮像素子２の基本画素構成を示す図である。撮像素子２は、２行２列の画素を基本構成とする単位要素が撮像面上に２次元状に配列された構成を有している。１つの単位要素は、４つの光感知セル２ＰＤ１１、２ＰＤ１２、２ＰＤ２１、２ＰＤ２２と、それらを覆うように配置された４つの偏光フィルタ２ａ１、２ａ２、２ａ３、２ａ４とを有する。水平方向（ｘ方向）を基準方向とし、その角度を０度とすると、１行１列目の偏光フィルタ２ａ１は、＋６０度の方向の偏光透過軸をもつ。１行２列目および２行１列目の偏光フィルタ２ａ２、２ａ３は、ともに０度の方向の偏光透過軸をもつ。２行２列目の偏光フィルタ２ａ４は、－６０度の方向の偏光透過軸をもつ。このような偏光フィルタ２ａ１～２ａ３は、例えばフォトニック結晶によって実現され得る。

　以上の構成により、撮像時に撮像装置に入射する光は、偏光カラーフィルタ板１の各領域を透過する際に偏光成分および色成分が選択され、さらに撮像素子１の各偏光フィルタを透過する際に偏光成分がさらに選択される。また、偏光カラーフィルタ板１が透過波長域の異なる３つの領域１ａ、１ａ２、１ａ３を有しているため、各画素にはＲ、Ｇ、Ｂの混色の光が入射する。本実施形態では、各画素から出力される信号は、画像処理部７によって処理され、カラー画像および偏光情報が生成される。

　以下、本実施形態の偏光カラー撮像装置の動作および信号処理を説明する。まず、被写体から撮像装置に入射する光が偏光特性を有していないと仮定した場合におけるカラー情報を取得する方法を説明する。その後、偏光情報を取得する方法を説明する。

　カラー情報を取得する場合、偏光カラーフィルタ移動部１１により、偏光カラーフィルタ板１が撮像光学系に挿入された状態で撮像が行われる。撮像素子２は被写体からの光を偏光カラーフィルタ板１、光学レンズ３、赤外カットフィルタ４を通して受光し、光電変換することにより、被写体像に応じた電気信号を出力する。この電気信号に基づいて、画像を表す信号（画像信号）が生成される。

　撮像素子２の各単位要素における光感知セル２ＰＤ１１、２ＰＤ１２、２ＰＤ２１、２ＰＤ２２は、それぞれが受けた光の量（強度）に応じた光電変換信号を出力する。それらの光電変換信号を、それぞれ２ＰＤ１１ｓ、２ＰＤ１２ｓ、２ＰＤ２１ｓ、および２ＰＤ２２ｓと表すと、これらの信号は、次の式１～式４で表される。

　ここで、Ｒｓ、Ｇｓ、Ｂｓは、偏光カラーフィルタ板１および撮像素子２の各偏光フィルタが偏光特性を持たないと仮定した場合に、偏光カラーフィルタ板１の領域１ａ１、１ａ２、１ａ３をそれぞれ透過して１つの画素に入射する光の強度を示す信号である。すなわち、Ｒｓ、Ｇｓ、Ｂｓは、被写体の赤、緑、青の成分をそれぞれ示す信号である。また、式１～式４では、簡単のため、偏光透過軸の方向が同一である２枚の偏光フィルタが重なった場合の透過率を１００％とし、偏光方向が９０度異なる２枚の偏光フィルタが重なった場合の透過率を０％としている。なお、実際にはこれらは完全には１００％または０％にならないため、偏光フィルタの透過率に応じて式１～式４の各項に補正係数を付した式が用いられ得る。

　撮像素子２は、単位要素ごとに上記式１～式４で示される信号（以下、「画素信号」と呼ぶことがある。）を出力する。これらの画素信号は、制御部６および信号発生／受信部５によって撮像素子２から読み出される。読み出された画素信号は、信号処理部２００に送られる。信号処理部２００では、受信した画素信号はメモリ３０に記録され、記録された信号は画像処理部７によって処理される。

　ここで、画素信号２ＰＤ１１ｓ、２ＰＤ１２ｓ、２ＰＤ２１ｓ、２ＰＤ２２ｓと、色信号Ｒｓ、Ｇｓ、Ｂｓとの関係を説明する。上記式１～式４から、画素信号２ＰＤ１１ｓ、２ＰＤ１２ｓ（２ＰＤ２１ｓと同一）、２ＰＤ２２ｓと、色信号Ｒｓ、Ｇｓ、Ｂｓとは、次の式５で表される関係にある。

　式５に示す関係から、Ｒｓ、Ｇｓ、Ｂｓは、２ＰＤ１１ｓ、２ＰＤ１２ｓ（または２ＰＤ２１ｓ）、２ＰＤ２２ｓを用いて、以下の式６で表すことができる。

　画像処理部７は、単位要素ごとに式６に基づく演算を行うことにより、色信号Ｒｓ、Ｇｓ、Ｂｓを求める。そして、これらの色信号からカラー画像を生成し、インターフェース（ＩＦ）部８を介して外部に出力する。

　以上の信号処理により、撮像素子２の各画素に色フィルタを設けることなく、画像のカラー化が可能である。上記構成によれば、偏光カラーフィルタ板１の色フィルタ部分を取り替えることにより、異なる色フィルタ構成によるカラー化を実現することもできる。異なる３色の色フィルタが用いられていれば、信号処理によってカラー化が可能であるため、色フィルタの組み合わせは上記の例に限定されない。例えば、補色系のマゼンタ（Ｍｇ）、シアン（Ｃｙ）、黄（Ｙｅ）の色フィルタを使うことにより、光の利用率を高めることができるため、カラー画像の感度をさらに高めることも簡単にできる。このような色フィルタの取り替えは従来技術では容易にできず、実現するには異なる色フィルタを撮像素子にパターンニングするしか方法がない。そのためのコストは非常に高い。これに対し、本実施形態によれば、異なる色フィルタ構成によるカラー化を低コストで実現することができる。

　次に、被写体からの光が偏光特性を有するとして、その偏光情報を取得する方法を説明する。図６Ａは、偏光情報を取得する際の偏光カラーフィルタ板１および撮像素子２の配置関係を模式的に示す平面図である。図６Ａでは、光学レンズ３および赤外カットフィルタ４などの記載は省略されている。偏光情報を取得する場合、図６Ａに示すように、偏光カラーフィルタ移動部１１によって偏光カラーフィルタ板１を撮像光学系から外した状態で撮像が行われる。このとき、撮像素子２は、被写体からの光を光学レンズ３、赤外カットフィルタ４を通して受光し、光電変換する。各光感知セルから出力される信号値は、その光感知セルに対向して配置された偏光フィルタの特性および被写体からの光の偏光特性によって決まる。すなわち、被写体からの偏光輝度の振幅をＡ、撮像素子における偏光フィルタの偏光透過軸の方向の角度をω、被写体からの偏光輝度が最大になる方向の角度をφ、被写体からの偏光輝度の平均値をＭとすると、画素信号値ＰＤｓは、一般に以下の式７で表される。

　式７を用いると、撮像素子２の各画素信号２ＰＤ１１ｓ、２ＰＤ１２ｓ、２ＰＤ２１ｓおよび２ＰＤ２２ｓは、それぞれ以下の式８～式１１で表される。

　式８～式１１において、Ａ、φ、Ｍは未知数であり、被写体の位置ごとに決まる。未知数は３つなので、それらを含む関係式が３つあれば、それらの未知数を求めることができる。したがって、Ａ、φ、Ｍは、式８、式９（または式１０）、および式１１を用いて求めることができる。すなわち、被写体の偏光情報は、２行２列を基本構成とする４つの画素からの信号のうち、３つを用いてＡ、φ、Ｍを算出し、それらを式７に代入することによって求められる。

　次に、被写体から偏光特性を有する光が入射する場合におけるカラー情報の取得方法を説明する。図６Ｂは、カラー情報を取得するための偏光カラーフィルタ板１および撮像素子２の配置関係を模式的に示す平面図である。カラー情報を取得する場合、まず図６Ａに示すように、偏光カラーフィルタ板１を撮像光学系から外した状態で撮像が行われる。続いて、図６Ｂに示すように、偏光カラーフィルタ板１を撮像光学系に入れた状態で撮像が行われる。すなわち、撮像装置は、被写体を２度撮像し、取得した２つの画像情報を利用してカラー情報を生成する。

　以下、図７を参照しながら、カラー情報を取得する場合の処理の流れを説明する。撮像装置は、まず偏光カラーフィルタ板１を被写体から入射する光の光路上から外した第１の状態で撮像する（ステップＳ６０１）。この際、制御部６は、偏光カラーフィルタ移動部１１に制御信号を送り、偏光カラーフィルタ板１を光路外に移動させる。

　次に、画像処理部７は、第１の状態で取得した画素信号から、式７に示すＡ、φ、Ｍを画像全体にわたって求める（ステップＳ６０２）。Ａ、φ、Ｍは画像上の位置に依存する数値であるが、以下の説明では、画像上の位置に関わらず同一の記号Ａ、φ、Ｍを用いて表現する。画像処理部７は、求めたＡ、φ、Ｍを用いて以下の式１２～式１４で示される係数ｋ１、ｋ２、ｋ３を、画像全体にわたって算出する（ステップＳ６０３）。

　続いて、撮像装置は、偏光カラーフィルタ板１を光路上に挿入した第２の状態で撮像する（ステップＳ６０４）。この際、制御部６は、偏光カラーフィルタ移動部１１に制御信号を送り、偏光カラーフィルタ板１を撮像素子２の撮像面２Ｐを覆う位置に移動させる。

　次に、画像処理部７は、第２の状態で取得した画像から、上記式１２～式１４を用いてカラー画像を生成する（ステップＳ６０５）。具体的には、式１～式４にそれぞれ相当する以下の式１５～１８を用いてカラー画像を生成する。

　式１５～式１８は、式１～式４におけるＲｓ、Ｇｓ、Ｂｓにそれぞれｋ１、ｋ２、ｋ３を乗じたものであり、被写体から入射する光の偏光特性を考慮した関係式である。もし被写体からの光が非偏光であれば、ｋ１～ｋ３に含まれる係数Ａが０となり、式１５～式１８は式１～式４と同じになる。式１５～式１８より、色信号Ｒｓ、Ｇｓ、Ｂｓと、画素信号２ＰＤ１１ｓ、２ＰＤ１２ｓ（または２ＰＤ２１ｓ）、２ＰＤ２２ｓとの関係は、次の式１９で表される。

　さらに、式１９から、Ｒｓ、Ｇｓ、Ｂｓは、２ＰＤ１１ｓ、２ＰＤ１２ｓ（または２ＰＤ２１ｓ）、２ＰＤ２２ｓを用いて以下の式２０で表される。

　画像処理部７は、ステップＳ６０５において、式２０に基づく演算によってカラー画像を生成する。生成されたカラー画像は、インターフェース（ＩＦ）部８を介して外部に出力される。

　このように、偏光カラーフィルタ板１を撮像光学系から出し入れして２度撮像することにより、被写体に偏光特性がある場合でも、取得した２つの画像を利用して、カラー情報を生成することができる。

　以上のように、本実施形態によれば、３種類の偏光フィルタが画素上に配置された撮像素子２と、撮像光学系において上記３種類の偏光フィルタと同じ偏光特性を有する等面積の３つの領域１ａ１、１ａ２、１ａ３を有する偏光カラーフィルタ板１が用いられる。３つの領域１ａ１、１ａ２、１ａ３が、Ｒ、Ｇ、Ｂの色フィルタとしての機能を有していることにより、撮像素子２から出力される信号間の演算によってＲＧＢのカラー情報が得られる。また、偏光カラーフィルタ板１を光路上から外して撮像することにより、被写体の偏光情報を取得できる。そして、偏光カラーフィルタ板１を介して取得した画像と偏光カラーフィルタ板１を介さずに取得した画像とを利用することにより、偏光特性を有する被写体に対してもカラー情報を取得できるという優れた効果を有する。

　なお、本実施形態では、偏光カラーフィルタ板１における領域１ａ１、１ａ２、１ａ３における偏光透過軸の方向、および撮像素子２の偏光フィルタ２ａ１、２ａ２（または２ａ３）、２ａ４における偏光透過軸の方向を、それぞれ６０度、０度、－６０度としたが、このような例に限定するものではない。これらの偏光透過軸の方向は、異なる３方向であれば問題ない。また、偏光カラーフィルタ板１の領域１ａ１、１ａ２、１ａ３の透過波長域を、それぞれ赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光の波長域と同一であるものとしたが、このような例に限定するものではない。これらの領域の透過波長域は、異なる３色の光に対応する波長域であれば、演算によってＲＧＢのカラー情報を算出することができる。

　また、本実施形態における偏光カラーフィルタ板１は円形であるが、楕円、多角形等の他の形状を有していてもよい。さらに、偏光カラーフィルタ板１は、４つ以上の領域に分割されていてもよいし、異なる領域間に遮光部が設けられていてもよい。また、偏光カラーフィルタ板１における各領域の面積は必ずしも同一である必要はない。これらの領域の面積が異なっている場合、それらの面積比に応じて式１～４における各項に必要な係数を付した演算式を用いるようにすればよい。

　以下、図８、９を参照しながら、実施形態１をより一般化した構成例を説明する。

　図８は、偏光カラーフィルタ板１の他の構成例を示す図である。この構成例では、偏光カラーフィルタ板１は、２つの異なる偏光カラー領域１ａ１、１ａ２と、透明領域１ｂとを有している。ここで、偏光カラー領域１ａ１、１ａ２、透明領域１ｂの面積はすべて等しく、透明領域１ｂはｘ方向に分割された２つの領域から構成されている。偏光カラー領域１ａ、１ａ２における偏光透過軸の方向は、ｘ方向を基準として、それぞれ角度α１、α２をなす方向である。また、偏光カラー領域１ａ１は、シアン（Ｃｙ）の波長域（緑および青の波長域）の光を透過させ、赤の波長域の光は吸収または反射するように構成されている。一方、偏光カラー領域１ａ２は、黄（Ｙｅ）の波長域（赤および緑の波長域）の光を透過させ、青の波長域の光は吸収または反射するように構成されている。なお、偏光カラー領域１ａ１、１ａ２は、それぞれ図８における上部および下部に位置しているが、これらの配置は任意である。

　図９は、撮像素子２の単位要素の他の構成例を示す図である。この例では、１つの単位要素は、３つの光感知セル２ＰＤ１、２ＰＤ２、２ＰＤ３と、それらに対向して配置された３つの偏光フィルタ２ａ１、２ａ２、２ａ３とを有している。ここで、偏光フィルタ２ａ１、２ａ２、２ａ３の偏光透過軸の方向は、それぞれｘ方向に対して角度ω１、ω２、ω３をなしている。なお、この例では光感知セル２ＰＤ１、２ＰＤ２がｙ方向に並び、光感知セル２ＰＤ２、２ＰＤ３がｘ方向に並んでいるが、画素配列はこの例に限定されない。

　ここで、偏光フィルタ２ａ１～２ａ３に非偏光の光が入射するときの透過率をＴ（Ｔ＜１）とする。図８、９に示す構成例では、３つの光感知セル２ＰＤ１、２ＰＤ２、２ＰＤ３からそれぞれ出力される画素信号２ＰＤ１ｓ、２ＰＤ２ｓ、２ＰＤ３ｓは、それぞれ以下の式２１～式２３で表される。

　式２１～式２３の右辺のＲｓ、Ｇｓ、Ｂｓの各項における係数は既知の量であるため、式２１～２３に基づき、色信号Ｒｓ、Ｇｓ、Ｂｓを求めることができる。したがって、図８、９に示す構成においても、上記の実施形態と同様、カラー情報を生成できる。なお、式２１～式２３の右辺の各項の係数で表される行列の行列式がゼロにならないように、偏光カラーフィルタ板１の各領域および撮像素子２の各偏光フィルタが設計されていることが必要である。

　このように、偏光カラーフィルタ板１は、透過波長域および偏光透過軸の異なる２つの領域と、偏光特性を有しない１つの領域とを最低限有するように構成されていればよい。偏光特性を有しない１つの領域は、透明領域に限らず、入射する光の少なくとも一部を透過させる領域であればよい。例えば、領域１ａ１、１ａ２とは異なる透過波長域をもつ色フィルタが領域１ｂに設けられていてもよい。ここで、透過波長域が異なる場合には、上記のＣｙおよびＹｅの例のように、一部の波長域が重なる場合も含む。また、撮像素子２の１つの単位要素は、最低限３つの光感知セルと、それらに対向して配置された偏光透過軸の方向が全て異なる３つの偏光フィルタとを有していればよい。

　なお、以上の実施形態では、撮像装置に内蔵された画像処理部が画像処理を行うものとしたが、撮像装置とは独立した他の装置に当該画像処理を実行させてもよい。例えば、上記の各実施形態における撮像部１００を有する撮像装置によって取得した信号を、他の装置（画像処理装置）に読み込ませ、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても同様の効果を得ることができる。

　本発明の一態様にかかる偏光カラー撮像装置は、例えば固体撮像素子を用いた民生用のデジタルカメラ、デジタルムービーや、放送用の固体カメラ、産業用の固体監視カメラ等のあらゆるカメラに利用できる。

　１　偏光カラーフィルタ板
　１ａ１　Ｒ光透過性を有し、偏光透過軸方向が６０度の偏光フィルタ
　１ａ２　Ｇ光透過性を有し、偏光透過軸方向が０度の偏光フィルタ
　１ａ３　Ｂ光透過性を有し、偏光透過軸方向が－６０度の偏光フィルタ
　２　撮像素子
　２ａ１　偏光透過軸方向が６０度の偏光フィルタ
　２ａ２　偏光透過軸方向が０度の偏光フィルタ
　２ａ３　偏光透過軸方向が－６０度の偏光フィルタ
　２Ｐ　撮像素子の撮像面
　２ＰＤ１１、２ＰＤ１２、２ＰＤ２１、２ＰＤ２２　光感知セル
　３　光学レンズ
　４　赤外カットフィルタ
　５　信号発生／受信部
　６　制御部
　７　画像処理部
　８　インターフェース部
　１１　偏光カラーフィルタ移動部（駆動機構）
　３０　メモリ
　１００　撮像部
　２００　信号処理部

Claims (13)

1. 　第１の方向に偏光した第１の波長域の光を透過させる第１の領域、第２の方向に偏光した第２の波長域の光を透過させる第２の領域、および入射する光の少なくとも一部を透過させる第３の領域を有する偏光カラーフィルタ板と、
   　各々が第１から第３の光感知セル、および前記第１から第３の光感知セルにそれぞれ対向して配置された第１から第３の偏光フィルタを有する複数の単位ブロックが撮像面上に配列された撮像素子であって、前記第１から第３の偏光フィルタの偏光透過軸の方向が全て異なる撮像素子と、
   　前記撮像素子の前記撮像面上に像を形成する光学レンズと、
   　前記撮像素子から出力される信号を処理する信号処理部と、
   を備える偏光カラー撮像装置。
2. 　前記第３の領域は、第３の方向に偏光した第３の波長域の光を透過させるように構成されている、請求項１に記載の偏光カラー撮像装置。
3. 　前記信号処理部は、各単位ブロックにおける前記第１から第３の光感知セルから出力される信号に基づいて、カラー画像を生成する画像処理部を有している、請求項１または２に記載の偏光カラー撮像装置。
4. 　前記第１から第３の領域の偏光透過軸の方向は、それぞれ前記第１から第３の偏光フィルタの偏光透過軸の方向と一致している、請求項１から３のいずれかに記載の偏光カラー撮像装置。
5. 　前記第１から第３の領域の各々は、色フィルタおよび偏光フィルタの重ね合わせによって形成されている、請求項１から４のいずれかに記載の偏光カラー撮像装置。
6. 　前記第１から第３の領域の偏光透過軸の方向は、６０度ずつ異なっている、請求項１から５のいずれかに記載の偏光カラー撮像装置。
7. 　前記第１の波長域は赤光の波長域に相当し、前記第２の波長域は緑光の波長域に相当し、前記第３の波長域は青光の波長域に相当する、請求項１から６のいずれかに記載の偏光カラー撮像装置。
8. 　前記偏光カラーフィルタ板を光路上に着脱することができる駆動機構をさらに備える請求項１から７のいずれかに記載の偏光カラー撮像装置。
9. 　前記偏光カラーフィルタ板が光路上から外された状態で第１の撮像を行い、前記偏光カラーフィルタ板が光路上に挿入された状態で第２の撮像を行うように前記駆動機構および前記撮像素子を制御する制御部をさらに備える請求項８に記載の偏光カラー撮像装置。
10. 　前記信号処理部は、前記第１の撮像によって各単位ブロックにおける前記第１から第３の光感知セルから出力される信号に基づいて被写体から入射する光の偏光情報を生成し、前記第２の撮像によって各単位ブロックにおける前記第１から第３の光感知セルから出力される信号および前記偏光情報に基づいてカラー画像を生成する画像処理部を有している、請求項９に記載の偏光カラー撮像装置。
11. 　請求項１から１０のいずれかに記載の偏光カラー撮像装置において用いられる偏光カラーフィルタ板であって、第１の方向に偏光した第１の波長域の光を透過させる第１の領域、第２の方向に偏光した第２の波長域の光を透過させる第２の領域、および入射する光の少なくとも一部を透過させる第３の領域を有する偏光カラーフィルタ板。
12. 　請求項１から１０のいずれかに記載の偏光カラー撮像装置から出力される信号に基づいて画像を生成する画像処理装置であって、
    　前記撮像素子の各単位ブロックにおける前記第１から第３の光感知セルから出力される信号に基づいて、カラー画像を生成する画像処理装置。
13. 　請求項１から１０のいずれかに記載の偏光カラー撮像装置から出力される信号に基づいて画像を生成する画像処理プログラムであって、
    　コンピュータに対し、前記撮像素子の各単位ブロックにおける前記第１から第３の光感知セルから出力される信号に基づいて、カラー画像を生成するステップを実行させる画像処理プログラム。

Images