JP4500360B2 - 画像処理装置 - Google Patents

Description

本発明は、被写体からのカラー情報と偏光情報を同時に取得できる画像処理装置に関するものである。

近年のデジタルムービーカメラの進歩はめざましく、将来的には携帯電話のカメラにおいてもＨＤＴＶ画質が得られると予想されている。しかし、光学系や撮像素子が小型化すると、感度やレンズ回折限界などにより画像撮像の限界の問題が発生するため、将来的には、高精細化も限界に到達すると考えられる。その場合、不足する被写体の画像情報にコンピュータグラフィックス的処理を加えることが画質向上に有効になる。しかし、そのためには、被写体の３次元形状情報や、被写体を照明する光源など、画像生成過程における物理情報を取得しなくてはならない。形状情報の取得には、通常、レーザ光やＬＥＤ（Light Emitting Diode）光を用いるアクティブセンサや、２眼ステレオなどの距離計測システムが必要である。これらは大掛かりなシステムになるうえ、各種の制約がある。たとえばカメラと被写体との距離がせいぜい数ｍ程度までしかとれない、対象被写体が固形物で明るい拡散物体に限られるなどの制約である。これでは遠距離の屋外シーン撮影や髪の毛や衣服が重要な人物撮影には利用できない。

従来、完全にパッシブ（受動的）な被写体形状センシング方式として、偏光を利用する技術があった。これは非偏光の自然光を照射された被写体からの反射光（鏡面反射光、または拡散反射光）が、表面の向きや視点という幾何学的要因によって種々の部分偏光を呈することを利用するものである。この情報の取得のためには、被写体各画素の部分偏光状態を偏光画像として取得する必要がある。

非特許文献１では、カメラのレンズ前に装着した液晶型偏光板を制御しながら動画を取得するカメラが開示されている。これを使うと、カラー動画と被写体の部分偏光の情報を画像として取得できる。しかし、液晶に電圧を印加して偏光板の偏光主軸を変えながら数フレームを取得することにより、はじめて１つの偏光情報が取得できる。したがって、カラー画像と偏光画像に数フレームのずれが生じ、これらの画像を同時に取得することができない。この技術は、機構的に偏光板を回転させる技術と同等である。

非特許文献２および非特許文献３では、輝度画像と被写体の部分偏光の画像を同時に取得するため複数の異なる偏光主軸を有するパターン化偏光子を撮像素子に空間的に配置することが開示されている。パターン化偏光子としては、フォトニック結晶や構造複屈折波長板アレイが利用されている。しかしながら、これらの技術ではモノクロ画像と偏光画像とが同時に取得できるのみであった。

特許文献１は、ベイヤカラーモザイクにおけるＧ（グリーン）画素の一部に偏光フィルタを配置することにより、撮像素子の一部に偏光特性を持たせ、カラー画像と偏光情報とを同時に取得することを開示している。この技術では、カラー画像から鏡面反射成分を抑制した画像を得ている。この技術では、異なる２つの偏光画素の間にある差分を得るという単純操作が行われているため、被写体の部分偏光の情報を完全には取得できない。
特開２００６−２５４３３１号公報 Ｌａｗｒｅｎｃｅ Ｂ．Ｗｏｌｆｆ："Ｐｏｌａｒｉｚａｔｉｏｎ ｖｉｓｉｏｎ :ａ ｎｅｗ ｓｅｎｓｏｒｙ ａｐｐｒｏａｃｈ ｔｏ ｉｍａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ"、 Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ １５（１９９７）ＰＰ．８１−９３、 Ｅｌｓｅｖｉｅｒ Ｓｃｉｅｎｃｅ Ｂ．Ｖ． 川島、佐藤、川上、長嶋、太田、青木：「パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発」電子情報通信学会２００６年総合全国大会、Ｎｏ．Ｄ−１１−５２、Ｐ５２、Ｍａｒｃｈ ２００６ 菊田、岩田：「偏光画像計測システム」、ＯｐｌｕｓＥ、Ｖｏｌ．２５、Ｎｏ．１１、Ｐ１２４１−１２４７、２００３

従来の技術では、被写体のカラー画像と被写体の部分偏光の偏光画像とを同時に取得することはできていない。このため、カラー動画を取得し、かつ時間的にずれのない形状情報を取得することはできなかった。

特許文献１は、カラー画像に一部偏光情報を加味してカラー画像を制御し、鏡面反射を抑制している。この技術では、図３７に示すように画素をベイヤモザイク状に配置している。図３７において、Ｇ１およびＧ２は、いずれもＧ画素を示しているが、Ｇ２の位置には偏光子が配置され、Ｇ１の位置には偏光子が配置されていない。一方、Ｒ１およびＢ１は、それぞれ、Ｒ（赤）およびＢ（青）の画素を示しており、これらの画素位置には偏光子が設けられていない。すなわち、この画素配置では、Ｇ２画素のみが偏光画素として機能することになる。

特許文献１の装置による処理は、Ｇ１およびＧ２の画素位置における輝度差を定数倍し、それぞれ、Ｒ１、Ｇ１、Ｂ１という非偏光画素に加算する。これにより、カラー輝度値を制御することができる。この構成では、カラー画像および偏光情報を取得しているといっても、Ｇ２の画素位置には偏光子が設けられているため、正確なＧ輝度を取得できず、補間後のカラー画像に色ずれが発生する。

さらに、１種類の偏光画素しか用いていないため、取得する部分偏光の情報が不完全である。その結果、各画素位置において、どの程度の部分偏光がいずれの方向に発生しているかは不明である。つまり、完全な偏光画像を取得できていない。

本発明は、上記課題を解決するためになされたものであり、カラー画像とともに、偏光の方向および程度を表現する偏光画像を同時に取得することのできる画像処理装置および画像処理方法を提供することを目的とする。

また、本発明の他の目的は、上記の画像処理装置に好適に用いられるパターン化偏光子、および当該パターン化偏光子を備える単板撮像素子を提供することにある。

本発明の画像処理装置は、カラーモザイクフィルタ、および、異なる角度の透過偏波面を有する複数の偏光子単位が前記カラーモザイクフィルタ内の同一色の複数の画素に設けられたパターン化偏光子を有する単板カラー撮像素子を含むカラー偏光取得部と、前記同一色の複数の画素において前記偏光子単位を透過した光の輝度と前記偏光子単位の透過偏波面の角度との関係を正弦関数で近似する偏光情報処理部と、カラー輝度の補間を行うことにより、注目画素で得られないカラー輝度を得てカラー輝度画像を生成するカラーモザイク補間部とを有する。

好ましい実施形態において、前記パターン化偏光子は、透過偏波面の角度が相互に異なる４種類の偏光子単位が隣接して配置された構成を有している。

好ましい実施形態において、前記カラーモザイクフィルタは、単一特定色の画素が市松模様状に配列された構成を有しており、前記偏光子単位は、前記市松模様状に配列された画素に配置されている。

好ましい実施形態において、前記特定色は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）のうちのＧ（グリーン）である。

本発明の画像処理方法は、カラー画素配列のうちの単一特定色の複数の画素に透過偏波面の角度が異なる偏光子単位が設けられた単板カラー撮像素子を用いて各画素の輝度を観測するステップと、前記単一特定色の複数の画素で観測された輝度から偏光情報を取得するステップと、前記単一特定色および他の２色の光の輝度に基づいてカラー輝度を空間的に補間することによりカラー輝度画像を生成するステップとを含む。

本発明の画像処理装置は、カラーモザイクフィルタ、および、異なる角度の透過偏波面を有する複数の偏光子単位が前記カラーモザイクフィルタ内の異なる色の複数の画素に設けられたパターン化偏光子を有する単板カラー撮像素子を含むカラー偏光取得部と、前記異なる色の複数の画素において前記偏光子単位を透過した光の輝度または補正輝度と前記偏光子単位の透過偏波面の角度との関係を正弦関数で近似する偏光情報処理部と、カラー輝度の補間を行うことにより、注目画素で得られないカラー輝度を得てカラー輝度画像を生成するカラーモザイク補間部とを有する。

好ましい実施形態において、前記カラーモザイクフィルタは、単一特定色の画素が市松模様状に配列された構成を有しており、前記市松模様状に配列された画素には透過偏波面の角度が相互に異なる４種類の偏光子単位が隣接して配置され、他の色の画素には透過偏波面の角度が相互に異なる少なくとも２種類の偏光子単位が配置されている。

好ましい実施形態において、前記特定色は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）のうちのＧ（グリーン）である。

好ましい実施形態において、前記カラーモザイク補間部は、注目画素近傍において透過偏光面の角度がお互いにθ°だけ異なる（１８０／θ）種類の偏光子単位を有する同一色の画素で観測された輝度を平均化することにより偏光の効果を打ち消してカラー輝度を補間する。

好ましい実施形態において、前記カラーモザイク補間部は、注目画素近傍において透過偏光面の角度が等しい異なる色の画素で観測された輝度に基づいてカラー輝度を推定する。

好ましい実施形態において、同一色の画素に使用される偏光子単位の偏光波長依存特性は、当該色に対応する波長帯域内にて相互に概略等しい。

本発明の画像処理方法は、カラー画素配列のうちの異なる色の複数の画素に透過偏波面の角度が異なる偏光子単位が設けられた単板カラー撮像素子を用いて各画素の輝度を観測するステップと、同一色で透過偏波面の角度が異なる複数の画素の輝度から偏光情報を取得するステップと、注目画素近傍における異なる色で透過偏波面の角度が異なる複数の画素の輝度を補正して偏光情報を取得するステップと、注目画素近傍における同一色で透過偏波面の角度が相互にθ°だけ異なる（１８０／θ）種類の偏光子単位を有する画素の輝度、および、異なる色で透過偏波面の角度が等しい偏光子単位を有する画素をそれぞれ利用して、注目画素において得られないカラー輝度を推定することによりカラー輝度画像を生成するステップとを有する。

本発明のパターン化偏光子は、カラー画素配列の少なくとも１色の画素に対応して二次元的に配列された複数の偏光子単位を備えるパターン化偏光子であって、前記複数の偏光子単位は、透過偏波面の角度が相互に異なる偏光子単位を含む。

好ましい実施形態において、前記複数の偏光子単位は市松模様状に配列され、隣接する偏光子単位の間には偏光子単位が配置されていない。

好ましい実施形態において、前記複数の偏光子単位は、透過偏光面の角度がお互いにθ°だけ異なる（１８０／θ）種類の偏光子単位からなる組が周期的に配列された構成を有している。

好ましい実施形態において、前記複数の偏光子単位は、市松模様状に配列された特定色の画素に対応する偏光子単位と、前記市松模様状に配列された特定色の画素以外の画素に対応する偏光子単位とを含む。

好ましい実施形態において、前記市松模様状に配列された特定色の画素に対応する偏光子単位は、透過偏光面の角度がお互いにθ°だけ異なる（１８０／θ）種類の偏光子単位からなる組が周期的に配列された構成を有しており、前記特定色の画素以外の画素に対応する偏光子単位は、透過偏光面の角度が異なる２種類の偏光子単位からなる組が周期的に配列された構成を有している。

本発明の単板カラー撮像素子は、上記何れかのパターン化偏光子と、前記パターン化偏光子の各偏光子単位が各画素と重なり合うように配置されたカラーモザイクフィルタとを備える。

本発明の画像処理装置は、カラーモザイクフィルタ、および、異なる４つ以上の角度の透過偏波面を有する複数の偏光子単位が前記カラーモザイクフィルタ内の同一色の複数の画素に設けられたパターン化偏光子を有する単板カラー撮像素子を含むカラー偏光取得部と、前記同一色の複数の画素において前記偏光子単位を透過した光の輝度と前記偏光子単位の透過偏波面の角度との関係を正弦関数で近似する偏光情報処理部と、カラー輝度の補間を行うことにより、相互に透過偏波面の角度が異なり、かつ隣接する３つの偏光子単位で形成される三角形領域を画素単位としてカラー輝度画像を生成するカラーモザイク補間部とを有する。

本発明によれば、複数種類の偏光子単位をカラーモザイクフィルタの画素配列に組み合わせて使用するため、カラー輝度および偏光に関する情報を同時に取得し、処理することが可能になる。

以下、図面を参照しながら本発明による画像処理装置および画像処理方法の実施形態を説明する。以下に説明する本発明の好ましい実施形態は、概略、次の構成を有している。
実施形態１：カラーモザイクのうち、Ｇ画素だけに偏光子を配置する。
実施形態２：カラーモザイクにおけるＲ、Ｇ、Ｂの全ての画素に偏光子を配置する。
実施形態３：カラーモザイクにおけるＧとＲまたはＧとＢのみに偏光子を配置する。
実施形態４：実施形態１と同様に４種類の偏光子がＧ画素のみに設けられているが、隣接する３種類の偏光子を選択して偏光情報取得とカラー補間を行う。

（実施形態１）
図１は、本明細書で説明する本発明の実施形態のすべてに共通する基本的な構成を示すブロック図である。本実施形態の装置は、被写体からリアルタイムにカラー画像情報を取得すると同時に偏光画像情報を取得し、２種類の偏光画像（偏光度画像ρおよび偏光位相画像φ）として出力することができる。偏光度画像ρと偏光位相画像φは静止、動画のどちらの場合もありえる。

図１に示すレンズ１００を通った入射光は、カラー偏光取得部１０１に入射する。この入射光から、カラー偏光取得部１０１はカラー動画像と偏光情報画像のデータを同時に取得する。カラー偏光取得部１０１から出力されるカラーモザイク画像のデータは、モザイク画像フレームメモリ１０７に蓄積される。

モザイク画像フレームメモリ１０７からモザイク画像のデータが順に読み出され、カラーモザイク補間部１０２に送られて補間処理される。補間処理の結果は、一画素につき、ＲＧＢの３プレーン構成からなるカラー画像フレームメモリ１０４に蓄積され、適宜読み出しも行われる。

モザイク画像フレームメモリ１０７からは、画素信号が順に読み出され、偏光情報処理部１０３に送られる。これらの画素信号は、偏光情報処理部１０３で処理され、偏光度画像フレームメモリ１０５および偏光位相画像フレームメモリ１０６に格納される。偏光度画像フレームメモリ１０５からは偏光度画像（ρ）のデータが出力され、偏光位相画像フレームメモリ１０６から偏光位相画像（φ）のデータが出力される。

図２は、カラー偏光取得部１０１の基本的な構成を示す模式図である。図示されている例では、カラーモザイクフィルタ２０１およびパターン化偏光子２０２が、撮像素子画素２０３の前面に重ねて設置されている。カラーモザイクフィルタ２０１とパターン化偏光子２０２の重ね順番は逆であってもよい。入射光２０４は、カラーモザイクフィルタ２０１およびパターン化偏光子２０２を透過して撮像素子に到達し、撮像素子画素２０３によって輝度が画素単位で観測される。本実施形態によれば、単板カラー撮像素子を用いてカラー情報および偏光情報の両方を同時に取得することができる。なお、パターン化偏光子２０２は、後に詳しく説明するように、透過偏波面の角度が相互に異なる偏光子単位（セグメント）を含む多数の偏光子単位によって構成される。個々の偏光子単位は、典型的には１画素に相当する大きさを有しているが、偏光子単位はカラーモザイクフィルタ２０１の全ての画素に配置する必要はない。

このようなパターン化偏光子２０２は、例えば非特許文献２に記載されたフォトニック結晶を用いて実現することができる。フォトニック結晶の場合、その表面に形成された溝に平行な電場ベクトル（振動面）を持つ光がＴＥ波（Transverse Electric Wave, 電場成分が入射面に対し横向き）、垂直な電場ベクトル（振動面）を持つ光がＴＭ波（Transverse Magnetic Wave, 磁場成分が入射面に対し横向き）となる。そして、偏光子単位は、各波長帯域においてＴＭ波が透過、ＴＥ波が反射（透過せず）という偏光特性を示す。

図３は、パターン化偏光子２０２の各偏光子単位に模式的に描かれた斜め線の意味を示している。図３に示される各画素内の斜め線は、各画素上に設置された微小偏光板（偏光子単位）の偏光主軸方向を示している。ここで、「偏光主軸」とは、偏光子を透過する光の偏波面（透過偏波面）に平行な軸である。

偏光子単位は主軸方向に振動面を有する光を透過し、それに垂直な振動面を有する光を遮断する。本明細書では、偏光子番号１〜４の偏光子単位に、それぞれ、角度Ψ＝０°、４５°、９０°、１３５°の偏光主軸を割り当てている。偏光子単位の偏光透過率は、利用する光の波長に依存するため、カラーモザイクフィルタの透過波長帯にあわせて設計する。例えば符合「Ｇ１」で特定される偏光子単位は、「Ｇ」の波長帯域において、主軸方向が「１」（すなわち、角度Ψ＝０°）の方向の偏光を透過させるように設計されている。

図４（ａ）は、本実施形態のカラー偏光取得部１０１における縦８個×横８個の合計１６個の画素の配置を示している。図４（ａ）の例では、ベイヤ型カラーモザイクフィルタにおけるＧ画素の位置に「Ｇ１」〜「Ｇ４」の４種類の偏光子単位が配置されているが、Ｒ画素およびＢ画素の位置には偏光子単位が配置されていない。図４（ａ）には、８×８＝６４個の画素のみが示されているが、実際のカラー偏光取得部１０１では、図４（ａ）に示す６４個の画素ブロックと同一の多数の画素ブロックが撮像面に平行な面内で周期的に配列されている。

図４（ｂ）では、図４（ａ）に示される画素ブロックからＲ画素およびＢ画素の記載を省略し、かつ、Ｇ画素における偏光子単位の主軸方向を規定する数字を示している。すなわち、図４（ｂ）における番号「１」〜「４」は、それぞれ「Ｇ１」〜「Ｇ４」の偏光子単位が配置された画素を示す。番号「１」〜「４」が示されていない空白の画素は、Ｒ画素およびＢ画素のいずれか一方であり、前述したように、これらの画素には偏光子単位が設けられていないため、「非偏光画素」と称することができる。

図４（ｂ）に示される配置では、各々が４×４＝１６個の画素から構成される２つのブロック（Ａ）と、同様に各々が４×４＝１６個の画素から構成される２つブロック（Ｂ）とが組み合わされている。この配置は、以下の特徴点を有している。

（１−１） 組４０１に含まれる非偏光画素は、その近傍４連結位置に番号「１」〜「４」で示される異なる４種の偏光画素が位置している。なお、「近傍４連結位置」とは、中心画像に対して辺が隣接する十文字の位置にある４画素を意味する。同様のことが、他の任意の非偏光画素にも当てはまる。すなわち、何れの非偏光画素も、異なる４種の偏光画素が近傍４連結位置に位置している。このように、非偏光画素の近傍に４つの異なる偏光画素が存在するため、非偏光画素の位置における偏光情報を高い精度で得ることが可能になる。

（１−２） 画素の組４０２〜４０５は、それぞれ、中心に位置する偏光画素、および、その近傍８連結（斜め）位置の４つの偏光画素の合計５つの偏光画素から構成されている。これらの組４０２〜４０５の各々に含まれる合計５つの画素に与えられる番号には、番号「１」〜「４」の全てが必ず含まれている。また、５つの画素に与えられる番号のうちの１つは重複する。たとえば組４０２に含まれる５つの画素には、それぞれ、番号「１」、「２」、「３」、「３」、「４」が割り当てられており、番号「３」が重複している。このように、偏光画素の近傍８連結位置には、全ての種類のパターン化偏光子が存在しているため、偏光画素の位置における偏光情報も高い精度で得ることができる。

（１−３） 図４（ｂ）に示す８×８＝６４個の画素配置を１個の単位周期パターンとして上下左右に周期的に繰り返して敷き詰めることにより、単位周期パターンの境界付近における連続性を維持して撮像面の全体を埋め尽くすことができる。

図５（ａ）および（ｂ）は、上記画素配置の特徴を別の視点から説明するための図である。図５（ａ）は、図４の画素配置と同一の画素配置を示しており、図５（ｂ）は、同様の性質を有する別の画素配置例を示している。これらの配置においては、相互に平行な複数の対角直線の各々の上に２種の偏光画素が交互に別位相で整列している。たとえば、対角直線５０５〜５０８には、それぞれ、１−２−１−２−・・・、３−４−３−４−・・・、２−１−２−１・・・、４−３−４−３・・・、という並びが繰り返されている。同様に、対角直線５１４〜５１７では、１−３−１−３・・・、２−４−２−４-・・・、３−１−３−１-・・・、４−２−４−２・・・のように２種の画素が位相を変えながら並んでいる。

図６（ａ）および（ｂ）は、図４の画素配置に類似する画素配置を示している。ただし、図６（ａ）および（ｂ）に示される配置では、偏光画素の近傍８連結位置における偏光画素の種類が４未満であるため、本実施形態１に採用することができない。すなわち、図６（ａ）および（ｂ）に示される配置は、上記の特徴点（１−１）〜（１−３）のうち、特徴点質（１−１）および（１−３）を備えているが、特徴点（１−２）を備えていない。例えば図６（ａ）における偏光画素６２０の近傍８連結位置には、番号「１」、「４」の偏光画素が存在しておらず、図６（ｂ）における偏光画素６３０の近傍８連結位置には、番号「１」、「２」の偏光画素が存在していない。対角直線６０１〜６０４には、それぞれ、１−２−１−２−・・・、３−４−３−４−・・・、２−１−２−１・・・、３−４−３−４・・・、という並びが繰り返され、３−４−６−４の並びに位相の変化がない。図６（ｂ）の配置でも同様に、対角直線６１０、６１２における１−３−１−３の並びに位相の変化がない。

図７は、図４の画素配置に類似する他の画素配置を示している。この配置も、偏光画素の近傍８連結位置に偏光画素の種類が不足しているため、本発明の実施に採用できない。これは、各々が４×４＝１６個の画素からなるブロックを敷き詰めた配置を示しているが、この配置も、上記特徴点のうち特徴点（１−１）および（１−３）を備えているが、特徴点（１−２）を備えていない。例えば、図７に示す組５０２では、番号「３」で特定される偏光画素の近傍８連結位置には、番号「２」「４」の２種類の偏光画素しか存在しない。このような配置では、非偏光画素（白マス）の偏光情報は、その周囲の偏光画素から適切に得ることができるが、偏光画素の偏光情報は、その周囲の偏光画素から適切に得ることができないという問題がある。

以上の考察からわかるように、本実施形態では、前述の３つの特徴点を兼ね備える画素配置として、図４または図５に示す例を好適に採用することができる。以下の説明では、図４に示す画素配置を採用した場合について説明する。

図８および図１０を参照して、本実施形態のパターン化偏光子を用いて偏光情報およびカラー情報を取得する原理および処理を説明する。図８および図１０は、いずれも、図４に示す画素配置から４×４＝１６個の画素からなる１ブロックを抽出し、ブロック内における画素位置を特定するための添え字（ｘ、ｙ）を記載したものである。添え字ｘおよびｙは、それぞれ、１〜４の整数であり、ブロック内におけるマトリックスの行および列を識別する数字である。

＜Ｒ画素位置の偏光情報＞
図８のＲ₃₃を例に説明する。図８において、Ｒ₁₁、Ｒ₁₃、Ｒ₃₁、Ｒ₃₃は、それぞれ、画素座標（ｘ：横、ｙ：縦）＝（１、１）、（１、３）、（３、１）、（３、３）におけるＲ画素を示す。また、Ｂ₂₂、Ｂ₂₄、Ｂ₄₂、Ｂ₄₄は、それぞれ、画素座標（２、２）、（２、４）、（４、２）、（４、４）におけるＢ画素を示す。これらＲ画素およびＢ画素は、非偏光画素である。

一方、（Ｇ１）₁₂、（Ｇ３）₁₄、（Ｇ２）₂₁、（Ｇ４）₂₃、（Ｇ３）₃₂、（Ｇ２）₃₄、（Ｇ４）₄₁、（Ｇ１）₄₃は、それぞれ、画素座標（１、２）のＧ１画素、（１、４）のＧ３画素、（２、１）のＧ２画素、（２、３）のＧ４画素、（３、２）のＧ３画素、（３、４）のＧ２画素、（４、１）のＧ４画素、（４、３）のＧ１画素を示す。Ｇ１〜Ｇ４画素は、それぞれ、偏光主軸の向きが異なる４種類の偏光画素である。

図８に示すＲ₁₁などの記号は、画素位置を特定するとともに、その画素位置における観測輝度を示すものとする。

図８に示されるように、記号を円で囲んだ非偏光画素Ｒ₃₃の近傍４連結位置には、偏光主軸の方向が異なる４種類の偏光画素、すなわち（Ｇ１）₄₃、（Ｇ２）₃₄、（Ｇ３）₃₂、（Ｇ４）₂₃が配置されている。これら４個の偏光画素Ｇは、何れも、非偏光画素Ｒ₃₃から空間的に非常に近い位置に存在しているため、これら４個の偏光画素Ｇから得られる偏光情報に基づいて、非偏光画素Ｒ₃₃における偏光情報を取得することが可能である。

図９は、方向が異なる偏光主軸（Ψｉ＝０°、４５°、９０°、１３５°）を有する４種類の偏光子を透過したＧ光の輝度９０１〜９０４を示している。ここで、偏光主軸の回転角ψがψ_iのときにおける観測輝度をＩ_iとする。ただし、「ｉ」は、１以上Ｎ以下の整数、「Ｎ」はサンプル数とする、図７に示す例では、Ｎ＝４であるため、ｉ＝１、２、３、４となる。図９には、４個のＧ画素のサンプル（ψ_i、Ｉ_i）に対応する輝度９０１〜９０４が示されている。

偏光主軸の角度Ψｉと輝度９０１〜９０４との関係は、正弦関数によって表現される。この輝度を示す４つの点は、１本の正弦関数カーブ上にちょうど乗るように描かれているが、正弦関数は、実際の観測によって得られる輝度を示す４点に対して、最小二乗法による最適値として決定される。

なお、本明細書における「偏光情報」とは、輝度の偏光主軸角度に対する依存性を示す正弦関数カーブにおける振幅変調度ρおよび位相情報φを意味するものとする。

偏光子単位の偏光主軸の角ψ（図３参照）に対する観測輝度は、以下の式で表される。

ここで図９に示すようにＡ、Ｂ、Ｃは定数であり、それぞれ、偏光輝度の変動カーブの振幅、位相、平均値を表現している。（式１）は、以下のように展開できる。

ただし、ＡおよびＢは、それぞれ、以下の（式３）および（式４）で示される。

４画素のサンプル（ψ_i I_i）において、以下の（式５）を最小にするＡ、Ｂ、Ｃを求めれば、正弦関数（式１）を決定できる。ただし、I_iは、偏光板回転角ψ_i時の観測輝度を示し、Ｎはサンプル数（ここでは４）である。

ここで、番号「１」〜「４」で特定される偏光子単位における偏光主軸の角度がψi＝０°、４５°、９０°、１３５°のときに限り、以下の（式６）〜（式８）に示すように、最小２乗法を用いることなく、直接、観測輝度から（式５）の結果を求めることができる。

以上の処理により、正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。こうして、各画素における偏光度ρを示す偏光度画像と各画素における偏光位相φを示す偏光位相画像が求められる。偏光度ρは、該当画素の光が偏光している程度を表し、偏光位相φは、図９の近似された正弦関数の最大値をとる角度位置を表す。この角度は、被写体からの反射光が内部拡散反射を起こしている場合の被写体の表面法線が存在する面の角度を、画像面内において表現する。なお、偏光主軸の角度は、０°と１８０°（π）は同一である。

値ρ、φ（０≦φ≦π）は、それぞれ、以下の（式９）および（式１０）によって算出される。

＜Ｒ画素位置のカラー輝度の補間＞
Ｒ画素において補間すべきカラー輝度はＢおよびＧの輝度である。Ｂ輝度については、図８のＲ₃₃の近傍８連結位置にある４点のＢ画素における輝度の平均値をＢ輝度の補間値とする。

Ｇ輝度については、まず、Ｒ₃₃の周囲４連結位置にある４点のＧ画素（偏光画素）の輝度の平均をとる。このように、１８０°に対して間隔角度θとなる（１８０／θ）種類の偏光画素の輝度を全て加算して平均操作を行うと、図９の輝度９０１と輝度９０３、および輝度９０２と輝度９０４のように正弦関数上で位相が正反対の２個のサンプル点が加算平均されることになるため、正弦関数の平均値Ｃに等しくなる。すなわち、偏光による輝度の変動の効果が打ち消されて平均輝度が算出されるので、これをＧ輝度の補間値とすればよい。ただし偏光板を透過した輝度は偏光板が無い場合に比較して輝度が１／２に減衰するため、２倍の補正は必要になる。

上記の説明では、簡単のため、偏光子単位の最大透過率Ｔを１（１００％）としている。このため偏光子が無い状態のＧ輝度値と、偏光子を透過した後で偏光効果が打ち消された平均輝度とが等しいとした。しかし、１００％透過率が実現できない現実の偏光子単位の場合、上記のＧ補間値は偏光子単位の最大透過率Ｔを用いて補正する必要があり、Ｇの補間値は以下のようになる。

なお、これらの補間式は線形補間に基づくものである。ベイヤ型モザイクフィルタの補間方式としては、従来、輝度勾配を用いる手法などがあるため、これらの手法を適宜利用すれば、より高い精度での補間が可能である。

＜Ｂ画素位置の偏光情報＞
図８のＢ₂₂を例に説明する。Ｂ画素であるＢ₂₂の近傍には、偏光主軸の方向が異なる４つの偏光画素（Ｇ１）₁₂、（Ｇ２）₂₁、（Ｇ３）₃₂、（Ｇ４）₂₃が配置されているため、Ｒ画素について説明した方法と同様の方法により、偏光情報が得られる。

＜Ｂ画素位置のカラー輝度の補間＞
Ｂ画素において、補間すべきカラー輝度は、ＲおよびＧの輝度である。Ｒの輝度については、以下の（式１３）に示すように、図８のＢ₂₂の近傍８連結位置に存在する４種のＲ画素における観測輝度の平均をとってＲ輝度の補間値とする。

Ｇの輝度については、以下の（式１４）に示すように、４種の偏光画素の輝度平均をとって偏光効果を打ち消してＧの補間値とすればよい。

なお、これらの補間式は線形補間に基づくものであるが、前述したように他の公知の手法を適宜利用すれば、より高精度の補間が可能である。

＜Ｇ画素位置の偏光情報＞
図１０の（Ｇ４）₂₃を例に説明する。図１０に示す添え字の意味などは、図８に示すものと同一である。

（Ｇ４）₂₃の近傍８連結位置には偏光主軸方向が異なる４種の偏光画素（Ｇ１）₁₂、（Ｇ３）₁₄、（Ｇ３）₃₂、（Ｇ２）₃₄が存在する。このため、これらの偏光画素において得られる観測輝度に基づいて、図９に示す輝度カーブを決定すれば、偏光情報を得ることができる。ただし、Ｒ、Ｂ画素の場合と異なり、偏光画素Ｇ３が２つ含まれるため、２つの偏光情報が重複している。このため、以下の２つの手法のいずれを用いてもよい。

第１の手法としては、（Ｇ３）₁₄または（Ｇ３）₃₂のいずれか１個の情報を捨て、異なる４種の異なるパターン化偏光子の情報のみを用いる。この場合、他の色の画素と同様に、（式６）〜（式８）を用いて輝度カーブを決定する。この手法は、計算が単純になる利点がある。

第２の手法は、重複する２個を含んだ５点の観測輝度から、（式５）の最小２乗法を用いて輝度カーブを決定するものである。

＜Ｇ画素位置のカラー輝度＞
Ｇ画素は、偏光子単位が設けられた画素であるため、当該画素位置では、ＲおよびＢの輝度のほかに、本来のＧ輝度も算出することが必要である。

まず、ＲおよびＢの輝度補間から説明する。図４からわかるように、Ｇ画素の周辺（き画素の上下または左右）には、Ｒ画素およびＢ画素が必ず存在している。ここでも、図１０の（Ｇ４）₂₃画素を例に説明する。（Ｇ４）₂₃の画素の上下にはＲ画素が、左右にはＢ画素が２画素ずつ存在している。このため、２つのＲ画素および２つのＢ画素の各々を平均化すれば、（Ｇ４）₂₃の画素位置におけるＲおよびＢの平均輝度を求めることができる。すなわち、Ｇ画素位置におけるＲ輝度およびＢ輝度については、以下の（式１５）に示すようにして線形補間を行うことができる。

次に、Ｇ輝度について説明する。

Ｇ画素の近傍４連結位置、８連結位置のいずれにも補間に使えそうなＧ画素は存在しない。そのため、既に補間されたＲ画素とＢ画素位置におけるＧ補間値を用いて以下の（式１６）に示すようにして補間する。

次に、図１１を参照しながら、図１におけるカラーモザイク補間部１０２の動作を説明する。

まず、カラー偏光取得部１０１で取得されたカラーモザイク画像のデータがモザイク画像フレームメモリ１０７に格納されているものとする。ステップＳ１１０１においてモザイク画像の次の注目画素が読み出され、同時に近傍４連結位置の画素の輝度も読み出される。

ステップＳ１１０２において、注目画素がＲ画素であれば、ステップＳ１１０３に進む。ステップＳ１１０３では、（式１１）（式１２）を用いてＢおよびＧ輝度が補間され、カラー画像フレームメモリ１０４の注目画素位置のＢおよびＧプレーンに格納される。同時にＲプレーンには、この注目画素のＲ輝度がそのまま格納されるため、（ＲＧＢ）のフルカラー輝度が全てカラー画像フレームメモリ１０４に格納される。

次に、ステップＳ１１０４において、注目画素がＢ画素であれば、ステップＳ１０５に進む。ステップＳ１１０５では、（式１３）（式１４）を用いてＲおよびＧ輝度が補間され、カラー画像フレームメモリ１０４の注目画素位置のＲおよびＧプレーンに格納される。同時にＢプレーンには、この注目画素のＢ輝度がそのまま格納されるため、（ＲＧＢ）のフルカラー輝度が全て全てカラー画像フレームメモリ１０４に格納される。

次に、注目画素がＧ画素の場合、ステップＳ１１０６に進む。ステップＳ１１０６では、（式１５）を用いてＲおよびＢ輝度が補間されて格納される。ここでは、周囲のＧ輝度が補間されていないため、Ｇの補間は不可能である。以上の処理がステップＳ１１０７で全画素が終了するまで繰り返される。

次に、ステップＳ１１０８において、補間が済んだカラー画像フレームメモリ１０４からＧ輝度が未定の画素と近傍の確定したＧ輝度とを取得する。ステップＳ１１０９においては、（式１６）を用いてＧ画素輝度を補間し、再度、カラー画像フレームメモリ１０４に格納する。ステップＳ１１１０において、画像に含まるＧ画素の全てのＧ輝度が確定するまで上記の処理を繰り返す。

以上の処理の結果、各画素における（ＲＧＢ）輝度値を有するカラー輝度画像Ｉ（ｘ、ｙ）のデータがカラー画像フレームメモリ１０４内に生成される。このＩ（ｘ、ｙ）の画像サイズは、その作成過程からわかるように、カラーモザイク画像の画像サイズに等しくなる。結果として、偏光子単位が存在しながらも、通常の単板カラーモザイクを使った補間画像と同一の色再現性を有し、かつ解像度も低下しないフルカラー画像が補間生成できる。

次に、図１２を参照しながら、図１の偏光情報処理部１０３の動作を説明する。

まず、カラー偏光取得部１０１で取得されたカラーモザイク画像のデータはモザイク画像フレームメモリ１０７に格納されているものとする。ステップＳ１２０１において、モザイク画像の次の注目画素が読みだされ、同時に近傍４連結位置の画素輝度も読み出される。ステップＳ１２０２にて注目画素がＲ画素の場合、ステップＳ１２０３に進む。ステップＳ１２０３では、Ｒ画素の近傍４連結位置におけるＧ１〜Ｇ４画素を用いて、（式６）〜（式８）から正弦関数パラメータを算出する。

次に、ステップＳ１２０４において、注目画素がＢ画素の場合にも、同様にステップＳ１２０５において近傍４連結位置におけるＧ１〜Ｇ４画素を用いて（式６）〜（式８）から正弦関数パラメータを算出する。

注目画素がＧ画素の場合には、ステップＳ１２０６において、Ｇ画素位置で（式６）〜（式８）に基づき近傍Ｇ１からＧ４を用いて正弦関数パラメータを決定してもよい。あるいは、前述したように、Ｇ３の情報が２個重複するため、重複する２個を含んだ５点の情報から（式５）の最小２乗法を経て輝度変化カーブを決定してもよい。

ステップＳ１２０７において、各画素について決定された正弦関数パラメータＡ、Ｂ、Ｃから（式９）（式１０）を用いて偏光度ρと偏光位相φを作成し、偏光画像フレームメモリ１０５と偏光位相画像フレームメモリ１０６に当該画素と対応付けて格納する。以上の処理は、ステップＳ１２０８でモザイク画像フレームメモリの全画素が終了するまで繰り返される。

こうして、偏光度画像フレームメモリ１０５内に偏光度画像ρ（ｘ,ｙ）のデータが、また偏光位相画像フレームメモリ１０６内に偏光位相画像φ（ｘ,ｙ）のデータが生成される。これらの画像のサイズは、その作成過程からわかるように、カラーモザイク画像の画像サイズに等しくなる。結果として、Ｇ画素にのみパターン化偏光子を配置しただけにもかかわらず、フルカラー画像Ｉ（ｘ、ｙ）と同じ解像度で偏光情報を得ることが可能になる。

なお、図１１および図１２の処理は、互いに独立しているため、これらの処理を並列的に実行しても良い。また、これらの処理は、ソフトウェアで実施されてもよく、同様の処理をハードウェアで実行してもよい。

本実施形態では、フォトニック結晶から形成したパターン化偏光子を用いているが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子を用いてもよい。

図１３（ａ）は、球体であるプラスチック製ボールの被写体の入力画像である。図１３（ｂ）および（ｃ）は、それぞれ、図１３（ａ）の被写体に対する、偏光度画像ρ（ｘ、ｙ）および偏光位相画像φ（ｘ、ｙ）の例を示している。図１３（ａ）、（ｂ）では、各画像において、偏光度ρ、偏光位相φが大きいほど、高い明度を示すように表示されている。

図１４（ａ）および（ｂ）は、図１３（ｂ）および（ｃ）の画像を説明するための模式図である。偏光度画像ρ（ｘ、ｙ）では、カメラの視線方向とボールの表面法線とが同一になる中心付近から方位１４０１の向きに画素位置が離れるほど、その画素の偏光度ρは増加する。また、ボールの表面法線がカメラの視線方向に対して９０°に近くなるボールの遮蔽エッジ（背景との境界）付近では、偏光度ρが最大になっている。図１４（ａ）では、この偏光度ρを等高線で模式的に表現した。

図１４（ｂ）の偏光位相画像φ（ｘ、ｙ）では、位相＝０°を示す画像の天地方向の垂線に対して偏光位相が１８０°周期で球体の周囲を反時計回りに矢印１４０２、１４０３の向きに単調増加していることがわかる。これら偏光情報画像によれば、偏光度ρと偏光位相φが、被写体の表面法線の２自由度の向きに相当していることがよくわかる。すなわち偏光情報が被写体の形状を推定することが可能になる。

なお、本実施形態では、被写体の反射光のうち拡散反射成分の偏光度画像と偏光位相画像を出力としているが、これは鏡面反射成分でもよく、その場合偏光位相φが９０°異なるものとなる。

また偏光情報としては、（ρ、φ）という組み合わせの他、図５の正弦関数から得られる情報であれば、他の情報の組であってもよく、その情報から生成される画像でもよい。たとえば偏光情報から被写体の拡散反射成分と鏡面反射成分を分離することが応用面で重要である。これを本発明で実行するには、鏡面反射領域の偏光に対してρ（ｘ、ｙ）に一定の比率を乗じて原画像から減算すればよい。このようにして生成された画像の例を図１５（ａ）から（ｄ）に示す。

（実施形態２）
以下、本発明による画像処理装置の第２の実施形態を説明する。

本実施形態の基本的構成も、図１のブロック図で示されるため、ここでも適宜、図１を参照する。本実施形態の画像処理装置で特徴的な点は、Ｒ、Ｇ、Ｂの全ての画素にパターン化偏光子を構成する偏光子単位が設けられていることにある。

図１６（ａ）は、本実施形態におけるカラー偏光取得部１０１の画素配置を示す図である。実施形態１における画素配置と異なる点は、Ｇ画素のみならず、Ｒ画素およびＢ画素にも偏光子単位が設けられていることにある。図１６（ｂ）は、Ｇ画素に隣接するＲ画素またはＢ画素のうち、Ｇ画素の偏光主軸に平行な偏光主軸を有する画素と当該Ｇ画素とを結ぶ線分群を図１６（ａ）に追加して記載した図面である。

この配列は、ベイヤ型カラーモザイクフィルタを基本とした配列であって、Ｇ画素の位置には、番号１〜４によって特定される偏光主軸方向を有する４種類の偏光画素Ｇ１〜Ｇ４が配置されている。Ｇ１〜Ｇ４の画素配置は、図４に示したＧ１〜Ｇ４の画素配置と同一である。本実施形態の画素配置が図４の画素配置と異なる点は、Ｇ画素に偏光子単位を設けることに加えて、Ｒ１（偏光主軸方向＝０°）およびＲ３（偏光主軸方向＝９０°）をＲ画素の位置に配置するとともに、Ｂ２（偏光主軸方向＝４５°）およびＢ４（偏光主軸方向＝１３５°）をＢ画素の位置に配置していることにある。

この画素配置の特徴点は、以下のとおりである。

（２−１） Ｒ画素およびＢ画素の各々について、偏光主軸の角度が９０°異なる２種類の偏光子単位を設けることにより偏光の位相が９０°異なる偏光画素が選択的に配置されている。

（２−２） Ｇ１〜Ｇ４の全てのＧ画素の近傍４連結位置には、当該Ｇ画素の偏光主軸の角度と同一角度の偏光主軸を有するＢ画素またはＲ画素が存在する。例えば、Ｇ２の近傍４連結位置にはＲ２が存在する、図１６（ｂ）に示される直線群の各々は、このような対を形成する２つの画素の結合を示す線分である。

（２−３） Ｇ１〜Ｇ４の全てのＧ画素の近傍４連結位置には、番号「１」、「２」、「３」、「４」で特定される偏光主軸を有する偏光画素が存在する。図１６の配置では、注目画素を含む５つの画素の組が点線で囲まれている。これらの点線で囲まれた５つの画素の中心位置には、Ｇ画素が存在し、Ｇ画素の近傍４連結位置には、ＲおよびＢの偏光画素が存在している。例えばＧ４画素の近傍４連結位置には、Ｒ１、Ｂ２、Ｒ３、Ｂ４の４つの偏光画素が存在しており、これら４つの偏光画素における偏光主軸の角度は、それぞれ、０°、４５°、９０°、１３５°である。

特徴点（２−１）による効果は、偏光の位相が９０°異なる２つの偏光画素の観測輝度を加算平均すると、偏光の効果が打ち消されため、通常のカラー輝度が得られることにある。

特徴点（２−２）による効果は、後述するように、（式２０）、（式２３）、（式２４）などによって表現される補間を行うことが可能になる。すなわち、周囲に同色がない場合に同じ画素位置で既に補間された他のカラー輝度値から偏光情報の統合化を実施する場合重要になる。

特徴点（２−３）による効果は、Ｇ画素で偏光情報を算出する場合に重要になる。

図１７（ａ）および（ｂ）は、上記特徴点を有する別の配置例を示している。図１７（ａ）および（ｂ）に示される符号や直線群は、図１６（ａ）および（ｂ）について説明した通りである。

実際の装置では、上記の８×８画素からなる単位周期が上下左右に繰り返して配置される。

図１８（ａ）から（ｃ）は、それぞれ、Ｂ、Ｇ、Ｒ偏光画素の波長特性を模式的に示すグラフである。各グラフの縦軸は透過光の強度、横軸は波長である。Ｂ、Ｇ、Ｒ用の偏光画素は、Ｂ、Ｇ、Ｒの各波長帯域においてＴＭ波を透過し、ＴＥ波を反射（透過せず）する偏光特性を有している。ＴＭ波は、磁場成分が入射面に対して横向きの波であり、ＴＥ波は、電場成分が入射面に対して横向きの波である。

図１８（ａ）には、Ｂ偏光画像の偏光特性１８０２、１８０３と、Ｂ用カラーフィルタの透過特性１８０１とが示されている。偏光特性１８０２、１８０３は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。

図１８（ｂ）には、Ｇ偏光画像の偏光特性１８０５、１８０６と、Ｇ用のカラーフィルタの透過特性１８０４とが示されている。偏光特性１８０５、１８０６は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。

図１８（ｃ）には、Ｒ偏光画像の偏光特性１８０８、１８０９と、Ｒ用カラーフィルタの透過特性１８０７とが示されている。偏光特性１８０８、１８０９は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。

図１８（ａ）から（ｃ）に示すような特性は、例えば非特許文献２に記載されたフォトニック結晶を用いて実現することができる。フォトニック結晶の場合、その表面に形成された溝に平行な電場ベクトル振動面を持つ光がＴＥ波、垂直な電場ベクトル振動面を持つ光がＴＭ波となる。

本実施形態で重要な点は、図１８（ａ）から（ｃ）に示すように、Ｂ、Ｇ、Ｒの透過波長帯域の各々において偏光分離特性を示すパターン化偏光子を用いることにある。

本明細書では、偏光画素における偏光主軸の方位を表示する４つの数字「１、２、３、４」と、カラーを区別するため３つの符号「Ｒ、Ｇ、Ｂ」の組合せ（例えば「Ｒ１」や「Ｇ１」など）を用いて、偏光画素の特性を示すこととする。偏光画素Ｒ１および偏光画素Ｇ１は、数字が同じであるため、偏光主軸の方向は一致しているが、ＲＧＢ符号が異なるため、透過する光の波長帯域が異なる偏光画素に相当している。本実施形態では、このような偏光画素の配列を、図２に示すカラーフィルタ２０１およびパターン化偏光子２０２の組合せによって実現している。

このような特性を有する偏光子単位の偏光主軸角度を調整して配列することにより、図１６や図１７に示すようカラーおよび偏光に関する複合モザイク配列が実現される。このような波長特性は、第１実施形態においても重要であったが、ＲＧＢ全てのカラー画素に偏光子単位が設置される第２実施形態ではさらに重要になる。

以下、パターン化偏光子の配置図として図１９および図２１を用い、偏光情報およびカラー情報の取得原理および処理の説明を行う。図１９および図２１は、いずれも、図１６の配置から左上４×４＝１６個の画素からなるブロックを抜き出し、２次元の画素位置（ｘ、ｙ）を添え字として記載したものである

＜Ｒ画素位置の偏光情報＞
図１９の（Ｒ１）₃₃を例にとり説明する。

図１９において、（Ｒ１）₁₁、（Ｒ３）₁₃、・・・（Ｂ２）₂₂などは、各々座標（ｘ：横、ｙ：縦）＝（１、１）におけるＲ１の偏光画素、（１、３）におけるＲ３の偏光画素、（２、２）におけるＢ２の偏光画素を示す。これらの記号は、前述した通り、画素を示すとともに、数式中では該当画素で観測される輝度の大きさを示すものとする。

（Ｒ１）₃₃の近傍４連結位置には、Ｇ１からＧ４までの同色で、かつ偏光主軸角度が異なる４種類の偏光画素（Ｇ１）₄₃、（Ｇ２）₃₄、（Ｇ３）₃₂、（Ｇ４）₂₃が配置されている。実施形態１について説明した方法と同様に、これらの偏光画素の観測輝度から（Ｒ１）₃₃における偏光情報が得られる。このことは、（Ｒ１）₃₃で示される位置のＲ画素に限られず、Ｒ１、Ｒ３の画素位置に存在する全てのＲ画素について成り立つ。

＜Ｒ画素位置の輝度＞
本実施形態のＲ画素には偏光子単位が設けられているため、Ｒ画素においては、ＧおよびＢの輝度だけではなく、Ｒの輝度を含む全てのカラー輝度を推定する必要がある。

Ｇ輝度は、Ｒ画素の周辺に位置するＧ１〜Ｇ４の４画素から求めることができる。Ｇ１〜Ｇ４の４画素の各々で観測される輝度は、偏光子単位を透過したＧ光の輝度であるが、Ｇ１〜Ｇ４の４画素の偏光主軸角度は４５°ずつ異なるため、これらの画素における観測輝度を平均する操作により、偏光の効果が打ち消されてＧ光の平均輝度が求められる。

上記の説明では、簡単のため、偏光子単位の最大透過率Ｔを１（１００％）としている。このため偏光子が無い状態のＧ輝度値と、偏光子を透過した後で偏光効果が打ち消された平均輝度とが等しいとした。しかし、１００％透過率が実現できない現実の偏光子単位の場合、上記のＧ補間値は偏光子単位の最大透過率Ｔを用いて補正する必要があり、（Ｒ１）₃₃の画素位置におけるＧ輝度の補間値は以下のようになる。

同様にＢ輝度は、９０°位相が異なるＢ２およびＢ４の画素がＲ画素の近傍８連結位置に存在するため、平均操作により偏光効果が打ち消されて求められる。ここで、偏光子単位におけるＢ光の最大透過率Ｔを用いると、（Ｒ１）₃₃の画素位置におけるＢ輝度の補間値は、以下の（式１８）に示すように表される。なお、ここでは、偏光子単位の最大透過率Ｔは、Ｒ、Ｇ、Ｂについて同一に設計するものと仮定するが、このことは本発明にとって必須の事項ではない。

次に、Ｒ輝度の補間を説明する。Ｒ画素の周囲には補間に使えるＲの偏光画素が存在しない。そのため、本実施形態では、カラーに分散した偏光情報の統合化を行う。以下、この統合化を説明する。

図２０に示すカーブ２００１、２００２、２００３は、それぞれ、Ｒ、Ｇ、Ｂの輝度変化を示している。グラフの縦軸は輝度Ｉ、横軸は偏光主軸角度Ψである。図２０に示される「Ｒ１」の黒点、「Ｇ１」、「Ｇ２」、「Ｇ３」、「Ｇ４」の白点は、それぞれ、図１９の（Ｒ１）₃₃、および、その周辺に位置する４つのＧ画素で観測された輝度値を示している。ここでは、偏光子単位の最大透過率が１００％の場合を想定しており、ライン２００４、２００５、２００６は、それぞれ、Ｒ、Ｇ、Ｂの平均輝度（偏光子が無い場合に観測される輝度の平均値）を示す。

自然界にある被写体は様々である。しかし、金属以外の誘電体を想定した場合、照明が被写体に照射されて得られる反射光の性質は、フレネル反射の理論で記述される。そのため、鏡面反射および拡散反射のいずれの場合においても、その偏光の性質は、Ｒ、Ｇ、Ｂの波長帯域で大きく変化はしない。すなわち、Ｒ、Ｇ、Ｂの輝度変動を示す正弦関数は、すべて、周期１８０°であり、等しい位相で変化する。したがって、（式９）の偏光度ρの関係式を用いて、Ｒ、Ｇ、Ｂの輝度変化を示すＩ_R（Ψ）、Ｉ_G（Ψ）、Ｉ_B（Ψ）は、それぞれ、（式１９）で表現できる。

屈折率η、光の入射角および出射角は、Ｒ、Ｇ、Ｂの間で実質的に一定であるため、偏光度ρもＲ、Ｇ、Ｂの間で一定となる。このため、（式１９）における３種類の正弦関数の変動部分は、Ｒ、Ｇ、Ｂに共通となる。

その結果、図２０の３本の偏光輝度のカーブ２００１、２００２、２００３の輝度比率は、平均輝度２００４、２００５、２００６の比率と等しくなる。すなわち、Ｒ１とＧ１の輝度比率は、ＲとＧの輝度比率に等しい。

上記の性質を利用すると、Ｒ１画素の輝度値とＲ１画素に隣接するＧ１画素の輝度値の比率を、既に求めたＧの輝度補間値（式１７で定まる値）に乗算することにより、Ｒの平均輝度（パターン化偏光子が無い場合の理想輝度）を推定できる。最大透過率Ｔの効果は既にＧの輝度補間値に含まれているため、（Ｒ１）₃₃の画素位置におけるＲ輝度は、以下の（式２０）で表される。

以上、Ｒ１画素の例について説明してきたが、Ｒ３画素についても同様に、周囲から角度が９０°異なるＧ輝度およびＢ輝度については空間的に補間し、Ｒ輝度についてはＲ３およびＧ３画素の輝度比を用いて求めることができる。

＜Ｂ画素位置の偏光情報＞
ここでは、図１９の（Ｂ２）₂₂を例に説明する。偏光情報は、Ｒ画素と同様に、周辺のＧ１〜Ｇ４画素における観測輝度から得られるため、説明は省略する。

＜Ｂ画素位置のカラー輝度＞
図１９の（Ｂ２）₂₂を例に説明する。Ｒ、Ｇ、Ｂ全てのカラー輝度を求める必要がある。

まず、偏光主軸の角度が９０°異なるＲ１およびＲ３画素が（Ｂ２）₂₂の周辺に存在するため、（Ｂ２）₂₂におけるＲ輝度は、（式２１）に示すように、Ｒ１およびＲ３の画素で得られる観測輝度を平均することにより、偏光の効果を打ち消して求めることができる。

また、Ｇの輝度については、（式２２）に示すように、周辺に位置するＧ１〜Ｇ４の４つの画素で得られる観測輝度を平均することにより、偏光の効果を打ち消して求めることができる。

なお、（Ｂ２）₂₂の周辺には、Ｂ輝度の空間的なモザイク補間に使えるＢ画素が存在しない。しかし、以下の（式２３）によれば、Ｇ２の輝度値と既に求めたＧの輝度補間値との関係に基づいて、Ｂ２の輝度値からＢの平均輝度（パターン化偏光子が無い場合の理想輝度）を決定することができる。

以上の事項は、Ｂ２の例について説明したが、Ｂ４の画素についても同様に成立する。すなわち、Ｂ４の周囲から角度が４５°および９０°だけ偏光主軸角度が異なる対であるＧ輝度、Ｒ輝度については空間補間し、Ｂ輝度についてはＢ４およびＧ４の輝度比を用いて求められる。

＜Ｇ画素位置の偏光情報＞
図２１の（Ｇ４）₂₃を例に説明する。この画素の近傍４連結位置には、Ｒ１、Ｒ３、Ｂ２、Ｂ４が存在する。しかし、Ｒ光およびＢ光の偏光主軸角度は、それぞれ、２つしかない。正弦関数パラメータＡ、Ｂ、Ｃを決定するには、最低３つの異なる偏光主軸角度における観測輝度が必要であるため、同一カラーについて２つの偏光主軸角度における輝度しか観測されない場合、正弦関数パラメータを決定できない。この問題を解決するため、（式１９）を用いる。

図２２は、（Ｇ４）₂₃の近傍４連結位置における４つの偏光画素から得られる観測輝度と、理論的な正弦関数カーブを記載している。２つの黒点は、それぞれ、Ｒ１およびＲ３の輝度を示し、斜線が付された２つの点は、それぞれ、（Ｂ２）₂₂および（Ｂ４）₂₄の輝度を示している。以下の（式２４）に示すように、係数Ｋを（Ｂ２）₂₂および（Ｂ４）₂₄の観測輝度に乗算することにより、輝度を補正する。

この補正の結果、図２２の矢印２２０７に示すように、Ｒのカーブ上に４点Ｒ１、Ｒ３、Ｂ２’、Ｂ４’が乗ることになる。この４点を用いて正弦カーブを決定することができるため、この正弦カーブに基づいて偏光情報を得ることが可能になる。

上記の事項は、Ｇ４の例について説明したが、Ｇ１〜Ｇ３についても全く同様に成立する。

＜Ｇ画素位置の輝度＞
図２１の（Ｇ４）₂₃を例にとり、Ｒ、Ｇ、Ｂのカラー輝度を以下のように補間、推定する。

まず、（Ｇ４）₂₃の上下隣接位置に偏光主軸角度が９０°異なる偏光画素であるＲ１およびＲ３が存在するため、これらの画素位置における観測輝度を平均することにより、偏光効果を打ち消し、（Ｇ４）₂₃におけるＲ輝度を得ることができる。ここで、Ｔは、偏光子単位の最大透過率である。

同様に、（Ｇ４）₂₃におけるＢ輝度は、（Ｇ４）₂₃の左右に隣接するＢ２およびＢ４の偏光画素で観測される輝度を平均すれば、偏光効果を打ち消した補間値を得ることができる。

次にＧ画素の輝度を説明する。この画素がＧ４画素であるため、隣接するＢ４画素の輝度と、推定されたＢ輝度とを用いて、以下の（式２７）に示すように推定することができる。

なお、ここでは、Ｇ４の例について説明したが、Ｇ１〜Ｇ３の画素についても基本的には同様である。すなわち、ＲおよびＢを空間的に補間し、ＲまたはＢの補間後の輝度に対して一定の比率を乗算すれば、Ｇ画素の輝度を補間することができる。この比率は、Ｇ１の場合にはＧ１およびＲ１の輝度比であり、Ｇ２の場合にはＧ２およびＢ２の輝度比、Ｇ３の場合にはＧ３およびＲ３の輝度比である。

次に、図２３を参照して、本実施形態におけるカラーモザイク補間部１０３の動作を説明する。

最初にカラー偏光取得部１０１で取得されたカラーモザイク画像のデータはモザイク画像フレームメモリ１０７に格納されているものとする。

ステップＳ２３０１において、モザイク画像フレームメモリ１０７の最初の注目画素が読みだされ、同時に近傍４連結位置の画素輝度も読み出される。ステップＳ２３０２において、注目画素がＲ画素であれば、Ｓ２３０３に進む。ステップＳ２３０３では、（式１７）（式１８）を使ってＧとＢ輝度が補間される。次に、直前に補間されたＧ輝度に基づきステップＳ２３０４で（式２０）によりＲ輝度が補間される。

次に、ステップＳ２３０５において、注目画素がＢ画素であれば、ステップＳ２３０６に進む。ステップＳ２３０６では、（式２１）（式２２）を使ってＲとＧ輝度が補間され、次に直前に補間されたＧ輝度に基づきステップＳ２３０７でＢ輝度が（式２３）を用いて補間される。

次に注目画素がＧ画素の場合、ステップＳ２３０８に進む。ステップＳ２３０８では、（式２５） （式２６）を用いてＲとＢ輝度が補間され、ステップＳ２３０９では、Ｇ輝度が直前に補間されたＢ輝度またはＲ輝度に基づき（式２７）などを用いて補間される。補間された画素の輝度値（ＲＧＢ）は、ステップＳ２３１０においてカラー画像フレームメモリ１０４に格納される。

以上の処理がステップＳ２３１１にてモザイク画像フレームメモリ１０７の全画素が終了するまで繰り返される。

次に、図２４を参照して、本実施形態における偏光情報処理部１０３の動作を説明する。最初にカラー偏光取得部１０１にて取得されたカラーモザイク画像のデータはモザイク画像フレームメモリ１０７に格納されているものとする。

ステップＳ２４０１において、モザイク画像の次の注目画素が読みだされ、同時に近傍４連結位置の画素輝度も読み出される。注目画素がステップＳ２４０２においてＲ画素の場合、ステップＳ２４０３に進む。ステップＳ２４０３では、Ｒ画素位置の４連結近傍のＧ１〜Ｇ４画素の輝度に基づき（式６）〜（式８）から正弦関数パラメータを算出する。

次にステップＳ２４０４で注目画素がＢ画素の場合にも、同様にステップＳ２４０５において近傍４連結位置におけるＧ１〜Ｇ４画素の輝度に基づいて（式６）〜（式８）から正弦関数パラメータを算出する。注目画素がＧ画素の場合には、ステップＳ２４０６において、Ｇ画素位置で（式２４）を用いて近傍４連結位置に存在する、Ｒ１とＲ３、補正をかけた輝度であるＢ２’とＢ４’の合計４サンプルの輝度を用いて同様に（式６）〜（式８）の正弦関数パラメータを決定する。

ステップＳ２４０７において、各画素について決定された正弦関数から（式９）（式１０）を用いて偏光度ρと偏光位相φを作成し、偏光画像フレームメモリ１０５と偏光位相画像フレームメモリ１０６に当該画素に対応付けて格納する。

以上の処理はステップＳ２４０８においてモザイク画像フレームメモリの全画素が終了するまで繰り返される。

以上の処理により、偏光度画像フレームメモリ１０５内に偏光度画像ρ（ｘ,ｙ）のデータが、また偏光位相画像フレームメモリ１０６内に偏光位相画像φ（ｘ,ｙ）のデータが生成される。これらの画像のサイズは、その作成過程からわかるようにカラーモザイク画像の画像サイズに等しくなる。結果として、フルカラー画像Ｉ（ｘ、ｙ）と同じ解像度にて偏光情報を得られる効果を有する。

なお、図２３および図２４の処理は、相互に独立しているため、並列してソフトウェアで実施されてもよく、同様の処理をハードウェアで実行してもよい。

なお、本実施形態では、パターン化偏光子にフォトニック結晶を用いる場合を記載したが、偏光素子であればフィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子を使っても構わないのはもちろんである。

（実施形態３）
以下、本発明による画像処理装置の第３の実施形態を説明する。

本実施形態の基本的構成も、図１のブロック図で示されるため、ここでも適宜、図１を参照する。本実施形態の画像処理装置で特徴的な点は、ＧとＲの画素のみ、またはＧとＢの画素のみに偏光子単位を構成する偏光子単位が設けられていることにある。

図２５は、本実施形態におけるカラー偏光取得部１０１の画素配置を示す。この配列は、ベイヤ型カラーモザイクフィルタを基本とした配列であって、Ｇ画素の位置には、番号１〜４によって特定される偏光主軸方向を有する４種類の偏光画素Ｇ１〜Ｇ４が配置されている。Ｇ１〜Ｇ４の画素配置は、図４に示したＧ１〜Ｇ４の画素配置と同一である。本実施形態の画素配置が図４の画素配置と異なる点は、Ｇ画素に偏光子単位を設けることに加えて、Ｒ１（偏光主軸方向＝０°）およびＲ３（偏光主軸方向＝９０°）をＲ画素の位置に配置していることにある。なお、Ｂ画素の位置に偏光子を配置していない点で、本実施形態の配置は実施形態２の配置とも異なっている。

この画素配置の特徴点は、以下のとおりである。
（３−１） Ｒ画素として位相が９０°異なる偏光主軸を有する２種類の偏光子単位のみを配置する。
（３−２） Ｇ１〜Ｇ４画素の全ての近傍２連結位置に、必ず異なる２種類のＲ画素が存在することである。

特徴点（３−１）および（３−２）による効果は、両者を加算平均すると偏光の効果が打ち消され通常のカラー輝度となることである。

Ｇ画素に加えて、Ｂ画素のみに偏光子単位を設置してもよい。また、偏光主軸角度が９０°異なる偏光子単位として、番号「２」および「４」で特定されるものを用いてもよい。図２６は、この場合の配置例を示している。

以下の説明では、図２５の配置を採用した例について説明する。

Ｇ画素およびＲ画素に用いる偏光子単位は、第２の実施形態と同様、図１８に示す波長特性を有するものとする。

以下、パターン化偏光子の配置図として、図２７または図２８を参照する。図２７および図２８は、いずれも、図２５の配置から左上４×４＝１６個の画素からなるブロックを抜き出し、２次元の画素位置（ｘ、ｙ）を添え字として記載したものである

＜Ｒ画素位置の偏光情報＞
図２７の（Ｒ１）₃₃を例に説明する。Ｒ画素（Ｒ１）₃₃の近傍４連結位置には、Ｇ１からＧ４までの同色でかつ異なる４種類の偏光画素（Ｇ１）₄₃、（Ｇ２）₃₄、（Ｇ３）₃₂、（Ｇ４）₂₃が配置されており、ここから偏光情報が第１の実施形態と同様に得られることになる。詳細は省略する。なお、これは全てのＲ１、Ｒ３の画素位置で成り立つ。

＜Ｒ画素位置の輝度＞
Ｒ画素は、偏光子単位が設けられた偏光画素であるため、Ｒ画素位置におけるＲ、Ｇ、Ｂの全てのカラー輝度を推定する必要がある。

Ｇ輝度は、Ｇ１〜Ｇ４の周辺４画素が偏光子単位を透過した輝度であるが、偏光の主軸角度が４５°づつ異なる画素が、４種存在するため、この平均操作で偏光の効果が打ち消されて平均輝度が求められる。上記のＧ補間値は偏光子単位のＧ光の最大透過率Ｔを用いて補正する必要がありＧの補間値は以下のようになる。

同様にＢ輝度は以下のように補間される。

Ｒ輝度は周辺に使える画素が存在しないため、（式３０）などの通り、補間されたＧ輝度値と、Ｇ１とＲ１の比率を用いて補間する。

＜Ｂ画素位置の偏光情報＞
図２７のＢ₂₂を例に説明すると、偏光情報については、Ｒ画素と同様に周辺のＧ１〜Ｇ４を利用して得られるので説明を省略する。

＜Ｂ画素位置のカラー輝度＞
おなじく図２８のＢ₂₂を例に説明する。求めるのは、Ｒ、Ｇのカラー輝度である。まずＲについては、９０°角度が異なるＲ１とＲ３が周辺画素内に存在するため、これらの平均で偏光の効果を打ち消して求められる。

またＧについてはＧ１からＧ４の周辺４画素の平均で偏光の効果を打ち消して求められる。

＜Ｇ画素位置の偏光情報＞
図２８の（Ｇ４）₂₃を例にとり説明する。この画素の近傍４連結位置には、偏光画素としてはＲ１、Ｒ３のみが存在するため、実施形態１と同様に近傍８連結位置に存在する４種のＧ１〜Ｇ４の画素（Ｇ１）₁₂、（Ｇ３）₁₄、（Ｇ３）₃₂、（Ｇ２）₃₄における観測輝度に基づいてＧ輝度カーブを決定することにより偏光情報を得る。ただし、Ｒ、Ｂ画素の場合と異なり、Ｇ３の情報が２個重複するため、以下の２つの手法のいずれを用いてもよい。

第１の手法は、（Ｇ３）₁₄または（Ｇ３）₃₂のいずれか１個の情報を捨て、異なる４種のパターン化偏光子の情報に基づき（式６）〜（式８）を用いて輝度カーブを決定する。

第２の手法は、重複する２個を含んだ５点の情報から、（式５）の最小２乗法を経て輝度カーブを決定する。

＜Ｇ画素位置のカラー輝度＞
Ｇ画素は偏光子単位が設けられた偏光画素であるため、当該位置では、ＲおよびＢの輝度のほかにＧの輝度も算出することが必要である。まず、ＲおよびＢの輝度補間を説明する。

図２８からわかるように、Ｇ画素の周辺にはＲ画素およびＢ画素が上下または左右に存在している。ここでも、図２８の（Ｇ４）₂₃を例に説明する。（Ｇ４）₂₃の上下にＲ１おびＲ３が存在しているので平均化処理によって偏光の効果を打ち消して平均輝度を求めることができる。また左右にＢ画素が存在しているのでこれも平均化処理によって値を求めることができる。これを利用して、Ｒ輝度とＢ輝度を以下の（式３３）に示すように線形補間する。

次にＧ輝度は、既に周囲で計算されたＧ輝度を用いて以下の（式３４）に示すように補間できる。

動作フローはほとんど第１の実施形態における動作フローと同一であるから、ここでは説明を省略する。

上記の各実施形態では、ベイヤ配列のカラーモザイクフィルタを用いているが、本発明で用いることのできるカラーモザイクフィルタの配列はベイヤ型に限定されず、他のタイプの配列を有するものであってもよい。また、配列密度が最も高い画素の色はＧ（グリーン）に限定されず、他の色であってもよい。

（実施形態４）
以下、本発明による画像処理装置の第４の実施形態を説明する。

本実施形態の基本的構成も、図１のブロック図で示されるため、ここでも適宜、図１を参照する。本実施形態の画像処理装置における特徴的な点は、第１の実施形態と同様に４種類の偏光子単位がＧ画素のみに設けられているにもかかわらず、偏光情報取得とカラー補間の単位が３種類の偏光子を選択して実現され、結果的に三角形画素として補間処理が行われている点にある。

図２９（ａ）は、本実施形態におけるカラー偏光取得部１０１の画素配置を示す。この配列は、ベイヤ型カラーモザイクフィルタを基本とした配列であって、Ｇ画素の位置には、番号１〜４によって特定される偏光主軸方向を有する４種類の偏光画素Ｇ１〜Ｇ４が配置されている。Ｇ１〜Ｇ４の画素配置は、図４に示したＧ１〜Ｇ４の画素配置と同一である。しかし、このような画素配置によれば、図２９(ｂ)に示されるとおり、異なる３種類の偏光子単位から構成される三角形画素で平面を埋め尽くすことができる。本実施形態では、この三角形画素を単位として偏光情報取得とカラー補間を実施する。

図３０は、図５の画素配置と同一の画素配置を示しており、図３１は、図６の画素配置と同一の画素配置を示している。第１の実施形態の説明において、図６の画素配置は偏光情報取得には適当でないとしていたが、本実施形態では三角形画素の各々が３種類の偏光子単位を含んでいればよいので、図３１に示す画素配置を採用することができる。

＜三角形画素位置での偏光情報＞
図３０および図３１に示すとおり、本実施形態における各三角形画素は、隣接する４種類の偏光子単位１〜４から１個の偏光画素が欠落した構成を有している。本実施形態では、各三角画素の頂点に位置する３種の偏光子単位から得られる偏光情報に基づいて、正弦関数パラメータＡ、Ｂ、Ｃを求める。

まず、パラメータＣは、偏光の位相が反転した関係にある２つの異なる角度における２つの輝度を加算平均することによって求められる。このため、パラメータＣは、欠落している各偏光画素について、以下の表１の右欄に示す式によって求めることができる。

次に、欠落している偏光画素の輝度情報は、以下の表２の右欄に示す式によって求めることができる。

以上の計算により、偏光画素の輝度Ｉ₁〜Ｉ₄が得られるので、他のパラメータＡ、Ｂは、（式６）〜（式８）を使って求められる。

なお、三角形画素ごとに偏光度および偏光位相が求められるということは、偏光度画像フレームメモリ１０５および偏光位相フレームメモリ１０６の画像が、三角形画素を単位として構成されることを意味する。

＜Ｇのカラー輝度の補間＞
図３２は、図２９（ａ）における三角形画素の集合を描いたものであり、三角形の各頂点（ａ）〜（ｉ）がＧの偏光画素１、２、３、４のいずれかに対応する。図３２に示すように、本実施形態ではカラー輝度補間も三角形画素を単位として実施する。

図３２に示す（ａ）（ｂ）（ｅ）（ｄ）によって構成される斜め正方形を上下に分割した三角形（ａ）（ｂ）（ｄ）のＧ輝度であるＧ_u、および三角形（ｂ）（ｅ）（ｄ）のＧ輝度であるＧ_dは、各頂点画素における観測輝度をＩ_a〜Ｉ_eとすると、以下の（式３５）および（式３６）によって求めることができる。

ここで、（式３５）、（式３６）における定数の２は、非偏光の光が直線偏光子を透過した場合に光量が１／２になる現象の補正項である。また、これらの式中のＴは、偏光子の透過率を示し、Ｔが１００％でないことによる補正項である。

同様にして、図３２の全ての三角形領域におけるＧ輝度Ｇ_u、Ｇ_dを求めることができる。なお、これら三角形画素の各々が１個の輝度を有する単位となる。

＜Ｂのカラー輝度の補間＞
図３３は、図３２に示す三角形画素のＢのカラー輝度を取得するために必要な画素を示す図である。図３３に示される９つの頂点（ａ）〜（ｉ）は、三角形画素の頂点に位置しており、Ｇの偏光画素１、２、３、４のいずれかに対応している。図３３には、補間に必要なデータを取得するための画素位置として、上記の頂点（ａ）〜（ｉ）によって構成される三角形画素の外側の４つの頂点（α）（β）（γ）（δ）、さらに外側の頂点（μ）（ν）も図示されている。

図３３において、点線で囲まれた矩形領域３３０１〜３３０４は、Ｂカラー輝度を有する正方形画素を示している。Ｂ画素は、矩形領域３３０１〜３３０４内に位置しており、Ｂ画素の面積は三角形画素の面積の５０％を占めている。上下の三角形画素としてもこの値を採用する。この考え方に基づくと、図３３においてＢ値が存在するのは、斜線をほどこした領域である。具体的には、斜め正方形（ｂ）（ｃ）（ｆ）（ｅ）、斜め正方形（ｅ）（ｈ）（ｇ）（ｄ）、三角形（α）（ｂ）（ａ）、三角形（ａ）（ｄ）（β）、三角形（ｆ）(γ)（ｉ）、三角形（ｈ）（ｉ）（δ）である。

Ｂ輝度が欠落した三角形領域は、斜め正方形（ａ）（ｂ）（ｅ）（ｄ）および斜め正方形（ｅ）（ｆ）（ｉ）（ｈ）に含まれる各々２個の白い領域で示される三角形である。これらの三角形画素におけるＢカラー輝度は、補間によって生成しなければならない。それには、矩形領域３３０１〜３３０４のＢカラー輝度を平均することによって補間すればよい。例えば矩形領域３３０１のＢ輝度をＢ₃₃₀₁のように記載すると、以下の（式３７）によって補間値を算出することができる。

ただし、斜め正方形の領域を２つ三角形画素に上下分割する必要がある。Ｂカラー輝度とＧカラー輝度とは相関を有することを使って、三角形画素毎にＢカラー輝度Ｂ_u、Ｂ_dを、以下の（式３８）によって計算する。

＜Ｒのカラー輝度の補間＞
図３４は、図３２に示す三角形画素のＲのカラー輝度を取得するために必要な画素を示す図である。補間に必要なデータを取得するため、頂点（ａ）〜（ｉ）からなる三角形画素の外側のＧ画素位置である４つの頂点（ε）（ζ）（η）（θ）も描かれている。ここで、Ｒ画素が存在するのは、先ほどのＢ画素と同様の考え方によれば、斜線をほどこした領域である。具体的には、斜め正方形（ａ）（ｂ）（ｅ）（ｄ）、斜め正方形（ｅ）（ｆ）（ｉ）（ｈ）の位置、三角形（ε）（ｃ）（ｂ）、三角形（ｃ）（ζ）（ｆ）、三角形（ｄ）(ｇ)（η）、三角形（ｇ）（ｈ）（θ）である。Ｒ画素を持たない三角形画素の補間は、Ｂ画素の補間と同様にして、以下（式３９）（式４０）によって算出することができる。

以上の処理により、図２９に示した三角形画素ごとに偏光度画像および偏光位相画像、ならびに（ＲＧＢ）フルカラー輝度画像が生成される。

カラー偏光取得部１０１の画素配列と三角形画素からなる画像を構成する画素配列とを重ねて表示してみると、三角形画素と元になる正方形画素とは面積的に等しい。しかし、三角形画素を使わない場合、偏光情報やＧカラー輝度の補間結果が位置する中心座標位置が本来の正方格子の座標系からずれてくる。この処理が複雑化することが懸念されるために、本実施形態では、偏光度画像などの出力画像を三角形画素からなる画像として出力するようにしている。

本実施形態で生成される上記の偏光度画像などに基づいて、画像を表示装置に表示する場合、適宜、表示装置における画素配列と整合するように画像データを処理する必要がある。このような処理は、表示装置の側で行っても良いが、本実施形態の画像処理装置内で行った上で外部に出力する構成を採用しても良い。

次に、図１および図３５を参照しながら、本実施形態におけるカラーモザイク補間部１０２の動作を説明する。

まず、カラー偏光取得部１０１で取得されたカラーモザイク画像のデータがモザイク画像フレームメモリ１０７に格納されているものとする。ステップＳ３５０１においてモザイク画像のＧ輝度の画素の組（Ｇ１−Ｇ２−Ｇ３）が１単位として読み出される。ステップＳ３５０２において、（式３５）または（式３６）を用いてＧ輝度が補間される。ステップＳ３５０３にいて、カラー画像フレームメモリ１０４のＧプレーンに三角形画素としてＧ輝度が格納される。ステップＳ３５０４では、全てのＧ輝度の画素の組（Ｇ１−Ｇ２−Ｇ３）が終了したか否かが判定される。終了していない場合は、ステップ３５０１〜３５０４の処理が繰り返される。ステップＳ３５０４において「終了」が判定された場合、ステップＳ３５０５に進む。

ステップＳ３５０５において、モザイク画像フレームメモリからＢ輝度とＲ輝度の画素を取得する。この取得は並列で実行されてもよい。ステップＳ３５０６において、Ｂ画素、Ｒ画素が面積的には三角形画素の５０％を占める場合、三角形画素としてのＢ画素とＲ画素としてこの値を採用する。ステップＳ３５０７において、Ｂ輝度が欠落した三角形画素については（式３７）、（式３８）を用いて補間を行い、Ｒ輝度の欠落した三角形画素については（式３９）、（式４０）を用いて補間を行う。

ステップＳ３５０８において、上記補間されたＢ輝度の三角形画素とＲ輝度の三角形画素を、それぞれ、カラー画像フレームメモリ１０４のＢ、Ｒプレーンに格納する。ステップＳ３５０９においては、モザイク画像フレームメモリに含まる全てのＢ輝度画素、Ｒ輝度画素について、上記の処理が終了したか否かが判定される。終了していないと判定された場合は、ステップＳ３５０５〜Ｓ３５０９までの処理が繰り返される。

以上の処理の結果、各画素における（ＲＧＢ）輝度値を有するカラー輝度画像Ｉ（ｘ、ｙ）のデータがカラー画像フレームメモリ１０４内に生成される。このＩ（ｘ、ｙ）の画像は、三角形画素構造ではあるが、通常のベイヤカラーモザイクを用いた単板カラー撮像素子と同程度の色再現性を有するフルカラー画像が補間生成できる。

次に、図１および図３６を参照しながら、本実施形態における偏光情報処理部１０３の動作を説明する。

まず、カラー偏光取得部１０１で取得されたカラーモザイク画像のデータはモザイク画像フレームメモリ１０７に格納されているものとする。ステップＳ３６０１において、モザイク画像フレームメモリからＧ輝度画素（Ｇ１−Ｇ２−Ｇ３）の組が読み出される。次にＧ１、Ｇ２，Ｇ３という偏光輝度を使って、(式６)から(式８)および表１、表２を用いて正弦関数パラメータＡ，Ｂ、Ｃが決定される。

ステップＳ３６０３では、（式９）（式１０）を用いて偏光度ρと偏光位相φを作成する。

ステップＳ３６０４では、生成された値を、偏光画像フレームメモリ１０５と偏光位相画像フレームメモリ１０６に三角形画素の位置に格納する。

以上の処理は、ステップＳ３６０５でモザイク画像フレームメモリの全画素が終了すると判定されるまで繰り返される。こうして、偏光度画像フレームメモリ１０５内に偏光度画像ρ（ｘ,ｙ）のデータが、また偏光位相画像フレームメモリ１０６内に偏光位相画像φ（ｘ,ｙ）のデータが生成される。これらの画像のサイズは、その作成過程からわかるように、カラーモザイク画像の画像構造とは異なり、三角形画素の構造となる。結果として、Ｇ画素にのみパターン化偏光子を配置しただけにもかかわらずフルカラー画像Ｉ（ｘ、ｙ）と同じ画素構造および解像度にて偏光情報を得ることが可能になる。

なお、図３５および図３６の処理は、互いに独立しているため、これらの処理を並列的に実行しても良い。また、これらの処理は、ソフトウェアで実施されてもよく、同様の処理をハードウェアで実行してもよい。

本実施形態では、フォトニック結晶から形成したパターン化偏光子を用いているが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子を用いてもよい。

なお、実施形態４では、４種類の偏光子単位がＧ画素に配列されている撮像装置を用い、三角形画素を最小単位とする偏光情報およびカラー輝度情報を取得しているが、配列される偏光子の種類は４種類に限定されず、５種類以上であってもよい。重要な点は、異なる３種類の偏光子単位が三角形画素の頂点に配置されていることにある。

また、実施形態１の処理と実施形態４の処理とを１つの画像処理装置で選択的に実行するようにしてもよい。共通のハードウェアを有する画像処理装置が、実施形態１の処理を行うソフトウェアと実施形態４の処理を行うソフトウェアとを備えておれば、何れかの処理を選択的に実行することも可能になる。

本発明の画像処理装置および画像処理方法は、被写体からのカラー情報と偏光情報を同時に取得できるため各種デジタルスチルカメラ、デジタルムービーカメラ、監視カメラ、車載搭載カメラなどに適用可能である。

本発明における画像処理装置の構成を示すブロック図である。 本発明におけるカラー偏光取得部の構成を示す図である。 偏光子単位の４種類の偏光主軸の説明図である。 （ａ）および（ｂ）は、第１の実施形態のカラーフィルタおよびパターン偏光素子の配列状態の説明図である。 （ａ）および（ｂ）は、第１の実施形態のカラーフィルタおよびパターン偏光素子の配列状態の別の例の説明図である。 （ａ）および（ｂ）は、課題を有するカラーフィルタおよびパターン偏光素子の配列状態の説明図である。 課題を有するカラーフィルタおよびパターン偏光素子の配列状態の別の例の説明図である。 第１の実施形態におけるＲ（Ｂ）画素周辺の図である。 第１の実施形態における正弦関数状輝度変動と観測輝度点を説明する図である。 第１の実施形態におけるＧ画素周辺の図である。 第１の実施形態におけるカラーモザイク補間部の動作を説明するフローチャートである。 第１の実施形態における偏光情報処理部１０２の動作を説明するフローチャートである。 （ａ）は、球体であるプラスチック製ボールの被写体の入力画像であり、（ｂ）および（ｃ）は、それぞれ、（ａ）の被写体に対する偏光度画像ρ（ｘ、ｙ）および偏光位相画像φ（ｘ、ｙ）の例を示す画像である。 （ａ）および（ｂ）は、偏光度画像ρ（ｘ、ｙ）および偏光位相画像φ（ｘ、ｙ）の被写体上の数値変化を示す模式図である。 （ａ）から（ｄ）は、鏡面反射成分画像と拡散反射成分画像への分離の例を示す図である。 （ａ）および（ｂ）は、第２の実施形態におけるカラーフィルタおよびパターン化偏光子の配列を示す図である。 （ａ）および（ｂ）は、第２の実施形態におけるカラーフィルタおよびパターン化偏光子の別の配列を示す図である。 （ａ）から（ｃ）は、第２の実施形態におけるパターン化偏光子の波長特性を説明する図である。 第２の実施形態におけるＲ（Ｂ）画素周辺の図である。 第２の実施形態において偏光情報を使ったカラー輝度推定を説明する図である。 第２の実施形態におけるＧ画素周辺の図である。 第２の実施形態においてカラーに分散した偏光情報の統合化を説明する図である。 第２の実施形態におけるカラーモザイク補間部の動作を説明するフローチャートである。 第２の実施形態における偏光情報処理部の動作を説明するフローチャートである。 第３の実施形態におけるカラーフィルタおよびパターン化偏光子の配列を示す図である。 第３の実施形態におけるカラーフィルタおよびパターン化偏光子の別の配列を示す図である。 第３の実施形態におけるＲ（Ｂ）画素周辺の図である。 第３の実施形態におけるＧ画素周辺の図である。 （ａ）および（ｂ）は、第４の実施形態におけるカラーフィルタおよびパターン化偏光子の配列、および単位画素の形状を説明する図である。 （ａ）および（ｂ）は、第４の実施形態におけるカラーフィルタおよびパターン化偏光子の配列、および単位画素の形状を説明する図である。 （ａ）および（ｂ）は、第４の実施形態における別のカラーフィルタおよびパターン化偏光子の配列、および単位画素の形状を説明する図である。 第４の実施形態における三角形領域の集合とＧカラー輝度の補間方法を説明する図である。 第４の実施形態における三角形領域の集合とＢカラー輝度の補間方法を説明する図である。 第４の実施形態における三角形領域の集合とＲカラー輝度の補間方法を説明する図である。 第４の実施形態におけるカラーモザイク補間部の処理を示すフローチャートである。 第４の実施形態における偏光情報処理部の処理を示すフローチャートである。 従来技術の説明図である。

符号の説明

１００ レンズ
１０１ カラー偏光取得部
１０２ 偏光情報処理部
１０３ カラーモザイク補間部
１０４ カラー画像フレームメモリ
１０５ 偏光度画像フレームメモリ
１０６ 偏光位相画像フレームメモリ
１０７ モザイク画像フレームメモリ

Claims (13)

1. カラーモザイクフィルタ、および、異なる角度の透過偏波面を有する複数の偏光子単位が前記カラーモザイクフィルタ内の同一色の複数の画素に設けられたパターン化偏光子を有する単板カラー撮像素子を含むカラー偏光取得部と、
   前記同一色の複数の画素において前記偏光子単位を透過した光の輝度と前記偏光子単位の透過偏波面の角度との関係を正弦関数で近似する偏光情報処理部と、
   カラー輝度の補間を行うことにより、注目画素で得られないカラー輝度を得てカラー輝度画像を生成するカラーモザイク補間部と、
   を有する画像処理装置。
2. 前記パターン化偏光子は、透過偏波面の角度が相互に異なる４種類の偏光子単位が隣接して配置された構成を有している請求項１に記載の画像処理装置。
3. 前記カラーモザイクフィルタは、単一特定色の画素が市松模様状に配列された構成を有しており、
   前記偏光子単位は、前記市松模様状に配列された画素に配置されている請求項１または２に記載の画像処理装置。
4. 前記特定色は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）のうちのＧ（グリーン）である請求項３に記載の画像処理装置。
5. カラー画素配列のうちの単一特定色の複数の画素に透過偏波面の角度が異なる偏光子単位が設けられた単板カラー撮像素子を用いて各画素の輝度を観測するステップと、
   前記単一特定色の複数の画素で観測された輝度から偏光情報を取得するステップと、
   前記単一特定色および他の２色の光の輝度に基づいてカラー輝度を空間的に補間することによりカラー輝度画像を生成するステップと
   を含む画像処理方法。
6. カラーモザイクフィルタ、および、異なる角度の透過偏波面を有する複数の偏光子単位が前記カラーモザイクフィルタ内の異なる色の複数の画素に設けられたパターン化偏光子を有する単板カラー撮像素子を含むカラー偏光取得部と、
   前記異なる色の複数の画素において前記偏光子単位を透過した光の輝度または補正輝度と前記偏光子単位の透過偏波面の角度との関係を正弦関数で近似する偏光情報処理部と、
   カラー輝度の補間を行うことにより、注目画素で得られないカラー輝度を得てカラー輝度画像を生成するカラーモザイク補間部と、
   を有する画像処理装置。
7. 前記カラーモザイクフィルタは、単一特定色の画素が市松模様状に配列された構成を有しており、
   前記市松模様状に配列された画素には透過偏波面の角度が相互に異なる４種類の偏光子単位が隣接して配置され、他の色の画素には透過偏波面の角度が相互に異なる少なくとも２種類の偏光子単位が配置されている、請求項６に記載の画像処理装置。
8. 前記特定色は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）のうちのＧ（グリーン）である請求項７に記載の画像処理装置。
9. 前記カラーモザイク補間部は、注目画素近傍において透過偏光面の角度がお互いにθ°だけ異なる（１８０／θ）種類の偏光子単位を有する同一色の画素で観測された輝度を平均化することにより偏光の効果を打ち消してカラー輝度を補間する、請求項６に記載の画像処理装置。
10. 前記カラーモザイク補間部は、注目画素近傍において透過偏光面の角度が等しい異なる色の画素で観測された輝度に基づいてカラー輝度を推定する請求項６に記載の画像処理装置。
11. 同一色の画素に使用される偏光子単位の偏光波長依存特性は、当該色に対応する波長帯域内にて相互に概略等しい請求項１または６に記載の画像処理装置。
12. カラー画素配列のうちの異なる色の複数の画素に透過偏波面の角度が異なる偏光子単位が設けられた単板カラー撮像素子を用いて各画素の輝度を観測するステップと、
    同一色で透過偏波面の角度が異なる複数の画素の輝度から偏光情報を取得するステップと、
    注目画素近傍における異なる色で透過偏波面の角度が異なる複数の画素の輝度を補正して偏光情報を取得するステップと、
    注目画素近傍における同一色で透過偏波面の角度が相互にθ°だけ異なる（１８０／θ）種類の偏光子単位を有する画素の輝度、および、異なる色で透過偏波面の角度が等しい偏光子単位を有する画素をそれぞれ利用して、注目画素において得られないカラー輝度を推定することによりカラー輝度画像を生成するステップと、
    を有する画像処理方法。
13. カラーモザイクフィルタ、および、異なる４つ以上の角度の透過偏波面を有する複数の偏光子単位が前記カラーモザイクフィルタ内の同一色の複数の画素に設けられたパターン化偏光子を有する単板カラー撮像素子を含むカラー偏光取得部と、
    前記同一色の複数の画素において前記偏光子単位を透過した光の輝度と前記偏光子単位の透過偏波面の角度との関係を正弦関数で近似する偏光情報処理部と、
    カラー輝度の補間を行うことにより、相互に透過偏波面の角度が異なり、かつ隣接する３つの偏光子単位で形成される三角形領域を画素単位としてカラー輝度画像を生成するカラーモザイク補間部と、
    を有する画像処理装置。

Images