JP4235252B2 - 画像処理装置 - Google Patents

Description

本発明は、カラー情報および偏光情報の両方を取得できる画像処理装置ならびに画像入力方法に関する。

近年のデジタルムービーカメラの進歩はめざましく、将来的には携帯電話のカメラにおいてもＨＤＴＶ画質が得られると予想されている。しかし、光学系や撮像素子が小型化すると、感度やレンズ回折限界などにより画像撮像の限界の問題が発生するため、将来的には、高精細化も限界に到達すると考えられる。その場合、不足する被写体の画像情報にコンピュータグラフィックス的処理を加えることが画質向上に有効になる。しかし、そのためには、被写体の３次元形状情報や、被写体を照明する光源など、画像生成過程における物理情報を取得しなくてはならない。形状情報の取得には、通常、レーザ光やＬＥＤ光源を投光するアクティブセンサや、２眼ステレオなどの距離計測システムが必要である。これらは大掛かりなシステムになるうえ、各種の制約がある。たとえばカメラと被写体との距離がせいぜい数ｍ程度までしかとれない、対象被写体が固形物で明るい拡散物体に限られるなどの制約である。これでは遠距離の屋外シーン撮影や髪の毛や衣服が重要な人物撮影には利用できない。

従来、完全にパッシブ（受動的）な被写体形状センシング方式として、偏光を利用する技術があった。これは非偏光の自然光を照射された被写体からの反射光（鏡面反射光、または拡散反射光）が、表面の向きや視点という幾何学的要因によって種々の部分偏光を呈することを利用するものである。この情報の取得のためには、被写体各画素の部分偏光状態を偏光画像として取得する必要がある。

非特許文献１では、カメラのレンズ前に装着した液晶型偏光板を制御しながら動画を取得するカメラが開示されている。これを使うと、カラー動画と被写体の部分偏光の情報を画像として取得できる。しかし、液晶に電圧を印加して偏光板の偏光主軸を変えながら数フレームを取得することにより、はじめて１つの偏光情報が取得できる。したがって、カラー画像と偏光画像に数フレームのずれが生じ、これらの画像を同時に取得することができない。この技術は、機構的に偏光板を回転させる技術と同等である。

非特許文献２および非特許文献３では、輝度画像と被写体の部分偏光の画像を同時に取得するため複数の異なる偏光主軸を有するパターン化偏光子を撮像素子に空間的に配置することが開示されている。パターン化偏光子としては、フォトニック結晶や構造複屈折波長板アレイが利用されている。しかしながら、これらの技術ではモノクロ画像と偏光画像とが同時に取得できるのみであった。

特許文献１は、ベイヤカラーモザイクとＧ画素の一部に偏光フィルタを設置することにより、撮像素子の一部に偏光特性を持たせ、カラー画像と偏光情報とを同時に取得することを開示している。この技術では、カラー画像から鏡面反射成分を抑制した画像を得ている。この技術では、異なる２つの偏光画素の間にある差分を得るという単純操作が行われているため、被写体の部分偏光の情報を完全には取得できない。
特開２００６−２５４３３１号公報 Ｌａｗｒｅｎｃｅ Ｂ．Ｗｏｌｆｆ："Ｐｏｌａｒｉｚａｔｉｏｎ ｖｉｓｉｏｎ :ａ ｎｅｗ ｓｅｎｓｏｒｙ ａｐｐｒｏａｃｈ ｔｏ ｉｍａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ"、 Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ １５（１９９７）ＰＰ．８１−９３、 Ｅｌｓｅｖｉｅｒ Ｓｃｉｅｎｃｅ Ｂ．Ｖ． 川島、佐藤、川上、長嶋、太田、青木：「パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発」電子情報通信学会２００６年総合全国大会、Ｎｏ．Ｄ−１１−５２、Ｐ５２、Ｍａｒｃｈ ２００６ 菊田、岩田：「偏光画像計測システム」、ＯｐｌｕｓＥ、Ｖｏｌ．２５、Ｎｏ．１１、Ｐ１２４１−１２４７、２００３

従来の技術では、被写体のカラー画像と被写体の部分偏光の偏光画像とを同時に取得することはできていない。このため、カラー動画を取得し、かつ時間的にずれのない形状情報を取得することはできなかった。

従来の技術を使うと、モノクロ輝度画像と偏光画像とを同時に取得することはできるが、カラー化には、Ｒ、Ｇ、Ｂの３バンドの波長帯域について偏光情報を取得することが必要となる。このためには、以下の課題が発生する。
１）カラー分離特性と偏光特性とが干渉する。
２）カラー輝度取得と偏光情報取得の両立が困難である。

第１のカラー分離特性と偏光特性の干渉とは、偏光子や偏光ビームスプリッタなどの光学系の物理特性は一般に偏光分離特性が波長によって大きく変化し、可視光全ての波長帯域で同じ特性を有することができない、という問題である。たとえば、偏光ビームスプリッタは、ある波長帯で入力の非偏光をＰ波とＳ波とに分離できるが、その波長帯を外れると動作しない。同様に、非偏光ハーフミラーは偏光特性を変えずに特定波長の光を分離できるが、広い波長域では偏光特性を変えて分離してしまう。この問題は、入射する光の偏光状態が色分解特性に影響を及ぼすという副作用も発生させる。このため、モノクロの時のように安易に偏光子を使うことはできず、利用するカラー別に、該当する狭波長帯域にて偏光特性が所望のものとなるように性能を最適化する必要がある。

カラー輝度取得と偏光情報取得の両立とが困難であるという第２の課題は、カラー輝度情報と偏光情報とを独立に取得できず、両者が混合してしまう問題である。偏光情報の精度は、異なる多数の偏光軸での輝度観測結果が得られるほど向上する。しかし、１つのカラーで多くの偏光情報を得ることは、システム構成上困難である。このため、異種のカラーに分散した偏光情報を一定の方法で再度統合する必要がある。

本発明は、上記課題を解決するためになされたものであり、カラー画像と偏光情報とを同時に取得することの可能な画像処理方法および画像入力方法を提供することにある。

本発明の画像処理装置は、カラーモザイクフィルタを有する単板カラー撮像素子、および前記カラーモザイクフィルタの同一色画素内において異なる角度の透過偏波面を有する偏光子単位が隣接して配置されたパターン化偏光子を有するカラー偏光取得部と、同一色画素内の複数の偏光子単位を透過した光の輝度と前記偏光子単位の透過偏波面の角度との関係を正弦関数で近似する偏光情報処理部と、同一色画素内の複数の偏光子単位を透過した光の輝度を平均化することによって平均カラー輝度情報を取得するカラー情報処理部とを備える。

本発明による他の画像処理装置は、入射光を複数の異なる色に分解する色分解素子、および、各々が前記色分解素子によって分解された異なる色の光を受ける複数の撮像素子を有するカラー偏光取得部と、前記複数の撮像素子の出力に基づいて偏光情報を得る偏光情報処理部と、前記複数の撮像素子の出力に基づいて平均カラー輝度情報を得るカラー情報処理部とを備え、前記複数の撮像素子は、前記分解された異なる色に含まれる第１の色の光から高解像度単色画像を取得する少なくとも１つの高解像度撮像素子と、前記分解された異なる色に含まれる第２の色の光から低解像度画像を取得する少なくとも１つの低解像度撮像素子とを有し、前記低解像度撮像素子は、異なる方向に透過偏波面を有する複数の偏光子単位が隣接して配列されたパターン化偏光子を有しており、前記偏光情報処理部は、前記複数の偏光子単位を透過した光の輝度を統合して前記偏光情報を取得する。

好ましい実施形態において、前記色分解素子は、入射光をＲ、Ｇ、Ｂの光に分解し、前記高解像度単色素子は、Ｇの光を受ける。

好ましい実施形態において、同一の色の画素について使用される前記偏光子単位の偏光の波長依存特性は、当該色に対応する波長帯域内において概略等しい。

好ましい実施形態において、前記パターン化偏光子は、個々の画素について、透過偏波面の角度がθ°だけ異なる（１８０／θ）種類の偏光子単位を有している。

好ましい実施形態において、前記低解像度撮像素子の数は複数であり、複数の低解像度撮像素子に対応する複数のパターン化偏光素子は、全体として、透過偏波面の角度がθ°だけ異なる（１８０／θ）種類の偏光子単位を有している。

本発明による更に他の画像処理装置は、入射光を複数の異なる色に分解する色分解素子、各々が前記色分解素子によって分解された異なる色の光を受ける複数の偏光ビームスプリッタ、および、各偏光ビームスプリッタの反射光および透過光をそれぞれ受光する一対の撮像素子を含む複数の撮像素子を有するカラー偏光取得部と、前記複数の撮像素子の出力に基づいて偏光情報を得る偏光情報処理部と、前記複数の撮像素子の出力に基づいて平均カラー輝度情報を得るカラー情報処理部とを備え、前記偏光情報処理部は、前記複数の撮像素子に入射した光の輝度を統合して前記偏光情報を取得する。

好ましい実施形態において、前記複数の偏光ビームスプリッタにおける透過偏波面の角度は相互に異なっている。

好ましい実施形態において、前記複数の偏光ビームスプリッタにおける透過偏波面の角度は相互に±３０°異なっている。

好ましい実施形態において、前記偏光情報処理部は、異なる色について得られる異なる偏光の観測輝度に補正係数を乗算することにより、１つの色に関する輝度補正値を得る。

本発明の画像入力方法は、Ｒ、Ｇ、Ｂの各画像についてカラー偏光情報の観測値を取得するステップと、補正係数を用いて複数のカラー画像の異なる偏光状態における輝度を１つのカラーの輝度に統合するステップと、画素毎に統合された輝度の変動を正弦関数に近似するステップと、正弦関数の最大値と最小値から偏光度画像を生成するステップと、Ｒ、Ｇ、Ｂの平均輝度を求めてカラー輝度画像を生成するステップとを含む。

本発明の画像処理装置によれば、カラー分離特性と偏光分離特性との干渉をなくし、撮像系上でカラー輝度と偏光観測との両立を図ることにより、カラー画像と偏光情報とを同時に得ることができるため、カラー動画に適用することが可能になる。

以下、図面を参照しながら本発明による画像処理装置および画像処理方法の実施形態を説明する。

（第１の実施形態）
図１は、本明細書で説明する本発明の実施形態のすべてに共通する基本的な構成を示すブロック図である。本実施形態の装置は、被写体からリアルタイムにカラー画像情報を取得すると同時に偏光画像情報を取得し、２種類の偏光画像（偏光度画像ρおよび偏光位相画像φ）として出力する。レンズ１００ａおよび絞り１００ｂを通った入射光は、カラー偏光取得部１０１に入射する。この入射光から、カラー偏光取得部１０１はカラー動画像情報および偏光画像情報の両方をリアルタイムに取得することができる。本実施形態のカラー偏光取得部１０１では、色に関する情報（カラー情報）と偏光に関する情報（偏光情報）とを同時に得ることができる。カラー偏光取得部１０１からは、カラー動画像情報および偏光情報画像情報を示す信号が出力され、それぞれ、カラー情報処理部１０２および偏光情報処理部１０３に与えられる。カラー情報処理部１０２およびと偏光情報処理部１０３は、上記信号に対して各種の処理を施し、カラー画像ｌｍ、偏光度画像ρ、偏光位相画像φを出力する。

図２は、カラー偏光取得部１０１の基本的な構成を示す模式図である。図示されている例では、カラーフィルタ２０１およびパターン化偏光子２０２が、撮像素子画素２０３の前面に重ねて設置されている。またカラーフィルタとパターン化偏光子の設置の順番は任意である。入射光は、カラーフィルタ２０１およびパターン化偏光子２０２を透過して撮像素子に到達し、撮像素子画素２０３によって輝度が観測される。このように本実施形態によれば、カラーモザイク型の単板カラー撮像素子を用いてカラー情報および偏光情報の両方を同時に取得することができる。

図３（ａ）は、カラー偏光取得部１０１における撮像面の一部を光軸方向の真上から見た図である。図３（ａ）には、簡単のため、撮像面のうち、１６個の画素（４×４）のみが図示されている。図示されている４つの矩形領域３０１〜３０４は、それぞれ、４個の画素セル上に設置されたベイヤ型カラーモザイクフィルタの対応部分を示している。矩形領域３０１は、Ｂフィルタ領域であり、画素セルＢ１〜Ｂ４をカバーしている。画素セルＢ１〜Ｂ４には、それぞれ異なる偏光主軸を有するＢ用パターン化偏光子が密着している。ここで、「偏光主軸」とは、偏光子を透過する光の偏波面（透過偏波面）に平行な軸である。本実施形態では、同一色の画素内において異なる角度の透過偏波面を有する偏光子単位（微小偏光板）が隣接して配置されている。より詳細には、透過偏波面の方向が相互に異なる４種類の偏光子単位がＲ、Ｇ、Ｂの各同一色の画素内に配置されている。１つの偏光子単位は、１つ微細な偏光画素に対応している。図３（ａ）では、個々の偏光画素に対して、Ｇ１などの符合が与えられている。

図３（ｂ）は、Ｂ用パターン化偏光子が密着する４つの微細偏光画素に割り当てられる偏光主軸を示している。図３（ｂ）において、各微細偏光画素に記載された直線は、微小偏光板の偏光主軸方向を模式的に示している。図３（ｂ）の例では、４つの微細偏光画素が、それぞれ、角度Ψｉ＝０°、４５°、９０°、１３５°の偏光主軸を有している。

矩形領域３０２、３０４の画素には、それぞれ、４個のＧ用パターン化偏光子が密着し、矩形領域３０３の画素には、４個のＲ用パターン化偏光子が密着している。図中、参照符号「３０５」で示される位置は、本撮像系における４画素を一括した仮想的な画素位置を示している。各矩形領域３０２〜３０４のパターン化偏光子も、図３（ｂ）に示すように異なる４つの偏光主軸を有する部分に分割されている。

図４（ａ）は、カラー偏光取得部１０１における画素配列の他の例を示す図である。この例では、４５°傾いた３×３ブロック内にＧ画素が十文字型に配置されており、Ｇ画素の周囲の４画素にＲ、Ｇが交互に配置される。図４（ｂ）は、各カラー画素の微細構造を示しており、各カラー画素は、４種類の微細偏光画素から構成されている。

このように本実施形態では、各カラー画素に対して、異なる偏光主軸を有する複数の微細偏光画素が包含される点に特徴を有しており、カラーモザイク配列自体は任意である。以下の説明では、個々の微細偏光画素を「偏光画素」と称することとする。

図５（ａ）から（ｃ）は、それぞれ、Ｂ、Ｇ、Ｒ偏光画素の波長特性を模式的に示すグラフである。各グラフの縦軸は透過光の強度、横軸は波長である。Ｂ、Ｇ、Ｒ用の偏光画素は、Ｂ、Ｇ、Ｒの各波長帯域においてＴＭ（Ｔｒａｎｓｖｅｒｓｅ Ｍａｇｎｅｔｉｃ Ｗａｖｅ）波を透過し、ＴＥ（Ｔｒａｎｓｖｅｒｓｅ Ｅｌｅｃｔｒｉｃ Ｗａｖｅ）波を反射（透過せず）する偏光特性を有している。ＴＭ波は、磁場成分が入射面に対して横向きの波であり、ＴＥ波は、電場成分が入射面に対して横向きの波である。

図５（ａ）には、Ｂ偏光画像の偏光特性４０２、４０３と、Ｂ用カラーフィルタの透過特性４０１とが示されている。偏光特性４０２、４０３は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。

図５（ｂ）には、Ｇ偏光画像の偏光特性４０５、４０６と、Ｇ用のーカラーフィルタの透過特性４０４とが示されている。偏光特性４０５、４０６は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。

図５（ｃ）には、Ｒ偏光画像の偏光特性４０８、４０９と、Ｒ用カラーフィルタの透過特性４０７とが示されている。偏光特性４０８、４０９は、それぞれ、ＴＭ波およびＴＥ波の透過率を示している。

図５（ａ）から（ｃ）に示すような特性は、例えば非特許文献２に記載されたフォトニック結晶を用いて実現することができる。フォトニック結晶の場合、その表面に形成された溝に平行な電場ベクトル振動面を持つ光がＴＥ波、垂直な電場ベクトル振動面を持つ光がＴＭ波となる。

本実施形態で重要な点は、図５（ａ）から（ｃ）に示すように、Ｂ、Ｇ、Ｒの透過波長帯域の各々において偏光分離特性を示すパターン化偏光子を用いることにある。

図６は、Ｇのカラーフィルタの透過域と、偏光特性４１０１、４１０２によって定まる偏光分離域との間で波長がずれている場合を示している。このような特性を示す偏光子によれば、本発明の目的とする動作を行うことはできない。

モノクロ輝度と偏光フィルタとを使用する場合には、偏光分離特性を示す波長域の最適化は不要であったが、カラーの画素ごとに偏光情報を取得する場合は、カラーの分離特性と偏光の分離特性と整合させる必要がある。

本明細書では、偏光画素における偏光主軸の方位を表示する４つの数字「１、２、３、４」と、カラーを区別するため３つの符号「Ｒ、Ｇ、Ｂ」の組合せ（例えば「Ｒ１」や「Ｇ１」など）を用いて、偏光画素の特性を示すこととする。偏光画素Ｒ１および偏光画素Ｇ１は、数字が同じであるため、偏光主軸の方向は一致しているが、ＲＧＢ符号が異なるため、透過する光の波長帯域が異なる偏光画素に相当している。本実施形態では、このような偏光画素の配列を、図２に示すカラーフィルタ２０１およびパターン化偏光子２０２の組合せによって実現している。

被写体の特に明るい鏡面反射部分に含まれる偏光成分や、被写体の影領域に含まれる偏光成分などを確実に取得するため、撮像素子の輝度ダイナミックレンジとビット数はなるべく大きいこと（例えば１６ｂｉｔ）が望ましい。

図２に示す構成によって偏光画素毎に取得された輝度の情報は、図１の偏光情報処理部１０３で処理される。以下、この処理を説明する。

図７は、方向が異なる偏光主軸（Ψｉ＝０°、４５°、９０°、１３５°）を有する４種類の偏光子を透過した光の輝度５０１〜５０４を示している。ここで、偏光主軸の回転角ψがψ_iのときにおける観測輝度をＩ_iとする。ただし、「ｉ」は、１以上Ｎ以下の整数、「Ｎ」はサンプル数とする、図７に示す例では、Ｎ＝４であるため、ｉ＝１、２、３、４となる。図７には、４画素のサンプル（ψi，Ｉi）に対応する輝度５０１〜５０４が示されている。

偏光主軸の角度Ψｉと輝度５０１〜５０４との関係は、正弦関数によって表現される。図７では、輝度５０１〜５０４の４点が１本の正弦関数カーブ上に位置するように記載されているが、より多くの観測輝度に基づいて正弦関数カーブを決定した場合、観測輝度の一部が正弦関数カーブ上から僅かに外れる場合もあり得る。

なお、本明細書における「偏光情報」とは、輝度の偏光主軸角度に対する依存性を示す正弦関数カーブにおける振幅変調度および位相情報を意味するものとする。

実際の処理では、図３（ａ）に示す同一カラー領域３０１〜３０４ごとに内部の４個の画素輝度値をサンプルとして、パターン化偏光子の主軸角ψに対する反射光輝度Ｉを以下のように近似する。

ここで図５に示すようにＡ、Ｂ、Ｃは定数であり、それぞれ、偏光輝度の変動カーブの振幅、位相、平均値を表現している。（式１）は、以下のように展開できる。

ただし、ＡおよびＢは、それぞれ、以下の（式３）および（式４）で示される。

以下の（式５）を最小にするＡ、Ｂ、Ｃを求めれば、輝度Ｉと偏光主軸角Ψとの関係を（式１）の正弦関数によって近似できる。

以上の処理で１つのカラーについて正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。

こうして、偏光度ρを示す偏光度画像と偏光位相φを示す偏光位相画像が求められる。偏光度ρは、該当画素の光が偏光している程度を表し、偏光位相φは、該当画素の光の部分偏光の主軸角度を表している。なお、偏光の主軸角度は０と１８０°（π）は同一である。値ρおよびφ（０≦φ≦π）は、それぞれ、以下の（式６）および（式７）によって算出される。

なお、本実施形態の画像処理装置は、偏光度画像ρと偏光位相画像φとを出力しているが、出力する偏光情報は、図７の正弦関数から得られる情報であれば、他の情報の組であってもよい。たとえば、正弦関数の最高輝度Ｉｍａｘ、最低輝度Ｉｍｉｎの値と、それぞれの値をとる角度Ψｍａｘ＝φ、Ψｍｉｎなどの組み合わせを偏光情報として出力してもよい。

図８は、球体であるプラスチック製ボールの被写体の入力画像である。図９（ａ）および（ｂ）は、それぞれ、図８の被写体に対する、偏光度画像ρ（ｘ、ｙ）および偏光位相画像φ（ｘ，ｙ）の例を示している。図９の画像は、各画像において、偏光度ρ、偏光位相φが大きいほど、高い明度を示すように表示されている。

図１０（ａ）および（ｂ）は、図９の画像を説明するための模式図である。偏光度画像ρ（ｘ，ｙ）では、カメラの視線方向とボールの表面法線とが同一になる中心付近から方位７１０１の向きに画素位置が離れるほど、その画素の偏光度ρは増加する。また、ボールの表面法線がカメラの視線方向に対して９０度に近くなるボールの遮蔽エッジ（背景との境界）付近では、偏光度ρが最大になっている。図１０（ａ）では、この偏光度ρを等高線で模式的に表現した。

図１０（ｂ）の偏光位相画像φ（ｘ，ｙ）では、位相＝０度を示す画像の天地方向の垂線に対して偏光位相が１８０度周期で球体の周囲を反時計回りに矢印７１０２、７１０３の向きに単調増加していることがわかる。これら偏光情報画像によれば、偏光度ρと偏光位相φが、被写体の表面法線の２自由度の向きに相当していることがよくわかる。すなわち偏光情報が被写体の形状を推定することが可能になる。

なお、本実施形態では、被写体の反射光のうち拡散反射成分の偏光度画像と偏光位相画像を出力としているが、これは鏡面反射成分でもよく、その場合偏光位相φが９０°異なるものとなる。

また偏光情報としては、（ρ，φ）という組み合わせの他、図５の正弦関数から得られる情報であれば、他の情報の組であってもよく、その情報から生成される画像でもよい。たとえば偏光情報から被写体の拡散反射成分と鏡面反射成分を分離することが応用面で重要である。これを本発明で実行するには、鏡面反射領域の偏光に対してρ（ｘ，ｙ）に一定の比率を乗じて原画像から減算すればよい。このようにして生成された画像の例を図１１（ａ）から（ｄ）に示す。

図１に示すカラー情報処理部１０２は、カラー偏光取得部１０１から出力される情報を用いて、カラー輝度を計算する。偏光子を透過した光の輝度は、偏光子に入射する前の光が有する本来の輝度とは異なる。非偏光照明の場合、理論的には、偏光のすべての偏光主軸における観測輝度を平均化した値が偏光子に入射する前の光が有する本来の輝度に相当する。偏光画素Ｒ１における観測輝度をＩ_R1と表現すると、以下の（式８）に基づいて、カラー輝度を算出することができる。

各偏光画素における輝度を得ることにより、通常のカラーモザイク画像を生成できる。モザイク画像に基づいて各画素でＲＧＢ画素値を有するカラー画像へ変換することにより、カラー画像Ｉｍが生成される。このような変換は、例えばベイヤーモザイクの補間方法などの公知の補間技術を用いて実現される。

カラー画像ｌｍ、偏光度画像ρ、偏光位相画像φの各々における各画素の輝度および偏光情報は、図３（ｂ）に示す４つの偏光画素を用いて得られるため、個々の輝度および偏光情報は、図３（ｂ）に示す４つの偏光画素の中心に位置する仮想画素点３０５における値を示していると考えることができる。従って、カラー画像および偏光画像の解像度は、いずれも、撮像素子の解像度の縦１／２×横１／２に低下する。

しかしながら本実施形態では、図３や図４に示すように、１色のカラーモザイク画素内に複数の微細な偏光子が存在するため、微細画像にて４分割しないカラーモザイク画素を用いる場合の解像度と比較した場合には同等の解像度である。

次に、図１２を参照しながら、図１におけるカラー情報処理部１０２および偏光情報処理部１０３の動作を説明する。

まず、最初にカラー偏光取得部１０１にてカラー動画像と偏光情報画像を同時にリアルタイムに取得する。ステップＳ８０１〜Ｓ８０３において、カラー動画像のＲ、Ｇ、Ｂの各画素における複数の偏光輝度の観測値を取得する。ステップＳ８０１〜Ｓ８０３の順序は任意であり、並列的に実行されてもよい。具体的には、Ｒ、Ｇ、Ｂのカラーモザイク画素内で４種類の偏光輝度を取得する。偏光輝度を示す信号は、偏光情報処理部１０３に送られ、ステップＳ８０４〜Ｓ８０８において、以下のように処理される。

すなわち、ステップＳ８０４〜Ｓ８０６の各々において、Ｒ画素、Ｇ画素、Ｂ画素の各々から得られる変動輝度に基づいて、正弦関数パラメータを算出する。正弦関数パラメータは、前述の（式１）におけるＡ、Ｂ、Ｃで規定される。ステップＳ８０４〜Ｓ８０６の処理も、互いに独立しているため、任意の順序で行うことがであり、並列的に実行されてもよい。

その後、図１のカラー情報処理部１０２により、ステップＳ８０８の処理が実行される。具体的には、前述の（式８）を用いて、Ｒ、Ｇ、Ｂの平均輝度が求められ、カラー輝度画像Ｉ（ｘ，ｙ）が生成される。

本実施形態の画像処理装置によれば、以下に示す従来技術の課題１）、２）を解決することができる。
１）カラー分離特性と偏光特性の干渉
２）カラー輝度取得と偏光情報取得の両立が困難

すなわち、課題１）について、本実施形態によれば、Ｒ、Ｇ、Ｂのカラー別に各波長の狭い帯域で偏光特性が動作する偏光素子を独立に利用して干渉をなくすことができる。また、課題２）について、本実施形態によれば、１つのカラー分離系に偏光情報分離系を完全に包含させ１種類のカラー毎に偏光情報を得ることを可能にする。

なお、本実施形態では、パターン化偏光子にフォトニック結晶を用いているが、偏光素子は、フィルム型の偏光素子、ワイヤーグリッド型、その他の原理による偏光素子であってもよい。

（第２の実施形態）
以下、本発明による画像処理装置の第２の実施形態を説明する。

第１の実施形態では、単板カラー撮像系を使用していたため、本来の撮像素子が有している解像度よりも、解像度が低下していた。このような解像度の低下は、カラーを光線の入射位置に応じて分離するカラーモザイクフィルタに起因している。本実施形態では、カラーモザイクフィルタに代えて、同一領域に入射した光を波長帯域に応じて異なる色に分離する色分解素子を用い、それによって第１の実施形態よりも解像度を高めることができる。

本実施形態の基本的構成も、図１のブロック図で示されるため、ここでも適宜、図１を参照する。本実施形態の画像処理装置も、被写体からリアルタイムにカラー画像情報を取得すると同時に偏光画像情報を取得し、２種類の偏光画像（偏光度画像、および偏光位相画像）として出力する。レンズ１００ａおよび絞り１００ｂを通った光は、カラー偏光取得部１０１に入射し、この入射光から、カラー偏光取得部１０１がカラー動画像情報および偏光画像情報の両方をリアルタイムに取得する。後述するように、本実施形態のカラー偏光取得部１０１は、色分解プリズムを備えている。カラー偏光取得部１０１からは、カラー動画像情報およびと偏光情報画像情報を示す信号が出力され、それぞれ、カラー情報処理部１０２および偏光情報処理部１０３に送られる。カラー情報処理部１０２およびと偏光情報処理部１０３は、上記信号に対して各種の処理を施し、カラー画像ｌｍ、偏光度画像ρ、偏光位相画像φを出力する。

まず、図１３Ａおよび図１３Ｂを参照しながら、色分解（ダイクロック）プリズムを用いたカラー偏光取得部１０１の最も単純な構成例を説明する。図１３Ａに例示したカラー偏光取得部１０１は、Ｒのパターン化偏光子が付加された撮像素子１２０１、Ｒのパターン化偏光子が付加された撮像素子１２０２、Ｒのパターン化偏光子が付加された撮像素子１２０３を備えており、色分解プリズムによって分立されたＲ、Ｇ、Ｂの光は、それぞれ、撮像素子１２０１、１２０２、１２０３に入射する。

図１３Ｂは、撮像素子１２０１、１２０２、１２０３にそれぞれ付加された３種類のパターン化偏光子の配列を示す図である。この例では、Ｒ、Ｇ、Ｂのパターン化偏光子の各々において、透過偏光面が０度、４５度、９０度、１３５度という組み合わせのパターンが繰り返されている。また、偏光の波長特性は、図５に示す特性を満足する。

図１３Ｂに示す配列の例では、４画素で１セットが構成されるため、図３を参照しながら説明したように、ＲＧＢの各色ごとに偏光情報を取得することができる。また、４画素の輝度を平均することにより、カラー画像も取得できる。

しかしながら、上述の構成例では、人間の視覚特性に重要なＧ画素の空間解像度が低下するという課題が残る。以下、図１３Ｃを参照しながら、この課題を解決したカラー偏光取得部１０１の構成を説明する。

本実施形態のカラー偏光取得部１０１は、色分解プリズム９００と、Ｒ、Ｇ、Ｂ専用の撮像素子９０１、９０２、９０３と、ＲおよびＢ用のパターン化偏光子９０４、９０５とを備えている。パターン化偏光子９０４，９０５における微小な各偏向素子単位が設置された画素を、以下、偏光画素と称する。

色分解プリズム９００を使用することにより、被写体の各画素からＲ、Ｇ、Ｂの画像情報を取得できるため、解像度が向上する。また、本実施形態では、パターン化偏光子をＲ用撮像素子９０１およびＢ用撮像素子９０３の前に配置し、Ｇ用撮像素子９０２の前には配置していない。このため、Ｇ画像の解像度を、Ｒ画像やＢ画像の解像度よりも高めることができる。Ｇ光は、Ｒ、Ｂ光に比べて人間の視覚感度が最も高い色であるため、Ｇ画像を高解像度化することにより、解像度増加の視覚効果を効率的に得ることができる。

図１４（ａ）から（ｃ）は、ＲおよびＢ用のパターン化偏光子９０４、９０５と、対応するＧ用の画素とを示す図である。Ｇ用撮像素子９０２には、パターン化偏光子が設置されない。Ｂ用のパターン化偏光子９０５、およびＲ用パターン化偏光子９０４は、ぞれぞれ、図５（ａ）および図５（ｃ）に示すように、Ｂ光およびＲ光の波長帯域において偏光特性を有している。Ｒ用パターン化偏光子９０４の偏光主軸は、以下の通りである。

一方、Ｂ用パターン化偏光子９０５の偏光主軸は、以下の通りである。

４種類の偏光画素から得られる偏光情報を表現する画素は、中心画素１００１である。

パターン化偏光子９０４、９０５における配列の特徴は、以下の通りである。
（１）２×２画素からなるブロック内において、偏光主軸の異なる４つの偏光画素が隣接している。
（２）上記の各ブロック内において、隣接する偏光画素の偏光主軸は相互に４５°異なる。
（３）偏光画素Ｒ１〜Ｒ４、Ｂ５〜Ｂ９の偏光主軸は、０°から１８０°までの間に等間隔（２２．５°）で存在している。

これらの性質を満足すれば、偏光画素Ｒ１〜Ｒ４および偏光画素Ｂ５〜Ｂ９の配列順序は任意である。たとえば、図１５（ａ）に示すよう順序で配列されていても良い。図１５（ａ）では、偏光画素Ｒ１〜Ｒ４および偏光画素Ｂ５〜Ｂ８の他の配置例が示されている。なお、図１５（ｂ）の例では、Ｒ画素として偏光画素Ｒ５〜Ｒ８が配列され、Ｂ画素として偏光画素Ｒ１〜Ｒ４が配置されている。ここで、偏光画素に付与される参照符号１〜９により、以下に示すように偏光主軸の角度が規定されている。

このようなパターン化偏光子は、例えば非特許文献２に記載されたフォトニック結晶を用いて作製することができる。

本実施形態では、異なる８つの方位を有する偏光主軸が画素Ｒおよび画素Ｂに分散して配置されているが、これらの画素から得られる輝度情報を統合して処理することにより、合計８点の異なる偏光角度における輝度情報が得られる。以下、この統合化処理の方法を説明する。

図１６は、図１３Ｃに示す構成のカラー偏光取得部１０１を用いて被写体を観測した場合に得られる輝度の偏光主軸方向依存性を示すグラフである。自然界にある被写体は様々である。しかし、金属以外の誘電体を想定した場合、照明が被写体に照射されて得られる反射光の性質は、フレネル反射の理論で記述される。そのため、鏡面反射および拡散反射のいずれの場合においても、その偏光の性質は、Ｒ、Ｇ、Ｂの波長帯域で大きく変化はしない。すなわち、Ｒ、Ｇ、Ｂの輝度変動を示す正弦関数は、すべて、周期１８０°であり、等しい位相で変化する。したがって、（式６）の偏光度ρの関係式を用いて、３種類の輝度変動は、（式９）に示す式で表現できる。

屈折率η、光の入射角、および出射角は、Ｒ、Ｇ、Ｂの間で実質的に一定であるため、偏光度ρもＲ、Ｇ、Ｂの間で一定となる。このため、（式９）における３種類の正弦関数の変動部分は、Ｒ、Ｇ、Ｂに共通となる。

図１６に示すカーブ１１０１、１１０２、１１０３は、それぞれ、Ｒ、Ｇ、Ｂの輝度変化を示している。また、ライン１１０４、１１０５、１１０６は、それぞれ、Ｒ、Ｇ、Ｂの平均輝度を示す。

本実施形態では、図１３Ｃに示す構成を有しているため、Ｇ撮像素子９０２にはパターン化偏光子が設置されていない。このため、Ｇの輝度変動観測値は存在せず、カーブ１１０２は、あくまで理論式から求められる曲線にすぎない。しかし、ライン１１０５によって示されるＧの輝度平均値は理論値ではなく、図１４に示す画素Ｇ₀₀から画素Ｇ₁₁の４つ画素の輝度の平均値である。この平均値は、点１００１における輝度値として観測される。図１６における点１１０７は、Ｇの輝度平均値が実測値であることを示すため、グラフ中に記載したものである。

白点で示される輝度Ｉ_R1〜Ｉ_R4は、図１４に示すＲ用パターン化偏光子９０４の４画素での観測輝度を示し、黒点で示される観測輝度Ｉ_R5〜Ｉ_R8は、Ｂ用パターン化偏光子９０５の４画素での観測輝度を示す。すなわち、４方向の偏光情報は、ＲおよびＢの２種のカラー成分に分散している。本発明者らの実験によれば、偏光主軸が４方向の輝度測定値のみに基づいて１本の輝度変化カーブを決定すると、ノイズが多くなる場合があり、輝度変化カーブを高い精度で決定することが容易ではない。しかし、本実施形態のように偏光主軸が８方向の輝度測定値を用いると、ノイズが低減されるため、輝度変化カーブを高い精度で決定することができる。異なる色について得られる輝度測定値に基づいて１つの輝度変化カーブを決定することを「統合化」と称することにする。統合化のためには、測定された輝度Ｉ_R1〜Ｉ_R4、Ｉ_B5〜Ｉ_B8に対して、（式１０）に示す変換を実施して補正を行う必要がある。補正後の輝度値を用いて統合化することにより、正弦関数カーブを決定する。

図１７は、この統合化の結果を示している。本来は存在しない仮想的なＧの輝度変動カーブに合致するようにＲおよびＢの輝度観測値を補正して統合化している。輝度Ｉ’_R1〜Ｉ’_R4、Ｉ’_B5〜Ｉ’_B8は、平均輝度がライン１１０５となる正弦関数カーブ上に位置する。これら８点の輝度補正値について、（式５）に示す最小２乗誤差が最小となる正弦関数カーブを算出する。

ここでは、Ｇについて仮想的な輝度変化カーブを設定し、ＲおよびＢの輝度がＧの輝度変化カーブ上に位置するようにして統合化を行っているが、Ｇ以外の色の輝度カーブ上に他の色の輝度が位置するように統合化を行っても良い。

図１８は、Ｂの輝度をＲの輝度にあわせこんだ統合化の例を示す。この場合、Ｂの輝度Ｉ_B5〜Ｉ_B8からＢの輝度補正値Ｉ”_B5〜Ｉ”_B8を、以下の（式１１）に基づいて算出する。

ＲおよびＢの輝度値は、それぞれ、理論的に周期１８０度の正弦関数カーブ上にあることがわかっている。このため、ＲおよびＢの輝度値は、それぞれ、同一カラーで位相（偏光主軸の方向）が等間隔でずれた４点における輝度の観測値を平均した値によって与えられる。すなわち、ＲおよびＢの輝度値は、以下の（式１２）によって表される。

一方、Ｇの輝度値は、Ｇ用撮像素子９０２の前に偏光子が存在しないため、輝度の観測値に等しい。

本実施形態によれば、Ｇについては高解像度画像が得られ、ＲおよびＢについては、Ｇに比べて解像度が１／４に低下した画像が得られることになる。しかし、人間の視感度に最も影響を与えるＧの解像度が高いため、全体して、人間の目に感じる画質はあまり劣化しないと期待できる。

本実施形態においては色分解プリズムを使うことにより解像度度が向上することを述べたが、色分解においてカラーモザイクフィルタのように光吸収に起因するロスを発生しないという利点もある。概算でカラーモザイクフィルタに比較して約３倍の光量を有効に使うことができるため、感度向上も同時に達成される。

図１９は、本実施形態の動作を図１における画像処理装置に対応させて説明するための図である。

まず、最初にカラー偏光取得部１０１にてカラー動画像と偏光情報画像を同時にリアルタイムに取得する。ステップＳ１３０１〜Ｓ１３０３において、カラー動画像のＲ、Ｇ、Ｂの各画素における複数の偏光輝度の観測値を取得する。ステップＳ１３０１〜Ｓ１３０３の順序は任意であり、並列的に実行されてもよい。Ｇについては高解像度にて実際の輝度が取得されるが、ＲとＢについては低解像度で偏光子を透過した輝度のみが取得される。

両者の解像度が異なるため偏光情報画像としては、図１４の位置１００１において、ＲおよびＢの偏光情報を統合化する。ステップＳ１３０４において、（式１０）に従い、補正係数Ｋｒｒを用いてＲ画像の異なる偏光輝度をＧに統合する。同様に、ステップＳ１３０５において、補正係数Ｋｂｂを用いてＢ画像の異なる偏光輝度をＧに統合する。これらのステップＳ１３０４〜Ｓ１３０６の順番も任意であり、並列に実行されてもよい。

ステップＳ１３０６では、図１４の位置１００１における偏光度画像ρ（ｘ，ｙ）および偏光位相画像φ（ｘ，ｙ）が生成される。

図１に示すカラー情報処理部１０２では、（式１１）に基づいて、ＲおよびＢの位置１００１に相当する低解像度画像を生成し（ステップＳ１３０７）、Ｇの高解像度画像と画素位置を合わせてカラー輝度画像Ｉｍ（ｘ，ｙ）が生成される（Ｓ１３０８）。

本実施形態の画像処理装置によれば、以下に示す従来技術の課題１）、２）を解決することができる。
１）カラー分離特性と偏光特性の干渉
２）カラー輝度取得と偏光情報取得の両立が困難であること

すなわち、課題１）について、本実施形態によれば、Ｒ、Ｇ、Ｂのカラー別に各波長の狭い帯域で偏光特性が動作する偏光素子を独立に利用して干渉をなくすことができる。また、課題２）について、本実施形態では、色分解プリズムによるＲ、Ｇ、Ｂ分離を行ない、Ｇは通常のカラー輝度画素とし、ＲおよびＢを偏光画素とする。不足する偏光角度情報は、ＲおよびＢの観測輝度値に一定の補正係数を乗じて統合化することによって求めている。これにより実質的に６種類の偏光角度情報を得るようにしてカラー輝度と偏光情報の取得の両立を実現できる。

なお、本実施形態でも、パターン化偏光子にフォトニック結晶を用いているが、偏光素子は、フィルム型の偏光素子、ワイヤーグリッド型、その他の原理による偏光素子であってもよい。

（第３の実施形態）
以下、本発明による画像処理装置の第３の実施形態を説明する。

第２の実施形態では、パターン化偏光子を使用していたため、特にＲおよびＢの解像度が本来の撮像素子における解像度よりも低下していた。本実施形態では、ＲおよびＢの解像度低下を回避できる。

本実施形態の基本的構成も、図１のブロック図で示されるため、ここでも適宜、図１を参照する。本実施形態の画像処理装置も、被写体からリアルタイムにカラー画像情報を取得すると同時に偏光画像情報を取得し、２種類の偏光画像（偏光度画像、および偏光位相画像）として出力する。レンズ１００ａおよび絞り１００ｂを通った光は、カラー偏光取得部１０１に入射し、この入射光から、カラー偏光取得部１０１がカラー動画像情報および偏光画像情報の両方をリアルタイムに取得する。後述するように、本実施形態のカラー偏光取得部１０１は、色分解プリズムを備えている。カラー偏光取得部１０１からは、カラー動画像情報およびと偏光情報画像情報を示す信号が出力され、それぞれ、カラー情報処理部１０２および偏光情報処理部１０３に送られる。カラー情報処理部１０２およびと偏光情報処理部１０３は、上記信号に対して各種の処理を施し、カラー画像ｌｍ、偏光度画像ρ、偏光位相画像φを出力する。

図２０を参照して、本実施形態におけるカラー偏光取得部１０１の構成を説明する。

図２０は、本実施形態におけるカラー偏光取得部１０１の構成を示す図である。このカラー偏光取得部１０１は、色分解プリズム９００と、Ｒ、Ｇ、Ｂ用の偏光ビームスプリッタ１４０７、１４０８、１４０９を備えている。Ｒ用の偏光ビームスプリッタ１４０８で分離されたＲ光は、それぞれ、Ｐ偏光成分を取得する撮像素子１４０１およびＳ偏光成分を取得する撮像素子１４０２に入射する。同様に、Ｇ用の偏光ビームスプリッタ１４０７で分離されたＧ光は、それぞれ、Ｐ偏光成分を取得する撮像素子１４０３、およびＳ偏光成分を取得する撮像素子１４０４に入射し、Ｂ用の偏光ビームスプリッタ１４０９で分離されたＢ光は、それぞれ、Ｐ偏光成分を取得する撮像素子１４０６およびＳ偏光成分を取得する撮像素子１４０５に入射する。

本実施形態では、パターン化偏光子の代わりに、偏光ビームスプリッタを用いて偏光情報を取得しているため、解像度の低下が無く、また、視覚感度の高いＧ成分からも偏光情報を取得できる。

なお、「偏光ビームスプリッタ」は、入射光をその偏光成分によって分離するフィルタであり、入射光線の光軸に対して４５°の角度で傾斜したフィルタ面が、Ｐ偏光成分を透過、Ｓ偏光成分を反射する。偏光ビームスプリッタの動作波長域は、パターン化偏光子の場合と同様に、可視光全域にわたるものではなく、比較的狭い。本実施形態では、Ｒ用ビームスプリッタ１４０７と、Ｇ用ビームスプリッタ１４０８と、Ｂ用のビームスプリッタ１４０８は、いずれも、図５のように色分解プリズムが３色分解するＲＧＢ波長域に各々の動作波長域が一致するように設計されている。

通常、偏光ビームスプリッタでは、Ｐ成分とＳ成分という直交する２方向の偏光からしか偏光情報が得られない。しかし、本実施形態では、Ｒ用の偏光ビームスプリッタ１４０７およびＢ用の偏光ビームスプリッタ１４０９を、それぞれの光軸まわりに所定の角度だけ回転させて固定することにより、複数の偏光角度における偏光情報を得ることができる。図２０に示す、Ｒ用およびＢ用の撮像素子１４０７、１４０９の記載は、その回転角度が若干不明瞭であるが、図２１は、回転角度をより詳しく説明するための図である。図２０は、Ｒ、Ｇ、Ｂ用の各ビームスプリッタ１４０７〜１４０９が、各々の光軸まわりに回転して固定され、かつ撮像素子もそれに対応して設置されている構成を示す図である。

図２１に示されるように、Ｒ用の偏光ビームスプリッタ１４０７は＋３０°、Ｂ用の偏光ビームスプリッタ１４０９は−３０°、Ｇ用の偏光ビームスプリッタ１４０８に対して回転している。このため、Ｇの偏光は０°および９０°、Ｒの偏光は３０°および１２０°、Ｂの偏光は６０°および１５０°の角度だけ回転した偏光主軸における観測を行うことができる。すなわち、撮像素子１４０１によって、Ｒｐ（Ｒ光のＰ偏光成分）が、撮像素子１４０２によってＲｓ（Ｒ光のＳ偏光成分）が取得される。同様に撮像素子１４０３によって、Ｇｐ（Ｇ光のＰ偏光成分）が、撮像素子１４０４によってＧｓ（Ｇ光のＳ偏光成分）が取得される。また同様に、撮像素子１４０５によって、Ｂｓ（Ｇ光のＳ偏光成分）が、撮像素子１４０６によってＢｐ（Ｂ光のＰ偏光成分）が取得される。

図２２は、図２０および図２１に示すビームスプリッタによって観測される偏光の主軸角度を同一の角度座標上にて示す図である。図２２における符号は、図２０、図２１の対応する撮像素子の参照符合である。輝度が観測される偏光の偏光主軸は、０°から１８０°まで、Ｇｐ、Ｒｐ、Ｂｓ、Ｇｓ、Ｒｓ、Ｂｐの順に３０°ずつ回転している。

図２３は、Ｒの輝度変化カーブ１７０１、Ｇの輝度変化カーブ１７０２、Ｂの輝度変化カーブ１７０３と、Ｒ、Ｇ、Ｂの平均輝度１７０４、１７０５、１７０６を示している。撮像素子１４０３、１４０４で観測される輝度Ｉ_GP、Ｉ_GSは、斜線のサークルで示されている。また、撮像素子１４０１、１４０２で観測される輝度Ｉ_RP、Ｉ_RSは、白いサークルで示され、撮像素子１４０５、１４０６で観測される輝度Ｉ_BS、Ｉ_BPは、黒いサークルで示されている。すなわち、ＰおよびＳ偏光の直交する偏光主軸に関する偏光情報は、Ｒ、Ｇ、およびＢの３種のカラー成分に分散している。理論上、２点の輝度値から１本の正弦関数カーブを決定することは不可能であるので、カラー別に正弦関数カーブを決定することはできない。本実施形態では、各カラーについて観測される輝度値を統合化することにより、正弦関数カーブを決定している。統合化のため、第２の実施形態について説明したように、得られた６個の輝度Ｉ_RP〜Ｉ_BSに対して、（式１３）の変換を実施する。すなわち、補正係数Ｋｒ、Ｋｂを用いてＲおよびＢの輝度をＧの輝度に合わせ込む補正を行う。補正を行った上で統合した輝度のサンプルを用いて、正弦関数カーブの決定を実施する。

図２４は、上記の統合化によって得られた正弦関数カーブを示している。ＲおよびＢの観測値は、統合化され、Ｇの輝度変動カーブ上に位置している。こうして得られる６点の輝度について、（式５）の最小２乗誤差最適化を行うことにより正弦関数カーブを決定すれば、偏光情報を高い精度で求めることができる。

カラー輝度の正弦関数カーブの周期は、周期１８０°であるため、同じカラーで位相が９０°異なる２点の観測値を平均すれば、そのカラーの輝度値が求められる。

このように本実施形態では、偏光ビームスプリッタを用いるため、ＲおよびＢの解像度低下を回避できるのみならず偏光フィルタの光吸収による光量のロスが無くなり、感度の向上を達成することができる。

図２５は、図１における画像処理装置に対応してその動作を説明する図であり、カラー偏光取得部については第３の実施形態について述べるものとする。最初にカラー偏光取得部１０１にてカラー動画像と偏光情報画像を同時にリアルタイムに取得され、その信号は偏光情報処理部１０３に送られ以下のように処理される。まずＳ１９０１〜Ｓ１９０３のステップで１０１にて撮像されたＲ、Ｇ、Ｂの各画像の異なる複数の偏光輝度の観測値を取得する。すなわち、Ｒ、Ｇ、Ｂ画像で各々Ｐ偏光とＳ偏光という２種類の偏光輝度が取得されるため、画像としてはＲ、Ｇ、Ｂ画像が各々２枚取得されることとなる。このＳ１９０１からＳ１９０３の処理順番は任意であり並列に実行されてもよい。

次にＳ１９０４において、補正係数Ｋｒを用いてＲ画像の異なる偏光輝度をＧに統合し、同様にＳ１９０４において補正係数Ｋｂを用いてＢ画像の異なる偏光輝度をＧに統合する。この処理は、（式１３）の処理を用いて実行され、結局Ｒ、Ｇ、Ｂで合計６枚の画像に統合される。このＳ１９０４とＳ１９０５の処理の順番も任意であり並列に実行されてもよい。次に、Ｓ１９０６において、これらの画像を使って画素毎に（式５）を用いて正弦関数、すなわち、パラメータＡ、Ｂ、Ｃを決定する。最後にＳ１９０７にて、（式６）を使って偏光度画像ρ（ｘ、ｙ）が生成される。

カラー情報処理部１０２では、Ｒ、Ｇ、Ｂ画像がＰ偏光とＳ偏光の２枚取得された後、これらから、（式１４）を用いてＲ、Ｇ、Ｂの平均輝度を求めてカラー輝度画像Ｉ（ｘ，ｙ）が生成される。

本発明の画像処理装置は、特別な投光装置などを用いなくても被写体からの偏光情報を取得できるため、各種デジタルスチルカメラ、デジタルムービーカメラ、監視カメラなどに適用可能である。また、今後のカメラの小型化に際して不足すると思われる画像輝度情報に対し、偏光情報から算出される表面の形状情報などを用いて加工処理を行うことが可能になる。

本発明における画像処理装置の構成を示すブロック図である。 カラー偏光取得部の第１実施形態の構成の説明図である。 （ａ）および（ｂ）は、それぞれ、第１の実施形態のカラーフィルタおよびパターン化偏光素子の配列状態の説明図である。 （ａ）および（ｂ）は、それぞれ、第１の実施形態のカラーフィルタおよびパターン化偏光素子の別の配列状態の説明図である。 （ａ）から（ｃ）は、第１の実施形態のパターン化偏光素子の波長特性の説明図である。 パターン化偏光素子のカラー分離特性と偏光分離特性の干渉を説明する図である。 第１の実施形態における正弦関数状輝度変動と観測輝度点を説明する模式図である。 プラスチック球の被写体を示す図である。 （ａ）および（ｂ）は、それぞれ、偏光度画像ρ（ｘ，ｙ）と偏光位相画像φ（ｘ，ｙ）の図である。 （ａ）および（ｂ）は、それぞれ、偏光度画像ρ（ｘ，ｙ）と偏光位相画像φ（ｘ，ｙ）の説明をする模式図である。 （ａ）および（ｂ）は、ぞれぞれ、鏡面反射画像および拡散反射画像を示す写真であり、（ｃ）および（ｄ）は、ぞれぞれ、鏡面反射画像および拡散反射画像を示す模式図である。 第１の実施形態における偏光情報処理部とカラー情報処理部の動作を説明するフローチャートである。 カラー偏光取得部の構成例を示す図である。 （ａ）から（ｃ）は、図１３Ａの構成例におけるＧ、Ｒ、Ｂのパターン化偏光子の配列を示す図である。 カラー偏光取得部の第２の実施形態の構成を示す図である。 （ａ）から（ｃ）は、第２の実施形態におけるＲ、Ｂのパターン化偏光子の配列を示す図である。 （ａ）および（ｂ）は、第２の実施形態におけるＲとＢのパターン化偏光子の別の配列を示す図である。 第２の実施形態における正弦関数状輝度変動と観測輝度点を説明する図である。 第２の実施形態においてカラーに分散した偏光情報のＧへの統合化を説明する図である。 第２の実施形態においてカラーに分散した偏光情報のＲへの統合化を説明する図である。 第２の実施形態における偏光情報処理部とカラー情報処理部の動作を説明するフローチャートである。 カラー偏光取得部の第３の実施形態の構成の説明図である。 （ａ）から（ｃ）は、第３の実施形態における偏光ビームスプリッタの配置を示す図である。 第３の実施形態におけるＲ、Ｇ、Ｂの偏光情報の観測角度を示す図である。 第３の実施形態における正弦関数状輝度変動と観測輝度点を説明する図である。 第３の実施形態においてカラーに分散した偏光情報の統合化を説明する図である。 第３の実施形態における偏光情報処理部とカラー情報処理部の動作を説明するフローチャートである。

符号の説明

１００ａ レンズ
１００ｂ 絞り
１０１ カラー偏光取得部
１０２ 偏光情報処理部
１０３ カラー情報処理部

Claims (11)

1. カラーモザイクフィルタを有する単板カラー撮像素子、および前記カラーモザイクフィルタの同一色画素内において異なる角度の透過偏波面を有する偏光子単位が隣接して配置されたパターン化偏光子を有するカラー偏光取得部と、
   同一色画素内の複数の偏光子単位を透過した光の輝度と前記偏光子単位の透過偏波面の角度との関係を正弦関数で近似する偏光情報処理部と、
   同一色画素内の複数の偏光子単位を透過した光の輝度を平均化することによって平均カラー輝度情報を取得するカラー情報処理部と、
   を備える画像処理装置。
2. 入射光を複数の異なる色に分解する色分解素子、および、各々が前記色分解素子によって分解された異なる色の光を受ける複数の撮像素子を有するカラー偏光取得部と、
   前記複数の撮像素子の出力に基づいて偏光情報を得る偏光情報処理部と、
   前記複数の撮像素子の出力に基づいて平均カラー輝度情報を得るカラー情報処理部と、
   を備え、
   前記複数の撮像素子は、前記分解された異なる色に含まれる第１の色の光から高解像度単色画像を取得する少なくとも１つの高解像度撮像素子と、前記分解された異なる色に含まれる第２の色の光から低解像度画像を取得する少なくとも１つの低解像度撮像素子とを有し、
   前記低解像度撮像素子は、異なる方向に透過偏波面を有する複数の偏光子単位が隣接して配列されたパターン化偏光子を有しており、
   前記偏光情報処理部は、前記複数の偏光子単位を透過した光の輝度を統合して前記偏光情報を取得する、画像処理装置。
3. 前記色分解素子は、入射光をＲ、Ｇ、Ｂの光に分解し、
   前記高解像度単色素子は、Ｇの光を受ける請求項２に記載の画像処理装置。
4. 同一の色の画素について使用される前記偏光子単位の偏光の波長依存特性は、当該色に対応する波長帯域内において概略等しい、請求項１に記載の画像処理装置。
5. 前記パターン化偏光子は、個々の画素について、透過偏波面の角度がθ°だけ異なる（１８０／θ）種類の偏光子単位を有している請求項１に記載の画像処理装置。
6. 前記低解像度撮像素子の数は複数であり、
   複数の低解像度撮像素子に対応する複数のパターン化偏光素子は、全体として、透過偏波面の角度がθ°だけ異なる（１８０／θ）種類の偏光子単位を有している請求項２に記載の画像処理装置。
7. 入射光を複数の異なる色に分解する色分解素子、各々が前記色分解素子によって分解された異なる色の光を受ける複数の偏光ビームスプリッタ、および、各偏光ビームスプリッタの反射光および透過光をそれぞれ受光する一対の撮像素子を含む複数の撮像素子を有するカラー偏光取得部と、
   前記複数の撮像素子の出力に基づいて偏光情報を得る偏光情報処理部と、
   前記複数の撮像素子の出力に基づいて平均カラー輝度情報を得るカラー情報処理部と、
   を備え、
   前記偏光情報処理部は、前記複数の撮像素子に入射した光の輝度を統合して前記偏光情報を取得する、画像処理装置。
8. 前記複数の偏光ビームスプリッタにおける透過偏波面の角度は相互に異なっている請求項７に記載の画像処理装置。
9. 前記複数の偏光ビームスプリッタにおける透過偏波面の角度は相互に±３０°異なっている請求項８に記載の画像処理装置。
10. 前記偏光情報処理部は、異なる色について得られる異なる偏光の観測輝度に補正係数を乗算することにより、１つの色に関する輝度補正値を得る、請求項２または７に記載の画像処理装置。
11. Ｒ、Ｇ、Ｂの各画像についてカラー偏光情報の観測値を取得するステップと、
    補正係数を用いて複数のカラー画像の異なる偏光状態における輝度を１つのカラーの輝度に統合するステップと、
    画素毎に統合された輝度の変動を正弦関数に近似するステップと、
    正弦関数の最大値と最小値から偏光度画像を生成するステップと、
    Ｒ、Ｇ、Ｂの平均輝度を求めてカラー輝度画像を生成するステップと、
    を含む画像入力方法。

Images