JP6213061B2 - 撮像装置および画像処理装置および車両 - Google Patents

Description

この発明は、撮像装置および画像処理装置および車両に関する。

カメラ等の撮像装置において、撮像素子上に「領域分割した偏光フィルタ」を配置し、ピクセルが取得する光の偏光方向を変えて撮像を行うことが知られている。

このようにして、撮像画像の偏光画像情報を得ることにより、輝度画像情報だけでは判断の付かない物体の判別を行うことができる。

偏光画像情報としては、撮像素子の各画素における「偏光度や差分偏光度」の２次元配列情報が用いられることが多い（特許文献１）。

偏光度あるいは差分偏光度は、撮像素子により直接に得られるものではなく、偏光画像情報を輝度画像情報で除算する演算を実行して得られる量である。

このように、偏光度や差分偏光度は「除算」と言う演算を経て得られるものであるため、分母の輝度画像情報が微小になると、偏光度等は極めて大きな値になる。

このような大きな値は「適正な値」ではなく、ノイズ成分が拡大されたものであり、「ノイズ成分が拡大された偏光度等」を用いると、適正な撮像画像は得られない。

輝度画像情報が小さい場合とは、例えば、夜間撮影の場合や、道路の路面が黒色に近く被写体の反射率が低い場合等である。

このような場合にノイズ成分が拡大されると、適正な撮像が困難になる。
このような「輝度画像情報」が微小であることに起因するノイズ成分の拡大の問題を扱った先行技術文献は、発明者の知る限りにおいて存在しない。

この発明は、輝度画像情報が小さい場合においても適正な撮像が可能な撮像装置の実現を課題とする。

この発明の撮像装置は、撮影対象物の像を結像する撮像光学系と、該撮像光学系による前記撮影対象物の像を受光し、１次輝度画像情報：Ｓ_０と偏光画像情報とを出力する受光部と、前記１次輝度画像情報：Ｓ_０を含む２次輝度画像情報により、前記偏光画像情報を除算して、偏光画像成分を得る偏光画像成分生成部と、前記偏光画像成分を用いる重畳用偏光画像成分を、各ピクセルの輝度の変化として、前記１次輝度画像情報を与える輝度画像情報に重畳して、輝度偏光重畳画像情報を出力する輝度偏光重畳部とを有し、前記偏光画像成分生成部における除算の除数となる２次輝度画像情報は、前記１次輝度画像情報：Ｓ_０を含む関数：ｆ(Ｓ_０)であって、該関数：ｆ(Ｓ_０)は、１次輝度画像情報：Ｓ_０＝０もしくはＳ_０≒０において、所定の有限値となるように設定されていることを特徴とする。

この発明の撮像装置は、偏光画像成分を生成する際に、偏光画像情報を除算する２次輝度画像情報が、１次輝度画像情報：Ｓ_０が０となっても有限の値に留まる。

従って、偏光画像成分におけるノイズ成分が無制限に拡大されることがない。

物体による反射のモデルを説明するための図である。 撮像装置の実施の１形態を説明する図である。 ノイズ成分の拡大防止効果を説明するための図である。 ノイズ成分の拡大防止効果を説明するための図である。

発明の実施の形態を説明するのに先立って、先ず、偏光の取り扱いを説明する。

撮像装置は一般に、撮影対象物による反射光を結像させて撮像を行う。

従って、先ず、撮影対象物である物体の反射特性を説明する。

物体表面の反射特性は、双方向反射分布関数（Bi-directional Reflectance Distribution Function 以下「ＢＲＤＦ」と表記する）により表現される。
物体表面上の「ある点におけるＢＲＤＦ」は入射方向と反射方向の双方向に依存し、照明方向からの入射光の強さに対する、観測方向への反射光の強さの比として定義される。

「偏光現象」を記述する反射モデルは、種々提案されている。

以下では、鏡面反射成分として「Torrance Sparrowモデル」を用い、拡散反射成分として「Lambertモデル」を用いて説明する。

図１は、物体ＯＢによる反射のモデルを説明するための図である。図１において「Ｎ」は物体ＯＢの反射位置における「外向き法線ベクトル」を表す。

「Ｌ」は、前記反射位置から光源へ向かうベクトルで「光源ベクトル」と呼ぶ。「Ｖ」は、前記反射位置から観察位置へ向かうベクトルで「視線方向ベクトル」と呼ぶ。

「Ｈ」は、光源ベクトル：Ｌと視線方向ベクトル：Ｖとの成す角を２等分する方向のベクトルで簡単に「２等分方向ベクトル」と呼ぶ。

これら各ベクトル：Ｎ、Ｌ、Ｖ、Ｈは「同一平面」上に位置する。

この同一平面内で、角：ψ、θ_Ｌ、α、θ_ｉ、及びθを、図の如くに定める。

物体ＯＢによる「Ｓ偏光ＢＲＤＦ：ρ_Ｓ(ψ，θ)」は、以下のように与えられる。
ρ_Ｓ(ψ，θ)＝ｋ_ＳＲ_Ｓ(θ_ｉ)Ｄ＋ｋ_ｄｃｏｓθ_Ｌ （Ａ）
同様に、「Ｐ偏光ＢＲＤＦ：ρ_Ｐ(ψ，θ)」は、以下のように与えられる。
ρ_Ｐ(ψ，θ)＝ｋ_ＰＲ_Ｐ(θ_ｉ)Ｄ＋ｋ_ｄｃｏｓθ_Ｌ （Ｂ）
式（Ａ）、（Ｂ）における右辺第１項が鏡面反射モデル項(Torrance Sparrowモデル)、第２項が拡散反射モデル項(Lambertモデル)である。

これらの式（Ａ）、（Ｂ）において、「ｋ_Ｓ」はＳ偏光の鏡面反射係数、「ｋ_Ｐ」はＰ偏光の鏡面反射係数を表し、「ｋ_ｄ」は拡散反射係数を表す。

また、「Ｒ_Ｓ(θ_ｉ)およびＲ_Ｐ(θ_ｉ)」は、それぞれＳ偏光、Ｐ偏光に対する「フレネル反射率」であり、以下の式により与えられる。

Ｒ_Ｓ(θ_ｉ)＝{(ｎ_１ｃｏｓθ_ｉ−ｎ_２ｃｏｓθ_ｉ')/(ｎ_１ｃｏｓθ_ｉ＋ｎ_２ｃｏｓθ_ｉ')}²
Ｒ_Ｐ(θ_ｉ)＝{(ｎ_１ｃｏｓθ_ｉ'−ｎ_２ｃｏｓθ_ｉ)/(ｎ_１ｃｏｓθ_ｉ'＋ｎ_２ｃｏｓθ_ｉ)}²
ここに、ｎ_１、ｎ_２は、それぞれ空気および物体ＯＢの屈折率である。

また、角：θ_ｉ'は、角：θ_ｉおよび屈折率：ｎ_１、ｎ_２と以下の関係にある。

ｓｉｎθ_ｉ'＝（ｎ_１/ｎ_２）ｓｉｎθ_ｉ
従って、「θ_ｉ'」は、次式で与えられる。
θ_ｉ'＝ａｒｃｓｉｎ｛（ｎ_１/ｎ_２）ｓｉｎθ_ｉ｝ 。

上記フレネル反射率の項により、反射モデルの挙動として偏光依存性が反映される。

上記の式（Ａ）、（Ｂ）における「Ｄ」は、反射位置における微小面積の「法線分布項」である。

法線分布項：Ｄは、以下のように表される。

Ｄ＝ｅｘｐ(−α^２/２ａ^２)
ここに、「α」は、右辺の分布関数の中心座標値であり、図２における角度パラメータ：αに対応している。また、「ａ」は分布関数における標準偏差である。

なお、「ａ」は微小面積の「角度分布に関するパラメータ」である。法線分布項：Ｄは、正規分布を表す「ガウス分布」となっている。

次に、偏光情報として「偏光度に基づく偏光情報」と「差分偏光度に基づく偏光情報」を説明する。

「偏光度（Degree of polarization）」は、偏光現象に関する周知のストークスパラメータ：Ｓ_０、Ｓ_１、Ｓ_２、Ｓ_３を用いて定義される量であり、以下「ＤＯＰ」と略記する。

ＤＯＰは、ストークスパラメータ：Ｓ_０〜Ｓ_３を用いて、以下の式により定義される。

ＤＯＰ＝｛√（Ｓ_１ ^２＋Ｓ_２ ^２＋Ｓ_３ ^２）｝/Ｓ_０ 。

「差分偏光度（Sub−DOP）」は、ストークスパラメータ：Ｓ_０、Ｓ_１を用いて以下のように定義される量であり、以下「ＳＤＯＰ」と略記する。

ＳＤＯＰ＝Ｓ_１/Ｓ_０＝{Ｉ(０，φ)−Ｉ(９０，φ)}/{Ｉ(０，φ)＋Ｉ(９０，φ)}
ここに、Ｉ(０，φ)は、軸角度を０度としたときの「偏光フィルタを通した光強度」であり、Ｉ(９０，φ)は軸角度を９０度としたときの偏光子を通した光強度である。

ストークスパラメータ：Ｓ_２＝Ｓ_３＝０の場合には、以下の関係がなりたつ。
ＤＯＰ＝｜ＳＤＯＰ｜
即ち、差分偏光度：ＳＤＯＰは偏光度：ＤＯＰの特殊な場合である。

この明細書では、以下、これらＤＯＰ、ＳＤＯＰに即して偏光情報を説明する。

ＤＯＰおよびＳＤＯＰを定義する上記定義式において、分母（除数）となるストークスパラメータ：Ｓ_０で与えられる量を「輝度情報」と呼ぶ。

また、上記定義式における分子：｛√（Ｓ_１ ^２＋Ｓ_２ ^２＋Ｓ_３ ^２）｝を「ＤＯＰに基づく偏光情報」、Ｓ_１を「ＳＤＯＰに基づく偏光情報」と呼ぶ。

これらを区別しないときは単に「偏光情報」と呼ぶ。

図２は、撮像装置の実施の１形態を説明するための図である。

図２（ａ）は、撮像装置の基本的な部分を説明するための概念図である。

図２（ａ）において、符号１０で示す部分は「撮像光学系」、符号１１で示す部分は「撮像素子」、符号１４で示す部分は「分離部」、符号１５で示す部分は「生成部」である。

また、符号２０で示す部分は「輝度偏光重畳部」、符号３０で示す部分は「画像処理/画像認識部」である。

これらのうち、撮像光学系１０、撮像素子１１、分離部１４、生成部１５、輝度偏光重畳部２０が「撮像装置」を構成し、撮像素子１１と分離部１４は「受光部」を構成する。

画像処理/画像認識部３０は、撮像装置に組み込まれて撮像装置の一部をなしても良いし、撮像装置とは別体で、撮像装置に適宜に着脱されるものでもよい。

撮像光学系１０は、撮影対象物の像を撮像素子１１に結像する。撮像光学系１０は「１枚のレンズ」として描いているが、勿論、一般には複数枚のレンズ系として構成される。

撮像素子１１を、図２（ｂ）と（ｃ）を参照して説明する。

図２（ｂ）および（ｃ）に示すように、撮像素子１１は、撮像素子部１２と、光学フィルタ１３により構成されている。

撮像素子部１２は、基板ＳＴ上にピクセルが２次元配列したものである。説明中の例では、ピクセルの配列は正方行列配置となっている。

光学フィルタ１３は、偏光フィルタ１３２を、透明基板１３１と充填層１３３で挟持した構成となっている。

図２（ｃ）では、離れたように描かれている光学フィルタ１３と撮像素子部１２とは互いに密着している。

即ち、偏光フィルタ１３２と撮像素子部１２の近接部に充填層１３３が「接着剤」として充填されて両者を一体化している。

偏光フィルタ１３２は、偏光方向の異なる複数種の偏光フィルタ素子を撮像素子１１のピクセルに併せて２次元的に配列してなる所謂「領域分割偏光フィルタ」である。

図２（ｂ）において、隣接する４つのピクセルＰＣ１、ＰＣ２、ＰＣ３、ＰＣ４に対応して、偏光フィルタ素子ＰＯＬ１、ＰＯＬ２、ＰＯＬ３、ＰＯＬ４が重畳されている。

偏光フィルタ１３２に用いられた「偏光フィルタ素子の種類」は、Ｐ偏光を透過させるものと、Ｓ偏光を透過させるものの２種類である。

これら２種の偏光フィルタ素子の一方ＰＯＬ１、ＰＯＬ２は、図２（ｂ）の撮像素子部１２のピクセル配列の縦方向（２次元行列の列方向）を長手方向とする短冊状である。

また、偏光フィルタ素子の他方ＰＯＬ３、ＰＯＬ４は、図２（ｂ）の撮像素子部１２のピクセル配列の横方向（２次元行列の行方向）を長手方向とする短冊状である。

これら２種の「短冊状の偏光フィルタ素子」は、横方向（行方向）へ交互に配列されている。

図２（ｂ）のように、ピクセルＰＣ１とＰＣ２が配列する縦方向には、Ｓ偏光を透過させる偏光フィルタ素子ＰＯＬ１、ＰＯＬ２が配列されてこれらピクセルに対応する。

また、ピクセルＰＣ３とＰＣ４が配列する縦方向には、Ｐ偏光を透過させる偏光フィルタ素子ＰＯＬ３、ＰＯＬ４が配列してこれらピクセルに対応する。

撮像光学系１０により結像された撮影対象物の像は、偏光フィルタ１３２上に結像し、各偏光フィルタ素子を透過してＰあるいはＳ偏光となって撮像素子部１２に受光される。

このようにして、撮像素子部１２により、ピクセルごとにＰ偏光もしくはＳ偏光の画像が撮像される。

即ち、偏光フィルタ１３２には、Ｐ偏光を透過させる偏光フィルタ素子ＰＯＬ３と、Ｓ偏光を透過させる偏光フィルタ素子ＰＯＬ１が２次元的に配列されている。

そこで、撮像素子部１２の撮像領域を２次元ｘ，ｙ座標で表し、位置：(ｘ，ｙ)のピクセルが受光したＳ、Ｐ偏光の強度をそれぞれ「Ｉ_Ｓ(ｘ，ｙ)、Ｉ_Ｐ(ｘ，ｙ)」とする。

これらの強度を用いると、先に示したＳＤＯＰの式：
ＳＤＯＰ＝Ｓ_１/Ｓ_０＝{Ｉ(０，φ)−Ｉ(９０，φ)}/{Ｉ(０，φ)＋Ｉ(９０，φ)}
は、以下のように表すことができる。

ＳＤＯＰ＝{Ｉ_Ｓ(ｘ，ｙ)−Ｉ_Ｐ(ｘ，ｙ)}/{Ｉ_Ｓ(ｘ，ｙ)＋Ｉ_Ｐ(ｘ，ｙ)} （Ｃ）
この式（Ｃ）の、右辺における分母：Ｉ_Ｓ(ｘ，ｙ)＋Ｉ_Ｐ(ｘ，ｙ)を「１次輝度画像情報」と呼ぶ。１次輝度画像情報は上記「Ｓ_０」である。

また、式（Ｃ）右辺の分子：Ｉ_Ｓ(ｘ，ｙ)−Ｉ_Ｐ(ｘ，ｙ)を「偏光画像情報」と呼ぶ。

付言すると、輝度画像情報は、一般的には、以下のように定義される。

輝度画像情報＝{Ｉ_Ｓ(ｘ，ｙ)＋Ｉ_Ｐ(ｘ，ｙ)}/２ 。

即ち、輝度画像情報は、上記の１次輝度画像情報：Ｓ_０の１/２である。

即ち、輝度画像情報が与えられれば、１次輝度画像情報は、輝度画像情報を２倍することで与えられる。このことを「輝度画像情報が１次輝度画像情報を与える」と言う。

上記の如く「１次輝度画像情報：Ｓ_０」は、Ｉ_Ｓ(ｘ，ｙ)＋Ｉ_Ｐ(ｘ，ｙ)で定義される。

即ち、１次輝度画像情報：Ｓ_０は、上に説明した輝度情報が２次元に分布して「ｘ，ｙ画像」として構成されたものである。

同様に、偏光画像情報：Ｉ_Ｓ(ｘ，ｙ)−Ｉ_Ｐ(ｘ，ｙ)は、上に説明した偏光情報が２次元に分布して「ｘ，ｙ画像」として構成されたものである。

偏光画像情報：Ｉ_Ｓ(ｘ，ｙ)−Ｉ_Ｐ(ｘ，ｙ)は、式（Ｃ）により「ＳＤＯＰ」に基づいて定められるものであるので、これを「ＳＤＯＰに基づく偏光画像情報」と呼ぶ。

図２（ｂ），（ｃ）の撮像素子部１２からは、各ピクセルからの光強度信号：Ｉ_Ｓ(ｘ，ｙ)、Ｉ_Ｐ(ｘ，ｙ)が出力される。

出力された光強度信号は、図２（ａ）に示すように、信号ＳＧ１として分離部１４に入力する。

分離部１４は、入力する光強度信号ＳＧ１（＝Ｉ_Ｓ(ｘ，ｙ)、Ｉ_Ｐ(ｘ，ｙ)）に基づき、上記「ＳＤＯＰに基づく偏光画像情報」と「１次輝度画像情報」を生成して出力する。

即ち、分離部１４は、入力する光強度信号ＳＧ１を、１次輝度画像情報ＳＧ２(＝Ｓ_０)と、ＳＤＯＰに基づく偏光画像情報ＳＧ３とに分離して出力する。

即ち、図２（ａ）の撮像素子１１と分離部１４とは、撮像光学系１０による撮影対象物の像を受光し、１次輝度画像情報：Ｓ_０と偏光画像情報とを出力する受光部を構成する。

分離部１４から出力された、１次輝度画像情報ＳＧ２は分岐され、一方は輝度偏光重畳部２０に入力し、他方は生成部１５に入力する。

分離部１４から出力された、ＳＤＯＰに基づく偏光画像情報ＳＧ３は生成部１５に入力する。

生成部１５は「偏光画像成分生成部」であって、１次輝度画像情報：Ｓ_０（ＳＧ２）を含む２次輝度画像情報により偏光画像情報ＳＧ３を除算して「偏光画像成分」を得る。

「偏光画像成分生成部」である生成部１５は、１次輝度画像情報ＳＧ２（＝Ｓ_０）と偏光画像情報ＳＧ３との入力を受け、偏光画像成分を算出して信号ＳＧ４として出力する。

そして、このようにして得られる「偏光画像成分」を用いる「重畳用偏光画像成分」が「１次輝度画像情報を与える輝度画像情報」に重畳される。

「重畳」については後述する。

生成部１５には、１次輝度画像情報：Ｓ_０（＝ＳＧ２）に応じて２次輝度画像情報を算出する関数形：ｆ(Ｘ)が予め設定されている。

即ち、関数形：ｆ(Ｘ)は、１次輝度画像情報：Ｓ_０を変数：Ｘとする関数であって、１次輝度画像情報：Ｓ_０の入力を受けると、Ｘ＝Ｓ_０としてｆ(Ｓ_０)が算出される。

このように算出されるｆ(Ｓ_０)が「２次輝度画像情報」である。２次輝度画像情報は勿論「ｘ，ｙを変数とする２変数関数」であって２次元画像に対応する。

生成部１５は、信号ＳＧ２として入力する１次輝度画像情報：Ｓ_０に基づき２次輝度画像情報：ｆ(Ｓ_０)を算出する。

そして、信号ＳＧ３として入力する偏光画像情報：Ｉ_Ｓ(ｘ，ｙ)＋Ｉ_Ｐ(ｘ，ｙ)を２次輝度画像情報：ｆ(Ｓ_０)で除する除算を行い、その結果を信号ＳＧ４として出力する。

このように出力される信号ＳＧ４により表現される画像が「偏光画像成分」であって、勿論ピクセルの座標：（ｘ、ｙ）の関数である。

関数：ｆ(Ｘ)は、変数：Ｘである１次輝度画像情報：Ｓ_０＝０もしくはＳ_０≒０において「所定の有限値」となるように設定されている。

Ｓ_０＝０もしくはＳ_０≒０において「所定の有限値」となることが関数：ｆ(Ｘ)の関数形に課せられた条件であり、この条件を満足する限り、任意に設定できる。

所定の有限値は、Ｓ_０＝０もしくはＳ_０≒０のとき、偏光画像成分のノイズ成分の拡大を有効に抑制でき、Ｓ０が十分に大きいときに偏光画像成分が過小にならない値である。

従って、２次輝度画像情報：ｆ(Ｓ_０)は「０または略０のように小さい１次輝度画像情報：Ｓ_０」の場合に偏光画像情報に対する除算を行っても結果が過大になることはない。

すなわち、偏光画像情報に含まれるノイズ成分の拡大を有効に防止できる。

関数形：ｆ(Ｘ)は、１次輝度画像情報：Ｓ_０を変数：Ｘとして用いて２次輝度画像情報：ｆ(Ｓ_０)が得られるものであり、この明細書中において関数：ｆ(Ｓ_０)と記載される。

上記条件を満足する関数：ｆ(Ｓ_０)として「ｆ(Ｓ_０)≠０でＳ_０の単調増加関数」は好適なものの１つである。

このような場合の具体的な例としては、「ｃ」を「正の定数」として、
ｆ(Ｓ_０)＝ｌｏｇ(Ｓ_０＋１)＋ｃ
などを挙げることができる。

あるいはまた、ｃ」を「正の定数」として、
ｆ(Ｓ_０)＝Ｓ_０＋ｃ
も好適な例である。

除算の分子となる偏光画像情報：Ｉ_Ｓ(ｘ，ｙ)−Ｉ_Ｐ(ｘ，ｙ)も、分母となる１次輝度画像情報：Ｓ_０（＝Ｉ_Ｓ(ｘ，ｙ)＋Ｉ_Ｐ(ｘ，ｙ)）もピクセルの座標の関数である。

また、１次輝度画像情報：Ｓ_０がピクセルの座標の関数であることに応じて、２次輝度画像情報：ｆ(Ｓ_０)もピクセルの座標の関数である。

除算：{Ｉ_Ｓ(ｘ，ｙ)＋Ｉ_Ｐ(ｘ，ｙ)}/ｆ(Ｓ_０)は、分子・分母の対応するピクセルの座標ごとに行われ、算出される偏光画像情報もピクセルの座標(ｘ、ｙ)の関数になる。

具体的な例は後述することにして、ここで「重畳用偏光画像成分」の「１次輝度画像情報を与える輝度画像情報」への重畳を説明する。

先ず「１次輝度画像情報を与える輝度画像情報」は、上に説明した例で言えば、前述の「{Ｉ_Ｓ(ｘ，ｙ)＋Ｉ_Ｐ(ｘ，ｙ)}/２」であり、１次輝度画像情報：Ｓ_０の２倍である。

この輝度画像情報に重畳されるべき「重畳用偏光画像成分」は、偏光画像成分を用いる
画像成分であり「偏光画像成分そのもの」である場合も、そうでない場合もある。

「重畳用偏光画像成分が、偏光画像成分そのものではない」場合とは、偏光画像成分に対して「付加的な演算が施される場合」である。

付加的な演算の例は、後述する。

「重畳」については、以下の３通りを挙げる。

輝度画像情報を「Ｉ_bright(ｘ，ｙ)」と表す。
重畳される「重畳用偏光画像成分」を「Ｉ_por(ｘ，ｙ)」と表す。

重畳後の画像を「Ｉ_bright-por(ｘ，ｙ)」で表す。

重畳の態様の第１は、輝度画像情報：Ｉ_bright(ｘ，ｙ)に、重畳用偏光画像成分：Ｉ_POR(ｘ，ｙ)を、次式の如く「線形和」として重畳する態様である。

Ｉ_bright-por(ｘ，ｙ)＝Ｉ_bright(ｘ，ｙ)＋ｋ・Ｉ_por(ｘ，ｙ) （Ｄ）
重畳の態様の第２は、輝度画像情報：Ｉ_bright(ｘ，ｙ)に、重畳用偏光画像成分：Ｉ_POR(ｘ，ｙ)を、次式の如く「乗算」として重畳する態様である。

Ｉ_bright-por(ｘ，ｙ)＝Ｉ_bright(ｘ，ｙ)×ｋ・Ｉ_por(ｘ，ｙ) （Ｅ）
上記式（Ｄ）、（Ｅ）において、「ｋ」は、重畳の程度を表す定数であり「具体的な重畳の条件に応じて、適宜に設定可能」である。

線形和演算・積演算は「座標(ｘ、ｙ)が同一のピクセル毎」に行われる。

重畳の態様の第３は、以下の如きものである。

Ｉ_bright-por(ｘ，ｙ)＝ｋ・Ｉ_bright(ｘ，ｙ) （Ｆ）
ｋ＝ｋ_１ if Ｉ_por(ｘ，ｙ)≧ＴＨ （Ｇ）
ｋ＝ｋ_２ if Ｉ_por(ｘ，ｙ)＜ＴＨ （Ｈ） 。

即ち、重畳用偏光画像成分：Ｉ_por(ｘ，ｙ)に対する閾値：ＴＨを設定して、これら両者の大小を、ピクセルごとに判別する。

そして、Ｉ_por(ｘ，ｙ)がＴＨよりも大きいピクセル（上記（Ｇ））については、輝度画像情報：Ｉ_bright(ｘ，ｙ)を定数：ｋ_１倍する。

また、Ｉ_por(ｘ，ｙ)がＴＨよりも小さいピクセル（上記（Ｈ））については、輝度画像情報：Ｉ_bright(ｘ，ｙ)を定数：ｋ_２倍する。

即ち、重畳の第３の態様では、重畳用偏光画像成分：Ｉ_por(ｘ，ｙ)が直接に、輝度画像情報：Ｉ_bright(ｘ，ｙ)に重畳される訳ではない。

しかし、求める画像：Ｉ_bright-por(ｘ，ｙ)の算出に、重畳用偏光画像成分：Ｉ_por(ｘ，ｙ)が、上記判別（Ｇ）、（Ｈ）により加味されているので、この場合も「重畳」と言う。

重畳の第３の態様の場合、上記（Ｆ）、（Ｇ）、（Ｈ）から明らかなように、重畳用偏光画像成分：Ｉ_por(ｘ，ｙ)と閾値：ＴＨの大小に応じて定数：ｋ_１、ｋ_２が決定される。

そして「輝度画像情報」は、定数：ｋ_１、ｋ_２により変調されて出力される。

上に説明した重畳の３態様のうち、第１および第２の態様（Ｄ）、（Ｅ）では、重畳される重畳用偏光画像成分：Ｉ_por(ｘ，ｙ)は、各ピクセルの輝度の変化として重畳される。

また、第３の態様（Ｆ）、（Ｇ）、（Ｈ）では、求める画像：Ｉ_bright-por(ｘ，ｙ)は、輝度画像情報：Ｉ_bright(ｘ，ｙ)を定数倍するものである。

従って、上に説明した重畳の３態様で得られる画像：Ｉ_bright-por(ｘ，ｙ)は「輝度情報の画像」として処理することができる。

重畳の態様が上記第１の態様であるときは、輝度偏光重畳部２０は、偏光画像情報と輝度画像情報を線形和として重畳する。

重畳の態様が上記第２の態様であるときは、輝度偏光重畳部２０は、偏光画像情報と輝度画像情報を乗算として重畳する。

重畳の態様が上記第３の態様であるときは、輝度偏光重畳部２０は、偏光画像情報と閾値の大小に応じて輝度画像情報を変調して出力する
図２（ａ）に示す実施の形態において、分離部１４や生成部１５、輝度偏光重畳部２０は、実体としてはＣＰＵやマイクロコンピュータとして構成される。

そして、上記（Ｄ）〜（Ｈ）等のアルゴリズムに従うプログラム演算により輝度画像情報と重畳用偏光画像情報の重畳を行う。

このようにして輝度画像情報と重畳用偏光画像情報を重畳された後、図２（ｂ）に示す出力画像情報ＩＭＯ（上記「Ｉ_bright-por(ｘ，ｙ)」）として出力される。

この出力画像情報ＩＭＯが「輝度偏光重畳画像情報」である。

上記の如く、出力画像情報ＩＭＯは「従来から知られている通常の輝度画像処理」が可能である。

このように従来の輝度画像処理が可能である出力画像情報ＩＭＯは、図２（ａ）の例では、画像処理/画像認識部３０に入力される。

画像処理/画像認識部３０は、出力画像情報ＩＭＯの入力を受けて、所望の画像処理や画像認識の処理を行う。

例えば、図２（ａ）の撮像装置が「車両制御システム用」に車載される場合であれば、画像処理/画像認識部３０により「認識物体の抽出処理」などの処理が行われる。

そして、その結果を受けた車両制御手段により、例えば、車両のブレーキやハンドル操作のアシストなどの車両制御が行われる。

出力画像情報ＩＭＯは「従来から行われている輝度画像処理」により画像処理できるので、「偏光画像用に画像処理や画像認識処理を新たに開発」する必要は無い。

図２の画像処理システムを用いることにより、認識率の向上や、誤検知の低減を図ることが出来る。

ここで、「重畳の第３の態様」として上に説明した式（Ｆ）〜（Ｈ）による重畳の場合を例にとって、ノイズ成分の拡大の防止を具体的に説明する。

撮像光学系１０により「夜間の路上状態」を撮像した。この撮像で得られた輝度画像情報：Ｉ_bright(ｘ，ｙ)に対して、式（Ｆ）による重畳を行った。

このとき、式（Ｇ）、（Ｈ）で閾値：ＴＨと大小を判別される「Ｉ_por(ｘ，ｙ)」は、１次輝度画像情報：Ｓ_０（＝Ｉ_Ｓ(ｘ，ｙ)＋Ｉ_Ｐ(ｘ，ｙ)）を用いた。

また、式（Ｇ）、（Ｈ）において、ＴＨ＝−∞、ｋ_１＝５５００、ｋ_２＝０とした。このとき、式（Ｆ）の左辺として得られた画像：Ｉ_bright-por(ｘ，ｙ)を、図３（ａ）に示す。

図３（ａ）に示す画像は「夜間画像」であるため、１次輝度画像情報：Ｉ_bright(ｘ，ｙ)は「殆ど０」に近く、このため、偏光画像情報のノイズ成分が著しく拡大されている。

図３（ａ）のような画像は、実用上の使用には不適である。

そこで、この発明の場合として、関数：ｆ(Ｓ_０)として「Ｓ_０＋ｃ」を用いて２次輝度画像情報を求め、式（Ｆ）〜（Ｈ）による重畳を行った。

即ち、ｆ(Ｓ_０)＝{Ｉ_Ｓ(ｘ，ｙ)＋Ｉ_Ｐ(ｘ，ｙ)＋ｃ}である。

具体的には、ＴＨ＝−∞、ｋ_１＝５５００、ｋ_２＝０、ｃ＝１０００である。

このようにして式（Ｆ）の左辺として得られた画像：Ｉ_bright-por(ｘ，ｙ)を、図３（ｂ）に示す。

「夜間撮影で１次輝度画像情報：Ｓ_０が極めて小さい」にも拘わらず、良好で実用的な画像が得られている。

以下、説明を補足する。

「撮像光学系と撮像素子」の組み合わせは、図２（ａ）に示すものに限定されない。

例えば、特許文献１に記載された「複数の偏光方向の偏光子を組み合わせた偏光子プレートを結像レンズの前に配し、回転しつつ撮像を行う構成のもの」でもよい。

また、２個の撮像光学系の一方に「Ｓ偏光を透過させる偏光フィルタ」、他方に「Ｐ偏光を透過させる偏光フィルタ」を組み合わせたものでもよい。

即ち、一方のカメラでは「Ｓ偏光情報をもつ画像情報」、他方のカメラでは「Ｐ偏光情報をもつ画像情報」を撮像し、各カメラの画像情報を合わせて偏光画像情報とする。

このように、種々の撮像部（撮像光学系と撮像素子）で取得される「偏光画像」に対して、上述の画像処理（輝度画像情報と重畳用偏光画像成分の重畳）を実施できる。

上に説明した偏光フィルタ１３２は、例えば「サブ波長構造（ＳＷＳ）」により構成することができる。

また上の例では、撮像素子部１２として「モノクロのイメージセンサ」が想定されているが、これに限らず、カラーイメージセンサを用いることもできる。

上に説明した例では、重畳用偏光画像情報は「偏光画像情報それ自体」である。
そして偏光画像情報は「差分偏光度（ＳＤＯＰ）に基づく偏光画像情報」である。

しかし、これに限らず、偏光画像情報は「偏光度（ＤＯＰ）に基づく偏光画像情報」であることもできる。

以下、重畳用偏光画像成分が「偏光画像成分と異なる場合」の扱いを説明する。

図１に即して説明したモデルでは、反射光の偏光状態は、物体ＯＢの材質(屈折率、表面状態、内部散乱係数）、光源と物体の角度、物体と観測点の角度を変数として表せる。

即ち、上記偏光状態は、以下の式（Ｋ）により表すことができる。

偏光状態＝Ｆ（光源状態、材質、角度） （Ｋ）
Ｆは関数であることを表す。

この式において、各変数は以下のとおりである。

光源状態＝ψの角度分布
材質＝Ｋ_Ｓ、ｋ_Ｐ，ｋ_ｄ，ｎ_２等
角度=θ 。

式（Ｋ）は、光源状態・材質・角度のうち、どれか２つが決まれば残りの１つが定まる関係となっている。

図１に即しての説明は「光源状態は不変」であることを前提としている。

従って「照明状態が不変である室内での撮像により得られる偏光画像」の重畳に対して、上に説明した重畳方法は有効である。

上に説明した反射モデルでは、物体ＯＢの表面での「正反射によるスペキュラ光」を表す項（Ｒｓ、Ｒｐの項）が偏光状態を特徴付ける重要な量となっている。

撮影対象物である物体ＯＢに対して、撮像光学系１０と光源が同じ角度にあるような場合には、スペキュラ光は殆ど戻って来ず「偏光情報」は得られない。

光源の状態をコントロールできない場合、例えば、光源の条件を固定できない車載用途などへの応用を考えた場合には以下の点を考慮することが必要になる。

「偏光状態」は、式（Ｋ）で示す関係にあるため、照射光を投射しない車載カメラでは、光源状態に依存して「偏光画像情報の持つ偏光情報」が変化する。
例えば「車載目的の撮像装置」の場合の実使用状況では「順光の場合には撮像される物体の略全てが順光照明を受ける」と考えられる。

また「逆光の場合には撮像されるものの略全てが逆光照明を受ける」と考えられる。

この点を考慮すると、種々の物体が撮像された状態において、ＳＤＯＰやＤＯＰなどの偏光情報は「順光と逆光で、平均としては値に偏りが生じる」と考えられる。

偏光情報におけるこの偏りを「オフセット」と言う。

このような点を考慮すると、順光と逆光など光源の状態の影響は「画面全体のＳＤＯＰなど偏光画像情報のオフセット」を除去することで略キャンセルできる。

このように「オフセットを考慮した重畳」を行うことが好ましい。

重畳を線形和で行う「第１の態様」の場合、オフセットを考慮した重畳の式は、以下の式（Ｍ）の如くになる。

Ｉ_bright-por(ｘ，ｙ)
＝Ｉ_bright(ｘ，ｙ)＋ｋ［Ｉ_por(ｘ，ｙ)−｛ΣΣＩ_por(ｘ，ｙ)/X・Y｝］ （Ｍ）
式（Ｍ）において、Ｉ_bright(ｘ，ｙ)、Ｉ_por(ｘ，ｙ)は、先に説明した式（Ｄ）におけるものと同一である。

式（Ｍ）の右辺の大括弧内の部分、即ち、
［Ｉ_por(ｘ，ｙ)−｛ΣΣＩ_por(ｘ，ｙ)/X・Y｝］
が「重畳用偏光画像成分」を与える。

大括弧内の第２項、即ち、中括弧内の部分、
｛ΣΣＩ_por(ｘ，ｙ)/X・Y｝
が、偏光画像成分：Ｉ_por(ｘ，ｙ)の「オフセット」である。

この「オフセット」は、偏光画像成分における平均値である。

即ち、撮像素子１１に結像する画像の「Ｘ，Ｙで定まる所定範囲」内における「偏光画像情報を２次輝度画像情報」で除した「偏光画像成分」の平均値である。

偏光画像情報は「ＳＤＯＰに基づく偏光画像情報」である。

Ｘ，Ｙで定まる「所定範囲」は、その選び方は一義的ではなく任意性がある。

例えば「光源の状態の影響を、画面全体を用いて除去」することを考え、Ｘ、Ｙで定まる画像領域を「画面全体から空（そら）の領域を除いた領域」とすることができる。

このように演算される所定領域における平均が「オフセット」であり、このオフセットを偏光画像情報から減算する。

このように「オフセットを除去された偏光画像成分」は、重畳用偏光画像成分となって、輝度画像情報：Ｉ_bright(ｘ，ｙ)に線形和により重畳される。

このとき、式（Ｍ）の右辺第２項の大括弧の前にある係数：ｋが「括弧内の量（重畳用偏光画像成分）に掛け合わされた」ものが加算される。

係数：ｋは、以下の（Ｍ１）、（Ｍ２）のように定められる。

ｋ＝ｋ₁ if ｛ΣΣＩ_por(ｘ，ｙ)/X・Y｝≧ＴＨ（順光以外） （Ｍ１）
ｋ＝ｋ₂ if ｛ΣΣＩ_por(ｘ，ｙ)/X・Y｝＜ＴＨ（順光） （Ｍ２） 。

ここで、ｋ_１とｋ_２は「重畳用偏光画像成分重畳係数」である。
「ＴＨ」は「閾値」で、「順光状態を認識できる」ように設定する。

前述の式（Ａ）、（Ｂ）による反射モデル理論では「撮像状況が順光状態に近い」ほどＳＤＯＰ（前述の式（Ｃ）参照）は０に近づく。

従って、前記「オフセット」も、撮像状況が順光状態に近いほど小さくなる。

そこで、閾値：ＴＨとオフセットの大小関係を判定し、オフセットが閾値：ＴＨより小さいときは、光源の状態（撮像状況）が順光状態であると判断する。

また、オフセット量が、閾値：ＴＨより大きいときは、光源の状態が逆光等の「順光状態でない」と判断する。

そして、これらの判断に従って「重畳用偏光画像成分重畳係数：ｋ」をｋ_１、ｋ_２に切り換える。

一般に、ｋ_１＜ｋ_２であり、例えば「ＴＨ＝−∞、ｋ_１＝−３００、ｋ_２＝０」のように設定される。

式（Ｍ）、（Ｍ１）、（Ｍ２）ように、偏光画像成分：Ｉ_por(ｘ，ｙ)からオフセット：｛ΣΣＩ_por(ｘ，ｙ)/X・Y｝を除去した重畳用偏光画像成分を輝度画像情報に重畳する。

このようにすれば、輝度画像情報が０もしくは≒０である場合にも、偏光画像情報のノイズ成分が拡大されず、順・逆光の影響を除去した出力画像を得ることができる。

オフセットを考慮した頂上の別の例として、以下の式（Ｓ）、（Ｍ１）、（Ｍ２）を挙げることができる。

Ｉ_bright-por(ｘ，ｙ)
＝Ｉ_bright(ｘ，ｙ)・ｋ［Ｉ_por(ｘ，ｙ)/｛ΣΣＩ_por(ｘ，ｙ)/X・Y｝］ （Ｓ）
式（Ｓ）において、Ｉ_bright(ｘ，ｙ)、Ｉ_por(ｘ，ｙ)は、先に説明した式（Ｄ）におけるものと同一である。

式（Ｓ）の右辺の大括弧内の部分、即ち、
［Ｉ_por(ｘ，ｙ)/｛ΣΣＩ_por(ｘ，ｙ)/X・Y｝］
が「重畳用偏光画像成分」を与える。

大括弧内の分母部分、
｛ΣΣＩ_por(ｘ，ｙ)/X・Y｝
は、上記の場合と同じく偏光画像成分：Ｉ_por(ｘ，ｙ)の「オフセット」である。

この重畳態様では、偏光画像成分：Ｉ_por(ｘ，ｙ)をオフセットで除することにより、オフセットが除去された「重畳用偏光画像成分」となる。

「重畳用偏光画像成分重畳係数：ｋ」は、前述の式（Ｍ１）、（Ｍ２）に従って、順光以外の状態と順光時とでｋ_１、ｋ_２に切り換える。

このようにすれば、輝度画像情報が０もしくは≒０である場合にも、偏光画像情報のノイズ成分を拡大することなく、順・逆光の影響を除去した出力画像を得ることができる。

上記の如く、オフセットの除去は、偏光画像成分に対するオフセットの減算もしくは除算により行うことができる。

撮像状況はまた、昼間と夜間でも「光源の状態」が異なる。

即ち、昼間は太陽光線による照明状態であり、夜間は車のヘッドライトや街灯による照明となっている。
この点を考慮すると、上述の輝度偏光重畳係数：ｋ_１、ｋ_２の値は「昼間と夜間で変更する」ことが好ましい。

昼間と夜間の判別は、ヘッドライトのスイッチのオン・オフの情報や、自動露光調整を行っている場合には、露光量から周囲の明るさを検知して行うことが出来る。
さらに「直射日光下であるか曇りであるか」など天候によっても、輝度偏光重畳係数：ｋ_１、ｋ_２の値を切り換えると、さらに良い効果が得られる。
直射日光下では撮影対象物の照度が高いから、自動露光調整を行っている場合には、その露光量を検知して「直射日光下であるか曇りであるか」を判断出来る。

また「取得した画像に飽和している領域」がある場合、当該領域に関して「重畳を行わない」ようにｋの値を０にするか、演算不能として一定定数を出力することが好ましい。

即ち、閾値：ＴＨを適切な定数に設定することにより「偏光情報を用いて検出物体以外の物体」を出力画像から除外することが出来る。
このようにすると、夜間撮影で１次輝度画像情報：Ｓ_０が０または０に近い場合に、偏光画像成分のノイズ成分の拡大を抑制して良好な撮像を行うことができる。

オフセットの除去は、図２（ａ）に示す実施の形態であれば、例えば、生成部１５と輝度偏光重畳部２０との間に「オフセット除去演算部」を配置して行うことができる。

このような「オフセット除去演算部」に、偏光画像成分である信号ＳＧ４を入力させ、
式（Ｍ）や（Ｓ）の演算を行わせるようにすれば良い。

「オフセット除去演算部」にはオフセットを定義｛ΣΣＩ_por(ｘ，ｙ)/X・Y｝に従って算出する機能を与えておく。

そして、算出されたオフセットを用いて式（Ｍ）や（Ｓ）を演算する。

また、順光時と順光時以外を検出するには、上記の如く、閾値：ＴＨを「順光状態を認識できる」ように設定する。

そして、閾値：ＴＨとオフセットの大小関係を判定し、オフセットが閾値：ＴＨより小さいときは、光源の状態（撮像状況）が順光状態であると判断する。

また、オフセット量が、閾値：ＴＨより大きいときは、光源の状態が逆光等の「順光状態でない」と判断する。

そして、これらの判断に従って、「重畳用偏光画像成分重畳係数：ｋ」をｋ_１、ｋ_２に切り換える。この切換は、輝度偏光重畳部２０で行うようにすれば良い。

また、昼間と夜間とで輝度偏光重畳係数を切り換える場合は、ヘッドライトのスイッチのオン・オフの情報や、自動露光調整で調整される露光量を用いる。

即ち、これらを昼間と夜間を区別する信号として輝度偏光重畳部２０に入力し、輝度偏光重畳係数を切り換えるようにすればよい。

また「取得した画像に飽和している領域」がある場合、当該領域に関して「重畳を行わない」ようにｋの値を０にするか、演算不能として一定定数を出力することが好ましい。

即ち、閾値：ＴＨを適切な定数に設定することにより「偏光情報を用いて検出物体以外の物体」を出力画像から除外することが出来る。
このような操作も輝度偏光重畳部２０に組み入れることができる。

上に説明したしたように、図２（ａ）に示す撮像装置は、１次偏光画像の画像上の規定範囲の平均値による１次偏光画像情報に対する減算もしくは除算により１次偏光画像情報におけるオフセットを除去する「オフセット除去部」を有することができる。

そして、偏光画像成分生成部は、オフセット除去部によりオフセットを除去された１次偏光画像情報に対し、２次輝度画像情報による除算を行うことができる。

また、図２（ａ）の撮像装置における生成部１５は、１次輝度画像情報：Ｓ_０の関数：ｆ(Ｓ_０)を予め設定され、ｆ(Ｓ_０)を２次輝度画像情報として、偏光画像情報を除算する演算を行い、偏光画像成分を生成する偏光画像成分生成部である。

ｆ(Ｓ_０)は、Ｓ_０を変数として含み、Ｓ_０＝０もしくはＳ_０≒０において所定の有限値となる関数である。

従って、生成部１５は「画像処理装置」を構成する。

１０ 撮像光学系
１１ 撮像素子
１２ 撮像素子部
１３ 光学フィルタ
１３２ 偏光フィルタ
１５ 生成部（偏光画像成分生成部）

特開２０１１−２９９０３号公報

Claims (12)

1. 撮影対象物の像を結像する撮像光学系と、
   該撮像光学系による前記撮影対象物の像を受光し、１次輝度画像情報：Ｓ_０と偏光画像情報とを出力する受光部と、
   前記１次輝度画像情報：Ｓ_０を含む２次輝度画像情報により、前記偏光画像情報を除算して、偏光画像成分を得る偏光画像成分生成部と、
   前記偏光画像成分を用いる重畳用偏光画像成分を、各ピクセルの輝度の変化として、前記１次輝度画像情報を与える輝度画像情報に重畳して、輝度偏光重畳画像情報を出力する輝度偏光重畳部とを有し、
   前記偏光画像成分生成部における除算の除数となる２次輝度画像情報は、前記１次輝度画像情報：Ｓ_０を含む関数：ｆ(Ｓ_０)であって、該関数：ｆ(Ｓ_０)は、１次輝度画像情報：Ｓ_０＝０もしくはＳ_０≒０において、所定の有限値となるように設定されていることを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   関数：ｆ(Ｓ_０)は、ｆ(Ｓ_０)≠０で、Ｓ_０の単調増加関数であることを特徴とする撮像装置。
3. 請求項１または２記載の撮像装置において、
   関数：ｆ(Ｓ_０)は、ｃ(≠０)を定数として、ｆ(Ｓ_０＋ｃ)であることを特徴とする撮像装置。
4. 請求項１〜３の何れか１項に記載の撮像装置において、
   偏光画像情報が、偏光度に基づく偏光画像情報であることを特徴とする撮像装置。
5. 請求項１〜３の何れか１項に記載の撮像装置において、
   偏光画像情報が、差分偏光度に基づく偏光画像情報であることを特徴とする撮像装置。
6. 請求項１〜５の何れか１項に記載の撮像装置において、
   輝度偏光重畳部は、重畳用偏光画像成分と輝度画像情報を線形和として重畳することを特徴とする撮像装置。
7. 請求項１〜５の何れか１項に記載の撮像装置において、
   輝度偏光重畳部は、重畳用偏光画像成分と輝度画像情報を乗算として重畳することを特徴とする撮像装置。
8. 請求項１〜７の何れか１項に記載の撮像装置において、
   輝度偏光重畳部は、重畳用偏光画像成分と閾値の大小に応じて、輝度画像情報を変調して出力することを特徴とする撮像装置。
9. 請求項１〜８の何れか１項に記載の撮像装置において、
   受光部から出力される偏光画像情報を１次偏光画像情報とし、該１次偏光画像の画像上の規定範囲の平均値による前記１次偏光画像情報に対する減算もしくは除算により前記１次偏光画像情報におけるオフセットを除去するオフセット除去部を有し、
   偏光画像成分生成部は、前記オフセット除去部によりオフセットを除去された前記１次偏光画像情報に対し、２次輝度画像情報による除算を行うことを特徴とする撮像装置。
10. 請求項１〜９の何れか１項に記載の撮像装置において、
    受光部が、領域分割偏光フィルタを配置された撮像素子部を有することを特徴とする撮像装置。
11. 請求項１〜１０の何れか１項に記載の撮像装置において、
    受光部から得られる１次輝度画像情報：Ｓ_０を変数として含み、Ｓ_０＝０もしくはＳ_０≒０において、所定の有限値となる関数：ｆ(Ｓ_０)を予め設定され、前記関数：ｆ(Ｓ_０)を２次輝度画像情報として、偏光画像情報を除算する演算を行い、偏光画像成分を生成する偏光画像成分生成部を有することを特徴とする撮像装置。
12. 請求項１〜１０の何れか１項に記載の撮像装置と、
    前記撮像装置による前記輝度偏光重畳画像情報に基づいた処理結果を受けて所定の制御を行う制御手段と、を備え、
    前記制御手段により制御される車両。

Images