JP5610254B2

JP5610254B2 - 撮像装置及び路面状態判別方法

Info

Publication number: JP5610254B2
Application number: JP2009007274A
Authority: JP
Inventors: 平井　秀明; 秀明平井
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2008-06-18
Filing date: 2009-01-16
Publication date: 2014-10-22
Anticipated expiration: 2029-01-16
Also published as: EP2136198B1; US20090315993A1; CN101610357A; CN101610357B; TW201012204A; JP2010025915A; EP2136198A1

Description

この発明は、例えば路面の乾燥と湿潤の状態や、車線や標識、路面の欠陥等を検出する撮像装置及び路面状態判別方法に関するものである。

路面の湿潤状況を判別するため、例えば特許文献１に開示された路面湿潤状況検出装置は、路面に向けて水のブリュータス角となるように配置した撮像装置の全面に直線偏光子を設け、路面を撮影するとき直線偏光子をモータにより回転して偏光面を垂直方向と水平方向に切り替えて撮影した垂直偏光画像と水平偏光画像の偏光比を演算し、演算した偏光比の大小から路面状態を判別している。

特許文献１に開示された路面湿潤状況検出装置は、路面を撮影するにあたって偏光子を回転して偏光面を垂直方向と水平方向に回転しているため、撮像装置を固定した場所に設置するのではなく自動車等の車両に搭載して路面を走行しながら路面状態を判別しようとした場合には、偏光子を回転させる時間のズレによって垂直偏光画像と水平偏光画像が全く異なった場所を撮影することになり、走行しながら路面状態を判別することができないという短所がある。

また、偏光子を回転するためのモータや駆動伝達機構が必要であるため、路面湿潤状況検出装置そのものが大型化してしまう。この路面湿潤状況検出装置を自動車に搭載する場合は、ルームミラーに内蔵するかルームミラーの裏面に装着することが望ましいが、路面湿潤状況検出装置が大型化すると、このような装着はできないという短所がある。

この発明は、このような短所を改善し、単純な構成で路面の状態を判別することができるとともに装置の小型化を図り、自動車等の車両に容易に装着して走行中においても路面の状態を検出することができる撮像装置と路面状態判別方法を提供することを目的とするものである。

この発明の撮像装置は、複数のレンズを同一基板上に有するレンズアレイと、該レンズアレイの各レンズを透過した光束に応じた領域を有するたフィルタと、該フィルタの各領域を通過した光を受光して被写体像を撮影する複数の撮像領域を有する撮像ユニットと、該撮像ユニットの各撮像領域で撮影した被写体の画像の画像信号を処理する信号処理装置とを備えた撮像装置であって、前記フィルタは、可視域を透過する領域と、赤外光を透過する領域とを有し、前記フィルタの可視域を透過する領域と、赤外光を透過する領域のそれぞれに透過軸が互いに直交する少なくとも２つの偏光子領域を含み、前記レンズアレイと前記フィルタとの間に、前記レンズアレイの各レンズを透過した光束毎に分離して前記フィルタの各偏光子領域に入射させる遮光手段を備え、前記撮像ユニットは、前記可視域を透過する領域における前記透過軸が互いに直交する偏光子領域のいずれか一方に対応する撮像領域で可視域の垂直偏光画像を撮影し、他方に対応する撮像領域で可視域の水平偏光画像を撮影するとともに、前記赤外光を透過する領域における前記透過軸が互いに直交する偏光子領域のいずれか一方に対応する撮像領域で赤外光の垂直偏光画像を撮影し、他方に対応する撮像領域で赤外光の水平偏光画像を撮影し、前記信号処理装置は、前記撮像ユニットで撮影した前記可視域の垂直偏光画像と前記可視域の水平偏光画像との比の画像、または、前記赤外光の垂直偏光画像と前記赤外光の水平偏光画像との比の画像を生成することを特徴とする。

前記透過軸が互いに直交する少なくとも２つの偏向子領域に対応する前記レンズアレイの各レンズ間でレンズの開口異ならせてもよい。
前記レンズアレイは画角が狭い遠距離用のレンズとこれより画角が広いレンズを含む少なくもと４つのレンズの有してもよい。

前記信号処理装置は、前記撮像ユニットで撮影した垂直偏光画像と水平偏光画像との偏光比の大小から路面の湿潤や乾燥状態を判別することを特徴とする。

また、前記信号処理装置は、前記撮像ユニットで撮影した垂直偏光画像から路面上の記載情報を判別することを特徴とする。

さらに、前記フィルタの各偏光子領域は、透明基板上に屈折率が異なる複数の透明材料を積層した多層構造体からなり、各層毎に一方向に繰り返される１次元周期的な凹凸形状を有することを特徴とする。

また、前記フィルタの各偏光子領域は、ワイヤグリッド型偏光子により構成されても良い。

この発明の路面状態判別方法は、請求項１乃至７のいずれかに記載の撮像装置により撮影した画像により路面状態を判別する路面状態判別方法であって、前記撮像ユニットのいずれかの撮像領域で路面反射光の垂直偏光画像を撮影し、他の撮像領域で路面反射光の水平偏光画像を撮影し、撮影した垂直偏光画像と水平偏光画像との偏光比から路面状態を判別することを特徴とする。

この発明は、１つの撮像装置で垂直偏光画像と水平偏光画像を撮影し、撮影した垂直偏光画像と水平偏光画像の偏光比によって路面状態を判別することにより、装置を小型化して移動車両から路面の撮影をすることができ、得られた情報により路面の湿潤状態を判別してスリップ注意などの注意情報を発することができるとともに、路面に表示された上限スピード表示や停止表示等の情報や車線を区画する白線等を確実に検知して、運転者に対してより高度の運転支援を行うことができる。

また、１つの撮像装置を複数の画像を取得することにより、装置の薄型化を図り、車両に容易に装着できるとともに視差が生ぜずに高検出精度で撮影するとできる。

さらに、フィルタの各偏光子領域を、透明基板上に屈折率が異なる複数の透明材料を積層した多層構造体で形成し、各層毎に一方向に繰り返される１次元周期的な凹凸形状を有することにより、任意の透過軸の偏光子領域を高精度で作製することができる。

この発明の第１の撮像装置の光学系の概略構成を示す分解斜視図である。撮像装置の概略構成を示す断面図である。撮像装置の信号処理部の構成を示すブロック図である。レンズアレイの作製方法を示す模式図である。偏光フィルタの偏光子領域の構成を示す斜視図である。偏光フィルタの構成を示す斜視図である。遮光スペーサの作製方法を示す斜視図である。路面の湿潤状態を示す模式図である。入射光に対する垂直偏光成分と水平偏光成分の入射角依存性を示す特性図である。撮像装置を自動車に装着した状態を示す配置図である。レンズアレイの他の構成を示す断面図である。この発明の第２の撮像装置の光学系の概略構成を示す分解斜視図である。この発明の第３の撮像装置の光学系の概略構成を示す分解斜視図である。

図１と図２、はこの発明の第１の撮像装置の光学系の概略構成を示し、図１は分解斜視図、図２は断面図である。図に示すように、第１の撮像装置１００の光学系１は、路面の状態を撮像するものであり、レンズアレイ２と遮光スペーサ３と偏光フィルタ４とスペーサ５及び固体撮像ユニット６が積層されて形成されている。

レンズアレイ２は、２つのレンズ２１ａ，２１ｂを有する。この２つのレンズ２１ａ，２１ｂは互いに独立した同一形状の例えば非球面レンズ等からなる単レンズで形成され、光軸７ａ，７ｂを平行にして同一平面上に配置している。ここでレンズ２１ａ，２１ｂの光軸７ａ，７ｂと平行な方向をＺ軸、Ｚ軸に垂直な一方向をＸ軸、Ｚ軸とＸ軸に垂直な方向をＹ軸とすると、レンズ２１ａ，２１ｂは、同一のＸＹ平面上に配置されている。

遮光スペーサ３は、２つの開口部３１ａ，３１ｂを有し、レンズアレイ２に対して被写体側とは反対側に設けられている。２つの開口部３１ａ，３１ｂは光軸７ａ，７ｂをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。

偏光フィルタ４は、偏光面が９０度異なる２つの偏光子領域４１ａ，４１ｂを有し、遮光スペーサ３に対してレンズアレイ２とは反対側に設けられている。２つの偏光子領域４１ａ，４１ｂはそれぞれ光軸７ａ，７ｂを中心としてＸＹ平面と平行に設けられている。この偏光子領域４１ａ，４１ｂは、不特定の方向に電磁界が振動する無偏光を、偏光面に沿った方向の振動成分だけを透過させて直線偏光にする。

スペーサ５は、偏光フィルタ４の偏光子領域４１ａ，４１ｂに対応する領域が貫通した開口部５１を有する矩形枠状に形成され、偏光フィルタ４に対して遮光スペース３とは反対側に設けられている。

固体撮像ユニット６は、信号処理部８を有する基板６１上に搭載された２つの固体撮像素子６２ａ，６２ｂを有し、スペーサ５に対して偏光フィルタ４とは反対側に設けられている。２つの固体撮像素子６２ａ，６２ｂの実際に被写体像が結像する撮像領域はそれぞれ光軸７ａ，７ｂを中心としてＸＹ平面と平行な同一平面上に設けられている。この固体撮像素子６２ａ，６２ｂは白黒のセンシングを行う場合は内部にカラーフィルタを有しなく、カラー画像のセンシングを行う場合は、カラーフィルタを前段に配置してやれば良い。

このように撮像装置１００の光学系１は路面から垂直偏光画像と水平偏光画像を撮影する２系統の光学系を有し、固体撮像素子６２ａ，６２ｂの撮像領域にゴミなどの異物が入らないようにレンズアレイ２から固体撮像ユニット６までの間が密閉されている。

この撮像装置１００の固体撮像ユニット６の基板６１に設けられた信号処理部８は、図３のブロック図に示すように、信号前処理部８１ａ，８１ｂと画像メモリ８２ａ，８２ｂと演算処理部８３と路面状態判別部８４と路面情報記憶部８５と路面情報認識部８６及び出力部８７を有する。信号前処理部８１ａ，８１ｂは固体撮像ユニット６の個体撮像素子６２ａ，６２ｂから出力された画像信号の感度むら等を補正するシェーディング補正等を行って路面の垂直偏光画像と水平偏光画像を画像メモリ８２ａ，８２ｂに格納する。演算処理部８３は画像メモリ８２ａ，８２ｂに格納された垂直偏光画像と水平偏光画像との偏向比を演算する。路面状態判別部８４は演算処理部８３で演算した偏光比により路面の状態を判定する。路面情報記憶部８５には路面上に記載する文字や標識があらかじめ格納されている。路面情報認識部８６は画像メモリ８２ａ，８２ｂのいずれか又は両方の画像、例えば画像メモリ８２ａに格納された画像を取り込み、路面情報記憶部８５に記憶した文字や標識と照合して文字や標識を認識する。出力部８７は路面情報判別部８４で判定した路面の状態と路面情報認識部８６で認識した文字や標識を不図示の表示装置に出力する。

この撮像装置１００の光学系１の各構成要素について詳細に説明する。

光学系１のレンズアレイ２は、図４（ａ）に示すリフロー法や、（ｂ）に示すイオン拡散法、（ｃ）に示すインクジェット法、（ｄ）に示すグレイスケールマスク法等で作製する。図４（ａ）に示すリフロー法は、ガラス基板２１１の表面にフォトリソグラフィにより円柱状のフォトレジストパターン２１２を作製した後、透明基板２１１を加熱してレジストを流動させ、表面張力によりレンズ形状２１３を作製する方法である。また、図４（ｂ）に示すイオン拡散法は、レンズ形状に合わせたマスクを形成したガラス基板２１１にＴｌ^＋などのイオンを拡散させて段階的な屈折率変化をもたせる方法である。図４（ｃ）に示すインクジェット法は、インクジェットプリンタヘッド２１４を利用して微量の樹脂材料２１５を所定の位置に滴下し、表面張力によりレンズ形状２１３を作製する。これらの方法は、表面張力やイオンの拡散により自然に生じる形状や屈折率分布をレンズとして利用している。また、図４（ｄ）に示すグレイスケールマスク法は、グレイスケールマスク２１６に与えた透過率分布によってガラス基板２１１に形成したレジスト２１７の形状をコントロールしてレンズ形状２１３を形成する。この方法は他の方法に比べて様々な形状を作製できる。

図４に示すリフロー法やグレイスケールマスク法では、フォトレジストでレンズ形状を作製するところまでを示しているが、通常フォトレジストで作製したレンズはそのままでは透過率不足や湿度や光照射に対する耐性が弱い等の問題があるため、異方性ドライエッチングによりレジストパターンを基板材料に転写してから利用される。しかしながら，異方性ドライエッチングプロセスではレジスト形状とエッチング後の形状で大きな形状変化が生じる場合があり、目的の形状に対して誤差の少ないレンズを作製するのは困難であった。また、この形状変化はエッチング装置の種類、エッチング条件、基板材料の種類によって変化する。特に、レンズを評価する上で重要なパラメータである透過率と波長範囲、屈折率は基板の種類によって制限されるため，様々な基板材料に対して高い形状精度を持つレンズを作製できるようにすることは重要である。

また、通常のレンズ作製に用いられる研磨や、金型を作製して樹脂材を封入するモールド法を用いても良い。

また、１つの撮像素子に対して複数のレンズで撮影させる方法は複眼方式として知られている。このような複眼方式は撮像装置を薄型化する方法として知られている。すなわち、レンズ系を介して被写体像を固体撮像素子上に結像して画像化する撮像装置はデジタルスチル撮像装置や携帯電話用撮像装置などに広く用いられている。近年、撮像装置には高画素化と薄型化の両立が求められている。一般に画素数の増大とともにレンズ系に高解像性が要求されるために、撮像装置の光軸方向の厚みが大きくなる傾向がある。これに対して撮像素子の画素ピッチを小さくして同一画素数でも撮像素子のサイズを小さくすることによってレンズ系のスケールダウンを可能にし、高画素化と薄型化とが両立された撮像装置を実現する試みが取り組まれている。しかしながら、固体撮像素子の感度と飽和出力とは画素サイズに比例するために、画素ピッチの縮小化については限界がある。撮像装置としては、光軸に沿って１又は２以上のレンズが配置された１つのレンズ系と、この光軸上に配置された１つの固体撮像素子とからなる、いわゆる単眼式が一般的である。これに対して、近年、撮像装置の薄型化を図るために、同一平面上に配置された複数のレンズ系と、この複数のレンズ系に一対一に対応して同一平面上に配置された複数の撮像領域とからなる撮像装置が提案されている。この撮像装置は、対をなす１つのレンズ系と１つの撮像領域とを含む撮像ユニットを複数備えることから複眼式と呼ばれている。このような複眼式の撮像装置は例えば特許第３３９７７５８号公報などに記載され、高画素化と薄型化を図ることができる。したがってレンズアレイ２に２つのレンズ２１ａ，２１ｂを設け、レンズ２１ａ，２１ｂに入射して偏光フィルタ４の偏光子領域４１ａ，４１ｂを透過して固体撮像ユニット６の固体撮像素子６２ａ，６２ｂに入射した光に得た画像を合成することにより高画質の画像を得ることができるともに薄型化を図ることができる。

次に偏光フィルタ４の偏光子領域４１ａ，４１ｂについて図５の斜視図を参照して説明する。偏光子領域４１ａ，４１ｂは、例えばフォトニック結晶からなる偏光子からなり、図５に示すように、周期的な溝列を形成した透明基板４１１上に、透明で高屈折率の媒質層４１２と低屈折率の媒質層４１３とを界面の形状を保存しながら交互に積層して形成されている。この高屈折率の媒質層４１２と低屈折率の媒質層４１３の各層は、図５に示すように、透明基板４１１の溝列と直交するＸ方向に周期性を持つが、溝列と平行なＹ方向には一様であっても良いし、Ｘ方向より大きい長さの周期的または非周期的な構造を有していても良い。このような微細な周期構造（フォトニック結晶）は、特開平１０−３３５７５８号公報などに記載されてなる自己クローニング技術と呼ばれる方式を用いることにより、再現性良く且つ高い均一性で作製することができる。

このフォトニック結晶からなる偏光子領域４１ａ，４１ｂは、図６（ａ）の斜視図に示すように、光軸７ａ，７ｂと平行なＺ軸と、Ｚ軸と直交するＸＹ軸を有する直交座標系において、ＸＹ面に平行な１つの基板４１１の上に２種以上の透明材料をＺ軸方向に交互に積層した多層構造体、例えばＴａ_２Ｏ_５とＳｉＯ_２の交互多層膜からなり、偏光子領域４１ａ，４１ｂは各膜が凹凸形状を有しており、この凹凸形状はＸＹ面内の一つの方向に周期的に繰り返されて形成されている。そして偏光子領域４１ａは、図６（ｂ）に示すように、溝の方向がＹ軸方向に対して平行であり、偏光子領域４１ｂは溝の方向がＸ軸方向に対して平行であり、偏光子領域４１ａと偏光子領域４１ｂで溝の方向が９０度異なって形成されている。すなわちＸＹ面に入射される入力光から、偏光子領域４１ａと偏光子領域４１ｂによって偏光方向が異なる偏光成分を透過させるとともに、偏光子領域４１ａと偏光子領域４１ｂでそれぞれ等量の無偏光成分を透過させるようになっている。なお、偏光フィルタ４に２種類の凹凸形状の溝を設けたが、凹凸形状の溝方向は複数種類でも良い。このように偏光子領域４１ａ，４１ｂをフォトニック結晶で形成することにより、紫外線劣化などに優れて長期間安定して使用することができる。

この偏光子領域４１ａ，４１ｂの開口面積や透過軸は、はじめに透明基板４１１に加工する溝パターンの大きさや方向で自由に設計することができる。この溝パターンのパターン形成は、電子ビームリソグラフィやフォトリソグラフィ、干渉露光法、ナノプリンティングなど様々な方法で行うことができる。いずれの場合でも、微小領域ごとに溝の方向を高精度に定めることができる。そのため、透過軸の異なる微小偏光子を組み合わせた偏光子領域と、更にそれを複数並べた偏光子を形成することが可能となる。また、凹凸パターンを持つ特定の領域のみが偏光子の動作をするため、その周辺の領域を平坦あるいは、面内で等方的な凹凸パターンにしておけば偏波依存性のない媒質として光は透過する。したがって、特定の領域にのみ偏光子を作りこむことができる。

偏光フィルタ４の偏光子領域４１ａ，４１ｂはいずれか一方、例えば偏光子領域４１ｂの溝方向が路面と平行に配置されるように撮像装置１００を配置して、偏光子領域４１ａ，４１ｂで路面反射光の垂直偏光画像と水平偏光画像を取得する。

次に遮光スペーサ３の作製方法を図７の斜視図を参照して説明する。図７（ａ）に示すように、銀を含有した感光性のガラス基板３１１の外表面に紫外線を遮光する塗料３１２を塗布し、遮光壁３２を形成しようとする部分３１２ではパターニングにより塗料３１２を取り除く。この感光性ガラス３１１に紫外線を照射した後、塗料３１２を除去する。この紫外線の照射により、図７（ｂ）に示すように、ガラス基板３１１のうち紫外線が直接照射された遮光壁を形成しようとする部分３１２に銀が析出し、黒化して遮光部３１３が形成される。この遮光部３１３は遮光壁３２を形成しようとする部分３１２のガラスの内部にも形成される。この状態でガラス基板３１１の遮光壁３２を形成しようとする部分３１２以外を機械加工やエッチングにより除去して、図７（ｃ）に示すように２つの開口部３１ａ，３１ｂと遮光部３１３を有する遮光壁３２とを形成する。このようにして２つの開口部３１ａ，３１ｂを有する遮光スペーサ３を容易に作製することができる。この遮光スペース３の開口部３１ａ，３１ｂを偏光フィルタ２の偏光子領域４１ａ，４１ｂに対応して配置することにより隣接する偏光子領域に光が漏れ出すことを確実に防止することができる。また、各開口部３１ａ，３１ｂの内壁面が黒化しているから内壁面で反射した迷光が固体撮像ユニット６の固体撮像素子６２ａ，６２ｂに入射することを避けることができる。

次に、前記のように構成した撮像装置１００で路面の状態を検出するときの動作を説明する。

まず、撮像装置１００の偏光フィルタ４の偏光子領域４１ａ，４１ｂの内いずれか一方、例えば偏光子領域４１ｂの溝方向が路面と平行になるように撮像装置１００を配置して例えば車両に装着して路面の撮影を行う。この撮影によりレンズアレイ２のレンズ２１ａに入射した光は遮光スペーサ３を介して偏光フィルタ４の偏光子領域４１ａに入射し、偏光子領域４１ａで垂直偏光成分の光のみを固体撮像ユニット６の固体撮像素子９２ａに入射する。また、レンズアレイ２のレンズ２１ｂに入射した光は遮光スペーサ３を介して偏光フィルタ４の偏光子領域４１ｂに入射し、偏光子領域４１ｂで水平偏光成分の光のみを固体撮像ユニット６の固体撮像素子９２ｂに入射する。固体撮像素子９２ａ，９２ｂで撮影された画像信号は信号処理部８の信号前処理部８１ａ，８１ｂで処理されて垂直偏光画像と水平偏光画像がそれぞれ画像メモリ８２ａ，８２ｂに格納される。演算処理部８３は画像メモリ８２ａ，８２ｂに格納された垂直偏光画像と水平偏光画像の偏光比を演算して路面状態判別部８４に出力する。路面状態判別部８４は入力した垂直偏光画像と水平偏光画像の偏光比の大小から路面の湿潤状態を判別し、入力した垂直偏光画像と水平偏光画像の偏光比とあらかじめ設定された基準値とを比較して入力した偏光比が基準値を超えているか否により路面の欠陥の有無を判別する。

この路面状態判別部８４で路面の湿潤の判定処理について図８の模式図を参照して説明する。図８（ａ）に示すように、湿潤時の路面は表面の凹凸部分に水がたまることによって鏡面となり、この鏡面からの反射光は偏光特性を示す。この場合、反射光の垂直偏光成分と水平偏光成分の反射率をＲｓ、Ｒｐとすると、光強度Ｉの入射光に対する反射光強度Ｉｓ，Ｉｐは下記式で表され、その入射角依存性は図９に示すようになる。
Ｉｓ＝Ｒｓ・Ｉ
Ｉｐ＝Ｒｐ・Ｉ
このように、鏡面における反射光の水平偏光成分は入射角がブリュースタ角（53.1度）に等しいとき反射光強度が零となり、垂直偏光成分は反射光強度が入射角の増大に伴って漸増する特性を示す。

一方、図８（ｂ）に示すように乾燥時の路面は表面が粗面であるため乱反射が支配的となり、反射光は偏光特性を示さず、各偏光成分の反射光強度はほぼ等しくなる（Ｒｓ＝Ｒｐ）。したがって水平偏光画像と垂直偏光画像の輝度情報から、偏光特性に基づいて、路面水分に関する情報を抽出することが可能になる。

具体的には下記式に示すように、垂直偏光成分の反射光強度Ｉｓと水平偏光成分の反射光強度Ｉｐ、すなわち画像輝度の比Ｈを求める。
Ｈ＝Ｉｓ/Ｉｐ＝Ｒｓ/Ｒｐ
この反射光強度Ｉｓ，Ｉｐの比Ｈは入射光強度Ｉに依存しなくなるため、外界の輝度変動の影響を除去しつつ、安定に偏光特性を抽出することが可能となる。
この偏光比Ｈの輝度平均値などを求め、その値の大小から路面の湿潤状態を判別する。例えば路面が乾燥している場合には、垂直偏光成分と水平偏光成分は略等しくなるため、偏光比Ｈは１前後の値となる。また、路面が完全に濡れている場合には、水平偏光成分は垂直偏光成分よりもかなり大きくなるため偏光比Ｈは大きな値となる。また、路面が僅かだけ濡れているような場合には、偏光比Ｈはこれらの中間値となる。したがって偏光比Ｈの値から路面の湿潤状態を算出することができる。

この路面状態判別部８４で判別した路面の湿潤状態や欠陥の有無は出力部８７から不図示の表示装置に出力して表示する。このようにして移動する車両で路面の湿潤状態を撮影することができ、スリップ注意などの注意情報を発することができる。

一方、路面情報認識部８６は例えば画像メモリ８２ａに格納された垂直偏光画像を読み取り、読み取った画像と路面情報記憶部に記憶した文字や標識と比較して路面に表示された文字や標識を認識し、認識した文字や標識を出力部８７から表示装置に出力して表示する。このようにして路面に表示された上限スピード表示や停止表示等の情報や車線を区画する白線等を確実に検知して、運転者に対してより高度の運転支援を行うことができる。

この路面情報認識部８６で垂直偏光画像を読み取る利点について、自動車の運転席部分を示す図１０を参照して説明する。図１０において、１０１はルームミラー、１０２は自動車の天井、１０３は自動車のフロントガラス、１０４はダッシュボード、１０４ａはダッシュボードの上面部であり、撮像装置１００はルームミラー１０１の裏面に装着されている。この自動車の運転席部分に太陽１０５からの光が入射してダッシュボード１０４の上面部１０４ａで反射し、この反射光がフロントガラス１０３内面に入射し、ここで再び反射した反射光が撮像装置１００に入射すると、撮像装置１００で本来得られるべき画像のコントラストを著しく低下させてしまう、いわゆるフロントガラス１０３からの映り込み問題が発生していた。これはダッシュボード１０４の上面部１０４ａに地図帳とかタオルなど反射率の高いものを置いた場合に特に顕著である。

このようなガラスからの反射光は光の振動方向が一方向（水平偏光成分）のみの偏光になっているため、撮像装置１００の路面情報認識部８６で垂直偏光画像を取り出すことによりフロントガラス１０３からの映り込みの影響を低減した状態での路面状態の撮像が可能である。同様に太陽光に伴う路面反射光の成分のうち水平偏光成分をカットすることも可能である。

前記説明では、レンズアレイ２のレンズ２１ａ，２１ｂを単レンズで構成した場合について説明したが、図１１（ａ）に示すように、複数枚のレンズアレイ２２を、スペーサ２３などを介して積層してレンズアレイ２を構成しても良い。このように複数枚のレンズアレイ２２を組み合わせることにより、各レンズの形状を簡素化して用に作製することができる。また、図１１（ｂ）に示すように、複数枚のレンズアレイ２２のレンズ形状を変えてやっても良い。例えば、偏光方向に応じて入射光量が異なるためアイリス調整はレンズ開口を変えてやっても良い。

また、前記説明では光フィルタ４の偏光子領域４１ａ，４１ｂを例えばフォトニック結晶で形成した場合について説明したが、偏光子領域４１ａ，４１ｂとしてワイヤグリッド型の偏光子を使用しても良い。このワイヤグリッド型の偏光子とは、細い金属ワイヤを周期的に配列することにより形成された偏光子であり、従来、電磁波のミリ波領域において多く用いられてきた偏光子である。ワイヤグリッド型偏光子の構造は、入力光の波長に比べて十分細い金属細線が波長に比べて十分に短い間隔で並んだ構造を有する。このような構造に光を入射した場合、金属細線に平行な偏光は反射され、それに直交する偏光は透過されることはすでに知られている。金属細線の方向については、１枚の基板内において領域ごとに独立に変化させて作製することができるため、ワイヤグリッド偏光子の特性を領域毎に変えることができる。これを利用すれば、偏光子領域４１ａ，４１ｂ毎に透過軸の方向を変化させた構造とすることができる。

このワイヤグリッドの作製方法としては、基板上に金属膜を形成し、リソグラフィによりパターニングを行うことで、細線状の金属を残すことができる。また、他の作製方法としては、リソグラフィにより基板に溝を形成し、この溝の方向とは直角で基板の法線から傾いた方向（基板面に斜めの方向）から真空蒸着により金属を成膜することで作製することができる。真空蒸着では蒸着源から飛来する粒子はその途中で他の分子もしくは原子にほとんど衝突することはなく、粒子は蒸着源から基板にむかって直線的に進むため、溝を構成する凸部にのみ成膜される一方、溝の底部（凹部）では、凸部に遮蔽されほとんど成膜されない。したがって、成膜量を制御することで、基板上に形成された溝の凸部にのみ金属膜を成膜することができ、金属細線を作製することができる。このワイヤグリッド型偏光子に用いられるワイヤ金属としては、アルミニウムもしくは銀が望ましいが、例えばタングステンなど、そのほかの金属であっても同様の現象を実現できる。また、リソグラフィとしては、光リソグラフィ、電子ビームリソグラフィ又はＸ線リソグラフィなどが挙げられるが、可視光での動作を想定すると細線の間隔が１００ｎｍ程度になるため、電子ビームリソグラフィもしくはＸ線リソグラフィがより望ましい。また、金属の成膜では真空蒸着が望ましいが、主として基板に入射する粒子の方向性が重要であるので、高真空度の雰囲気におけるスパッタリング、もしくはコリメーターを用いたコリメーションスパッタでも可能である。

前記説明では、２つのレンズ２１ａ，２１ｂからなるレンズアレイ２と２つの偏光子領域４１ａ，４１ｂからなる偏光フィルタ４から構成された光学系１を有する撮像装置１００について説明したが、この構成に限定されるものではなく、レンズアレイ２と偏光フィルタ４を２つ以上の領域で構成しても良い。

例えば図１２の分解斜視図に示すように、第２の撮像装置１００ａの光学系１ａは、レンズアレイ２を４つのレンズ２１ａ，２１ｂ，２１ｃ，２１ｄで構成し、偏光フィルタ４を４つの偏光子領域４１ａ，４１ｂ，４１ｃ，４１ｄで構成されている。レンズアレイ２の４つのレンズ２１ａ，２１ｂ，２１ｃ，２１ｄのうち、レンズ２１ａ，２１ｂが同一形状の例えば非球面レンズ等からなる単レンズで形成され、レンズ２１ｃ，２１ｄはレンズ２１ａ，２１ｂとは異なる形状で非球面レンズ等からなる単レンズで形成され同一平面上に配置している。ここで４つのレンズ２１ａ，２１ｂ，２１ｃ，２１ｄのうち、レンズ２１ａ，２１ｂは相対的に焦点距離が長く、画角が狭い遠距離用のレンズであり、レンズ２１ｃ，２１ｄは相対的に焦点距離が短く、画角が広いレンズで構成されてなる。ここで遠距離とは車両前方３０〜１００ｍの範囲で、近距離とは２〜３０ｍの範囲が目安となる。また画角については遠距離用が１０度程度で、近距離用は３０度程度である。

遮光スペーサ３は、２つの開口部３１ａ，３１ｂ，３１ｃ，３１ｄを有し、レンズアレイ２に対して被写体側とは反対側に設けられている。４つの開口部３１ａ，３１ｂ，３１ｃ，３１ｄはレンズ２１ａ，２１ｂ，２１ｃ，２１ｄの光軸７ａ，７ｂ，７ｃ，７ｄをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。

偏光フィルタ４は、偏光面が９０度異なる２つの偏光子領域４１ａ，４１ｂと、同様に偏光面が９０度異なる２つの偏光子領域４１ｃ，４１ｄを有し、遮光スペーサ３に対してレンズアレイ２とは反対側に設けられている。４つの偏光子領域４１ａ，４１ｂ，４１ｃ，４１ｄはそれぞれ光軸７ａ，７ｂ，７ｃ，７ｄを中心としてＸＹ平面と平行に設けられている。この偏光子領域４１ａ，４１ｂ，４１ｃ，４１ｄは、不特定の方向に電磁界が振動する無偏光を偏光面に沿った方向の振動成分だけを透過させて直線偏光にする。

スペーサ５は、偏光フィルタ４の偏光子領域４１ａ，４１ｂ，４１ｃ，４１ｄに対応する領域が貫通した開口部５１を有する矩形枠状に形成され、偏光フィルタ４に対して遮光スペース３とは反対側に設けられている。

固体撮像ユニット６は、信号処理部８を有する基板６１上に搭載された４つの固体撮像素子６２ａ，６２ｂ，６２ｃ，６２ｄを有し、スペーサ５に対して偏光フィルタ４とは反対側に設けられている。４つの固体撮像素子６２ａ，６２ｂ，６２ｃ，６２ｄの実際に被写体像が結像する撮像領域はそれぞれ光軸７ａ，７ｂ，７ｃ，７ｄを中心としてＸＹ平面と平行な同一平面上に設けられている。この固体撮像素子６２ａ，６２ｂ，６２ｃ，６２ｄは白黒のセンシングを行う場合は内部にカラーフィルタを有しなく、カラー画像のセンシングを行う場合は、カラーフィルタを前段に配置してやれば良い。

このように第２の撮像装置１００ａの光学系１ａは、路面から垂直偏光画像と水平偏光画像を撮影する２系統の光学系を有し、固体撮像素子６２ａ，６２ｂ，６２ｃ，６２ｄの撮像領域にゴミなどの異物が入らないようにレンズアレイ２から固体撮像ユニット６までの間が密閉されている。

この第２の撮像装置１００ａの光学系１ａは、遠距離用のレンズ２１ａ，２１ｂと近距離用のレンズ２１ｃ，２１ｄを配置したレンズアレイ２を用いることにより、遠距離と近距離の両画像を最適に結像することが可能となる。そして各固体撮像素子６２ａ，６２ｂ，６２ｃ，６２ｄの後段には第１の撮像装置１００の光学系１と同様に信号処理部８を設けて偏光比画像を撮像することにより、第１の撮像装置１００に比べ撮像位置に対してロバスト性の高い撮像装置を実現できる。なお、偏光比の画像をドライバに伝達する方法としては、低速時は近距離画像のみをモニター上に表示し、高速時には遠距離画像のみをモニター上に表示する方法や、両画像を一画面中すなわち遠距離画像をモニター上の中央部、近距離画像をその周辺部に表示するような方法などを用いれば良い。

前記第２の撮像装置１００ａの光学系１ａは、相対的に焦点距離が長く、画角が狭い遠距離用のレンズ２１ａ，２１ｂと、相対的に焦点距離が短く、画角が広いレンズ２１ｃ，２１ｄで構成されてについて示したが、次に、レンズアレイ２の４つのレンズ２１ａ，２１ｂ、２１ｃ、２１ｄを同一形状で非球面レンズ等からなる単レンズで形成した第３の撮像装置１００ｂの光学系１ｂを図１３の分解斜視図を参照して説明する。

第３の撮像装置１００ｂの光学系１ｂのレンズアレイ２は、同一形状で非球面レンズ等からなる単レンズ２１ａ，２１ｂ、２１ｃ、２１ｄが同一平面上に配置している。遮光スペーサ３は、２つの開口部３１ａ，３１ｂ，３１ｃ，３１ｄを有し、レンズアレイ２に対して被写体側とは反対側に設けられている。４つの開口部３１ａ，３１ｂ，３１ｃ，３１ｄはレンズ２１ａ，２１ｂ，２１ｃ，２１ｄの光軸７ａ，７ｂ，７ｃ，７ｄをそれぞれ中心として所定の大きさで貫通され、内壁面には黒塗りや粗面やつや消しなどにより光の反射防止処理がされている。

偏光フィルタ４は、偏光面が９０度異なる２つの偏光子領域４１ａ，４１ｂと、同様に偏光面が９０度異なる２つの偏光子領域４１ｃ，４１ｄを有し、遮光スペーサ３に対してレンズアレイ２とは反対側に設けられている。４つの偏光子領域４１ａ，４１ｂ，４１ｃ，４１ｄはそれぞれ光軸７ａ，７ｂ，７ｃ，７ｄを中心としてＸＹ平面と平行に設けられている。この偏光子領域４１ａ，４１ｂ，４１ｃ，４１ｄは、不特定の方向に電磁界が振動する無偏光を偏光面に沿った方向の振動成分だけを透過させて直線偏光にする。そして偏光子領域４１ａ，４１ｂは透過波長が４５０〜６５０ｎｍ（可視域）の範囲でワイヤグリッドやフォトニック結晶の構造が最適化されてなり、偏光子領域４１ｃ、４１ｄは透過波長が６５０〜１０００ｎｍ（近赤外域）の範囲でワイヤグリッドやフォトニック結晶の構造が最適化されてなる。一般に長波長側ほど周期構造のピッチが広くなる。

このように第３の撮像装置１００ｂの光学系１ｂは路面から垂直偏光画像と水平偏光画像を撮影する２系統の光学系を有し、固体撮像素子６２ａ，６２ｂ，６２ｃ，６２ｄの撮像領域にゴミなどの異物が入らないようにレンズアレイ２から固体撮像ユニット６までの間が密閉されている。

この偏光子領域として可視域用の偏光子領域４１ａ，４１ｂと近赤外域用の偏光子領域４１ｃ，４１ｄを有する偏光フィルタ４を用いた光学系１ｂを有する撮像装置１００ｂは、昼間と夜間の両画像を最適に結像することが可能となる。すなわち昼間は可視域に最適化された偏光子領域４１ａ，４１ｂからの情報をもとに偏光比画像を生成し、夜間は近赤外域に最適化された偏光子領域４１ｃ，４１ｄからの情報をもとに偏光比画像を生成すればよい。この夜間時の撮影は可視域の情報では判別が難しく、近赤外や遠赤外の波長の光を用いることが一般に知られている。また、ヘッドランプとして近赤外波長の光を投光すればさらによい。そして固体撮像素子６２ａ，６２ｂの後段及び固体撮像素子６２ｃ，６２ｄの後段に第１の撮像装置１００の光学系１と同様に信号処理部８を設けて偏光比画像を撮像することにより、第１の撮像装置１００に比べて昼間や夜間の使用環境に対してロバスト性の高い撮像装置を実現することができる。なお、偏光比の画像をドライバに伝達する方法としては、ヘッドライトオフ時は可視域画像のみをモニター上に表示し、夜間時は近赤外域画像のみをモニター上に表示する方法を用いれば良い。また、良く知られている日照センサなどを設け、日照センサの出力値に基づいて自動的にモニター上の表示を切り換えても良い。

前記説明では撮像装置１００，１００ａ，１００ｂの使用例として車両前方の画像を撮影する場合について説明してきたが、車両側面や車両後方を撮影するものであっても良い。また、撮像装置１００，１００ａ，１００ｂは車載用途に限定されるものでなく、ＦＡ（ファクトリオートメーション）やヘルスケア・メディカルなどの用途に用いることも可能である。

１００；撮像装置、１；光学系、２；レンズアレイ、３；遮光スペーサ、
４；偏光フィルタ、５；スペーサ、６；固体撮像ユニット、７；光軸、
８；信号処理部、２１；レンズ、３１；開口部、４１；偏光子領域、
５１；開口部、６１；基板、６２；固体撮像素子、８１；信号前処理部、
８２；画像メモリ、８３；演算処理部、８４；路面状態判別部、
８５；路面情報記憶部、８６；路面情報認識部、８７；出力部。

特開平１０−３３２５７６号公報

Claims

複数のレンズを同一基板上に有するレンズアレイと、該レンズアレイの各レンズを透過した光束に応じた領域を有するたフィルタと、該フィルタの各領域を通過した光を受光して被写体像を撮影する複数の撮像領域を有する撮像ユニットと、該撮像ユニットの各撮像領域で撮影した被写体の画像の画像信号を処理する信号処理装置とを備えた撮像装置であって、
前記フィルタは、可視域を透過する領域と、赤外光を透過する領域とを有し、前記フィルタの可視域を透過する領域と、赤外光を透過する領域のそれぞれに透過軸が互いに直交する少なくとも２つの偏光子領域を含み、
前記レンズアレイと前記フィルタとの間に、前記レンズアレイの各レンズを透過した光束毎に分離して前記フィルタの各偏光子領域に入射させる遮光手段を備え、
前記撮像ユニットは、前記可視域を透過する領域における前記透過軸が互いに直交する偏光子領域のいずれか一方に対応する撮像領域で可視域の垂直偏光画像を撮影し、他方に対応する撮像領域で可視域の水平偏光画像を撮影するとともに、前記赤外光を透過する領域における前記透過軸が互いに直交する偏光子領域のいずれか一方に対応する撮像領域で赤外光の垂直偏光画像を撮影し、他方に対応する撮像領域で赤外光の水平偏光画像を撮影し、前記信号処理装置は、前記撮像ユニットで撮影した前記可視域の垂直偏光画像と前記可視域の水平偏光画像との比の画像、または、前記赤外光の垂直偏光画像と前記赤外光の水平偏光画像との比の画像を生成することを特徴とする撮像装置。
前記信号処理装置は、昼間は、前記撮像ユニットで撮影した前記可視域の垂直偏光画像と前記可視域の水平偏光画像との比の画像を生成し、夜間は、前記赤外光の垂直偏光画像と前記赤外光の水平偏光画像との比の画像を生成することを特徴とする請求項１記載の撮像装置。
前記信号処理装置は、ヘッドライトオフ時は、前記撮像ユニットで撮影した前記可視域の垂直偏光画像と前記可視域の水平偏光画像との比の画像を生成し、ヘッドライトオン時は、前記赤外光の垂直偏光画像と前記赤外光の水平偏光画像との比の画像を生成することを特徴とする請求項１または２記載の撮像装置。
前記透過軸が互いに直交する少なくとも２つの偏向子領域に対応する前記レンズアレイの各レンズ間でレンズの開口異ならせたことを特徴とする請求項１乃至３いずれかに記載の撮像装置。
前記レンズアレイは画角が狭い遠距離用のレンズとこれより画角が広いレンズを含む少なくもと４つのレンズの有することを特徴とする請求項１乃至４いずれかに記載の撮像装置。
前記信号処理装置は、前記撮像ユニットで撮影した垂直偏光画像と水平偏光画像との偏光比の大小から路面の湿潤や乾燥状態を判別することを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
請求項１乃至６のいずれかに記載の撮像装置により撮影した画像により路面状態を判別する路面状態判別方法であって、
前記撮像ユニットのいずれかの撮像領域で路面反射光の垂直偏光画像を撮影し、他の撮像領域で路面反射光の水平偏光画像を撮影し、撮影した垂直偏光画像と水平偏光画像との偏光比から路面状態を判別することを特徴とする路面状態判別方法。