JP5278814B2 - ステレオカメラ装置及び車外監視装置 - Google Patents

Description

この発明は、三次元の距離情報を有する距離画像を求め、この距離画像から複数の立体物を検出するステレオカメラ装置とそれを使用した車外監視装置に関するものである。

被写体の三次元位置を測定する技術として、従来からステレオカメラが知られている。ステレオカメラは、視点の異なる二つのカメラの撮影画像を解析することにより、被写体の三次元位置情報を演算するものである。ステレオカメラでは、二つのカメラ間の距離（光軸間の距離）を基線長として、被写体の三次元位置情報を、二つのカメラの視点の相違による画像座標の差分である二つのカメラの撮影画像の視差と基線長から容易に演算することができる。このステレオカメラにおいては、二つのカメラに共通して写っている被写体に限って、その三次元位置を演算することができる。

ステレオカメラである程度以上遠方の被写体を撮影した場合は、二つのカメラの撮影画像の視差が小さくなりすぎて、測定される被写体の位置の誤差が大きくなる。このため十分な精度で位置を測定できる被写体は、ステレオカメラからの距離が測定限界距離より近い被写体に限定される。

一方、ステレオカメラは使用しているレンズの焦点距離によって撮影画像の視野の広さが異なる。そして被写体の位置を測定できる領域範囲も、レンズの焦点距離に応じて決まる。レンズの焦点距離が短いほど撮影画像の視野は広くなるが、遠方の被写体の視差が小さくなるため、測定限界距離は小さくなる。逆に、レンズの焦点距離が長くなると、撮影画像の視野は狭くなるが、遠方の被写体でも視差が拡大されるため、測定限界距離は大きくなる。

この遠距離の被写体と近距離の被写体の三次元位置を正確に検出するため、特許文献１に示された車両用車外監視装置は、遠距離用の２台１組のステレオカメラと近距離用の２台１組のステレオカメラとの合計４台のＣＣＤカメラを車両に搭載し、ステレオ法による三次元計測処理を行っている。この場合、ステレオカメラで物体を検出できる範囲である代表的な例として遠距離用では車両前方２０ｍから１００ｍ程度であり、近距離用では車両前方５ｍから３０ｍ程度である。

特許文献１に示された車両用車外監視装置のように、遠距離用のステレオカメラと近距離用のステレオカメラを使用した場合、各撮像素子を４組具備する必要がある。しかしながら撮像素子はカメラを構成する上で、実装部品や回路基板を要するためサイズ拡大の原因となるとともに、カメラの構成部材の中でコストを支配する部品である。そのためサイズが大きくなるとともに高価になるという問題があった。

この発明は、このような問題を解消し、２組の撮像素子を使用して遠距離用と近距離用のステレオ画像を同時に得て、遠距離と近距離の被写体の三次元位置を精度良く検出することができるステレオカメラ装置とそれを使用した車外監視装置を提供することを目的とするものである。

この発明のステレオカメラ装置は、第１の撮像部と、該第１の撮像部から所定距離だけ隔てた第２の撮像部を有し、前記第１の撮像部は、第１のレンズと第２のレンズと第１の導光手段と第１の領域分割フィルタ及び第１の撮像素子を有し、前記第１のレンズと第２のレンズは、所定距離隔てて光軸が平行になるように配置され、前記第１の導光手段は、前記第１のレンズからの光を前記第１のレンズの光軸に対して９０度偏向させ、偏向された光を９０度偏向させてＳ偏光成分の光を前記第１の領域分割フィルタに導き、前記第２のレンズを通った光のうちＰ偏光成分の光を透過させて前記第１の領域分割フィルタに導き、前記第１の領域分割フィルタは、Ｓ偏光成分とＰ偏光成分の光のみを透過する２つの偏光子領域を有し、前記第１の導光手段からの光をＳ偏光成分とＰ偏光成分に分離し、前記第１の撮像素子は、前記第１の領域分割フィルタで分離したＳ偏光成分とＰ偏光成分の光を受光してＳ偏光成分とＰ偏光成分の画像を検知し、前記第２の撮像部は、第３のレンズと第４のレンズと第２の導光手段と第２の領域分割フィルタ及び第２の撮像素子を有し、前記第３のレンズと第４のレンズは、所定距離隔てて光軸が平行になるように配置され、前記第２の導光手段は、前記第３のレンズからの光を９０度偏向させ、偏向された光を９０度偏向させてＳ偏光成分の光を前記第２の領域分割フィルタに導き、前記第４のレンズを通った光のうちＰ偏光成分の光を透過させて前記第２の領域分割フィルタに導き、前記第２の領域分割フィルタは、Ｓ偏光成分とＰ偏光成分の光のみを透過する２つの偏光子領域を有し、前記第２の導光手段からの光をＳ偏光成分とＰ偏光成分に分離し、前記第２の撮像素子は、前記第２の領域分割フィルタで分離したＳ偏光成分とＰ偏光成分の光を受光してＳ偏光成分とＰ偏光成分の画像を検知し、前記第１の撮像部で検知されるＳ偏光成分の画像と前記第２の撮像部で検知されるＳ偏光成分の画像から遠距離用のステレオ画像を形成し、前記第１の撮像部で検知されるＰ偏光成分の画像と前記第２の撮像部で検知されるＰ偏光成分の画像から近距離用のステレオ画像を形成することを特徴とする。

前記第１の導光手段は、第１の反射ミラーと第１の偏光ビームスプリッタを有し、前記第１の反射ミラーは前記第１のレンズからの光を光軸に対して９０度偏向させ、前記第１の偏光ビームスプリッタは、前記第１の反射ミラーからの光を反射してＳ偏光成分の光を９０度偏向させ、前記第２のレンズを通った光のうちＰ偏光成分の光を透過させ、前記第２の導光手段は、第２の反射ミラーと第２の偏光ビームスプリッタを有し、前記第２の反射ミラーは前記第３のレンズからの光を光軸に対して９０度偏向させ、前記第２の偏光ビームスプリッタは、前記第２の反射ミラーからの光を反射してＳ偏光成分の光を９０度偏向させ、前記第４のレンズを通った光のうちＰ偏光成分の光を透過させることを特徴とする。

前記第１の導光手段の第１の反射ミラーと第１の偏光ビームスプリッタを一体化したプリズム構成とし、前記第２の導光手段の第２の反射ミラーと第２の偏光ビームスプリッタを一体化したプリズム構成としたことを特徴とする。

また、前記第１のレンズから第４のレンズは、第１のレンズ、第２のレンズ、第３のレンズ、第４のレンズの順に配列されていることが望ましい。

また、第１の領域分割フィルタは、第１のレンズと第２のレンズの配列方向に応じてＳ偏光成分を透過する偏光子領域とＰ偏光成分の光を透過する偏光子領域が二分割され、第２の領域分割フィルタは、第３のレンズと第４のレンズの配列方向に応じてＳ偏光成分を透過する偏光子領域とＰ偏光成分の光を透過する偏光子領域が二分割されていることを特徴とする。

さらに、第１の領域分割フィルタは、第１のレンズと第２のレンズの配列方向に応じて複数のＳ偏光成分を透過する偏光子領域とＰ偏光成分の光を透過する偏光子領域を交互に有し、第２の領域分割フィルタは、第３のレンズと第４のレンズの配列方向に応じて複数のＳ偏光成分を透過する偏光子領域とＰ偏光成分の光を透過する偏光子領域を交互に有することが望ましい。

また、第１の領域分割フィルタと第２の領域分割フィルタの各偏光子領域は、透明基板上に屈折率が異なる複数の透明材料を積層した多層構造体からなり、各層毎に一方向に繰り返される１次元周期的な凹凸形状を有することを特徴とする。

この発明の車外監視装置は、前記ステレオカメラ装置を有し、車両に搭載されることを特徴とする。

この車外監視装置のステレオカメラ装置の第２のレンズと第１の導光手段の間及び第４のレンズと第２の導光手段に１／２波長板を有することが望ましい。

この発明は、第１の撮像部と第２の撮像部にそれぞれ１つの撮像素子を有し、第１の撮像部で検知されるＳ偏光成分の画像と第２の撮像部で検知されるＳ偏光成分の画像から遠距離用のステレオ画像を形成し、第１の撮像部で検知されるＰ偏光成分の画像と第２の撮像部で検知されるＰ偏光成分の画像から近距離用のステレオ画像を形成することにより、２つの撮像素子で遠距離用と近距離用のステレオ画像が形成することができ、ステレオカメラ装置を簡素化して小型化できるとともに低コスト化を図ることができる。

また、遠距離用と近距離用のステレオ画像が形成することができるから、広い距離範囲に対して高精度な距離測定を行なうことができる。

また、第１の撮像部と第２の撮像部の導光手段を、反射ミラーと偏光ビームスプリッタで構成し、反射ミラーと偏光ビームスプリッタを一体化したプリズム構成とすることにより、回転やシフトしても光路のズレがキャンセルされ、低バスト性の高い構成を実現することができる。

さらに、第１のレンズから第４のレンズを第１のレンズ、第２のレンズ、第３のレンズ、第４のレンズの順に配列して遠距離用のステレオ画像を形成する第１の反射ミラーと第２の反射ミラーの反射面の方向を同一にするから、反射ミラーの反射特性に起因する輝度分布の影響などを受けにくいステレオカメラ光学系を実現することができる。

また、領域分割フィルタでＳ偏光成分の光とＰ偏光成分の光を二分割してＳ偏光成分の画像とＰ偏光成分の画像を得ることにより、遠距離用と近距離用のステレオ画像の視差検出範囲を広く確保することができる。

さらに、領域分割フィルタに複数のＳ偏光成分を透過する偏光子領域とＰ偏光成分の光を透過する偏光子領域を交互に有することにより、撮像範囲として撮像素子全体を利用することができ、広い視野を確保することができる。

また、この発明のステレオカメラ装置を車両に搭載する車外監視装置に使用することにより、遠距離の被写体と近距離の被写体のステレオ画像を得ることができ、広い距離範囲に対して高精度な距離測定を行なうことができる。

さらに、車外監視装置に使用するステレオカメラ装置の第２のレンズと第１の導光手段の間及び第４のレンズと第２の導光手段に１／２波長板を設けることにより、被写体の画像を撮像するときにウインドなどによる幻惑が生じることを防いで高精度なステレオ画像を得ることができ、被写体までの距離を精度良く測定することができる。

この発明のステレオカメラ装置の構成図である。 車両に搭載した車外監視装置の構成図である。 ステレオカメラ装置の前面側からみた斜視図である。 領域分割フィルタと撮像素子の構成を示す斜視図である。 領域分割フィルタを構成する偏光子領域の構成を示す斜視図である。 被写体までの距離を測定するときの処理を示すフローチャートである。 ステレオカメラ装置で撮像した遠距離と近距離の画像を示す図である。 遠距離と近距離の画像を合成した距離画像を示す図である。 領域分割フィルタの他の構成を示す斜視図である。 第２のステレオカメラ装置の構成図である。 第３のステレオカメラ装置の構成図である。 第４のステレオカメラ装置の構成図である。

図１は、この発明のステレオカメラ装置の構成図である。このステレオカメラ装置１は遠距離用と近距離用のステレオ画像を形成するものであり、図２に示すように、自動車等の車両４に搭載された車外監視装置５に使用する。車外監視装置５は車外の所定範囲内の物体を撮像し、撮像した画像から車外の物体を認識して監視するものであり、ステレオカメラ装置１と、ステレオカメラ装置１で撮像した画像を処理して三次元の距離分布情報を算出するイメージプロセッサ６と、イメージプロセッサ６からの距離情報を入力し、その距離情報から道路形状や複数の立体物の三次元位置を高速で検出し、その検出結果に基づいて先行車や障害物を特定して衝突警報の判断処理等を行う画像処理用コンピュータ７等から構成されている。また、画像処理用コンピュータ７には、速度センサ８と舵角センサ９等の現在の車両の走行状態を検出するためのセンサが接続され、認識された物体が自車両４の障害物となる場合、運転者の前方に設置されたディスプレイ１０へ表示して運転者に対する警告を行うほかに、図示しないアクチュエータ類を制御する外部装置を接続することにより車体の自動衝突回避制御等が可能となっている。ステレオカメラ装置１の車両４に対する設置位置に関する説明図である。ルームミラーの後段などドライバの視野を遮らない位置に配備されることが望ましい。

このステレオカメラ装置１は、図１に示すように、第１の撮像部２と、第１の撮像部２から所定距離だけ隔てた第２の撮像部３を有する。第１の撮像部２は第１のレンズ群（以下、第１のレンズという）２１と第２のレンズ群（以下、第２のレンズという）２２と反射ミラー２３と偏光ビームスプリッタ２４と領域分割フィルタ２５及び撮像素子２６を有する。反射ミラー２３は第１のレンズ２１の光軸に対して、光路を９０度偏向させる反射面２３ａを有するプリズムからなり、第１のレンズ２１を通った光を９０度偏光させる。偏光ビームスプリッタ２４は反射ミラー２３の反射面２３ａと所定距離だけ隔てて平行に配置され、Ｓ偏光成分の光を反射し、Ｐ偏光成分の光を透過する偏光ビームスプリッタ面２４ａを有する直角プリズムからなり、反射ミラー２３で反射した光をうちＳ偏光成分の光のみを偏光ビームスプリッタ面２４ａで反射して９０度偏向させる。第２のレンズ２２は光軸が第１のレンズ２１の光軸と平行になるように偏光ビームスプリッタ２４の前面に設けられ、第２のレンズ２２を通った光のうちＰ偏光成分の光のみが偏光ビームスプリッタ２４の偏光ビームスプリッタ面２４ａを透過する。領域分割フィルタ２５はＳ偏光成分とＰ偏光成分の光のみをそれぞれ透過する２つの偏光子領域を有し、偏光ビームスプリッタ２４の偏光ビームスプリッタ面２４ａで反射したＳ偏光成分の光と偏光ビームスプリッタ面２４ａを透過したＰ偏光成分の光を入射してＳ偏光成分の光とＰ偏光成分の光を分離する。撮像素子２６は領域分割フィルタ２５で分離したＳ偏光成分の光とＰ偏光成分の光を入射して画像信号を出力する。

第２の撮像部３は第３のレンズ群（以下、第３のレンズという）３１と第４のレンズ群（以下、第４のレンズという）３２と反射ミラー３３と偏光ビームスプリッタ３４と領域分割フィルタ３５及び撮像素子３６を有する。反射ミラー３３は第３のレンズ３１の光軸に対して、光路を９０度偏向させる反射面３３ａを有し、第３のレンズ３１を通った光を９０度偏光させる。偏光ビームスプリッタ３４は反射ミラー３３の反射面３３ａと所定距離だけ隔てて平行に配置され、Ｓ偏光成分の光を反射し、Ｐ偏光成分の光を透過する偏光ビームスプリッタ面３４ａを有する直角プリズムからなり、反射ミラー３３で反射した光をうちＳ偏光成分の光のみを偏光ビームスプリッタ面３４ａで反射して９０度偏向させる。第４のレンズ３２は光軸が第３のレンズ３１の光軸と平行になるように偏光ビームスプリッタ３４の前面に設けられ、第４のレンズ３２を通った光のうちＰ偏光成分の光のみが偏光ビームスプリッタ３４の偏光ビームスプリッタ面３４ａを透過する。領域分割フィルタ３５はＳ偏光成分とＰ偏光成分の光のみをそれぞれ透過する２つの偏光子領域を有し、偏光ビームスプリッタ３４の偏光ビームスプリッタ面３４ａで反射したＳ偏光成分の光と偏光ビームスプリッタ面３４ａを透過したＰ偏光成分の光を入射してＳ偏光成分の光とＰ偏光成分の光を分離する。撮像素子３６は領域分割フィルタ３５で分離したＳ偏光成分の光とＰ偏光成分の光を入射して画像信号を出力する。

このステレオカメラ装置１の各構成要素について説明する。第１の撮像部２の第１のレンズ２１と第２の撮像部３の第３のレンズ３１は焦点距離が長く、遠距離用として利用し、第１の撮像部２の第２のレンズ２２と第２の撮像部３の第４のレンズ３２は焦点距離が短く、近距離用として利用する。すなわち近距離用のステレオ画像は焦点距離が短い第１の撮像部２の第２のレンズ２２と第２の撮像部３の第４のレンズ３２を利用して広角の画像を形成し、遠距離用のステレオ画像は焦点距離が長い第１の撮像部２の第１のレンズ２１と第２の撮像部３の第３のレンズ３１を利用し、反射ミラー２３，３３と偏光ビームスプリッタ２４，３４を介した光路により遠距離の被写体の明確な画像を形成する。これによりレンズの設計自由度が上げられ、結果としてレンズ枚数の削減と低コスト化を図ることができる。

また、第１の撮像部２の第１のレンズ２１と第２のレンズ２２と第２の撮像部３の第３のレンズ３１と第４のレンズ３２を、第１のレンズ２１と第２のレンズ２２と第３のレンズ３１と第４のレンズ３２の順に略一列に配列し、遠距離用のステレオ画像を形成する第１の撮像部２の反射ミラー２３の反射面２３ａと第２の撮像部３の反射ミラー３３の反射面３３ａの方向と、第１の撮像部２の偏光ビームスプリッタ２４の偏光ビームスプリッタ面２４ａと第２の撮像部３２の偏光ビームスプリッタ３４の偏光ビームスプリッタ面３４ａを同一にする。このようにして反射ミラー２３，３３の反射面２３ａ，３３ａと偏光ビームスプリッタ面２４ａ，３４ａの反射特性に起因する輝度分布の影響などを受けにくいステレオカメラ光学系を実現できる。すなわち反射ミラー２３，３３や偏光ビームスプリッタ２４，３４の特性として反射面内で反射光量が異なる場合、ステレオの左右の画像で明暗のアンバランスが生じるが、この反射特性に起因する輝度分布の影響などを受けにくくすることにより良質なステレオ画像を形成することができ、測距精度への影響を小さくできる。

この遠距離用と近距離用のステレオカメラ装置１を車両４に搭載する場合、撮像した画像がボンネットなどに蹴られないように配置する必要がある。近距離用の画像を形成する第１の撮像部２の第２のレンズ２２と第２の撮像部３の第４のレンズ３２は広角のレンズであるため車両４に搭載するとき上方向に配置されるのが望ましい。このため図３の斜視図に示すように、第１の撮像部２の第２のレンズ２２と第２の撮像部３の第４のレンズ３２は、第１の撮像部２の第１のレンズ２１と第２の撮像部３の第３のレンズ３１より上部の位置に配置されている。

また、第１の撮像部２の反射ミラー２３と偏光ビームスプリッタ２４は、反射ミラー２３の反射面２３ａと偏光ビームスプリッタ２４の偏光ビームスプリッタ面２４ａを対向させて一体化したプリズム構成をなしており、第２のカメラ部２の反射ミラー３３と偏光ビームスプリッタ３４も、反射ミラー３３の反射面３３ａと偏光ビームスプリッタ３４の偏光ビームスプリッタ面３４ａを対向させて一体化したプリズム構成をなしている。このように構成することによりプリズムが回転やシフトしても光路のズレがキャンセルされるロバスト性の高い構成を実現できる。

領域分割フィルタ２５，３５は、図４の斜視図に示すように、遠距離用の第１の撮像部２の第１のレンズ２１と第２の撮像部３の第３のレンズ３１と近距離用の第１の撮像部２の第２のレンズ２２と第２の撮像部３の第４のレンズ３２の配置に合わせ偏光子領域２５ａ（３５ａ）と偏光子領域２５ｂ（３５ｂ）に二分割している。すなわち、第１の撮像部２の第１のレンズ２１からのＳ偏光成分の光のみを透過する偏光子領域２５ａと第２のレンズ２２からのＰ偏光成分の光のみを透過する偏光子領域２５ｂを有し、領域分割フィルタ３５は、遠距離用の第２の撮像部３の第３のレンズ３１からのＳ偏光成分の光のみを透過する偏光子領域３５ａと第２のレンズ３２からのＰ偏光成分の光のみを透過する偏光子領域３５ｂを有する。

この領域分割フィルタ２５，３５の２領域の分割線２５ｃ（３５ｃ）は、第１のレンズ２１〜第４のレンズ３２の配列方向に平行になるように領域分割され、第１のレンズ２１
〜第４のレンズ３２のいずれの画像も視差検出範囲を広く確保できるようになっている。また、領域の分割パタンの上下のレイアウトに関しては、上領域に第２のレンズ２２と第４のレンズ３２からの光が透過するようにレイアウトすることが望ましい。すなわち、第２のレンズ２２と第４のレンズ３２は近距離用の広角のレンズであり、車両４に搭載するとき撮像画像がボンネットなどに蹴られないように配置する必要があるからである。

撮像素子２６，３６は一般に長方形の撮像領域を有するが、領域分割フィルタ２５，３５の二分割した偏光子領域２５ａ（３５ａ）と偏光子領域２５ｂ（３５ｂ）の配列に対応して撮像素子２６，３６も撮像領域２６ａ（３６ａ）と撮像領域２６ｂ（３６ｂ）と二分割されて視差検出範囲が広く確保できるようになっている。

そして領域分割フィルタ２５の偏光子領域２５ａの中心と撮像素子２６の撮像領域２６ａの中心は第１のレンズ２１の光軸と一致し、偏光子領域２５ｂの中心と撮像領域２６ｂの中心は第２のレンズ２２の光軸と一致するように配列されている。すなわち、第１のレンズ２１と第２のレンズ２２は撮像素子２６の短手方向に対して撮像素子サイズ１／４ずつ異なる方向にずらすように配置されている。同様に領域分割フィルタ３５の偏光子領域３５ａの中心と撮像素子３６の撮像領域３６ａの中心は第３のレンズ３１の光軸と一致し、偏光子領域３５ｂの中心と撮像領域３６ｂの中心は第４のレンズ３２の光軸と一致するように配列されている。すなわち、第３のレンズ３１と第４のレンズ３２も撮像素子３６の短手方向に対して撮像素子サイズ１／４ずつ異なる方向にずらすように配置されている。一般にレンズは周辺に行くほど光量が低下や、収差が発生するが、前記のように配置することにより、レンズの収差や光量アンバランスによる影響を受けない安定した特性を得ることができる。

この領域分割フィルタ２５，３５の偏光子領域２５ａ（３５ａ）と偏光子領域２５ｂ（３５ｂ）は、例えばフォトニック結晶からなる偏光子からなり、領域分割フィルタ２５の偏光子領域２５ａ，２５ｂは、図５（ａ）に示すように、周期的な溝列を形成した透明基板２５１上に、透明で高屈折率の媒質層２５２と低屈折率の媒質層２５３とを界面の形状を保存しながら交互に積層して形成されている。この高屈折率の媒質層２５２と低屈折率の媒質層２５３の各層は、透明基板２５１の溝列と直交するＸ方向に周期性を持つが、溝列と平行なＹ方向には一様であっても良いし、Ｘ方向より大きい長さの周期的または非周期的な構造を有していても良い。このような微細な周期構造（フォトニック結晶）は自己クローニング技術と呼ばれる方式を用いることにより、再現性良く且つ高い均一性で作製することができる。

このフォトニック結晶からなる偏光子領域２５ａ，２５ｂは、図４に示すように、光軸１１ａ，１１ｂと平行なＺ軸と、Ｚ軸と直交するＸＹ軸を有する直交座標系において、ＸＹ面に平行な１つの基板２５１の上に２種以上の透明材料をＺ軸方向に交互に積層した多層構造体、例えばＴａ_２Ｏ_５とＳｉＯ_２の交互多層膜からなり、偏光子領域２５ａ，２５ｂは各膜が凹凸形状を有しており、この凹凸形状はＸＹ面内の一つの方向に周期的に繰り返されて形成されている。そして偏光子領域２５ａは、図５（ｂ）に示すように、溝の方向がＹ軸方向に対して平行であり、偏光子領域２５ｂは溝の方向がＸ軸方向に対して平行であり、偏光子領域２５ａと偏光子領域２５ｂで溝の方向が９０度異なって形成されている。すなわちＸＹ面に入射される入力光から、偏光子領域２５ａと偏光子領域２５ｂによって偏光方向が異なる偏光成分を透過させるとともに、偏光子領域２５ａと偏光子領域２５ｂでそれぞれ等量の無偏光成分を透過させるようになっている。なお、領域分割フィルタ２５に２種類の凹凸形状の溝を設けたが、凹凸形状の溝方向は複数種類でも良い。このように偏光子領域２５ａ，２５ｂをフォトニック結晶で形成することにより、紫外線劣化などに優れて長期間安定して使用することができる。領域分割フィルタ３５の偏光子領域３５ａ，３５ｂも同様に形成されている。

この領域分割フィルタ２５，３５の偏光子領域２５ａ（３５ａ）と偏光子領域２５ｂ（３５ｂ）の開口面積や透過軸は、はじめに透明基板２５１（３５１）に加工する溝パタンの大きさや方向で自由に設計することができる。パタン形成は、電子ビームリソグラフィ、フォトリソグラフィ、干渉露光法、ナノプリンティングなど様々な方法で行うことができる。いずれの場合でも、微小領域ごとに溝の方向を高精度に定めることができる。そのため、透過軸の異なる微小偏光子を組み合わせた偏光子領域と、更にそれを複数並べた偏光子を形成することが可能となる。また、凹凸パタンを持つ特定の領域のみが偏光子の動作をするため、その周辺の領域を平坦あるいは、面内で等方的な凹凸パタンにしておけば偏波依存性のない媒質として光は透過する。したがって、特定の領域にのみ偏光子を作りこむことができる。

また、領域分割フィルタ２５，３５は撮像素子２６，３６と近接配置されている。より望ましくはダイ実装された撮像素子２６、３６にフィルタ構造面が撮像素子面側に向いて接着などにより取り付けられるのがよい。一般にレンズからの光は収束系の有限光で撮像素子に向かうため、領域分割フィルタ２５，３５と撮像素子２６，３６の間隔が開くと領域分割フィルタ２５，３５の境界付近の光が各々の領域に対してクロストークノイズとなってしまう。そこで前記のとおり近接配置させることにより、このようなクロストークが生じない安定したステレオカメラ装置が実現できる。

次に、前記のように構成されたステレオカメラ装置１を車両４に搭載して被写体の画像を撮像して被写体までの距離を測定するときに処理を図６のフローチャートを参照して説明する。

ステレオカメラ装置１で車両４の前方の撮像を開始すると、第１の撮像部２の第１のレンズ２１を透過した光は反射ミラー２３の反射ミラー面２３ａと偏光ビームスプリッタ２４の偏光ビームスプリッタ面２４ａから領域分割フィルタ２５の偏偏光子領域２５ａを介してＳ偏光成分の光だけが撮像素子２６の偏光領域２６ａで受光される。また、第２のレンズ２２を透過した光は偏光ビームスプリッタ面２４ａと領域分割フィルタ２５の偏光子領域２５ｂを介してＰ偏光成分の光だけが撮像素子２６の偏光領域２６ｂで受光される。第２の撮像部３の第３のレンズ３１を透過した光は反射ミラー３３の反射ミラー面３３ａと偏光ビームスプリッタ３４の偏光ビームスプリッタ面３４ａから領域分割フィルタ３５の偏偏光子領域３５ａを介してＳ偏光成分の光だけが撮像素子３６の偏光領域３６ａで受光される。また、第４のレンズ３２を透過した光は偏光ビームスプリッタ面３４ａと領域分割フィルタ３５の偏光子領域３５ｂを介してＰ偏光成分の光だけが撮像素子３６の偏光領域３６ｂで受光される。この受光により遠距離の被写体の第１の画像１２ａと近距離の被写体の第１の画像１２ｂと遠距離の被写体の第２の画像１２ｃと近距離の被写体の第２の画像１２ｄを撮像素子２６，３６で撮像する（ステップＳ１）。

この撮像素子２６の撮像領域２６ａで撮像された遠距離の被写体の第１の画像１２ａと撮像素子３６の撮像領域３６ａで撮像された遠距離の被写体の第２の画像１２ｃを基に遠距離の被写体の視差を検出し、撮像素子２６の撮像領域２６ｂで撮像された近距離の被写体の第１の画像１２ｂと撮像素子３６の撮像領域３６ｂで撮像された近距離の被写体の第２の画像１２ｄを基に近距離の被写体の視差を検出する（ステップＳ２）。検出した遠距離の被写体の視差により後述の（１）式に基づき遠距離の被写体までの距離を算出して遠距離測定結果とし、近距離の被写体の視差により後述する（１）式に基づき近距離の被写体までの距離を算出して近距離測定結果とする（ステップＳ３）。そして得られた遠距離測定結果と近距離測定結果を合成して一つの距離画像としてディスプレイ１０に出力する（ステップＳ４）。

この撮像した遠距離の被写体の第１の画像１２ａと第２の画像１２ｃの例を図７（ａ）に示し、近距離の被写体の第１の画像１２ｂと第２の画像１２ｄの例を図７（ｂ）に示す。一般にレンズを介した像は反転するが、ここでは分かりやすいように、画像１２ａ〜１２ｄは正転させて示している。図７（ａ）に示すように、遠距離用の画像１２ａ，１２ｃは焦点距離が長いため、被写体の像が大きく見えている。一方、図７（ｂ）に示すように、近距離用の画像１２ｂ、１２ｃは焦点距離が短いため、光学倍率が低く、被写体が小さくみえると同時に広い視野で観察されている。この遠距離測定結果と近距離測定結果を合成した距離画像１３の一例を図８に示す。距離画像１３は距離が色の濃淡で表示されもので、近距離測定結果と遠距離測定結果が合成されて出力されている。この距離画像１３の色の濃淡により被写体までの距離を視覚で認識できるようになっている。そして遠距離測定の結果は、距離画像１３の一部１３ａに相当し、遠距離の画像１３ａの部分は視野が狭い分、他の領域に比べて遠距離の物体に対する距離分解能があがっている。

この撮像した画像１２ａ〜１２ｄは車両４に搭載した画像処理用コンピュータ７のメモリに一旦格納される。画像処理用コンピュータ７はメモリに格納された画像データにアクセスして、例えば画像１２ｂ，１２ｄの有効領域を切り出し、画像１２ｂの微小領域１４ａとそれに対応する画像１２ｄの微小領域１４ｂに注目して、これら微小領域１４ａ，１４ｂ内での被写体の視差δを算出する。この視差δは水平方向にのみ生じるため、ここでは水平方向の視差δを算出すれば良い。この視差δが画素単位（ピクセル）で求められる。ステレオカメラ装置１と被写体までの距離Ａと視差δとの間には、レンズ間の間隔（基線長）Ｂとレンズの焦点距離ｆから次の（１）式の関係が成り立つ。
Ａ＝Ｂ・ｆ／δ （１）
この（１）式に視差δを代入することにより被写体までの距離Ａを求めることができる。
その後、注目する微小領域を画像全体に走査しながら視差検出を行い、それらを合成することにより図８に示す距離画像１３を形成することができる。したがって前方車両までの距離や歩行者までの距離が計測可能となり、これを車両４のドライバへの警告情報や車両操作へのフィードバック情報に使用することができる。

このようにステレオカメラ装置１の２つの撮像素子２６，３６で遠距離用と近距離用のステレオ画像を形成することができ、従来と比べてステレオカメラ装置１の小型化と簡素化及び低コスト化を図ることができる。また、遠距離用と近距離用のステレオ画像を形成することにより広い距離範囲に対して高精度な距離測定を行なうことができる。

前記説明では領域分割フィルタ２５，３５を偏光子領域２５ａ（３５ａ）と偏光子領域２５ｂ（３５ｂ）に二分割して構成した場合について説明したが、図９に示すように、偏光子領域２５ａ（３５ａ）と偏光子領域２５ｂ（３５ｂ）を平行な短冊形状にして交互に配列しても良い。このように偏光子領域２５ａ（３５ａ）と偏光子領域２５ｂ（３５ｂ）を平行な短冊形状にして交互に配列することにより、撮像範囲として撮像素子２６（３６）の全体を利用することができ、広い視野を確保することができる。また、短冊の配列を第１のレンズ２１〜第４のレンズ３２の配列方向と平行な方向にとっているため、視差検出で必要な水平方向のステレオ画像を高精度に取得することができる。

また、前記説明では領域分割フィルタ２５，３５に入射するＳ偏光成分とＰ偏光成分を偏光ビームスプリッタ２４，３４で分離する場合について示したが、図１０に示すように、第１のレンズ２１と第３のレンズ３１の前部または後部にＳ偏光用の偏光子２７ａ，３７ａを設け、第２のレンズ２２と第４のレンズ３２の前部または後部にＰ偏光用の偏光子２７ｂ，３７ｂを設け、偏光ビームスプリッタ２４，３４の代わりにＳ偏光成分を反射し、Ｐ偏光成分を透過する反射面を有するプリズム２８，３８を使用しても良い。

さらに、図１１に示すように、第１の撮像部２に対して第２の撮像部３を対象に配置し、遠距離用の第１のレンズ２１と第３のレンズ３１の基線長を近距離用の第２のレンズ２２と第４のレンズ３２の基線長より長くしても良い。このように遠距離用の第１のレンズ２１と第３のレンズ３１の基線長を長くすることにより遠方の距離精度を上げることができる。

また、図１２に示すように、近距離用の第２のレンズ２２と偏光ビームスプリッタ２４の間と、第４のレンズ３２と偏光ビームスプリッタ３４の間に１／２波長板２９，３９を配置しても良い。第１のレンズ２１〜第４のレンズ３２は同一の偏光方向の光を検出するが、特にＳ偏光成分の光が検出される。すなわちステレオカメラ装置１としてはＰ偏光成分の光がカットされた光学系となる。例えばステレオカメラ装置１を車両４内に配置して車外を監視する場合、車両４のウインドなどのＳ偏光成分が幻惑となるが、この幻惑となるウインドなどのＳ偏光成分を１／２波長板２９，３９で除去することにより遠距離用と近距離用の距離測定を高精度に行うことができる。

さらに、前記説明では領域分割フィルタ２５，３５はフォトニック結晶を利用して構成した場合について説明したが、ワイヤグリッド型の偏光子を利用しても良い。ワイヤグリッド型の偏光子とは、細い金属ワイヤーを周期的に配列することにより形成された偏光子であり、従来、電磁波のミリ波領域において多く用いられてきた偏光子である。ワイヤグリッド型偏光子の構造は、入力光の波長に比べて十分細い金属細線が波長に比べて十分に短い間隔で並んだ構造を有する。このような構造に光を入射した場合、金属細線に平行な偏光は反射され、それに直交する偏光は透過されることはすでに知られている。金属細線の方向については、１枚の基板内において領域ごとに独立に変化させて作製することができるため、ワイヤグリッド偏光子の特性を領域毎に変えることができる。これを利用すれば、領域毎に透過軸の方向を変化させた構造とすることができる。

ワイヤグリッドの作製方法としては、基板上に金属膜を形成し、リソグラフィによりパターニングを行うことで、細線状の金属を残すことができる。他の作製方法としては、リソグラフィにより基板に溝を形成し、この溝の方向とは直角で基板の法線から傾いた方向（基板面に斜めの方向）から真空蒸着により金属を成膜することで作製することができる。真空蒸着では蒸着源から飛来する粒子はその途中で他の分子もしくは原子にほとんど衝突することはなく、粒子は蒸着源から基板にむかって直線的に進むため、溝を構成する凸部にのみ成膜される一方、溝の底部（凹部）では、凸部に遮蔽されほとんど成膜されない。したがって、成膜量を制御することで、基板上に形成された溝の凸部にのみ金属膜を成膜することができ、金属細線を作製することができる。なお、ワイヤグリッド型の偏光子に用いられるワイヤー金属としては、アルミニウムもしくは銀が望ましいが、例えばタングステンなど、そのほかの金属であっても同様の現象を実現できる。また、リソグラフィとしては、光リソグラフィ、電子ビームリソグラフィ又はＸ線リソグラフィなどが挙げられるが、可視光での動作を想定すると細線の間隔が１００ｎｍ程度になるため、電子ビームリソグラフィもしくはＸ線リソグラフィがより望ましい。また、金属の成膜では真空蒸着が望ましいが、主として基板に入射する粒子の方向性が重要であるので、高真空度の雰囲気におけるスパッタリング、もしくはコリメーターを用いたコリメーションスパッタでも可能である。このワイヤグリッド型の偏光子もフォトニック結晶による偏光子と同様に半導体プロセスであるため領域分割された２領域間の境界線などが精度よく作製することが可能である。

１；ステレオカメラ装置、２；第１の撮像部、３；第２の撮像部、４；車両、
５；車外監視装置、６；イメージプロセッサ、８；画像処理用コンピュータ、
１０；ディスプレイ、２１；第１のレンズ、２２；第２のレンズ、
２３；反射ミラー、２４；偏光ビームスプリッタ、２５；領域分割フィルタ、
２６；撮像素子、３１；第３のレンズ、３２；第４のレンズ、３３；反射ミラー、
３４；偏光ビームスプリッタ、３５；領域分割フィルタ、３６；撮像素子。

特開平５−２６５５４７号公報

Claims (9)

1. 第１の撮像部と、該第１の撮像部から所定距離だけ隔てた第２の撮像部を有し、
   前記第１の撮像部は、第１のレンズと第２のレンズと第１の導光手段と第１の領域分割フィルタ及び第１の撮像素子を有し、前記第１のレンズと第２のレンズは、所定距離隔てて光軸が平行になるように配置され、前記第１の導光手段は、前記第１のレンズからの光を前記第１のレンズの光軸に対して９０度偏向させ、偏向された光を９０度偏向させてＳ偏光成分の光を前記第１の領域分割フィルタに導き、前記第２のレンズを通った光のうちＰ偏光成分の光を透過させて前記第１の領域分割フィルタに導き、前記第１の領域分割フィルタは、Ｓ偏光成分とＰ偏光成分の光のみを透過する２つの偏光子領域を有し、前記第１の導光手段からの光をＳ偏光成分とＰ偏光成分に分離し、前記第１の撮像素子は、前記第１の領域分割フィルタで分離したＳ偏光成分とＰ偏光成分の光を受光してＳ偏光成分とＰ偏光成分の画像を検知し、
   前記第２の撮像部は、第３のレンズと第４のレンズと第２の導光手段と第２の領域分割フィルタ及び第２の撮像素子を有し、前記第３のレンズと第４のレンズは、所定距離隔てて光軸が平行になるように配置され、前記第２の導光手段は、前記第３のレンズからの光を９０度偏向させ、偏向された光を９０度偏向させてＳ偏光成分の光を前記第２の領域分割フィルタに導き、前記第４のレンズを通った光のうちＰ偏光成分の光を透過させて前記第２の領域分割フィルタに導き、前記第２の領域分割フィルタは、Ｓ偏光成分とＰ偏光成分の光のみを透過する２つの偏光子領域を有し、前記第２の導光手段からの光をＳ偏光成分とＰ偏光成分に分離し、前記第２の撮像素子は、前記第２の領域分割フィルタで分離したＳ偏光成分とＰ偏光成分の光を受光してＳ偏光成分とＰ偏光成分の画像を検知し、
   前記第１の撮像部で検知されるＳ偏光成分の画像と前記第２の撮像部で検知されるＳ偏光成分の画像から遠距離用のステレオ画像を形成し、前記第１の撮像部で検知されるＰ偏光成分の画像と前記第２の撮像部で検知されるＰ偏光成分の画像から近距離用のステレオ画像を形成することを特徴とするステレオカメラ装置。
2. 前記第１の導光手段は、第１の反射ミラーと第１の偏光ビームスプリッタを有し、前記第１の反射ミラーは前記第１のレンズからの光を光軸に対して９０度偏向させ、前記第１の偏光ビームスプリッタは、前記第１の反射ミラーからの光を反射してＳ偏光成分の光を９０度偏向させ、前記第２のレンズを通った光のうちＰ偏光成分の光を透過させ、
   前記第２の導光手段は、第２の反射ミラーと第２の偏光ビームスプリッタを有し、前記第２の反射ミラーは前記第３のレンズからの光を光軸に対して９０度偏向させ、前記第２の偏光ビームスプリッタは、前記第２の反射ミラーからの光を反射してＳ偏光成分の光を９０度偏向させ、前記第４のレンズを通った光のうちＰ偏光成分の光を透過させることを特徴とする請求項１記載のステレオカメラ装置。
3. 前記第１の導光手段の第１の反射ミラーと第１の偏光ビームスプリッタを一体化したプリズム構成とし、前記第２の導光手段の第２の反射ミラーと第２の偏光ビームスプリッタを一体化したプリズム構成としたことを特徴とする請求項２記載のステレオカメラ装置。
4. 前記第１のレンズから第４のレンズは、第１のレンズ、第２のレンズ、第３のレンズ、第４のレンズの順に配列されていることを特徴とする請求項１乃至３のいずれかに記載のステレオカメラ装置。
5. 前記第１の領域分割フィルタは、前記第１のレンズと第２のレンズの配列方向に応じてＳ偏光成分を透過する偏光子領域とＰ偏光成分の光を透過する偏光子領域が二分割され、
   前記第２の領域分割フィルタは、前記第３のレンズと第４のレンズの配列方向に応じてＳ偏光成分を透過する偏光子領域とＰ偏光成分の光を透過する偏光子領域が二分割されていることを特徴とする請求項４記載のステレオカメラ装置。
6. 前記第１の領域分割フィルタは、前記第１のレンズと第２のレンズの配列方向に応じて複数のＳ偏光成分を透過する偏光子領域とＰ偏光成分の光を透過する偏光子領域を交互に有し、
   前記第２の領域分割フィルタは、前記第３のレンズと第４のレンズの配列方向に応じて複数のＳ偏光成分を透過する偏光子領域とＰ偏光成分の光を透過する偏光子領域を交互に有することを特徴とする請求項４記載のステレオカメラ装置。
7. 前記第１の領域分割フィルタと第２の領域分割フィルタの各偏光子領域は、透明基板上に屈折率が異なる複数の透明材料を積層した多層構造体からなり、各層毎に一方向に繰り返される１次元周期的な凹凸形状を有することを特徴とする請求項１乃至６のいずれかに記載のステレオカメラ装置。
8. 請求項１乃至７のいずれかに記載のステレオカメラ装置を有し、車両に搭載されることを特徴とする車外監視装置。
9. 前記ステレオカメラ装置の前記第２のレンズと第１の導光手段の間及び前記第４のレンズと第２の導光手段に１／２波長板を有することを特徴とする請求項８記載の車外監視装置。

Images