本発明は、対象物上に所定パターンの像を投影するパターン投影光源に関する。また、本発明は、複数の撮像光学系間の視差によって対象物までの距離を測定する複眼測距装置に関する。
左右あるいは上下に設置した2つの撮像装置により測定対象物を撮像し、左右あるいは上下の2つの画像間の視差を利用して対象物までの距離を測定する複眼測距装置は、自動車の車間距離測定や、カメラの自動焦点システム、3次元形状測定システム等に用いられている。この複眼測距装置には、対象物の像を撮像素子上に結像させる複眼光学系が設けられている。
従来、この複眼測距装置としては、左右(又は上下)一対のレンズを用いて左右(又は上下)一対の撮像素子上に対象物の像をそれぞれ結像させて2つの画像を撮像する装置が知られている(特許文献1)。
複眼測距装置では撮像した2つの画像からパターンマッチングすることによって視差を抽出し、三角測量の原理によって測定対象物までの距離を算出する。
パターンマッチングの方法を図20を用いて説明する。91,92は左右一対の撮像光学系を用いて得た一対の画像である。第1の撮像光学系から得た画像(基準画像)91中にブロック(小領域)91aを設定する。第2の撮像光学系から得た画像(参照画像)92中に、ブロック91aと同じY座標値を有し且つ同じサイズのブロック92aを設定する。基準画像中のブロック91aを構成する画素の輝度値と参照画像中のブロック92aを構成する画素の輝度値との差分(絶対値)の総和を、下記(数1)より評価関数SAD(Sum of Absolute Difference)として求める。
(数1)において、x、yは撮像面のX座標値及びY座標値であり、I0、I1はそれぞれ基準画像及び参照画像において、括弧内で示した座標における画素の輝度値である。ブロック91a,92aはいずれもm(X軸方向)×n(Y軸方向)の画素を有している。
参照画像92中においてブロック92aの基線方向(本例ではX軸方向)90における移動量dxを変えてSADを演算する。SADが極小値となるdxを、このブロック91aに対する視差量として抽出する。参照画像92中での小領域92aの移動範囲(探索範囲)は測距範囲に応じて設定される。ブロック91aを基準画像91中の任意の位置に設定することにより、基準画像91中の任意の座標でSADを演算できるので、撮像視野内の全領域で視差量(距離情報)を取得することができる。基準画像91を複数のブロックにマトリクス状に分割し、各ブロックごとに上記のパターンマッチングを行うことで、基準画像91内の視差分布を求めることもできる。
このような複眼測距装置を用いて対象物までの距離を測定する場合、夜間では補助光源によって対象物に光を照射して撮像する必要がある。また、昼夜を問わず対象物が低コントラストである場合には、距離測定精度の向上のために、補助光源より所定のパターンの光を対象物に投影することによって、対象物に明暗のコントラストを与える手法が一般的に知られている(特許文献2)。
特開平4−43911号公報
特開2001−264033号公報
上記のような視差を利用した従来の測距用の補助光源は単一の投影光学系を備えているので、対象物に十分な照度を与えるために、発光素子をアレイ状に配列して出力を高めた光源や、出力の大きな単一光源が必要である。また、所定のパターンの光を測定対象物に投影するためには、所定のパターンの透光部を有するマスクのサイズを上記光源のサイズに対応して大きくし、前記マスクに対応した大きなレンズを用いなければならない。従って、前記マスクの面積は複眼測距装置の撮像領域の面積に比べて大きくなってしまうため、複眼測距装置の撮像光学系に比べてパターンを投影する投影光学系の容積が大きくなり、距離測定システム全体の小型化が困難となってしまう。
さらには、補助光源の投影光学系と複眼測距装置の撮像光学系とがF値及び画角において等しいとした条件下では、補助光源の投影光学系の焦点距離が複眼測距装置の撮像光学系の焦点距離に対して大きいと、パターンを対象物に投影する場合、撮像光学系の被写界深度に対してパターンの像が良好に結像される範囲が狭くなり、その結果、対象物までの距離を精度よく測定できる範囲が狭くなってしまうという問題を生ずる。前記投影光学系がパターンの像を良好に結像する範囲を広げるためには、投影光学系の絞りを小さくする必要があるが、このような手法では照明効率が低下すると同時に対象物の照度も低下する。従って、遠方側の測距範囲が狭められてしまうという問題を生ずる。
本発明は、以上のような問題点を解決するために考案されたものであり、パターン投影方向において広い範囲にわたって対象物上にパターンの像を良好に結像することができ、小型化・薄型化されたパターン投影光源を提供することを目的とする。また、本発明は、小型・薄型で、距離測定の範囲が広く、かつ距離測定精度が高い複眼測距装置を提供することを目的とする。
本発明のパターン投影光源は、光源と、前記光源からの光が透過する透光部が所定パターンでそれぞれ形成された複数のマスク領域と、前記透光部の前記所定パターンの像を所定距離においてそれぞれ結像させる複数のレンズとをこの順に備えることを特徴とする。
本発明の複眼測距装置は、複数の撮像光学系間の視差によって対象物までの距離を測定する複眼測距部と、上記の本発明のパターン投影光源とを有することを特徴とする。
本発明のパターン投影光源は、複数のマスク領域及び複数のレンズを有するので小型化・薄型化することができる。また、複数のレンズを備えることにより、パターンの像の結像範囲を拡大することができる。更に、対象物上に透光部のパターンの像を鮮明に結像させることができる。
また、本発明の複眼測距装置は、上記の本発明のパターン投影光源を備えるので、小型・薄型で、距離測定の範囲が広く、かつ距離測定精度が高い。
図1は、本発明の実施の形態1に係るパターン投影光源の概略構成を示した斜視図である。
図2は、本発明の実施の形態1に係るパターン投影光源の概略構成を示した断面図である。
図3は、本発明の実施の形態1に係る別のパターン投影光源の概略構成を示した斜視図である。
図4は、本発明の実施の形態1に係る更に別のパターン投影光源の概略構成を示した断面図である。
図5は、本発明の実施の形態1にパターン投影光源において、投影パターンの結像範囲を拡大する方法を説明する図である。
図6は、本発明に係るパターン投影光源のマスク領域に形成された透光部のパターンの一例を示す図である。
図7は、本発明に係るパターン投影光源が図6に示したパターンを投影する様子を示す斜視図である。
図8は、本発明に係るパターン投影光源のマスク領域に形成された透光部のパターンの別の例を示す図である。
図9は、本発明に係るパターン投影光源が図8に示したパターンを投影したときの光線を示す図である。
図10Aは、図9の距離F1にある投影面に投影された透光部のパターンの像を示した図である。
図10Bは、図9の距離F2にある投影面に投影された透光部のパターンの像を示した図である。
図10Cは、図9の距離F3にある投影面に投影された透光部のパターンの像を示した図である。
図11は、本発明の実施の形態2に係るパターン投影光源のマスク領域に形成された透光部のパターンの一例を示す図である。
図12Aは、距離F1にある投影面に投影された図11の透光部のパターンの像を示した図である。
図12Bは、距離F2にある投影面に投影された図11の透光部のパターンの像を示した図である。
図12Cは、距離F3にある投影面に投影された図11の透光部のパターンの像を示した図である。
図13Aは、本発明の実施の形態2に係るパターン投影光源において、マスクDの透光部のパターンの像のみを撮像した画像を示した図である。
図13Bは、本発明の実施の形態2に係るパターン投影光源において、マスクEの透光部のパターンの像のみを撮像した画像を示した図である。
図13Cは、本発明の実施の形態2に係るパターン投影光源において、マスクD及びマスクEの両方の透光部のパターンの像を撮像した画像を示した図である。
図14Aは、図13Aに示した画像を用いてパターンマッチングを行った際の探索範囲内でのSADの値の変化を示した図である。
図14Bは、図13Bに示した画像を用いてパターンマッチングを行った際の探索範囲内でのSADの値の変化を示した図である。
図14Cは、図13Cに示した画像を用いてパターンマッチングを行った際の探索範囲内でのSADの値の変化を示した図である。
図15は、本発明の実施の形態2に係るパターン投影光源のマスク領域に形成された透光部のパターンの別の例を示す図である。
図16は、本発明の実施の形態2に係るパターン投影光源において、複数のマスク領域の配置の一例を示した図である。
図17は、本発明の実施の形態3に係るパターン投影光源の概略構成を示した断面図である。
図18Aは、本発明の実施の形態3に係るパターン投影光源において、投影光学系のみを用いた場合の対象物上での照度分布の一例を示した図である。
図18Bは、本発明の実施の形態3に係るパターン投影光源において、投影光学系及び照明光学系の両方を用いた場合の対象物上での照度分布の一例を示した図である。
図19は、本発明の実施の形態4に係る複眼測距装置の概略構成を示した断面図である。
図20は、複眼測距装置におけるパターンマッチングの方法を説明する図である。
本発明に係るパターン投影光源は、それぞれがマスク領域とレンズとを備えた複数の投影光学系を有するので、単一の投影光学系からなるパターン投影光源に比べて、光軸方向の寸法(厚み)を小さくすることができる。
また、複数のレンズを備えることにより、対象物の照度を向上させることができるので、各レンズの焦点距離を短くでき、パターンの像が良好に結像される距離範囲が広がる。よって、本発明のパターン投影光源を複眼測距装置の補助光源として用いた場合には、精度良く測距できる範囲が広くなる。
更に、光源、複数のマスク領域、複数のレンズがこの順に配置されているので、各レンズは透光部のパターンの像を対象物上に鮮明に結像する。よって、本発明のパターン投影光源を複眼測距装置の補助光源として用いた場合には、対象物までの距離を精度良く測定できる。
なお、上記の本発明のパターン投影光源において、光利用効率を高めるために、光源の指向特性に応じて前記光源とマスク領域との間にレンズを挿入してもよい。
上記の本発明のパターン投影光源において、前記複数のレンズはアレイ状に配置され一体成型されていることが好ましい。複数のレンズをアレイ状に配置することにより、パターン投影光源を薄くすることができる。また、複数のレンズを一体成型することにより、金型によって各レンズの光軸の精度を増すことができるため、各レンズの光軸調整が不要になり、組立て性が向上する。
上記の本発明のパターン投影光源において、前記複数のレンズのうち少なくとも2つは、互いに異なる距離において前記所定パターンの像をそれぞれ結像させることが好ましい。これにより、パターンの像が良好に結像される距離範囲が更に広がる。特に、パターンの像が最適に結像される距離をレンズ毎にまたは複数のレンズグループ毎に異ならせ、且つ、一定以上のコントラスト比を有するパターンの像が結像される距離範囲が、異なるレンズ間でまたは異なるレンズグループ間で互いに一部重複するように設定することが好ましい。これにより、連続した更に広い距離範囲でパターンの像を良好に結像させることができる。よって、本発明のパターン投影光源を複眼測距装置の補助光源として用いた場合には、精度良く測距できる範囲が更に広くなる。換言すれば、複眼測距装置の測距可能範囲において常に一定以上のコントラスト比を有するパターンの像が結像されるように複数の投影光学系を設定すれば、パターン投影光源を補助光源として使用して常に精度良く対象物までの距離を測定することができる。なお、パターンの像が結像される距離を異ならせるには、マスク領域あるいはレンズの位置を光軸方向に変化させてデフォーカスすればよい。
上記の本発明のパターン投影光源において、前記複数のマスク領域のうち少なくとも2つには、互いに異なるパターンで前記透光部が形成されていることが好ましい。例えば、複数のマスク領域のそれぞれに形成された透光部のパターンが、いずれも互いに平行な複数のストライプからなり、そのストライプパターンが互いに同一である場合、複数のレンズによって対象物上に投影されたストライプパターンの像は、対象物までの距離が近い時には互いに離れているが、対象物までの距離が遠くになるにしたがって互いに徐々に近づく。即ち、対象物上に投影されるストライプパターンの像の粗密は、対象物までの距離によって変化する。よって、対象物までの距離によっては、対象物上のパターンの像が投影されない空白領域が広くなってしまう。対象物上にこのような広い空白領域が発生すると、例えば画像を複数のブロック(小領域)に分割してブロック毎に視差を検出する上述のパターンマッチング(図20参照)では、視差を高精度に検出できないブロックが発生してしまう。
このような空白領域の拡大を回避するには、異なる投影光学系間でもしくは異なる投影光学系グループ間でマスク領域に形成される透光部のパターンを変えて、投影距離が変わってもパターンの像の粗密が変化しないように設定すればよい。例えば、マスク領域に形成される透光部のパターンがストライプ状である場合には、そのストライプの方向を互いに異ならせることが好ましい。あるいは、マスク領域に形成される透光部のパターンを周期性のないランダムなパターンとし、そのランダムパターンを互いに異ならせることが好ましい。
上記の本発明のパターン投影光源において、前記複数のマスク領域のうち少なくとも1つには、ほぼ全面が透光部であるパターンが形成されていることが好ましい。これにより、投影角内の全域にわたって照度分布を底上げすることが可能である。これにより、暗所において、マスク領域の所定のパターンの像が形成されない対象物までの距離を、対象物自身が有するコントラストを撮像することで測定することができる。さらに照明効率を高めるには、ほぼ全面が透光部であるマスク領域を備えた投影光学系を均一な照明を行うのに適した構成(いわゆる照明光学系の構成)に変更するのが好ましい。
以下、本発明の実施形態について、図面を参照しながら説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係るパターン投影光源20の斜視図である。図2はその断面図である。図1において、1はLEDを実装するための回路基板である。回路基板1上には、複数の砲弾型LED2aが配列されている。3はLED2aから発生した光線を散乱させる散乱部材である。4はガラス基板であり、その表面に透光部が所定のパターンで形成された複数のマスク領域5を有する。7はマスク領域5の透光部を透過した光を収束し、透光部のパターンの像を結像させるレンズである。LED2aから発光した光線は、散乱部材3、ガラス基板4、マスク領域5、及びレンズ7を介して対象物に照射され、マスク領域5に形成されたパターンが投影される。散乱部材3はレンズ7の瞳に向かう光線を発生させるために設けられている。1つのマスク領域5とこれに対応する1つのレンズ7とが1つの投影光学系を構成する。複数の投影光学系が縦横方向にアレイ状に配置されている。複数の投影光学系の光軸は互いに平行である。壁6は隣接する投影光学系からの光を遮光するために設けられている。図2において、9はレンズ7を保持するための鏡筒部材である。図1では鏡筒部材9の図示を省略している。
このように複数の投影光学系をアレイ状に配列する構成においては、図3のようにアレイ状に配置された複数のレンズ7が一体成型されたレンズアレイ70を用いることが好ましい。これにより、金型によって各レンズ7の光軸精度を向上させることが可能となる。従って、個々のレンズ7の光軸調整を不要とすることができ、組立て性が向上する。
なお、図1〜図3では、LED2aとレンズ7とが1対1に対応しているが、本発明はこれに限定されない。例えば、1つのLED2aに対して複数のレンズ7(あるいは全てのレンズ7)が対応していてもよいし、複数のLED2aに対して1つのレンズ7が対応していてもよい。また、光源としてLEDを用いているが、光源の種類はこれに限定されない。
また、図1〜図3では、全てのマスク領域5が1枚のガラス基板4上に形成されているが、1つ又は複数のマスク領域5がそれぞれ形成された複数のガラス基板を並べて配置しても良い。
図4は光源として表面実装型LED2bを用いたパターン投影光源20の断面図であり、図1及び図2に示したパターン投影光源の変形例である。図4において、回路基板1上には、複数の表面実装型LED2bが配列されている。8はLED2bから発光した光線を略平行化する機能を有する平行化レンズである。
以上のように、複数の投影光学系をアレイ状に配列することにより、単一の投影光学系のみを用いた場合に比べて、パターン投影光源を薄型化・小型化することが可能となる。さらに、複数の投影光学系をアレイ状に配置した場合には、単一の投影光学系のみを用いた場合に比べて、各レンズ7の焦点距離を短くすることができるため、パターンの像が良好に結像される距離範囲を広くすることができる。
次に、パターンの像が良好に結像される距離範囲をさらに広くする構成について説明する。
図5は、投影されたパターンの像が良好に結像される距離範囲を拡大する方法を説明する図である。図5において、71aは第1の投影光学系の投影レンズ、72aは第1の投影光学系の光軸、71bは第2の投影光学系の投影レンズ、72bは第2の投影光学系の光軸、71cは第3の投影光学系の投影レンズ、72cは第3の投影光学系の光軸である。また、図5の下に示したグラフにおいて、40aは第1の投影光学系の投影距離とコントラスト比との関係を示すグラフ、40bは第2の投影光学系の投影距離とコントラスト比との関係を示すグラフ、40cは第3の投影光学系の投影距離とコントラスト比との関係を示すグラフである。
図5のパターン投影光源では、投影レンズ71a、71b、71cを同じ形状のレンズとして、光軸72a,72b,72c方向におけるその位置を互いに異ならせている。これにより、相対的にデフォーカスされて、パターンの像が最適に結像される投影距離を投影光学系毎に異ならせることができる。図5のグラフにおいて、光軸上のコントラスト比が所定値Pを上回る範囲を結像深度とした場合、第1の投影光学系の結像深度はL1、第2の投影光学系の結像深度はL2、第3の投影光学系の結像深度はL3となっており、第1〜第3の投影光学系の結像範囲はそれぞれ、Z1〜Z1+L1、Z2〜Z2+L2、Z3〜Z3+L3となっている。図5のように、第1〜第3の投影光学系の結像範囲を相対的にずらして互いにオーバーラップさせることで、距離範囲Z1〜Z3+L3では常に良好に結像されるパターンの像が少なくとも1つ存在することになる。従って、このパターン投影光源を複眼測距装置の補助光源として用いた場合には、高精度に測距できる距離範囲を広げることが可能となる。
投影光学系の結像範囲をずらすためには、上記のレンズを光軸方向にずらす方法以外に、マスク領域5を光軸方向にずらす方法によっても実現可能である。
各投影光学系の結像範囲は環境温度によっても前後にシフトするため、使用温度範囲を考慮して各投影光学系の結像範囲を設定することが望ましい。
(実施の形態2)
本実施の形態2のパターン投影光源の基本構成は、実施の形態1における図1及び図2と同じである。本実施の形態では、複数のマスク領域5に形成された透光部のパターンが互いに異なっている。
本実施の形態について説明する前に、まず、複数のマスク領域5のパターンが同じである場合について説明する。
図6は、アレイ状に配列された3つのマスク領域50a,50b,50cを示している。図6に示すように、それぞれのマスク領域50a,50b,50cの透光部51のパターンは同じであり、それらは測距の基線方向90に対して垂直方向に延びる複数のストライプからなる。そして、3つのマスク領域50a,50b,50cを含む3つの投影光学系が基線方向90と垂直方向に配列されている。マスク領域50a、50b、50cを、それぞれマスクA、マスクB、マスクCとする。破線60a、60b、60cは、マスクA,B,Cの外縁を示す仮想線である。Evは投影光学系の配置ピッチである。
図7は、前記マスクA、マスクBおよびマスクCの各パターンの像が、所定の距離に設けた投影面上にどのように結像されるかを説明する図である。図7において、61は投影された透光部51のパターンの像を示している。ここで、破線60a’、60b’、60c’は、マスクA,B,Cの外縁を示す仮想線60a、60b、60cが投影された位置を示す仮想線である。投影距離が長くなるにつれてストライプ状のパターンの像61は大きくなるが、仮想線60a’、60b’、60c’のピッチは常に一定でEvに一致する。従って、投影距離が長いほど、マスクA,B,Cの3つのパターンの像61が重なる領域(積集合領域)61aの、3つのパターンの像61のいずれかが結像されている領域(和集合領域)61bに対する比率が増す。このようなマスク構成においては、3つのパターンの像61が重なる領域内に測距範囲を設定すればよい。
次に、図8に示すように、3つのマスク領域50a,50b,50c(順にマスクA、マスクB、マスクCとする)を含む3つの3つの投影光学系を測距の基線方向90に対して平行方向に配列した場合を考える。マスクA、マスクB、マスクCには、図6と同じ複数のストライプ状の透光部51が基線方向90に対して垂直方向に形成されている。
図9は、マスクA、マスクBおよびマスクCの各透光部51を通過した光線の光路を示す図である。図9において、点73a、73b、73cは、順に図8に示したマスクA、マスクB、マスクCを備えた投影光学系を示す。図9において、距離F1、F2、F3にある投影面に結像される透光部51のパターンの像は、透光部51を通過した光線を示す直線と、各投影面を示す破線との交点に形成される。従って、距離F1、F2、F3での透光部51のパターンの像は、順に図10A、図10B、図10Cのようになる。ここで、破線60a’、60b’、60c’は、マスクA,B,Cの外縁を示す仮想線60a、60b、60cが投影された位置を示す仮想線である。投影面までの投影距離が異なれば投影面上に形成される透光部51のパターンの像の大きさも異なるが、図10A、図10B、図10Cは、仮想線60a’、60b’、60c’で囲まれた領域の大きさが図10A、図10B、図10C間で同じ大きさになるようにその倍率が調整されている。
図8、図9、図10A、図10B、図10CにおいてEhは投影光学系の配置ピッチを示している。投影距離が長くなるにつれて透光部51のパターンの像は大きくなるが、仮想線60a’、60b’、60c’の基線方向90のピッチは常に一定でEvに一致する。従って、投影距離が長いほど、図10Cに示すようにパターンの像の粗密が強調される。従って、例えば図20で説明したような、撮像した画像を複数のブロックに分割して、各ブロック毎に距離情報を取得する測距方法を用いる場合には、対象物までの距離によっては、パターンの像の密度が高いブロックとパターンの像がほとんど存在しないブロックとが混在する事態が発生し得る。このような場合、対象物自身のコントラストがほとんどない領域が撮像されたブロックが、パターンの像がほとんど存在しないブロックと一致した場合、このブロックからは測距に必要な画像情報をほとんど取得できない。その結果、精度良く距離測定ができないブロックや、測定エラーを引き起こす場合ブロックが発生し、測距精度が低下してしまう可能性がある。
次に、本実施の形態のマスク領域の透光部51のパターンについて説明する。図11は本実施の形態のマスク領域50d,50eの透光部51のパターンを示す図である。測距の基線方向90に対して平行に2つの投影光学系がアレイ状に配列される。この2つの投影光学系に含まれる2つのマスク領域50d,50eのそれぞれには、平行な複数のストライプからる透光部51のパターンが形成されている。但し、ストライプの方向は、マスク領域50d,50e間で異なる。マスク領域50d、50eを、それぞれマスクD、マスクEとする。破線60d、60eは、マスクD,Eの外縁を示す仮想線である。Ehは投影光学系の配置ピッチである。マスク領域50d,50eがこのような透光部51のパターンを有することによって、図9に示す距離F1、F2、F3にある投影面に結像される透光部51のパターンの像は、順に図12A、図12B、図12Cのようになる。ここで、破線60d’、60e’はマスクD,Eの外縁を示す仮想線60d、60eが投影された位置を示す仮想線である。図12A、図12B、図12Cは、図10A、図10B、図10Cと同様に、仮想線60d’、60e’で囲まれた領域の大きさが図12A、図12B、図12C間で同じ大きさになるようにその倍率が調整されている。
投影距離が長くなるにつれて透光部51のパターンの像は大きくなるが、仮想線60d’、60e’は基線方向90に常にEhだけずれる。従って、投影距離が長いほど、仮想線60d’、60e’で囲まれた領域の大きさに対するEhの比率が小さくなる。これは、図10A、図10B、図10Cの場合と同じである。
ところが、本実施の形態では、2つのマスク領域50d,50eに形成された透光部51のストライプパターンの方向が異なるため、投影距離が変わってもストライプパターンの像の交点が移動するのみで、図10A、図10B、図10Cに示すように投影距離によってパターンの像の粗密が変化することがない。さらには、ストライプパターンの像の交点では照度が大きくなるため階調数が増す。これは、測距に必要な画像情報量が増すことを意味し、異なるマスク領域間で透光部のパターンが同一である場合に比べて、測距精度を向上させることができる。
また、2つのマスク領域50d,50eに形成された透光部51のストライプ方向がなす角度を適正に設定することにより、測距精度を向上させることができる。以下にこの測距精度の向上の原理について説明する。
図13Aは図11のマスク領域50d(マスクD)の透光部51のストライプパターンのみを所定距離の投影面上に投影し、前記投影面上の像を複眼測距装置で撮像した画像を示している。この画像を参照画像として用いて、図20で説明したパターンマッチングを行う。図13Aに示したブロック93を基線方向90と平行な方向に探索範囲内で移動してSADを演算をする。探索範囲内に基線方向90と垂直な複数のストライプの像が存在するためSAD値は図14Aのように変化する。探索範囲内にSADの極小値が複数出現し、且つ、それらの極小値がほぼ等しいため、視差を誤検出してしまう可能性がある。
図13Bは図11のマスク領域50e(マスクE)の透光部51のストライプパターンのみを所定距離の投影面上に投影し、前記投影面上の像を複眼測距装置で撮像した画像を示している。この画像を参照画像として用いて、図20で説明したパターンマッチングを上記と同様に行う。図13Bでは、基線方向90におけるストライプの像の周期が探索範囲より長くなるように、複数のストライプの像が基線方向90に対して傾斜している。従って、SAD値は図14Bのように変化する。探索範囲内で極小値は一つのみであるので視差の誤検出はないが、極小値前後のSAD値の変化が緩やかであるため、パターンマッチングの精度が悪くなる可能性がある。
このように単一のストライプパターンのみを撮像してパターンマッチングを行うと、誤検出や精度が悪くなるといった問題が生じる可能性がある。
図13Cは、図11のマスク領域50d(マスクD)及びマスク領域50e(マスクE)の両方の透光部51のストライプパターンを所定距離の投影面上に投影し、この投影面上の像を複眼測距装置で撮像した画像を示している。この画像を参照画像として用いて、図20で説明したパターンマッチングを上記と同様に行う。図13Cに示したブロック93を基線方向90と平行な方向に探索範囲内で移動してSADを演算をすると、SAD値は図14Cのように変化する。即ち、探索範囲内にSADの極小値は複数存在するが、複数の極小値は互いに異なり、探索範囲内で最も小さいSADの極小値はただ一つのみである。しかも、極小値前後のSAD値の変化は急峻である。従って、パターンマッチングの精度が高くなり測距精度が向上する。
本実施の形態において、マスク領域の透光部のパターンは図11に限定されない。例えば、図15に示すように、マスク領域50g,50h,50iのそれぞれに、互いに異なる周期性のないランダムなパターンで透光部51が形成されていても良い。このようなパターンでも、投影されたパターンの像の投影距離による粗密の変化を低減することができる。図15において、黒く塗りつぶした箇所が透光部51である。
上記の説明では、測距の基線方向90に1列に複数の投影光学系を配列した例を示したが、本発明はこれに限定されない。例えば図16のように縦横方向に2次元に複数の投影光学系を配列しても良い。この場合、マスク領域A1〜A9の透光部のパターンを、互いに方向が異なるストライプパターンや、互いに異なる周期性のないランダムなパターンとすることによって、投影距離によるパターンの粗密の変化を低減できる。
更に、本実施の形態と実施の形態1の図5とを組み合わせることができる。例えば、図16の上段のマスク領域A1〜A3と、中段のマスク領域A4〜A6と、下段のマスク領域A7〜A9との間で、それらのパターンが結像される距離範囲を互いに異ならせる。これにより、このパターン投影光源を複眼測距装置の補助光源として用いた場合には、広い距離範囲にわたって高精度に測距することが可能となる。
パターン投影光源が備えるマスク領域の数は、本実施の形態に示した、2,3,9に限定されず、これ以外の数であっても良い。
(実施の形態3)
本実施の形態では、複数の投影光学系のうちの少なくとも1つの投影光学系のマスク領域のほぼ全面が透光部である。
実施の形態1,2で説明したパターン投影光源では、マスク領域に形成された透光部のパターンの像が対象物上に結像される。即ち、対象物の表面のうち、透光部のパターンの像が形成された領域にはパターン投影光源による光が照射され、それ以外の領域にはパターン投影光源による光は全く照射されない。
一方、対象物の表面に各種形状や模様などが付与されている場合、明るい環境下であれば、この対象物を撮像した画像においてその形状や模様に基づくコントラストを利用して測距に必要な画像情報を抽出し対象物までの距離を測定することが可能である。従って、対象物上の形状又は模様にパターン投影光源による光が全く照射されなくても、この対象物の測距を行うことは可能である。
ところが、暗所においては、対象物の表面に付与された形状や模様を撮像することはできない。この場合、対象物上にパターン投影光源により透光部のパターンの像が形成されると、この像の明暗を利用して測距に必要な画像情報を抽出することができる。一方、対象物上にパターン投影光源による光が全く照射されないと、撮像した画像からこの対象物の画像情報を抽出することができず、撮像素子からのノイズが不要な情報として取り込まれてしまうので、パターンマッチングによる測距精度が劣化する。
このような問題を軽減するには、透光部のパターンの投影に加えて対象物全体に光を照射すればよい。
本実施の形態では、複数の投影光学系のうちの少なくとも1つの投影光学系のマスク領域には、ほぼ全面が透光部であるパターンが形成されている。従って、この投影光学系を用いて対象物全体を照明すると同時に、これ以外の投影光学系を用いて対象物に透光部の所定のパターンの像を投影することができる。
更に、対象物全体を照明するための投影光学系を図17に示すような照明光学系として構成することにより、照明効率を高めることができ、制限された数の投影光学系を、対象物全体を照明するための投影光学系(照明光学系)と、所定のパターンの像を投影するための投影光学系とに配分することが可能になる。
図17は、本実施の形態の測距用補助光源の概略構成を示した断面図である。図17において、16は照明光学系を構成するレンズであって、LED2aからの光線17を必要な照射角度に広げる。レンズ16が所定の画角に光線を導くため、この照明光学系には散乱部材3は必要ない。また、この照明光学系に対応するガラス基板4上の領域のほぼ全域は透光部である。θは所定のパターンの像を投影する投影光学系の投影角である。このように投影光学系と照明光学系との併用により、対象物にコントラストと照度とを与えることが可能となる。
図18Aは、暗所において投影光学系のみを用いた場合の対象物上の照度分布を示した図である。暗所では透光部のパターンの像が投影されない領域での照度はゼロとなる。
これに対して、暗所において投影光学系と照明光学系とを併用した場合の対象物上の照度分布は図18Bのようになり、透光部のパターンの像が投影されない領域にも照度が付加される。
本実施の形態によれば、暗所においては、照明光学系によって対象物全域に照度を与えることで対象物自身が持つコントラストからノイズの少ない画像情報を取得する。但し、対象物自身にコントラストがないために照度を与えても有効な画像情報を取得することができない場合には、投影光学系によって透光部のパターンの像を投影することで明暗のコントラストを付加することによって、パターンマッチングに必要な画像情報を取得することが可能となる。これにより、周囲の明るさや対象物自身が有するコントラストの有無にかかわらず、あらゆる対象物に対して高精度な距離測定を行うことが可能となる。
(実施の形態4)
本実施の形態では、実施の形態1のパターン投影光源を用いた複眼測距装置について説明する。図19は図1のパターン投影光源を用いた複眼測距装置の構成を示す断面図である。図19において、パターン投影光源20は、アレイ状に配列された複数の投影光学系によって測定対象物14に透光部のパターンの像を投影する。θは投影光学系の投影角である。測定対象物14は投影光学系の投影領域内に配置されている。21は複眼構成の測距部である。測距部21において、10は基板、11は基板10上に実装された固体撮像素子、12はカメラ鏡筒、13aは第1の撮像光学系の撮像レンズ、13bは第2の撮像光学系の撮像レンズである。撮像レンズ13aの光軸30aと撮像レンズ13bの光軸30bとを結ぶ直線を「基線」と呼ぶ。
対象物14上の点15を測定点とする。この点は第1の撮像光学系の光軸30a上に位置する。測定点15は、第1の撮像光学系により光軸30aが交差する固体撮像素子11の撮像面上の位置に結像され、第2の撮像光学系により光軸30bから基線方向にΔだけ離れた固体撮像素子11の撮像面上の位置に結像される。
撮像レンズ13a,13bから点15までの距離(対象物距離)をzとし、2つの撮像レンズ13a、13bの撮像中心間距離である基線長をDとし、撮像レンズ13a,13bの焦点距離をf(撮像レンズ13a,13bとも同一とする)とし、視差量をΔとすると、次の近似式(数2)が成立する。
視差量Δは第1の撮像光学系を介して得られた画像と第2の撮像光学系を介して得られた画像とをパターンマッチングすることで抽出できる。従って、(数2)を変形する事により点15までの距離zを抽出することが可能である。
図19では、パターン投影光源として図1に示したパターン投影光源を用いた複眼測距装置を示したが、上述したいかなるパターン投影光源を用いてもよい。
以上に説明した実施の形態は、いずれもあくまでも本発明の技術的内容を明らかにする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるものではなく、その発明の精神と請求の範囲に記載する範囲内でいろいろと変更して実施することができ、本発明を広義に解釈すべきである。
本発明に係るパターン投影光源の利用分野は特に制限はないが、広い距離範囲にわたって透光部のパターンの鮮明な像を投影することができるので、上述した複眼測距装置の補助光源の他、例えば投影されたパターンの像のコントラストを利用する撮像装置のオートフォーカスシステムなどに利用することができる。
また、本発明に係る複眼測距装置の利用分野は特に制限はないが、例えば車載用、監視カメラ用、3次元形状測定用などの測距装置として有用である。
本発明は、対象物上に所定パターンの像を投影するパターン投影光源に関する。また、本発明は、複数の撮像光学系間の視差によって対象物までの距離を測定する複眼測距装置に関する。
左右あるいは上下に設置した2つの撮像装置により測定対象物を撮像し、左右あるいは上下の2つの画像間の視差を利用して対象物までの距離を測定する複眼測距装置は、自動車の車間距離測定や、カメラの自動焦点システム、3次元形状測定システム等に用いられている。この複眼測距装置には、対象物の像を撮像素子上に結像させる複眼光学系が設けられている。
従来、この複眼測距装置としては、左右(又は上下)一対のレンズを用いて左右(又は上下)一対の撮像素子上に対象物の像をそれぞれ結像させて2つの画像を撮像する装置が知られている(特許文献1)。
複眼測距装置では撮像した2つの画像からパターンマッチングすることによって視差を抽出し、三角測量の原理によって測定対象物までの距離を算出する。
パターンマッチングの方法を図20を用いて説明する。91,92は左右一対の撮像光学系を用いて得た一対の画像である。第1の撮像光学系から得た画像(基準画像)91中にブロック(小領域)91aを設定する。第2の撮像光学系から得た画像(参照画像)92中に、ブロック91aと同じY座標値を有し且つ同じサイズのブロック92aを設定する。基準画像中のブロック91aを構成する画素の輝度値と参照画像中のブロック92aを構成する画素の輝度値との差分(絶対値)の総和を、下記(数1)より評価関数SAD(Sum of Absolute Difference)として求める。
(数1)において、x、yは撮像面のX座標値及びY座標値であり、I0、I1はそれぞれ基準画像及び参照画像において、括弧内で示した座標における画素の輝度値である。ブロック91a,92aはいずれもm(X軸方向)×n(Y軸方向)の画素を有している。
参照画像92中においてブロック92aの基線方向(本例ではX軸方向)90における移動量dxを変えてSADを演算する。SADが極小値となるdxを、このブロック91aに対する視差量として抽出する。参照画像92中での小領域92aの移動範囲(探索範囲)は測距範囲に応じて設定される。ブロック91aを基準画像91中の任意の位置に設定することにより、基準画像91中の任意の座標でSADを演算できるので、撮像視野内の全領域で視差量(距離情報)を取得することができる。基準画像91を複数のブロックにマトリクス状に分割し、各ブロックごとに上記のパターンマッチングを行うことで、基準画像91内の視差分布を求めることもできる。
このような複眼測距装置を用いて対象物までの距離を測定する場合、夜間では補助光源によって対象物に光を照射して撮像する必要がある。また、昼夜を問わず対象物が低コントラストである場合には、距離測定精度の向上のために、補助光源より所定のパターンの光を対象物に投影することによって、対象物に明暗のコントラストを与える手法が一般的に知られている(特許文献2)。
特開平4−43911号公報
特開2001−264033号公報
上記のような視差を利用した従来の測距用の補助光源は単一の投影光学系を備えているので、対象物に十分な照度を与えるために、発光素子をアレイ状に配列して出力を高めた光源や、出力の大きな単一光源が必要である。また、所定のパターンの光を測定対象物に投影するためには、所定のパターンの透光部を有するマスクのサイズを上記光源のサイズに対応して大きくし、前記マスクに対応した大きなレンズを用いなければならない。従って、前記マスクの面積は複眼測距装置の撮像領域の面積に比べて大きくなってしまうため、複眼測距装置の撮像光学系に比べてパターンを投影する投影光学系の容積が大きくなり、距離測定システム全体の小型化が困難となってしまう。
さらには、補助光源の投影光学系と複眼測距装置の撮像光学系とがF値及び画角において等しいとした条件下では、補助光源の投影光学系の焦点距離が複眼測距装置の撮像光学系の焦点距離に対して大きいと、パターンを対象物に投影する場合、撮像光学系の被写界深度に対してパターンの像が良好に結像される範囲が狭くなり、その結果、対象物までの距離を精度よく測定できる範囲が狭くなってしまうという問題を生ずる。前記投影光学系がパターンの像を良好に結像する範囲を広げるためには、投影光学系の絞りを小さくする必要があるが、このような手法では照明効率が低下すると同時に対象物の照度も低下する。従って、遠方側の測距範囲が狭められてしまうという問題を生ずる。
本発明は、以上のような問題点を解決するために考案されたものであり、パターン投影方向において広い範囲にわたって対象物上にパターンの像を良好に結像することができ、小型化・薄型化されたパターン投影光源を提供することを目的とする。また、本発明は、小型・薄型で、距離測定の範囲が広く、かつ距離測定精度が高い複眼測距装置を提供することを目的とする。
本発明のパターン投影光源は、光源と、前記光源からの光が透過する透光部が所定パターンでそれぞれ形成された複数のマスク領域と、前記透光部の前記所定パターンの像を所定距離においてそれぞれ結像させる複数のレンズとをこの順に備えることを特徴とする。
本発明の複眼測距装置は、複数の撮像光学系間の視差によって対象物までの距離を測定する複眼測距部と、上記の本発明のパターン投影光源とを有することを特徴とする。
本発明のパターン投影光源は、複数のマスク領域及び複数のレンズを有するので小型化・薄型化することができる。また、複数のレンズを備えることにより、パターンの像の結像範囲を拡大することができる。更に、対象物上に透光部のパターンの像を鮮明に結像させることができる。
また、本発明の複眼測距装置は、上記の本発明のパターン投影光源を備えるので、小型・薄型で、距離測定の範囲が広く、かつ距離測定精度が高い。
本発明に係るパターン投影光源は、それぞれがマスク領域とレンズとを備えた複数の投影光学系を有するので、単一の投影光学系からなるパターン投影光源に比べて、光軸方向の寸法(厚み)を小さくすることができる。
また、複数のレンズを備えることにより、対象物の照度を向上させることができるので、各レンズの焦点距離を短くでき、パターンの像が良好に結像される距離範囲が広がる。よって、本発明のパターン投影光源を複眼測距装置の補助光源として用いた場合には、精度良く測距できる範囲が広くなる。
更に、光源、複数のマスク領域、複数のレンズがこの順に配置されているので、各レンズは透光部のパターンの像を対象物上に鮮明に結像する。よって、本発明のパターン投影光源を複眼測距装置の補助光源として用いた場合には、対象物までの距離を精度良く測定できる。
なお、上記の本発明のパターン投影光源において、光利用効率を高めるために、光源の指向特性に応じて前記光源とマスク領域との間にレンズを挿入してもよい。
上記の本発明のパターン投影光源において、前記複数のレンズはアレイ状に配置され一体成型されていることが好ましい。複数のレンズをアレイ状に配置することにより、パターン投影光源を薄くすることができる。また、複数のレンズを一体成型することにより、金型によって各レンズの光軸の精度を増すことができるため、各レンズの光軸調整が不要になり、組立て性が向上する。
上記の本発明のパターン投影光源において、前記複数のレンズのうち少なくとも2つは、互いに異なる距離において前記所定パターンの像をそれぞれ結像させることが好ましい。これにより、パターンの像が良好に結像される距離範囲が更に広がる。特に、パターンの像が最適に結像される距離をレンズ毎にまたは複数のレンズグループ毎に異ならせ、且つ、一定以上のコントラスト比を有するパターンの像が結像される距離範囲が、異なるレンズ間でまたは異なるレンズグループ間で互いに一部重複するように設定することが好ましい。これにより、連続した更に広い距離範囲でパターンの像を良好に結像させることができる。よって、本発明のパターン投影光源を複眼測距装置の補助光源として用いた場合には、精度良く測距できる範囲が更に広くなる。換言すれば、複眼測距装置の測距可能範囲において常に一定以上のコントラスト比を有するパターンの像が結像されるように複数の投影光学系を設定すれば、パターン投影光源を補助光源として使用して常に精度良く対象物までの距離を測定することができる。なお、パターンの像が結像される距離を異ならせるには、マスク領域あるいはレンズの位置を光軸方向に変化させてデフォーカスすればよい。
上記の本発明のパターン投影光源において、前記複数のマスク領域のうち少なくとも2つには、互いに異なるパターンで前記透光部が形成されていることが好ましい。例えば、複数のマスク領域のそれぞれに形成された透光部のパターンが、いずれも互いに平行な複数のストライプからなり、そのストライプパターンが互いに同一である場合、複数のレンズによって対象物上に投影されたストライプパターンの像は、対象物までの距離が近い時には互いに離れているが、対象物までの距離が遠くになるにしたがって互いに徐々に近づく。即ち、対象物上に投影されるストライプパターンの像の粗密は、対象物までの距離によって変化する。よって、対象物までの距離によっては、対象物上のパターンの像が投影されない空白領域が広くなってしまう。対象物上にこのような広い空白領域が発生すると、例えば画像を複数のブロック(小領域)に分割してブロック毎に視差を検出する上述のパターンマッチング(図20参照)では、視差を高精度に検出できないブロックが発生してしまう。
このような空白領域の拡大を回避するには、異なる投影光学系間でもしくは異なる投影光学系グループ間でマスク領域に形成される透光部のパターンを変えて、投影距離が変わってもパターンの像の粗密が変化しないように設定すればよい。例えば、マスク領域に形成される透光部のパターンがストライプ状である場合には、そのストライプの方向を互いに異ならせることが好ましい。あるいは、マスク領域に形成される透光部のパターンを周期性のないランダムなパターンとし、そのランダムパターンを互いに異ならせることが好ましい。
上記の本発明のパターン投影光源において、前記複数のマスク領域のうち少なくとも1つには、ほぼ全面が透光部であるパターンが形成されていることが好ましい。これにより、投影角内の全域にわたって照度分布を底上げすることが可能である。これにより、暗所において、マスク領域の所定のパターンの像が形成されない対象物までの距離を、対象物自身が有するコントラストを撮像することで測定することができる。さらに照明効率を高めるには、ほぼ全面が透光部であるマスク領域を備えた投影光学系を均一な照明を行うのに適した構成(いわゆる照明光学系の構成)に変更するのが好ましい。
以下、本発明の実施形態について、図面を参照しながら説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係るパターン投影光源20の斜視図である。図2はその断面図である。図1において、1はLEDを実装するための回路基板である。回路基板1上には、複数の砲弾型LED2aが配列されている。3はLED2aから発生した光線を散乱させる散乱部材である。4はガラス基板であり、その表面に透光部が所定のパターンで形成された複数のマスク領域5を有する。7はマスク領域5の透光部を透過した光を収束し、透光部のパターンの像を結像させるレンズである。LED2aから発光した光線は、散乱部材3、ガラス基板4、マスク領域5、及びレンズ7を介して対象物に照射され、マスク領域5に形成されたパターンが投影される。散乱部材3はレンズ7の瞳に向かう光線を発生させるために設けられている。1つのマスク領域5とこれに対応する1つのレンズ7とが1つの投影光学系を構成する。複数の投影光学系が縦横方向にアレイ状に配置されている。複数の投影光学系の光軸は互いに平行である。壁6は隣接する投影光学系からの光を遮光するために設けられている。図2において、9はレンズ7を保持するための鏡筒部材である。図1では鏡筒部材9の図示を省略している。
このように複数の投影光学系をアレイ状に配列する構成においては、図3のようにアレイ状に配置された複数のレンズ7が一体成型されたレンズアレイ70を用いることが好ましい。これにより、金型によって各レンズ7の光軸精度を向上させることが可能となる。従って、個々のレンズ7の光軸調整を不要とすることができ、組立て性が向上する。
なお、図1〜図3では、LED2aとレンズ7とが1対1に対応しているが、本発明はこれに限定されない。例えば、1つのLED2aに対して複数のレンズ7(あるいは全てのレンズ7)が対応していてもよいし、複数のLED2aに対して1つのレンズ7が対応していてもよい。また、光源としてLEDを用いているが、光源の種類はこれに限定されない。
また、図1〜図3では、全てのマスク領域5が1枚のガラス基板4上に形成されているが、1つ又は複数のマスク領域5がそれぞれ形成された複数のガラス基板を並べて配置しても良い。
図4は光源として表面実装型LED2bを用いたパターン投影光源20の断面図であり、図1及び図2に示したパターン投影光源の変形例である。図4において、回路基板1上には、複数の表面実装型LED2bが配列されている。8はLED2bから発光した光線を略平行化する機能を有する平行化レンズである。
以上のように、複数の投影光学系をアレイ状に配列することにより、単一の投影光学系のみを用いた場合に比べて、パターン投影光源を薄型化・小型化することが可能となる。さらに、複数の投影光学系をアレイ状に配置した場合には、単一の投影光学系のみを用いた場合に比べて、各レンズ7の焦点距離を短くすることができるため、パターンの像が良好に結像される距離範囲を広くすることができる。
次に、パターンの像が良好に結像される距離範囲をさらに広くする構成について説明する。
図5は、投影されたパターンの像が良好に結像される距離範囲を拡大する方法を説明する図である。図5において、71aは第1の投影光学系の投影レンズ、72aは第1の投影光学系の光軸、71bは第2の投影光学系の投影レンズ、72bは第2の投影光学系の光軸、71cは第3の投影光学系の投影レンズ、72cは第3の投影光学系の光軸である。また、図5の下に示したグラフにおいて、40aは第1の投影光学系の投影距離とコントラスト比との関係を示すグラフ、40bは第2の投影光学系の投影距離とコントラスト比との関係を示すグラフ、40cは第3の投影光学系の投影距離とコントラスト比との関係を示すグラフである。
図5のパターン投影光源では、投影レンズ71a、71b、71cを同じ形状のレンズとして、光軸72a,72b,72c方向におけるその位置を互いに異ならせている。これにより、相対的にデフォーカスされて、パターンの像が最適に結像される投影距離を投影光学系毎に異ならせることができる。図5のグラフにおいて、光軸上のコントラスト比が所定値Pを上回る範囲を結像深度とした場合、第1の投影光学系の結像深度はL1、第2の投影光学系の結像深度はL2、第3の投影光学系の結像深度はL3となっており、第1〜第3の投影光学系の結像範囲はそれぞれ、Z1〜Z1+L1、Z2〜Z2+L2、Z3〜Z3+L3となっている。図5のように、第1〜第3の投影光学系の結像範囲を相対的にずらして互いにオーバーラップさせることで、距離範囲Z1〜Z3+L3では常に良好に結像されるパターンの像が少なくとも1つ存在することになる。従って、このパターン投影光源を複眼測距装置の補助光源として用いた場合には、高精度に測距できる距離範囲を広げることが可能となる。
投影光学系の結像範囲をずらすためには、上記のレンズを光軸方向にずらす方法以外に、マスク領域5を光軸方向にずらす方法によっても実現可能である。
各投影光学系の結像範囲は環境温度によっても前後にシフトするため、使用温度範囲を考慮して各投影光学系の結像範囲を設定することが望ましい。
(実施の形態2)
本実施の形態2のパターン投影光源の基本構成は、実施の形態1における図1及び図2と同じである。本実施の形態では、複数のマスク領域5に形成された透光部のパターンが互いに異なっている。
本実施の形態について説明する前に、まず、複数のマスク領域5のパターンが同じである場合について説明する。
図6は、アレイ状に配列された3つのマスク領域50a,50b,50cを示している。図6に示すように、それぞれのマスク領域50a,50b,50cの透光部51のパターンは同じであり、それらは測距の基線方向90に対して垂直方向に延びる複数のストライプからなる。そして、3つのマスク領域50a,50b,50cを含む3つの投影光学系が基線方向90と垂直方向に配列されている。マスク領域50a、50b、50cを、それぞれマスクA、マスクB、マスクCとする。破線60a、60b、60cは、マスクA,B,Cの外縁を示す仮想線である。Evは投影光学系の配置ピッチである。
図7は、前記マスクA、マスクBおよびマスクCの各パターンの像が、所定の距離に設けた投影面上にどのように結像されるかを説明する図である。図7において、61は投影された透光部51のパターンの像を示している。ここで、破線60a’、60b’、60c’は、マスクA,B,Cの外縁を示す仮想線60a、60b、60cが投影された位置を示す仮想線である。投影距離が長くなるにつれてストライプ状のパターンの像61は大きくなるが、仮想線60a’、60b’、60c’のピッチは常に一定でEvに一致する。従って、投影距離が長いほど、マスクA,B,Cの3つのパターンの像61が重なる領域(積集合領域)61aの、3つのパターンの像61のいずれかが結像されている領域(和集合領域)61bに対する比率が増す。このようなマスク構成においては、3つのパターンの像61が重なる領域内に測距範囲を設定すればよい。
次に、図8に示すように、3つのマスク領域50a,50b,50c(順にマスクA、マスクB、マスクCとする)を含む3つの3つの投影光学系を測距の基線方向90に対して平行方向に配列した場合を考える。マスクA、マスクB、マスクCには、図6と同じ複数のストライプ状の透光部51が基線方向90に対して垂直方向に形成されている。
図9は、マスクA、マスクBおよびマスクCの各透光部51を通過した光線の光路を示す図である。図9において、点73a、73b、73cは、順に図8に示したマスクA、マスクB、マスクCを備えた投影光学系を示す。図9において、距離F1、F2、F3にある投影面に結像される透光部51のパターンの像は、透光部51を通過した光線を示す直線と、各投影面を示す破線との交点に形成される。従って、距離F1、F2、F3での透光部51のパターンの像は、順に図10A、図10B、図10Cのようになる。ここで、破線60a’、60b’、60c’は、マスクA,B,Cの外縁を示す仮想線60a、60b、60cが投影された位置を示す仮想線である。投影面までの投影距離が異なれば投影面上に形成される透光部51のパターンの像の大きさも異なるが、図10A、図10B、図10Cは、仮想線60a’、60b’、60c’で囲まれた領域の大きさが図10A、図10B、図10C間で同じ大きさになるようにその倍率が調整されている。
図8、図9、図10A、図10B、図10CにおいてEhは投影光学系の配置ピッチを示している。投影距離が長くなるにつれて透光部51のパターンの像は大きくなるが、仮想線60a’、60b’、60c’の基線方向90のピッチは常に一定でEvに一致する。従って、投影距離が長いほど、図10Cに示すようにパターンの像の粗密が強調される。従って、例えば図20で説明したような、撮像した画像を複数のブロックに分割して、各ブロック毎に距離情報を取得する測距方法を用いる場合には、対象物までの距離によっては、パターンの像の密度が高いブロックとパターンの像がほとんど存在しないブロックとが混在する事態が発生し得る。このような場合、対象物自身のコントラストがほとんどない領域が撮像されたブロックが、パターンの像がほとんど存在しないブロックと一致した場合、このブロックからは測距に必要な画像情報をほとんど取得できない。その結果、精度良く距離測定ができないブロックや、測定エラーを引き起こす場合ブロックが発生し、測距精度が低下してしまう可能性がある。
次に、本実施の形態のマスク領域の透光部51のパターンについて説明する。図11は本実施の形態のマスク領域50d,50eの透光部51のパターンを示す図である。測距の基線方向90に対して平行に2つの投影光学系がアレイ状に配列される。この2つの投影光学系に含まれる2つのマスク領域50d,50eのそれぞれには、平行な複数のストライプからる透光部51のパターンが形成されている。但し、ストライプの方向は、マスク領域50d,50e間で異なる。マスク領域50d、50eを、それぞれマスクD、マスクEとする。破線60d、60eは、マスクD,Eの外縁を示す仮想線である。Ehは投影光学系の配置ピッチである。マスク領域50d,50eがこのような透光部51のパターンを有することによって、図9に示す距離F1、F2、F3にある投影面に結像される透光部51のパターンの像は、順に図12A、図12B、図12Cのようになる。ここで、破線60d’、60e’はマスクD,Eの外縁を示す仮想線60d、60eが投影された位置を示す仮想線である。図12A、図12B、図12Cは、図10A、図10B、図10Cと同様に、仮想線60d’、60e’で囲まれた領域の大きさが図12A、図12B、図12C間で同じ大きさになるようにその倍率が調整されている。
投影距離が長くなるにつれて透光部51のパターンの像は大きくなるが、仮想線60d’、60e’は基線方向90に常にEhだけずれる。従って、投影距離が長いほど、仮想線60d’、60e’で囲まれた領域の大きさに対するEhの比率が小さくなる。これは、図10A、図10B、図10Cの場合と同じである。
ところが、本実施の形態では、2つのマスク領域50d,50eに形成された透光部51のストライプパターンの方向が異なるため、投影距離が変わってもストライプパターンの像の交点が移動するのみで、図10A、図10B、図10Cに示すように投影距離によってパターンの像の粗密が変化することがない。さらには、ストライプパターンの像の交点では照度が大きくなるため階調数が増す。これは、測距に必要な画像情報量が増すことを意味し、異なるマスク領域間で透光部のパターンが同一である場合に比べて、測距精度を向上させることができる。
また、2つのマスク領域50d,50eに形成された透光部51のストライプ方向がなす角度を適正に設定することにより、測距精度を向上させることができる。以下にこの測距精度の向上の原理について説明する。
図13Aは図11のマスク領域50d(マスクD)の透光部51のストライプパターンのみを所定距離の投影面上に投影し、前記投影面上の像を複眼測距装置で撮像した画像を示している。この画像を参照画像として用いて、図20で説明したパターンマッチングを行う。図13Aに示したブロック93を基線方向90と平行な方向に探索範囲内で移動してSADを演算をする。探索範囲内に基線方向90と垂直な複数のストライプの像が存在するためSAD値は図14Aのように変化する。探索範囲内にSADの極小値が複数出現し、且つ、それらの極小値がほぼ等しいため、視差を誤検出してしまう可能性がある。
図13Bは図11のマスク領域50e(マスクE)の透光部51のストライプパターンのみを所定距離の投影面上に投影し、前記投影面上の像を複眼測距装置で撮像した画像を示している。この画像を参照画像として用いて、図20で説明したパターンマッチングを上記と同様に行う。図13Bでは、基線方向90におけるストライプの像の周期が探索範囲より長くなるように、複数のストライプの像が基線方向90に対して傾斜している。従って、SAD値は図14Bのように変化する。探索範囲内で極小値は一つのみであるので視差の誤検出はないが、極小値前後のSAD値の変化が緩やかであるため、パターンマッチングの精度が悪くなる可能性がある。
このように単一のストライプパターンのみを撮像してパターンマッチングを行うと、誤検出や精度が悪くなるといった問題が生じる可能性がある。
図13Cは、図11のマスク領域50d(マスクD)及びマスク領域50e(マスクE)の両方の透光部51のストライプパターンを所定距離の投影面上に投影し、この投影面上の像を複眼測距装置で撮像した画像を示している。この画像を参照画像として用いて、図20で説明したパターンマッチングを上記と同様に行う。図13Cに示したブロック93を基線方向90と平行な方向に探索範囲内で移動してSADを演算をすると、SAD値は図14Cのように変化する。即ち、探索範囲内にSADの極小値は複数存在するが、複数の極小値は互いに異なり、探索範囲内で最も小さいSADの極小値はただ一つのみである。しかも、極小値前後のSAD値の変化は急峻である。従って、パターンマッチングの精度が高くなり測距精度が向上する。
本実施の形態において、マスク領域の透光部のパターンは図11に限定されない。例えば、図15に示すように、マスク領域50g,50h,50iのそれぞれに、互いに異なる周期性のないランダムなパターンで透光部51が形成されていても良い。このようなパターンでも、投影されたパターンの像の投影距離による粗密の変化を低減することができる。図15において、黒く塗りつぶした箇所が透光部51である。
上記の説明では、測距の基線方向90に1列に複数の投影光学系を配列した例を示したが、本発明はこれに限定されない。例えば図16のように縦横方向に2次元に複数の投影光学系を配列しても良い。この場合、マスク領域A1〜A9の透光部のパターンを、互いに方向が異なるストライプパターンや、互いに異なる周期性のないランダムなパターンとすることによって、投影距離によるパターンの粗密の変化を低減できる。
更に、本実施の形態と実施の形態1の図5とを組み合わせることができる。例えば、図16の上段のマスク領域A1〜A3と、中段のマスク領域A4〜A6と、下段のマスク領域A7〜A9との間で、それらのパターンが結像される距離範囲を互いに異ならせる。これにより、このパターン投影光源を複眼測距装置の補助光源として用いた場合には、広い距離範囲にわたって高精度に測距することが可能となる。
パターン投影光源が備えるマスク領域の数は、本実施の形態に示した、2,3,9に限定されず、これ以外の数であっても良い。
(実施の形態3)
本実施の形態では、複数の投影光学系のうちの少なくとも1つの投影光学系のマスク領域のほぼ全面が透光部である。
実施の形態1,2で説明したパターン投影光源では、マスク領域に形成された透光部のパターンの像が対象物上に結像される。即ち、対象物の表面のうち、透光部のパターンの像が形成された領域にはパターン投影光源による光が照射され、それ以外の領域にはパターン投影光源による光は全く照射されない。
一方、対象物の表面に各種形状や模様などが付与されている場合、明るい環境下であれば、この対象物を撮像した画像においてその形状や模様に基づくコントラストを利用して測距に必要な画像情報を抽出し対象物までの距離を測定することが可能である。従って、対象物上の形状又は模様にパターン投影光源による光が全く照射されなくても、この対象物の測距を行うことは可能である。
ところが、暗所においては、対象物の表面に付与された形状や模様を撮像することはできない。この場合、対象物上にパターン投影光源により透光部のパターンの像が形成されると、この像の明暗を利用して測距に必要な画像情報を抽出することができる。一方、対象物上にパターン投影光源による光が全く照射されないと、撮像した画像からこの対象物の画像情報を抽出することができず、撮像素子からのノイズが不要な情報として取り込まれてしまうので、パターンマッチングによる測距精度が劣化する。
このような問題を軽減するには、透光部のパターンの投影に加えて対象物全体に光を照射すればよい。
本実施の形態では、複数の投影光学系のうちの少なくとも1つの投影光学系のマスク領域には、ほぼ全面が透光部であるパターンが形成されている。従って、この投影光学系を用いて対象物全体を照明すると同時に、これ以外の投影光学系を用いて対象物に透光部の所定のパターンの像を投影することができる。
更に、対象物全体を照明するための投影光学系を図17に示すような照明光学系として構成することにより、照明効率を高めることができ、制限された数の投影光学系を、対象物全体を照明するための投影光学系(照明光学系)と、所定のパターンの像を投影するための投影光学系とに配分することが可能になる。
図17は、本実施の形態の測距用補助光源の概略構成を示した断面図である。図17において、16は照明光学系を構成するレンズであって、LED2aからの光線17を必要な照射角度に広げる。レンズ16が所定の画角に光線を導くため、この照明光学系には散乱部材3は必要ない。また、この照明光学系に対応するガラス基板4上の領域のほぼ全域は透光部である。θは所定のパターンの像を投影する投影光学系の投影角である。このように投影光学系と照明光学系との併用により、対象物にコントラストと照度とを与えることが可能となる。
図18Aは、暗所において投影光学系のみを用いた場合の対象物上の照度分布を示した図である。暗所では透光部のパターンの像が投影されない領域での照度はゼロとなる。
これに対して、暗所において投影光学系と照明光学系とを併用した場合の対象物上の照度分布は図18Bのようになり、透光部のパターンの像が投影されない領域にも照度が付加される。
本実施の形態によれば、暗所においては、照明光学系によって対象物全域に照度を与えることで対象物自身が持つコントラストからノイズの少ない画像情報を取得する。但し、対象物自身にコントラストがないために照度を与えても有効な画像情報を取得することができない場合には、投影光学系によって透光部のパターンの像を投影することで明暗のコントラストを付加することによって、パターンマッチングに必要な画像情報を取得することが可能となる。これにより、周囲の明るさや対象物自身が有するコントラストの有無にかかわらず、あらゆる対象物に対して高精度な距離測定を行うことが可能となる。
(実施の形態4)
本実施の形態では、実施の形態1のパターン投影光源を用いた複眼測距装置について説明する。図19は図1のパターン投影光源を用いた複眼測距装置の構成を示す断面図である。図19において、パターン投影光源20は、アレイ状に配列された複数の投影光学系によって測定対象物14に透光部のパターンの像を投影する。θは投影光学系の投影角である。測定対象物14は投影光学系の投影領域内に配置されている。21は複眼構成の測距部である。測距部21において、10は基板、11は基板10上に実装された固体撮像素子、12はカメラ鏡筒、13aは第1の撮像光学系の撮像レンズ、13bは第2の撮像光学系の撮像レンズである。撮像レンズ13aの光軸30aと撮像レンズ13bの光軸30bとを結ぶ直線を「基線」と呼ぶ。
対象物14上の点15を測定点とする。この点は第1の撮像光学系の光軸30a上に位置する。測定点15は、第1の撮像光学系により光軸30aが交差する固体撮像素子11の撮像面上の位置に結像され、第2の撮像光学系により光軸30bから基線方向にΔだけ離れた固体撮像素子11の撮像面上の位置に結像される。
撮像レンズ13a,13bから点15までの距離(対象物距離)をzとし、2つの撮像レンズ13a、13bの撮像中心間距離である基線長をDとし、撮像レンズ13a,13bの焦点距離をf(撮像レンズ13a,13bとも同一とする)とし、視差量をΔとすると、次の近似式(数2)が成立する。
視差量Δは第1の撮像光学系を介して得られた画像と第2の撮像光学系を介して得られた画像とをパターンマッチングすることで抽出できる。従って、(数2)を変形する事により点15までの距離zを抽出することが可能である。
図19では、パターン投影光源として図1に示したパターン投影光源を用いた複眼測距装置を示したが、上述したいかなるパターン投影光源を用いてもよい。
以上に説明した実施の形態は、いずれもあくまでも本発明の技術的内容を明らかにする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるものではなく、その発明の精神と請求の範囲に記載する範囲内でいろいろと変更して実施することができ、本発明を広義に解釈すべきである。
本発明に係るパターン投影光源の利用分野は特に制限はないが、広い距離範囲にわたって透光部のパターンの鮮明な像を投影することができるので、上述した複眼測距装置の補助光源の他、例えば投影されたパターンの像のコントラストを利用する撮像装置のオートフォーカスシステムなどに利用することができる。
また、本発明に係る複眼測距装置の利用分野は特に制限はないが、例えば車載用、監視カメラ用、3次元形状測定用などの測距装置として有用である。
図1は、本発明の実施の形態1に係るパターン投影光源の概略構成を示した斜視図である。
図2は、本発明の実施の形態1に係るパターン投影光源の概略構成を示した断面図である。
図3は、本発明の実施の形態1に係る別のパターン投影光源の概略構成を示した斜視図である。
図4は、本発明の実施の形態1に係る更に別のパターン投影光源の概略構成を示した断面図である。
図5は、本発明の実施の形態1にパターン投影光源において、投影パターンの結像範囲を拡大する方法を説明する図である。
図6は、本発明に係るパターン投影光源のマスク領域に形成された透光部のパターンの一例を示す図である。
図7は、本発明に係るパターン投影光源が図6に示したパターンを投影する様子を示す斜視図である。
図8は、本発明に係るパターン投影光源のマスク領域に形成された透光部のパターンの別の例を示す図である。
図9は、本発明に係るパターン投影光源が図8に示したパターンを投影したときの光線を示す図である。
図10Aは、図9の距離F1にある投影面に投影された透光部のパターンの像を示した図である。
図10Bは、図9の距離F2にある投影面に投影された透光部のパターンの像を示した図である。
図10Cは、図9の距離F3にある投影面に投影された透光部のパターンの像を示した図である。
図11は、本発明の実施の形態2に係るパターン投影光源のマスク領域に形成された透光部のパターンの一例を示す図である。
図12Aは、距離F1にある投影面に投影された図11の透光部のパターンの像を示した図である。
図12Bは、距離F2にある投影面に投影された図11の透光部のパターンの像を示した図である。
図12Cは、距離F3にある投影面に投影された図11の透光部のパターンの像を示した図である。
図13Aは、本発明の実施の形態2に係るパターン投影光源において、マスクDの透光部のパターンの像のみを撮像した画像を示した図である。
図13Bは、本発明の実施の形態2に係るパターン投影光源において、マスクEの透光部のパターンの像のみを撮像した画像を示した図である。
図13Cは、本発明の実施の形態2に係るパターン投影光源において、マスクD及びマスクEの両方の透光部のパターンの像を撮像した画像を示した図である。
図14Aは、図13Aに示した画像を用いてパターンマッチングを行った際の探索範囲内でのSADの値の変化を示した図である。
図14Bは、図13Bに示した画像を用いてパターンマッチングを行った際の探索範囲内でのSADの値の変化を示した図である。
図14Cは、図13Cに示した画像を用いてパターンマッチングを行った際の探索範囲内でのSADの値の変化を示した図である。
図15は、本発明の実施の形態2に係るパターン投影光源のマスク領域に形成された透光部のパターンの別の例を示す図である。
図16は、本発明の実施の形態2に係るパターン投影光源において、複数のマスク領域の配置の一例を示した図である。
図17は、本発明の実施の形態3に係るパターン投影光源の概略構成を示した断面図である。
図18Aは、本発明の実施の形態3に係るパターン投影光源において、投影光学系のみを用いた場合の対象物上での照度分布の一例を示した図である。
図18Bは、本発明の実施の形態3に係るパターン投影光源において、投影光学系及び照明光学系の両方を用いた場合の対象物上での照度分布の一例を示した図である。
図19は、本発明の実施の形態4に係る複眼測距装置の概略構成を示した断面図である。
図20は、複眼測距装置におけるパターンマッチングの方法を説明する図である。
本発明のパターン投影光源は、光源と、前記光源からの光が透過する透光部が所定パターンでそれぞれ形成された複数のマスク領域と、前記透光部の前記所定パターンの像を所定距離においてそれぞれ結像させる複数のレンズとこの順に備え、所定距離の投影面上において、前記透光部の前記所定パターンの像が互いに重なる領域が形成され、前記複数のマスク領域のうち少なくとも2つには、当該少なくとも2つのマスク領域が前記投影面上に投影される範囲が互いに重なる領域において、互いに異なるパターンの像が結像されるように、前記透光部が互いに異なるパターンで形成されていることを特徴とする。
本発明の複眼測距装置は、上記の本発明のパターン投影光源と、前記パターン投影光源によって前記所定パターンの像を投影された対象物までの距離を測定する複眼測距部とを有することを特徴とする。