JP5093653B2

JP5093653B2 - 測距装置およびその測距方法

Info

Publication number: JP5093653B2
Application number: JP2007163277A
Authority: JP
Inventors: 宏酒井
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-06-21
Filing date: 2007-06-21
Publication date: 2012-12-12
Anticipated expiration: 2027-06-21
Also published as: JP2009002761A

Description

本発明は、複数の撮像手段を用いて被測定物までの距離を測定する測距装置およびその測距方法に関する。

従来より、複数の撮像手段により被測定物を撮像して、得られた画像を基に被測定物までの距離を測定する測距装置として、ステレオカメラシステムにより構成されたものが知られている（特許文献１を参照）。そのステレオカメラシステムにより構成された装置の一例としての測距装置１００を図１１（ａ）に示す。ここで、説明の便宜上図１１（ａ）に示す矢印の方向をＸＹＺ方向とし、また本来であれば、撮像面１１１Ｒ、１１１Ｌは、点Ｏｒに対してＺ軸負方向に位置しているが、反転させて点Ｏｒに対してＺ軸正方向に示している。測距装置１００は、同一面上において同一方向に光軸１１２Ｒ、１１２Ｌを向けて、平行等位に配置された２つのカメラ１１０Ｒ、１１０Ｌから構成されている。カメラ１１０Ｒは、原点Ｏｒに複数の撮像レンズからなる撮像レンズ系を有し、撮像レンズ系のレンズ中心から焦点距離ｆだけ離れた位置に右撮像面１１１Ｒを有しており、この右撮像面１１１Ｒと光軸１１２Ｒとが交差している。一方、カメラ１１０Ｌは、原点Ｏｒから基線長Ｌだけ離れた点Ｏｌに複数の撮像レンズからなる撮像レンズ系を有して、カメラ１１０Ｒと同様の構成となっている。

上記のように構成された測距装置１００において、被測定物２の座標Ｐ（Ｘ，Ｙ，Ｚ）を求める際には、まず、撮像面１１１Ｒ、１１１Ｌで撮像された画像の視差を、２つの画像の相対的なズレ量を基に求める。このズレ量は、一方の画像において任意に切り出した所定領域に対する、他方の画像における対応領域を、例えば式（１）に示すＳＡＤ法を用いて、領域の輝度を評価することで求める。

この式（１）において、ｄを１画素ずつ移動させたときＳ（２つの領域の輝度差）が最小となるｄが視差となる。ここで、２つのカメラ１１０Ｒ、１１０Ｌが平行等位に配置されているため、図１１（ｂ）に示すように、被測定物２がＺ軸方向（奥行き方向）に移動するとき、一方の画像の所定領域に対応する他方の画像における対応領域は、エピポーラ線１１３上に並んで存在する。よって、一般的に対応領域を求めるときはエピポーラ線１１３に沿って探索を行う。

探索の結果、例えば図１１（ａ）に示すように、右撮像面１１１Ｒ上の点ｐｒ（ｘｒ，ｙｒ）の画像と、左撮像面１１１Ｌ上の点ｐｌ（ｘｌ，ｙｌ）の画像とが対応関係にあるとすると、視差は、式（２）に示すように、
ｍｌ−ｍｒ＝（ｘｌ−ｘｒ，ｙｌ−ｙｒ）（２）
となる。ここで、カメラ１１０Ｒ、１１０Ｌは平行等位であり光軸１１２Ｒと光軸１１２Ｌとが同一平面上にあるので、式（３）の関係が成立し、
ｙｌ＝ｙｒ（３）
ここでさらに、三角測量の原理を用いる。そうすることで、式（４）、式（５）、式（６）の関係が求まり、
Ｚ＝Ｌｆ／（ｘｌ−ｘｒ）（４）
Ｘ＝Ｚｘｒ／ｆ（５）
Ｙ＝Ｚｙｒ／ｆ（６）
よって、座標Ｐ（Ｘ，Ｙ，Ｚ）が求まり、これがステレオカメラシステムによる測距方法である。

特開２０００−２８３５５号公報

しかし、従来技術における対応領域の探索手法では、エピポーラ線に沿って略同一形状の被測定物画像が並ぶ場合、輝度が近似した領域が複数存在することによって誤った対応領域が選択される可能性がある。よって、正確な視差が得られないことにより、被測定物までの距離を高精度に測距することが困難であるという課題があった。

以上のような課題に鑑みて、本発明では、エピポーラ線に沿って同一形状の被測定物画像が並ぶ場合において、被測定物までの距離を高精度に測距できる測距装置およびその測距方法を提供することを目的とする。

本発明に係る測距装置は、撮像レンズを介して被測定物を撮像する少なくとも３つの撮像手段と、前記少なくとも３つの撮像手段から２つの撮像手段を選択する選択手段と、前記選択手段により選択された前記２つの撮像手段により前記被測定物を撮像させ、撮像された２つの画像における前記被測定物の所定領域を示す２つの所定領域画像と前記２つの撮像手段との位置関係を基にして、前記所定領域の位置を測定する測定手段とを備えて構成されている。そして、前記少なくとも３つの撮像手段は、その光軸が互いに平行で且つ同一方向に向いて、前記光軸に直交する単一の平面上に同一直線上に並ぶことがないように配置されており、前記選択手段は、前記２つの撮像手段により撮像された少なくともいずれかの前記画像において前記被測定物の前記所定領域を示す前記所定領域画像が複数存在すると判断されるときに、前記２つの撮像手段のうち少なくとも１つの前記撮像手段を異なる前記撮像手段と入れ替えて選択し、前記測定手段により前記被測定物を撮像させて前記所定領域の位置を測定するように構成されている。

また、上記構成の測距装置において、前記選択手段は、前記２つの撮像手段により撮像された前記画像の輝度分布を基にして前記被測定物の前記所定領域を示す前記所定領域画像を特定する構成が好ましい。

また、本発明に係る測距方法は、被測定物を撮像する少なくとも３つの撮像手段を備えた測距装置を用いた測距方法であって、前記少なくとも３つの撮像手段は、その光軸が互いに平行で且つ同一方向に向いて、前記光軸に直交する単一の平面上に同一直線上に並ぶことがないように配置され、前記少なくとも３つの撮像手段のうちの２つの撮像手段を選択して前記被測定物を撮像する撮像ステップと、前記撮像ステップで撮像された２つの画像における前記被測定物の所定領域を示す２つの所定領域画像と前記２つの撮像手段との位置関係を基にして、前記所定領域の位置を測定する測定ステップとを備え、前記撮像ステップにおいて、前記２つの撮像手段により撮像された少なくともいずれかの前記画像において前記被測定物の前記所定領域を示す前記所定領域画像が複数存在すると判断されるときに、前記２つの撮像手段のうち少なくとも１つの前記撮像手段を異なる前記撮像手段と入れ替えて選択し、前記被測定物を撮像して前記所定領域の位置を測定する入替ステップを有する。

本発明に係る測距装置およびその測距方法によれば、エピポーラ線に沿って同一形状の被測定物画像が並ぶ場合にも、正確な対応領域を特定することで視差を正確に求めることができ、よって、被測定物までの距離を高精度に測距可能となる。

以下において、本発明に係る測距装置の好ましい形態について、実施例１から実施例３を挙げて説明を行う。ここで説明の便宜上、図２に示す矢印の方向をＸＹ方向として定義し、この方向は図１１（ａ）におけるＸＹ方向と対応している。

以下、本発明の第１実施例に係る測距装置１０について、図１から図５を参照しながら説明する。まず、測距装置１０は、図１に示すように、撮像部２０、出力選択部３０および演算部４０を主体に構成されている。撮像部２０は、図１に示すように、４つのカメラ２１、２２、２３および２４から構成され、さらに図２に示すように、カメラ２１は円形のレンズ２１ａの内部に略正方形の測距エリア２１ｂが形成されており、さらに測距エリア２１ｂは複数の撮像素子２１ｃで構成されている。なお、実際の構成においては、レンズ２１ａは複数のレンズからなるレンズ系により構成されており、そのレンズ系のレンズ中心から測距エリア２１ｂまでの距離が焦点距離となっている。ここで、撮像素子２１ｃで撮像された画像データは、イメージセンサ２１ｄにより後述するバッファメモリ４１または４２に対して出力されるように構成されており、ここで、カメラ２２、２３、２４もカメラ２１と同様の構成となっている。出力選択部３０は、後述する相関演算部４３からの作動信号を入力することで、４つのカメラ２１、２２、２３、２４のうち、２つのカメラに対して選択信号を出力する。そして、この選択信号を入力した２つのカメラは被測定物を撮像し、その２つの画像データがイメージセンサからバッファメモリに出力される。

演算部４０は、２つのバッファメモリ４１、４２、相関演算部４３および距離演算部４４から構成されている。バッファメモリ４１、４２は、イメージセンサから出力された２つの画像データを入力し、画像データに含まれる光学的な歪みや軸ずれを補正テーブル（図示せず）を参照しながら補正し、補正した補正画像データを相関演算部４３に出力する。相関演算部４３は、バッファメモリ４１、４２から出力された２つの補正画像データを入力して、一方の補正画像データ中の任意に切り出した所定領域の画像に対する他方の補正画像データの対応領域を求める。ここで、対応領域が求められた場合は相関画像データを距離演算部４４に出力し、一方、対応領域が求められない場合または対応領域が１つに決定されない場合は、出力選択部３０に作動信号を出力する。距離演算部４４は、相関演算部４３から出力された相関画像データを入力し、被測定物までの距離を演算する構成となっている。

以上ここまでは、測距装置１０の各構成について説明したが、以下において撮像部２０の配置構成について説明する。撮像部２０は、図２に示すように、４つのカメラ２１、２２、２３、２４が、ＸＹ平面と平行な面上に配置され、紙面に対して手前側もしくは奥側にある被測定物（図示せず）までの距離を測距可能となっている。また、カメラ２１、２２はＸ軸と平行な直線上に配置されて平行等位となっており、一方、カメラ２３および２４はＹ軸と平行な直線上に配置されて平行等位となっている。さらに、４つのカメラは平行等位中心２５を中心とする同一円弧上に、各測距エリア２１ｂ、２２ｂ、２３ｂ、２４ｂの各中心が位置するように配置されている。このとき、カメラ２１と２２とは、測距エリア２１ｂ、２２ｂの中心同士が基線長Ｌ１だけ離れて位置しており、一方、カメラ２３、２４も同様に基線長Ｌ２だけ離れて位置している。また、カメラ２１と２３とは、Ｘ軸に対して４５度傾斜した方向に基線長Ｌ３を有している。

以下において、上述のように構成された測距装置１０を用いて、図３（ａ）に示すようなＸ軸方向に延びた被測定物３の、撮像領域３ａから測距装置１０までの距離を測定する測距方法を、図５に示すフローチャートを参照しながら説明する。

ステップ１において、出力選択部３０からカメラ２１、２２に対して、選択信号３０ａが出力されることで、カメラ２１、２２は、被測定物３の撮像領域３ａをそれぞれ撮像する（図３（ｂ）を参照）。このとき、カメラ２１で撮像された画像とカメラ２２で撮像された画像とを比較すると、各画像において略同じ位置にＸ軸方向に延びた被測定物３が撮像されて略同一画像が得られる。そして、撮像素子２１ｃ、２２ｃで撮像された画像データ２１ｅ、２２ｅは、同期露光可能なイメージセンサ２１ｄ、２２ｄにより、別々の２つのバッファメモリ４１、４２に対して順次出力される。ここで、画像データ２１ｅがバッファメモリ４１に入力され、画像データ２２ｅがバッファメモリ４２に入力されるとする。

ステップ２に進み、バッファメモリ４１、４２は画像データ２１ｅ、２２ｅを入力し、画像データ２１ｅ、２２ｅに含まれる光学的な歪みや軸ずれを補正テーブル（図示せず）を参照しながら補正を行う。ステップ３に進み、バッファメモリ４１、４２において、補正を行った画像データ２１ｅ、２２ｅに含まれる被測定物３のデータを抽出する。そして、被測定物３を抽出したデータを補正画像データ４１ａ、４２ａとして相関演算部４３に出力する。ステップ４に進み、カメラ２１、２２はＸ軸方向に平行等位に配置されているので、従来技術で述べたように、被測定物３の近傍においてＸ軸方向に延びたエピポーラ線２８ａが決定される（図３（ｂ）を参照）。

ステップ５に進み、相関演算部４３において、ステップ３で得られた補正画像データ４１ａ、４２ａを基に、ステップ４で形成されたエピポーラ線２８ａに沿ってステレオ対応点を探索する。例えば、図３（ｂ）に示すように、補正画像データ４２ａに含まれる基準領域３ｂに対応する対応領域を、補正画像データ４１ａの中から探索する。このとき、例えば従来技術で述べた領域の輝度を評価することにより、略同一画像からなり輝度が略同一の領域３ｃ、３ｄ、３ｅの３つが候補として求められる。ここで、これらは略同一画像となっているため、１つの対応領域を区別して抽出することはできず、よって、正確な視差を得ることができない。

ステップ６に進み、補正画像データ４２ａ中の各領域に対応する各対応領域が、補正画像データ４１ａ中に１つに決定されて求められるか否かのマッチングを判断する。もし、補正画像データ４２ａ中に１つに決定されて求められる場合には、距離演算部４４に相関画像データ４３ａを出力してステップ１０に進む。一方、補正画像データ４１ａ中に対応領域が複数求められる場合には、相関演算部４３が出力選択部３０に対して作動信号４３ｂを出力してステップ７に進む。ここで、図３（ｂ）に示す場合には、対応領域が複数求められるのでステップ７に進む。

ステップ７に進み、出力選択部３０は作動信号４３ｂを入力し、このフローにおいて従前に撮像する２つのカメラを切替えたか否かを判断する。ここで、２つのカメラを切替えている場合はステップ８に進み、２つのカメラを切替えていない場合はステップ９に進む。ここで、図３（ｂ）の場合、このフローにおいて従前に一度もカメラを切替えていないのでステップ９に進む。そして、ステップ９において、出力選択部３０からカメラ２１、２３に対して選択信号３０ａが出力されることで、カメラ２１、２３は被測定物３の撮像領域３ａをそれぞれ撮像する（図３（ｃ）を参照）。

このとき、カメラ２１で撮像された画像とカメラ２３で撮像された画像とを比較すると、各画像にはＸ軸方向に延びた被測定物３が撮像されているが、そのＹ軸方向の位置は異なっており、全体として異なった画像が得られる。そして、撮像素子２１ｃ、２３ｃで撮像された画像データ２１ｅ、２３ｅは、同期露光可能なイメージセンサ２１ｄ、２３ｄにより、別々の２つのバッファメモリ４１、４２に対して順次出力される。ここで、画像データ２１ｅがバッファメモリ４１に入力され、画像データ２３ｅがバッファメモリ４２に入力されるとする。そして、ステップ２に進み、その後さらにステップ３に進むが、この説明は上述と同様なので省略する。

ステップ４において、カメラ２１と２３とは、Ｘ軸に対して４５度傾斜した方向に等位となっており、よって、被測定物３と交差してＸ軸に対して４５度傾斜した方向に延びたエピポーラ線２８ｃが決定される（図３（ｃ）を参照）。そしてステップ５に進み、相関演算部４３において補正画像データ４１ａ、４２ａを基に、ステップ４で決定されたエピポーラ線２８ｃに沿ってステレオ対応点を検出する。例えば、図３（ｃ）に示すように、補正画像データ４２ａに含まれる基準領域３ｆに対応する対応領域を、補正画像データ４１ａの中から探索する。このとき、エピポーラ線２８ｃに沿って形成された領域３ｇ、３ｈ、３ｉが探索されるが、領域３ｈには被測定物３が撮像されており、一方、領域３ｇ、３ｉには被測定物３が撮像されていない。ここで、例えば従来技術で述べた手法により輝度差を比較すると、基準領域３ｆと領域３ｇ、３ｉとの輝度差は、基準領域３ｆと領域３ｈとの輝度差に対して明らかに異なるとともに、基準領域３ｆと領域３ｈとの輝度差の方が、より小さな値となる。よって、１つの対応領域３ｈが決定されて視差が求められる。

ステップ６に進み、補正画像データ４２ａ中の各領域に対応する各対応領域が、補正画像データ４１ａ中に１つに決定されて求められるか否かのマッチングを判断する。このカメラ２１、２３を用いた場合、補正画像データ４１ａ中に１つに決定されて求められるので、相関演算部４３は距離演算部４４に対して相関画像データ４３ａを出力してステップ１０に進む。ステップ１０において、被測定物３の３次元座標を算出することにより、被測定物３の撮像領域３ａから測距装置１０までの距離が求まり、このフローチャートは終了する。

なお、上述のフローチャートのステップ７において、従前にカメラを切替えていると判断された場合について以下に説明する。このとき、ステップ７からステップ８に進むとともに、出力選択部３０は、カメラ２３、２４に対して選択信号３０ａを出力する。そして、カメラ２３、２４は選択信号３０ａを入力し、被測定物３の撮像領域３ａをそれぞれ撮像することで、図３（ｄ）に示すような画像が得られる。そして、ステップ２からステップ３に進み、さらにステップ３からステップ４へと進み、ステップ４においてＹ軸と平行に延びたエピポーラ線２８ｂが決定される。

ステップ５において、エピポーラ線２８ｂに沿ってステレオ対応点を検出するが、例えば、カメラ２３の画像中の基準領域３ｊに対応する対応領域を、カメラ２４の画像から探索する。このとき、エピポーラ線２８ｂに沿って形成された領域３ｋ、３ｌが探索されるが、領域３ｋには被測定物３が撮像されており、一方、領域３ｌには被測定物３が撮像されていない。ここで、例えば従来技術で述べた手法により輝度差を比較すると、基準領域３ｊと領域３ｋとの輝度差は、基準領域３ｊと領域３ｌとの輝度差に対して明らかに異なるとともに、基準領域３ｊと領域３ｋとの輝度差の方が、より小さな値となる。よって、１つの対応領域３ｋが決定されて視差が求められる。そしてステップ６において、マッチングが可能と判断されてステップ１０に進み、ステップ１０において被測定物３の３次元座標を算出することにより、被測定物３の撮像領域３ａから測距装置１０までの距離が求められる。

次に、以下において上述のように構成された測距装置１０を用いて、図４（ａ）に示すようなＹ軸方向に延びた被測定物４の、撮像領域４ａから測距装置１０までの距離を測定する測距方法を、図５に示すフローチャートを参照しながら説明する。以下に説明する測距方法は、上述の図３に示す被測定物３の測距方法と基本的に同様である。よって、上述のフローチャートと特に異なる構成である、ステップ１、ステップ８およびステップ９において選択されたカメラに対して、ステップ５における対応点の検出がどのように行われるかの説明を中心に行う。

ステップ１において、カメラ２１、２２が被測定物４の撮像領域４ａをそれぞれ撮像することで、図４（ｂ）に示すような画像が得られる。そして、ステップ２からステップ４までは上述と同様に進む。ステップ５において、Ｘ軸と平行に延びたエピポーラ線２８ａに沿ってステレオ対応点を探索するが、例えば、カメラ２２の画像中の基準領域４ｂに対応する対応領域を、カメラ２１の画像から探索する。このとき、エピポーラ線２８ａに沿って形成された領域４ｃ、４ｄ、４ｅが探索されるが、領域４ｄには被測定物４が撮像されており、一方、領域４ｃ、４ｅには被測定物４が撮像されていない。ここで、例えば従来技術で述べた手法により輝度差を比較すると、基準領域４ｂと領域４ｃ、４ｅとの輝度差は、基準領域４ｂと領域４ｄとの輝度差に対して明らかに異なるとともに、基準領域４ｂと領域４ｄとの輝度差の方が、より小さな値となる。よって、１つの対応領域４ｄが決定されて視差が求められる。よって、ステップ６において、マッチングが可能と判断されてステップ１０に進み、被測定物４の撮像領域４ａから測距装置１０までの距離が求められる。

なお、もし仮に上記のステップ６において、マッチングが不可能と判断された場合にはステップ７に進み、さらにステップ９へと進む。ステップ９において、カメラ２１、２３が、被測定物４の撮像領域４ａをそれぞれ撮像することで、図４（ｃ）に示すような画像が得られる。そして、ステップ２からステップ４までは上述と同様に進む。そして、ステップ５において、Ｘ軸に対して４５度傾斜したエピポーラ線２８ｃに沿ってステレオ対応点を探索する。例えば、カメラ２３の画像中の基準領域４ｆに対応する対応領域を、カメラ２１の画像から探索する。このとき、エピポーラ線２８ｃに沿って形成された領域４ｇ、４ｈ、４ｉが探索されるが、領域４ｈには被測定物４が撮像されており、一方、領域４ｇ、４ｉには被測定物４が撮像されていない。ここで、例えば従来技術で述べた手法により輝度差を比較すると、基準領域４ｆと領域４ｇ、４ｉとの輝度差は、基準領域４ｆと領域４ｈとの輝度差に対して明らかに異なるとともに、基準領域４ｆと領域４ｈとの輝度差の方が、より小さな値となる。よって、１つの対応領域４ｈが決定されて視差が求められる。よって、ステップ６において、マッチングが可能と判断されてステップ１０に進み、被測定物４の撮像領域４ａから測距装置１０までの距離が求められる。

また仮に、上記のステップ６において、マッチングが不可能と判断された場合にはステップ７に進み、さらにステップ８へと進む。ステップ８において、カメラ２３、２４が、被測定物４の撮像領域４ａをそれぞれ撮像することで、図４（ｄ）に示すような画像が得られる。そして、ステップ２からステップ４までは上述と同様に進む。ステップ５において、Ｙ軸と平行に延びたエピポーラ線２８ｂに沿ってステレオ対応点を探索し、例えば、カメラ２３の画像中の基準領域４ｊに対応する対応領域を、カメラ２４の画像から探索する。このとき、例えば従来技術で述べた領域の輝度を評価することにより、略同一画像からなり輝度が略同一の領域４ｋ、４ｌの２つが候補として求められる。ここで、これらは略同一画像となっているため、１つの対応領域を区別して抽出することはできず、よって、正確な視差を得ることができない。

ここで、本発明に係る第１の実施例について効果を簡潔にまとめると、上下左右方向に配置された４つのカメラのうちで任意の２つを用いて撮像を行うことで、形成されるエピポーラ線の方向を変化させることが可能となる。よって、あるエピポーラ線に沿って同一画像が並ぶような被測定物の測定を行う場合にも、他の２つのカメラを用いてエピポーラ線の方向を変化させることで測定可能となり、つまり被測定物の形状に影響されることなく多様な形状の被測定物を測距可能となる。

以下、本発明の第２実施例に係る測距装置５０について、図６から図９を参照して説明する。まず、測距装置５０は図６に示すように、撮像部６０および演算部８０を主体に構成されている。撮像部６０は、図６に示すように、２つのカメラ６１、６２および回転機構６６を主体に構成されている。カメラ６１、６２は、上述のカメラ２１と同様の構成となっており、カメラ６１における撮像素子６１ｃで撮像された画像データは、イメージセンサ６１ｄにより後述するバッファメモリ８１に対して出力されるように構成されており、カメラ６２における撮像素子６２ｃで撮像された画像データは、イメージセンサ６２ｄにより後述するバッファメモリ８２に対して出力されるように構成されている。回転機構６６は、２つのカメラ６１、６２を一体回転させることのできる駆動機構である。演算部８０は、２つのバッファメモリ８１、８２、相関演算部８３および距離演算部８４から構成されており、これらは上述の測距装置１０における２つのバッファメモリ４１、４２、相関演算部４３および距離演算部４４と同様の機能を有しており、ここでの説明は省略する。相関演算部４３において相関関係が得られないと評価された場合は、相関演算部４３は回転機構６６に作動信号を出力する構成となっている。

以下に、撮像部６０の配置構成について説明する。撮像部６０は、図７（ａ）に示すように、カメラ６１、６２は、ＸＹ平面と平行な面上に配置されるとともに、Ｘ軸と平行に延びる直線上に配置されて平行等位となっており、紙面に対して手前側もしくは奥側にある被測定物（図示せず）までの距離を測距可能となっている。また、回転機構６６が駆動することで、カメラ６１、６２は一体となって平行等位中心６５を中心として、ＸＹ平面と平行な配置面上において回転自在となっている。このとき、カメラ６１と６２とは、測距エリア６１ｂ、６２ｂの中心同士が基線長Ｌ４だけ離れて位置している。

以下に、上述のように構成された測距装置５０を用いて、図８（ａ）に示すようなＸ軸方向に延びた被測定物５の、撮像領域５ａから測距装置５０までの距離を測定する測距方法を、図９に示すフローチャートを参照しながら説明する。ここで説明する測距方法は、図３に示す被測定物３の測距方法と基本的に同様となっており、よって、上述のフローチャートと特に異なる構成である、ステップ１、ステップ５およびステップ７の説明を中心に行う。

ステップ１において、図７（ａ）に示すようにＸ軸と平行な直線上に配置されたカメラ６１、６２により、被測定物５の撮像領域５ａをそれぞれ撮像することで、図８（ｂ）に示すような画像が得られる。この場合、実施例１で述べた図３（ｂ）の場合と同様に、カメラ６１、６２で撮像された２つの画像は略同一となっている。上述と同様に、ステップ２からステップ３へと進み、さらにステップ４へと進む。そしてステップ５において、ステップ４において決定されたＸ軸と平行に延びたエピポーラ線６８ａに沿ってステレオ対応点を探索する。ここで、例えば図８（ｂ）に示すように、カメラ６２が撮像した画像に含まれる基準領域５ｂに対応する対応領域を、カメラ６１が撮像した画像の中から探索する。このとき、例えば従来技術で述べた領域の輝度を評価することにより、略同一画像からなり輝度が略同一の領域５ｃ、５ｄ、５ｅの３つが候補として求められる。ここで、これらは略同一画像となっているため、１つの対応領域を区別して抽出することはできず、よって、正確な視差を得ることができない。そしてステップ６に進み、マッチング不可能と判断されるとともに相関演算部８３から回転機構６６に対して作動信号８３ｂが出力され、ステップ７に進む。

ステップ７において、回転機構６６は作動信号８３ｂを入力して駆動することにより、カメラ６１、６２は一体となって平行等位中心６５を中心に、被測定物５に対して時計周りに４５度回転する（図７（ｂ）を参照）。そしてステップ１に進み、被測定物５の撮像領域５ａを撮像することで、図８（ｃ）に示す画像が得られる。上述と同様に、ステップ２からステップ３へと進み、さらにステップ４へと進む。そしてステップ５において、ステップ４で決定されたＸ軸に対して４５度傾斜した方向に延びる、エピポーラ線６８ｂに沿ってステレオ対応点を探索する。ここで例えば、カメラ６２が撮像した画像の基準領域５ｆに対応する対応領域を、カメラ６１が画像の中から探索する。

このとき、エピポーラ線６８ｂに沿って形成された領域５ｇ、５ｈ、５ｉが探索されるが、各領域に撮像されている被測定物５の大きさはそれぞれ異なっている。ここで、基準領域５ｆに撮像されている被測定物５の大きさと比較した場合、領域５ｈが最も近似している。よって、例えば従来技術で述べた手法により輝度差を比較すると、基準領域５ｆと領域５ｇ、５ｉとの輝度差は、基準領域５ｆと領域５ｈとの輝度差に対して明らかに異なるとともに、基準領域５ｆと領域５ｈとの輝度差の方が、より小さな値となる。よって、１つの対応領域５ｈが決定されて視差が求められる。そして、ステップ６において、マッチングが可能と判断されてステップ８に進み、被測定物５の撮像領域５ａから測距装置５０までの距離が求められる。

なお、上記のステップ７において、回転機構６６はカメラ６１、６２を一体として、時計周りに９０度回転させることも可能である（図７（ｃ）を参照）。そしてステップ１に進み、カメラ６１、６２は、被測定物５の撮像領域５ａをそれぞれ撮像することで、図８（ｄ）に示すような画像が得られる。上述と同様に、ステップ２からステップ３へと進み、さらにステップ４へと進む。そしてステップ５において、ステップ４で決定されたＹ軸方向に延びるエピポーラ線６８ｃに沿ってステレオ対応点を検出する。ここで例えば、カメラ６２が撮像した画像の基準領域５ｊに対応する対応領域を、カメラ６１が撮像した画像の中から探索する。このとき、エピポーラ線６８ｃに沿って形成された領域５ｋ、５ｌが探索されるが、領域５ｋには被測定物５が撮像されており、一方、領域５ｌには被測定物５が撮像されていない。ここで、例えば従来技術で述べた手法により輝度差を比較すると、基準領域５ｊと領域５ｋとの輝度差は、基準領域５ｊと領域５ｌとの輝度差に対して明らかに異なるとともに、基準領域５ｊと領域５ｋとの輝度差の方が、より小さな値となる。よって、１つの対応領域５ｋが決定されて視差が求められる。よって、ステップ６において、マッチングが可能と判断されてステップ８に進み、被測定物５の撮像領域５ａから測距装置５０までの距離が求められる。

ここで、本発明に係る第２の実施例について効果を簡潔にまとめると、２つのカメラ６１,６２を用いてこれらを一体回転させることで、エピポーラ線の方向を変化させる構成となっている。あるエピポーラ線に沿って同一画像が並ぶような被測定物の測定を行う場合にも、２つのカメラを回転させてエピポーラ線の方向を変化させることで測定可能となり、つまり被測定物の形状に影響されることなく多様な形状の被測定物を測距可能となる。また、必要最小限の２つのカメラにより構成されるので、測距装置５０を複雑化させることなく製作コストを抑えることが可能である。

以下、本発明の第３実施例に係る測距装置９０について説明する。まず、測距装置９０は、図１および図２に示す第１実施例に係る測距装置１０と同様の構成となっている。この測距装置９０を用いて、図３（ａ）に示す被測定物３の撮像領域３ａから測距装置９０までの距離を測定する測距方法を、図１０のフローチャートを参照しながら説明する。ここで、第１実施例に係るフローチャートと基本的に同じであり、特に異なる構成のステップ１を中心に説明する。

ここでステップ１の構成は、まず、２つのカメラを用いて被測定物３の撮像領域３ａを撮像する前に、任意の１つのカメラで撮像領域３ａを撮像することで、撮像領域３ａにおける被測定物３の概略形状を把握する構成となっている。その後、その概略形状を基に、出力選択部３０はステップ５において対応点の検出が可能となるような２つのカメラを選択し、選択された２つのカメラに対して選択信号３０ａを出力する。

よって、このフローチャートでは、まずステップ１において、任意の１つのカメラで撮像領域３ａを撮像することで、例えば図３（ｂ）に示すような、Ｘ軸方向に延びた被測定物３の形状が把握される。そして出力選択部３０は、その把握された形状から、図２に示すカメラ２１、２３を用いて撮像し、Ｘ軸に対して４５度傾斜したエピポーラ線２８ｃに沿って探索することで、ステップ５において対応点が検出されると判断する。よって、出力選択部３０は、カメラ２１、２３を選択してこれらに選択信号３０ａを出力する。そしてステップ２から順にステップ４へと進み、さらにステップ５に進む。ステップ５において、第１実施例で述べたように、エピポーラ線２８ｃに沿ってステレオ対応点を検出することで、実施例１の場合と同様にして、カメラ２３で撮像した画像の基準領域３ｆに対応する対応領域として、カメラ２１で撮像した画像における１つの対応領域３ｈが求められる。そしてステップ６に進み、被測定物３の撮像領域３ａから測距装置９０までの距離が求められる。

ここで、本発明に係る第３の実施例について効果を簡潔にまとめると、２つのカメラを用いて被測定物を撮像する前に、任意の１つのカメラで被測定物を撮像して被測定物の概略形状を把握し、その概略形状を基に対応点の検出が可能となるような２つのカメラを選択する。よって、２つのカメラを用いて一度だけ撮像することにより確実に測距可能であり、無駄な撮像を繰り返すことがなく、測距に要する時間を短縮することが可能となる。

上述の実施例１において、撮像部２０は少なくとも３つのカメラで構成されていれば良く、カメラの台数は４つに限定されるものではない。

上述の実施例１において、撮像を行う２つのカメラは４つのカメラの中から任意に選択可能であり、さらに、任意に選択された２つのカメラの露光順序も任意に決定可能であり、実施例１に示す順序に限られず任意に変更可能である。

上述の実施例２において、２つのカメラの移動手段は回転機構６６に限定されず、例えば２つのカメラ６１,６２のうち少なくとも一方を、カメラの配置面上で平行移動させることで、形成されるエピポーラ線の角度を変化させる構成でも良い。

上述の実施例２において、回転機構６６の回転角度は４５度または９０度に限られず、被測定物の形状等によって任意に設定可能である。

上述の実施例２において、図９に示すステップ１の実行前に、任意の１つのカメラで被測定物を撮像して被測定物の概略形状を把握し、ステップ５において対応点の検出が可能となるように回転機構６６が２つのカメラ６１、６２を回転させた後、ステップ１を実行する構成も可能である。

第１実施例に係る測距装置の構成を示すブロック図である。第１実施例に係る測距装置の撮像部を示す平面図である。（ａ）は被測定物を示す側面図であり、（ｂ）、（ｃ）、（ｄ）は被検物を撮像した画像を示す。（ａ）は被測定物を示す側面図であり、（ｂ）、（ｃ）、（ｄ）は被検物を撮像した画像を示す。第１実施例に係る測距装置の測距方法を示すフローチャートである。第２実施例に係る測距装置の構成を示すブロック図である。（ａ）は第２実施例に係る測距装置の撮像部を示す平面図であり、（ｂ）は４５度回転させた状態を示し、（ｃ）は９０度回転させた状態を示す。（ａ）は被測定物を示す側面図であり、（ｂ）、（ｃ）、（ｄ）は被検物を撮像した画像を示す。第２実施例に係る測距装置の測距方法を示すフローチャートである。第３実施例に係る測距装置の測距方法を示すフローチャートである。（ａ）（ｂ）ともにステレオカメラによる測距方法を説明する説明図である。

符号の説明

３被測定物１０測距装置
２１カメラ（撮像手段）２１ａレンズ（撮像レンズ）
３０出力選択部（選択手段）４０演算部（測定手段）
６６回転機構（移動手段）１１２Ｒ、１１２Ｌ光軸

Claims

撮像レンズを介して被測定物を撮像する少なくとも３つの撮像手段と、
前記少なくとも３つの撮像手段から２つの撮像手段を選択する選択手段と、
前記選択手段により選択された前記２つの撮像手段により前記被測定物を撮像させ、撮像された２つの画像における前記被測定物の所定領域を示す２つの所定領域画像と前記２つの撮像手段との位置関係を基にして、前記所定領域の位置を測定する測定手段とを備えた測距装置において、
前記少なくとも３つの撮像手段は、その光軸が互いに平行で且つ同一方向に向いて、前記光軸に直交する単一の平面上に同一直線上に並ぶことがないように配置されており、
前記選択手段は、前記２つの撮像手段により撮像された少なくともいずれかの前記画像において前記被測定物の前記所定領域を示す前記所定領域画像が複数存在すると判断されるときに、前記２つの撮像手段のうち少なくとも１つの前記撮像手段を異なる前記撮像手段と入れ替えて選択し、前記測定手段により前記被測定物を撮像させて前記所定領域の位置を測定するように構成されていることを特徴とする測距装置。
前記選択手段は、前記２つの撮像手段により撮像された前記画像の輝度分布を基にして前記被測定物の前記所定領域を示す前記所定領域画像を特定することを特徴とする請求項１に記載の測距装置。
被測定物を撮像する少なくとも３つの撮像手段を備えた測距装置を用いた測距方法であって、
前記少なくとも３つの撮像手段は、その光軸が互いに平行で且つ同一方向に向いて、前記光軸に直交する単一の平面上に同一直線上に並ぶことがないように配置され、
前記少なくとも３つの撮像手段のうちの２つの撮像手段を選択して前記被測定物を撮像する撮像ステップと、
前記撮像ステップで撮像された２つの画像における前記被測定物の所定領域を示す２つの所定領域画像と前記２つの撮像手段との位置関係を基にして、前記所定領域の位置を測定する測定ステップとを備え、
前記撮像ステップにおいて、前記２つの撮像手段により撮像された少なくともいずれかの前記画像において前記被測定物の前記所定領域を示す前記所定領域画像が複数存在すると判断されるときに、前記２つの撮像手段のうち少なくとも１つの前記撮像手段を異なる前記撮像手段と入れ替えて選択し、前記被測定物を撮像して前記所定領域の位置を測定する入替ステップを有することを特徴とする測距方法。