JPWO2008032376A1 - 距離測定装置及び方法、並びにコンピュータプログラム - Google Patents

Abstract

距離測定装置（１）は、撮像素子によって複数の地点（ａ，ｂ）で撮像された複数の画像（２）から、特徴点の集合を検出する特徴点検出手段（３１）と、該検出された特徴点の集合に関する、画像間での相対的な位置の変化を検出する変化検出手段（３３）と、該検出された変化に基づいて、撮像素子の地点間での回転量を特定する第１特定手段（８）とを備える。ここで特徴点検出手段は、静止物体に属する線分であって、撮像素子の光軸と略直交する線分（３１０、３２０）を構成する点の集合（Ｐ１、Ｐ２、Ｐ３、Ｐ４）を、特徴点の集合として検出する。

Description

本発明は、自動車或いは電車に搭載されたカメラ等の撮像素子の移動パラメータ（例えば、回転量及び平行移動量）を特定し、撮像素子から被写体までの距離を測定すること（以下、単に「測距」とも言う）等に利用する距離測定装置及び方法、並びにコンピュータをそのような距離測定装置として機能させるコンピュータプログラムの技術分野に関する。

この種の距離測定装置によって、測距する場合に、例えばステレオカメラを利用すると、光学特性を左右で揃える等の必要があり、一般的にコストがかかる。他方で、このコストを削減すべく、単眼カメラを利用すると、三角測量の原理で測距可能だが、撮像素子の移動パラメータ、即ち３軸の回転量と、３元の平行移動量を求める必要がある。そして、この移動パラメータを特定するにあたり、撮像された画像の中から特徴点がいくつか選択され、この特徴点の動きに着目して移動パラメータを特定する技術が知られている。仮に、特徴点としてノイズを選択してしまうと、誤差の影響が無視できず、移動パラメータが正しく得られない虞がある。

そこで、特徴点の画像間での動きを探索し、誤差の評価を行い、移動パラメータを統計的に検出する技術が提案されている（非特許文献１参照）。

また、この移動パラメータのうち、回転量と平行移動量とを別々に求めるために、互いに平行な垂直線分、水平線の消失点の動きを利用する技術も提案されている（非特許文献２参照）。

更に、上記消失点を道路の白線を利用して検出する技術も提案されている（特許文献１参照）。

IEEE TRANS. ON SYSTEM, MAN AND CYBERNETICS, VOL.19, NO.6, NOV./DEC. 1989 pp.1426-1446 電子通信学会論文誌’86/6 VOL.J-69-D NO.6 pp.967-974 特開平７−７８２４０号公報

しかしながら、前述の各種文献に開示されている技術によると、以下のような問題が生じる虞がある。

先ず、非特許文献１に開示されている技術では、特徴点を誤って選択してしまう影響を低減するために、統計的な手法、即ち多くの特徴点に関するオプティカルフローを求める必要があり、膨大な計算量が必要となる。

また、非特許文献２に開示されている技術では、直線同士が実世界において平行である必要がある。従って、例えば電柱のように、平行でない直線を候補として選択してしまうと、誤差の原因となり得る。

更に、特許文献１に開示されている技術では、白線が直線でないときには適応できずに誤差の原因となり得る。

本発明は、例えば上述した問題点に鑑みてなされたものであり、上記移動パラメータの特定に要する計算量を好適に低減可能としつつも、誤差に強い距離測定装置及び方法、並びにコンピュータをそのような距離測定装置として機能させるコンピュータプログラムを提供することを課題とする。

（距離測定装置）
本発明の距離測定装置は、上記課題を解決するために、撮像素子によって複数の地点で撮像された複数の画像から、特徴点の集合を検出する特徴点検出手段と、該検出された特徴点の集合に関する、前記画像間での相対的な位置の変化を検出する変化検出手段と、該検出された変化に基づいて、前記撮像素子の前記地点間での回転量を特定する第１特定手段とを備える距離測定装置であって、前記特徴点検出手段は、静止物体に属する線分であって、前記撮像素子の光軸方向の直線と前記線分の為す角度が略垂直となる線分、典型的には電柱などの地面に略垂直に設置された物体の線分を前記特徴点の集合として検出する。

本発明の距離測定装置によると、先ず、例えばカメラ等の撮像素子によって複数の地点で撮像された複数の画像から、メモリ及び演算素子等を有する特徴点検出手段によって、特徴点の集合が検出される。ここでいう「複数」とは、２以上であることを示し、典型的には２である。この場合、車両等に搭載された撮像素子は、２地点間を移動して、２枚の画像を撮像する。「画像」とは、被写体の２次元平面上での写像をいう。「移動」には、回転移動及び平行移動が含まれ、「移動パラメータ」には回転量及び平行移動量が含まれる。「特徴点」とは、画像処理上検出し易い、画像中の点或いは微少領域である。

続いて、検出された特徴点の集合に関する、画像間での相対的な位置の変化が、メモリ及び演算素子等を有する変化検出手段によって、検出される。ここでいう「変化」とは、各特徴点の、画像間での相対的な位置の変化、言い換えれば互いの位置関係の変化のことである。撮像された地点或いは撮像素子の向きが異なれば、同一の被写体（この場合は特徴点）であっても、撮像された画像上での位置は異なる趣旨である。

そして、検出された変化に基づいて、撮像素子の地点間での回転量が、メモリ及び演算素子等を有する第１特定手段によって、特定される。

ここで上記課題で述べたように、特徴点検出手段が特徴点の集合を無作為に検出すると、上記回転量を特定するために、例えば多くの特徴点のオプティカルフローを求める統計的手法を用いることになり、計算量が膨大になる虞がある。

また、互いに平行な垂直線分、水平線の消失点の動きを利用して、上記回転量を特定する場合には、例えば電柱のように、平行でない直線を候補として選択してしまうと、誤差の原因となり得る。

然るに、本実施例に係る特徴点検出手段は、例えば電柱或いは建物のような静止物体に属し、前記撮像素子と光軸方向の距離が互いに等しいと近似可能な特徴点群を検出する。ここでいう「静止」には、撮像素子の移動速度に比べて無視し得る程に低い速度も含まれ、微動だにしないことまでは要求されない。「光軸方向の距離が互いに等しいと近似可能」とは、カメラ座標系(X,Y,Z)において、撮像された２つの特徴点の座標値(x1,y1,z1)と(x2,y2,z2)のz1≒z2とすることが可能という趣旨で、言い換えれば前記２つの特徴点を結ぶ線分と前記撮像素子の光軸の線が為す角が略垂直であるという趣旨である。ここでいう「略垂直」とは、垂直のみならず垂直から所定マージンだけずれた角度で交わることをも許容する趣旨である。この所定マージンは、近似精度の観点からは小さいほど好ましいのは勿論であるが、どこまで許容されるかは当該距離測定装置によって測定される距離に関して実践上要求される精度に応じて、予め実験的に或いはシミュレーションによって定められるとよい。そして、後述する撮像素子の設置条件により、このような条件を満たす特徴点の最も典型的かつ好適なものが路面に対して略垂直に設置されている電柱や建物、看板などである。撮像素子の撮像面が路面に対して略垂直に設置されている場合には、撮像素子の光軸が路面に対して略平行となり、故に、路面に対して略垂直に設置された電柱は、撮像素子の光軸と略垂直である。従って、この電柱と撮像面とは互いに略平行である。ここで、電柱の一の端点および他の端点から撮像面に夫々下ろした垂線は、共に光軸と略平行となる。このとき、一の端点、他の端点、撮像面における垂線の足２点の計４点からなる４角形は、２組の対辺が夫々略平行であり、かつ、各辺が直交するので、長方形である。従って、この電柱の端点から撮像素子の撮像面までの光軸上の距離は、互いに等しいと近似可能となる。このような静止物体を認識する手法としては、例えばテンプレートマッチングや、よく知られているエッジ検出フィルタを用いて画像内からいわゆる垂直エッジを検出することにより可能である。なお、ここで特徴点２点の光軸方向の距離の差分をどの範囲まで近似可能とするかの程度は、当該距離測定装置に対して要求される精度から逆算される許容量として、シミュレーション、あるいは実験により予め定められるとよい。

そして、各特徴点が上述したような線分を構成する点であること、言い換えれば、各特徴点から撮像素子の撮像面までの光軸上の距離が互いに等しいと近似されることを前提として、上記回転量を特定するための計算が行われる。この際、各特徴点間の関係が拘束されているので、上記前提がない場合よりも計算量が少なくなるような計算式を予め用意できる。

従って、上記移動パラメータの一例たる回転量の特定に要する計算量を好適に低減できる。加えて、オプティカルフローの探索範囲を垂直線分の近傍のみに限定することでも、計算量が低減される。更に、点の集合である線分の中から特徴点を選ぶと、ノイズを選択する確率が減り、誤差にも強くなるので、実践上非常に有利である。

本発明の距離測定装置の一態様では、前記変化検出手段は、前記変化として、前記線分の傾きの、前記画像間での変化を検出し、前記第１特定手段は、前記検出された傾きの変化に基づいて、前記回転量のうち、ロール角を特定する。

この態様によると、前記変化として、線分の傾きの、画像間での変化が、変化検出手段によって検出される。ここに「ロール角」は、撮像素子の光軸回りでの回転である。撮像素子が光軸周りに回転すると、光軸と交差する線分の撮像素子での写像の傾きが変化する。従って、検出された傾きの変化に基づいて、回転量のうち、ロール角が、第１特定手段によって特定される。

このようにロール角が特定される態様では、前記特徴点検出手段は、前記光軸方向の距離が互いに異なる２本の前記線分を検出し、前記変化検出手段は、前記変化として、前記検出された２本の線分に関する、前記画像間での相対位置な位置の変化を検出し、前記第１特定手段は、前記２本の線分に係る前記変化に基づいて、前記回転量のうち、ヨー角、ピッチ角の少なくとも一方を特定してもよい。

この態様によると、先ず光軸方向の距離が互いに異なる２本の線分が、特徴点検出手段によって検出される。そして、前記変化として、検出された２本の線分に関する、画像間での相対位置な位置の変化が、変化検出手段によって検出される。ここで、本願発明者の研究によると、上記線分の画像間での相対的な位置の変化は、光軸方向の距離に依存する要素と、光軸方向の距離に依存せずにヨー角及びピッチ角に依存する要素によることが判明している。そこで、光軸方向の距離が互いに異なる線分についての上記変化に基づいて、光軸方向の距離の影響をキャンセルすることで、回転量のうち、ヨー角、ピッチ角の少なくとも一方が、第１特定手段によって特定できる。

このように各種回転量が特定される態様では更に、前記地点間の距離を計測する計測手段と、該計測された前記地点間の距離及び前記特定された回転量に基づいて、前記撮像素子の前記地点間での平行移動量を特定する第２特定手段とを更に備えてもよい。

この態様によると、例えば変位センサを有する計測手段によって、撮像素子が移動する地点間の距離が計測される。この計測された地点間の距離と、上述のように特定された回転量とに基づいて、第２特定手段は、撮像素子の地点間での平行移動量を特定できる。具体的には、特定された回転量に基づいて、両地点における撮像素子の３次元座標軸を回転させることで、各軸を互いに平行にする。その結果、平行移動によって両座標軸を互いに一致させることができ、このときの平行移動量を、所望の平行移動量として特定できる。

本発明の距離測定装置の他の態様では、前記回転量若しくは前記平行移動量が統計的に特定される。

この態様によると、２本の線分のみならず、それ以上の多数の線分に関しても、特徴点が検出され、各々の画像間での前記変化が上述の如く検出される。この結果を元に、統計的に回転量若しくは平行移動量が特定されるので、特定精度を高めつつも、上記態様に係る利益を享受できるので、実践上非常に有利である。

本発明の距離測定装置の他の態様では、前記変化検出手段は、前記特徴点の集合に加えて、任意の特徴点に関する、前記変化を検出し、該検出された変化に少なくとも基づいて、前記任意の特徴点までの距離を算出する算出手段を更に備える。

この態様によると、変化検出手段によって、特徴点の集合に加えて、任意の特徴点に関する変化が検出される。ここでいう「任意の」とは、上記線分に属さない特徴点を含む趣旨である。そして、任意の特徴点に関する、検出された変化に少なくとも基づいて、任意の特徴点までの距離が、算出手段によって算出される。即ち、上記回転量等の結果を応用すれば、任意の特徴点までの距離も算出でき、実践上非常に有効である。

本発明の距離測定装置の他の態様では、前記特徴点検出手段は、前記複数の画像から、前記線分を夫々検出し、前記変化検出手段は、前記検出された線分の各々が同じ被写体に由来していることを同定することで、前記変化を検出する。

この態様によると、複数の画像から線分が夫々検出され、検出された線分の各々が同じ被写体に由来していることを同定することで、相対的な位置の変化が検出される。例えば、２枚の画像から電柱が夫々検出され、これらが同じ電柱であることが認められれば、画像間での電柱の相対的な位置の変化が検出される。この態様によれば、１枚目の画像から線分に属する特徴点を検出し、その特徴点の画像間での変化を検出する場合に比べて、容易に上記移動パラメータを特定できる。

（距離測定方法）
本発明の距離測定方法は上記課題を解決するために、撮像素子によって複数の地点で撮像された複数の画像から、特徴点の集合を検出する特徴点検出工程と、該検出された特徴点の集合に関する、前記画像間での相対的な位置の変化を検出する変化検出工程と、該検出された変化に基づいて、前記撮像素子の前記地点間での回転量を特定する第１特定工程とを備える距離測定方法であって、前記特徴点検出工程は、静止物体に属する線分であって、前記撮像素子の光軸と略垂直な関係にある線分を構成する点の集合を、前記特徴点の集合として検出する。

本発明の距離測定方法によれば、上述した本発明の距離測定装置が有する各種利益と同等の利益を享有することができる。

（コンピュータプログラム）
本発明のコンピュータプログラムは上記課題を解決するために、コンピュータを、請求項１から８のいずれか一項に記載の距離測定装置として機能させる。

本発明のコンピュータプログラムによれば、当該コンピュータプログラムを格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体から、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行させれば、上述した本発明の距離測定装置を比較的簡単に実現できる。

本発明のコンピュータプログラムによれば、上述した本発明の距離測定装置が有する各種利益と同等の利益を享有することができる。

以上、説明したように、本発明の距離測定装置によれば、特徴点検出手段、変化検出手段、及び第１特定手段を備え、本発明の距離測定方法によれば、特徴点検出工程、変化検出工程、及び第１特定工程を備えるので、上記移動パラメータの特定に要する計算量を好適に低減可能としつつも、誤差に強くなる。更に、本発明のコンピュータプログラムによれば、コンピュータを特徴点検出手段、変化検出手段、及び第１特定手段として機能させるので、上述した本発明の距離測定装置を、比較的容易に構築できる。

コンピュータ読取可能な媒体内のコンピュータプログラム製品は上記課題を解決するために、上述した本発明の距離測定装置（但し、その各種形態も含む）に備えられたコンピュータにより実行可能なプログラム命令を明白に具現化し、該コンピュータを、前記距離測定装置の少なくとも一部（具体的には、例えば特徴点検出手段、変化検出手段、及び第１特定手段の少なくとも一方）として機能させる。

本発明のコンピュータプログラム製品によれば、当該コンピュータプログラム製品を格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体から、当該コンピュータプログラム製品をコンピュータに読み込めば、或いは、例えば伝送波である当該コンピュータプログラム製品を、通信手段を介してコンピュータにダウンロードすれば、上述した本発明の距離測定装置を比較的容易に実施可能となる。更に具体的には、当該コンピュータプログラム製品は、上述した本発明の距離測定装置として機能させるコンピュータ読取可能なコード（或いはコンピュータ読取可能な命令）から構成されてよい。

本発明の作用及び他の利得は次に説明する実施するための最良の形態から明らかにされよう。

第１実施例に係る、座標系を示す斜視図である。 移動ステレオ法において画像を複数地点で撮影する様子を示す斜視図である。 第１実施例に係る、線分の写像の各種動きに寄与するパラメータを示す概念図である。 本発明の第１実施例に係る、距離測定装置の基本構成を概念的に示すブロック図である。 第１実施例に係る、距離測定装置の動作処理を示すフローチャートである。 本発明の第２実施例に係る、距離測定装置の基本構成を概念的に示すブロック図である。 本発明の第３実施例に係る、距離測定装置の基本構成を概念的に示すブロック図である。

符号の説明

１ 距離測定装置、
２ 画像記録部、
３１ 垂直線分検出部、
３２ 垂直線分記録部、
３３ 垂直線分移動検出部、
９１ 撮像素子移動距離検出部、
８ 撮像素子移動パラメータ検出部
５ 静止物体特徴点検出部、
６ 特徴点記録部、
６５ 特徴点移動量検出部
９３ 特徴点距離検出部

以下、発明を実施するための最良の形態について実施例毎に順に図面に基づいて説明する。

（１）第１実施例
第１実施例に係る距離測定装置の構成及び動作処理を図１から図６を参照して説明する。

（１−１）移動ステレオ法と移動パラメータについて
距離測定装置の構成及び動作処理を説明するに先立ち、物体までの距離を測定する手法の一例として、移動ステレオ法について説明する。移動ステレオ法によると、カメラ等の撮像素子を移動させて複数地点で撮影を行い、各地点で撮影された画像を用い、三角測量の原理に基づいて、物体までの距離が測定される。この測定の際、カメラが撮像地点間でどのように動いたかを示す移動パラメータ、即ち回転成分と平行移動成分を求める必要がある。

移動ステレオ法について説明を加えるために、先ず図１を用いて、ピンホールを原点Ｏとした３次元座標系について考える。ここに、
図１は、第１実施例に係る、座標系を示す斜視図である。

そして、写像された複数の点の集合が、画像を構成する。この画像を複数地点で撮影する様子を図２を用いて説明する。ここに、
図２は、移動ステレオ法において画像を複数地点で撮影する様子を示す斜視図である。

図２において、撮像面３００を有する撮像素子は、ある特徴点Ｐの回りを地点ａから地点ｂへと移動し、両地点で特徴点Ｐを撮影している。このとき、撮像素子の移動パラメータは、ヨー角φ、ピッチ角θ及びロール角ψによる３軸の回転行列と３軸の平行移動要素Δｘ、Δｙ及びΔｚに分解され、地点ａでの撮像面３００の座標系（Ｘ，Ｙ，Ｚ）から、地点ｂでの撮像面３００の座標系（Ｘ’，Ｙ’，Ｚ’）への変換は、数２で表される。

ここで、数２はφ、θ、ψ、Δｘ、Δｙ及びΔｚの６元の未知数をもつ方程式である。従って、単純に、画像の中で６つの特徴点を選択し、この特徴点が、地点ａ，ｂで撮像された画像間で（ｕ，ｖ）平面上をどれだけ移動したかがわかれば、数１を用いて数２の方程式を解くことができるはずである。ところが、この方法で６つの特徴点を無作為に選択すると、特徴点としてノイズが選択される虞があり、誤差の影響が無視できない。この誤差を軽減するには、統計的な処理によって精度を向上させることも可能だが、計算量は膨大になる。

また、この移動パラメータのうち、回転量と平行移動量とを別々に求めるために、互いに平行な垂直線分、水平線の消失点の動きを利用する技術も提案されている（非特許文献２参照）。この技術によると、直線同士が実世界において平行である必要がある。従って、例えば電柱のように、非常に撮影される可能性の高い物体であるが、先端にいくに従い細くなる、即ち平行でない直線を候補として選択してしまうと、誤差の原因となり得る。更に、道路の白線から消失点を求める方法も、白線が直線でないときには適応できず、移動パラメータを求めることは困難である。

そこで、本実施例では、移動体（例えば車両）の動きの制約（すなわち、ハンドルの制御によりヨー方向の自由度は高いがピッチング、ローリングの自由度はかなり低いこと。また、ヨー方向についても急激な変化は少ないこと。）、及び移動体に備わる撮像素子に撮像される物体の条件によって、数２の方程式を解くために要する計算量を低減し、誤差に強くすることを試みる。例えば、自動車にカメラを進行方向に光軸が向くようにカメラを設置し、この自動車が道路を走行している場合を考える。カメラの撮像間隔が短ければ、以下の２前提により、図３を用いて後述する関係が成り立ち、その結果、上記課題が解決される。

第一の前提として、２地点間での座標のピッチ角θ、ロール角ψの変化は十分に小さい。ヨー角φの変化はピッチ、ロール角ψほどではないにしても、さほど大きくはならない。

第二の前提として、看板或いは建物などの多くの被写体は、光軸と略直交する線分、典型的には路面に対して垂直である線分を含むと考えられる。従って、このような被写体に含まれる任意の２特徴点は、自動車（或いは、撮像面３００）との距離が互いに等しいと近似できる。仮に、地面に対して水平な水平線を被写体とするならば、この水平線と撮像面３００とのヨー角φの取りうる範囲がピッチ角θに比べて非常に大きい。従って、水平線の特徴点では垂直線分よりは距離差が大きくなり、後述の方法を利用するためにはこの距離差が許容できる範囲内か判定する工程が必要となり不利である。

上記前提において登場した垂直線分の特徴について、図３を用いて説明を加える。ここに、図３は、第１実施例に係る、線分の写像の各種動きに寄与するパラメータを示す概念図である。

図３において、まず撮像面３００で撮像された画像から垂直線分の線分を選ぶ。前記前提によると、この線分の２画像間での動きと、その動きに大きく寄与するパラメータの関係は、以下に示す通りである。具体的には、「傾き」にはロール角ψが、「拡大・縮小」にはΔｚ（場合によっては、ヨー角φも）が、「左右（Ｘ軸方向）平行移動」にはΔｘ，ヨー角φが、「上下（Ｙ軸方向）平行移動」にはΔｙ，ピッチ角θが夫々寄与する。

ここで、後述するように、平行移動成分の写像は、物体のＺ軸方向の距離に反比例し、回転成分の写像の影響は距離に関係なく一定である。従って、互いに距離の異なる２本の垂直線分の写像の動きを検出することで、移動パラメータを求めることができる。なお、距離が異なる垂直線分の検出方法は、２画像間の縮尺の比率が互いに異なる垂直線分を選択すればよい。

上記特徴に着目してメリットを享受すべく、実施例に係る距離測定装置を以下のように構成する。

（１−２）基本構成
次に、本実施例に係る距離測定装置の基本構成について、図１から図３に加えて、図４を参照して説明する。ここに、図４は、本発明の第１実施例に係る、距離測定装置の基本構成を概念的に示すブロック図である。

図４に示すように、本実施例に係る距離測定装置１は、画像記録部２１と、垂直線分検出部３１と、垂直線分記録部３２と、垂直線分移動検出部３３と、撮像素子移動距離検出部９１と、撮像素子移動パラメータ検出部８とを備えており、撮像素子の移動パラメータの特定に要する計算量を好適に低減し、誤差に強くすることが可能に構成されている。以下に各部の構成を詳述する。

画像記録部２１は、ハードディスク等を備え、複数の地点で撮像素子の撮像面３００によって撮像された画像Ａ，Ｂを記録するよう構成されている。

垂直線分検出部３１は、本発明に係る「特徴点検出手段」の一例であり、メモリ及び演算素子等を備え、例えば垂直エッジを検出することで、記録された画像Ａ，Ｂから、撮像素子の光軸と略直交する線分（典型的には、垂直線分）を検出するよう構成されている。

垂直線分記録部３２は、ハードディスク等を備え、検出された線分を記録するよう構成されている。

垂直線分移動検出部３３は、本発明に係る「変化検出手段」の一例であり、メモリ及び演算素子等を備え、記録された線分の、画像間での縦横への移動を検出するよう構成されている。

撮像素子移動距離検出部９１は、本発明に係る「計測手段」の一例であり、メモリ及び演算素子等を備え、地点ａからｂへ撮像素子が移動した移動距離ｒを検出する。例えば、撮像素子が車両に備えられている場合には、カウントされた車速パルスに、単位パルス当たりの走行距離を乗じればよい。

撮像素子移動パラメータ検出部８は、本発明に係る「第1特定手段」及び「第２特定手段」の一例であり、メモリ及び演算素子等を備え、検出された縦横への移動及び移動距離ｒに基づいて、当該距離測定装置１の移動パラメータを検出するよう構成されている。

以上、図４に示すように構成された距離測定装置１によると、撮像素子の移動パラメータの特定に要する計算量を好適に低減し、誤差に強くすることが可能となる。

（１−３）動作処理
次に、以上のように構成された本実施例に係る距離測定装置１の動作処理について、図１から図４に加えて、図５を用いて説明する。ここに、図５は、第１実施例に係る、距離測定装置の動作処理を示すフローチャートである。

図５において、先ず距離測定装置１は、地点ａで撮像された画像Ａより、光（Ｚ）軸方向の距離が異なり、且つ地面と垂直な線分３１０及び３２０を選択する（ステップＳ１）。撮像面３００の光軸が地面と略平行になっているとき、線分３１０の端点Ｐ１，Ｐ２の座標はｘ_１≒ｘ_２，ｚ_１≒ｚ_２と近似できる。線分３２０についても同様である。

続いて、地点ｂで撮像された画像Ｂより、線分３１０の移動量を検出するとともに（ステップＳ２）、画像Ａ，Ｂ間での傾きの変化からロール角ψを計算する（ステップＳ３）。具体的には先ず、撮像面３００が数２で表される移動をしたとき、ヨー角φ、ピッチ角θ及びロール角ψが十分に小さいとすると、数２は数３で近似できる。

よって、その撮像面３００での写像は数４で表される。

ここで、線分３１０の端点Ｐ１，Ｐ２の写像を考える。ピッチ角θのとりうる値の範囲はヨー角φ、Δｚ／ｚのとりうる値の範囲より十分に小さいと仮定すると、ｕ_１≒ｕ_２，ｚ_１≒ｚ_２であるから、端点Ｐ１とＰ２における数４の分母の差はφ(ｕ_１-ｕ_２)+θ(v_１-v_２)+fΔｚ(z_１-z_２)/ｚ_１ｚ₂となり無視できるほど小さい値なので、共にφｕ_１＋ｆ（１＋Δｚ／ｚ_１）としてよい。よって数４による変換後の垂直線分の傾きは数５で表される。

従って、画像Ａ，Ｂ間での傾きの変化からロール角ψを求めることができる。

次に、２垂直線分の縦方向（即ち、ｖ方向）の高さの比を計算する（ステップＳ４）。

２垂直線分のうち線分３１０において、先に求めたロール角ψでの逆変換を（ｕ’，ｖ’）に施した座標（ｕ”，ｖ”）について考えると、縦方向の高さの比は数６で表される。この比を逆算した結果から、（ｕ，ｖ）平面上の平行移動量は数７で表される。

数７より、（ｕ，ｖ）平面上の平行移動量は、距離ｚ_１に反比例する項と、距離ｚ_１に依存せずヨー角φ、ピッチ角θの回転角で一定になる項からなることがわかる。そこで距離の違う線分３２０の端点Ｐ３，Ｐ４についても同様に、縦方向の高さの比を求めて、それぞれの影響をキャンセルする。

２垂直線分のうち線分３２０において、線分３１０と同様にして、縦方向の高さの比は数８で表され、この比を逆算した結果から、（ｕ，ｖ）平面上の平行移動量は数９で表される。

数６、数８をΔｚについて解くと、数１０を得る。

同様に数７、数９をΔｘについて解くと、数１１を得る。

そして、数１０、数１１の右辺同士が等しいとすれば、ヨー角φが求められる。ピッチ角θについても同様である。このようにして、垂直線分の縦横の移動量からヨー角φ、ピッチ角θが計算される（ステップＳ５）。

次に、移動距離から垂直線分の光軸距離ｚ_１を計算する（ステップＳ６）。具体的には、２地点間の移動距離ｒが数１２で表されるので、数６、数７をΔｘ／ｚ_１，Δｙ／ｚ_１，Δｚ／ｚ_１について解いたものを代入すれば、光軸距離ｚ_１が求められ、平行移動量Δｘ，Δｙ，Δｚも求められる（ステップＳ７）。

勿論、上記のような計算を多数の垂直線分について同様に行い、統計的にカメラの移動パラメータを計算してもよい。

以上、本実施例によると、特徴点を、線分３１０及び線分３２０に属する点から選択することで、撮像素子の移動パラメータの特定に要する計算量を好適に低減可能となる。加えて、垂直線分が厳密に平行である必要はない。従って、誤差に強く、計算が簡単になるので、実践上非常に有利である。

（２）第２実施例
第２実施例に係る距離測定装置の構成及び動作処理を、図１から図５に加えて、図６を参照して説明する。ここに、図６は、本発明の第２実施例に係る、距離測定装置の基本構成を概念的に示すブロック図である。尚、上述の実施例と同一の構成には同一の参照符号を付し、その説明は適宜省略する。

図６において特に、本実施例に係る距離測定装置１は、第１実施例の構成に加えて、静止物体特徴点検出部５、特徴点記録部６、特徴点移動量検出部６５及び特徴点距離検出部９３を備え、他の静止物体に属する特徴点までの距離を比較的容易に測定可能である。

静止物体特徴点検出部５は、メモリ及び演算素子等を備え、本発明に係る「任意の特徴点」の一例として、線分３１０、３２０以外の静止物体に属する他の特徴点を検出するよう構成される。

特徴点記録部６は、メモリ及び演算素子等を備え、検出された他の特徴点を記録するよう構成される。

特徴点移動量検出部６５は、本発明に係る「変化検出手段」の一例であり、メモリ及び演算素子等を備え、記録された他の特徴点の、画像Ａ，Ｂ間での移動量を検出するよう構成される。

特徴点距離検出部９３は、本発明に係る「算出手段」の一例であり、メモリ及び演算素子等を備えて構成される。そして、任意の特徴点に関する、検出された画像Ａ，Ｂ間での移動量に少なくとも基づいて、更に上述の如く撮像素子パラメータ検出部８で特定された撮像素子の回転量及び平行移動量を他の特徴点の移動に適用して、他の特徴点までの距離を検出する。具体的には、上記実施例にて求められた３軸の回転量と平行移動量を数４に代入することでｚが求まり、数１よりx,yについても求まる。

以上のように、本実施例によると、他の特徴点の画像Ａ，Ｂ間での移動量に移動パラメータを適用することで、他の特徴点までの距離を比較的容易に測定でき、実践上非常に有利である。

（３）第３実施例
第３実施例に係る距離測定装置の構成及び動作処理を、図１から図５に加えて、図７を参照して説明する。ここに、図７は、本発明の第３実施例に係る、距離測定装置の基本構成を概念的に示すブロック図である。
尚、上述の実施例と同一の構成には同一の参照符号を付し、その説明は適宜省略する。

図７において特に、本実施例に係る垂直線分検出部３１は、画像Ｂから垂直線分を検出する。そして、垂直線分移動検出部３３が、画像Ｂから検出された垂直線分と、画像Ａから検出された垂直線分とをマッチング、即ち、同一の被写体の写像であることの同定を行う。例えば垂直線分近傍の画像値を比較し、あるいは垂直エッジ画像の値を比較して画像間で同じ垂直線をマッチングする。このようなマッチングを行い、垂直線分の移動を検出する。

以上のように、本実施例によると、画像Ａ，Ｂで垂直線分を検出してから垂直線分の移動を検出するので、垂直線分に属する点を検出してその点の移動を検出する場合に比べて、処理が容易になる。

以上説明したように、各実施例に係る距離測定装置１によると、測距に必要な移動パラメータを求めるにあたり、計算量及び誤差を抑えることができるので、実践上非常に有効である。

又、上記実施例に示す動作処理は、距離測定装置の内部に組み込まれた或いは外部に接続された距離測定装置によって実現してもよいし、特徴点検出工程、変化検出工程、及び第１特定工程を備えた距離測定方法に基づいて距離測定装置を動作させることによって実現してもよい。或いは、特徴点検出手段、変化検出手段、及び第１特定手段を備えた距離測定装置に設けられるコンピュータにコンピュータプログラムを読み込ませることで実現してもよい。

尚、本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨、或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う距離測定装置及び方法、並びにコンピュータプログラムもまた、本発明の技術的範囲に含まれるものである。

本発明に係る距離測定装置及び方法、並びにコンピュータプログラムは、距離測定装置、移動体検出装置、或いは画像補正装置に利用可能である。具体的に例えば、車両に搭載されて周囲の障害物を検出する物体検出装置に利用可能であり、或いは物体をロボットハンド等によりピックアップする場合に物体の三次元位置を認識するための認識装置に利用可能であり、更に手振れ補正可能なデジタルカメラ等の撮像装置に利用可能である。また、例えば民生用或いは業務用の各種コンピュータ機器に搭載される又は各種コンピュータ機器に接続可能な距離測定装置等にも利用可能である。

Claims (9)

1. 撮像素子によって複数の地点で撮像された複数の画像から、特徴点の集合を検出する特徴点検出手段と、
   該検出された特徴点の集合に関する、前記画像間での相対的な位置の変化を検出する変化検出手段と、
   該検出された変化に基づいて、前記撮像素子の前記地点間での回転量を特定する第１特定手段と
   を備える距離測定装置であって、
   前記特徴点検出手段は、静止物体に属する線分であって、前記撮像素子の光軸と略直交する関係にある線分を構成する点の集合を、前記特徴点の集合として検出する
   ことを特徴とする距離測定装置。
2. 前記変化検出手段は、前記変化として、前記線分の傾きの、前記画像間での変化を検出し、
   前記第１特定手段は、前記検出された傾きの変化に基づいて、前記回転量のうち、ロール角を特定する
   ことを特徴とする請求項１に記載の距離測定装置。
3. 前記特徴点検出手段は、前記光軸方向の距離が互いに異なる２本の前記線分を検出し、
   前記変化検出手段は、前記変化として、前記検出された２本の線分に関する、前記画像間での相対位置な位置の変化を検出し、
   前記第１特定手段は、前記２本の線分に係る前記変化に基づいて、前記回転量のうち、ヨー角、ピッチ角の少なくとも一方を特定する
   ことを特徴とする請求項２に記載の距離測定装置。
4. 前記地点間の距離を計測する計測手段と、
   該計測された前記地点間の距離及び前記特定された回転量に基づいて、前記撮像素子の前記地点間での平行移動量を特定する第２特定手段とを更に備える
   ことを特徴とする請求項３に記載の距離測定装置。
5. 前記回転量若しくは前記平行移動量が統計的に特定される
   ことを特徴とする請求項１に記載の距離測定装置。
6. 前記変化検出手段は、前記特徴点の集合に加えて、任意の特徴点に関する、前記変化を検出し、
   該検出された変化に少なくとも基づいて、前記任意の特徴点までの距離を算出する算出手段を更に備える
   ことを特徴とする請求項１に記載の距離測定装置。
7. 前記特徴点検出手段は、前記複数の画像から、前記線分を夫々検出し、
   前記変化検出手段は、前記検出された線分の各々が同じ被写体に由来していることを同定することで、前記変化を検出する
   ことを特徴とする請求項１から６のいずれか一項に記載の距離測定装置。
8. 撮像素子によって複数の地点で撮像された複数の画像から、特徴点の集合を検出する特徴点検出工程と、
   該検出された特徴点の集合に関する、前記画像間での相対的な位置の変化を検出する変化検出工程と、
   該検出された変化に基づいて、前記撮像素子の前記地点間での回転量を特定する第１特定工程と
   を備える距離測定方法であって、
   前記特徴点検出工程は、静止物体に属する線分であって、前記撮像素子の光軸と略直交する線分を構成する点の集合を、前記特徴点の集合として検出する
   ことを特徴とする距離測定方法。
9. コンピュータを、
   請求項１から８のいずれか一項に記載の距離測定装置として機能させる
   ことを特徴とするコンピュータプログラム。

Images