JP5530773B2 - ステレオカメラによる平面検出方法とこの方法を用いた移動ロボット - Google Patents
ステレオカメラによる平面検出方法とこの方法を用いた移動ロボット Download PDFInfo
- Publication number
- JP5530773B2 JP5530773B2 JP2010064714A JP2010064714A JP5530773B2 JP 5530773 B2 JP5530773 B2 JP 5530773B2 JP 2010064714 A JP2010064714 A JP 2010064714A JP 2010064714 A JP2010064714 A JP 2010064714A JP 5530773 B2 JP5530773 B2 JP 5530773B2
- Authority
- JP
- Japan
- Prior art keywords
- plane
- transformation matrix
- projective transformation
- filter
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 47
- 238000000034 method Methods 0.000 title description 16
- 230000009466 transformation Effects 0.000 claims description 89
- 239000011159 matrix material Substances 0.000 claims description 84
- 238000004364 calculation method Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 6
- 230000004069 differentiation Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Navigation (AREA)
Description
本発明は、例えば、人がＧＰＳ座標系でウェイポイントを入力し、これを通過するように自律的に走行経路の生成を行って走行する自律移動ロボット、又は半自律移動ロボット及び遠隔で操縦する操縦支援装置に係り、特にステレオカメラによる平面検出方法に関する。
なお、半自律移動ロボットとは、自律走行と遠隔操縦とを混成して走行させるロボットである。
なお、半自律移動ロボットとは、自律走行と遠隔操縦とを混成して走行させるロボットである。
ステレオカメラによる平面検出方法として、車載カメラからのステレオ画像を利用して、走行可能な平面領域及び障害物を検出する技術が、特許文献１〜３に既に開示されている。
図１は特許文献１〜３の技術が適用される車両の説明図である。
この図において、車両５０（移動体）のウィンドシールド上部の左右には、車両５０が走行する道路平面領域を含む画像を撮像する一対の撮像手段である基準カメラ５２及び参照カメラ５４が固定配置される。基準カメラ５２及び参照カメラ５４は、共通の撮像領域が設定されたＣＣＤカメラ等からなるステレオカメラであり、これらには、撮像した画像を処理することで道路平面領域と障害物となる可能性のある物体とを検出する演算処理装置５６が接続される。なお、以下の説明では、基準カメラ５２によって撮像された画像を「基準画像」と称し、参照カメラ５４によって撮像された画像を「参照画像」と称する。
この図において、車両５０（移動体）のウィンドシールド上部の左右には、車両５０が走行する道路平面領域を含む画像を撮像する一対の撮像手段である基準カメラ５２及び参照カメラ５４が固定配置される。基準カメラ５２及び参照カメラ５４は、共通の撮像領域が設定されたＣＣＤカメラ等からなるステレオカメラであり、これらには、撮像した画像を処理することで道路平面領域と障害物となる可能性のある物体とを検出する演算処理装置５６が接続される。なお、以下の説明では、基準カメラ５２によって撮像された画像を「基準画像」と称し、参照カメラ５４によって撮像された画像を「参照画像」と称する。
図２は一対の撮像手段間での２次元射影変換を説明するための模式図であり、
図３は平面領域を抽出する手順の説明図である。
先ず、特許文献１〜３における道路平面領域の抽出原理を説明する。
図３は平面領域を抽出する手順の説明図である。
先ず、特許文献１〜３における道路平面領域の抽出原理を説明する。
図２に示すように、空間中にある平面Π上の観測点Ｍ１が基準画像Ｉｂ及び参照画像Ｉｒに投影されるとき、基準画像Ｉｂ上での同次座標をｍｂ、参照画像Ｉｒ上での同次座標をｍｒとすると、各同次座標ｍｂ、ｍｒは、２次元射影変換行列Ｈによって関係付けられる。
ここで、Ｈは３×３の射影変換行列である。また、図２において、Ｏは基準カメラ５２の光学中心、Ｏ’は参照カメラ５４の光学中心、Ｒは基準カメラ座標系から参照カメラ座標系への回転行列、ｔは参照カメラ座標系において参照カメラ５４の光学中心から基準カメラ５２の光学中心へ向かう並進ベクトル、ｄは基準カメラ５２の光学中心Ｏと平面Πとの距離、ｎは平面Πの法線ベクトルである。
道路等の走行可能な領域は、空間中でほぼ平面であると見なすことができれば、図３（Ａ）の参照画像Ｉｒに対して適切な射影変換を施すことにより、平面の部分に対して図３（Ｂ）（Ｄ）の基準画像Ｉｂに一致するような画像（図３（Ｃ））を得ることができる。
一方、平面上にない物体は、射影変換した際に画像（図３（Ｃ）と図３（Ｄ））が一致しないため、その物体の領域は走行可能な領域でない、あるいは、障害物となり得る領域であると判断することができる。したがって、図３（Ｅ）のように、平面の拡がりを算出することにより、走行可能な平面領域及び障害物となる物体の検出が可能となる。
一方、平面上にない物体は、射影変換した際に画像（図３（Ｃ）と図３（Ｄ））が一致しないため、その物体の領域は走行可能な領域でない、あるいは、障害物となり得る領域であると判断することができる。したがって、図３（Ｅ）のように、平面の拡がりを算出することにより、走行可能な平面領域及び障害物となる物体の検出が可能となる。
上述した特許文献１〜３の手段により、車載カメラからのステレオ画像を利用して、走行可能な前方の平面領域、基準カメラ５２の光学中心Ｏと平面領域との距離ｄ、前方の平面領域の法線ベクトルｎを検出することができる。
図４は、上述した特許文献１〜３における平面検出方法のフロー図であり、例えば特許文献３の図３の一部に相当する。
この図において、ステップＳ０では、基準画像Ｉｂ及び参照画像Ｉｒに係る画像情報を取得する。
ステップＳ１では、基準画像Ｉｂ及び参照画像Ｉｒと動的推定のための射影変換行列Ｈの初期値とを用いて、路面に対する射影変換行列Ｈを動的に推定する。
ステップＳ２では、推定した射影変換行列Ｈを用いて、車両が走行可能な道路平面領域を抽出する。
ステップＳ３では、推定した射影変換行列Ｈを用いて、平面Πの平面パラメータである法線ベクトルｎ及び基準カメラの光学中心Ｏから平面Πまでの距離ｄを求める。
ステップＳ４では、適当に真値に近い動的推定のための射影変換行列Ｈの初期値を求める。
この図において、ステップＳ０では、基準画像Ｉｂ及び参照画像Ｉｒに係る画像情報を取得する。
ステップＳ１では、基準画像Ｉｂ及び参照画像Ｉｒと動的推定のための射影変換行列Ｈの初期値とを用いて、路面に対する射影変換行列Ｈを動的に推定する。
ステップＳ２では、推定した射影変換行列Ｈを用いて、車両が走行可能な道路平面領域を抽出する。
ステップＳ３では、推定した射影変換行列Ｈを用いて、平面Πの平面パラメータである法線ベクトルｎ及び基準カメラの光学中心Ｏから平面Πまでの距離ｄを求める。
ステップＳ４では、適当に真値に近い動的推定のための射影変換行列Ｈの初期値を求める。
図５は、図４の詳細フロー図であり、例えば特許文献３の段落００４２〜００６９に相当する。
この図において、ステップＳ０のＳ０１ａ，Ｓ０１ｂにおいて基準カメラ５２及び参照カメラ５４を用いて画像を撮像し、Ｓ０２ａ，Ｓ０２ｂにおいてレンズ歪を除去する。
また、Ｓ０３ａ，Ｓ０３ｂにおいて各画像にＬＯＧ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）フィルタをかける。また、左右のカメラの個体差で明るさが微妙に異なるため、さらに、Ｓ０４ａ，Ｓ０４ｂにおいてヒストグラム平坦化処理を施す。
また、ステップＳ１のＳ１１において、射影変換行列Ｈの初期値（Ｈ初期値）および平面評価領域を設定し、Ｓ１２において射影変換行列Ｈを算出する。
また、ステップＳ２のＳ２１において、求めた射影変換行列Ｈで参照画像を射影変換し、Ｓ２２において、基準画像と射影変換後の参照画像から平面領域を特定する。
この図において、ステップＳ０のＳ０１ａ，Ｓ０１ｂにおいて基準カメラ５２及び参照カメラ５４を用いて画像を撮像し、Ｓ０２ａ，Ｓ０２ｂにおいてレンズ歪を除去する。
また、Ｓ０３ａ，Ｓ０３ｂにおいて各画像にＬＯＧ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）フィルタをかける。また、左右のカメラの個体差で明るさが微妙に異なるため、さらに、Ｓ０４ａ，Ｓ０４ｂにおいてヒストグラム平坦化処理を施す。
また、ステップＳ１のＳ１１において、射影変換行列Ｈの初期値（Ｈ初期値）および平面評価領域を設定し、Ｓ１２において射影変換行列Ｈを算出する。
また、ステップＳ２のＳ２１において、求めた射影変換行列Ｈで参照画像を射影変換し、Ｓ２２において、基準画像と射影変換後の参照画像から平面領域を特定する。
しかし、上述した特許文献１〜３における平面検出方法は、様々な環境を走行する自律移動ロボットに適用した場合、以下の例のように、平面検出の安定性が低い問題点があった。
（１）撮影対象によっては、Ｈパラメータ推定の安定性が低い。例えば、滑らかな領域を走行しているにもかかわらず、前回推定したパラメータ（ｎ，ｄ）から大きくずれてしまうことが頻繁に起こる。
（２）走行する路面の模様は一様ではなく、舗装路、砂利道、泥地、砂地、草原等に変化する。しかし、従来の方法では特定の周波数帯域の模様しか判定できないため、これから外れる帯域の模様のみをもつ障害物（平面領域外）が検出できない。すなわち、特定の周波数帯域から外れる帯域の模様を持つ部分で平面領域とそれ以外を区別することができない。
（３）同一の走行路面（例えば、平面）であっても、撮影条件（位置・姿勢）によって見え方が大きく変化するような領域が存在し、平面検出において「細かな抜け」が頻繁に発生する。
例えば前方の道路画像を検出しながらの走行中において、既に平面として検出した箇所に、平面として検出されない箇所が頻繁に発生する。このような箇所は既に平面として検出されているにもかかわらず、車両の走行に影響を与える箇所として検出されるため、平面検出上の抜けであるが、この抜けの存在により、車両の安定走行が阻害される。
（２）走行する路面の模様は一様ではなく、舗装路、砂利道、泥地、砂地、草原等に変化する。しかし、従来の方法では特定の周波数帯域の模様しか判定できないため、これから外れる帯域の模様のみをもつ障害物（平面領域外）が検出できない。すなわち、特定の周波数帯域から外れる帯域の模様を持つ部分で平面領域とそれ以外を区別することができない。
（３）同一の走行路面（例えば、平面）であっても、撮影条件（位置・姿勢）によって見え方が大きく変化するような領域が存在し、平面検出において「細かな抜け」が頻繁に発生する。
例えば前方の道路画像を検出しながらの走行中において、既に平面として検出した箇所に、平面として検出されない箇所が頻繁に発生する。このような箇所は既に平面として検出されているにもかかわらず、車両の走行に影響を与える箇所として検出されるため、平面検出上の抜けであるが、この抜けの存在により、車両の安定走行が阻害される。
本発明は、上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、Ｈパラメータ推定の安定性を高めることができ、舗装路、砂利道、泥地、砂地、草原等の様々な帯域の模様をもつ平面領域を検出でき、撮影位置の変化による平面検出上の抜けを防ぐことができ、これにより、平面検出の安定性を高めることができるステレオカメラによる平面検出方法とこの方法を用いた移動ロボットを提供することにある。
本発明によれば、（Ａ） 自律的に走行経路を生成して走行する移動ロボットに固定して配置された一対の車載カメラにより、前方の相互に重複する領域の基準画像及び参照画像を撮像する画像情報取得ステップと、
（Ｂ） 前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ） 推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ） 推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ａ） 異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｂ） 最大の標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行し、最大の標準偏差による射影変換行列を動的に推定し、
（ｃ） 次いで、推定した射影変換行列を初期値として、順次小さい標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行して順次小さい標準偏差による射影変換行列を動的に推定し、
これを最小の標準偏差を有するＬＯＧフィルタまで繰り返して最終の射影変換行列を動的に推定する、ことを特徴とするステレオカメラによる平面検出方法が提供される。
（Ｂ） 前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ） 推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ） 推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ａ） 異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｂ） 最大の標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行し、最大の標準偏差による射影変換行列を動的に推定し、
（ｃ） 次いで、推定した射影変換行列を初期値として、順次小さい標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行して順次小さい標準偏差による射影変換行列を動的に推定し、
これを最小の標準偏差を有するＬＯＧフィルタまで繰り返して最終の射影変換行列を動的に推定する、ことを特徴とするステレオカメラによる平面検出方法が提供される。
また、本発明によれば、（Ａ） 自律的に走行経路を生成して走行する移動ロボットに固定して配置された一対の車載カメラにより、前方の相互に重複する領域の基準画像及び参照画像を撮像する画像情報取得ステップと、
（Ｂ） 前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ） 推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ） 推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ｄ） 異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｅ） 前記複数のＬＯＧフィルタをそれぞれ別個に用いて、前記画像情報取得ステップ、射影変換行列算出ステップ、及び平面領域抽出ステップを実行して、それぞれ車両が走行可能な複数の平面領域を抽出し、
（ｆ） 前記複数の平面領域のすべてを含む平面領域を最終平面領域として抽出する、ことを特徴とするステレオカメラによる平面検出方法が提供される。
（Ｂ） 前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ） 推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ） 推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ｄ） 異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｅ） 前記複数のＬＯＧフィルタをそれぞれ別個に用いて、前記画像情報取得ステップ、射影変換行列算出ステップ、及び平面領域抽出ステップを実行して、それぞれ車両が走行可能な複数の平面領域を抽出し、
（ｆ） 前記複数の平面領域のすべてを含む平面領域を最終平面領域として抽出する、ことを特徴とするステレオカメラによる平面検出方法が提供される。
さらに、本発明によれば、（Ａ） 自律的に走行経路を生成して走行する移動ロボットに固定して配置された一対の車載カメラにより、前方の相互に重複する領域の基準画像及び参照画像を撮像する画像情報取得ステップと、
（Ｂ） 前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ） 推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ） 推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ａ） 異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｂ） 最大の標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行し、最大の標準偏差による射影変換行列を動的に推定し、
（ｃ） 次いで、推定した射影変換行列を初期値として、順次小さい標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行して順次小さい標準偏差による射影変換行列を動的に推定し、
これを最小の標準偏差を有するＬＯＧフィルタまで繰り返して最終の射影変換行列を動的に推定し、次に、
（ｄ） 異なる標準偏差を有する複数の第２ＬＯＧフィルタを設定し、
（ｅ） 前記複数の第２ＬＯＧフィルタをそれぞれ別個に用いて、各第２ＬＯＧフィルタによる処理を実施し、前記射影変換行列でそれぞれの参照画像を射影変換し、それぞれ車両が走行可能な複数の平面領域を抽出し、
（ｆ） 前記複数の平面領域のすべてを含む平面領域を最終平面領域として抽出する、ことを特徴とするステレオカメラによる平面検出方法が提供される。
（Ｂ） 前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ） 推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ） 推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ａ） 異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｂ） 最大の標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行し、最大の標準偏差による射影変換行列を動的に推定し、
（ｃ） 次いで、推定した射影変換行列を初期値として、順次小さい標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行して順次小さい標準偏差による射影変換行列を動的に推定し、
これを最小の標準偏差を有するＬＯＧフィルタまで繰り返して最終の射影変換行列を動的に推定し、次に、
（ｄ） 異なる標準偏差を有する複数の第２ＬＯＧフィルタを設定し、
（ｅ） 前記複数の第２ＬＯＧフィルタをそれぞれ別個に用いて、各第２ＬＯＧフィルタによる処理を実施し、前記射影変換行列でそれぞれの参照画像を射影変換し、それぞれ車両が走行可能な複数の平面領域を抽出し、
（ｆ） 前記複数の平面領域のすべてを含む平面領域を最終平面領域として抽出する、ことを特徴とするステレオカメラによる平面検出方法が提供される。
本発明の実施形態によれば、前記抽出した平面領域を地面に固定された座標系の地図に投影して時系列フィルタ処理する。
さらに、本発明によれば、上述したいずれかによる平面検出方法を有する平面算出機能および、時系列につながる複数画像から平面を算出する時系列フィルタ機能からなる平面領域算出装置と、
車両の走行経路が検出された最も大きい平面領域に限定させる経路生成装置と、
前記経路生成装置の制御下にあるアクチュエータにより移動を行う走行装置と、を備えたことを特徴とする移動ロボットが提供される。
車両の走行経路が検出された最も大きい平面領域に限定させる経路生成装置と、
前記経路生成装置の制御下にあるアクチュエータにより移動を行う走行装置と、を備えたことを特徴とする移動ロボットが提供される。
上記本発明の方法によれば、フィルタの幅（フィルタサイズ）が大きい場合には細かい模様の影響が事前の平滑化で無くなり、大まかな模様に対する２次微分が得られる。一方、フィルタ幅（フィルタサイズ）が小さい場合には、狭い範囲での微分が行なわれるため、細かい模様に対する２次微分が得られるので、安定して十分な精度の射影変換行列Ｈが求まる。
その他の効果は、後述する。
以下、本発明の実施形態を図面を参照して説明する。なお各図において、共通する部分には同一の符号を付し、重複した説明は省略する。
図６は、本発明が適用される自律移動ロボットの説明図であり、図７は自律移動ロボットのブロック図である。
図６、図７において、自律移動ロボット１０は、ＧＰＳ１１、ジャイロセンサ１２、自己位置評定用コンピュータ１３、車両制御装置１４及び操縦装置１５を備える。
自律移動ロボット１０は、この例では自走する車両であるが、本発明はこれに限定されず、半自律移動ロボットや操縦支援装置であってもよい。なお、以下の説明では、自律移動ロボット１０を、単に「移動ロボット」又は「車両」と呼ぶ。
自律移動ロボット１０は、この例では自走する車両であるが、本発明はこれに限定されず、半自律移動ロボットや操縦支援装置であってもよい。なお、以下の説明では、自律移動ロボット１０を、単に「移動ロボット」又は「車両」と呼ぶ。
車両制御装置１４は、この例では経路生成用コンピュータ１４ａ、車両制御用コンピュータ１４ｂ、ドライバ１４ｃ及びモータ、アクチュエータ１４ｄからなり、経路生成用コンピュータ１４ａにより自律的に走行経路の生成を行い、車両制御用コンピュータ１４ｂ、ドライバ１４ｃ及びモータ、アクチュエータ１４ｄにより車両を操縦して走行するようになっている。
操縦装置１５は、この例ではノートパソコンであり、人がノートパソコン１５によりＧＰＳ座標系でウェイポイントを入力し、経路生成用コンピュータ１４ａに無線で通信するようになっている。
またＧＰＳ１１、ジャイロセンサ１２及び自己位置評定用コンピュータ１３により周辺の地図、車両の位置、車両の姿勢を検出し、経路生成用コンピュータ１４ａに出力するようになっている
またＧＰＳ１１、ジャイロセンサ１２及び自己位置評定用コンピュータ１３により周辺の地図、車両の位置、車両の姿勢を検出し、経路生成用コンピュータ１４ａに出力するようになっている
上述した構成により、人がＧＰＳ座標系でウェイポイントを入力することにより、経路生成用コンピュータ１４ａによりウェイポイントを通過するように移動ロボット１０は自律的に走行路検出及び経路生成を行い車両を操縦して走行することができる。
遠方環境認識装置２０は、上述した移動ロボット１０に走行経路の生成に必要な環境地図データ５を出力する装置である。
図６、図７において、遠方環境認識装置２０は、一対の車載カメラ２２、及びコンピュータ２６を備える。
一対の車載カメラ２２は、上述した基準カメラ５２及び参照カメラ５４に相当する。
コンピュータ２６は、この例では画像処理用コンピュータ２６ａと環境地図生成用コンピュータ２６ｂからなり、車載カメラ２２の出力から、単一の座標系に定義された平面領域及び障害物を含む環境地図データを生成する。
一対の車載カメラ２２は、上述した基準カメラ５２及び参照カメラ５４に相当する。
コンピュータ２６は、この例では画像処理用コンピュータ２６ａと環境地図生成用コンピュータ２６ｂからなり、車載カメラ２２の出力から、単一の座標系に定義された平面領域及び障害物を含む環境地図データを生成する。
図６において、一対の車載カメラ２２は、例えばステレオカメラであり、移動ロボット１０に固定して配置され、前方の平面領域１を含む相互に重複する領域の画像２（ステレオ画像）を撮像する。
画像処理用コンピュータ２６ａは、上述した特許文献１〜３の手段により、車載カメラ２２からのステレオ画像２を利用して、平面領域１と、平面領域１の法線ベクトルｎ（カメラ座標系における法線ベクトル）を検出する。
画像処理用コンピュータ２６ａは、上述した特許文献１〜３の手段により、車載カメラ２２からのステレオ画像２を利用して、平面領域１と、平面領域１の法線ベクトルｎ（カメラ座標系における法線ベクトル）を検出する。
図８は、本発明によるステレオカメラによる平面検出方法の全体フロー図である。
この図において、本発明の平面検出方法は、Ｓ０１ａ，Ｓ０１ｂ，Ｓ１０，Ｓ２０，Ｓ３０，Ｓ３２，Ｓ４０の各ステップ（工程）を有する。
ステップＳ０１ａ，Ｓ０１ｂでは、車載カメラ２２（基準カメラ５２及び参照カメラ５４）を用いて基準画像と参照画像を撮像する。
ステップＳ１０では、「多段階Ｈパラメータ推定」を実施する。このステップの詳細は後述する。
ステップＳ２０では、「複数画像からの平面領域算出」を実施する。このステップの詳細は後述する。
ステップＳ３０では、平面パラメータ（ｎ，ｄ）を算出する。ステップＳ３２では、仮想投影面（ＶＰＰ）を算出する。ステップＳ３０，Ｓ３２は、特許文献１〜３における平面検出方法と同様である。
ステップＳ４０では、「地図上での時系列フィルタ処理」を実施する。このステップの詳細は後述する。
この図において、本発明の平面検出方法は、Ｓ０１ａ，Ｓ０１ｂ，Ｓ１０，Ｓ２０，Ｓ３０，Ｓ３２，Ｓ４０の各ステップ（工程）を有する。
ステップＳ０１ａ，Ｓ０１ｂでは、車載カメラ２２（基準カメラ５２及び参照カメラ５４）を用いて基準画像と参照画像を撮像する。
ステップＳ１０では、「多段階Ｈパラメータ推定」を実施する。このステップの詳細は後述する。
ステップＳ２０では、「複数画像からの平面領域算出」を実施する。このステップの詳細は後述する。
ステップＳ３０では、平面パラメータ（ｎ，ｄ）を算出する。ステップＳ３２では、仮想投影面（ＶＰＰ）を算出する。ステップＳ３０，Ｓ３２は、特許文献１〜３における平面検出方法と同様である。
ステップＳ４０では、「地図上での時系列フィルタ処理」を実施する。このステップの詳細は後述する。
図９は、ステップＳ１０における「多段階Ｈパラメータ推定」の詳細フロー図である。
ステップＳ１０では、異なる標準偏差を有する複数のＬＯＧフィルタを設定する。この例では、２つの標準偏差σ（σＬとσＨ、σＨ＝０．５σＬ）を有するＬＯＧフィルタ（フィルタ１とフィルタ２）を設定している。なおフィルタは２段階に限らず、３段以上であってもよい。
ステップＳ１０では、異なる標準偏差を有する複数のＬＯＧフィルタを設定する。この例では、２つの標準偏差σ（σＬとσＨ、σＨ＝０．５σＬ）を有するＬＯＧフィルタ（フィルタ１とフィルタ２）を設定している。なおフィルタは２段階に限らず、３段以上であってもよい。
次に、最大の標準偏差σ（この例ではσＬ）を有するＬＯＧフィルタ（フィルタ１）を用いて、画像情報取得ステップＳ０と射影変換行列算出ステップＳ１を実行し、最大の標準偏差σによる射影変換行列Ｈを動的に推定する。
すなわち、この例において、ステップＳ１０１、Ｓ１０２でフィルタ１による処理を実施し、ステップＳ１０３において、射影変換行列Ｈの初期値（Ｈ初期値）および平面評価領域を設定し、ステップＳ１０４において射影変換行列Ｈを算出する。
すなわち、この例において、ステップＳ１０１、Ｓ１０２でフィルタ１による処理を実施し、ステップＳ１０３において、射影変換行列Ｈの初期値（Ｈ初期値）および平面評価領域を設定し、ステップＳ１０４において射影変換行列Ｈを算出する。
次いで、推定した射影変換行列Ｈを初期値として、順次小さい標準偏差σ（この例ではσＨ）を有するＬＯＧフィルタ（フィルタ２）を用いて前記画像情報取得ステップＳ０と射影変換行列算出ステップＳ１を実行して順次小さい標準偏差σによる射影変換行列を動的に推定する。これを最小の標準偏差σ（この例ではσＨ）を有するＬＯＧフィルタまで繰り返して最終の射影変換行列Ｈを動的に推定する。
すなわち、この例において、ステップＳ１１１、Ｓ１１２でフィルタ２による処理を実施し、ステップＳ１１３において、射影変換行列Ｈの初期値（Ｈ初期値）および平面評価領域を設定し、ステップＳ１１４において最終の射影変換行列Ｈを算出する。
すなわち、この例において、ステップＳ１１１、Ｓ１１２でフィルタ２による処理を実施し、ステップＳ１１３において、射影変換行列Ｈの初期値（Ｈ初期値）および平面評価領域を設定し、ステップＳ１１４において最終の射影変換行列Ｈを算出する。
図１０は、ステップＳ２０における「複数画像からの平面領域算出」の詳細フロー図である。
ステップＳ２０では、異なる標準偏差を有する複数のＬＯＧフィルタを設定する。複数の標準偏差σは、この例では、ステップＳ１０で設定した値と同一である。すなわち、この例では、２つの標準偏差σ（σＬとσＨ、σＨ＝０．５σＬ）を有するＬＯＧフィルタ（フィルタ１とフィルタ２）を設定している。
ステップＳ２０における標準偏差σは、ステップＳ１０と相違してもよい。
ステップＳ２０では、異なる標準偏差を有する複数のＬＯＧフィルタを設定する。複数の標準偏差σは、この例では、ステップＳ１０で設定した値と同一である。すなわち、この例では、２つの標準偏差σ（σＬとσＨ、σＨ＝０．５σＬ）を有するＬＯＧフィルタ（フィルタ１とフィルタ２）を設定している。
ステップＳ２０における標準偏差σは、ステップＳ１０と相違してもよい。
次に、前記複数の標準偏差σ（この例ではσＬとσＨ）を有するＬＯＧフィルタ（フィルタ１，２）をそれぞれ別個に用いて、画像情報取得ステップＳ０、射影変換行列算出ステップＳ１、及び平面領域抽出ステップＳ２を実行して、それぞれ車両が走行可能な複数の平面領域を抽出する。
すなわち、この例において、ステップＳ２０１、Ｓ２０２でフィルタ１による処理を実施し、ステップＳ２０３において、ステップ１０で求めた射影変換行列Ｈで参照画像を射影変換し、ステップＳ２０４において、平面評価領域を特定する。
同様に、この例において、ステップＳ２１１、Ｓ２１２でフィルタ２による処理を実施し、ステップＳ２１３において、ステップ１０で求めた射影変換行列Ｈで参照画像を射影変換し、ステップＳ２１４において、平面評価領域を特定する。
従って、この段階で２つの平面領域が抽出される。
すなわち、この例において、ステップＳ２０１、Ｓ２０２でフィルタ１による処理を実施し、ステップＳ２０３において、ステップ１０で求めた射影変換行列Ｈで参照画像を射影変換し、ステップＳ２０４において、平面評価領域を特定する。
同様に、この例において、ステップＳ２１１、Ｓ２１２でフィルタ２による処理を実施し、ステップＳ２１３において、ステップ１０で求めた射影変換行列Ｈで参照画像を射影変換し、ステップＳ２１４において、平面評価領域を特定する。
従って、この段階で２つの平面領域が抽出される。
次いで、ステップＳ２１０において、前記複数（２つ）の平面領域のすべてに含まれる領域を最終平面領域として抽出する。
図１１は、ステップＳ４０における「地図上での時系列フィルタ処理」の詳細フロー図である。
ステップＳ４０では、抽出した平面領域を地面に固定された座標系の地図に投影して時系列フィルタ処理する。
すなわち、ステップＳ４０１において、ＧＰＳにより地図座標でのカメラ位置を計測し、ステップＳ４０２において、ジャイロにより地図座標でのカメラ方向を計測し、ステップＳ４０３において、平面領域画像を地図座標に変換する。
次いで、すべての平面領域画像のピクセル配列（Ｉ，Ｊ）について、ステップＳ４０４において、ピクセル（Ｉ，Ｊ）における反映値の判定処理を実施する。
ステップＳ４０では、抽出した平面領域を地面に固定された座標系の地図に投影して時系列フィルタ処理する。
すなわち、ステップＳ４０１において、ＧＰＳにより地図座標でのカメラ位置を計測し、ステップＳ４０２において、ジャイロにより地図座標でのカメラ方向を計測し、ステップＳ４０３において、平面領域画像を地図座標に変換する。
次いで、すべての平面領域画像のピクセル配列（Ｉ，Ｊ）について、ステップＳ４０４において、ピクセル（Ｉ，Ｊ）における反映値の判定処理を実施する。
「反映値の判定処理」は、例えば以下のように実施する。
例えば前方の道路画像を検出しながらの走行中において、既に平面として検出した箇所は、その後の検出でも平面である蓋然性が高い。従って、その後の検出において、平面として検出されない箇所が既に平面として検出した領域内に発生した場合には、直ちに「平面でない（非平面）」と判断せず、同一の検出結果が所定回数（例えば５回）繰り返した場合に、「平面でない（非平面）」と判する。
例えば前方の道路画像を検出しながらの走行中において、既に平面として検出した箇所は、その後の検出でも平面である蓋然性が高い。従って、その後の検出において、平面として検出されない箇所が既に平面として検出した領域内に発生した場合には、直ちに「平面でない（非平面）」と判断せず、同一の検出結果が所定回数（例えば５回）繰り返した場合に、「平面でない（非平面）」と判する。
以下、上述した本発明の効果について説明する。
１．ＬＯＧフィルタ概要
まず、ＬＯＧ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）フィルタの特性について説明する。
図１２は、ＬＯＧフィルタの説明図であり、（Ａ）はＬＯＧフィルタ関数、（Ｂ）はガウス関数、（Ｃ）はフィルタサイズが小さいガウス関数、（Ｄ）はフィルタサイズが大きいガウス関数の例である。ガウス関数は、いわゆる正規分布であり、標準偏差σを有する。
なお、本発明において、「フィルタサイズ」とはガウス関数における標準偏差σの大きさを意味する。
１．ＬＯＧフィルタ概要
まず、ＬＯＧ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）フィルタの特性について説明する。
図１２は、ＬＯＧフィルタの説明図であり、（Ａ）はＬＯＧフィルタ関数、（Ｂ）はガウス関数、（Ｃ）はフィルタサイズが小さいガウス関数、（Ｄ）はフィルタサイズが大きいガウス関数の例である。ガウス関数は、いわゆる正規分布であり、標準偏差σを有する。
なお、本発明において、「フィルタサイズ」とはガウス関数における標準偏差σの大きさを意味する。
ＬＯＧフィルタは図１２（Ａ）に示すような関数と入力信号とで畳み込み演算を行い信号強度を得るフィルタである。ＬＯＧフィルタは所定の幅（フィルタサイズ）を持つガウス関数（図１２（Ｂ））による平滑化の後、２次微分を行って得る信号を、一回のフィルタで得ることが出来るフィルタである。
なお、以下の図は全て画像中のある直線上の輝度をプロットし、ｘ方向の位置とｙ方向の信号強度（輝度）を表したグラフである。
なお、以下の図は全て画像中のある直線上の輝度をプロットし、ｘ方向の位置とｙ方向の信号強度（輝度）を表したグラフである。
ＬＯＧフィルタの特性はその構成要素であるガウス関数のフィルタサイズ（図１２で（Ｃ）がフィルタサイズが小さい場合、（Ｄ）がフィルタサイズが大きい場合の例を示す。）により大きく影響を受ける。概略としてはフィルタサイズに近い細かさ（周波数）の信号に対して感度が良く、フィルタサイズにくらべて非常に細かい（波長が短い）信号、もしくは非常に荒い（波長が長い）信号に対しては感度が悪くなる（出力される信号強度が小さくなる）。具体的には以下に示す。
図１３はフィルタサイズの影響を示す説明図である。この図において、（Ａ）はフィルタサイズより十分細かい信号の場合、（Ｂ）はフィルタサイズと同じくらいの信号の場合、（Ｃ）はフィルタサイズより大きい信号の場合を示している。
（１）フィルタサイズ≫信号の場合
ＬＯＧフィルタを校正するガウス関数のサイズより十分細かい信号は、図１３（Ａ）に示すように処理の前段であるガウス関数フィルタ適用後にはすでに信号変化が非常に小さいものとなる。さらにこれを微分しても殆ど信号が無い出力が得られることになる。以上のように、細かすぎる信号にたいしては感度が悪くなる。
ＬＯＧフィルタを校正するガウス関数のサイズより十分細かい信号は、図１３（Ａ）に示すように処理の前段であるガウス関数フィルタ適用後にはすでに信号変化が非常に小さいものとなる。さらにこれを微分しても殆ど信号が無い出力が得られることになる。以上のように、細かすぎる信号にたいしては感度が悪くなる。
（２）フィルタサイズ≒信号の場合
フィルタサイズと信号のサイズが近い場合には、フィルタと信号を重ね合わせると、図１３（Ｂ）のように信号全域でＬＯＧフィルタ関数をちょうど強めあうようになっており、また、適切にずらして重ね合わせると、きれいに反転して負の方向に強めあうようになる。このように、ずれ方に応じた信号を強調して出力するため、感度が高いフィルタ適用となる。
フィルタサイズと信号のサイズが近い場合には、フィルタと信号を重ね合わせると、図１３（Ｂ）のように信号全域でＬＯＧフィルタ関数をちょうど強めあうようになっており、また、適切にずらして重ね合わせると、きれいに反転して負の方向に強めあうようになる。このように、ずれ方に応じた信号を強調して出力するため、感度が高いフィルタ適用となる。
（３）フィルタサイズ≪信号
フィルタサイズより信号が大きい場合には図１３（Ｃ）のように、畳み込み演算で掛け合わされる対象の信号強度がフィルタの山（β）と谷（α、γ）の位置ではあまり変化していない。このため、畳み込みの結果を合計すると山と谷の成分で打ち消しあい、感度が低くなってしまう。
フィルタサイズより信号が大きい場合には図１３（Ｃ）のように、畳み込み演算で掛け合わされる対象の信号強度がフィルタの山（β）と谷（α、γ）の位置ではあまり変化していない。このため、畳み込みの結果を合計すると山と谷の成分で打ち消しあい、感度が低くなってしまう。
以上のことからフィルタサイズによる影響は以下のとおりとなる。
フィルタの幅（フィルタサイズ）が大きい場合には細かい模様の影響が事前の平滑化で無くなり、大まかな模様に対する２次微分が得られる。一方、フィルタ幅（フィルタサイズ）が小さい場合には、狭い範囲での微分が行なわれるため、細かい模様に対する２次微分が得られる。
フィルタの幅（フィルタサイズ）が大きい場合には細かい模様の影響が事前の平滑化で無くなり、大まかな模様に対する２次微分が得られる。一方、フィルタ幅（フィルタサイズ）が小さい場合には、狭い範囲での微分が行なわれるため、細かい模様に対する２次微分が得られる。
２．ＬＯＧフィルタのフィルタサイズとＨパラメータ導出（「多段階Ｈパラメータ推定」）
Ｈパラメータ導出の際におけるＬＯＧフィルタサイズの影響と本発明との関係について説明する。
従来技術におけるＨパラメータの導出では、（１）正しい値から少しずれている（前回撮影時に求まった）Ｈ’を用い参照信号（画像）を射影変換してズレの小さい参照信号（画像）を生成する。（２）基準信号（画像）と変換後の参照信号（画像）の位置ずれを２つの信号の差分から計算する。（３）仮定したＨ’とズレ量から正しいＨを計算する。という方法を用いている。
Ｈパラメータ導出の際におけるＬＯＧフィルタサイズの影響と本発明との関係について説明する。
従来技術におけるＨパラメータの導出では、（１）正しい値から少しずれている（前回撮影時に求まった）Ｈ’を用い参照信号（画像）を射影変換してズレの小さい参照信号（画像）を生成する。（２）基準信号（画像）と変換後の参照信号（画像）の位置ずれを２つの信号の差分から計算する。（３）仮定したＨ’とズレ量から正しいＨを計算する。という方法を用いている。
図１４は、長い波長の信号ａと短い波長信号ｂが混ざった入力信号を対象とするフィルタサイズの影響の説明図である。
以下では、実際の画像を単純化した信号として図１４（Ａ）で示すような、長い波長の信号ａと短い波長信号ｂが混ざった入力信号を対象とし、基準信号と補正済み参照信号が図１４（Ｂ）に示すようにズレが発生する場合に、ズレ量を求める計算を例にフィルタサイズの影響を説明する。
以下では、実際の画像を単純化した信号として図１４（Ａ）で示すような、長い波長の信号ａと短い波長信号ｂが混ざった入力信号を対象とし、基準信号と補正済み参照信号が図１４（Ｂ）に示すようにズレが発生する場合に、ズレ量を求める計算を例にフィルタサイズの影響を説明する。
図１５は、図１４の入力信号を対象とする場合の基準信号と差分信号の位置ズレの説明図である。
まず、信号の構成要素である信号ａ、信号ｂに別けて、それぞれズレが補正できるかを検討する。ａのような大きな波長の信号に対しては図１５（Ａ）のように差分から位置ずれを求めることができるが、ｂのような小さい波長の信号は、図１５（Ｂ）のように本来のズレ（ア）に対し、最寄りの山谷とのズレ（イ）としてズレ量が得られるため、半周期以上のズレについて正しくも求まらない特徴がある。
まず、信号の構成要素である信号ａ、信号ｂに別けて、それぞれズレが補正できるかを検討する。ａのような大きな波長の信号に対しては図１５（Ａ）のように差分から位置ずれを求めることができるが、ｂのような小さい波長の信号は、図１５（Ｂ）のように本来のズレ（ア）に対し、最寄りの山谷とのズレ（イ）としてズレ量が得られるため、半周期以上のズレについて正しくも求まらない特徴がある。
図１４（Ｂ）に示すように合成信号が大きくずれる場合に、ａやｂの波長よりフィルタサイズが大きいＬＯＧフィルタを適用すれば、ズレ推定の計算でａの影響が大きくなり正しくズレが求まるが、ａやｂの波長よりフィルタサイズが小さいＬＯＧフィルタを適用した場合にはズレ推定の計算でｂの影響がａの影響よりも大きくなりすぎ、ｂのズレ推定である本来より近いズレ量が結果として得られ、正しく求まらないことになる。
従来技術は見つけ出したい障害物や模様のうち、最も小さいものに合わせた細かめの（フィルタサイズの小さい）ＬＯＧフィルタを後段の処理である一致処理（平面判定の処理）で用いる必要があり、同じＬＯＧフィルタ適用結果を用いてＨパラメータの計算に利用することが多い。
ところが、本発明の適用先である自律移動ロボット１０（「車両」）などの大きく振動する環境下で平面を計測する場合には、微小時間においても平面とカメラの関係が非常に大きく変化する。この変化の影響で前回のＨパラメータをもとに参照画像を補正しても、基準画像と補正後参照画像の信号のずれが大きくなることがある。このような場合に、細かめのフィルタで補正可能な範囲（フィルタのサイズ）をずれが上回り、ズレ量の計算を利用してＨパラメータを求める処理が正しく機能しなくなる。
ところが、本発明の適用先である自律移動ロボット１０（「車両」）などの大きく振動する環境下で平面を計測する場合には、微小時間においても平面とカメラの関係が非常に大きく変化する。この変化の影響で前回のＨパラメータをもとに参照画像を補正しても、基準画像と補正後参照画像の信号のずれが大きくなることがある。このような場合に、細かめのフィルタで補正可能な範囲（フィルタのサイズ）をずれが上回り、ズレ量の計算を利用してＨパラメータを求める処理が正しく機能しなくなる。
そこで、本発明では、検出に使用したいフィルタサイズより十分（２倍以上）大きなＬＯＧフィルタを用いてＨパラメータを求める処理を事前におこない、大きく振動した場合でもＨパラメータの計算を可能にする。
一方、大きいサイズのＬＯＧフィルタを適用した画像は大きくぼやけ、大まかな特徴しか残らないため細かい部分での一致処理を行なうには精度が不足する場合がある。
そこで、前回撮影時のＨパラメータから正しいＨパラメータを推定する際には、まず大きなフィルタサイズのＬＯＧフィルタを適用したパラメータ推定で小さいずれの中間Ｈパラメータを求め、さらにこの小さなズレしか含まないＨパラメータを元に、細かいＬＯＧフィルタを適用した補正参照画像を再度生成し、そこでのずれから精度の高いＨパラメータ推定を行う。これにより、大きなズレに対する変動耐性と高い精度を両立することができる。
そこで、前回撮影時のＨパラメータから正しいＨパラメータを推定する際には、まず大きなフィルタサイズのＬＯＧフィルタを適用したパラメータ推定で小さいずれの中間Ｈパラメータを求め、さらにこの小さなズレしか含まないＨパラメータを元に、細かいＬＯＧフィルタを適用した補正参照画像を再度生成し、そこでのずれから精度の高いＨパラメータ推定を行う。これにより、大きなズレに対する変動耐性と高い精度を両立することができる。
３．ＬＯＧフィルタのフィルタサイズと平面検出判定（「複数画像からの平面領域算出」）
次に、平面検出判定の際におけるＬＯＧフィルタサイズ影響と本発明の関係について説明する。
次に、平面検出判定の際におけるＬＯＧフィルタサイズ影響と本発明の関係について説明する。
上述したように、ＬＯＧフィルタはそのフィルタサイズに対応する細かさを持つ明るい変化に高く反応するようになっている。
平面検出判定（基準画像と参照画像を差し引いて、一致部分と不一致部分を切り分ける処理）では一般的に見つけ出したい障害物や模様のうち、最も小さいものに合わせた細かめの（フィルタサイズの小さい）ＬＯＧフィルタの結果を用いることが多い。
ところが、今回適用対象に想定している屋外においては、壁などの障害物があり、均一な色ではなく、うっすらとまだらの染み（水漏れや汚れ）が見えるものも多く存在する。そのため、このような模様に反応して壁などを障害物として検出できる必要がある。ところが、なだらかで大きな模様に対しては細かいＬＯＧフィルタの感度が低くなり、平面以外の部分で発生するはずの不一致が検出できず、壁が平面と誤認識される問題が発生する。
このような問題に対処するために細かめのＬＯＧフィルタの倍以上のサイズかつ十分荒い（サイズが大きい）ＬＯＧフィルタを適用することで、検出が可能となる。
平面検出判定（基準画像と参照画像を差し引いて、一致部分と不一致部分を切り分ける処理）では一般的に見つけ出したい障害物や模様のうち、最も小さいものに合わせた細かめの（フィルタサイズの小さい）ＬＯＧフィルタの結果を用いることが多い。
ところが、今回適用対象に想定している屋外においては、壁などの障害物があり、均一な色ではなく、うっすらとまだらの染み（水漏れや汚れ）が見えるものも多く存在する。そのため、このような模様に反応して壁などを障害物として検出できる必要がある。ところが、なだらかで大きな模様に対しては細かいＬＯＧフィルタの感度が低くなり、平面以外の部分で発生するはずの不一致が検出できず、壁が平面と誤認識される問題が発生する。
このような問題に対処するために細かめのＬＯＧフィルタの倍以上のサイズかつ十分荒い（サイズが大きい）ＬＯＧフィルタを適用することで、検出が可能となる。
一方、荒めのＬＯＧフィルタ単体だけで処理を行うと、本来見つけ出したい細かい障害物や、細かい模様（特に網目など細かく、規則正しい模様）についての感度が低くなり、それらの部分で不一致部分とならず、細いポールや金網のフェンスが障害物として検出できない問題が発生する。
そこで、フィルタサイズが小さい（細かい）ＬＯＧフィルタを適用した画像を用いて一致判定を行なった検出結果、および、フィルタサイズが大きい（荒い）ＬＯＧフィルタを適用した画像を用いて一致判定を行なった検出結果の２種類の検出結果をそれぞれ求め、さらにその両方の検出結果において一致（障害物でない・平面部）と判定された部分のみを平面部と判定する判定を行なうことで、細かい物体も、まだらな模様やしみとしか見えない壁面部分も同時に障害物として検出することができるようになる。
上述の例では、２種類のフィルタしか用いていないが、より検出性能を向上したい場合には多段階にすることが望ましい。
また、実際の画像を用いてフィルタの特性を見てみると、低い周波数のフィルタではフィルタ後のエッジが消えかかっており、高い周波数のフィルタでは差分が低めに検出されることが確認できる。
また、実際の画像を用いてフィルタの特性を見てみると、低い周波数のフィルタではフィルタ後のエッジが消えかかっており、高い周波数のフィルタでは差分が低めに検出されることが確認できる。
上述したように、多数のフィルタサイズのＬＯＧフィルタを適用した結果を求め、Ｈパラメータの推定では、フィルタスケールの大きい順に直列に処理を行い、また平面判定においては多数のフィルタ結果を並列に処理を行いＡＮＤ条件を取ることで、検出機能の安定性（とくに耐振動性、対象のバリエーション変化への耐性、検出精度など多数のファクターで）を向上させることができる。
すなわち、上述した「多段階Ｈパラメータ推定」（ステップＳ１０）により、安定して最終の射影変換行列Ｈが求まる。
また、上述した「複数画像からの平面領域算出」（ステップＳ２０）により、平面の検出もれを低減できる。
さらに、上述した「地図上での時系列フィルタ処理」（ステップＳ４０）により、安定して平面が検出でき、高速度をだすことができる。
また、上述した「複数画像からの平面領域算出」（ステップＳ２０）により、平面の検出もれを低減できる。
さらに、上述した「地図上での時系列フィルタ処理」（ステップＳ４０）により、安定して平面が検出でき、高速度をだすことができる。
従って本発明により、十分な処理速度により、高い安定性をもって平面領域が抽出できる。これにより、広範囲にわたって移動する自律または遠隔操縦で走行するロボットの、走行可能領域（道）抽出モジュールとして実装でき、高速度での移動（時速６０ｋｍ／ｈ）が実現できる。
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。
１ 平面領域、２ 画像（ステレオ画像）、５ 環境地図データ、
１０ 自律移動ロボット（移動ロボット、車両）、１１ ＧＰＳ、
１２ ジャイロセンサ、１３ 自己位置評定用コンピュータ、
１４ 車両制御装置、１４ａ 経路生成用コンピュータ、
１４ｂ 車両制御用コンピュータ、１４ｃ ドライバ、
１４ｄ モータ、アクチュエータ、１５ 操縦装置、
２０ 遠方環境認識装置、２２ 車載カメラ（ステレオカメラ）、
２６ コンピュータ、２６ａ 画像処理用コンピュータ、
２６ｂ 環境地図生成用コンピュータ
１０ 自律移動ロボット（移動ロボット、車両）、１１ ＧＰＳ、
１２ ジャイロセンサ、１３ 自己位置評定用コンピュータ、
１４ 車両制御装置、１４ａ 経路生成用コンピュータ、
１４ｂ 車両制御用コンピュータ、１４ｃ ドライバ、
１４ｄ モータ、アクチュエータ、１５ 操縦装置、
２０ 遠方環境認識装置、２２ 車載カメラ（ステレオカメラ）、
２６ コンピュータ、２６ａ 画像処理用コンピュータ、
２６ｂ 環境地図生成用コンピュータ
Claims (5)
- （Ａ） 自律的に走行経路を生成して走行する移動ロボットに固定して配置された一対の車載カメラにより、前方の相互に重複する領域の基準画像及び参照画像を撮像する画像情報取得ステップと、
（Ｂ） 前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ） 推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ） 推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ａ） 異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｂ） 最大の標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行し、最大の標準偏差による射影変換行列を動的に推定し、
（ｃ） 次いで、推定した射影変換行列を初期値として、順次小さい標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行して順次小さい標準偏差による射影変換行列を動的に推定し、
これを最小の標準偏差を有するＬＯＧフィルタまで繰り返して最終の射影変換行列を動的に推定する、ことを特徴とするステレオカメラによる平面検出方法。 - （Ａ） 自律的に走行経路を生成して走行する移動ロボットに固定して配置された一対の車載カメラにより、前方の相互に重複する領域の基準画像及び参照画像を撮像する画像情報取得ステップと、
（Ｂ） 前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ） 推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ） 推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ｄ） 異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｅ） 前記複数のＬＯＧフィルタをそれぞれ別個に用いて、前記画像情報取得ステップ、射影変換行列算出ステップ、及び平面領域抽出ステップを実行して、それぞれ車両が走行可能な複数の平面領域を抽出し、
（ｆ） 前記複数の平面領域のすべてを含む平面領域を最終平面領域として抽出する、ことを特徴とするステレオカメラによる平面検出方法。 - （Ａ） 自律的に走行経路を生成して走行する移動ロボットに固定して配置された一対の車載カメラにより、前方の相互に重複する領域の基準画像及び参照画像を撮像する画像情報取得ステップと、
（Ｂ） 前記基準画像及び参照画像と射影変換行列の初期値とから前方の平面領域に対する射影変換行列を動的に推定する射影変換行列算出ステップと、
（Ｃ） 推定した前記射影変換行列を用いて、車両が走行可能な平面領域を抽出する平面領域抽出ステップと、
（Ｄ） 推定した前記射影変換行列を用いて、平面領域の平面パラメータである法線ベクトル及び基準カメラの光学中心から平面領域までの距離を求める平面パラメータ算出ステップとを有するステレオカメラによる平面検出方法であって、
（ａ） 異なる標準偏差を有する複数のＬＯＧフィルタを設定し、
（ｂ） 最大の標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行し、最大の標準偏差による射影変換行列を動的に推定し、
（ｃ） 次いで、推定した射影変換行列を初期値として、順次小さい標準偏差を有するＬＯＧフィルタを用いて前記画像情報取得ステップと射影変換行列算出ステップを実行して順次小さい標準偏差による射影変換行列を動的に推定し、
これを最小の標準偏差を有するＬＯＧフィルタまで繰り返して最終の射影変換行列を動的に推定し、次に、
（ｄ） 異なる標準偏差を有する複数の第２ＬＯＧフィルタを設定し、
（ｅ） 前記複数の第２ＬＯＧフィルタをそれぞれ別個に用いて、各第２ＬＯＧフィルタによる処理を実施し、前記射影変換行列でそれぞれの参照画像を射影変換し、それぞれ車両が走行可能な複数の平面領域を抽出し、
（ｆ） 前記複数の平面領域のすべてを含む平面領域を最終平面領域として抽出する、ことを特徴とするステレオカメラによる平面検出方法。 - 前記抽出した平面領域を地面に固定された座標系の地図に投影して時系列フィルタ処理する、ことを特徴とする請求項１乃至３のいずれか一項に記載のステレオカメラによる平面検出方法。
- 請求項１乃至３のいずれかによる平面検出方法を有する平面算出機能および、時系列につながる複数画像から平面を算出する時系列フィルタ機能からなる平面領域算出装置と、
車両の走行経路が検出された最も大きい平面領域に限定させる経路生成装置と、
前記経路生成装置の制御下にあるアクチュエータにより移動を行う走行装置と、を備えたことを特徴とする平面検出方法を用いた移動ロボット。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010064714A JP5530773B2 (ja) | 2010-03-19 | 2010-03-19 | ステレオカメラによる平面検出方法とこの方法を用いた移動ロボット |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010064714A JP5530773B2 (ja) | 2010-03-19 | 2010-03-19 | ステレオカメラによる平面検出方法とこの方法を用いた移動ロボット |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011198098A JP2011198098A (ja) | 2011-10-06 |
| JP5530773B2 true JP5530773B2 (ja) | 2014-06-25 |
Family
ID=44876198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010064714A Active JP5530773B2 (ja) | 2010-03-19 | 2010-03-19 | ステレオカメラによる平面検出方法とこの方法を用いた移動ロボット |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5530773B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103226354A (zh) * | 2013-02-27 | 2013-07-31 | 广东工业大学 | 基于光电导航的无人驾驶道路识别系统 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819263B (zh) * | 2012-07-30 | 2014-11-05 | 中国航天科工集团第三研究院第八三五七研究所 | 多摄像头无人车视觉感知系统 |
| CN103593671B (zh) * | 2013-11-25 | 2017-03-01 | 中国航天科工集团第三研究院第八三五七研究所 | 基于三摄像机协同的大范围车道线视觉检测方法 |
| US10536646B2 (en) * | 2017-07-28 | 2020-01-14 | Panasonic Intellectual Property Corporation Of America | Imaging control device and imaging control method |
| CN107808518B (zh) * | 2017-10-26 | 2020-02-18 | 东南大学 | 一种基于多路谱聚类理论的交通小区划分方法 |
| US11531354B2 (en) | 2017-12-05 | 2022-12-20 | Sony Corporation | Image processing apparatus and image processing method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4344860B2 (ja) * | 2004-01-30 | 2009-10-14 | 国立大学法人東京工業大学 | ステレオ画像を用いた道路平面領域並びに障害物検出方法 |
| JP4297501B2 (ja) * | 2004-08-11 | 2009-07-15 | 国立大学法人東京工業大学 | 移動体周辺監視装置 |
| US8432448B2 (en) * | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
-
2010
- 2010-03-19 JP JP2010064714A patent/JP5530773B2/ja active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103226354A (zh) * | 2013-02-27 | 2013-07-31 | 广东工业大学 | 基于光电导航的无人驾驶道路识别系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011198098A (ja) | 2011-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11270131B2 (en) | Map points-of-change detection device | |
| JP6770393B2 (ja) | トラッキング装置及びプログラム | |
| CN111336951B (zh) | 用于校准图像传感器的外部参数的方法和设备 | |
| JP5530773B2 (ja) | ステレオカメラによる平面検出方法とこの方法を用いた移動ロボット | |
| JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
| Kong et al. | Generalizing Laplacian of Gaussian filters for vanishing-point detection | |
| Kim et al. | Lane-level localization using an AVM camera for an automated driving vehicle in urban environments | |
| Kenue | Lanelok: Detection of lane boundaries and vehicle tracking using image-processing techniques-part i: Hough-transform, region-tracing and correlation algorithms | |
| US10867403B2 (en) | Vehicle external recognition apparatus | |
| JP2020064056A (ja) | 位置推定装置及び方法 | |
| JP6278791B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
| US20190100199A1 (en) | Course Prediction Method and Course Prediction Device | |
| CN112598922B (zh) | 车位检测方法、装置、设备及存储介质 | |
| JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
| CN108197590B (zh) | 一种路面检测方法、装置、终端及存储介质 | |
| JP2019003606A (ja) | 地図変化点検出装置 | |
| KR101165122B1 (ko) | 실내 주행을 위한 빛 줄무늬 감지 방법 및 그를 이용한주차 보조 장치 | |
| US20200193184A1 (en) | Image processing device and image processing method | |
| WO2022009537A1 (ja) | 画像処理装置 | |
| Park et al. | Vehicle localization using an AVM camera for an automated urban driving | |
| Rohde et al. | Localization accuracy estimation with application to perception design | |
| JP6886136B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
| EP3288260B1 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means | |
| KR102565603B1 (ko) | 긴급 제동 시스템의 성능평가 장치 및 방법 | |
| JP4953313B2 (ja) | 環境認識システム、自律型移動体および環境認識プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121024 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140421 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5530773 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |