JP4116116B2

JP4116116B2 - 移動体の測距原点認識装置

Info

Publication number: JP4116116B2
Application number: JP24731997A
Authority: JP
Inventors: 英明土屋; 敬二実吉
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 1997-09-11
Filing date: 1997-09-11
Publication date: 2008-07-09
Anticipated expiration: 2017-09-11
Also published as: JPH1185981A

Description

【０００１】
【発明の属する技術分野】
本発明は、測距原点に設置したマークを認識して原点における位置・方位を検出する測距原点認識装置に関する。
【０００２】
【従来の技術】
従来より、無人ロボット、自律走行作業車、無人ヘリコプター等、自律的に移動する移動体に関し、移動制御、経路検出、航路検出、ロケーション検出等の各種技術が開発されており、これらの中でも、自己位置認識は重要な技術の一つである。
【０００３】
この自己位置認識の技術として、例えば、自律走行作業車等の地上を自律的に走行する移動体では、振動ジャイロや光ジャイロによって２次元の角速度を検出するとともに、対地速度を測定するセンサによって並進速度を検出し、基準位置からの移動量を演算して自己位置を測定する技術があり、また、無人ヘリコプター等の飛行体では、慣性航法装置により、重力加速度を検出して飛行体の加速度を検出し、この加速度を積分することで移動量を知る技術がある。
【０００４】
さらに、近年では、画像処理の技術を適用して移動体の自己位置を認識する技術が開発されており、特に、移動体にカメラを撮像して周囲環境を撮像し、撮像タイミングの異なる２枚の画像間のオプティカルフローを求めて移動体の運動を検出することで速度成分を演算し、測距開始地点（原点）からの航法軌跡を求めて自己位置を認識する技術では、膨大な情報量を有する画像ならではの周囲環境の分析が可能となり、複雑な地形を判別して正確な自律航法を実現することができる。
【０００５】
【発明が解決しようとする課題】
ところで、上述のような画像処理による自己位置認識の技術では、自己の絶対位置や絶対方位を知る必要がある場合には、測距原点を認識する何らかの付加的な装置が必要となる。
【０００６】
このため、地磁気センサ等を別途に搭載し、自己の姿勢角を絶対方位角で検出する等の措置も考えられるが、精度や信頼性が不足していたり、装置が大掛かりになって移動体に搭載するには不適である、コスト上昇を招くといった問題があった。
【０００７】
本発明は上記事情に鑑みてなされたもので、原点からの自己位置を測距する際、３次元空間における絶対位置・絶対方位を精度良く検出可能な測距原点認識装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
請求項１記載の発明は、測距原点に設置され、撮像画像上で同一走査線上に同一画素パターンが無く、且つ、輝度微分画像で複数の線分の交点を複数箇所検出可能なパターンを有するマークと、上記マークを撮像する２台１組のステレオカメラと、上記ステレオカメラで撮像した一対の画像に対し、対応位置を探索して対象物までの距離に応じて生じる画素ズレ量を求め、この画素ズレ量から得られる対象物までの遠近情報を数値化した距離画像を生成するステレオ処理部と、上記マークの撮像画像を輝度微分して抽出した上記複数の線分の交点と傾きとに基づいて２次元の位置・方位を認識し、更に上記距離画像に基づいて測距原点に対する３次元の位置・方位を認識する認識処理部とを備えたことを特徴とする。
【０００９】
請求項２記載の発明は、請求項１記載の発明において、上記複数の線分を、輝度微分ベクトルの角度を軸としたヒストグラムのピーク値の間隔及び度数に基づいて抽出することを特徴とする。
【００１０】
請求項３記載の発明は、請求項１記載の発明において、上記マークは、輝度の異なる領域を三角形を組み合わせて形成したパターンを有することを特徴とする。
【００１１】
請求項４記載の発明は、請求項３記載の発明において、上記パターンは、互いに輝度分布が反転する正三角形を画像左右に配置したパターンであることを特徴とする。
【００１２】
請求項５記載の発明は、請求項３記載の発明において、上記パターンは、互いに輝度分布が反転する直角二等辺三角形を画像左右に配置したパターンであることを特徴とする。
【００１３】
すなわち、本発明による測距原点認識装置では、測距原点に設置され、撮像画像上で同一走査線上に同一画素パターンが無く、且つ、輝度微分画像で複数の線分の交点を複数箇所検出可能なパターンを有するマークをステレオカメラで撮像し、このステレオカメラで撮像した一対の画像に対し、対応位置を探索して対象物までの距離に応じて生じる画素ズレ量を求め、この画素ズレ量から得られる対象物までの遠近情報を数値化した距離画像を生成すると、マークの撮像画像を輝度微分して抽出した複数の線分の交点と傾きとに基づいて２次元の位置・方位を認識し、更に距離画像に基づいて測距原点に対する３次元の位置・方位を認識する。複数の線分は、輝度微分ベクトルの角度を軸としたヒストグラムのピーク値の間隔及び度数に基づいて抽出することができる。
【００１４】
また、測距原点に設置するマークとしては、輝度の異なる領域を三角形を組み合わせて形成したパターン、詳細には、互いに輝度分布が反転する正三角形を画像左右に配置したパターン、或いは、互いに輝度分布が反転する直角二等辺三角形を画像左右に配置したパターンによって実現することができる。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図面は本発明の実施の一形態に係わり、図１は測距原点認識装置の基本構成図、図２は位置・方位検出ルーチンのフローチャート、図３は単純な格子状パターンのランドマークを示す説明図、図４はミスマッチングを起こさないランドマークのパターン例１を示す説明図、図５はミスマッチングを起こさないランドマークのパターン例２を示す説明図、図６はミスマッチングを起こさないランドマークのパターン例３を示す説明図、図７は輝度微分を求める小領域の抽出を示す説明図、図８は輝度微分ベクトルの例を示す説明図、図９は輝度微分ベクトルの角度ヒストグラムを示す説明図である。
【００１６】
図１において、符号１は、自律移動体の自己位置認識に際し、測距開始地点（原点）に設置したマークを認識し、原点の絶対位置・絶対方位を検出する測距原点認識装置であり、その基本構成として、上記マークを撮像するための２台１組のカメラ１０ａ，１０ｂからなるステレオカメラ１０、このステレオカメラ１０で撮像した一対の画像をステレオマッチングして距離画像を生成するステレオ処理部２０、このステレオ処理部２０で生成した距離画像をストアする距離画像メモリ３０、上記ステレオカメラ１０で撮像した元画像をストアする元画像メモリ４０、上記マークの元画像及び距離画像を用いて上記マークを認識し、位置・方位を検出する認識処理部５０が備えられている。
【００１７】
上記測距原点認識装置１は、画像処理によって移動体の自己位置認識を行うシステムの一部として構成することができる。例えば、無人ヘリコプター等の自律飛行体で、前方風景（遠方風景）を撮像するための２台１組のステレオカメラと、下方風景（地表面）を撮像するための２台１組のステレオカメラとを搭載し、遠方風景の時系列的な画像間のオプティカルフロー、及び、下方風景の時系列的な画像間のオプティカルフローを、それぞれの距離画像に基づいて実空間での移動量に換算して速度成分を求め、下方画像の動きによる速度成分から遠方画像の動きによる回転速度成分を除去して純並進速度成分を求めた後、測距開始地点（原点）から見た並進速度成分に変換して累積することで３次元空間における航法軌跡を求めるシステムでは、測距開始に際し、地上に設置した原点検出用のランドマークを認識して原点の絶対位置・絶対方位を知ることが必要であるが、このような場合、上記ステレオカメラ１０は、地表面撮像用のステレオカメラで兼用することができ、上記ステレオ処理部２０、上記認識処理部５０は、システムの一部として組み込むことができる。
【００１８】
上記ランドマークとしては、位置方位の検出精度を確保する上で、検出箇所が多く、線分の多いパターンであることが望ましいが、一方、上記ステレオ処理部２０におけるステレオマッチングに対し、悪影響を及ぼさないパターンでなければならない。
【００１９】
すなわち、上記ステレオ処理部２０では、２台１組のステレオカメラ１０で撮像した一対の画像に対し、各画像の小領域毎にシティブロック距離を計算して互いの相関を求めることで対応する領域を特定し、対象物までの距離に応じて生じる画素のズレ（＝視差）を求めるようにしており、このズレ量から得られる対象物までの遠近情報を数値化した３次元画像情報（距離画像）を取得するため、視差検出方向（水平走査方向）に類似した領域が複数存在すると、視差を誤検出（ミスマッチング）してしまう。尚、ステレオカメラの撮像画像から距離画像を生成する処理については、本出願人による特開平５−１１４０９９号公報に詳述されている。
【００２０】
例えば、図３に示すようなパターンのランドマーク５９では、単純な格子状のパターンであるため、Ａ−Ａ'の視差検出方向に対し、距離画像として抽出される輝度差のエッジを含む小領域ａ，ｂ，ｃ，ｄ，ｅ，ｆのうち、領域ａ，ｃ，ｅ、領域ｂ，ｄ，ｆがそれぞれ類似した小領域となってしまい、ステレオ処理に際してミスマッチングを起こし、正しい距離データを得ることができない。
【００２１】
従って、本発明では、同一走査線上にステレオ法による測距の誤りを引き起こすような同一画素パターンが無く、且つ、線分の交点が複数箇所あるパターンのランドマーク、すなわち、ステレオマッチングの際に、視差検出方向に類似した小領域が存在せず、どの方向に視差検出を行っても（パターンが画像中にどのように傾いて写っても）類似の領域が存在しないパターンのランドマークを採用する。
【００２２】
このようなランドマークのパターン例は、図４，５，６に示され、図４に示すランドマーク６０Ａ、図５に示すランドマーク６０Ｂでは、いずれも、輝度の異なる領域を三角形を組み合わせて形成したパターンを有し、視差検出方向Ａ−Ａ'に対して小領域ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇの中で類似した領域となるものがなく、ミスマッチングは起こらない。さらに、図６に示すランドマーク６０Ｃは、周囲と輝度の異なる領域をＸ字状に形成したパターンであり、同様に同一直線上に類似した小領域が存在しないため、視差検出方向Ａ−Ａ'に対して小領域ａ，ｂ，ｃ，ｄ，ｅ，ｆの中で類似した領域となるものがなく、且つ、線分の撮像長さを確保することで分解能を確保することができる。
【００２３】
以上のランドマーク６０Ａ（６０Ｂ，６０Ｃ）に対し、上記認識処理部５０では、図２の位置方位検出ルーチンを実行して位置・方位を検出する。
【００２４】
この位置方位検出ルーチンでは、まず、ステップS101で、マークを撮像した元画像に対し、マークを検出するために予め設定された探索領域を小領域に分割し、この小領域の輝度から、輝度微分ベクトルΔＰを求める。例えば、図７に示すように、マーク探索領域を２×２画素の小領域に分割し、ｉ方向に輝度データＰ0,Ｐ1、ｊ方向に輝度データＰ2,Ｐ3が得られているとき、輝度微分ベクトルΔＰは、以下の(1)式で与えることができる。

【００２５】
また、上記輝度微分ベクトルΔＰは、角度α、長さ（大きさ）Ｌで書き直すと、以下の(2),(3)式で表すことができる。
α＝ｔａｎ-1（−ΔＰi／ΔＰj） …(2)
Ｌ＝（ΔＰi²＋ΔＰj²）^1/2 …(3)
【００２６】
次いで、ステップS102へ進み、輝度微分ベクトルΔＰの長さＬがノイズを除去するため予め定めた閾値を越えているか否かを調べる。そして、ベクトルの長さＬが閾値を越えていない場合には、ステップS104へジャンプし、閾値を越えているとき、ステップS103で、ベクトルの角度αを軸としたヒストグラムｈ[α]（但し、α＝−９０〜＋９０ｄｅｇ）に度数を加算するとともに、その座標データｉ[n],ｊ[n]、距離画像から得た距離データｄ[n]、角度データＫ[n]をメモリにストアし、ステップS104へ進む。
【００２７】
ステップS104では、探索範囲の処理が終わったか否かを調べ、探索範囲の処理が終了していないときには上記ステップS101へ戻って上述の処理を繰り返し、探索範囲の処理が終了し、探索領域全面について輝度微分ベクトルΔＰが求まったとき、ステップS105へ進んで角度ヒストグラムのフィルタ処理を行い、ステップS106で、角度ヒストグラムのピーク値の間隔及び度数からヒストグラム中のどの群がパターン中のどの線分の検出結果なのかを判定して線分を分類し、線分の傾き及び切片を算出する。
【００２８】
例えば、図４に示すパターンのランドマーク６０Ａでは、マークが画像中に水平に写った場合、図９に示すような角度ヒストグラムが得られ、この角度ヒストグラムに参加した輝度微分ベクトルを持つ小領域の座標を画像上にプロットすると、パターンに対応して図８に示すような線分ＬＡ，ＬＢ，ＬＣ，ＬＤ，ＬＥが得られる。線分ＬＦ，ＬＧ，ＬＨ，ＬＩは背景との輝度微分ベクトルである。
【００２９】
この場合、図４のパターンでは、０ｄｅｇ、±６０ｄｅｇ，±９０ｄｅｇの組み合わせで輝度微分ベクトルが存在することがわかっており、図８の線分の写った角度と図９のヒストグラム群との関係から、群Ｈ１〜Ｈ６の中で、群Ｈ１に対して線分ＬＢ，ＬＥ、群Ｈ２に対して線分ＬＦ，ＬＨ、群Ｈ３に対して線分ＬＡ，ＬＤ、群Ｈ４に対して線分ＬＣ，ＬＧ，ＬＩが、それぞれ対応していると判定することができる。
【００３０】
そして、群Ｈ１を平均化処理することにより、線分ＬＢ，ＬＥの傾きθBEを求め、次いで、線分ＬＢと線分ＬＥとを分割するため、メモリにストアされた角度データＫ[n]から線分ＬＢに属する座標及び線分ＬＥに属する座標を抜き出し、ハフ変換により線分ＬＢの切片ＭB、線分ＬＥの切片ＭEを求める。
【００３１】
同様の処理を他の群にも行うことで、線分ＬＡ〜ＬＩの傾き及び切片を全て求めた後、上記ステップS106からステップS107へ進み、各線分の交点の座標、角度を算出してマークの２次元の位置・方位を認識し、さらに、各線分の傾きと切片とからエリアを設定し、抽出した座標ｉ[n],ｊ[n]、及び、距離データｄ[n]を用いて３次元空間中の線分として確定することにより、３次元空間での絶対位置・絶対方位を検出する。
【００３２】
これにより、３次元空間における移動体の自己位置を絶対位置・絶対方位で精度良く認識することができ、しかも、移動体に搭載可能な小型且つ安価な装置で実現することができる。
【００３３】
尚、図５及び図６のパターンの場合、角度の組み合わせが０ｄｅｇ，±４５ｄｅｇ，±９０ｄｅｇになり、同様の処理を行うことで、３次元の位置・方位を認識することができる。
【００３４】
【発明の効果】
以上説明したように本発明によれば、測距原点に設置され、撮像画像上で同一走査線上に同一画素パターンが無く、且つ、輝度微分画像で複数の線分の交点を複数箇所検出可能なパターンを有するマークをステレオカメラで撮像して遠近情報を数値化した距離画像を生成すると共に、マークの撮像画像を輝度微分して抽出した複数の線分の交点と傾きとに基づいて２次元の位置・方位を認識し、更に距離画像に基づいて測距原点に対する３次元の位置・方位を認識するため、移動体等に搭載可能な小型且つ安価な装置で、３次元空間における測距開始原点の絶対位置・絶対方位を精度良く検出可能とすることができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】測距原点認識装置の基本構成図
【図２】位置・方位検出ルーチンのフローチャート
【図３】単純な格子状パターンのランドマークを示す説明図
【図４】ミスマッチングを起こさないランドマークのパターン例１を示す説明図
【図５】ミスマッチングを起こさないランドマークのパターン例２を示す説明図
【図６】ミスマッチングを起こさないランドマークのパターン例３を示す説明図
【図７】輝度微分を求める小領域の抽出を示す説明図
【図８】輝度微分ベクトルの例を示す説明図
【図９】輝度微分ベクトルの角度ヒストグラムを示す説明図
【符号の説明】
１ …測距原点認識装置
１０…ステレオカメラ
２０…ステレオ処理部
５０…認識処理部
６０Ａ，６０Ｂ，６０Ｃ…ランドマーク

Claims

測距原点に設置され、撮像画像上で同一走査線上に同一画素パターンが無く、且つ、輝度微分画像で複数の線分の交点を複数箇所検出可能なパターンを有するマークと、
上記マークを撮像する２台１組のステレオカメラと、
上記ステレオカメラで撮像した一対の画像に対し、対応位置を探索して対象物までの距離に応じて生じる画素ズレ量を求め、この画素ズレ量から得られる対象物までの遠近情報を数値化した距離画像を生成するステレオ処理部と、
上記マークの撮像画像を輝度微分して抽出した上記複数の線分の交点と傾きとに基づいて２次元の位置・方位を認識し、更に上記距離画像に基づいて測距原点に対する３次元の位置・方位を認識する認識処理部とを備えたことを特徴とする測距原点認識装置。
上記複数の線分を、輝度微分ベクトルの角度を軸としたヒストグラムのピーク値の間隔及び度数に基づいて抽出することを特徴とする請求項１記載の測距原点認識装置。
上記マークは、輝度の異なる領域を三角形を組み合わせて形成したパターンを有することを特徴とする請求項１記載の測距原点認識装置。
上記パターンは、互いに輝度分布が反転する正三角形を画像左右に配置したパターンであることを特徴とする請求項３記載の測距原点認識装置。
上記パターンは、互いに輝度分布が反転する直角二等辺三角形を画像左右に配置したパターンであることを特徴とする請求項３記載の測距原点認識装置。