JP6992344B2 - ランドマーク選定方法及びランドマーク選定装置 - Google Patents

Description

本発明は、例えば車両の位置推定に利用できるランドマーク選定方法及びランドマーク選定装置に関する。

ランドマークとは、目印となる地理学上の特徴物のことである。撮像した画像から抽出した特徴点からランドマークを特定し、該ランドマーク用いて自車両の位置を推定する装置は、例えば特許文献１に開示されている。

特徴点とは、撮像した画像に含まれる例えば、路面の白線、道路上の構造物、及び道路周辺の建物の輪郭などである。撮像した画像には、不要な特徴点が多数含まれるため、それらを除去する必要がある。

特開２０１２－１２７８９６号公報

しかしながら、特許文献１には、不要な特徴点を除去する具体例が開示されていない。そのため、不要な特徴点に基づいてランドマークを特定する場合があり、測位精度の悪化、及び無効な計算量の増加などの課題が生じる。

本発明は、上記課題に鑑みてなされたものであり、ロバスト（頑健）な車両の位置推定のためのランドマーク選定方法及びランドマーク選定装置を提供することを目的としている。

本発明の一態様に係わるランドマーク検出方法は、車両の周囲の画像からランドマークを選定するランドマーク選定方法であって、前記画像を取得し、前記画像から抽出された特徴点を含む画像領域に、該画像領域より小さな画素の範囲であるテンプレート枠を適合させて、該テンプレート枠内の画像の輝度分散を算出し、前記画像から抽出された特徴点を含む画像領域に、前記テンプレート枠を前記画像上に重複しないように１画素ずつずらして配置させて、前記画像内の前記画像領域と、前記テンプレート枠内のそれぞれの画像領域と、の一致度を算出し、前記画像内における複数の前記一致度の分散である位置分散を算出し、前記輝度分散と前記位置分散を用いて前記抽出され特徴点の中からランドマークを選定する。

本発明のランドマーク選定方法によれば、ロバストな位置推定のためのランドマークを選定できる。

本発明の実施形態に係るランドマーク選定装置の構成を例示したブロック図である。 図１に示すランドマーク選定装置の処理手順を示すフローチャートである。 輝度分散を説明するための模式図である。 図１に示す画像情報センサで撮像した画像情報とテンプレートパッチと輝度分散の関係を模式的に示す図である。 位置分散を説明するための模式図である。 図１に示す画像情報センサで撮像した画像情報とテンプレートパッチと位置分散の関係を模式的に示す図である。 図１に示すフローチャートの一部を変形した変形例のフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

図１は、本発明の実施形態に係るランドマーク選定装置の構成を例示したブロック図である。図１に示すランドマーク選定装置１００は、車両の周囲の画像からランドマークを選定する装置である。

ランドマーク選定装置１００は、例えば、学習したランドマーク及び走行軌跡に基づいて車両の自律的な走行制御を実行する自己位置推定フェーズ（オンライン）で用いられる。また、自律的な走行制御の前にランドマーク及び走行軌跡を学習させる事前学習フェーズ（オフライン）でも用いられる。

以降の説明では、ランドマーク選定装置１００の動作を、事前学習フェーズで用いる場合の例で説明する。なお、自己位置推定フェーズにおいてもランドマーク選定装置１００の動作に変わりはない。

ランドマーク選定装置１００は、画像情報センサ１０、位置計測センサ２０、ジャイロ３０、移動量センサ４０、ランドマーク選定部５０、ランドマーク一時記憶部６０、ランドマーク追跡部７０、及び制御部８０を備える。

画像情報センサ１０は、車両の周囲の画像を取得する。画像情報センサ１０は、例えば複数のカメラで構成しても良い（カメラ１０ａ～１０ｄは図示せず）。例えば、カメラ１０ａは車両の前方に搭載されて車両前方を撮像する。カメラ１０ｂは車両の後方に搭載されて車両後方を撮像する。カメラ１０ｃは車両の左側に搭載されて車両左側を撮像する。カメラ１０ｄは車両の右側に搭載されて車両右側を撮像する。それぞれのカメラは、車両のルーフより下方に設置される。このように、例えば撮像素子を用いて画像を取得する。尚、ランドマークの選定に用いる画像は、カメラ１０ａ～１０ｄのどのカメラで撮像されたものでも構わない。

位置計測センサ２０は、車両の位置情報を計測する。位置計測センサ２０は、例えばＧＰＳ等の手段を用いて車両の位置を計測する。位置計測センサ２０は、画像情報センサ１０と連動し、画像情報センサ１０が画像情報を取得すると撮影位置（位置情報）を計測する。

ジャイロ３０は、車両の重心の鉛直軸周りのヨーレイト（回転角速度）を検出する。この回転角速度から、車両の進行方向に対する向き（姿勢）を検出することができる。ジャイロ３０は、車両の向きをリアルタイムで計測する。

移動量センサ４０は、例えば車両の車輪速を検出するセンサであり、車両の移動量を検出する。

ランドマーク選定部５０は、画像情報センサ１０から車両の周囲の画像、位置計測センサから位置情報、ジャイロ３０から車両の姿勢情報、及び移動量センサ４０から車両の移動量情報を取得して、ランドマークとして選定する前のランドマーク候補を出力する。なお、姿勢情報と移動量情報は、画像情報に含ませることが可能である。姿勢情報と移動量情報を、画像情報に含めた場合は、ジャイロ３０と移動量センサ４０は不要である。

ランドマーク一時記憶部６０は、ランドマーク選定部５０が出力するランドマーク候補を記憶する。ランドマーク一時記憶部６０は、画像情報センサ１０が画像情報を取得する時間の単位（１フレーム）でランドマーク候補を記憶する。つまり、フレームが更新されて存在しなくなったランドマーク候補は、フレーム更新時に消去される。

ランドマーク追跡部７０は、例えば２フレーム間以上で存在するランドマーク候補を、ランドマークＰｉに選定して外部に出力する。ランドマークＰｉは、一つの画像から数十個が選定される。Ｐｉは、ランドマークを識別するインデックスである。ランドマークＰｉには、位置情報、姿勢情報、及びカメラパラメータ等が添付されて出力される。カメラパラメータとは、画像情報センサ１０を構成する例えばカメラの仕様情報である。

ランドマークＰｉは、例えば地図マッチング部（図示せず）において、地図上に配置される。又は、位置推定部（図示せず）に入力され、ランドマーク選定装置１００が搭載された例えば車両の位置の推定に利用される。

制御部８０は、ランドマーク選定装置１００の各機能構成部が、連携して動作するように各機能構成部の動作を制御する。制御部８０は、ランドマーク選定部５０、ランドマーク一時記憶部６０、及びランドマーク追跡部７０の機能を含めて一体化させて、コントローラと称しても良いものである。

各センサ（１０～４０）を除くランドマーク選定装置１００は、例えば、中央演算ユニット（ＣＰＵ）や、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成することができる。

図２は、ランドマーク選定装置１００の処理手順を示すフローチャートである。図１と図２を参照してランドマーク選定装置１００の動作を詳しく説明する。

ランドマーク選定部５０は、画像情報センサ１０から車両の周囲の画像を取得する。画像は、例えば1/15秒のフレーム毎に更新される。

ランドマーク選定部５０は、ランドマークＰｉを識別する変数ｉを1に初期化する（ステップＳ２）。そして、画像から特徴点を抽出する（ステップＳ３）。

特徴点は、路面の白線や建物の輪郭などに対応する線分や角点などである。特徴点は、画像を構成する画素の明度・輝度などの差分を求めることで抽出できる。

ランドマーク選定部５０は、画像から抽出された特徴点を含む画像領域に、テンプレート枠を適合させる（ステップＳ４）。そして、テンプレート枠内の画像領域の輝度分散を算出する（ステップＳ５）。

（輝度分散）
図３を参照して輝度分散について説明する。図３は、画像Ｇを例えば15×15画素の画像とし、特徴点をアルファベットの「Ａ」とした図である。特徴点である「Ａ」に、5×5の画素数のテンプレート枠ＴＰが適合されている。

図４は、輝度分散を模式的に示す図である。歩道を含む道路の画像情報Ｇの中央付近の白線部分に、テンプレート枠ＴＰが適合され、白線部分の輝度が高く、白線から離れるに従って輝度が低下する輝度分散を表す輝度ヒストグラムが求められている。

輝度分散は、テンプレート枠ＴＧ内の全ての画素の輝度分散、つまりｘｙ平面の輝度分散であっても良い。又はｘ軸方向、又はｙ軸方向の一軸方向の輝度分散であっても良い。

図３に示すテンプレート枠ＴＰの画像領域の輝度分散は、例えば画素ｘ_６ｙ_８＝消灯、ｘ_７ｙ_８＝点灯、ｘ_８ｙ_８＝点灯、ｘ_９ｙ_８＝点灯、ｘ_１０ｙ_８＝消灯の変化から求める。また、例えばｘ_８ｙ_６＝消灯、ｘ_８ｙ_７＝消灯、ｘ_８ｙ_８＝点灯、ｘ_１０ｙ_８＝消灯、ｘ_１１ｙ_８＝点灯の変化から求めても良い。また、画素のR，G，Bのそれぞれの画素値（0～255）の分散を求めても良い。

ランドマーク選定部５０は、算出した輝度分散と第１閾値を比較する（ステップＳ６）。輝度分散が第１閾値よりも小さい場合は、テンプレート枠ＴＰの範囲内の画像のコントラストが悪く、ランドマーク候補とする特徴点として適当ではない。そこで該特徴点を破棄し、他の特徴点を抽出する処理に戻る（ステップＳ３）。

輝度分散が第１閾値よりも大きい場合の特徴点は、ランドマーク候補として適当である。そこで、次に該特徴点の位置分散を算出する（ステップＳ７）。

（位置分散）
位置分散は、画像から抽出された特徴点を含む画像領域にテンプレート枠ＴＰを適合させて、画像Ｇ内の画像領域と、テンプレート枠ＴＰ内の画像領域と、の一致度を算出し、その一致度の画像Ｇ内における分散である。位置分散は、テンプレート枠ＴＰ内の画像領域に類似する画像領域が画像Ｇ内に多く含まれる場合は大きく、また、テンプレート枠ＴＰ内の画像領域に類似する画像領域が画像Ｇ内に多く含まれない場合は小さくなる分散である。図５を参照して位置分散について説明する。

図５は、図３と同様に画像Ｇを例えば15×15画素の画像とし、テンプレート枠ＴＰの大きさを例えば5×5の画素の範囲とした図である。特徴点も図３と同様に画像Ｇの中心に描かれたアルファベットの「Ａ」である。

画像Ｇ内の画像領域と、テンプレート枠ＴＰ内の画像領域と、の一致度を算出する。一致度は、テンプレート枠ＴＰに囲まれた特徴点の画像を、画像Ｇ上に重複しないように1画素ずつずらして配置させ、特徴点「Ａ」との一致・不一致を見た値である。

テンプレート枠ＴＰ内の画像領域の特徴点「Ａ」の画像を、画像Ｇ上の「Ａ」に重ねると、画素ｘ_８ｙ_８に「25」で示す最も大きな一致度が得られる。この一致度は、テンプレート枠ＴＰ内の画素の点灯状態が一致すれば「1」、不一致であれば「0」としてテンプレート枠ＴＰ内のそれらの値を累計した値である。なお、一致度は、画素のR，G，Bのそれぞれの画素値（0～255）を比較して求めても良い。

上記の一致度「25」は、この例における一致度の最大値である。この状態から、テンプレート枠ＴＰを－ｘ方向に１画素分ずらした場合の一致度は「17（ｘ_７ｙ_８）」である。つまり、点灯状態で一致する画素数が10→2個に減少する。

また、一致度「25」の状態から、テンプレート枠ＴＰをｙ方向に１画素分ずらした場合の一致度は「19（ｘ_７ｙ_９）」である。つまり、点灯状態で一致する画素数が10→4個に減少する。

また、テンプレート枠ＴＰ内の画像領域の特徴点「Ａ」の画像を、画像Ｇのｘ_１ｙ_１～ｘ_５ｙ_５に重ねた場合の一致度は「15（ｘ_３ｙ_３）」である。同様に特徴点「Ａ」の画像を、画像Ｇのｘ_１１ｙ_１～ｘ_１５ｙ_５、画像Ｇのｘ_１ｙ_１１～ｘ_５ｙ_１５、及び画像Ｇのｘ_１１ｙ_１１～ｘ_１５ｙ_１５のそれぞれに重ねた場合の一致度も「15（ｘ_１３ｙ_３）」、「15（ｘ_３ｙ_１３）」、「15（ｘ_１３ｙ_１３）」である。

このように一致度は、テンプレート枠ＴＰを重ねられる範囲で得られる。逆の言い方をすれば一致度は、テンプレート枠ＴＰを重ねられる範囲でしか得られない。一致度が得られる範囲を、例えば探索範囲ＴＨと称する。

図６は、画像Ｇとテンプレート枠ＴＰと探索範囲ＴＨと位置分散の関係を模式的に示す図である。テンプレート枠ＴＰを適合させた画像領域（道路の白線部分）に一致（類似）する画像は、画像Ｇの中央部分にのみ存在し、他の探索範囲ＴＨ内に存在しないことを示している。

図５に示す例では、一致度は画素ｘ_８ｙ_８で最大値の「25」を示し、何れの方向でも一様に低下する分布を示す。この一致度の分散を計算したものが位置分散である。画像Ｇの画像領域とテンプレートＴＰの画像領域との一致度を分布にした時、テンプレート枠ＴＰとの一致度が近い画素の数が多いほど一致度の分散が大きくなり、逆に、テンプレート枠ＴＰとの一致度が近い画素の数が少ないほど分散が小さくなる。

画像Ｇの中心部分の他に、特徴点「Ａ」の表示が有る場合は位置分散が大きくなる。このように位置分散によって、特徴点を含む画像領域に類似する画像領域が、画像Ｇに含まれる程度を評価することができる。

ランドマーク選定部５０は、算出した位置分散と第２閾値を比較する（ステップＳ８）。位置分散が第２閾値よりも大きい場合、特徴点を含むテンプレート枠ＴＰ内の画像領域は、ランドマーク候補として不適当である。そこで該特徴点を破棄し、他の特徴点を抽出する処理に戻る（ステップＳ３）。

特徴点の含むテンプレート枠ＴＰ内の画像領域の輝度分散が第１閾値よりも大きく、且つ位置分散が第２閾値よりも小さい場合（ステップＳ８のＹＥＳ）、該特徴点を含む画像領域はランドマーク候補にするのに適当である。その場合、制御部８０は、該特徴点を含むテンプレート枠ＴＰ内の画像領域をランドマーク一時記憶部６０に記憶させる。ランドマーク一時記憶部６０は、例えばＲＡＭ等のメモリに置き代えても良い。なお、ランドマーク一時記憶部６０に記憶させる画像領域は、画像そのもので無くてよい。画像領域と識別子を対応付け、該識別子を記憶するようにしてもよい。

ランドマーク追跡部７０は、ランドマーク一時記憶部６０に記憶したテンプレート枠ＴＰ内の画像領域の画像が、画像情報センサ１０が画像を取得するフレームが変わっても存在するか否かを判定する（ステップＳ１０）。存在する場合、該テンプレート枠ＴＰ内の画像領域の画像を、ランドマークとして選定し、外部に出力する（ステップＳ１１）。存在しない場合は、ランドマーク一時記憶部６０に記憶したランドマーク候補を消去する（ステップＳ１２）。

制御部８０は、ランドマーク一時記憶部６０に記憶されたランドマーク候補が消去された後、他の特徴点を抽出する処理に戻って処理を続けるようにランドマーク選定装置１００の動作を制御する（ステップＳ３）。

また、制御部８０は、ランドマークＰｉが選定され外部に出力された後、ランドマークＰｉがｎ個になるまで、ステップＳ３～Ｓ１４の処理を繰り返すようにランドマーク選定装置１００の動作を制御する（ステップＳ１４のＮＯ）。ｎは例えば数十の数である。

更に制御部８０は、ランドマーク選定装置１００の動作が停止されるまで、画像情報センサ１０が画像を取得する処理（ステップＳ１）～１つの画像からｎ個のランドマークを選定する処理（ステップＳ１４）を繰り返す（ステップＳ１５のＮＯ）。

以上述べたように本実施形態に係るランドマーク選定方法は、車両の周囲の画像Ｇからランドマークを選定するランドマーク選定方法であって、画像Ｇを取得し、画像Ｇから抽出された特徴点を含む画像領域にテンプレート枠ＴＰを適合させて、該テンプレート枠ＴＰ内の輝度分散を算出し、画像Ｇから抽出された特徴点を含む画像領域にテンプレート枠を適合させて、画像Ｇ内の画像領域と、テンプレート枠ＴＰ内の画像領域と、の一致度を算出し、画像Ｇ内における一致度の分散である位置分散を算出し、輝度分散と位置分散を用いて抽出された特徴点の中からランドマークを選定する。

これにより、輝度分散と位置分散を用いて頑健なランドマークを選定することができる。頑健なランドマークは、例えば車両の位置推定の精度向上に寄与する。

また、本実施形態に係るランドマーク選定方法によれば、輝度分散は、位置分散より先に算出する。これにより、計算負荷を軽減させることができる。つまり、輝度分散の計算量は、位置分散の計算量よりも少ない。したがって、輝度分散を先に算出することで、計算量の多い不要な位置分散の計算回数を抑制する効果を奏する。

また、本実施形態に係るランドマーク選定方法によれば、ランドマークの選定は、輝度分散が第１閾値よりも大きく、且つ位置分散が第２閾値よりも小さいものを選定する。これにより頑健なランドマークを選定することができる。画像Ｇの画像領域とテンプレートＴＰの画像領域との一致度を分布にした時、一致度が近い画素の数が多いほど分布の分散が大きくなり、逆に、一致度が違い画素の数が少ないほど分散が小さくなる。画像内の探索範囲において、分散が小さいほど、テンプレートと所定の一致度を示す画素の数が減少する。そのため、テンプレートとランドマークを照合して算出する自己位置の候補を抑制することができるようになり、安定した自己位置推定につながる。また、テンプレートと所定の一致度を示す画素の数が減少する。そのため、テンプレートとランドマークを照合して算出される自己位置の候補を抑制することにより、システムの演算負荷を抑制することができる。

なお、第１閾値と第２閾値は、固定の例で説明したが本発明はこの例に限定されない。得られる特徴点の数に応じて第１閾値と第２閾値の値を変化させるようにしても良い。

図７は、特徴点の数に応じて第１閾値と第２閾値の値を変化させる処理手順を示すフローチャートである。図７に示すステップＳ２０～Ｓ２２は、図２のフローチャートのステップＳ３とＳ４の間に挿入されるフローチャートである。

この場合のランドマーク選定部５０は、１つの画像Ｇ内に存在する特徴点の数を算出する（ステップＳ３）。特徴点の数が所定数（Ｎ個）より多い場合は、第１閾値＝Ａ、第２閾値＝Ｂに設定する（ステップＳ２１）。また、特徴点の数が所定数よりも少ない場合は、第１閾値＝Ｃ、第２閾値＝Ｄに設定する（ステップＳ２２）。

ここで、Ａ＞Ｃ、Ｂ＜Ｄであるとする。つまり、特徴点の数が所定数Ｎよりも少ない場合の第１閾値（Ｃ）は、特徴点の数が所定数よりも多い場合の第１閾値（Ａ）よりも小さく（Ｃ＜Ａ）、特徴点の数が所定数よりも少ない場合の第２閾値（Ｄ）は、特徴点の数が所定数よりも多い場合の第２閾値（Ｂ）よりも大きい（Ｄ＞Ｂ）。

これにより、特徴点の数が少ない場合に、ランドマーク一時記憶部６０に記憶するランドマーク候補の条件を緩和することができる。その結果、対象物の数が少ない画像Ｇからでも確実にランドマークを選定することが可能になる。

また、上記の実施形態では、画像情報センサ１０を、撮像素子で構成する例で説明したが本発明はこの例に限定されない。画像情報センサ１０は、例えば、対象物に向けて赤外線レーザを照射し、その反射光の強度により対象物までの距離を測定するレーザレンジファインダ（ＬＦＲ）等で構成してもよい。画像Ｇは、カメラ画像のみならず、レーザレーダ、ミリ波レーダ、赤外線レーザレーダによる（距離情報を含む）３次元画像も含まれる。

また、上述した実施形態の各機能部は、１又は複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理装置は、また、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置を含んでも良い。

つまり、本発明のランドマーク選定装置１００は、画像を取得する画像情報センサ１０と、車両の周囲の画像Ｇからランドマークを選定するコントローラ８０と、を備え、コントローラ８０は、画像Ｇから抽出された特徴点を含む画像領域にテンプレート枠ＴＰを適合させて、該テンプレート枠ＴＰ内の画像領域の輝度分散を算出し、該テンプレート枠ＴＰ内の画像領域に類似する画像領域が画像Ｇ内に含まれる場合は大きく、また、該テンプレート枠ＴＰ内の画像領域に類似する画像領域が画像Ｇ内に含まれない場合は小さくなる位置分散を算出し、輝度分散と位置分散を用いて抽出された特徴点の中からランドマークを選定する。

本発明のランドマーク選定装置１００は、例えば自動車等に搭載される自己位置推定装置に適用することができる。該自己位置推定装置は、ランドマーク選定装置１００によって選定したランドマークを学習し、学習済みランドマークとの照合によって、自車両の位置を推定する。

以上、実施形態に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。

１０ 画像情報センサ（カメラ）
２０ 位置計測センサ
３０ ジャイロ
４０ 移動量センサ
５０ ランドマーク選定部（ランドマーク選定回路）
６０ ランドマーク一時記憶部
７０ ランドマーク追跡部
８０ 制御部（コントローラ）
Ｐｉ ランドマーク

Claims (6)

1. 車両の周囲の画像からランドマークを選定するランドマーク選定方法であって、
   前記画像を取得し、
   前記画像から抽出された特徴点を含む画像領域に、該画像領域より小さな画素の範囲であるテンプレート枠を適合させて、該テンプレート枠内の輝度分散を算出し、
   前記画像から抽出された特徴点を含む画像領域に、前記テンプレート枠を前記画像上に重複しないように１画素ずつずらして配置させて、前記画像内の前記画像領域と、前記テンプレート枠内のそれぞれの画像領域と、の一致度を算出し、
   前記画像内における複数の前記一致度の分散である位置分散を算出し、
   前記輝度分散と前記位置分散を用いて前記抽出された特徴点の中から前記ランドマークを選定する
   ことを特徴とするランドマーク選定方法。
2. 前記輝度分散は、前記位置分散より先に算出する
   ことを特徴とする請求項１に記載のランドマーク選定方法。
3. 前記ランドマークの選定は、
   前記輝度分散が第１閾値よりも大きく、且つ前記位置分散が第２閾値よりも小さいものを選定する
   ことを特徴とする請求項１又は２に記載のランドマーク選定方法。
4. 前記特徴点の数が所定数よりも少ない場合の第１閾値は、前記特徴点の数が前記所定数よりも多い場合の第１閾値よりも小さい
   ことを特徴とする請求項３に記載のランドマーク選定方法。
5. 前記特徴点の数が所定数よりも少ない場合の第２閾値は、前記特徴点の数が前記所定数よりも多い場合の第２閾値よりも大きい
   ことを特徴とする請求項３又は４に記載のランドマーク選定方法。
6. 画像を取得する画像情報センサと、
   車両の周囲の画像からランドマークを選定するランドマーク選定部と、を備え、
   前記ランドマーク選定部は、
   前記画像から抽出された特徴点を含む画像領域に、該画像領域より小さな画素の範囲であるテンプレート枠を適合させて、該テンプレート枠内の輝度分散を算出し、
   前記画像から抽出された特徴点を含む画像領域に、前記テンプレート枠を前記画像上に重複しないように１画素ずつずらして配置させて、前記画像内の前記画像領域と、前記テンプレート枠内のそれぞれの画像領域と、の一致度を算出し、
   前記画像内における複数の前記一致度の分散である位置分散を算出し、
   前記輝度分散と前記位置分散を用いて前記抽出された特徴点の中から前記ランドマークを選定する
   ことを特徴とするランドマーク選定装置。

Images