JPWO2018123641A1

JPWO2018123641A1 - 走行可能領域検出装置及び走行支援システム

Info

Publication number: JPWO2018123641A1
Application number: JP2018559043A
Authority: JP
Inventors: 優貴造田; 寛人三苫
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2016-12-27
Filing date: 2017-12-15
Publication date: 2019-10-31
Anticipated expiration: 2037-12-15
Also published as: WO2018123641A1; JP6837262B2; CN110088801B; CN110088801A

Abstract

本発明は、移動体の前方における路端の途切れを検出し、検出した路端の途切れから移動体が走行することができる走行可能領域が存在するか否かを判定することが可能な走行可能領域検出装置及びそれを用いた走行支援システムを実現する。本発明は、走行可能領域検出装置１は、ステレオカメラ装置２により取得された複数の画像に基づいて生成された視差画像から、走行領域の道路端の位置を検出する。検出した路端の位置情報に基づいて路端と路端の間である途切れの高さ方向の変化と、路端の途切れから走行車線と反対側に広がる領域の勾配変化を推定する。これにより、路端の途切れが自車両Ｖの走行可能領域か否かを判定することができる。

Description

本発明は、走行可能領域検出装置及び走行支援システムに関する。

従来、移動体である自動車等の車両に搭載されたカメラやレーダから得られる情報に基づいて、該当車両が走行する道路（走行路）上の白線や路端（歩道や路側帯や縁石などとの境界）等を検知し、その検知結果をドライバーの運転支援に利用するシステムが開発されている。

特許文献１には、車両の周辺を撮像する車載カメラにより路端の途切れを検出し、その途切れ区間のエッジ情報から対象区間を走行可能領域とする車載システムが開示されている。

特開２０１６−１８３７１号公報

しかしながら、特許文献１に開示されている技術では、路端途切れを検出しているが、路端途切れ区間の距離の算出や、路端途切れ区間の車道と反対側の領域が走行可能か否かを判定しておらず、信頼性の高い走行可能領域を検出することが困難であるという問題があった。

このため、移動体である車両の前方における路端の途切れを検出し、その途切れから車両が走行することができる走行可能領域が存在するか否かを判定することが可能な走行可能領域検出装置及びそれを用いた走行支援システムが望まれていた。

本発明は、上記従来技術の問題に鑑みてなされたものであって、その目的とするところは、移動体の前方における路端の途切れを検出し、検出した路端の途切れから移動体が走行することができる走行可能領域が存在するか否かを判定することが可能な走行可能領域検出装置及びそれを用いた走行支援システムを実現することである。

上記する課題を解決するために、本発明は、次のように構成される。

走行可能領域検出装置において、
撮像画像に基づいて、移動体が走行する道路上に存在する路端を検出し、路端情報を出力する路端検出部と、
上記路端検出部で検出された路端情報に基づいて探索範囲を決定する探索範囲決定部と、
上記探索範囲決定部により決定された探索範囲に基づいて、移動体から見て路端側の走行可能判定領域の路面勾配を推定する路面勾配推定部と、
少なくとも上記路面勾配推定部により推定された上記路面勾配から、上記走行可能判定領域は上記移動体が走行可能な領域か否かを判定する走行可能領域判定部と、を備える。

また、走行支援システムにおいて、
移動体の前方を撮像する撮像装置と、
上記撮像装置が撮像した撮像画像に基づいて、移動体が走行する道路上に存在する路端を検出し、路端情報を出力する路端検出部と、上記路端検出部で検出された路端情報に基づいて探索範囲を決定する探索範囲決定部と、上記探索範囲決定部により決定された探索範囲に基づいて、移動体から見て路端側の走行可能判定領域の路面勾配を推定する路面勾配推定部と、少なくとも上記路面勾配推定部により推定された上記路面勾配から、上記走行可能判定領域は上記移動体が走行可能な領域か否かを判定する走行可能領域判定部と、を有する走行可能領域検出装置と、
上記走行可能領域検出装置の判定結果に従って上記移動体の動作を制御して走行を支援する走行支援制御装置と、を備える。

本発明によれば、移動体の前方における路端の途切れを検出し、検出した路端の途切れから移動体が走行することができる走行可能領域が存在するか否かを判定することが可能な走行可能領域検出装置及びそれを用いた走行支援システムを実現することができる。

本発明の一実施例に係わる走行可能領域検出装置が適用された走行支援システムの概略構成図である。走行可能領域判定処理のフローチャートである。走行可能領域検出装置により検出された路端点群を示す俯瞰図である。走行可能領域検出装置により検出された路端点群と探索範囲を示す図である。

以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。

本発明の一実施例は、移動体として車両に適用された場合の例である。

図１は、本発明の一実施例に係わる走行可能領域検出装置が適用された走行支援システムの概略構成図である。

図１において、走行支援システムは、例えば、自動車等の車両Ｖ（図３に示す）搭載されており、主に、車両Vの前方を撮像する複数（本実施例では、２つ）のカメラからなるステレオカメラ装置（撮像装置）２と、ステレオカメラ装置２の各カメラで同期して撮像された複数の画像から該当車両Ｖの周囲の走行可能領域を検出する走行可能領域検出装置１と、走行可能領域検出装置１の検出結果に基づいて車両Ｖに搭載された各種制御装置（例えば、アクセル制御部３１、ブレーキ制御部３２、スピーカ制御部３３、ステアリング制御部３４など）を制御して該当車両Ｖの動作を制御して走行を支援する走行支援制御装置３と、を備えている。

ステレオカメラ装置２は、例えば車両Ｖの前方のフロントガラスの上部の手前に、車両Ｖの前方に向かって設置されており、車両Ｖの前方を撮像して画像情報を取得する一対の撮像部としての左カメラ（左画像取得部）１０と、右カメラ（右画像取得部）１１とを備えている。

左カメラ１０と右カメラ１１は、それぞれ、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有しており、互いに車両の左右方向（車両の長手方向に直交する方向）に互いに離間した位置から車両Ｖの前方を撮像するように設置されている。

走行可能領域検出装置１は、ステレオカメラ装置２で所定の周期で時系列的に取得した車両Ｖの前方の撮影対象領域の画像情報に基づいて走行可能領域を検出する装置である。

走行可能領域検出装置１は、特に、走行路側面の歩道や路側帯や縁石などとの境界である道路端の途切れから、走行可能領域を検出し、その検知結果を走行支援制御装置３へ出力する。

なお、この走行可能領域検出装置１は、ステレオカメラ装置２を制御する（例えば、各カメラ、の撮像タイミングや露光量を制御する）カメラ制御部、一時記憶領域であるＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、プログラムや各種初期値を格納するＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、システム全体の制御を行うＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）認識情報等をシステム外へ出力する外部ＩＦ（Ｉｎｔｅｒｆａｃｅ）画像処理ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）などから構成され、各構成要素はバスを介して通信可能に接続されている。

走行可能領域検出装置１は、図１に示すように、視差画像生成部１２と、路端検出部１３と、探索範囲決定部１４と、路面勾配推定部１５と、走行可能領域判定部１６とを備えている。

ステレオカメラ装置２の左画像取得部１０及び右画像取得部１１は、それぞれ撮像した左画像及び右画像を取得し、取得した左画像及び右画像を視差画像生成部１２に送信する。

走行支援制御装置３は、走行可能領域検出装置１から受信した検出結果（判定結果）に基づいて、該当車両Ｖのスピーカ制御部３３の作動、該当車両Ｖの走行を支援するためのアクセル制御部３１の制御量、ブレーキ制御部３２の制御量、ステアリング制御部３４の制御量を算出して、アクセルやブレーキやステアリングなどの調整を行うようにしている。

なお、以下では、走行可能領域検出装置１によって、該当車両Ｖの前方に存在する走行可能領域を検出する場合について具体的に説明する。

車両の走行路上の路端（歩道や縁石や中央分離帯など）の途切れには高さの変化が存在している（例えば、路端の高さや勾配の変化など）ため、途切れ区間の高さ変化と、途切れ区間の走行車線と反対方向に存在する領域の路面の勾配変化を利用することで、途切れ区間から車両が走行することができる走行可能領域が存在するか否かを判断することができると考えられる。

次に、走行可能領域検出装置１により実行される走行可能領域判定処理について、図２、図３、図４を参照して説明する。図２は、走行可能領域判定処理のフローチャートであり、図３は、走行可能領域検出装置１により検出された路端点群を示す俯瞰図である。また、図４は、走行可能領域検出装置１により検出された路端点群と探索範囲を示す図である
走行可能領域判定処理を、図２に示すフローチャートに沿って説明する。本処理は、一例として車両の走行が開始されたときに開始される。

なお、図２に示すステップＳ１は視差画像生成部１２の処理であり、ステップＳ２、Ｓ３、及びＳ４は路端検出部１３の処理であり、ステップＳ５及びＳ６は探索範囲決定部１４の処理である。

また、ステップＳ７は路面勾配推定部１５の処理であり、ステップＳ８及びＳ９が走行可能領域判定部１６の処理である。

図２のステップＳ１において、左画像取得部１０および右画像取得部１１で取得した左画像及び右画像を使用して視差画像を生成し、生成した視差画像がステップＳ２にて処理される。

具体的には、左画像取得部１０および右画像取得部１１で取得した左画像及び右画像に基づいて、ブロックマッチング処理により視差（画像間での位置ずれ）を算出し、算出された視差に基づいて３次元的な距離情報（空間情報）を含む視差画像を生成する。

より詳細には、ステップＳ１は、ブロックマッチング処理にて、一方の画像（例えば左画像）を、所定形状の第１ブロックにより複数の画素を含むように区切り、他方の画像（例えば右画像）を、第１ブロックと同じサイズ・形状・位置の第２ブロックで区切る。

そして、第２ブロックを１画素ずつ横方向にずらして各位置で第１ブロック内及び第２ブロック内における２つの輝度パターンについての相関値を算出し、その相関値が最も小さくなる、すなわち、相関が最も高い位置を探索（対応点検索）する。

なお、相関値の算出方法としては、例えば、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）やＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（ＮｏｒｍａｌｉｚｅｄＣｒｏｓｓＣｏｒｒｅｌａｔｉｏｎ）、勾配法などを用いることができる。

探索の場合、相関が最も高くなる位置を特定した場合には、第１ブロック内の特定の画素と特定された位置における第２ブロック内の特定の画素との間の距離を視差として算出し、これを１つのステップとして同様のステップを全画素について実行することにより、視差画像を生成することができる。

ステップＳ２は、ステップＳ１で取得した視差画像を使用して、走行路上の道路端（例えば歩道・縁石やガードレールや連続するポール、壁など）候補となり得る路端部位を抽出し、抽出した路端の位置情報がステップＳ３により処理される。

ステップＳ２を具体的に説明すると、ステップＳ１で取得された視差画像において、路端候補となる物体付近の距離変化は、平坦部分の距離変化と比べて小さいことを利用して、路端候補部分の特徴点を検出する。例えば、画像データを垂直方向に走査し、路側物と見なせる段差を検出する。

次に、ステップＳ３では、検出した路端を車両Ｖの左側路端と右側路端に振り分ける。
さらに、図３に示すように、他車両や歩行者等の路側物以外の路端点群１００（図示した例は車両の場合である）を除外し、走行可能領域探索のために用いる路端点群１０１のみを抽出し、抽出した路端情報（路端検出部１３から出力される）のみがステップＳ４にて処理される。

ここで、走行可能領域探索のために用いる路端とは、車両Ｖの走行車線上の障害物（例えば他車両）を除く、走行車線と道路端との境界のことである。

次に、ステップＳ４では、抽出された路端において、路端の途切れが存在し、かつその路端の途切れが車両Ｖの走行可能領域候補と判断した場合、抽出された路端の位置情報がステップＳ５で処理され。車両Ｖの走行可能領域候補の判断においては、図３の路端終了地点１０３と路端開始地点１０２との間の距離が車両Ｖの幅以上となった場合に、走行可能領域候補とする。

ステップＳ５では、ステップＳ４で検出された路端の途切れ区間（地点１０２と地点１０３との間）から、路面勾配推定に用いる処理領域、つまり、探索範囲（車両から見て路端側の領域範囲）を決定し、決定した探索範囲の座標がステップＳ６で処理される。

具体的には、図４に示すように、路端の途切れ区間の開始地点１０２から、途切れ終了地点１０３までの直線４００と、地点１０２と地点１０３とから走行路と反対側に水平方向にひかれた直線２００及び３００、さらに画面端の直線５００によって形成された矩形領域６００を探索範囲とする。図２のステップＳ５に記載された路面勾配推定用フィルタサイズの設定とは、矩形領域６００の設定を意味する。

次に、ステップＳ６では、ステップＳ５で決定された矩形領域６００の範囲内に、遮蔽物（樹木やガードレール等）が検出され、路面の勾配を推定することができない場合は、ステップＳ１７にて路面構内推定不可判定とし、路面勾配推定が可能な場合のみ、ステップＳ５の情報がステップＳ７にて処理される。

ステップＳ７は、ステップＳ５で決定された探索領域である矩形領域６００の路面の勾配を推定し、推定した勾配情報がステップＳ８にて処理される。

ステップＳ７における具体的な推定手順は、探索領域（走行可能判定領域）である矩形領域６００を水平方向に走査し、路面の高さ情報を取得する。これを、１つのステップとして、近方側（路端の途切れに対して自車両Ｖ側）から路面の高さ情報を取得して、矩形領域６００における路面の勾配を推定する。

ステップＳ８は、ステップＳ７で推定された路面の勾配変化から、路面勾配が車両Ｖの走行可能な範囲の傾斜かどうかを判断しており、走行不可能な勾配と判定された場合は走行不可能領域とステップＳ１８で判定する。そして、矩形領域６００が走行可能と判断された場合のみ、ステップＳ７の情報がステップＳ９にて処理される。

ステップＳ９は、車両Ｖが車道から路端途切れ区間内に進入した際に、車両Ｖが走行車線にはみ出すことなく停車できるだけの領域が存在しているか、すなわち、障害物（壁や段差等）の有無、穴の存在、自車両が走行できる領域か否かを判定している。

障害物となる物体が存在するか、穴が存在するか、又は自車両が走行できる領域ではないと判定した場合は、ステップＳ１８において走行不可能領域と判定される。

また、ステップＳ８で、障害物となる物体が存在せず、穴も存在せず、及び自車両が走行できる領域ではあると判定した場合は、ステップＳ１９にて走行可能領域判定し、その判定結果を走行支援装置３に送信する。

そして、走行支援制御装置３は、ステップＳ６での遮蔽判定と、ステップＳ８及びステップＳ９での判定結果に基づいて、ステップＳ１７の路面勾配推定不可判定とステップＳ１８の走行不可能領域判定、及びステップＳ１９の走行可能領域判定の結果より車両Ｖの走行支援を実施する。

以上のように、本発明の一実施例における走行可能領域検出装置においては、ステレオカメラ装置２により取得された複数の画像に基づいて生成された視差画像から、走行領域の道路端の位置を検出し、検出したその路端の位置情報に基づいて路端１０２及び１０３の間である途切れの高さ方向の変化と、路端の途切れから走行車線と反対側に広がる領域の勾配変化を推定することにより、路端の途切れが自車両Ｖの走行可能領域か否かを判定することができる。

これにより、例えば、自車両Ｖの走行路上の路端の途切れを検出した場合であっても、その路端の途切れから走行可能領域を推定でき、自動運転に向けた高精度な走行支援を提供することができる。

すなわち、移動体の前方における路端の途切れを検出し、検出した路端の途切れから移動体が走行することができる走行可能領域が存在するか否かを判定することが可能な走行可能領域検出装置及びそれを用いた走行支援システムを実現することができる。

なお、上述した例は、本発明の走行可能領域検出装置を車両の搭載する例であるが、本発明は車両に限らず、他の移動体にも適用可能である。例えば、災害用に使用される走行ロボット（救助用ロボット）等にも本発明は適用可能である。

また、上述した例において、ステレオカメラ装置として、ＣＣＤやＣＭＯＳ等の撮像素子を例としたが、撮像装置としては、レーザレーダを用いることも可能である。

また、上述した例においては、視差画像生成部１２により視差画像を生成し、路側物を検出しているが、路側物の検出は、視差画像以外の画像認識処理により、路側物の検出は可能である。

１・・・走行可能領域検出装置、２・・・ステレオカメラ装置、３・・・走行支援制御装置、１０・・・左画像取得部、１１・・・右画像取得部、１２・・・視差画像生成部、１３・・・路端検出部、１４・・・探索範囲決定部、１５・・・路面勾配推定部、１６・・・走行可能領域判定部、３１・・・アクセル制御部、３２・・・ブレーキ制御部、３３・・・スピーカ制御部、３４・・・ステアリング制御部、１００・・・他車両や歩行者等の路側物以外の路端点群、１０１・・・路端点群、１０２・・・途切れ区間の開始点、１０３・・・途切れ区間の終了点、２００、３００・・・水平方向にひかれた直線、４００・・・途切れ終了地点までの直線、５００・・・画面端の直線、６００・・・矩形領域（探索領域）

Claims

撮像画像に基づいて、移動体が走行する道路上に存在する路端を検出し、路端情報を出力する路端検出部と、
上記路端検出部で検出された路端情報に基づいて探索範囲を決定する探索範囲決定部と、
上記探索範囲決定部により決定された探索範囲に基づいて、移動体から見て路端側の走行可能判定領域の路面勾配を推定する路面勾配推定部と、
少なくとも上記路面勾配推定部により推定された上記路面勾配から、上記走行可能判定領域は上記移動体が走行可能な領域か否かを判定する走行可能領域判定部と、
を備えることを特徴とする走行可能領域検出装置。
請求項１に記載の走行可能領域検出装置において、
複数の画像から視差画像を生成する視差画像生成部を、さらに備え、上記路端検出部は、上記視差画像生成部が生成した上記視差画像に基づいて、道路に存在する路端を検出することを特徴とする走行可能領域検出装置。
請求項１に記載の走行可能領域検出装置において、
上記走行可能領域判定部は、検出された上記路面勾配が、所定の値より大きい場合は、上記走行可能判定領域は上記移動体が走行不可能と判定することを特徴とする走行可能領域検出装置。
請求項１に記載の走行可能領域検出装置において、
上記走行可能領域判定部は、上記走行可能判定領域に、障害物が存在するか、穴が存在するか、及び上記移動体が走行できる領域であるか否かを判定し、障害物が存在するか、穴が存在するか、又は上記移動体が走行できる領域ではないと判定した場合は、上記移動体は上記走行可能判定領域を走行不可能と判定することを特徴とする走行可能領域検出装置。
請求項４に記載の走行可能領域検出装置において、
上記走行可能領域判定部は、検出された上記路面勾配が、所定の値以下であり、且つ、上記走行可能判定領域に、障害物が存在せず、穴も存在せず、及び上記移動体が走行できる領域である場合は、上記移動体は上記走行可能判定領域を走行可能と判定することを特徴とする走行可能領域検出装置。
請求項１、２、３、４、５のうちのいずれか一項に記載の走行可能領域検出装置において、
上記移動体は車両であることを特徴とする走行可能領域検出装置。
移動体の前方を撮像する撮像装置と、
上記撮像装置が撮像した撮像画像に基づいて、移動体が走行する道路上に存在する路端を検出し、路端情報を出力する路端検出部と、上記路端検出部で検出された路端情報に基づいて探索範囲を決定する探索範囲決定部と、上記探索範囲決定部により決定された探索範囲に基づいて、移動体から見て路端側の走行可能判定領域の路面勾配を推定する路面勾配推定部と、少なくとも上記路面勾配推定部により推定された上記路面勾配から、上記走行可能判定領域は上記移動体が走行可能な領域か否かを判定する走行可能領域判定部と、を有する走行可能領域検出装置と、
上記走行可能領域検出装置の判定結果に従って上記移動体の動作を制御して走行を支援する走行支援制御装置と、
を備えることを特徴とする走行支援システム。
請求項７に記載の走行支援システムにおいて、
上記走行可能領域検出装置は、複数の画像から視差画像を生成する視差画像生成部を備え、上記路端検出部は、上記視差画像生成部が生成した上記視差画像に基づいて、道路に存在する路端を検出することを特徴とする走行支援制御システム。
請求項７に記載の走行支援システムにおいて、
上記走行可能領域判定部は、検出された上記路面勾配が、所定の値より大きい場合は、上記走行可能判定領域は上記移動体が走行不可能と判定することを特徴とする走行支援システム。
請求項７に記載の走行支援システム置において、
上記走行可能領域判定部は、上記走行可能判定領域に、障害物が存在するか、穴が存在するか、及び上記移動体が走行できる領域であるか否かを判定し、障害物が存在するか、穴が存在するか、又は上記移動体が走行できる領域ではないと判定した場合は、上記移動体は上記走行可能判定領域を走行不可能と判定することを特徴とする走行支援システム。
請求項１０に記載の走行支援システムにおいて、
上記走行可能領域判定部は、検出された上記路面勾配が、所定の値以下であり、且つ、上記走行可能判定領域に、障害物が存在せず、穴も存在せず、及び上記移動体が走行できる領域である場合は、上記移動体は上記走行可能判定領域を走行可能と判定することを特徴とする走行支援システム。
請求項７、８、９、１０、１1のうちのいずれか一項に記載の走行支援システムにおいて、
上記移動体は車両であることを特徴とする走行支援システム。