JP7385489B2

JP7385489B2 - 運転補助装置

Info

Publication number: JP7385489B2
Application number: JP2020022605A
Authority: JP
Inventors: 奕昊駱; 健永崎
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-02-13
Filing date: 2020-02-13
Publication date: 2023-11-22
Anticipated expiration: 2040-02-13
Also published as: JP2021128529A

Description

本発明は、運転補助装置に関する。

従来、このような技術分野として、カメラで走行車両の前方を撮像し、撮像した画像に基づいて車両の走行可能領域を検出する運転補助装置が知られている。走行可能領域とは、走行車両が事故なく、他の車両、障害物、歩行者、移動体などと衝突せず、自由に車線変更でき、且つ安全に走行できる領域のことを指す。そして、車両の走行可能か否かの領域を区別する境界は、走行境界として定義されている。走行境界は、通常の壁、分離帯、ガードレール、縁石のみならず、車両、障害物、歩行者、移動体などによって形成される場合もある。以下では、これらのさまざまな走行境界を合わせて路端と呼ぶ。

路端の検出は、例えば下記特許文献１に記載のように、境界候補である特徴点を単純にフィッティングして直線や曲線のモデルとして実現されている。また、例えば特許文献２に記載のように、距離特徴あるいは画像濃淡特徴の弱い路端が存在する場合や、路端が不連続な形状をとる場合において、信頼性の高い走路境界位置および形状を推定することにより実現されている。

特開２０１６－９３３３号公報国際公開第２０１８／０１６３９４号

しかしながら、走行車両が急カーブを走行するときに、路端を誤検出する可能性がある。すなわち、例えば特許文献１に記載の路端検出手法を採用した場合、検出した路端の特徴点に対して曲線又は曲線のモデルでフィッティングするので、特徴点が直線道路又は緩やかなカーブの左右両側に分布することが理想的である。このようにすれば、左右両側の特徴点をそれぞれフィッティングすることにより、路端検出を容易に行うことができる。しかし、急カーブを走行する場合、例えば走行路左側の特徴点と右側の特徴点とを結んでフィッティングし、路端として認識する可能性がある。すなわち、走行路反対側の特徴点を誤って使い、存在しない路端を検出してしまう。その結果、路端の誤検出が生じる。

本発明は、このような技術課題を解決するためになされたものであって、急カーブ走行時の路端の誤検出を防止できる運転補助装置を提供することを目的とする。

本発明に係る運転補助装置は、車両に搭載される撮像部により撮像された画像に基づいて、走行路の路端を検出する路端検出部と、前記路端検出部により検出された路端の検出領域から特徴点を抽出する特徴点抽出部と、車両の操舵角を取得する操舵角取得部と、前記操舵角取得部により取得された操舵角に基づいて、前記特徴点抽出部により抽出された特徴点に対して補正処理を行う路端補正部と、を備えることを特徴としている。

本発明に係る運転補助装置では、路端補正部は操舵角取得部により取得された操舵角に基づいて、特徴点抽出部により抽出された特徴点に対して補正処理を行う。このようにすれば、急カーブを走行する際に路端検出に影響を与える特徴点を除去する補正を行うことができるので、急カーブ走行時における路端の誤検出を防止することが可能になる。

本発明によれば、急カーブ走行時の路端の誤検出を防止することができる。

第１実施形態に係る運転補助装置を示す構成図である。ステレオカメラ装置を示す構成図である。路端の検出と特徴点の抽出を説明するためのイメージ図である。路端補正部による路端補正処理を示すフローチャートである。左折時の路端特徴点選別を説明するための模式図である。右折時の路端特徴点選別を説明するための模式図である。第２実施形態の路端補正部による路端補正処理を示すフローチャートである。

以下、図面を参照して本発明に係る運転補助装置の実施形態について説明する。

［第１実施形態］
図１は第１実施形態に係る運転補助装置を示す構成図である。本実施形態に係る運転補助装置１は、車両に搭載され、カメラで撮像した車両前方の画像に基づいて走行可能領域を検出し、ドライバの運転操作を補助するための装置である。この運転補助装置１は、主に、ステレオカメラ装置１０と、路端検出部２０と、特徴点抽出部３０と、操舵角取得部４０と、路端補正部５０と、出力部６０とを備えている。

ステレオカメラ装置１０は、特許請求の範囲に記載の「撮像部」に相当するものであり、車両の前方を撮像し、撮像した画像情報に基づいて車外環境を認識する装置である。このステレオカメラ装置１０は、例えば走行路上の白線、歩行者、車両、その他の立体物、信号、標識、点灯ランプなどの認識を行い、該ステレオカメラ装置１０を搭載した車両のブレーキ、ステアリングなどの調整を行う。このようなステレオカメラ装置１０は、車両に搭載され、光軸や測距誤差の補正量等を計算するエーミング処理が施された後に出荷される。

図２はステレオカメラ装置を示す構成図である。図２に示すように、ステレオカメラ装置１０は、車両前方を撮像する左右一対のカメラ（左カメラ１０１と右カメラ１０２）と、左カメラ１０１及び右カメラ１０２の撮像を制御するとともに、撮像した画像を取り込むための画像入力ＩＦ（画像入力インタフェース）１０３を持つ。画像入力ＩＦ１０３を介して取り込まれた画像は、内部バス１０９を通してデータが送られ、画像処理部１０４や演算処理部１０５で処理され、処理途中の結果或いは最終結果となる画像データが記憶部１０６に記憶される。

画像処理部１０４は、左カメラ１０１の撮像素子から得られる第１の画像と、右カメラ１０２の撮像素子から得られる第２の画像とを比較して、それぞれの画像に対して、撮像素子に起因するデバイス固有の偏差の補正やノイズ補間などの画像補正を行い、補正した結果を記憶部１０６に記憶する。更に、画像処理部１０４は、第１および第２の画像の間で相互に対応する箇所を計算して、視差情報を計算し、計算した結果を記憶部１０６に記憶する。

この画像処理部１０４は、内部バス１０９を介して画像入力ＩＦ１０３、演算処理部１０５、記憶部１０６、ＣＡＮＩＦ１０７、及び制御処理部１０８とそれぞれ接続されている。

演算処理部１０５は、記憶部１０６に記憶された画像および視差情報（画像上の各点に対する距離情報）を使い、車両周囲の環境を知覚するために必要な、各種物体の認識を行う。各種物体とは、人、車、その他の障害物、信号機、標識、車のテールランプやヘッドライド、路端などである。認識結果や中間的な計算結果の一部が記憶部に記憶される。また、演算処理部１０５は、撮像した画像に対して各種物体認識を行った後に、認識結果に基づいて車両制御に必要な情報を計算する。

計算の結果として得られた車両の制御方針や、物体認識結果の一部はＣＡＮＩＦ（ＣＡＮインタフェース）１０７を通して、車載ネットワークＣＡＮ１１０に伝えられ、これにより車両の制御が行われる。また、これらの動作について、各処理部が異常動作を起こしていないか、データ転送時にエラーが発生していないかなどを、制御処理部１０８が監視しており、異常動作を防ぐ構成となっている。

記憶部１０６は、例えば画像処理部１０４によって得られた画像情報や、演算処理部１０５によって認識された結果及び計算された結果等を記憶するメモリ等により構成されている。ＣＡＮＩＦ１０７は、外部車載ネットワークとの入出力部であり、ステレオカメラ装置１０から出力された情報を車載ネットワークＣＡＮ１１０を介して車両の制御システムに出力する。なお、画像処理部１０４、演算処理部１０５及び制御処理部１０８は、それぞれ単一または複数のコンピュータユニットにより構成されている。

ステレオカメラ装置１０による車外環境認識の一つの利点として、路面情報の解析が可能になるのが挙げられる。このため、本実施形態に係る運転補助装置１では、ステレオカメラ装置１０により撮像された画像から路面情報の解析を行い、解析結果に基づいて走行路の路端情報を得ることができる。より具体的には、本実施形態の路端検出部２０は、ステレオカメラ装置１０と接続され、ステレオカメラ装置１０により撮像した画像に基づいて走行路の路端を検出する。特徴点抽出部３０は、路端検出部２０と接続され、路端検出部２０により検出された路端の検出領域から特徴点を抽出する。なお、特徴点は、路面の高さの変化に対応した情報を有する離散的な点である。

以下、図３を参照して路端の検出と特徴点の抽出を説明する。図３に示すように、ステレオカメラ装置１０を用いて表面に一定のコントラストが存在する物体に対して３次元計測が可能であるため、路面の平坦面と、路面端の縁石や溝などの凹凸のある部分の高さ差分も分かることになる。そして、路端検出部２０は、これを利用して路端の情報を得る（すなわち、路端を検出する）ことができる。

特徴点抽出部３０は、路端の検出領域から複数の離散点３０１、３０２を抽出する。離散点３０１は車両の進行方向の左側に位置し、離散点３０２は車両の進行方向の右側に位置する。このとき、離散点３０１は走行路の左側路端の特徴点、離散点３０２は走行路の右側路端の特徴点になる。そして、このような左右両側の特徴点をそれぞれ略線状に連続していくと（言い換えればフィッティングすると）、車両の走行可能領域が形成される。

上述したように、走行可能領域とは、走行車両が事故なく、他の車両、障害物、歩行者、移動体などと衝突せず、自由に車線変更でき、且つ安全に走行できる領域を指す。このため、緊急時の車両回避や白線の整備されていない非整備走行路における運転補助においては、路端検出が重要な役割を果たす。

一方、操舵角取得部４０は、例えば操舵角センサからなり、ステアリングホイール（図示せず）の回転角度、すなわち操舵角を取得し、路端補正部５０に送信する。

路端補正部５０は、操舵角取得部４０により取得された操舵角に基づいて、特徴点抽出部３０により抽出された特徴点に対して補正処理を行う。なお、この路端補正部５０は、車速、カーブの曲率に応じた路端補正も行い得る。路端補正部５０は、例えば、演算を実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と、演算のためのプログラムを記録した二次記憶装置としてのＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）と、演算経過の保存や一時的な制御変数を保存する一時記憶装置としてのＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）とを組み合わせてなるマイクロコンピュータにより構成されている。

なお、本実施形態では、路端補正部５０は、ステレオカメラ装置１０に対して別体に設けられているが、これに制限されない。例えば、路端補正部５０が演算処理部１０５の一部としてステレオカメラ装置１０と一体的に設けられても良く、又は演算処理部１０５に路端補正部５０の機能を持たせるようにしても良い。

図１に示すように、路端補正部５０は、路端補正処理に関連する各判定を行う判定部５０１と、特徴点抽出部３０により抽出された特徴点を選別する特徴点選別部５０２とを有する。より具体的には、路端補正部５０は、操舵角取得部４０により取得された操舵角の絶対値が閾値よりも大きいか否かを判定する。特徴点選別部５０２は、操舵角の絶対値が閾値よりも大きいと判定された場合、特徴点抽出部３０により抽出された特徴点を選別する。ここでの閾値は、急カーブであるか否かを判定するための値であり、車両の特性などに基づいて予め設定されて路端補正部５０のＲＡＭに記憶されたものである。

また、この場合、特徴点選別部５０２は、特徴点抽出部３０により抽出された特徴点のうち、操舵角取得部４０により取得された操舵角の範囲外の特徴点を選別することが好ましい。

以下、図４を参照して路端補正部５０による路端補正処理を説明する。

図４に示す路端補正処理の前提条件として、ステレオカメラ装置１０が車両の前方を撮像して視差計算等を行い、路端検出部２０がステレオカメラ装置１０で撮像した画像に基づいて走行路の路端を検出し、その後、特徴点抽出部３０が路端検出部２０で検出した路端の検出領域から特徴点を抽出することである。

図４に示すように、まず、ステップＳ１１０では、路端補正部５０は、操舵角取得部４０により送信された操舵角の情報を読み込む。

ステップＳ１１０に続くステップＳ１２０では、判定部５０１は、読み込んだ操舵角の絶対値が閾値よりも大きいか否かを判定する。上述したように、ここでの閾値は急カーブであるか否かを判定するための値であるので、ステップＳ１２０での判定は、走行する走行路が急カーブであるか否かの判定とも言える。

そして、操舵角の絶対値が閾値以下であると判定された場合、制御処理はステップＳ１６０に進み、補正処理が行われずに路端の出力が実行される。言い換えれば、この場合、車両の走行路が直線道路又は緩やかなカーブであり、路端検出に悪影響がない状況であるので、路端検出の補正を行う必要がない。

一方、操舵角の絶対値が閾値よりも大きいと判定された場合、すなわち走行路が急カーブである場合、制御処理はステップＳ１３０に進む。ステップＳ１３０では、判定部５０１は、車両が左折するか否かを判定する。左折するか否かの判定については、既に周知された技術を用いることができる。

そして、左折すると判定された場合、制御処理はステップＳ１４０に進む。ステップＳ１４０では、特徴点選別部５０２は、左側路端出力時の操舵角外の特徴点を選別する。ここでは、図５を用いてステップＳ１４０を詳細に説明する。

図５は、運転補助装置１を搭載する車両Ｍが左急カーブを走行する様子を示す。図５において、矢印Ｆ１は車両Ｍの直進方向（すなわち、カメラ視覚方向）、矢印Ｆ２は車両Ｍの進行方向、角度θは操舵角を示す。複数の特徴点３０３，３０４，３０５は、特徴点抽出部３０により抽出された特徴点である。

これらの特徴点３０３，３０４，３０５を車両Ｍの直進方向Ｆ１を境として分けると、特徴点３０５は直進方向Ｆ１の右側に位置し、特徴点３０３及び３０４は直進方向Ｆ１の左側に位置することになる。一方、操舵角θを境として分けると、３つのエリアになる。すなわち、操舵角θの範囲内に分布された特徴点３０３、操舵角θの左側に分布された特徴点３０４、及び操舵角θの右側に分布された特徴点３０５である。

このとき、特徴点選別部５０２は、操舵角θの範囲内に分布された特徴点３０３を選択せず、操舵角θの左側に分布された特徴点３０４のみを選択してカーブ左側路端の特徴点とする。なお、操舵角θの右側に分布された特徴点３０５はカーブ右側路端の特徴点になる。

ステップＳ１４０に続くステップＳ１６０では、路端出力が行われる。このとき、路端補正部５０は、ステップＳ１４０の結果を出力部６０に送信する。これによって、路端補正処理が終了する。なお、出力部６０に送信された結果は、該出力部６０に接続された車載ネットワークＣＡＮ１１０に出力される。

一方、ステップＳ１３０で車両が左折しないと判定された場合（すなわち右折する場合）、制御処理はステップＳ１５０に進む。ステップＳ１５０では、特徴点選別部５０２は、右側路端出力時の操舵角外の特徴点を選別する。ここでは、図６を用いてステップＳ１５０を詳細に説明する。

図６は、運転補助装置１を搭載する車両Ｍが右急カーブを走行する様子を示す。図６において、矢印Ｆ１は車両Ｍの直進方向、矢印Ｆ３は車両Ｍの進行方向、角度θは操舵角を示す。ここでは、特徴点抽出部３０により抽出された複数の特徴点３０６，３０７，３０８を車両Ｍの直進方向Ｆ１を境として分けると、特徴点３０７は直進方向Ｆ１の左側に位置し、特徴点３０６及び３０８は直進方向Ｆ１の右側に位置することになる。一方、操舵角θを境として分けると、３つのエリアになる。すなわち、操舵角θの範囲内に分布された特徴点３０６、操舵角θの左側に分布された特徴点３０７、及び操舵角θの右側に分布された特徴点３０８である。

このとき、特徴点選別部５０２は、操舵角θの範囲内に分布された特徴点３０６を選択せず、操舵角θの右側に分布された特徴点３０８のみを選択してカーブ右側路端の特徴点とする。なお、操舵角θの左側に分布された特徴点３０７はカーブ左側路端の特徴点になる。

ステップＳ１５０に続くステップＳ１６０では、路端出力が行われる。路端補正部５０は、ステップＳ１５０の結果を出力部６０に送信する。これによって、路端補正処理が終了する。なお、出力部６０に送信された結果は、該出力部６０に接続された車載ネットワークＣＡＮ１１０に出力される。

本実施形態に係る運転補助装置１では、路端補正部５０は操舵角取得部４０により取得された操舵角に基づいて、特徴点抽出部３０により抽出された特徴点に対して補正処理を行う。具体的には、路端補正部５０の判定部５０１は、操舵角の絶対値が閾値よりも大きいか否かを判定し、操舵角の絶対値が閾値よりも大きいと判定された場合、路端補正部５０の特徴点選別部５０２は特徴点を選別する。このようにすれば、急カーブを走行する際に路端検出に影響を与える特徴点を除去するような選別ができるので、急カーブ走行時における路端の誤検出を防止することが可能になる。

また、補正処理は操舵角の絶対値が閾値よりも大きい（すなわち、急カーブ）場合のみ実行されるので、補正処理に伴う制御処理の増加を抑えることができる。更に、特徴点選別部５０２は、特徴点抽出部３０により抽出された特徴点のうち、操舵角取得部４０により取得された操舵角の範囲外の特徴点を選別するので、従来のような急カーブ走行時に走行路反対側の特徴点を誤ってフィッティングして存在しない路端を検出する問題を抑制することができる。これによって、急カーブ走行時における路端の誤検出を防止し、車両の安全性及び快適性を高めることができる。

［第２実施形態］
第２実施形態に係る運転補助装置は、判定部５０１が更に、車両のリアルタイムの情報、地図情報及びドライバの情報のうちの少なくとも一つに基づいて操舵角情報が正確か否かを判定する点において、上述した第１実施形態と相違している。また、これによって、本実施形態の路端補正部による路端補正処理も第１実施形態と相違する。以下、その相違点を中心に説明する。

図７は、第２実施形態の路端補正部による路端補正処理を示すフローチャートである。本実施形態の路端補正部による路端補正処理は、ステップＳ１１０’及びステップＳ１１５において第１実施形態と異なる。

具体的には、ステップＳ１１０’では、路端補正部５０は、操舵角の情報、車両のリアルタイム情報、地図情報及びドライバの情報をそれぞれ読み込む。

操舵角の情報は、上述したように操舵角取得部４０から取得される。車両のリアルタイム情報は、例えば制御処理部１０８から取得される。車両のリアルタイムの情報には、例えば白線情報、車両周囲の障害物情報、車速情報等が含まれる。地図情報は、例えば車両に搭載されたナビゲーション装置（図示せず）から取得される。地図情報には、例えば走行路の情報等が含まれる。また、地図情報は、ナビゲーション装置からの情報以外の高精度地図を更に含むのが好ましい。ドライバの情報は、例えばドライバ監視部（図示せず）から取得される。ドライバの情報には、ドライバの体調、注意力等の情報が含まれる。

なお、これらの情報の読み込み順序は特に制限されず、順番に行われても良く、同時に行われても良い。

ステップＳ１１０’に続くステップＳ１１５では、判定部５０１は、ステップＳ１１０’で読み込んだ車両のリアルタイムの情報、地図情報及びドライバの情報に基づいて操舵角の情報が正確か否かを判定する。操舵角の情報が正確でないと判定された場合、制御処理は終了する。

一方、操舵角の情報が正確であると判定された場合、制御処理はステップＳ１２０に進む。ステップＳ１２０～ステップＳ１６０の各処理は、上述の第１実施形態と同じであるので、重複説明を省略する。

本実施形態によれば、上述の第１実施形態と同様な作用効果を得られるほか、判定部５０１が車両のリアルタイムの情報、地図情報及びドライバの情報に基づいて操舵角情報が正確か否かを判定するので、運転補助装置を搭載する車両の安全性を更に高めることができる。

なお、本実施形態において、判定部５０１が車両のリアルタイムの情報、地図情報及びドライバの情報に基づいて操舵角情報が正確か否かを判定するのを説明したが、該判定部５０１は車両のリアルタイムの情報、地図情報及びドライバの情報のうちの少なくとも一つに基づいて操舵角の情報が正確か否かを判定すれば良い。このような場合であっても、運転補助装置を搭載する車両の安全性を高める効果を奏する。

以上、本発明の実施形態について詳述したが、本発明は、上述の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。

１運転補助装置
１０ステレオカメラ装置
２０路端検出部
３０特徴点抽出部
４０操舵角取得部
５０路端補正部
６０出力部
５０１判定部
５０２特徴点選別部

Claims

車両に搭載される撮像部により撮像された画像に基づいて、走行路の路端を検出する路端検出部と、
前記路端検出部により検出された路端の検出領域から特徴点を抽出する特徴点抽出部と、
車両の操舵角を取得する操舵角取得部と、
前記操舵角取得部により取得された操舵角に基づいて、前記特徴点抽出部により抽出された特徴点に対して補正処理を行う路端補正部と、
を備え、
前記路端補正部は、
前記操舵角取得部により取得された操舵角の絶対値が閾値よりも大きいか否かを判定する判定部と、
操舵角の絶対値が閾値よりも大きいと判定された場合、前記特徴点抽出部により抽出された特徴点を選別する特徴点選別部と、
を有し、
前記特徴点選別部は、前記特徴点抽出部により抽出された特徴点のうち、前記操舵角取得部により取得された操舵角の範囲外の特徴点を選別することを特徴とする運転補助装置。
前記判定部は、車両のリアルタイムの情報、地図情報及びドライバの情報のうちの少なくとも一つに基づいて、前記操舵角取得部により取得された操舵角の情報が正確か否かを判定する請求項１に記載の運転補助装置。
前記特徴点は、路面の高さの変化に対応した情報を有する離散的な点である請求項１又は２に記載の運転補助装置。