JP6105279B2 - 分岐路判定装置、境界線認識装置 - Google Patents

Description

本発明は、車両に搭載されたカメラにより撮影された画像情報に基づいて、本線走路から分岐する分岐路を判定する分岐路判定装置及び境界線認識装置に関する。

近年、車両の自動制御や走行安全性の向上を目的として、車両に搭載したカメラにより撮影した画像情報に基づいて、白線等の走路の境界線を認識する認識装置の開発が進められている（例えば、特許文献１参照）。

車両の自動制御や走行安全性の向上を実現するためには、上記認識装置による境界線の誤認識を抑制し、境界線を適切に認識する必要がある。そのためには、本線走路から分岐する分岐路がある場合に、本線走路と分岐路を正確に判別し、分岐路の誤検出を抑制する必要がある。

特許文献１では、検出された車線境界位置に基づいて、道路曲率、及び車両のピッチ角を算出し、算出した道路曲率やピッチ角と過去の平均値との差の絶対値が閾値より大きい場合に、検出した車線境界位置を分岐路の車線境界位置と認定している。

特開２００５−３４６３８３号公報

上記認識装置は、画像情報から境界線を表すエッジ成分を抽出して、境界線を認識している。そのため、エッジ成分に外乱が加わると、境界線を誤認識し、境界線に基づいて算出した曲率やピッチ角が大きく変動することがある。したがって、特許文献１の分岐路判定方法のように境界線の変動に基づいて分岐を判定する場合、本線走路を分岐路として誤検出するおそれがある。

上記実情に鑑み、本発明は、分岐路の誤検出を抑制することが可能な分岐路判定装置、及びその分岐路判定装置を利用した境界線認識装置を提供することを主たる目的とする。

上記課題を解決するため、第１の分岐路判定装置は、車両に搭載されて走路を撮影するカメラと、前記カメラにより撮影された画像情報に基づいて、前記走路を区切る左右一対の境界線の候補線を抽出する境界線候補抽出部と、前記走路の曲率を算出する曲率算出部と、前記走路が分岐路としての特徴を備えている度合いが大きいほど、前記走路が分岐路である確率を高く算出し、複数の前記特徴について算出した前記確率を統合して前記走路が分岐路か否か判定する分岐路判定部と、を備え、複数の前記特徴は、前記境界線候補抽出部により抽出された前記候補線が実線であること、及び前記曲率算出部により算出された前記曲率が所定値よりも小さいことの少なくともいずれかを含む。

第１の分岐路判定装置によれば、車両に搭載されたカメラにより撮影された画像情報から、走路を区切る左右一対の境界線の候補線が抽出される。また、走路の曲率が算出される。さらに、走路が分岐路としての特徴を備えている度合いが大きいほど、走路が分岐路である確率が高く算出される。そして、抽出された候補線が実線であること、及び走路の曲率が所定値よりも小さいこと、の少なくともいずれかを含む複数の分岐路の特徴について算出された確率が統合され、走路が分岐路か否か判定される。

ここで、本願発明者は、分岐路の境界線は破線ではなく実線であることが多いこと、及び曲率が所定値よりも大きい急カーブの走路に分岐路が設置されることは少ないことに着目した。また、候補線が実線か破線かの判定、及び走路が急カーブでないことの判定は、境界線のエッジ成分に加わる外乱の影響を受けにくい。それゆえ、候補線が実線であること、及び走路の曲率が所定値より小さいことの少なくともいずれかを分岐路の特徴として、走路が分岐路か否かを判定することにより、分岐路を誤検出することを抑制できる。

また、第２の分岐路判定装置は、車両に搭載されて走路を撮影するカメラと、前記カメラにより撮影された画像情報に基づいて、前記走路を区切る左右一対の境界線の候補線を抽出する境界線候補抽出部と、前記走路の曲率を算出する曲率算出部と、前記走路が分岐路としての特徴を備えている度合いが大きいほど、前記走路が分岐路である確率を高く算出し、複数の前記特徴について算出した前記確率を統合して前記走路が分岐路か否か判定する分岐路判定部と、を備え、複数の前記特徴は、前記境界線候補抽出部により抽出された前記候補線が実線であること、及び前記曲率算出部により算出された前記曲率が所定値よりも小さいことの双方を含む。

第２の構成では、複数の分岐路としての特徴に、抽出された候補線が実線であること、及び走路の曲率が所定値よりも小さいこと、の双方が含まれている点が、第１の発明と異なっている。したがって、信頼性を向上させる２つの特徴が追加された上で、分岐路か否か判定されるため、より正確に分岐路を判定することができる。

一実施形態に係る分岐路判定装置の構成を示すブロック図。 分岐路を判定する処理手順を示すフローチャート。 実線及び破線に対する分岐路である確率を示す表。 走路の曲率に対する分岐路である確率を示す図。 確率を統合する演算式。 分岐路の判定結果の一例を示す図。

図１を参照して、一実施形態に係る分岐路判定装置（境界線認識装置）の構成について説明する。本実施形態に係る分岐路判定装置は、カメラ１１、車両情報取得装置１２（曲率算出部）、及び画像処理装置７０を備える。

カメラ１１は、例えばＣＣＤカメラであり、車両前方の走路を撮影できるように、例えばルームミラーの裏側に、車両前方を向いて固定されている。カメラ１１は、車両前方の走路を撮影し、撮影した画像情報を画像処理装置７０に出力する。

車両情報取得装置１２は、ヨーレートセンサ１２ａ及び車速センサ１２ｂを備える。車両情報取得装置１２は、ヨーレートセンサ１２ａにより検出される自車両の旋回方向への角速度（ヨーレート）と、車速センサ１２ｂにより検出される車速とから、走路中央の曲率を算出し、算出した走路の曲率を画像処理装置７０に出力する。

画像処理装置７０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等からなるマイクロコンピュータとして構成されている。本実施形態では、ＣＰＵがＲＯＭに記憶されたプログラムを実行することで、境界線候補抽出部２０、境界線特徴算出部３０、境界線特徴統合部４０、境界線選択部５０の機能を実現している。

境界線候補抽出部２０は、走路を区切る左右一対の白線等の境界線の候補線を抽出する。境界線候補抽出部２０は、カメラ１１から取得した画像情報を所定のサンプリング周期で連続的に処理しており、画像上で車両走行方向に交差する水平方向において、急激に輝度が変化する複数の点をエッジ点として抽出する。そして、抽出した複数のエッジ点にハフ変換を施して、自車両が走行する走路の左右両側を区切る境界線の候補線を複数抽出する。

境界線特徴算出部３０は、投票数算出部３１、エッジ強度算出部３２、分岐路判定部３３を備える。境界線特徴算出部３０は、境界線候補抽出部２０により抽出された複数の候補線のそれぞれについて、本線走路の境界線としての特徴を備えている度合いを算出し、特徴を備えている度合いが大きいほど、候補線が本線走路の境界線である確率を高く算出する。

本線走路の境界線の特徴として、例えば、ハフ変換による投票数が所定数よりも多いこと、水平方向の輝度微分値で表されるエッジ強度が所定値よりも大きいこと、境界線により区切られた走路が分岐路でないことが挙げられる。

投票数算出部３１は、ハフ変換による投票数が所定数よりも小さい場合に、候補線が本線走路の境界線である確率を最低にして、候補線が本線走路の境界線として認識されることを抑制する。エッジ強度算出部３２は、候補線に含まれるエッジ点におけるエッジ強度が所定値よりも小さい場合に、候補線が本線走路の境界線である確率を最低にして、候補線が境界線として認識されることを抑制する。分岐路判定部３３は、候補線により区切られた走路が分岐路か否か判定し、分岐路と判定された場合は、候補線が本線走路の境界線である確率を０にして、候補線が本線走路の境界線として認識されないようにする。

境界線特徴統合部４０は、複数の走路の境界線の特徴について、境界線特徴算出部３０により算出された確率を掛け合わせ、候補線が本線走路の境界線である確率を統合する。なお、境界線の特徴は上記３つの特徴に限らない。その他の境界線の特徴についても候補線が本線走路の境界線である確率を算出し、算出した確率を統合してもよい。

境界線選択部５０は、境界線特徴統合部４０により統合された確率に基づいて、本線走路の境界線として認識する候補線を選択する。詳しくは、統合された確率が高い候補線のうち、車両の左側と右側で対になっている候補線であり、且つ最も車両に近い候補線を選択する。

なお、車両を自動制御する場合は、境界線選択部５０により選択された候補線の形状に基づいて、車両の操舵量が設定される。また、車両が選択された候補線の外にはみ出した場合には、警報音が出力される。すなわち、本線走路の境界線として選択された候補線を制御目標の境界線に設定し、車両についての種々の自動制御を実行する。

次に、図２を参照して、分岐路判定部３３が実行する分岐路判定の処理手順について詳細に説明する。本分岐路判定では、候補線により区切られた走路が分岐路としての特徴を備えている度合いが大きいほど、走路が分岐路である確率を高く算出する。そして、複数の特徴について算出した分岐路である確率を統合して、統合した確率に基づき走路が分岐路か否か判定する。本分岐路判定は、走路の左側の候補線について左に分岐しているか否か、及び右側の候補線について右に分岐しているか否を判定する。

本願発明者は、分岐路の境界線は破線ではなく実線であることが多いこと、及び曲率が所定値よりも大きい急カーブの走路に分岐路が設置されることは少ないことに着目した。そこで、Ｓ１１及びＳ１２では、境界線候補抽出部２０により抽出された候補線が実線であること、及び車両情報取得装置１２により算出された走路の曲率が所定値よりも小さいことを、それぞれ分岐路としての特徴として、走路が分岐路である確率をそれぞれ算出する。

まず、Ｓ１１では、候補線が実線か破線かに基づいて、走路が分岐路である確率を算出する。候補線が実線か破線かを判定し、図３の表に示すように、候補線が実線である場合には、走路が分岐路である確率を所定の高確率にし、候補線が破線である場合には、走路が分岐路である確率を所定の低確率にする。所定の高確率は、複数の特徴について算出した確率を統合したときに、統合した確率を高くも低くもしない値である。すなわち、候補線が実線である場合には、分岐路である確率を低くはしないが、積極的に分岐路と判定するように高くもしない。一方、所定の低確率は、複数の特徴について算出した確率を統合したときに、統合した確率を低くする値であるが、走路を分岐路と判定する確率を０にはしない値である。すなわち、候補線が破線であっても、他の特徴について算出された確率が十分に高いときには、走路を分岐路と判定することがある。

候補線が実線か破線かの判定は、候補線上でエッジ点が連続して含まれており、エッジ点が存在しない欠落部分がない場合には候補線を実線と判定し、候補線上でエッジ点が存在しない欠落部分がある場合には候補線を破線と判定する。

次に、Ｓ１２では、車両情報取得装置１２により算出された走路の曲率から、走路が分岐路である確率を算出する。図４に示すように、走路の曲率が大きいほど、走路が分岐路である確率を低く算出する。詳しくは、走路の曲率が所定値よりも大きい場合には、走路が非常に急なカーブになっており分岐路が設置されることは少ないので、分岐路である確率を所定の最低確率にして分岐路と判定されることを抑制する。走路の曲率が所定の最小曲率よりも小さい場合、すなわち走路が緩いカーブ又は直線になっている場合は、通常の確率で走路に分岐路が設置されていると予想されるので、分岐路である確率を所定の最高確率にし、走路が分岐路と判定されることを抑制しない。走路の曲率が、所定の最小曲率から所定値の間では、走路の曲率が大きいほど、分岐路である確率を低くする。なお、Ｓ１２では、左候補線と右候補線とで共通の分岐路である確率が算出される。

次に、Ｓ１３〜Ｓ１７では、他の分岐路としての特徴について、走路が分岐路である確率をそれぞれ算出する。Ｓ１３では、左右の候補線の平行度が所定値よりも低いことを分岐路の特徴として、走路の左側の候補線と右側の候補線の平行度が高いほど、分岐路である確率を低く算出する。平行度は、左候補線の形状から算出された曲率と右候補線の形状から算出された曲率との差が大きいほど低くなる。平行度が最も高い直線走路の場合に、分岐路である確率を最低にする。なお、Ｓ１３では、左候補線と右候補線とで共通の分岐路である確率が算出される。

次に、Ｓ１４では、候補線の曲率の乖離量が所定量よりも大きいことを分岐路の特徴として、曲率の乖離量が大きいほど、分岐路の確率を高く算出する。曲率の乖離量は、車両情報取得装置１２により算出された走路中央の曲率に対する左及び右候補線の形状から算出された曲率の乖離量である。

次に、Ｓ１５では、走路の幅が分岐パターンであることを分岐路の特徴として、走路の幅が広がっている場合は広がっていない場合よりも、走路が分岐路である確率を高く算出する。走路が左に広がっている場合は、左分岐路である確率を高くし、走路が右に広がっている場合は、右分岐路である確率を高くする。

次に、Ｓ１６では、路面表示による分岐情報の表示があることを分岐路の特徴として、路面表示による分岐情報の表示がない場合に表示がある場合よりも、走路が分岐路である確率を低く算出する。本線走路から分岐路が分岐している地点では、一般に、路面に矢印等の分岐情報が表示されていることが多い。そこで、画像情報から路面表示を取得し、取得した路面表示とデータベースに登録されている矢印等の分岐情報とを比較する。路面表示に含まれている分岐情報が少ないほど、走路が分岐路である確率を低くする。

次に、Ｓ１７では、道路標示による分岐情報の表示があることを分岐路の特徴として、道路標識による分岐情報の表示がない場合に表示がある場合よりも、走路が分岐路である確率を低く算出する。本線走路から分岐路が分岐している地点では、一般に、道路標識に矢印等の分岐情報が表示されていることが多い。そこで、画像情報から道路標識を取得し、取得した道路標識とデータベースに登録されている矢印等の分岐情報とを比較する。道路標識に含まれている分岐情報が少ないほど、走路が分岐路である確率を低くする。

続いて、Ｓ１８で、Ｓ１１〜Ｓ１７において複数の分岐路としての特徴について算出した分岐路である確率を統合して、統合確率を算出する。詳しくは、図５に示す演算式を用いて統合確率を算出する。まず、Ｓ１１で算出された確率をＡ、Ｓ１２で算出された確率をＢとして、Ｓ１１及びＳ１２で算出された確率を統合した確率Ｘを算出する。さらに、Ｓ１１及びＳ１２で算出された確率を統合した確率ＸをＡ、Ｓ１３で算出された確率をＢとして、Ｓ１１〜Ｓ１３で算出された確率を統合した確率Ｘを算出する。このように順次確率を統合して、Ｓ１１〜Ｓ１７で算出された確率を統合した統合確率を算出する。

続いて、Ｓ１９で、Ｓ１８において算出した統合確率が５０％以上か否か判定する。統合確率が５０％以上でない場合は（ＮＯ）、Ｓ２０で走路は分岐路でないと判定する。統合確率が５０％以上の場合は（ＹＥＳ）、Ｓ２１で走路は分岐路であると判定する。

続いて、Ｓ２２で、Ｓ２０及びＳ２１における分岐路の判定結果を境界線特徴統合部４０に出力する。分岐路判定部３３により走路が分岐路と判定された場合は、候補線が本線走路の境界線である確率は０になる。それゆえ、境界線選択部５０は、境界線候補抽出部２０により抽出された候補線のうち、分岐路と判定された走路の境界線を除いた候補線から、本線走路の境界線として認識する候補線を選択する。

図６に、上記分岐路判定の一例として、車両のピッチングの影響により、左候補線の形状から算出した曲率推定精度が低下している場合に、Ｓ１１〜Ｓ１４で算出された分岐路である確率を統合して、分岐路か否か判定した結果を示す。すなわち、候補線が実線であること、走路の曲率が所定値よりも小さいこと、左右の候補線の平行度が所定値よりも低いこと、候補線の曲率の乖離量が所定量よりも大きいこと、を分岐路の特徴として、分岐路の判定を行った結果の一例を示す。

ピッチングの影響のため、Ｓ１４の処理により左候補線の乖離量から算出した左分岐路である確率が高くなるが、Ｓ１１の処理により左候補線が破線と判定されることが、走路が左分岐路である統合確率を下げる。その結果、統合された左分岐路である確率は０．３３４８（３３．４８％）、統合された右分岐路である確率は０．３２６０（３２．６０％）となり、どちらも５０％未満のため、本線走路が分岐路と誤判定されることがない。

以上説明した本実施形態によれば、以下の効果を奏する。

・分岐路の境界線は破線ではなく実線であることが多く、曲率が所定値よりも大きい急カーブの走路に分岐路が設置されることは少ない。また、候補線が実線か破線かの判定、及び走路が急カーブでないことの判定は、境界線のエッジ成分に加わる外乱の影響を受けにくい。それゆえ、候補線が実線であること、及び車両情報取得装置１２により算出された走路の曲率が所定値より小さいことの双方を分岐路の特徴として、走路が分岐路か否かを判定することにより、分岐路を誤検出することを抑制できる。

・候補線が実線でない場合は、候補線で区切られた走路が分岐路である確率は低い。よって、候補線が実線でない場合は、走路が分岐路である確率を、実線である場合の確率よりも低い確率にすることにより、正確に分岐路を判定することができる。

・走路の曲率が大きい走路ほど、分岐路が設置される確率は低い。よって、走路の曲率が大きいほど、走路が分岐路である確率を低くすることにより、分岐路を誤検出することを抑制できる。

・走路の曲率が所定値よりも大きい場合は、走路が分岐路である確率を所定の最低確率にするため、他の分岐路の特徴について算出された確率が十分に高くなければ、走路が分岐路と判定されない。よって、分岐路を誤検出することを抑制できる。

・走路の曲率が所定の最小曲率よりも小さい場合は、通常の確率で走路に分岐路が設置されていると予想される。よって、走路の曲率が所定の最小曲率よりも小さい場合は、走路が分岐路である確率を所定の最高確率にすることにより、走路が分岐路と判定されることを抑制しない。

・車両情報取得装置１２により算出される走路の曲率を用いることにより、外乱の影響を受けにくい走路の曲率を用いて、分岐路を判定できる。したがって、分岐路の誤検出をさらに抑制できる。

・路面表示による分岐情報の表示がない場合は、候補線が分岐路である確率を表示がある場合よりも低くすることにより、分岐路の誤検出をさらに抑制できる。

・道路標識による分岐情報の表示がない場合は、候補線が分岐路である確率を表示がある場合よりも低くすることにより、分岐路の誤検出をさらに抑制できる。

（他の実施形態）
本発明は上記実施形態の記載内容に限定されず、以下のように変更して実施してもよい。

・分岐路判定では、Ｓ１１〜Ｓ１７の処理を全て実行しなくても、Ｓ１１及びＳ１２の少なくともいずれかの処理と、Ｓ１３〜Ｓ１７の処理の少なくともいずれかを実行すればよい。すなわち、候補線が実線であること、及び走路の曲率が所定値より小さいことの少なくともいずれかを含む分岐路の複数の特徴について、走路が分岐路である確率を算出すればよい。また、候補線が実線であること、及び走路の曲率が所定値より小さいことの少なくともいずれかの特徴について、分岐路である確率を算出するとともに、Ｓ１１〜Ｓ１７の特徴以外の特徴について分岐路である確率を算出してもよい。

・車両情報取得装置１２により算出された曲率が無限大のときに、分岐路である確率が所定の最低確率となるように、算出された曲率が大きいほど分岐路である確率が小さく算出されるようにしてもよい。すなわち、算出された曲率について所定値を設定しなくてもよい。

・車両情報取得装置１２により算出された曲率が０のときに、分岐路である確率が所定の最高確率に算出されるように、算出された曲率が小さいほど分岐路である確率が高く算出されるようにしてもよい。すなわち、算出された曲率について所定の最小曲率を設定しなくてもよい。

・車両情報取得装置１２により算出された曲率が、所定値と所定の最小曲率との間に設定された中間曲率よりも大きい場合は、分岐路である確率を例えば所定の低確率と算出し、小さい場合は分岐路である確率を例えば所定の高確率と算出するようにしてもよい。すなわち、確率を不連続な二値に設定してもよい。

・分岐路判定部３３により走路が分岐路であると判定された場合に、候補線が本線走路の境界線である確率を０以外の確率、例えば０．１に算出するようにしてもよい。

・走路の曲率は、左候補線の形状から算出した曲率と右候補線の形状から算出した曲率とを平均した曲率としてもよい。

１１…カメラ、１２…車両情報取得装置、１２ａ…ヨーレートセンサ、１２ｂ…車速センサ、２０…境界線候補抽出部、３３…分岐路判定部、４０…境界線特徴統合部、５０…境界線選択部、７０…画像処理装置。

Claims (10)

1. 車両に搭載されて走路を撮影するカメラ（１１）と、
   前記カメラにより撮影された画像情報に基づいて、自車両が走行する自車走路を区切る左右一対の境界線の候補線を抽出する境界線候補抽出部（２０）と、
   前記自車走路の曲率を算出する曲率算出部（１２）と、
   前記境界線候補抽出部により抽出された前記自車走路を区切る左右一対の前記候補線のそれぞれに対して、分岐路としての特徴を備えている度合いが大きいほど、前記候補線で区切られた前記自車走路が分岐路である確率を高く算出し、複数の前記特徴について算出した前記確率を統合して前記自車走路が分岐路か否かを前記候補線ごとに判定する分岐路判定部（３３）と、を備え、
   複数の前記特徴は、前記境界線候補抽出部により抽出された前記候補線が実線であること、及び前記曲率算出部により算出された前記曲率が所定値よりも小さいことの少なくともいずれかを含むことを特徴とする分岐路判定装置。
2. 車両に搭載されて走路を撮影するカメラと、
   前記カメラにより撮影された画像情報に基づいて、自車両が走行する自車走路を区切る左右一対の境界線の候補線を抽出する境界線候補抽出部と、
   前記自車走路の曲率を算出する曲率算出部と、
   前記境界線候補抽出部により抽出された前記自車走路を区切る左右一対の前記候補線のそれぞれに対して、分岐路としての特徴を備えている度合いが大きいほど、前記候補線で区切られた前記自車走路が分岐路である確率を高く算出し、複数の前記特徴について算出した前記確率を統合して前記自車走路が分岐路か否かを前記候補線ごとに判定する分岐路判定部と、を備え、
   複数の前記特徴は、前記境界線候補抽出部により抽出された前記候補線が実線であること、及び前記曲率算出部により算出された前記曲率が所定値よりも小さいことの双方を含むことを特徴とする分岐路判定装置。
3. 前記分岐路判定部は、前記候補線が実線でない場合に実線である場合よりも、前記確率を低く算出する請求項１又は２に記載の分岐路判定装置。
4. 前記分岐路判定部は、前記曲率算出部により算出された前記曲率が大きいほど、前記確率を低く算出する請求項１〜３のいずれかに記載の分岐路判定装置。
5. 前記分岐路判定部は、前記曲率算出部により算出された前記曲率が前記所定値よりも大きい場合に、前記確率を所定の最低確率に算出する請求項１〜４のいずれかに記載の分岐路判定装置。
6. 前記分岐路判定部は、前記曲率算出部により算出された前記曲率が、前記所定値よりも小さく設定された所定の最小曲率よりも小さい場合に、前記確率を所定の最高確率に算出する請求項１〜５のいずれかに記載の分岐路判定装置。
7. 前記曲率は、前記車両に搭載されたヨーレートセンサ（１２ａ）により検出されたヨーレートから算出される請求項１〜６のいずれかに記載の分岐路判定装置。
8. 複数の前記特徴は、前記画像情報から取得された路面表示による分岐情報の表示があることを含み、
   前記分岐路判定部は、前記路面表示による分岐情報の表示がない場合に表示がある場合よりも、前記自車走路が分岐路である確率を低く算出する請求項１〜７のいずれかに記載の分岐路判定装置。
9. 複数の前記特徴は、前記画像情報から取得された道路標識による分岐情報の表示があることを含み、
   前記分岐路判定部は、前記道路標識による分岐情報の表示がない場合に表示がある場合よりも、前記自車走路が分岐路である確率を低く算出する請求項１〜８のいずれかに記載の分岐路判定装置。
10. 請求項１〜９のいずれかに記載の分岐路判定装置を備え、
    前記境界線候補抽出部により抽出された候補線のうち、前記分岐路判定装置により分岐路と判定された走路の境界線を除いた候補線から、本線走路の前記境界線として認識する前記候補線を選択する境界線認識装置。