JP6151569B2 - 周囲環境判定装置 - Google Patents
周囲環境判定装置 Download PDFInfo
- Publication number
- JP6151569B2 JP6151569B2 JP2013112596A JP2013112596A JP6151569B2 JP 6151569 B2 JP6151569 B2 JP 6151569B2 JP 2013112596 A JP2013112596 A JP 2013112596A JP 2013112596 A JP2013112596 A JP 2013112596A JP 6151569 B2 JP6151569 B2 JP 6151569B2
- Authority
- JP
- Japan
- Prior art keywords
- urban area
- determination
- detection
- value
- determination process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
ハイビームにしてよい走行シーンであるか否かという判断の1つの周囲環境が市街地であるか非市街地であるかということがある。例えばハイビームを自動的にオン/オフするAHBにおいて、市街地(周囲が充分明るいシーン)ではハイビーム不要とし、周囲の車の運転者にグレアを発生させてしまうことを防止する。
短期間で判定が変動すると、ハイビームのオン/オフ制御が不必要に実行されてしまうことが生じ、また、例えば市街地判定が遅れると、非市街地から市街地に入ってもある程度の時間ハイビームが継続されて、周囲の車の運転者にグレアを発生させる機会が生じてしまう。
この構成により、環境判定処理部は第1市街地判定として、撮像画像の現在の検出対象フレーム単位の検出結果を用いて市街地であるか否かを判定(短期判定)する。これに加えて第2市街地判定として、現在の検出対象フレーム単位のみではなく過去の検出対象フレーム単位の検出結果も反映させて時系列の変動を考慮した市街地判定(長期判定)を行う。
これにより走行シーンが市街地であると判定された場合のハイビームオフを実現する。
即ち短期判定である第1市街地判定処理では、街灯検出結果を比較する第1判定閾値を高めにし、長期判定である第2市街地判定処理では、街灯検出結果を比較する第2判定閾値を低めにする。
これにより第1市街地判定処理による瞬間的な街灯検出状況のみで非市街地と判定されてしまうことがないようにする。
右左折後は、周囲環境(市街地と非市街地)が急激に変化する場合があるため、右左折後期間において、第2市街地判定による判定応答性を高める。
街灯数や画像内の街灯領域の割合は、市街地と非市街地を区別する重要な要素となる。
第7に、本発明に係る周囲環境判定装置は、前記第1市街地判定処理、又は前記第2市街地判定処理では、前記街灯検出結果に加えて、撮像画像のフレーム内で設定された先行車検出範囲内において先行車と識別されなかった検出物体の数、又は前記先行車検出範囲内の検出物体領域の割合を、さらに用いて市街地であるか否かの判定を行うことが望ましい。
画像内の先行車検出範囲においても、先行車以外の検出物体(例えば高輝度物体)は、市街地の明かりなどと考えられ、市街地と非市街地を区別する要素となりえる。
第8に、本発明に係る周囲環境判定装置は、前記第1市街地判定処理、又は前記第2市街地判定処理では、前記街灯検出結果に加えて、撮像画像のフレーム内で設定された対向車検出範囲内において対向車と識別されなかった検出物体の数、又は前記対向車検出範囲内の検出物体領域の割合を、さらに用いて市街地であるか否かの判定を行うことが望ましい。
画像内の対向車検出範囲においても、対向車以外の検出物体(例えば高輝度物体)は、市街地の明かりなどと考えられ、市街地と非市街地を区別する要素となりえる。
図1は、本発明に係る実施の形態としての周囲環境判定装置を備えた車両制御システム1の構成を示している。なお、図1では、車両制御システム1の構成のうち主に本発明に係る要部の構成のみを抽出して示している。また実施の形態の周囲環境判定装置は主に図中の撮像部2と画像処理部3によって実現される。
車両制御システム1は、自車両に対して設けられた撮像部2、画像処理部3、メモリ4、運転支援制御部5、表示制御部6、エンジン制御部7、トランスミッション制御部8、ブレーキ制御部9、ライト制御部10、表示部11、エンジン関連アクチュエータ12、トランスミッション関連アクチュエータ13、ブレーキ関連アクチュエータ14、ヘッドライト15、ADB(Adaptive Driving Beam)アクチュエータ16、センサ・操作子類17、及びバス18を備えている。
第1カメラ部2A、第2カメラ部2Bは、いわゆるステレオ法による測距が可能となるように、例えば自車両のフロントガラスの上部付近において車幅方向に所定間隔を空けて配置されている。第1カメラ部2A、第2カメラ部2Bの光軸は平行とされ、焦点距離はそれぞれ同値とされる。また、フレーム周期は同期し、フレームレートも一致している。撮像素子の画素数は例えば640×480程度である。
以下、第1カメラ部2Aで得られた撮像画像データを「第1撮像画像データ」、第2カメラ部2Bで得られた撮像画像データを「第2撮像画像データ」と表記する。
画像処理部3は、撮像部2が自車両の前方を撮像して得た第1撮像画像データ、第2撮像画像データとしての各フレーム画像データをメモリ部4に格納していく。そして各フレームの第1撮像画像データ、第2撮像画像データに基づき、外部環境として車両前方に存在する物体を認識するための各種処理を実行する。
なお、画像処理部3が実行する具体的な処理の詳細については後述する。
運転支援制御部5は、同じくマイクロコンピュータで構成された表示制御部6、エンジン制御部7、トランスミッション制御部8、ブレーキ制御部9、及びライト制御部10の各制御部とバス18を介して接続されており、これら各制御部との間で相互にデータ通信を行うことが可能とされる。運転支援制御部5は、上記の各制御部のうち必要な制御部に対して指示を行って運転支援に係る動作を実行させる。
本実施の形態の場合、運転支援制御部5は、ヘッドライト15についての配光制御を行う。図中では、運転支援制御部5が有する配光制御のための処理機能を、「配光制御処理部5A」としての機能ブロックにより表している。配光制御処理部5Aは、画像処理部3が対向車や先行車、街灯等の認識結果から生成した制御情報に基づき、ライト制御部10にADB制御やAHB制御のための指示を行う。
また、操作子としては、エンジンの始動/停止を指示するためのイグニッションスイッチや、AT(オートマティックトランスミッション)車における自動変速モード/手動変速モードの選択や手動変速モード時におけるシフトアップ/ダウンの指示を行うためのセレクトレバーや、後述する表示部11に設けられたMFD(Multi Function Display)における表示情報の切り換えを行うための表示切換スイッチなどがある。
特に本実施の形態の場合、センサ・操作子類17においては、車速センサ17A、舵角センサ17B、アクセル開度センサ17C、ヘッドライトスイッチ17D、ウィンカースイッチ17Eが設けられている。
ヘッドライトスイッチ17Dは、ヘッドライト15のロービームのON/OFFやハイビームのON/OFFの指示を行うための操作子を表す。ここで、本例の場合、ハイビームのON/OFF操作に応じてADB機能もON/OFFされる。
例えばエンジン制御部7は、前述したイグニッションスイッチの操作に応じてエンジンの始動/停止制御を行う。また、エンジン制御部7は、エンジン回転数センサやアクセル開度センサ等の所定のセンサからの検出信号に基づき、燃料噴射タイミング、燃料噴射パルス幅、スロットル開度等の制御も行う。
例えばトランスミッション制御部8は、前述したセレクトレバーによって自動変速モードが選択されている際には、所定の変速パターンに従い変速信号をコントロールバルブに出力して変速制御を行う。また、トランスミッション制御部8は、手動変速モードの設定時には、セレクトレバーによるシフトアップ/ダウン指示に従った変速信号をコントロールバルブに出力して変速制御を行う。
例えばブレーキ制御部9は、運転支援制御部5よりブレーキをONする指示が為された場合に上記の液圧制御アクチュエータを制御して自車両を制動させる。またブレーキ制御部9は、所定のセンサ(例えば車軸の回転速度センサや車速センサ)の検出情報から車輪のスリップ率を計算し、スリップ率に応じて上記の液圧制御アクチュエータにより液圧を加減圧させることで、所謂ABS(Antilock Brake System)制御を実現する。
具体的に、ライト制御部10は、照度センサ等の所定のセンサによる検出信号に基づきヘッドライト15の点消灯を行うオートヘッドライト制御等を行う。また、ライト制御部10は、前述したヘッドライトスイッチ17Dによる操作入力情報に基づきヘッドライト15のロービーム、ハイビームのON/OFF制御も行う。また、特に本実施の形態のライト制御部10は、運転支援制御部5における配光制御処理部5Aからの指示に基づきADBアクチュエータ16を制御することで、ADB機能を実現する。本例におけるADBアクチュエータ16は、例えば遮光板を駆動するアクチュエータとされ、ライト制御部10からの制御に基づき遮光板を駆動することで、ハイビームの配光領域の一部に遮光領域を形成するか、或いは遮光領域を非形成(つまりハイビームを全照状態)とする。
図2により、本実施の形態で実行される各種処理の概要について説明する。
なお、図2においては、画像処理部3が第1撮像画像データ、第2撮像画像データに基づき実行する各種の画像処理を機能ごとに分けてブロック化して示している。また、図2では、運転支援制御部5が有する配光制御処理部5Aも併せて示している。
このように形成された車線モデルにより、自車両が走行する路面の高さ情報も得られたことになる。
なお、上記の距離画像生成処理、車線検出処理、及び車線モデル形成処理の手法は、特開2008−33750号公報に開示された手法と同様であり、詳しくは該文献を参照されたい。
先ず、実施の形態の周囲環境判定及びヘッドライト制御のための処理の説明に先立ち、画像認識で扱う2種の撮像画像(フレーム画像)、及び各対象の検出範囲について説明しておく。
ここで、ヘッドライトとテールランプはそれぞれ光量が大きく異なるため、場合によっては同一のシャッタースピードで撮像された画像を用いてしまうと両者とも鮮明な像を検出できない可能性がある。例えば、テールランプに合わせたシャッタースピードで撮像された画像では、ヘッドライトの輝度が飽和することがある。
同一シーンについて撮像された明画像G1、暗画像G2の例を図3A、図3Bにそれぞれに示す。
なお、前述した距離画像は、明画像G1に基づき生成される。
但し、撮像画像上での街灯の輝度は、ヘッドライトとテールランプの中間程度のことが多いことから、必ずしも暗画像G2ではなく、明画像G1を用いて街灯検出を行うようにしてもよい。
図4Aは、明画像G1に対して定められたテールランプ検出範囲Asの例を、図4Bは暗画像G2に対して定められたヘッドライト検出範囲At及び街灯検出範囲Agの例を示している。これら各検出範囲は、それぞれ矩形範囲として設定されている。各検出範囲の位置は、画像内で対象が存在する領域がカバーされるようにそれぞれ設定されている。
図5は、実施の形態の画像認識に係る処理の全体的な流れを示したフローチャートである。なお、図5に示す一連の処理は、画像処理部3が1フレーム期間ごとに繰り返し実行するものである。
なお、夜間であるか否かの判別は、撮像画像データのシャッタースピード及びゲイン値に基づき行う。或いは、夜間であるか否かの判別は、ハイビームがONであるか否かを判別した結果に基づき行うこともできる。
ステップS101において、夜間ではないとの否定結果が得られた場合は現フレーム期間での処理を終了し、夜間であるとの肯定結果が得られた場合はステップS102に進む。
画像タイプが明画像G1であれば、ステップS103でテールランプ検出処理を実行した後、現フレーム期間での処理を終了する。
一方、画像タイプが暗画像G2であるとされた場合は、ステップS104でヘッドライト検出処理を行った後、ステップS105で街灯検出処理を行う。
対象認識・識別処理を実行した後は、ステップS107でシーン判定処理、ステップS108で制御情報算出処理をそれぞれ実行し、処理を終了する。
テールランプ検出処理は、先行車のテールランプ部分と推測される領域(テールランプ領域)を検出する処理である。このテールランプ検出処理では、先ず、明画像G1に対してテールランプ検出範囲Asを設定した上で、当該テールランプ検出範囲As内の画素を対象として赤色の画素を検出する。そして、検出した画素をグループ化し、要素グループを作成する。具体的には、検出された画素間の距離がA1ピクセル以下となる画素同士をグループ化する。例えばA1=1.5ピクセルとする。
・要素グループの上下左右座標(要素グループを矩形で囲った場合の各辺の位置)
・要素グループ内画素数
・要素グループ内最大輝度値、最小輝度値
・要素グループの平均視差(要素グループ内の各画素の視差Mの平均値)
なお、視差Mは、前述した距離画像生成処理で得られる値を用いる。
条件1):要素グループの縦・横サイズがB1ピクセル以下。B1は例えば2ピクセル。
条件2):要素グループ内画素数がC1ピクセル以下。C1は例えば2ピクセル。
その他、要素グループのサイズが大きすぎる場合に削除を行ってもよい。但し、その場合の閾値は距離(視差M)により変化させる。
図中の灰色で示した領域が、テールランプ検出範囲As内における先行車に相当する領域(先行車領域)を表し、黒色で示した領域が赤色画素として検出された領域を表す。上記のテールランプ検出処理によれば、図中の破線で示す矩形状の領域が要素グループとしてグループ化される。
なお、上記の説明から理解されるように、要素グループとは、認識すべき対象に含まれる特徴部分をグループ化したものと定義できる。後述する対象認識・識別処理では、これらの要素グループの検出結果を基に、認識すべき対象の範囲が対象グループとしてグループ化される(図6Bを参照)。
ヘッドライト検出処理は、対向車のヘッドライト部分と推測される領域(ヘッドライト領域)を検出する処理である。
ヘッドライト検出処理の基本的な流れは以下の通りである。
i)輝度値が閾値D2以上である画素を検出する。
ii)検出した画素をグループ化し、要素グループを作成する
iii)要素グループの基本特徴量を求める
iv)要素グループ選別
このようにヘッドライト領域候補としての画素を検出したら、上記ii)〜iv)の処理はテールランプ検出処理の場合と同様に行う。これにより対向車のヘッドライト部分に相当する領域が要素グループとして検出される。
街灯検出処理は、街灯と推測される領域(街灯領域)を検出する処理である。
街灯検出処理は、ヘッドライト検出処理と同様に上記i)〜iv)の手順で行う。但し上記i)の処理としては、暗画像G2に対し街灯検出範囲Agを設定し、この街灯検出範囲Ag内で輝度値が所定以上となった画素を街灯領域候補として判定する点が異なる。
街灯領域候補としての画素を検出したら、上記ii)〜iv)の処理が同様に行われ、これにより街灯に相当する領域が要素グループとして検出される。
対象認識・識別処理は、上記のテールランプ検出処理、ヘッドライト検出処理、及び街灯検出処理の各処理結果に基づいて、対象(先行車、対向車、街灯)の認識・識別を行う処理である。
ここで言う「認識」とは、対象の範囲を認識することを意味する。「識別」とは、「認識」された範囲内に存在する物体が対象であるかどうかの確からしさ(例えば後述する信頼度)を算出し、その確からしさに基づいて対象であるか否かの切り分けを行うことを意味する。
ここで、要素グループの平均視差の値がほぼ同値であれば、それらの要素グループは同一の対象を構成している可能性が高い。また、同一の対象を構成しているのであれば、それらの要素グループの上下左右方向の離間距離は所定の範囲内にあると言える。
対象の「認識」処理では、平均視差の値が同じであるとみなさせる要素グループであって、それら要素グループの上下左右方向の離間距離が所定範囲内であるものを、対象グループとしてグループ化することで行う。なお、上記離間距離についての「所定範囲」は、撮像画像内での対象のサイズが自車両から当該対象までの距離に応じて変わる点を考慮し、平均視差の値に応じて可変とする。
なお街灯については、1つの発光部としての要素グループそのものが認識されるべき対象であることから、上記の「認識」処理は実行せず、要素グループをそのまま対象グループとして扱えばよい。
本例の信頼度は、フレームごとに算出される。「識別」処理では、フレームごとに信頼度と上記所定閾値との比較が行われて対象グループの抽出が行われる。
信頼度は、例えば対象グループを構成する要素グループの数や対象グループのサイズ及び路面からの高さの情報等に基づき算出する。なお、路面からの高さの値は、前述した車線モデル形成処理で得られた値を用いる。
即ち先行車検出範囲As内で認識された対象グループについては、先行車のテールランプもしくは他の物体と識別される。
また対向車検出範囲At内で認識された対象グループについては、対向車のヘッドライトもしくは他の物体と識別される。
なお、街灯については、上記のような「識別」処理は不要であり、対象グループを「街灯」と扱えばよい。但し、街灯と信号機を識別したり、街灯以外と考えられる特徴を有する対象グループを区別するようにしてもよい。
上述の図5のステップS107として実行されるシーン判定処理の詳細を図7〜図10で説明する。このシーン判定処理は、現在の自車両の周囲環境や走行状況がハイビーム不要シーンであるか否かを最終的に判定する処理となるが、周囲環境判定として市街地か非市街地かの判定を行う。市街地は充分明るくハイビーム不要と考えられるためである。また走行状況として、低速時は遠方までライトを当てる必要がないためハイビーム不要シーンとし、さらに右左折中は遠方までライトを当てる必要がないためハイビーム不要シーンとする。
そして走行速度が一定速度未満であれば、画像処理部3はステップS206に進み、ハイビーム不要シーンと判定してハイビーム不要フラグ=1とする。
なお、判定のハンチングを防止するためヒステリシスを設けることが望ましい。例えばハイビーム不要フラグ=1とされている状況下では、ステップS201の判断の一定速度を20km/hから18km/hに変更することで、判定結果(ハイビーム不要フラグの「1」「0」)が頻繁に変動することがないようにする。
図8に、ステップS202で行う右左折中判定処理の一例を示す。なお、この図8の処理と並行して画像処理部3は、ウインカー点滅時は内部カウンタ(説明上「ウインカーカウンタ」と呼ぶ)をカウントアップし、ウインカー消灯時はカウントダウン(但し、最小値は0)する処理を行っているものとする。
画像処理部3はステップS210で、現在右左折中と判定されているか(後述のステップS213の判定後の期間であるか)否かを確認する。
現在が右左折中と判定されている期間でなければステップS211でウインカーカウンタの値が右左折判定閾値R1を越えたか否かを確認する。右左折判定閾値R1は、例えば5秒に相当するカウント値などとする。
一方、ウインカーカウンタの値が右左折判定閾値R1を越えていればステップS213で右左折後フラグをオンとし、ステップS214で現在右左折中と判定する。なお、右左折後フラグとは、後述する市街地判定で確認する右左折後期間(右左折後の一定期間)を示すためのフラグであり、この右左折後フラグは一定時間(例えば20秒)間、オン状態が継続される。
ウインカーカウンタの値が右左折判定閾値R2を下回っていなければステップS214で右左折中の判定を継続する。ウインカーカウンタの値が右左折判定閾値R2を下回ったらステップS215で右左折中ではない、つまり右左折は終了したと判定する。
図7のステップS202で以上の図8のような右左折中判定が行われ、右左折中と判定した場合は、画像処理部3はステップS206に進み、ハイビーム不要シーンと判定してハイビーム不要フラグ=1とする。
さらに第1市街地判定処理において市街地と判定されなかったら、ステップS204で第2市街地判定処理を行う。そして第2市街地判定処理で市街地であると判定した場合は、画像処理部3はステップS206に進み、ハイビーム不要シーンと判定してハイビーム不要フラグ=1とする。
第1市街地判定処理は、現在の検出対象フレーム単位からの街灯検出結果等を用いて市街地か非市街地かを短期的に判定する処理(短期処理)である。
なお「検出対象フレーム単位」とは、シーン判定処理に用いる検出結果を得る単位としての1又は複数のフレームである。従って「現在の検出対象フレーム単位」とは、撮像画像の直近の1フレームに限られるものではない。上述のように明画像G1、暗画像G2で検出処理を行っている場合、検出対象フレーム単位とは、明画像G1と暗画像G2の2フレーム期間の単位となる。また例えば2フレームや3フレームなどの検出結果を平均化して1回のシーン判定処理を行うような場合、その複数フレームが「検出対象フレーム単位」に相当する。
以下、このような市街地判定について詳しく述べる。
[条件J1]
街灯検出範囲Agで街灯の対象グループとして検出されたグループの数が閾値th1a(例えばth1a=5)以上となるか(条件J1a)、もしくは、街灯として識別されたか否かにかかわらず対象グループとして検出されたグループの要素グループ画素数の総和が閾値th1b(例えば閾値th1bは街灯検出範囲Agの画素数の1/10)以上となったとき(条件J1b)。
[条件J2]
先行車検出範囲Asで先行車の対象グループではないとして検出されたグループの数が閾値th2a(例えばth2a=5)以上となるか(条件J2a)、もしくは、先行車として識別されたか否かにかかわらず対象グループとして検出されたグループの要素グループ画素数の総和が閾値th2b(例えば閾値th2bは先行車検出範囲Asの画素数の1/10)以上となったとき(条件J2b)。
[条件J3]
対向車検出範囲Atで対向車として識別されたか否かにかかわらず対象グループとして検出されたグループの要素グループ画素数の総和が閾値th3(例えば閾値th3は対向車検出範囲Atの画素数の1/10)以上となったとき。
図9のステップS220で画像処理部3は、前回判定フラグF1aを確認する。図9の処理では前回判定フラグF1a、F1b、F2a、F2b、F3を用いるが、これは直前の第1市街地判定処理により上記の条件J1a、J1b、J2a、J2b、J3のいずれの条件により市街地と判定されたかを示すフラグである。例えばステップS220で前回判定フラグF1aがオンとされている場合とは、前回の図9の処理で条件J1aが満たされて市街地と判定されていた場合となる。
またステップS220で前回判定フラグF1aがオンであれば、画像処理部3はステップS223で、街灯検出範囲Agで街灯の対象グループとして検出されたグループの数が閾値th1aH以下であるか否かを判断する。閾値th1aHとは、条件J1a判定についてのヒステリシス付与のため、閾値th1a(例えば5)より低い値に設定される。例えば閾値th1aH=3などとする。閾値th1aH以下でなければ、依然、条件J1aは満たされているとしてステップS245で市街地と判定する。閾値th1aH以下であれば、ステップS224で前回判定フラグF1aをオフとし、ステップS225に進む。
またステップS225で前回判定フラグF1bがオンであれば、画像処理部3はステップS228で、街灯検出範囲Agで街灯の対象グループとして検出されたグループの数が閾値th1bH以下であるか否かを判断する。閾値th1bHは、条件J1b判定についてのヒステリシス付与のため、閾値th1b(例えば街灯検出範囲Agの画素数の1/10)より低い値(例えば街灯検出範囲Agの画素数の1/11)に設定される。閾値th1bH以下でなければ、依然、条件J1bは満たされているとしてステップS245で市街地と判定する。閾値th1bH以下であれば、ステップS229で前回判定フラグF1bをオフとし、ステップS230に進む。
画像処理部3は、ステップS230で前回判定フラグF2aがオフであれば、ステップS231で先行車検出範囲Asで先行車の対象グループではないとして検出されたグループの数が閾値th2a以上であるか否かを判断する(条件J2a)。閾値th2a以上であれば、ステップS232で前回判定フラグF2aをオンとし、ステップS245で市街地と判定する。閾値th2a以上でなければステップS235に進む。
またステップS230で前回判定フラグF2aがオンであれば、ステップS233で、先行車検出範囲Asで先行車の対象グループではないとして検出されたグループの数が閾値th2aH(但しth2a>th2aH)以下であるか否かを判断する。閾値th2aH以下でなければステップS245で市街地と判定する。閾値th2aH以下であれば、ステップS234で前回判定フラグF2aをオフとしてステップS235に進む。
またステップS235で前回判定フラグF2bがオンであれば、ステップS238で、先行車検出範囲Asで対象グループとして検出されたグループの要素グループ画素数の総和が閾値th2bH(但しth2b>th2bH)以下であるか否かを判断する。閾値th2bH以下でなければステップS245で市街地と判定する。閾値th2bH以下であれば、ステップS239で前回判定フラグF2aをオフとしてステップS240に進む。
またステップS240で前回判定フラグF3がオンであれば、ステップS243で、対向車検出範囲Atで対象グループとして検出されたグループの要素グループ画素数の総和が閾値th3H(但しth3>th3H)以下であるか否かを判断する。閾値th3H以下でなければステップS245で市街地と判定する。閾値th3H以下であれば、ステップS244で前回判定フラグF3をオフとしてステップS246に進む。
以上のように第1市街地判定処理は、現在の検出対象フレーム単位での街灯検出、先行車検出、対向車検出の各検出結果を用いて、市街地判定を行う。
まず非市街地から市街地に入ったと判定するために、判定値Sを用意し、次のように判定値Sを更新していく。
X=(街灯検出範囲Agで街灯として識別された対象グループ数+U・先行車検出範囲Asで先行車として識別されなかった対象グループ数+U・対向車検出範囲Atで対向車として識別されなかった対象グループ数)
“T”は0より大きく1未満で設定されるパラメータで(以下「係数T」ともいう)、時系列上の各検出対象フレーム単位の検出結果の反映の重みを設定するものとなる。“T”が前回の判定値Sの係数、“1−T”が現在の検出対象フレーム単位の街灯数Xの係数であることで、判定値Sは、係数Tが0に近いほど現在の検出対象フレーム単位での検出結果の重みが大きく、係数Tが1に近いほど過去の検出対象フレーム単位での検出結果の重みが大きくなる。上記式から「前回の判定値S」は、前々回以前の判定値Sの要素も含むことになるため、判定値Sは、係数Tが0に近いほど短期の検出結果を反映し、係数Tが1に近いほど長期の検出結果を反映したものとなる。
なお、係数Tは、例えば数10秒レベルの期間を想定して設定することが考えられる。
ただし右左折後一定期間(右左折後フラグがオンのとき)は係数Tを通常の直進時より小さくする(判定値Sが比較的短期の検出結果を反映したものとなるようにする)。例えば数秒程度の期間を想定した値とする。
この判定値Sが所定の閾値thA(例えばthA=3)以上となったら、非市街地から市街地に入った、つまりハイビーム不要シーンと判定する。判定値Sが閾値thA未満であれば、非市街地、つまりハイビーム不要シーンではないと判定する。
なお、車両停止時は判定値Sの値は更新しない。これは、非市街地で偶然局所的に光源の存在する場所に停止した場合に誤って判定結果が非市街地から市街地へ遷移することがないようにするためである。
具体的には、街灯数反映値Xが閾値thB以下の連続回数を“Y”とし、連続回数Yが閾値V以上となった場合に非市街地と判定する。
閾値Vは通常10秒程度の相当値に設定するが、右左折後一定期間(右左折後フラグがオンのとき)は閾値Vは通常より短くする(例えば3秒程度の相当値)。
第2市街地判定処理において、図10のステップS250で画像処理部3は、現在自車両が停車中であるか否かを確認する。車両停車中であれば、ステップS266で前回判定を維持する。判定値Sの更新も行わない。
車両停車中でなければ、ステップS251で、右左折後フラグがオンであるか否かを確認する。即ち図8で述べた右左折後期間(例えば右左折中と検出されてから20秒の期間)であるか否かを確認することになる。
右左折後フラグがオフであれば、ステップS252で係数T=T1、閾値V=V1とする。右左折後フラグがオンであれば、ステップS253で係数T=T2、閾値V=V2とする。T1>T2、V1>V2である。これは右左折後期間は、係数T1,閾値Vを小さくし、市街地であることの判定、及び非市街地であることの判定についての判定応答性が、通常時(右左折後期間以外)よりも高くなるようにするためである。
そしてステップS255で街灯数X、係数T、前回の判定値Sを用いて、判定値Sを算出(更新)する。
従って連続回数Yの値は、ステップS260で街灯数反映値Xが閾値thB以下と判定された連続回数を示すものとなる。この連続回数YをステップS263で閾値Vと比較し、連続回数Yが閾値Vを越えていたら、非市街地に入ったとして、ステップS265で非市街地判定を行う。連続回数Yが閾値Vを越えていなければ、今回も市街地のままであるとして、ステップS264で市街地判定を行う。
まず係数T=T2とされることによれば、ステップS255で求められる判定値Sが、現在よりの検出対象フレーム単位ほど重み付けされ、比較的短期的な時系列遷移を反映した値となる。つまり過去の検出対象フレーム単位における街灯検出結果の反映度が低くされ、現在の街灯検出結果に重みをおくようにすることで、非市街地から市街地に入った際にステップS257で判定値Sが閾値thA以上と判定されやすくしている。このことで周囲が非市街地から市街地になった場合の判定応答性を高くしている。
また閾値V=V2とされることによれば、ステップS263で連続回数Yが通常時より少なくても非市街地と判定されることになる。このため、周囲が市街地から非市街地になった場合に、比較的早く非市街地判定がなされる。つまり周囲が市街地から非市街地になった場合の判定応答性を高くしている。
このように自車両の右左折後期間においては、市街地であることの判定、及び非市街地であることの判定についての判定応答性が、通常時(=右左折後期間以外)よりも高くなるようにしている。
図5のステップS108として実行される制御情報算出処理は、認識・識別処理による先行車・対向車の認識・識別結果とシーン判定処理の結果とに基づき、ADBの制御情報を算出する処理である。具体的な処理内容を図11のフローチャートを参照して説明する。
図11において、画像処理部3は、ステップS301で不要シーンか否かを上記のシーン判定処理の結果(ハイビーム不要フラグが“1”であるか“0”であるか)に基づき判別する。不要シーンであるとの肯定結果が得られた場合は、ステップS305でハイビームOFFを表す制御情報を生成し、ステップS306で当該制御情報を運転支援制御部5(配光制御処理部5A)に対して出力した後、処理を終了する。
先行車又は対向車が存在しないとの否定結果が得られた場合は、ステップ303で全面ハイビームONを表す制御情報を生成し、ステップS306で当該制御情報を運転支援制御部5に出力した後、処理を終了する。
画像処理部3は、ステップS304で生成した制御情報(照射範囲情報を含む)をステップS306で運転支援制御部5に出力し、処理を終了する。
運転支援制御部5(配光制御処理部5A)では、配光制御処理として、上記の制御情報に基づく配光制御を実行する。具体的に、配光制御処理では、ハイビームOFFを表す制御情報に応じてはライト制御部10に対しハイビームをOFFとする指示を行う。また、全面ハイビームONを表す制御情報に応じてはライト制御部10に対しハイビームを全面ONとする指示を行う。さらに、対象以外ハイビームONを表す制御情報に応じては、当該制御情報に含まれる照射範囲情報に従った範囲のみハイビームが照射されるようにライト制御部10に対する指示を行う。
図12Aに示すように、この場合のハイビームの照射は、先行車、対向車が存在する範囲(図中斜線部)以外の範囲に対して行う。
以上のように実施の形態では、主に撮像部2と画像処理部3の機能により周囲環境判定装置としての構成が実現される。撮像部2は自車両の前方を撮像した撮像画像を得る。画像処理部3には、撮像画像の検出対象フレーム単位毎に少なくとも街灯検出を行う街灯検出処理部3Fと、第1市街地判定処理(短期判定)及び第2市街地判定処理(長期判定)を行い、第1、第2市街地判定処理のいずれかで市街地と判定された場合に、現在の車両周囲環境が市街地であると判定するシーン判定処理部3Hを備える。これにより、短期的な判定で発生しやすい判定のハンチングを解消し、また長期的な判定で発生しやすい判定遅れや未反応を解消できる。
図14で説明する。図14Aは時間軸上で検出される街灯を模式的に示している。図14Bは第1市街地判定処理の判定結果、図14Cは第2市街地判定処理の判定結果、図14Dは第1,第2市街地判定処理を統合した判定結果である。いずれも「1」が市街地判定、「0」が非市街地判定を示している。
第1市街地判定処理では街灯検出に応じて市街地判定の応答性がよいが、その反面、一時的に街灯数が減少したり街灯が検出されなくなると非市街地と判定してしまい、矢印P1部分として示すように、判定のハンチングが生じ易く、判定結果の安定性が比較的低い。
第2市街地判定処理では、瞬間的な街灯数変動に追従しないことで、ハンチングは生じにくい。しかし逆に短い期間、市街地に入っていたとしても、その市街地判定がなされない場合がある(未反応:矢印P2部分)。また即座に反応しないことで市街地に入っても、市街地と判定するまでに反応遅れが生ずる(矢印P3部分)
ところが、この第1,第2市街地判定処理を統合して、OR条件で最終的に市街地判定(ハイビーム不要シーン判定)を行うことで、両者の利点が得られる。つまり図14Dの統合判定に見られるように、ハンチング発生が解消され、さらに未反応や反応遅れが解消される。つまり、応答性がよく、かつ安定性・信頼性の高い市街地判定が実現されることになる。
第1市街地判定処理では短期判定であることから、閾値を高めにすることで判定の安定性が得られやすいようになる。また第2市街地判定処理では、時系列変動を反映した平均的な街灯検出結果を用いるため、もともとの判定の安定性が高いが、その上で、閾値を第1市街地判定処理の場合より低くして市街地と判定されることの遅延があまり生じないようにする。
つまり第1市街地判定処理の安定性に欠けるという欠点は、第2市街地判定処理によってカバーされると共に、第1判定閾値の設定によっても低減される。同時に第2市街地判定処理の応答性の難点は、第1市街地判定処理によってカバーされると共に、第2判定閾値の設定によっても低減される。従って応答性、安定性・信頼性の効果をより促進できる。
また第2市街地判定処理では、停車中は判定値Sを更新せず、従って判定結果も前回の結果を維持するようにしている。これにより非市街地において偶然明かりのあるところで停車した場合などの誤判定を避け、判定の信頼性を向上できる。
図15で説明する。図15Aは時間軸上で検出される街灯を模式的に示し、図15Bは右左折後期間に判定応答性を変更しない場合、図15Cは本実施の形態のように右左折後期間に判定応答性を変更する場合を示している。
時点t1,t2は、それぞれ右左折が行われて道の状況が変わった時点を示している。判定応答性を変更しない図15Bの場合、矢印P4,P5の部分のように反応遅れが生ずる。判定応答性を変更すると図15Cの矢印P4’,P5’の部分のように反応遅れが改善されることになる。
例えば、ハイビーム不要の街道から右左折でハイビームが必要な道に入るというような走行シーンの切り替わり時は、ドライバーはより早くハイビームになってほしいと感じるため、通常走行時より早く市街地−非市街地の判定の切り替えが行われると良い。右左折後期間に判定応答性を高めることで、このような事情にも対応できる。
例えば図10のステップS252、S253で、係数T、閾値Vの設定ではなく、ステップS257で用いる閾値thAや、ステップS260で用いる閾値thBを可変設定するようにしてもよい。もちろん、係数Tと閾値thAの両方、及び閾値Vと閾値thBの両方を右左折後期間は変化させるようにしてもよい。
また撮像画像フレーム内で街灯検出範囲Agを設定しておくことで、処理負担を少なく街灯数や街灯領域の判定ができる。
また先行車検出範囲As内において先行車と識別されなかった検出物体の数、又は先行車検出範囲As内の検出物体領域の割合を判定要素に加えることも好ましい。さらに対向車検出範囲At内において対向車と識別されなかった検出物体の数、又は対向車検出範囲At内の検出物体領域の割合を判定要素に加えることも好ましい。先行車検出範囲Asの先行車以外の検出物体(例えば高輝度物体)や、対向車検出範囲Atの対向車以外の検出物体(例えば高輝度物体)は、市街地の明かりなどと考えられ、市街地と非市街地を区別する要素となりえる。これらの要素を加味して判定することで、市街地判定精度を上げることができる。
例えば図9の第1市街地判定処理ではステップS231〜S244を行わず、ステップS220〜S229までの処理の結果でステップS245,S246の判定が行われるようにする。
また第2市街地判定処理では、上述の判定値S=T・(前回のS)+(1−T)・Xについて、街灯数反映値Xを、X=(街灯検出範囲Agで街灯として識別された対象グループ数)とする。
自車両の前方を撮像した撮像画像を得る撮像部として、図1の第1カメラ部2A、第2カメラ部2Bとしてのステレオカメラシステムを用いる例を述べたが、これに限らず、1つのカメラを有する撮像部を用いた構成において市街地判定が行われるようにしてもよい。
また実施の形態では街灯、テールランプ、ヘッドライトの検出のために明画像G1と暗画像G2を順次得るようにしたが、特にこのようなシャッタースピードの異なる画像を取得しないようにしてもよい。その場合、短期判定としての第1市街地判定処理は1フレーム期間毎に行うことも考えられる。
さらには撮像部からは、それぞれシャッタースピードの異なる街灯検出用画像、テールランプ検出用画像、ヘッドライト検出用画像を得るようにしてもよい。
また図11ではシーン判定結果をADBに適用する場合を例示したが、AHB(Auto High Beam)にも適用可能である。即ち先行車、対向車が存在した場合やハイビーム不要シーンではハイビームをオフとする制御である。具体的にはAHBの場合、図11のステップS302で先行車・対向車が検出されたらステップS305でハイビームをOFFに制御するようにすればよい(ステップS304を行わない)。
Claims (8)
- 自車両の前方を撮像した撮像画像を得る撮像部と、
前記撮像画像の検出対象フレーム単位毎に少なくとも街灯検出を行う検出処理部と、
前記撮像画像の現在の検出対象フレーム単位における街灯検出結果の値が第1判定閾値以上となったら市街地であると判定する第1市街地判定処理、及び現在の検出対象フレーム単位における街灯検出結果の値と過去の検出対象フレーム単位における街灯検出結果の値の双方を用いた値が、前記第1判定閾値より小さい第2判定閾値以上となったら市街地であると判定する第2市街地判定処理とを行い、前記第1市街地判定処理と前記第2市街地判定処理のいずれかで市街地と判定された場合に、現在の車両周囲環境が市街地であると判定する環境判定処理部と、を備えた
周囲環境判定装置。 - 前記環境判定処理部により現在の車両周囲環境が市街地であると判定された場合に、ヘッドライトのハイビーム照射が実行されないように制御する配光制御部を、更に備えた
請求項1に記載の周囲環境判定装置。 - 前記第2市街地判定処理では、現在の検出対象フレーム単位における街灯検出結果の値と過去の検出対象フレーム単位における街灯検出結果の値にそれぞれ所定の重み付けを行って平均した値が、前記第1判定閾値より小さい第2判定閾値以上となったら市街地であると判定する
請求項1又は請求項2に記載の周囲環境判定装置。 - 前記第2市街地判定処理では、市街地と判定した後において、各検出対象フレーム単位における街灯検出結果の値が所定回数連続して非市街地判定閾値以下となった場合に、非市街地であると判定する
請求項1乃至請求項3のいずれかに記載の周囲環境判定装置。 - 前記第2市街地判定処理では、自車両の右左折後期間においては、市街地であることの判定、及び非市街地であることの判定についての判定応答性を、右左折後期間以外よりも高くする
請求項1乃至請求項4のいずれかに記載の周囲環境判定装置。 - 前記第1市街地判定処理、又は前記第2市街地判定処理では、前記街灯検出結果として、撮像画像のフレーム内で設定された街灯検出範囲内において検出された街灯の数、又は前記街灯検出範囲内における街灯領域の割合を用いる
請求項1乃至請求項5のいずれかに記載の周囲環境判定装置。 - 前記第1市街地判定処理、又は前記第2市街地判定処理では、前記街灯検出結果に加えて、撮像画像のフレーム内で設定された先行車検出範囲内において先行車と識別されなかった検出物体の数、又は前記先行車検出範囲内の検出物体領域の割合を、さらに用いて市街地であるか否かの判定を行う
請求項6に記載の周囲環境判定装置。 - 前記第1市街地判定処理、又は前記第2市街地判定処理では、前記街灯検出結果に加えて、撮像画像のフレーム内で設定された対向車検出範囲内において対向車と識別されなかった検出物体の数、又は前記対向車検出範囲内の検出物体領域の割合を、さらに用いて市街地であるか否かの判定を行う
請求項6又は請求項7に記載の周囲環境判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013112596A JP6151569B2 (ja) | 2013-05-29 | 2013-05-29 | 周囲環境判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013112596A JP6151569B2 (ja) | 2013-05-29 | 2013-05-29 | 周囲環境判定装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014232409A JP2014232409A (ja) | 2014-12-11 |
JP2014232409A5 JP2014232409A5 (ja) | 2016-04-07 |
JP6151569B2 true JP6151569B2 (ja) | 2017-06-21 |
Family
ID=52125755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013112596A Active JP6151569B2 (ja) | 2013-05-29 | 2013-05-29 | 周囲環境判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6151569B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6200481B2 (ja) | 2015-11-25 | 2017-09-20 | 株式会社Subaru | 車外環境認識装置 |
JP6310899B2 (ja) | 2015-11-25 | 2018-04-11 | 株式会社Subaru | 車外環境認識装置 |
CN113276760A (zh) * | 2021-06-30 | 2021-08-20 | 宜宾凯翼汽车有限公司 | 一种远光灯控制系统及方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005225317A (ja) * | 2004-02-12 | 2005-08-25 | Ichikoh Ind Ltd | 配光制御システム |
JP2005311691A (ja) * | 2004-04-21 | 2005-11-04 | Toyota Central Res & Dev Lab Inc | 物体検出装置及び方法 |
JP4609273B2 (ja) * | 2005-10-19 | 2011-01-12 | マツダ株式会社 | 車両のヘッドライト制御装置 |
EP1837803A3 (en) * | 2006-03-24 | 2008-05-14 | MobilEye Technologies, Ltd. | Headlight, taillight and streetlight detection |
US20100023255A1 (en) * | 2006-11-17 | 2010-01-28 | Pioneer Corporation | Navigation apparatus, map display method and map display program |
JP2010224670A (ja) * | 2009-03-19 | 2010-10-07 | Honda Motor Co Ltd | 車両の周辺監視装置 |
JP2011255765A (ja) * | 2010-06-08 | 2011-12-22 | Denso Corp | ヘッドライト制御装置 |
JP5552381B2 (ja) * | 2010-06-24 | 2014-07-16 | 株式会社小糸製作所 | 制御装置、車両用前照灯システム |
JP5626114B2 (ja) * | 2011-05-18 | 2014-11-19 | 株式会社デンソー | 車載レーザレーダ装置 |
-
2013
- 2013-05-29 JP JP2013112596A patent/JP6151569B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014232409A (ja) | 2014-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5820843B2 (ja) | 周囲環境判定装置 | |
JP5409929B2 (ja) | 車両用ヘッドライト装置の制御方法およびヘッドライト装置 | |
JP6924325B2 (ja) | オートライトシステム | |
JP6085522B2 (ja) | 画像処理装置 | |
JP5809785B2 (ja) | 車両用外界認識装置およびそれを用いた配光制御システム | |
JP5855272B2 (ja) | ブレーキ状況を認識する方法および装置 | |
US20080007429A1 (en) | Visibility condition determining device for vehicle | |
JP4900211B2 (ja) | 走行支援装置、車間距離設定方法 | |
JP6227898B2 (ja) | 画像処理装置 | |
US10872419B2 (en) | Method and apparatus for evaluating a vehicle travel surface | |
JP2013147112A (ja) | 車両の走行環境認識装置 | |
JP6034923B1 (ja) | 車外環境認識装置 | |
EP2525302A1 (en) | Image processing system | |
JP4980970B2 (ja) | 撮像手段の調整装置および物体検出装置 | |
CN110087946A (zh) | 车辆用照明系统和车辆 | |
JP2008225822A (ja) | 道路区画線検出装置 | |
JP6151569B2 (ja) | 周囲環境判定装置 | |
KR20080004833A (ko) | 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치 | |
JP7081444B2 (ja) | 車両制御システム | |
CN116373728A (zh) | 基于车辆照明的车行道障碍物通知的系统和方法 | |
US20210182621A1 (en) | Vehicle control apparatus and operating method thereof | |
JP7084223B2 (ja) | 画像処理装置および車両用灯具 | |
JP6121244B2 (ja) | 画像処理装置 | |
JP6121244B6 (ja) | 画像処理装置 | |
JP7378673B2 (ja) | 前照灯制御装置、前照灯制御システム、及び前照灯制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170502 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6151569 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |