JP6227898B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP6227898B2 JP6227898B2 JP2013112953A JP2013112953A JP6227898B2 JP 6227898 B2 JP6227898 B2 JP 6227898B2 JP 2013112953 A JP2013112953 A JP 2013112953A JP 2013112953 A JP2013112953 A JP 2013112953A JP 6227898 B2 JP6227898 B2 JP 6227898B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- target
- vehicle
- image
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
二値化処理で検出された画素の各集団をヘッドライト領域としてグループ化(要素グループ化)し、グループ化された各ヘッドライト領域についてそれらの位置関係や自車両からの距離の情報等から対向車領域をグループ化(対象グループ化)して、対向車を認識する。そして、認識した領域内に存在する物体が対向車であるか否かを識別する。このように対向車の認識・識別は、二値化、要素グループ化、及び対象グループ化の各処理を経て実現される。
自車両からの距離と輝度閾値との関係を定めた距離閾値関係情報が記憶された記憶部と、
前記撮像画像から抽出した対象画像部分についての自車両からの距離を求めた上で、前記
対象画像部分の輝度と、前記対象画像部分の前記距離と前記距離閾値関係情報とに基づき
設定した輝度閾値とを比較した結果に基づいて、前記対象画像部分が対向車部分であるか
否かを識別する画像処理部とを備え、前記記憶部には、前記距離閾値関係情報として、自
車両のライト照射状態に対応した複数種の情報が記憶され、前記画像処理部は、自車両の
ライト照射状態に応じて選択した前記距離閾値関係情報を用いて前記識別を行い、前記距離閾値関係情報は、前記距離が第1の距離未満の領域において、前記距離が大きくなるに連れて前記輝度閾値が徐々に低下する領域を有すると共に、前記距離が前記第1の距離以上の領域において、前記輝度閾値が一定となるように前記距離と前記輝度閾値との関係が定められているものである。
これにより、自車両から所定距離未満に存在する物体についての識別で用いられるべき輝度閾値が、距離に関わらず一定とされる。
これにより、対向車が自車両に正対していない場合に対応して識別で用いる輝度閾値を低くすることが可能とされる。
これにより、対象画像部分が過剰に長い時間にわたって対向車であると識別されたか否か、すなわち非対向車である可能性が高いか否かの判別結果が現フレームでの識別に反映される。
図1は、本発明に係る実施の形態としての画像処理装置を備えた車両制御システム1の構成を示している。なお、図1では、車両制御システム1の構成のうち主に本発明に係る要部の構成のみを抽出して示している。
車両制御システム1は、自車両に対して設けられた撮像部2、画像処理部3、メモリ4、運転支援制御部5、表示制御部6、エンジン制御部7、トランスミッション制御部8、ブレーキ制御部9、ライト制御部10、表示部11、エンジン関連アクチュエータ12、トランスミッション関連アクチュエータ13、ブレーキ関連アクチュエータ14、ヘッドライト15、ADB(Adaptive Driving Beam)アクチュエータ16、センサ・操作子類17、及びバス18を備えている。
以下、第1カメラ部2Aで得られた撮像画像データを「第1撮像画像データ」、第2カメラ部2Bで得られた撮像画像データを「第2撮像画像データ」と表記する。
画像処理部3は、撮像部2が自車両の前方を撮像して得た第1撮像画像データ、第2撮像画像データとしての各フレーム画像データをメモリ部4に格納していく。そして各フレームの第1撮像画像データ、第2撮像画像データに基づき、外部環境として車両前方に存在する物体を認識・識別するための各種処理を実行する。
なお、画像処理部3が実行する具体的な処理の詳細については後述する。
運転支援制御部5は、同じくマイクロコンピュータで構成された表示制御部6、エンジン制御部7、トランスミッション制御部8、ブレーキ制御部9、及びライト制御部10の各制御部とバス18を介して接続されており、これら各制御部との間で相互にデータ通信を行うことが可能とされる。運転支援制御部5は、上記の各制御部のうち必要な制御部に対して指示を行って運転支援に係る動作を実行させる。
本実施の形態の場合、運転支援制御部5は、ヘッドライト15についての配光制御を行う。図中では、運転支援制御部5が有する配光制御のための処理機能を、「配光制御処理部5A」としての機能ブロックにより表している。配光制御処理部5Aは、画像処理部3が対向車や先行車、街灯等の認識・識別結果から生成した制御情報に基づき、ライト制御部10にADB制御のための指示を行う。
また、操作子としては、エンジンの始動/停止を指示するためのイグニッションスイッチや、AT(オートマティックトランスミッション)車における自動変速モード/手動変速モードの選択や手動変速モード時におけるシフトアップ/ダウンの指示を行うためのセレクトレバーや、後述する表示部11に設けられたMFD(Multi Function Display)における表示情報の切り換えを行うための表示切換スイッチなどがある。
特に本実施の形態の場合、センサ・操作子類17においては、車速センサ17A、舵角センサ17B、アクセル開度センサ17C、ヘッドライトスイッチ17D、ウィンカースイッチ17Eが設けられている。ヘッドライトスイッチ17Dは、ヘッドライト15のロービームのON/OFFやハイビームのON/OFFの指示を行うための操作子を表す。ここで、本例の場合、ハイビームのON/OFF操作に応じてADB機能もON/OFFされる。
例えばエンジン制御部7は、前述したイグニッションスイッチの操作に応じてエンジンの始動/停止制御を行う。また、エンジン制御部7は、エンジン回転数センサやアクセル開度センサ等の所定のセンサからの検出信号に基づき、燃料噴射タイミング、燃料噴射パルス幅、スロットル開度等の制御も行う。
例えばトランスミッション制御部8は、前述したセレクトレバーによって自動変速モードが選択されている際には、所定の変速パターンに従い変速信号をコントロールバルブに出力して変速制御を行う。また、トランスミッション制御部8は、手動変速モードの設定時には、セレクトレバーによるシフトアップ/ダウン指示に従った変速信号をコントロールバルブに出力して変速制御を行う。
例えばブレーキ制御部9は、運転支援制御部5よりブレーキをONする指示が為された場合に上記の液圧制御アクチュエータを制御して自車両を制動させる。またブレーキ制御部9は、所定のセンサ(例えば車軸の回転速度センサや車速センサ)の検出情報から車輪のスリップ率を計算し、スリップ率に応じて上記の液圧制御アクチュエータにより液圧を加減圧させることで、所謂ABS(Antilock Brake System)制御を実現する。
具体的に、ライト制御部10は、照度センサ等の所定のセンサによる検出信号に基づきヘッドライト15の点消灯を行うオートヘッドライト制御等を行う。また、ライト制御部10は、前述したヘッドライトスイッチ17Dによる操作入力情報に基づきヘッドライト15のロービーム、ハイビームのON/OFF制御も行う。また、特に本実施の形態のライト制御部10は、運転支援制御部5における配光制御処理部5Aからの指示に基づきADBアクチュエータ16を制御することで、ADB機能を実現する。本例におけるADBアクチュエータ16は、例えば遮光板を駆動するアクチュエータとされ、ライト制御部10からの制御に基づき遮光板を駆動することで、ハイビームの配光領域の一部に遮光領域を形成するか、或いは遮光領域を非形成(つまりハイビームを全照状態)とする。
図2により、本実施の形態で実行される各種処理の概要について説明する。
なお、図2においては、画像処理部3が第1撮像画像データ、第2撮像画像データに基づき実行する各種の画像処理を機能ごとに分けてブロック化して示している。また、図2では、運転支援制御部5が有する配光制御処理部5A、及びメモリ4も併せて示している。
このように形成された車線モデルにより、自車両が走行する路面の高さ情報も得られたことになる。
なお、上記の距離画像生成処理、車線検出処理、及び車線モデル形成処理の手法は、特開2008−33750号公報に開示された手法と同様であり、詳しくは該文献を参照されたい。
先ず、実施の形態に係る各処理の説明に先立ち、各処理で扱う2種の撮像画像(フレーム画像)、及び各対象の検出範囲について説明しておく。
ここで、ヘッドライトとテールランプはそれぞれ光量が大きく異なるため、同一のシャッタースピードで撮像された画像を用いてしまうと両者とも鮮明な像を検出できないという問題がある。例えば、テールランプに合わせたシャッタースピードで撮像された画像では、ヘッドライトの輝度が飽和して適正な検出ができなくなる。
同一シーンについて撮像された明画像G1、暗画像G2の例を図3A、図3Bにそれぞれに示す。
なお、前述した距離画像は、明画像G1に基づき生成される。
なお、撮像画像上での街灯の輝度は、テールランプとヘッドライトとの中間程度である場合が多いので、街灯検出処理は必ずしも暗画像G2に基づき行うことに限定されず、明画像G1に基づき行うこともできる。
図5は、実施の形態に係る各処理の全体的な流れを示したフローチャートである。
なお、図5に示す一連の処理は、画像処理部3が1フレーム期間ごとに繰り返し実行するものである。
なお、夜間であるか否かは、撮像画像データのシャッタースピード及びゲイン値に基づき行う。或いは、夜間であるか否かの判別は、ハイビームがONであるか否かを判別した結果に基づき行うこともできる。
ステップS101において、夜間ではないとの否定結果が得られた場合は現フレーム期間での処理を終了し、夜間であるとの肯定結果が得られた場合はステップS102に進む。
画像タイプが明画像G1であれば、ステップS103でテールランプ検出処理を実行した後、現フレーム期間での処理を終了する。
テールランプ検出処理は、先行車のテールランプ部分と推測される領域(テールランプ領域)を検出する処理である。
テールランプ検出処理では、先ず、明画像G1に対してテールランプ検出範囲Asを設定した上で、当該テールランプ検出範囲As内の画素を対象として赤色の画素を検出する。そして、検出した画素をグループ化し、要素グループを作成する。具体的には、検出された画素間の距離がA1ピクセル以下となる画素同士をグループ化する。例えばA1=1.5ピクセルとする。
・要素グループの上下左右座標(要素グループを矩形で囲った場合の各辺の位置)
・要素グループ内画素数
・要素グループ内最大輝度値、最小輝度値
・要素グループの平均視差(要素グループ内の各画素の視差Mの平均値)
なお、視差Mは、前述した距離画像生成処理で得られる値を用いる。
条件1):要素グループの縦・横サイズがB1ピクセル以下。B1は例えば2ピクセル。
条件2):要素グループ内画素数がC1ピクセル以下。C1は例えば2ピクセル。
その他、要素グループのサイズが大きすぎる場合に削除を行ってもよい。但し、その場合の閾値は距離(視差M)により変化させる。
図中の灰色で示した領域が、テールランプ検出範囲As内における先行車に相当する領域(先行車領域)を表し、黒色で示した領域が赤色画素として検出された領域を表す。上記のテールランプ検出処理によれば、図中の破線で示す矩形状の領域が要素グループとしてグループ化される。
ヘッドライト検出処理は、対向車のヘッドライト部分と推測される領域(ヘッドライト領域)を検出する処理である。
ヘッドライト検出処理では、先ず、輝度値についての閾値D2を用いた二値化処理を行い、その結果からテールランプ検出処理と同様に要素グループのグループ化及び要素グループの選別を行う。
基本的な処理の流れは以下の通りである。
i)輝度値が閾値D2以上である画素を検出する
ii)検出した画素をグループ化し、要素グループを作成する
iii)要素グループの基本特徴量を求める
iv)要素グループ選別
なお、本例の場合、ii)〜iv)の処理はテールランプ検出処理の場合と同様の処理となる。
街灯検出処理は、街灯と推測される領域(街灯領域)を検出する処理である。
本例の場合、街灯検出処理は、処理対象とする画素が街灯検出範囲Ag内の画素となる以外はヘッドライト検出処理と同様となるため、説明は省略する。
対象認識・識別処理は、少なくとも上記のテールランプ検出処理、ヘッドライト検出処理の各処理結果に基づいて、対象(先行車、対向車)の認識・識別を行う処理である。
ここで言う「認識」とは、対象の範囲を認識することを意味する。「識別」とは、「認識」された範囲内に存在する物体が対象であるかどうかの確からしさ(例えば後述する信頼度α)を算出し、その確からしさに基づいて対象であるか否かの切り分けを行うことを意味する。
図7は、対象認識・識別処理の全体的な流れを説明するためのフローチャートである。
図7に示すように、対象認識・識別処理では、ステップS201の対象領域算出処理、ステップS202の対象グループ3次元位置算出処理、ステップS203の対象グループトラッキング処理、ステップS204の対象識別処理、及びステップS205の前回結果受け継ぎ処理が順に行われる。
これらのうち、ステップS201の対象領域算出処理が上記の「認識」の処理に相当し、ステップS204の対象識別処理が上記の「識別」の処理に相当する。
先ず、ステップS201の対象領域算出処理について説明する。
対象領域算出処理は、テールランプ検出処理、ヘッドライト検出処理で求まった各要素グループを、基本特徴量の情報に基づいてそれぞれ対象グループとしてグループ化する処理である。対象領域算出処理は、テールランプ検出処理の結果に基づく処理(つまり先行車の「認識」処理)とヘッドライト検出処理の結果に基づく処理(対向車の「認識」処理)とが個別に行われるが、本例ではそれらの具体的な処理内容は共通とされることから、以下では纏めて説明を行う。
図8において、画像処理部3はステップS301で、要素グループ識別子E=0に設定する。要素グループ識別子Eは、テールランプ検出処理、ヘッドライト検出処理でそれぞれ検出されて対象領域算出処理で処理対象とされる個々の要素グループを特定するための識別子である。要素グループ識別子Eは、テールランプ検出処理の結果に基づく対象領域算出処理とヘッドライト検出処理の結果に基づく対象領域算出処理とで個別に用いられる。
ステップS302において、グループ化条件を満たす他の要素グループが存在しないとされた場合には、ステップS303で新グループを作成する。すなわち、要素グループ識別子Eで特定される要素グループを含む新たな対象グループを作成する。
一方、グループ化条件を満たす他の要素グループが存在するとされた場合は、ステップS304でグループ統合処理を行う。すなわち、要素グループ識別子Eで特定される要素グループとグループ化条件を満たす他の要素グループとを対象グループとして統合する。
本例では、或る要素グループと他の要素グループとが同じ対象を構成するものであるか否かを、各要素グループの上下左右方向の座標情報や平均視差の値を用いて判別する。
ここで、要素グループの平均視差の値がほぼ同値であれば、それらの要素グループは同一の対象を構成している可能性が高いと言える。また、同一の対象を構成しているのであれば、それらの要素グループの画像内での上下左右方向の離間距離は所定の範囲内にあると言える。
ステップS302の判別処理は、平均視差の値が同じであるとみなされる要素グループであって、それら要素グループの画像内での上下左右方向の離間距離が所定範囲内であるものを、対象グループとしてグループ化するための処理となる。なお、上記離間距離についての「所定範囲」は、撮像画像内での対象のサイズが自車両からの距離に応じて変わる点を考慮し、平均視差の値に応じて可変とする。
ステップS302の判別処理では、各要素グループ間の画像上の距離、平均視差の差、最大輝度値の関係が下記条件を全て満たすか否かを判別する。
実世界上での横方向、縦方向の距離が同一物体に含まれるか否かを判別する。
閾値は縦方向、横方向について個別に設定し、それぞれを縦方向閾値KH、横方向閾値KWとする。縦方向閾値KH、横方向閾値KWは、対象の実世界上の縦方向、横方向の大きさにそれぞれマージンを加えた値(それぞれ縦:LH、横:LWとする)、視差M(どちらかのグループの平均視差を使ってもよいし、その平均を用いてもよい)、ステレオカメラの基線長をbとすると
KH=LH*M/b
KW=LW*M/b
で求められる値である。当該条件1)では、各要素グループの縦方向、横方向の離間距離がそれぞれ縦方向閾値KH以下、横方向閾値KW以下であるか否かを判別する。
先行車や対向車としての車両における発光部分は、テールランプやハイマウントストップランプなど車両後面に配された灯具、或いはヘッドライトやフォグランプなど車両前面に配された灯具である。これらの灯具は、小型車、大型車であっても概ね或る範囲内に収まるものである。従って、KHやKWの値は、上記のように対象の大きさに関わらず共通の値としても、対象認識・識別処理の精度に関して特に問題が生じることはない。
実世界上の奥行き方向距離が同一物体に含まれるか否かを判別する。
閾値はKZとする。この閾値KZは、実世界上での奥行き方向の条件をLZ(例えば1m)、処理対象とされた各要素グループの視差をM1、M2、カメラの1画素の横方向サイズをλi、焦点距離をfとすると
KZ=λiM1*M2*KZ/(b*f)
で求められる値である。当該条件2)では、視差の差の絶対値(|M1−M2|)が閾値KZ未満であるか否かを判別する。但し、実用上は視差誤差等の影響を考慮し、閾値KZにはマージンを付加することが望ましい。
ここでの処理は主に同一車両の左右ランプについてのグルーピングを想定しているので、輝度が似ているか否かも判別する。処理対象とされた各要素グループの最大輝度値をN1、N2(但しN1≧N2)としたとき、
N1/N2<O1
であるか否かを判別する。すなわち、N1とN2の比が一定範囲内であるか否かの判別である。このとき、O1は例えば3とする。
これにより、先に参照した図6Bに示すような対象グループのグループ化が実現される。
しかしながら、ADBは縦方向の配光制御ではなく横方向の配光制御であるため、最終的な配光制御に問題が生じることはない。
・対象グループの上下左右座標
左、下の位置は各要素グループの最小値を受け継ぐ
右、上の位置は各要素グループの最大値を受け継ぐ
・対象グループ内画素数
各要素グループの和を受け継ぐ
・対象グループ内最大輝度値、最小輝度値
最大輝度値は各要素グループの最大値を受け継ぐ
最小輝度値は各要素グループの最小値を受け継ぐ
・対象グループの平均視差(距離)
平均視差は各要素グループの最大値(距離が近い方)を受け継ぐ
また、併せて、対象グループを構成する要素グループ数もカウントする。
一方、全要素グループについての処理が終了したとの肯定結果が得られた場合は、対象領域算出処理を終了する。
ステップS202の対象グループ3次元位置算出処理は、対象グループの実空間3次元位置を算出する処理である。
対象グループの平均視差をPd、上下、左右位置の平均(対象グループを囲う矩形の中心点の座標)をPj、Pi(但し、光軸中心位置の座標は(0,0)である)とおく。対象グループの奥行き方向、横方向、縦方向の各位置(それぞれQz、Qx、Qyとする)は、基線長b、画素サイズの縦をλj、横をλi、焦点距離fとすると、
Qz=b*f/(λi*Pd)
Qx=λi*Pi*Qz/f
Qy=λj*Pj*Qz/f
で求められる。なお、カメラが自車両に対してピッチ(前傾又は後傾)がついて設置されている場合は、上記結果にピッチに対する補正を行う。
さらに、縦方向に対しては、前述した車線検出モデル形成処理で算出される距離Qz地点での路面高さを減算し、路面からの高さとなるように変換する。
ステップS203の対象グループトラッキング処理は、対象グループが過去何フレームの間認識できていたか(存在回数)をカウントする処理である。なお、対象グループトラッキング処理は、前回結果受け継ぎ処理(S205)のために実行されるものである。
当該対象グループトラッキング処理としても先行車、対向車の各対象について個別に行われるものであるが、処理内容は共通であるため図9により纏めて説明する。
図9において、画像処理部3はステップS401で、対象グループ識別子T=0に設定する。対象グループ識別子Tは、前述した対象領域算出処理で認識された個々の対象グループを特定するための識別子である。
ステップS402の判別処理で用いる条件は、先のステップS302の判別処理で用いた条件と同じである。各条件で用いるパラメータについても基本的に同じ値とする。但し、自車両の走行状態(例えば旋回中であるとか走行速度)によってはトラッキングが外れてしまう虞がある点を考慮して、画像上の距離(KH、KW)については自車両のヨーレートによりマージンを調整する。また、平均視差の差については自車両の速度によりマージンを調整する。
一方、全対象グループについての処理が終了したとの肯定結果が得られた場合は、対象グループトラッキング処理を終了する。
ステップS204の対象識別処理は、各対象グループについての信頼度αを算出し、信頼度αが所定閾値以上の対象グループを抽出する処理である。
本例の場合、信頼度αはフレームごとに算出する。本例の対象識別処理では、フレームごとに信頼度αと上記所定閾値との比較を行って対象グループの抽出を行う。
なお、当該対象識別処理についても、先行車と対向車とについて個別に行われるものである。先行車についての対象識別処理の流れと対向車についての対象識別処理の流れは共通しているため、図10では纏めて示している。
但し、信頼度αを加算するための処理(後述する信頼度加算側処理)、及び減算するための処理(信頼度減算側処理)の内容は異なるため、この点については個別に説明を行う。
そして、ステップS503で信頼度加算側処理を実行し、ステップS504で信頼度減算側処理を実行する。
先行車についての信頼度加算側処理では、以下の条件を満たす場合にそれぞれ信頼度αを加算する。
条件1)
対象グループを構成する要素グループ数が閾値(例えば4)以下の場合。このとき、要素グループ数がそれぞれ2(テールランプが2つ)の場合、3(テールランプ2つとハイマウントストップランプ)の場合は、より先行車である可能性が高いのでさらに信頼度αを加算する
条件2)
対象グループの横サイズが一定範囲内(例えば1m〜6m以内でこれを画素サイズに換算)の場合。
条件3)
対象グループの縦サイズが一定範囲内(例えば0.5m〜4m以内でこれを画素サイズに換算)の場合。
条件4)
対象グループの縦横サイズ比が一定範囲内(例えば横が縦の0.5倍以上)の場合。
先行車の信頼度減算側処理では、以下の条件を満たす場合にそれぞれ信頼度αを減算する。
条件1)
対象グループの路面からの高さが一定範囲外(範囲は例えば0m〜4m)の場合。このとき、路面からの高さは車線モデル形成処理により算出される値を用いる。但し、車線モデル形成処理による路面からの高さの値の算出精度は遠距離側で悪化する(ステレオ法による測距では遠方の距離精度が悪化する傾向を持つことに起因)ので、上記の範囲は遠方で大きくなるように距離Qzに応じて可変とする。
条件2)
対象グループの横方向における位置が、画像中心を基準とした一定範囲内(範囲は例えば−30m〜30m)でない場合。これは、主に遠方の街の明かりとの識別を意図している。
条件3)
自車両がハイビーム状態の場合で対象グループの最大輝度値と最小輝度値の差が一定範囲内(範囲は最大輝度値により可変とし、例えば最大輝度値が200以上では範囲は50、200未満では30というように設定する)である場合。これは、自車両のライトによる赤色標識の反射と識別することを意図している。テールランプは自発光であるため光は拡散し、輝度分布が広くなる傾向があり、一方で標識の反射は輝度分布が狭くなる傾向になるという性質を利用したものである。当該条件3)の判別を行うことで、テールランプ(先行車)と赤色標識などの赤色類似物体との識別の精度を向上できる。なお、上記のように範囲を可変としているのは、輝度値の差は輝度値の影響を受けるためである(高輝度と低輝度では最大値と最小値との差が変わる)。
条件4)
対象グループの存在回数が設定値以下(例えば3)である場合。
対向車の信頼度加算側処理では、以下の条件を満たす場合にそれぞれ信頼度αを加算する。
条件1)
対象グループを構成する要素グループ数が閾値(例えば4)以下の場合。このとき、グループ数が2(ヘッドライトが2つ)の場合はより対向車である可能性が高いのでさらに信頼度αを加算する。
条件2)
対象グループの横サイズが一定範囲内(例えば1m〜6m以内でこれを画素サイズに換算)の場合。
条件3)
対象グループの縦サイズが一定範囲内(例えば0.5m〜4m以内でこれを画素サイズに換算)の場合。
条件4)
対象グループの縦横サイズ比が一定範囲内(例えば横が縦の0.5倍以上)の場合。
対向車の信頼度減算側処理では、以下の条件を満たす場合にそれぞれ信頼度αを減算する。
条件1)
対象グループの路面からの高さが一定範囲外(範囲は例えば0m〜4m)の場合。このとき、先の先行車についての信頼度減算側処理の場合と同様に、路面からの高さの値は斜線モデル形成処理の結果を用い、上記の範囲は遠方で大きくなるように距離Qzにより可変とする。
条件2)
対象グループの横方向における位置が、画像中心を基準とした一定範囲内(範囲は例えば−30m〜30m)でない場合(主に遠方の街の明かりとの識別を意図)。
条件3)
対象グループの最大輝度値が輝度閾値以下である場合。
当該条件3)についての判別処理は、自車両のライト照射状態に応じて、先の図2に示したロービーム時距離閾値関係情報4A、又はハイビーム時距離閾値関係情報4Bを用いて行う。「距離閾値関係情報」とは、自車両からの距離(Qz)に応じて対向車の類似物体の輝度が異なる点に鑑みて、距離と輝度閾値との関係を定めた情報である。
ここで、対向車の類似物体、つまり主に自車両のライトによって照らされたリフレクターや標識の輝度は、自車両からの距離のみではなく、自車両のライト照射状態によっても異なり得る。このため本実施の形態では、「距離閾値関係情報」として、ロービーム時距離閾値関係情報4Aとハイビーム時距離閾値関係情報4Bとをそれぞれ用意している。
当該条件3)についての判別処理では、自車両のライト照射状態に応じてロービーム時距離閾値関係情報4A又はハイビーム時距離閾値関係情報4Bのうち対応する距離閾値関係情報を選択する。そして、選択した距離閾値関係情報と対象グループの距離Qzの値とに基づき設定した輝度閾値と、対象グループの最大輝度値とを比較し、対象グループの最大輝度値が輝度閾値以下であるかを判別する。
図のようにロービーム時に対応した輝度閾値、ハイビーム時に対応した輝度閾値は、共に距離Qz1までの比較的近距離の領域ではその値が最大値で一定とされ、距離Qz1から距離Qz2までの領域においては徐々にその値が低下する傾向とされている。距離Qz2以上の領域では、輝度閾値は共に最小値で一定とされている。
その上で、ハイビーム時の輝度閾値は、距離の全域にわたってロービーム時の輝度閾値よりも高い値を維持するように設定されている。
一方で、上記の設定によると、距離Qz1以上の領域においては差分Δが徐々に小さくなるが、このような設定としたのは、近距離から遠ざかるに連れて標識等の類似物体のロービーム照射時とハイビーム照射時での輝度差が小さくなることに対応させるためである。
本実施の形態において、距離Qz2以上の領域での一定の輝度閾値は、当該距離Qz2以上の領域で想定される対向車のヘッドライト輝度値の最小値に対応する値を設定している。これにより、遠方領域での距離精度の悪化に起因した対向車の検出漏れ(対向車が誤って非対向車と識別されてしまうこと)を防止でき、この点で識別精度の低下防止が図られる。
なお、図11の例では、距離Qz2以上の領域での一定の輝度閾値として、ハイビーム照射時とロービーム照射時とで異なる値が設定された例を示しているが、同じ値に設定することもできる。
対向車としての対象グループが画像範囲Ct内に存在している場合、当該対向車は自車両と正対しているとみなすことができる。これに対し、図中の斜線で示したような画像範囲Ctの外側範囲に存在する場合には、対向車は自車両に正対していない可能性が高い。同じ距離Qzに存在する対向車が自車両に正対していない場合には、正対している場合よりも輝度が低くなる。このため、上記のように対象グループの位置が撮像画像の中心又は無限遠点から離れている場合により低い輝度閾値を用いることで、対向車の識別精度の向上が図られる。特に、対向車の検出漏れの防止に効果がある。
例えば、対象グループの位置が撮像画像の中心又は無限遠点から離れている場合には、距離閾値関係情報から取得した値に9/10を乗じた値を最大輝度値と比較する輝度閾値として用いる。
対象グループの存在回数が設定値以下(例えば3)である場合。
対象グループの存在回数が設定値以上(設定値は例えば20秒をフレーム数に換算した値)である場合。先行車の場合とは異なり1台の対向車が過剰に長い時間にわたって自車両の前方に存在する可能性は非常に低い。従って、そのような場合に信頼度αを減算して対向車との識別結果が覆るように制御を行っている。これにより、識別精度の向上が図られる。
なお、当該条件5)が満たされた場合に対向車であるとの識別結果を即座にキャンセルすることもできる。その場合は、当該条件5)における信頼度αの減算量をステップS505の識別判定処理で用いる閾値よりも大きくすればよい。
ステップS205の前回結果の受け継ぎ処理では、現フレームについて行われた要素グループの検出や対象グループの識別によって誤って未検出とされてしまった場合の対策として、前フレームでの結果の受け継ぎを行う。処理の手順は以下の通りである。
i)ステップS203の対象グループトラッキング処理の結果から、前フレームでは存在したが現フレームでは存在しないとされた対象グループ(前フレームにおけるどの対象グループとも一致しないとされた対象グループ)を抽出する
ii)上記i)で抽出された対象グループについて、前フレームまでの存在回数が一定値(例えば10)以上の対象グループを抽出する
iii)上記ii)で抽出された対象グループを存在回数を減らして(例えば1/2倍)対象として存続させる。
このような受け継ぎ処理により、それまで対象として安定して存在していた対象グループは或る一定回数検出されなくても対象として存続されるようになる。すなわち、何らかの一時的な要因で対象が誤って未検出のままとされてしまうことを防止でき、この点で識別精度の向上が図られる。
シーン判定処理は、現在の走行シーンがそもそもハイビームが必要なシーンであるか否かを判定する処理である。本例では、ハイビームが不要なシーンとして、市街地(充分明るいため)、低速時(遠方までライトを照射する必要がないため)、右左折時(遠方までライトを照射する必要がないため)であるか否かをそれぞれ判別し、何れかが該当した場合はハイビーム不要シーンであるとの判定結果を得る。
ここで、市街地であるか否かの判別は、街灯の検出数等に基づき行う。例えば、街灯の検出数が所定の閾値以上であるか否かの判別結果に基づき行う。
また、低速時であるか否かの判別は、車速センサ17Aにより検出される車速が一定以下(例えば20km/h)であるか否かを判別して行う。但し、ハンチングを防止するためヒステリシスを設ける。
右左折時であるか否かの判別は、ウィンカーが動作状態にあるか否かを判別することで行う。例えばウィンカースイッチ17EがON状態であるか否かを判別する。
制御情報算出処理は、対象認識・識別処理による先行車・対向車の認識・識別結果とシーン判定処理の結果とに基づき、ADBの制御情報を算出する処理である。
具体的な処理内容を図13のフローチャートを参照して説明する。
図13において、画像処理部3は、ステップS601でハイビーム不要シーンか否かを上記のシーン判定処理の結果に基づき判別する。ハイビーム不要シーンであるとの肯定結果が得られた場合は、ステップS605でハイビームOFFを表す制御情報を生成し、ステップS606で当該制御情報を運転支援制御部5(配光制御処理部5A)に対して出力した後、処理を終了する。
先行車又は対向車が存在しないとの否定結果が得られた場合は、ステップ603で全面ハイビームONを表す制御情報を生成し、ステップS606で当該制御情報を運転支援制御部5に出力した後、処理を終了する。
画像処理部3は、ステップS604で生成した制御情報(照射範囲情報を含む)をステップS606で運転支援制御部5に出力し、処理を終了する。
運転支援制御部5(配光制御処理部5A)では、配光制御処理として、上記の制御情報に基づく配光制御を実行する。具体的に、配光制御処理では、ハイビームOFFを表す制御情報に応じてはライト制御部10に対しハイビームをOFFとする指示を行う。また、全面ハイビームONを表す制御情報に応じてはライト制御部10に対しハイビームを全面ONとする指示を行う。さらに、対象以外ハイビームONを表す制御情報に応じては、当該制御情報に含まれる照射範囲情報に従った範囲のみハイビームが照射されるようにライト制御部10に対する指示を行う。
図14Aに示すように、この場合のハイビームの照射は、先行車、対向車が存在する範囲(図中斜線部)以外の範囲に対して行う。
上記で説明したように、本実施の形態では、撮像画像から抽出した対象画像部分の輝度(対象グループの最大輝度値)と、対象画像部分についての自車両からの距離(Qz)と距離閾値関係情報とに基づき設定した輝度閾値とを比較した結果に基づいて、対象画像部分が対向車部分であるか否かを識別するようにしている。その上で、距離閾値関係情報として自車両のライト照射状態に対応した複数種の情報(4A,4B)を記憶しておき、自車両のライト照射状態に応じて選択した距離閾値関係情報を用いて対向車の識別を行うようにしている。
これにより、自車両から所定距離以上離れた物体についての識別で用いられるべき輝度閾値が、距離に関わらず一定とされる。先の説明からも理解されるように、所定距離以上の領域における輝度閾値を距離に関わらず一定とすれば、距離センサの精度が充分でない距離範囲での輝度閾値を、その距離範囲で想定される最小の対向車ヘッドライト輝度値に対応した値で一定とすることができる。これにより、距離の算出誤差に伴う対向車の検出漏れの防止が図られる。すなわち、対向車の識別精度の向上が図られる。
これにより、対向車が自車両に正対していない場合に対応して識別で用いる輝度閾値を低くすることが可能とされる。従って、特に対向車の検出漏れ防止に効果があり、この点で対向車の識別精度の向上が図られる。
これにより、対象画像部分が過剰に長い時間にわたって対向車であると識別されたか否か、すなわち非対向車である可能性が高いか否かの判別結果が現フレームでの識別に反映される。従って、対向車の識別精度の向上が図られる。
以上、本発明に係る実施の形態について説明したが、本発明は上記で例示した具体例に限定されるべきものではなく、多様な変形例が考えられる。
例えば、これまでの説明では、ライト照射状態としてロービームの照射状態とハイビームの照射状態の2つを例示したが、当該ライト照射状態としては例えばフォグランプ照射状態等も含めることができ、ロービーム、ハイビームの照射状態のみに限定されるものではない。
Claims (4)
- 自車両の前方を撮像した撮像画像を得る撮像部と、
自車両からの距離と輝度閾値との関係を定めた距離閾値関係情報が記憶された記憶部と、
前記撮像画像から抽出した対象画像部分についての自車両からの距離を求めた上で、前記対象画像部分の輝度と、前記対象画像部分の前記距離と前記距離閾値関係情報とに基づき設定した輝度閾値とを比較した結果に基づいて、前記対象画像部分が対向車部分であるか否かを識別する画像処理部とを備え、
前記記憶部には、
前記距離閾値関係情報として、自車両のライト照射状態に対応した複数種の情報が記憶され、
前記画像処理部は、
自車両のライト照射状態に応じて選択した前記距離閾値関係情報を用いて前記識別を行い、
前記距離閾値関係情報は、
前記距離が第1の距離未満の領域において、前記距離が大きくなるに連れて前記輝度閾値が徐々に低下する領域を有すると共に、
前記距離が前記第1の距離以上の領域において、前記輝度閾値が一定となるように前記距離と前記輝度閾値との関係が定められている
画像処理装置。 - 前記距離閾値関係情報は、
前記距離が第2の距離以上かつ前記第1の距離未満の領域において、前記距離が大きくなるに連れて前記輝度閾値が徐々に低下すると共に、
前記距離が前記第2の距離未満の領域において、前記輝度閾値が一定となるように前記距離と前記輝度閾値との関係が定められている
請求項1に記載の画像処理装置。 - 前記画像処理部は、
前記対象画像部分が前記撮像画像の中心又は無限遠点から離れている場合は、前記中心又は前記無限遠点に近い場合よりも前記識別で用いる前記輝度閾値を小さくする
請求項1又は請求項2に記載の画像処理装置。 - 前記撮像部が所定のフレームレートで撮像を行い、
前記画像処理部は、
前記対象画像部分が一定回数以上連続して対向車部分であると識別されたか否かを判別し、その結果を前記識別に用いる
請求項1乃至請求項3の何れかに記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013112953A JP6227898B2 (ja) | 2013-05-29 | 2013-05-29 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013112953A JP6227898B2 (ja) | 2013-05-29 | 2013-05-29 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014231301A JP2014231301A (ja) | 2014-12-11 |
JP6227898B2 true JP6227898B2 (ja) | 2017-11-08 |
Family
ID=52124969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013112953A Active JP6227898B2 (ja) | 2013-05-29 | 2013-05-29 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6227898B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6694234B2 (ja) * | 2015-01-23 | 2020-05-13 | シャープ株式会社 | 距離測定装置 |
JP6549974B2 (ja) * | 2015-11-25 | 2019-07-24 | 株式会社Subaru | 車外環境認識装置 |
JP6310899B2 (ja) * | 2015-11-25 | 2018-04-11 | 株式会社Subaru | 車外環境認識装置 |
JP6200481B2 (ja) | 2015-11-25 | 2017-09-20 | 株式会社Subaru | 車外環境認識装置 |
DE112017007062B4 (de) * | 2017-03-15 | 2022-09-22 | Mitsubishi Electric Corporation | Lichtintensitätsverstellvorrichtung, Lichtintensitätsverstellverfahren und Lichtintensitätsverstellprogramm |
JP7028709B2 (ja) * | 2018-04-27 | 2022-03-02 | フォルシアクラリオン・エレクトロニクス株式会社 | 車両検出装置、及び車両検出方法 |
CN113196740B (zh) * | 2018-12-18 | 2023-07-04 | 日立安斯泰莫株式会社 | 图像处理装置 |
JP7342467B2 (ja) * | 2019-07-08 | 2023-09-12 | スズキ株式会社 | 車両の制御システム |
JP7417232B2 (ja) | 2020-02-09 | 2024-01-18 | 徹 江頭 | 光学式キーボード |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4853160B2 (ja) * | 2006-08-02 | 2012-01-11 | 株式会社デンソー | 車両検出装置及びヘッドランプ制御装置 |
JP4544233B2 (ja) * | 2006-10-11 | 2010-09-15 | 株式会社デンソー | 車両検出装置及びヘッドランプ制御装置 |
JP5065172B2 (ja) * | 2008-06-16 | 2012-10-31 | 株式会社豊田中央研究所 | 車両灯火判定装置及びプログラム |
JP2010191793A (ja) * | 2009-02-19 | 2010-09-02 | Denso It Laboratory Inc | 警告表示装置及び警告表示方法 |
JP2011253222A (ja) * | 2010-05-31 | 2011-12-15 | Denso Corp | 前方領域検出装置及び車両制御装置 |
EP2698777B1 (en) * | 2011-04-13 | 2016-04-13 | Toyota Jidosha Kabushiki Kaisha | Vehicle-mounted peripheral object recognition device and driving assistance device using same |
JP5370413B2 (ja) * | 2011-06-06 | 2013-12-18 | 株式会社デンソー | 認識対象検出装置 |
-
2013
- 2013-05-29 JP JP2013112953A patent/JP6227898B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014231301A (ja) | 2014-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6227898B2 (ja) | 画像処理装置 | |
JP6085522B2 (ja) | 画像処理装置 | |
JP5820843B2 (ja) | 周囲環境判定装置 | |
US10286834B2 (en) | Vehicle exterior environment recognition apparatus | |
US10442343B2 (en) | Vehicle exterior environment recognition apparatus | |
JP5409929B2 (ja) | 車両用ヘッドライト装置の制御方法およびヘッドライト装置 | |
O'Malley et al. | Vehicle detection at night based on tail-light detection | |
CN111727135B (zh) | 自动照明系统 | |
CN108528448B (zh) | 车辆行驶自动控制方法和装置 | |
JP6034923B1 (ja) | 車外環境認識装置 | |
US9690995B2 (en) | Image processing apparatus | |
JP6236039B2 (ja) | 車外環境認識装置 | |
JP2005092857A (ja) | 画像処理システム及び車両制御システム | |
JPWO2012140752A1 (ja) | 車載周辺物認識装置及びこれを用いる運転支援装置 | |
JP2013147112A (ja) | 車両の走行環境認識装置 | |
CN108536134B (zh) | 车辆行驶自动控制方法和装置 | |
CN110087946A (zh) | 车辆用照明系统和车辆 | |
KR101511586B1 (ko) | 터널 인식에 의한 차량 제어장치 및 제어방법 | |
JP6151569B2 (ja) | 周囲環境判定装置 | |
JP2006146754A (ja) | 先行車検出方法及び先行車検出装置 | |
JP6549974B2 (ja) | 車外環境認識装置 | |
JP6378547B2 (ja) | 車外環境認識装置 | |
JP6335065B2 (ja) | 車外環境認識装置 | |
JP6121244B6 (ja) | 画像処理装置 | |
JP6121244B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171012 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6227898 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |