JPWO2020129522A1

JPWO2020129522A1 - 画像処理装置

Info

Publication number: JPWO2020129522A1
Application number: JP2020561236A
Authority: JP
Inventors: 広道大塚; 宏治土井
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-12-18
Filing date: 2019-11-20
Publication date: 2021-10-07
Anticipated expiration: 2039-11-20
Also published as: WO2020129522A1; CN113196740A; CN113196740B; JP7241772B2

Abstract

自車との距離、反射物やヘッドライト等の輝度の高低に関係なく、対象物であるヘッドライトであるか反射物であるかを正確に識別することが可能な画像処理装置を実現する画像取得部12はカメラ11から画像を取得し輝度計算部13は輝度画像を生成し、光源領域設定部14は一定の基準値以上の輝度画素から構成される複数の車両候補領域を計算する。閾値決定部15は複数の車両候補領域毎に照射向き情報取得部17からの自車ヘッドライトの照射向き情報を基に閾値を決定し、対象物識別部16は車両候補領域に対し各領域が所定の対象物であるか否かを判断する。対象物として判定した車両候補領域に対しその領域を遮光対象とする情報を付加し配光制御部18へ出力する。所定の対象物ではないと判定した車両候補領域に対し遮光対象ではない旨の情報を配光制御部18へ出力する。

Description

本発明は、車両搭載用の画像処理装置に関する。

特許文献１に記載の画像処理装置においては、画像上から一定以上の輝度を有する領域を、光源領域として設定する。そして、光源領域までの距離と輝度の関係との閾値を用いてヘッドライトであるか、反射物であるかを判断する。

さらに、特許文献１には、自車のハイビーム・ロービームの状態を用い、ハイビームの時は反射光が強くなる為、輝度閾値を厳しく、ロービームの時は反射光が弱くなる為、輝度閾値を緩くする処理を行うことが記載されている。

特開２０１４−２３１３０１号公報

しかしながら、特許文献１に記載の技術にあっては、画像上で検知した光源領域に対し、自車との正確な距離を測定できない場合、または自車のヘッドライトの違いにより反射物の輝度が想定よりも高い場合には、反射物をヘッドライトやテールランプとして誤検知する可能性がある。

さらに、特許文献１に記載の技術では、ヘッドライトやテールランプの輝度が想定よりも低い場合には、未検知となる可能性がある。

本発明の目的は、自車との距離、反射物やヘッドライト等の輝度の高低に関係なく、ヘッドライトであるか反射物であるかを正確に識別することが可能な画像処理装置を実現する。

本発明は、上記目的を達成するため、次にように構成される。

画像処理装置において、撮像装置により撮像された撮像画像を取得する画像取得部と、前記画像取得部が取得した撮像画像を複数の画素領域に分割し、それぞれの画素領域の輝度を計算する輝度計算部と、前記輝度計算部により計算された輝度が設定輝度以上となっている近接する複数の前記画素領域を含む領域を光源領域として設定する光源領域設定部と、前記光源領域設定部により設定された複数の前記光源領域毎に閾値を決定する閾値決定部と、前記閾値決定部で決定した前記閾値を用いて対象物を識別する対象物識別部と、を備える。

自車との距離、反射物やヘッドライト等の輝度の高低に関係なく、対象物であるヘッドライトであるか反射物であるかを正確に識別することが可能な画像処理装置を実現することができる。

本発明の一実施例に係る車両制御システムの概略構成図である。本発明の一実施例に係る配光制御システムによる配光制御処理のフローチャートである。本実施例における車両識別処理のフローチャートである。ヘッドライトと反射物との輝度と面積とを説明する図である。対象物識別部の輝度の分散値の一例を示す図である。光源領域と画素領域の説明図である。視線誘導標（デリニエータ）の例を示す図である

以下、本発明の実施形態について図面を用いて説明する。

図１は、本発明の一実施例に係る車両制御システムの概略構成図である。

図１において、車両制御システム（配光制御システムでもある）１００は、車両（自車と称することがある）に備えられており、車両前方に設置され車両前方の所定の領域の画像を定期的に時系列で撮影するカメラ（撮像装置）１１と、カメラ１１が撮影した画像（撮像画像）を処理する画像処理装置１と、画像処理装置１の処理結果を基に車両を制御する車両制御装置２を備えている。

画像処理装置１と車両制御装置２は、それぞれコンピュータ（例えばマイクロコンピュータ）であり、例えば、入力部（図示せず）と、プロセッサである中央処理装置３（ＣＰＵ又はＭＰＵ）と、記憶装置４であるリードオンリーメモリ（ＲＯＭ）及びランダムアクセスメモリ（ＲＡＭ）と、出力部（図示せず）とをそれぞれ有している。

このうち入力部（図示せず）は、画像処理装置１及び車両制御装置２に入力される各種情報を、ＣＰＵが演算可能なように変換する。ＲＯＭは、適宜後述する演算処理を実行する制御プログラムと、当該演算処理の実行に必要な各種情報等が記憶された記録媒体であり、ＣＰＵは、ＲＯＭに記憶された制御プログラムに従って入力部及びＲＯＭ、ＲＡＭから取り入れた信号に対して所定の演算処理を行う。

画像処理装置１及び車両制御装置２それぞれの出力部からは、出力対象を制御するための指令や出力対象が利用する情報等が出力される。なお、記憶装置４は上記のＲＯＭ及びＲＡＭという半導体メモリに限られず、例えばハードディスクドライブ等の磁気記憶装置に代替可能である。

画像処理装置１は、カメラ１１の撮像画像（カラー画像）に基づいて物体検知をはじめとする外界認識処理を実行するコンピュータであり、画像取得部１２と、輝度計算部１３と、光源領域設定部１４と、閾値決定部１５と、対象物識別部１６と、照射向き情報取得部１７とを備えている。

車両制御装置２は、画像処理装置１が出力する対象物識別部１６の検知結果に基づいて車両制御処理を実行するコンピュータであり、配光制御部１８を備えている。なお、図１の画像処理装置１と車両制御装置２は異なる２つのコンピュータで構成しているが、一体のコンピュータで構成しても良い。

画像取得部１２は、カメラ１１を制御し、定期的に露光時間（シャッタースピード）の設定および撮像を行ってカラー画像の時系列を取得し、それらを画像処理装置１内に記憶する処理を実行する。カラー画像はＲＧＢカラーモデルで定義されており、カラー画像を構成する各画素の色は赤（Ｒ）、緑（Ｇ）、青（Ｂ）の明るさの組合せで定義されている。本実施例ではＲ、Ｇ、Ｂそれぞれの明るさを０−２５５までの整数値（すなわち２５６階調）で表現しており各画素の色を３つの値（Ｒ値、Ｇ値、Ｂ値）の組合せで定義している。カラー画像は所定の周期で撮像されており、例えば１秒間につき３０フレーム撮像されることがある。

輝度計算部１３は、過去（例えば所定フレーム前）に生成された輝度画像の中央部に位置する所定領域の輝度指標値と、対象物識別部１６が検知対象とする所定の対象物の情報を含む対象物識別部１６の出力と、車両制御装置２が実行しているアプリケーションの情報を含む車両制御装置２の出力とに応じて、輝度計算式を変更・決定する。これは自車両外界の状況が急激に変化した場合、輝度計算式の定数等を調整し、画像を鮮明化するためであり、検知対象とする所定の対象物の情報等が対象物識別部１６から輝度計算部１３に出力されている。

各輝度計算式は、Ｒ値、Ｇ値、Ｂ値のそれぞれに所定の係数を乗じた値の合計で定義されており、輝度計算部１３はこの式にカラー画像を構成する画素のＲ値、Ｇ値、Ｂ値を代入することで当該画素の輝度を計算する。カメラ１１の撮像画像の各画素について輝度を計算して集合させたものが輝度画像となる。

光源領域設定部１４は、輝度計算部１３の出力である輝度画像を基に、設定閾値以上の輝度の画素領域４１（光源領域と画素領域の説明図である図６に示す）を検出し、設定閾値以上の輝度の画素であって隣接する画素領域４１を、後述するように統合することで、車両候補領域（光源領域）４２（図６に示す）とする。

そして、車両候補領域の面積、最大輝度、輝度のばらつきを表す値として分散値を計算して、それらを画像処理装置１内の記憶装置４に記憶する処理を実行する。なお、輝度のばらつきを表す値は、分散値に限られず、例えば標準偏差に代替可能であり、分散値または標準偏差が設定分散値または設定標準偏差以上の場合に、光源を反射物として識別する。

本実施例の閾値決定部１５は、光源領域設定部１４の出力である光源領域の情報と、照射向き情報取得部１７の出力である自車ヘッドライトの照射向き情報を基に、光源領域毎に個別に閾値を設定する。そのため、自車ヘッドライトがロービームからハイビームに切り替わったタイミングで現れた光源領域などに対して閾値を変更することができる。

なお、閾値を変更する自車ヘッドライトの切り替わりは、ロービームからハイビームに切り替わったタイミングに限られず、例えばハイビームからロービームに切り替わったタイミングに代替可能である。

本実施例の画像処理装置１の中央処理装置３は、自車のヘッドライトの照射向きの情報を得る照射向き情報取得部１７と、カメラ（撮像装置）１１と、カメラ１１の撮像画像を取得する画像取得部１２と、画像取得部１２で取得した画像を複数の画素領域４１に分割し、それぞれの画素領域４１の輝度を計算する輝度計算部１３と、輝度計算部１３により計算された輝度が設定輝度以上（例えば、６００ｍ以上先のヘッドライトを検知可能な輝度）となっている近接する複数の画素領域４１を含む光源領域４２として設定する光源領域設定部１４と、光源領域設定部１４により設定された複数の光源領域４２と照射向き情報取得部１７で取得したヘッドライトの照射向きとを基に光源領域４２毎に閾値を決定する閾値決定部１５と、閾値決定部１５で決定した閾値を用いて対象物を識別する対象物識別部１６と、を備えている。

本実施例の画像処理装置１の中央処理装置３の閾値決定部１５は、照射向きの情報に基づいてヘッドライトがロービームからハイビームに切り替わったことを検知し、光源領域設定部１４により設定された光源領域４２に対し、対象物識別部１６で対象物を識別する際の閾値を光源領域４２毎に変更する。

本実施例の対象物識別部１６は、画像取得部１２が取得したカラー画像と、光源領域設定部１４の出力を用い、車両候補領域が所定の対象物を識別する処理を実行し、その識別結果を車両制御装置２に出力する。対象物識別部１６が識別対象とする「所定の対象物」は車両制御装置２で実行されるアプリケーション（プログラム）の種類によって決定されることがある。

本実施例の画像処理装置１の中央処理装置３は、光源領域設定部１４において、光源領域４２の面積と、光源領域４２に含まれる複数の画素領域４１の中での最大輝度とが計算される。そして、対象物識別部１６は、光源領域設定部１４により設定された光源領域４２を、閾値決定部１５で決定した閾値を用いて、対象物か反射物かを識別する。

対象物識別部１６において、明るさと距離の関係でヘッドライトやテールランプ以外と識別できない、標識や看板などの反射物に対し、光源領域の大きさが同じ場合に比較すると、反射物は自車のヘッドライトの反射であり、自発光しているヘッドライトやテールランプの方が明るく、輝度が高くなる。そのため、光源領域内の最も明るい箇所と、光源領域の大きさで比較する事で、看板や標識などの大きな反射物をヘッドライトやテールランプ以外と認識することができる。

本実施例の画像処理装置１の中央処理装置３において、光源領域設定部１４は、光源領域４２に含まれる複数の画素領域４１の輝度の分布に基づいて、対象物領域と、反射物領域とを設定し、対象物識別部１６は、光源領域設定部１４により設定された光源領域４２を閾値決定部１５で決定した閾値を用いて、対象物領域か、反射物領域かを識別する。

視線誘導標（デリニエータ）５１（視線誘導標（デリニエータ）の例を示す図である図７に示す）などの小さな反射物（ヘッドライトと反射物との輝度と面積とを説明する図である図４の（Ａ）の画像２１の標識２１ｂ）は、光源領域４２の矩形面積が小さく、図４の（Ｂ）に示す最大輝度分布２２ではヘッドライト２１ａ（図４の（Ａ））やテールランプ（丸印）と標識（×印）とが重なる為、明るさと大きさの関係でヘッドライトやテールランプとそれら以外の標識とを完全に識別することができない。

しかし、対象物識別部の輝度の分散値の一例を示す図である
図５（Ａ）、（Ｂ）、（Ｃ）に示すように、ヘッドライトやテールランプは自発光物の為、ヘッドライト輝度分布３１に示すように、光源領域４２内の明るさのばらつきが大きく、視線誘導標（デリニエータ）５１は反射の為、デリエータ輝度分布３２に示すように、明るさのばらつきが小さいという特徴がある。したがって、図５の（Ｃ）のグラフ３３に示すように、分散値と距離との関係を示す光源領域４２の明るさの分布を比較し、設定閾値３４で分離する事で、視線誘導標（デリニエータ）５１などの小さな反射物を、ヘッドライトやテールランプ以外と識別することができる。

本実施例の画像処理装置１の中央処理装置３は、自車のヘッドライトの照射向きの情報を得る照射向き情報取得部１７と、撮像装置１１と、撮像装置１１の撮像画像を取得する画像取得部１２と、画像取得部１２で取得した画像を複数の領域４１に分割し、それぞれの画素領域４１の輝度を計算する輝度計算部１３と、輝度計算部１３により計算された輝度が設定輝度以上となっている近接する複数の画素領域４１を含む光源領域４２として設定する光源領域設定部１４と、光源領域設定部１４により設定された複数の光源領域４２と照射向き情報取得部１７で取得したヘッドライトの照射向きとを基に光源領域４２毎に閾値を決定する閾値決定部１５と、複数の光源領域４２のそれぞれの面積と、複数の光源領域４２のそれぞれの画素領域４１の輝度と、に基づいて光源領域４２に位置する光源を閾値決定部１５で決定した閾値を用いて対象物か反射物かを識別する。

自車のヘッドライトの照射向きの情報をもとに、閾値決定部１５で光源領域ごとに閾値を変更することで、例えば、ヘッドライトの照射向きが変わったタイミングで現れた光源領域は厳しい閾値を、それ以外の光源領域は低い閾値を設定するなど、すべての光源領域を一定の閾値で識別するよりも、自由度の高い識別ができる。

その結果、光源と反射物とを識別が可能となる。また、変更した閾値を用いて対象物識別部１６で光源領域の輝度と面積の関係を用いて識別を行うことで、対象物か、反射板かを識別することができる。

本実施例の画像処理装置１の中央処理装置３は、自車のヘッドライトの照射向きの情報を得る照射向き情報取得部１７と、撮像装置１１と、撮像装置１１の撮像画像を取得する画像取得部１２と、画像取得部１２で取得した画像を複数の画素領域４１に分割し、それぞれの画素領域４１の輝度を計算する輝度計算部１３と、輝度計算部１３により計算された輝度が設定輝度以上となっている近接する複数の画素領域４１を含む光源領域４２として設定する光源領域設定部１４と、光源領域設定部１４により設定された複数の光源領域４２と照射向き情報取得部１７で取得したヘッドライトの照射向きとを基に光源領域４２毎に閾値を決定する閾値決定部１５と、光源領域設定部１４により設定された光源領域４２に含まれるそれぞれの画素領域４１の輝度の分布、に基づいて光源領域４２に位置する光源を閾値決定部１５で決定した閾値を用いて対象物か反射物かを識別する。

自車のヘッドライトの照射向きの情報をもとに、閾値決定部１５で光源領域ごとに閾値を変更することで、例えば、ヘッドライトの照射向きが変わったタイミングで現れた光源領域は厳しい閾値を、それ以外の光源領域は低い閾値を設定するなど、すべての光源領域を一定の閾値で識別するよりも、自由度の高い識別ができる。その結果、光源と反射を識別が可能となる。また、変更した閾値を用いて対象物識別部１６で光源領域の輝度の分布を用いて識別を行うことで、対象物か、反射板かを識別することができる。

本実施例の画像処理装置１の中央処理装置３は、自車のヘッドライトの照射向きの情報を得る照射向き情報取得部１７と、撮像装置１１と、撮像装置１１の撮像画像を取得する画像取得部１２と、画像取得部１２で取得した画像を複数の領域４１に分割し、それぞれの画素領域４１の輝度を計算する輝度計算部１３と、輝度計算部１３により計算された輝度が設定輝度以上となっている近接する複数の画素領域４１を含む光源領域４２として設定する光源領域設定部１４と、光源領域設定部１４により設定された複数の光源領域４２と照射向き情報取得部１７で取得したヘッドライトの照射向きとを基に光源領域４２毎に閾値を決定する閾値決定部１５と、複数の光源領域４２のそれぞれの面積と、複数の光源領域４２のそれぞれの画素領域４１の輝度と、光源領域設定部１４により設定された光源領域４２に含まれるそれぞれの画素領域４１の輝度の分布、に基づいて光源領域４２に位置する光源を閾値決定部１５で決定した閾値を用いて対象物か反射物かを識別する。

自車のヘッドライトの照射向きの情報をもとに、閾値決定部１５で光源領域ごとに閾値を変更することで、例えば、ヘッドライトの照射向きが変わったタイミングで現れた光源領域は厳しい閾値を、それ以外の光源領域は低い閾値を設定するなど、すべての光源領域を一定の閾値で識別するよりも、自由度の高い識別ができ、その結果、光源と反射板とを識別が可能となる。また、変更した閾値を用いて対象物識別部１６で光源領域の輝度と面積の関係、光源領域の輝度の分布を用いて識別を行うことで、対象物か、反射板かを識別することができる。

本実施例の画像処理装置１の中央処理装置３において、対象物識別部１６は、複数の光源領域４２のそれぞれの面積と、複数の光源領域４２のそれぞれの画素領域４１の輝度と、光源領域設定部１４により設定された光源領域４２に含まれるそれぞれの画素領域４１の輝度の分布に基づいて光源領域４２に位置する光源が対象物か反射物かを識別する。標識や看板などの反射物は、自車のヘッドライトの反射であるため、ヘッドライトやテールランプと比較して、画像上の明るさを表す輝度が低い傾向にある。そのため、同じ光源領域の矩形面積のヘッドライトと標識や看板は明るさの違いにより分離することが出来る。しかし、視線誘導標（デリニエータ）などの小さな反射物はヘッドライトよりも大きさが小さく、面積と明るさの関係では識別が困難である。そこで、光源領域の明るさのばらつきに着目し、自発光物であるヘッドライトやテールランプは、明るいところから暗いところまでのばらつきが大きく、反射物である視線誘導標（デリニエータ）はばらつきが小さい傾向にあり、明るさのばらつきを利用することで識別が可能である。そのため、面積と明るさの関係と、明るさのばらつきの関係の２つを組み合わせることで、標識や看板、視線誘導標（デリニエータ）の誤検知対策を行うことができる。

本実施例の画像処理装置１の中央処理装置３の対象物識別部１６は、光源領域設定部１４により設定された複数の光源領域４２のそれぞれの面積に対する、複数の光源領域４２のそれぞれの画素領域４１の最大輝度の比が設定閾値２３以上の場合に、光源領域４２を対象物と判断する。

ヘッドライトやテールランプの明るさと大きさは基準が制定されており（道路運送車両の保安基準の細目を定める告示〈第二節〉第１２０条（前照灯等））、検知した距離によって画像上で一定の明るさと大きさで映る事が期待できる。そのため、画像上の明るさと大きさの比が一定値以上の場合に対象物と判断することができる。なお、設定閾値２３（図４の（Ｂ））は最大輝度/矩形面積＝１に限られず、例えば最大輝度/矩形面積＝０．５としてもよい。

本実施例の画像処理装置１の中央処理装置３の対象物識別部１６は、光源領域設定部１４により設定された複数の光源領域４２のそれぞれの面積に対する、複数の光源領域４２のそれぞれの画素領域４１の最大輝度の比が設定閾値２３未満の場合に、光源領域４２を反射物と判断する。

標識や看板などの反射物は自車のヘッドライトの反射である為、光源領域４２の矩形面積が同じ場合で比較すると、画像上の明るさはヘッドライトよりも暗くなる。その為、明るさと大きさの比が設定閾値２３未満の場合に、反射物と判断することができる。

本実施例の画像処理装置１の中央処理装置３の対象物識別部１６は、光源領域設定部１４により設定された光源領域４２のそれぞれの画素領域４１の輝度の分散値、または標準偏差値が設定閾値３４以上の場合に、光源領域４２を対象物と判断する。

ヘッドライトやテールランプは自発光物である為、視線誘導標（デリニエータ）５１などの反射物と比較して光源領域内での明るさのばらつきが大きい（図５の（Ａ）のヘッドライト輝度分布３１参照）。そのため、明るさの分散値、または標準偏差が設定閾値３４以上の場合に対象物と判断することができる。

本実施例の画像処理装置１の中央処理装置３の対象物識別部１６は、光源領域設定部１４により設定された光源領域４２のそれぞれの画素領域４１の輝度の分散値、または標準偏差が設定閾値３４未満の場合に、光源領域４２を反射物と判断する。

視線誘導標（デリニエータ）５１などの反射物は、ヘッドライトに比べて光源領域内の明るさのばらつき（デリニエータ輝度分布３２）が小さい。その為、明るさの分散値、または標準偏差が設定閾値３４未満の場合に、反射物と識別することができる。

本実施例の配光制御システム１００は、自車のヘッドライトの照射向きの情報を得る照射向き情報取得部１７と、撮像装置１１と、撮像装置１１の撮像画像を取得する画像取得部１２と、画像取得部１２で取得した画像を複数の画素領域４１に分割し、それぞれの画素領域４１の輝度を計算する輝度計算部１３と、輝度計算部１３により計算された輝度が設定輝度以上となっている近接する複数の画素領域４１を含む光源領域４２として設定する光源領域設定部１４と、光源領域設定部１４により設定された複数の光源領域４２と照射向き情報取得部１７で取得したヘッドライトの照射向きとを基に光源領域４２毎に閾値を決定する閾値決定部１５と、複数の光源領域４２のそれぞれの面積と、複数の光源領域４２のそれぞれの画素領域４１の輝度と、光源領域設定部１４により設定された光源領域４２に含まれるそれぞれの画素領域４１の輝度の分布、に基づいて光源領域４２に位置する光源を閾値決定部１５で決定した閾値を用いて対象物を識別する対象物識別部１６と、を備えた画像処理装置１と、対象物識別部１６の識別結果に基づいて決定したヘッドランプの遮光領域に基づいて配光制御を行う配光制御部１８を備える。

車両制御装置２における配光制御部１８は、画像処理装置１の対象物識別部１６の識別結果（車両検知結果）に基づいて、自車ヘッドライトの配光制御（配光制御アプリケーション）を実行する。配光制御としては、例えば、自車前方に先行車および対向車が存在しないときは自車ヘッドライトをハイビームに設定し、先行車または対向車が存在するときは自車ヘッドライトをロービームに設定するものがある。

また、自車前方に他車が検知された場合にはその他車が自車ヘッドライトの照射領域から除外されるように自車ヘッドライトの遮光領域を決定し、その遮光領域に基づいて自車ヘッドライトの配光制御を行うものがある。後者の場合、複数のヘッドライトの光軸を変化させるアクチュエータ（例えば複数のモータ）と、各ヘッドライトの光の一部を遮蔽するためのシェード機構が自車に設けられており、配光制御部１８からはそれらに対する制御信号が出力される。

次に、図２は配光制御システム１００による配光制御処理のフローチャートである。図２を参照して配光制御処理の流れを説明する。配光制御システム１００（画像処理装置１及び車両制御装置２）は図２のフローチャートを所定の制御周期で繰り返し実行している。

図２において、処理を開始すると、画像取得部１２は、ステップＳ１１において、カメラ１１に対して次に撮像する画像の露光時間を設定し、所定のタイミングで撮像を行ってカラー画像（撮像画像）を取得する。

次に、ステップＳ１２において、輝度計算部１３は、輝度計算式に従って輝度画像を生成する。

続いて、ステップＳ１３において、光源領域設定部１４は、ステップＳ１２で生成した輝度画像に対し、一定の基準値以上の輝度画素（画素領域４１）から構成される複数の車両候補領域（光源領域４２）を計算する。

次に、ステップＳ１４において、閾値決定部１５は、ステップＳ１３で計算した複数の車両候補領域（光源領域４２）毎に、照射向き情報取得部１７からの自車ヘッドライトの照射向き情報を基に閾値を決定する。

次に、ステップＳ１５において、対象物識別部１６は、ステップＳ１３で計算した複数の車両候補領域（光源領域４２）に対し、ステップＳ１４で決定した閾値を基に、各領域が所定の対象物であるかどうかを判断する（対象物識別処理（車両識別処理））。

ここで、ステップ１５における車両識別処理について、説明する。

図３は、本実施例における車両識別処理のフローチャートである。

図３において、対象物識別部１６が車両識別処理を開始すると、ステップＳ２１において、最大輝度が閾値以下か否かの判断を行うことにより、最大輝度によってフィルタ処理を行うかどうかの判断を行う。ステップＳ２１で最大輝度が閾値以下でなければ、ステップＳ２５に進み、最大輝度が閾値以下であれば、ステップＳ２２に進む。

次に、ステップＳ２２において、自車との距離が不正な値ではないか、車両候補領域のサイズ（大きさ）が一定以上あるか、距離と車両候補領域の大きさによって求めた実サイズが大きすぎないか、横位置が車線から離れすぎていないかなど閾値と比較することによりチェックし、問題無い場合に次のステップＳ２３に進む。ステップＳ２２において、問題がある場合は、ステップＳ２６に進み、所定の対象物以外とする（誤検知対象として除外する）。

ステップＳ２３では、車両候補領域の面積と最大輝度の比が閾値以上か否かを判断し、車両候補領域の面積と最大輝度の比が閾値以上の場合、所定の対象物であると判断し、次のＳ２４ステップに進む。

ステップＳ２３において、上述した比が閾値未満の場合、ステップＳ２６に進み、所定の対象物以外として判断する。

ステップＳ２４では、車両候補領域の輝度の分散値が閾値以上か否かを判断し、閾値以上の場合、所定の対象物であると判断し、次のステップＳ２５に進む。ステップＳ２４において、閾値未満３４の場合、ステップＳ２６に進み、所定の対象物外として判断する。

ステップＳ２５において、ステップＳ２２、Ｓ２３、Ｓ２４を通過した車両候補領域を検知対象としてグループとして保存する。

次に、ステップＳ２７において、保存した車両候補領域の距離毎の輝度閾値により、閾値以上の車両候補領域を所定の対象物として識別する。

以上がステップ１５における車両識別処理の説明である。

ステップＳ１５で所定の対象物として判定した車両候補領域に対し、その領域を遮光対象とする旨の情報を付加し、配光制御部１８へ出力する。また、ステップＳ１５で所定の対象物ではないと判定した車両候補領域に対し、遮光対象ではない旨の情報を付加し、配光制御部１８へ出力し、ステップＳ１６に進む。

ステップＳ１６において、配光制御部１８は、対象物識別部１６の出力情報に基づいて、自車ヘッドライトの遮光領域を決定し、その遮光領域が自車ヘッドライトの遮光領域から除外されるように自車ヘッドライトの配光制御を行う。

以上により、配光制御システム１００による配光制御処理の１サイクルが完了する。配光制御システムは所定の制御周期だけ待機した後、ステップＳ１１から一連の処理を再び実行する。

以上ように、本発明の一実施例によれば、自車のヘッドライトの照射向きが切り替わるタイミングで検知した光源領域に対し、閾値を変更することで、光源領域ごとに異なった閾値を設定する。例えば、ロービームからハイビームに切り替わったタイミングで検知した光源は反射物である可能性が高く、後段の識別処理で使用する閾値を厳しく設定することにより、ヘッドライトやテールランプと反射物を識別することができる。

また、光源領域毎に異なる閾値を設定することで、ヘッドライトやテールランプの未検知を抑制することができる。

また、識別処理において、ヘッドライトやテールランプは自発光しており、標識や看板などの反射物は自車のヘッドライトの反射である為、画像上の光源領域が同じ大きさの場合、ヘッドライトやテールランプの方が画像上で明るく映る。そのため、画像上の大きさと明るさの比によってヘッドライトやテールランプと反射物を分類することができる。

また、ヘッドライトやテールランプよりもサイズが小さく、大きさと明るさの比で分類することができない視線誘導標（デリニエータ）は、ヘッドライトやテールランプに比べ、画像上で明るさのばらつきが小さい。そのため、光源領域の明るさの分散値や標準偏差値を利用することでヘッドライトやテールランプとデリニエータを分類することができる。

なお、上述した例においては、閾値決定部１５は、照射向き情報取得部１７から供給される自車のヘッドランプの照射向き情報も考慮して、閾値を決定しているが、光源領域設定部１４からの光源領域の情報のみで、閾値を決定することも可能である。

１・・・画像処理装置、２・・・車両制御装置、３・・・中央処理装置、４・・・記憶装置、１１・・・カメラ（撮像装置）、１２・・・画像取得部、１３・・・輝度計算部、１４・・・光源領域設定部、１５・・・閾値決定部、１６・・・対象物識別部、１７・・・照射向き情報取得部、１８・・・配光制御部、２１・・・画像、２１ａ・・・ヘッドライト、２１ｂ・・・標識、２２・・・最大輝度分布、２３、３４・・・設定閾値、３１・・・ヘッドライト輝度分布、３２・・・デリニエータ輝度分布、４１・・・画素領域、４２・・・光源領域、５１・・・視線誘導標（デリニエータ）、１００・・・車両制御システム（配光制御システム）

Claims

撮像装置により撮像された撮像画像を取得する画像取得部と、
前記画像取得部が取得した撮像画像を複数の画素領域に分割し、それぞれの画素領域の輝度を計算する輝度計算部と、
前記輝度計算部により計算された輝度が設定輝度以上となっている近接する複数の前記画素領域を含む領域を光源領域として設定する光源領域設定部と、
前記光源領域設定部により設定された複数の前記光源領域毎に閾値を決定する閾値決定部と、
前記閾値決定部で決定した前記閾値を用いて対象物を識別する対象物識別部と、を備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
自車のヘッドランプの照射向きの情報を得る照射向き情報取得部を、さらに備え、前記照射向き情報取得部で取得した前記ヘッドランプの前記照射向きの情報に基づいて、前記閾値決定部は、前記光源領域設定部により設定された複数の前記光源領域毎に閾値を決定することを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記閾値決定部は、前記照射向きの情報に基づいて、前記ヘッドランプがロービームからハイビームに切り替わったことを検知し、前記光源領域設定部により設定された前記光源領域に対し、前記対象物識別部で対象物を識別するために用いられる前記閾値を前記光源領域毎に変更することを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記光源領域設定部は、前記光源領域の面積と、前記光源領域に含まれる複数の前記画素領域の中での最大輝度とを計算し、前記対象物識別部は、前記光源領域設定部により設定された前記光源領域を前記閾値決定部で決定した閾値を用いて、前記対象物か前記反射物かを識別することを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記光源領域設定部は、前記光源領域に含まれる複数の前記画素領域の輝度の分布を計算し、前記対象物識別部は、前記光源領域設定部により設定された前記光源領域を前記閾値決定部で決定した閾値を用いて、前記対象物か前記反射物かを識別することを特徴とする画像処理装置。
請求項４に記載の画像処理装置において、
前記光源領域設定部は、前記光源領域に含まれる複数の前記画素領域の輝度の分布を計算し、前記対象物識別部は、前記光源領域設定部により設定された前記光源領域を前記閾値決定部で決定した前記閾値を用いて、前記対象物か前記反射物かを識別することを特徴とする画像処理装置。
請求項４に記載の画像処理装置において、
前記対象物識別部は、前記光源領域設定部により設定された複数の前記光源領域のそれぞれの面積に対する、複数の前記光源領域に含まれるそれぞれの前記領域の最大輝度の比が設定閾値以上の場合に、前記光源領域を前記対象物と判断することを特徴とする画像処理装置。
請求項４に記載の画像処理装置において、
前記対象物識別部は、前記光源領域設定部により設定された複数の前記光源領域のそれぞれの面積に対する、複数の前記光源領域に含まれるそれぞれの前記領域の最大輝度の比が設定閾値未満の場合に、前記光源領域を前記反射物と判断することを特徴とする画像処理装置。
請求項５に記載の画像処理装置において、
前記対象物識別部は、前記光源領域設定部により設定された前記光源領域に含まれるそれぞれの前記領域の輝度の分散値または標準偏差値が、設定分散値または設定標準偏差値以上の場合に、前記光源領域に位置する前記光源を前記対象物と識別することを特徴とする画像処理装置。
請求項５に記載の画像処理装置において、
前記対象物識別部は、前記光源領域設定部により設定された前記光源領域に含まれるそれぞれの前記領域の輝度の分散値または標準偏差値が、設定分散値または設定標準偏差値未満の場合に、前記光源領域を前記反射物と判断することを特徴とする画像処理装置。