JP5772714B2 - 灯火検出装置及び車両制御システム - Google Patents

灯火検出装置及び車両制御システム Download PDF

Info

Publication number
JP5772714B2
JP5772714B2 JP2012112473A JP2012112473A JP5772714B2 JP 5772714 B2 JP5772714 B2 JP 5772714B2 JP 2012112473 A JP2012112473 A JP 2012112473A JP 2012112473 A JP2012112473 A JP 2012112473A JP 5772714 B2 JP5772714 B2 JP 5772714B2
Authority
JP
Japan
Prior art keywords
vehicle
image data
light
imaging
light detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012112473A
Other languages
English (en)
Other versions
JP2013237389A (ja
Inventor
白井 孝昌
孝昌 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2012112473A priority Critical patent/JP5772714B2/ja
Priority to US14/401,273 priority patent/US20150138324A1/en
Priority to PCT/JP2013/063620 priority patent/WO2013172398A1/ja
Publication of JP2013237389A publication Critical patent/JP2013237389A/ja
Application granted granted Critical
Publication of JP5772714B2 publication Critical patent/JP5772714B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415Dimming circuits
    • B60Q1/1423Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、車両灯火を検出する装置及び車両制御システムに関する。
従来、車両灯火を検出してヘッドライトの配光制御を行うシステムが知られている(特許文献1参照)。このシステムでは、例えば、カメラ画像を高速サンプリングして、当該カメラ画像に映る光源の周波数を算出し、算出した光源の周波数に基づいて、街灯などの灯火を、車両灯火の候補から排除する。
特開2008−211410号公報
ところで、車載カメラによって撮影される可能性のある光源としては、車両灯火や街灯の他、信号機等がある。そして、信号機としては、100〜120Hz(ヘルツ)程度の周波数で点滅するLED信号機が知られている。
このため、車載カメラにより撮影された灯火から、従来技術を用いて車両灯火以外の灯火を排除するには、高速サンプリング可能な高価なカメラを車両に搭載する必要がある。しかしながら、このような手法を採用すると、システムの製造コストが高くつく。
本発明は、こうした問題に鑑みなされたものであり、高速サンプリング可能な高価なカメラを用いなくても、カメラ画像から車両灯火を精度良く検出可能な技術を提供することを目的とする。
本発明は、車両灯火を検出する灯火検出装置であって、第一及び第二の撮像手段と、制御手段と、車両灯火検出手段と、を備える。第一及び第二の撮像手段は、共通する前方領域を撮影し、その撮影画像を表す画像データを生成する。制御手段は、第二の撮像手段の露光タイミングを、第一の撮像手段からずらすように第一及び第二の撮像手段の露光タイミングを制御して、第一及び第二の撮像手段から露光タイミングに差異のある画像データの一組を取得する。車両灯火検出手段は、この制御手段の動作により第一及び第二の撮像手段から得られた画像データを解析して、この画像データに映る車両灯火を検出する。
具体的に、車両灯火検出手段は、点滅灯火検出手段と、排除手段とを備え、点滅灯火検出手段によって、第一の撮像手段から得られた画像データと第二の撮像手段から得られた画像データとを比較し、画像データに映る灯火であって点滅する灯火を検出する。そして、排除手段によって、点滅灯火検出手段により検出された灯火を、車両灯火の候補から排除する。
この灯火検出装置によれば、第一及び第二の撮像手段を用いて得られた露光タイミングに差異のある画像データの一組に基づき、点滅する灯火を検出する。このため、撮像手段として、高速サンプリング可能な高価なカメラを用いなくても、高い周波数の点滅灯火を検出することができ、車両灯火ではない点滅灯火を車両灯火の候補から排除して精度よく車両灯火を検出することができる。従って、本発明によれば、高精度な灯火検出装置を低コストに製造することができる。
ところで、車両灯火検出手段は、制御手段の動作により第一及び第二の撮像手段から得られた画像データの一方に基づき、画像データに映る車両灯火の候補とする灯火を検出する候補検出手段を備えた構成とすることができる。この場合、排除手段は、候補検出手段により車両灯火の候補として検出された灯火から点滅灯火検出手段により検出された点滅する灯火を排除することができる。
また、車両制御システムは、上述した灯火検出装置による車両灯火の検出結果に基づき、自車両のヘッドライトによるビームの照射方向を切り替えるヘッドライト制御手段を備えた構成にすることができる。この車両制御システムによれば、精度の高い車両灯火の検出結果に基づき、適切なヘッドライトの制御を行うことができる。
車両制御システム1の構成を表すブロック図である。 ステレオ撮影モード及び車両灯火検出モードでの露光制御の態様を示したタイムチャートである。 制御ユニット15が実行する立体検出処理を表すフローチャートである。 制御ユニット15が実行する車両灯火検出処理を表すフローチャートである。 制御ユニット15が実行する点滅光源排除処理を表すフローチャートである。 点滅光源の検出態様を説明した図である。 点滅光源からの入射光の強度変化による輝度の差を説明した図である。 車両制御装置20が実行するヘッドライト自動制御処理を表すフローチャートである。
以下に本発明の実施例について、図面と共に説明する。
本実施例の車両制御システム1は、ヘッドライト3を備えた車両(自動車等)に搭載されるものであり、図1に示すように、画像解析装置10と、車両制御装置20と、を備える。画像解析装置10は、自車両前方領域を撮影して、その撮影画像を表す画像データを解析することにより、自車両前方領域の状態を検出するものである。この画像解析装置10は、ステレオカメラ11、及び、制御ユニット15を備える。
ステレオカメラ11は、周知のステレオカメラと同様、左カメラ11L及び右カメラ11Rを備える。左カメラ11L及び右カメラ11Rの夫々は、互いに共通する自車両の前方領域を異なる位置(自車両左右)から撮影して、その撮影画像を表す画像データを制御ユニット15に入力する。
一方、制御ユニット15は、画像解析装置10を統括制御するものであり、CPU15A、メモリ15B及び図示しない入出力ポート等を備え、メモリ15Bに記録されたプログラムに従う各種処理をCPU15Aにて実行することにより、画像解析装置10を統括制御する。
この制御ユニット15は、プログラムに従う処理の実行により、左カメラ11L及び右カメラ11Rの露光タイミングを制御し、この制御によって左カメラ11L及び右カメラ11Rから得られる画像データを解析する。この画像解析により、自車両前方領域の状態として、自車両前方領域に存在する物体までの距離を検出したり、自車両前方領域に存在する車両灯火を検出したりする。そして、これらの検出結果を、車内LANを通じて車両制御装置20に送信する。
車両制御装置20は、画像解析装置10から送信される上記検出結果を、車内LANを通じて受信し、この受信により得られた上記検出結果に基づき、車両制御を行うものである。具体的に、車両制御装置20は、車両制御として、前方物体までの距離に基づき、衝突回避のための車両制御を実行したり、車両灯火の検出結果に基づき、ヘッドライト3からの上下方向におけるビーム照射角度を切り替える車両制御を実行したりする。
このように、本実施例の車両制御システム1は、ステレオカメラ11を用いて、自車両前方領域の状態を検出し、その検出結果に基づいた車両制御を行う。そして、上記ビーム照射角度の切り替え動作により、所謂オートハイビームシステムとして機能する。
続いて、画像解析装置10の詳細を説明する。画像解析装置10が備える制御ユニット15は、処理サイクル毎に所定の処理を繰り返し実行することにより、自車両前方領域に存在する物体までの距離を検出したり、自車両前方領域に存在する車両灯火を検出したりする。
具体的に、オートハイビームシステムの機能がオンにされている夜間において、制御ユニット15は、処理サイクル毎に図3に示す立体検出処理及び図4に示す車両灯火検出処理を並列に実行する。そして、立体検出処理では、図2上段に示すように、処理サイクルの先頭区間である第一の撮像制御区間において、ステレオ撮影モードによるカメラ制御を行う(S110)。ステレオ撮影モードは、ステレオカメラ11の制御モードの一つであり、左カメラ11L及び右カメラ11Rの露光期間が一致するように、左カメラ11L及び右カメラ11Rの露光タイミングを制御するモードである。第一の撮像制御区間では、このようなカメラ制御によって、自車両前方領域の撮影が行われる。
一方、車両灯火検出処理では、上記処理サイクルにおける第一の撮像制御区間に続く第二の撮像制御区間において、図2下段に示すように、車両灯火検出モードによるカメラ制御を行う(S210)。車両灯火検出モードは、ステレオ撮影モードと同様に、ステレオカメラ11の制御モードの一つであり、左カメラ11Lの露光タイミングを右カメラ11Rからずらすように、左カメラ11L及び右カメラ11Rの露光タイミングを制御するモードである。第二の撮像制御区間では、このようなカメラ制御によって、自車両前方領域の撮影が行われる。
図2に示す例によれば、処理サイクルは、100ミリ秒の周期であり、第一及び第二の撮像制御区間は、処理サイクルの三分の一である約33.3ミリ秒の周期である。また、第一及び第二の撮像制御区間における左カメラ11L及び右カメラ11Rの露光期間は、約8ミリ秒であり、第二の撮像制御区間における露光タイミングのずれ量は約4ミリ秒である。
第一の撮像制御区間での露光動作によって左カメラ11L及び右カメラ11Rの夫々で生成された画像データは、制御ユニット15が実行する立体検出処理によって、第二の撮像制御区間での露光が開始される前に、左カメラ11L及び右カメラ11Rから制御ユニット15に取り込まれる(S120)。一方、第二の撮像制御区間での露光によって左カメラ11L及び右カメラ11Rの夫々で生成された画像データは、制御ユニット15が実行する車両灯火検出処理によって、左カメラ11L及び右カメラ11Rの露光動作の終了後、左カメラ11L及び右カメラ11Rから制御ユニット15に取り込まれる(S220)。
次に、制御ユニット15が処理サイクル毎に繰り返し実行する立体検出処理の詳細を、図3を用いて説明する。立体検出処理を開始すると、制御ユニット15は、上述したステレオ撮影モードによるカメラ制御を行い、図2上段に示すように、第一の撮像制御区間において、左カメラ11L及び右カメラ11Rの露光期間が一致するように、左カメラ11L及び右カメラ11Rの露光タイミングを制御する(S110)。
そして、露光期間の終了後、左カメラ11L及び右カメラ11Rの夫々において当該露光期間での光電効果により生成された自車両前方領域の撮影画像を表す画像データを、左カメラ11L及び右カメラ11Rの夫々から取り込む(S120)。以下、左カメラ11Lから取り込まれる画像データのことを左画像データとも表現し、右カメラ11Rから取り込まれる画像データのことを右画像データとも表現する。
そして、取り込んだ左画像データ及び右画像データに基づき、周知の画像解析処理を実行することにより、自車両前方領域を立体視する。ここでは、左画像データ及び右画像データの両者に映る各物体の視差を求め、この視差に基づいて三角測量の要領で、各物体までの距離を算出する処理を行う(S130)。
その後、制御ユニット15は、S130で算出した左画像データ及び右画像データの両者に映る各物体の距離に関する情報を、車両前方の状態を表す情報として、車両制御装置20に車内LANを通じて送信する(S140)。その後、当該立体検出処理を終了する。尚、左画像データ及び右画像データの両者に映る物体としての各光源の距離に関する情報は、S240において車両灯火の候補として不適切なものを排除する際にも用いられる。
次に、制御ユニット15が処理サイクル毎に繰り返し実行する車両灯火検出処理の詳細を、図4を用いて説明する。
車両灯火検出処理を開始すると、制御ユニット15は、車両灯火検出モードによるカメラ制御を行い、図2下段に示すように、第二の撮像制御区間において、左カメラ11Lの露光タイミングを右カメラ11Rに対し先行させるように、左カメラ11L及び右カメラ11Rの露光タイミングを制御する(S210)。この車両灯火検出モードによるカメラ制御は、露光タイミングをずらすものではあるが、左カメラ11L及び右カメラ11Rの夫々における露光時間を変えるものではない。即ち、左カメラ11L及び右カメラ11Rの夫々における露光時間は、同じである。
そして、このカメラ制御による露光期間の終了後、制御ユニット15は、左カメラ11L及び右カメラ11Rの夫々において当該露光期間での光電効果により生成された自車両前方領域の撮影画像を表す画像データを、左カメラ11L及び右カメラ11Rの夫々から取り込む(S220)。
その後、左カメラ11Lから得られた左画像データ、及び、右カメラ11Rから得られた右画像データの内の一つを用いて車両灯火の候補を抽出する処理を行う(S230)。以下では、説明を簡単にするため、左画像データを用いて車両灯火の候補を抽出する例を説明するが、左画像データに代えて右画像データを用いてもよいことは言うまでもない。S230では、単眼カメラを用いて車両灯火の候補を抽出する公知の技法を用いて、車両灯火の候補を抽出することができる。
公知技術である特開2008−67086に開示された技術に従えば、左画像データにおいて輝度が閾値以上の画素領域を光源が映る画素領域として検出する。そして、これらの光源の一群を、水平方向に並ぶ一対の光源、及び、対となっていない一つの光源である通常光源に分類し、一対の光源及び通常光源の夫々を、一つの車両に対応する車両灯火の候補に設定する。そして、左画像データにおける水平方向に並ぶ一対の光源の間隔、又は、通常光源の幅に基づき、光源が車両灯火であると仮定したときの車両までの距離を、光源に対応する車両毎に算出する。例えば、一対の光源の間隔又は通常光源の幅が車両における平均的な左右のライト間隔(例えば1.6m)に対応するものであるとの仮定をおいて、光源に対応する車両までの距離を算出する。
更に、車両毎に、水平方向に並ぶ一対の光源の間隔、又は、通常光源における高輝度の二点の幅若しくは通常光源の幅の所定割合を、この車両のライト取付位置から路面までの距離であると仮定して、車両の路面接地位置を算出する。一方で、車両毎に、上記算出した車両までの距離と、対応する光源の画像データにおける座標とに基づき、車両の路面接地位置を算出し、これらの算出値の差が基準値より大きい光源を、上記車両灯火の候補から排除する。
このようにして、S230では、左カメラ11Lから得られた左画像データに映る光源の内、車両灯火の特徴から外れた光源を排除したものを車両灯火の候補として抽出する。但し、このような抽出方法では、車両灯火でない光源の配置が、この光源を車両灯火であると仮定したときの配置と矛盾がないような配置である場合、これを車両灯火の候補から排除することができない。
従って、S240では、立体検出処理によって検出された光源までの距離に基づき、S230において車両灯火の候補として抽出された光源の一群のなかから、車両灯火の候補として不適切な光源を排除する。これにより、立体検出処理の結果を用いた車両灯火の候補の絞込みを行う。例えば、S240では、S230において車両灯火の候補として抽出された光源の夫々に関して、立体検出処理によって検出された光源までの距離を、車両までの距離とみなして、S230と同様の処理を実行したときに車両灯火の候補から排除される光源を、上記不適切な光源とみなして、車両灯火の候補の絞込みを行う。
この処理を終えると、制御ユニット15は、図5に示す点滅光源排除処理を実行することにより、車両灯火の候補の更なる絞込みを行う。これによって、車両灯火の特定を行う(S250)。具体的に、点滅光源排除処理では、現時点で車両灯火の候補として残留する光源の一つを、検査対象に選択し(S251)、選択した検査対象の光源の左画像データにおける輝度と、この検査対象の光源の右画像データにおける輝度との誤差を算出する(S252)。
そして、算出された誤差が基準値よりも大きいか否かを判断し(S253)、誤差が基準値よりも大きいと判断した場合には(S253でYes)、検査対象の光源を、車両灯火の候補から排除した後(S254)、S255に移行する。一方、算出された誤差が基準値以下である場合には(S253でNo)、検査対象の光源を車両灯火の候補として残留させたままS255に移行する。
例えば、図6に示すように検査対象の輝度が、左画像データ及び右画像データにおいて共に高く、輝度の誤差が基準値以下である場合には、検査対象の光源を車両灯火の候補として保持する。一方、検査対象の輝度が、左画像データ及び右画像データの一方において高く、他方において低いために、輝度の誤差が基準値より大きい場合には、検査対象の光源を、車両灯火の候補から排除する。
点滅光源排除処理によれば、このようにして、輝度の誤差の大きい光源を、点滅光源とみなして、車両灯火の候補から排除する。ここで、輝度の誤差が大きい光源が車両灯火ではない可能性が高い理由について、詳述する。
点滅光源排除処理で用いる左画像データ及び右画像データは、上述したように露光タイミングをずらす制御が行われる車両灯火検出モードでのカメラ制御により生成される画像データのペアである。そして、露光タイミングをずらすような制御により点滅光源を撮影すると、図7に示すように、光源からの露光期間における入射光の強度変化は、左カメラ11Lと右カメラ11Rとで異なる。このため、左画像データと右画像データとでは、図7においてハッチングで示すように、光源が映る画素領域の輝度が異なる結果となる。
一方、車両灯火のような直流電源で駆動される光源からの露光期間における入射光の強度は、図7に示すようには変化せずに一定である。このため、左画像データと右画像データとの間において、輝度の誤差はほとんど生じない。従って、輝度の誤差の大きい光源については、車両灯火でない可能性が高い。このような理由により、S254では、輝度の誤差の大きい光源を、車両灯火の候補から排除する。
但し、左画像データと右画像データとの間の輝度の誤差により点滅光源を検出するためには、露光タイミングのずれ量及び露光期間を、点滅光源の周波数帯に適した値に調整する必要がある。従って、露光タイミングのずれ量及び露光期間については、車両灯火の候補から排除すべき点滅光源の周波数を考慮して、設計者が試験等により定める。
S255に移行すると、制御ユニット15は、車両灯火の候補として残留する光源の全てについて、これを検査対象としてS252以降の処理を実行したか否かを判断し、全てについて実行していないと判断すると(S255でNo)、S251に移行して、検査対象として未選択の光源の一つを新たな検査対象に選択して、S252以降の処理を実行する。
そして、車両灯火の候補として残留する光源の全てについて、S252以降の処理を実行したと判断すると(S255でYes)、現時点において車両灯火の候補として残留する光源の一群を、車両灯火として特定し(S259)、点滅光源排除処理を終了する。但し、S259では、車両灯火の候補として残留する光源が一つもない場合、自車両前方領域に車両灯火無し、と判定して、当該点滅光源排除処理を終了する。
また、S250における点滅光源排除処理の実行によって車両灯火を特定すると、制御ユニット15は、S260に移行し、車両前方の状態を表す情報として、自車両前方領域における車両灯火の有無を含む車両灯火の検出結果を表す情報を、車内LANを通じて車両制御装置20に送信(出力)する。車両灯火の検出結果を表す情報には、車両灯火の有無を表す情報と共に、自車両前方領域における車両灯火の数や、車両灯火までの距離/方位を表す情報等を含ませることができる。その後、当該点滅光源排除処理を終了する。
以上には、制御ユニット15が、オートハイビームシステムとしての機能がオンにされている夜間において実行する処理の内容について説明したが、それ以外の環境では、例えば、立体検出処理及び車両灯火検出処理の内、立体検出処理のみを実行するように、制御ユニット15は構成され得る。
また、車両制御装置20は、画像解析装置10から送信される車両前方の状態を表す情報としての自車両前方領域に存在する物体の距離に関する情報及び自車両前方領域における車両灯火の検出結果を表す情報に基づき、車両制御を行うが、具体的に、オートハイビームシステムとしての機能がオンにされている夜間には、画像解析装置10から受信した車両灯火の検出結果を表す情報に基づき、ヘッドライト3を制御して、ヘッドライト3からのビームの照射角度を調整する。例えば、車両制御装置20は、オートハイビームシステムとしての機能がオンにされ且つヘッドライト3が点灯している夜間において、図8に示すヘッドライト自動制御処理を繰り返し実行する。
このヘッドライト自動制御処理によれば、車両制御装置20は、画像解析装置10から受信した車両灯火の検出結果を表す情報が車両灯火有りとの情報である場合(S310でYes)、ヘッドライト3からのビームの上下方向における照射角度をローに切り替える。即ち、ヘッドライト3から所謂ロービームが出力されるように、ヘッドライト3を制御する(S320)。一方、画像解析装置10から受信した車両灯火の検出結果を表す情報が車両灯火無しとの情報である場合には(S310でNo)、ヘッドライト3からのビームの照射角度をハイに切り替える(S330)。即ち、ヘッドライト3から所謂ハイビームが出力されるように、ヘッドライト3を制御する(S330)。このような処理を繰り返し実行する。付言すれば、画像解析装置10から車両灯火の検出結果を表す情報を一定期間以上受信できない場合には、ヘッドライト3からロービームが出力されるように、ヘッドライト3を制御することができる。
以上、本実施例の車両制御システム1の構成について説明したが、本実施例によれば、左カメラ11L及び右カメラ11Rの制御により、左カメラ11L及び右カメラ11Rに共通の自車両前方領域を撮影させ、その撮影画像を表す画像データ(左画像データ及び右画像データ)を生成させる。この際には、左カメラ11Lの露光タイミングを右カメラ11Rからずらすように、左カメラ11L及び右カメラ11Rの露光タイミングを制御して、左カメラ11L及び右カメラ11Rから露光タイミングに差異のある画像データ(左画像データ及び右画像データ)を取得する。そして、左画像データ及び右画像データの一方(上記実施例では左画像データ)に基づき、車両灯火の候補を抽出する(S230)。
更に、この露光タイミングに差異のある左画像データと右画像データとの比較により、左画像データに映る灯火であって周期的に点滅する灯火を検出する(S251〜S253)。具体的には、S230で抽出された車両灯火の候補とされる光源の夫々に関して、この光源の左画像データにおける輝度と右画像データにおける輝度との差を算出し(S252)、算出された輝度の差が基準値より大きい灯火の夫々を点滅する灯火として検出する(S253)。
そして、S230で抽出された車両灯火の候補から、点滅する灯火を排除し(S254)、最終的に車両灯火の候補として残った光源を、車両灯火として検出する(S259)。
即ち、本実施例によれば、露光タイミングに差異のある画像データの一組に基づき、点滅する灯火を検出することで、カメラ11L,11Rとして、高速サンプリング可能なカメラ等を用いなくても、一般的なステレオカメラ11を用いて、LED信号機のような高い周波数の点滅光源を検出することができるようにし、車両灯火ではない点滅光源を排除して精度よく車両灯火を検出することができるようにした。従って、本実施例によれば、高精度に車両灯火を検出可能な画像解析装置10を低コストに製造することができる。
また、本実施例によれば、距離検出のためのステレオカメラ11を用いて、車両灯火の検出を高精度に行うことができるので、効率的に高性能な車両制御システム1を構築することができる。
即ち、本実施例によれば、ステレオ撮影モードによって、左カメラ11L及び右カメラ11Rの露光タイミングを揃えるように、左カメラ11L及び右カメラ11Rを制御して、この露光により左カメラ11L及び右カメラ11Rが生成した画像データの一組であるステレオ画像データ(左画像データ及び右画像データ)を取得し、このステレオ画像データに基づき、車両灯火を含む自車両前方領域における各物体までの距離を検出し(S130)、これを車両制御に用いる。また、距離の検出結果を利用して、車両灯火の検出精度を高める。従って、自車両前方領域を立体視した結果に基づく車両制御と、車両灯火の検出結果に基づく車両制御(ヘッドライト3の制御)とを、一つのステレオカメラ11を用いて効率的に且つ高精度に実現することができる。
但し、本発明が上記実施例に限定されるものではなく、種々の態様を採ることができることは言うまでもない。例えば、上記実施例では、立体検出処理により得られた自車両前方領域の物体までの距離の検出結果を、車両灯火検出処理で用いて(S240)、車両灯火の候補の絞込みを行うようにしたが、必ずしも、立体検出処理による距離の検出結果を車両灯火の検出に用いる必要はない。即ち、S240の処理を実行しないように、制御ユニット15は構成されてもよい。
また、S230において車両灯火の候補を抽出する処理の内容については、上記実施例に限定されるものではなく、S230の処理には、公知の種々技術を適用することができる。この他、制御ユニット15は、専用のICとして構成することができる。
最後に、対応関係について説明する。上記実施例における画像解析装置10は、灯火検出装置の一例に対応し、右カメラ11R及び左カメラ11Lは、第一及び第二の撮像手段の一例に対応する。
また、制御ユニット15が実行するS110,S120,S210,S220によって実現される機能は、制御手段によって実現される機能の一例に対応し、制御ユニット15が実行するS130,S230〜S250,S251〜S259によって実現される機能は、車両灯火検出手段によって実現される機能の一例に対応する。
この他、制御ユニット15が実行するS230によって実現される機能は、候補検出手段によって実現される機能の一例に対応し、S251〜S253によって実現される機能は、点滅灯火検出手段によって実現される機能の一例に対応し、S254によって実現される機能は、排除手段によって実現される機能の一例に対応する。また、制御ユニット15が実行するS130の処理によって実現される機能は、車両灯火検出手段によって実現される灯火までの距離を検出する機能の一例に対応する。
そして、車両制御装置20が実行するヘッドライト自動制御処理によって実現される機能は、ヘッドライト制御手段によって実現される機能の一例に対応する。
1…車両制御システム、3…ヘッドライト、10…画像解析装置、11…ステレオカメラ、11R…右カメラ、11L…左カメラ、15…制御ユニット、15A…CPU、15B…メモリ、20…車両制御装置

Claims (5)

  1. 車両灯火を検出する灯火検出装置(10)であって、
    共通の前方領域を撮影し、その撮影画像を表す画像データを生成する第一及び第二の撮像手段(11R,11L)と、
    前記第二の撮像手段の露光タイミングを前記第一の撮像手段からずらすように前記第一及び第二の撮像手段の露光タイミングを制御して、前記第一及び第二の撮像手段から露光タイミングに差異のある前記画像データの一組を取得する制御手段(15,S210,S220)と、
    前記制御手段の動作により前記第一及び第二の撮像手段から得られた前記画像データを解析して、前記画像データに映る車両灯火を検出する車両灯火検出手段(15,S230〜S250,S251〜S259)と、
    を備え、
    前記車両灯火検出手段は、
    前記第一の撮像手段から得られた前記画像データと前記第二の撮像手段から得られた前記画像データとの比較により、前記画像データに映る灯火であって点滅する灯火を検出する点滅灯火検出手段(S251〜S253)と、
    前記点滅灯火検出手段により検出された灯火を、前記車両灯火の候補から排除する排除手段(S254)と、
    を備えることを特徴とする灯火検出装置。
  2. 前記車両灯火検出手段は、
    前記制御手段の動作により前記第一及び第二の撮像手段から得られた前記画像データの一方に基づき、前記画像データに映る前記車両灯火の候補とする灯火を検出する候補検出手段(S230)
    を前記点滅灯火検出手段及び前記排除手段に加えて備え、
    前記排除手段は、前記候補検出手段により前記車両灯火の候補として検出された灯火から前記点滅灯火検出手段により検出された前記点滅する灯火を排除すること
    を特徴とする請求項1記載の灯火検出装置。
  3. 前記点滅灯火検出手段は、前記候補検出手段により検出された前記車両灯火の候補とされる灯火の夫々に関して、この灯火の前記第一の撮像手段から得られた前記画像データにおける輝度と前記第二の撮像手段から得られた前記画像データにおける輝度との差を算出し、前記算出された輝度の差が基準より大きい灯火の夫々を前記点滅する灯火として検出すること
    を特徴とする請求項2記載の灯火検出装置。
  4. 前記制御手段は、前記第二の撮像手段の露光タイミングを前記第一の撮像手段からずらすように前記第一及び第二の撮像手段の露光タイミングを制御して、前記第一及び第二の撮像手段から露光タイミングの異なる前記画像データの一組を取得する第一の動作モード(S210,S220)に加えて、前記第一及び第二の撮像手段の露光タイミングを揃えるように制御して、この露光により前記第一及び第二の撮像手段が生成した前記画像データの一組であるステレオ画像データを取得する第二の動作モード(S110,S120)を備え、
    前記車両灯火検出手段は、前記第二の動作モードにより取得された前記ステレオ画像データに基づき、前記第一及び第二の撮像手段により撮影された灯火までの距離を検出する機能(S130)を有していること
    を特徴とする請求項1〜請求項3のいずれか一項記載の灯火検出装置。
  5. 請求項1〜請求項4のいずれか一項記載の灯火検出装置と、
    前記灯火検出装置による前記車両灯火の検出結果に基づき、自車両のヘッドライトによるビームの照射方向を切り替えるヘッドライト制御手段(20,S310〜S330)と、
    を備えることを特徴とする車両制御システム。
JP2012112473A 2012-05-16 2012-05-16 灯火検出装置及び車両制御システム Expired - Fee Related JP5772714B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012112473A JP5772714B2 (ja) 2012-05-16 2012-05-16 灯火検出装置及び車両制御システム
US14/401,273 US20150138324A1 (en) 2012-05-16 2013-05-16 Apparatus for detecting vehicle light and method thereof
PCT/JP2013/063620 WO2013172398A1 (ja) 2012-05-16 2013-05-16 車両の灯火を検出する装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012112473A JP5772714B2 (ja) 2012-05-16 2012-05-16 灯火検出装置及び車両制御システム

Publications (2)

Publication Number Publication Date
JP2013237389A JP2013237389A (ja) 2013-11-28
JP5772714B2 true JP5772714B2 (ja) 2015-09-02

Family

ID=49583802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012112473A Expired - Fee Related JP5772714B2 (ja) 2012-05-16 2012-05-16 灯火検出装置及び車両制御システム

Country Status (3)

Country Link
US (1) US20150138324A1 (ja)
JP (1) JP5772714B2 (ja)
WO (1) WO2013172398A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012221159A1 (de) * 2012-11-20 2014-05-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Wechselverkehrszeichen
WO2015098325A1 (ja) * 2013-12-25 2015-07-02 日立オートモティブシステムズ株式会社 車載画像認識装置
US9779314B1 (en) 2014-08-21 2017-10-03 Waymo Llc Vision-based detection and classification of traffic lights
US10814245B2 (en) 2014-08-26 2020-10-27 Saeed Alhassan Alkhazraji Solar still apparatus
EP3459238B1 (en) * 2017-07-28 2021-06-09 Google LLC Need-sensitive image and location capture system and method
JP7160606B2 (ja) * 2018-09-10 2022-10-25 株式会社小松製作所 作業機械の制御システム及び方法
JP7204551B2 (ja) * 2019-03-19 2023-01-16 株式会社小糸製作所 車両用監視システム
US11702140B2 (en) 2019-11-19 2023-07-18 Robert Bosch Gmbh Vehicle front optical object detection via photoelectric effect of metallic striping
JP7431698B2 (ja) * 2020-08-20 2024-02-15 株式会社Subaru 車外環境認識装置
US11490023B2 (en) * 2020-10-30 2022-11-01 Ford Global Technologies, Llc Systems and methods for mitigating light-emitting diode (LED) imaging artifacts in an imaging system of a vehicle

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4253271B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
JP2005350010A (ja) * 2004-06-14 2005-12-22 Fuji Heavy Ind Ltd ステレオ式車外監視装置
JP2008137494A (ja) * 2006-12-01 2008-06-19 Denso Corp 車両用視界支援装置
JP4914233B2 (ja) * 2007-01-31 2012-04-11 富士重工業株式会社 車外監視装置
JP2009067083A (ja) * 2007-09-10 2009-04-02 Nissan Motor Co Ltd 車両用前照灯装置およびその制御方法
US8827514B2 (en) * 2010-08-06 2014-09-09 Toyota Jidosha Kabushiki Kaisha Vehicle light distribution control apparatus and method
JP2012071677A (ja) * 2010-09-28 2012-04-12 Fuji Heavy Ind Ltd 車両の運転支援装置

Also Published As

Publication number Publication date
US20150138324A1 (en) 2015-05-21
WO2013172398A1 (ja) 2013-11-21
JP2013237389A (ja) 2013-11-28

Similar Documents

Publication Publication Date Title
JP5772714B2 (ja) 灯火検出装置及び車両制御システム
JP6325000B2 (ja) 車載画像認識装置
WO2017014023A1 (ja) 車載環境認識装置
JP5863536B2 (ja) 車外監視装置
RU2655256C1 (ru) Устройство обнаружения светофора и способ обнаружения светофора
JP2010092422A (ja) 車両検出装置、車両検出プログラム、およびライト制御装置
JP6233500B2 (ja) 信号機検出装置及び信号機検出方法
US9679207B2 (en) Traffic light detecting device and traffic light detecting method
EP1962226A2 (en) Image recognition device for vehicle and vehicle head lamp controller and method of controlling head lamps
JP2008094249A (ja) 車両検出装置及びヘッドランプ制御装置
JP2013107476A (ja) 画像処理装置
JP6236039B2 (ja) 車外環境認識装置
JP2012226513A (ja) 検知装置、及び検知方法
JP2017062582A (ja) 車外環境認識装置
JP2015069566A (ja) フィルタリング装置および環境認識システム
JP2014052813A (ja) 瞳孔検出装置および瞳孔検出方法
JP2005156199A (ja) 車両検知方法及び車両検知装置
JP5898535B2 (ja) 撮像ユニットの露光制御装置
JP2013101432A (ja) 障害物検出装置及びプログラム
JP2006252363A (ja) 車両周囲物体検出装置、および車両周囲物体検出方法
JP5277650B2 (ja) 光検出装置及び光検出方法
CN111971527B (zh) 摄像装置
JP5310162B2 (ja) 車両灯火判定装置
JP5668937B2 (ja) 前照灯制御装置
JP5907405B2 (ja) 画像解析装置及びこれを用いた物体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150615

R151 Written notification of patent or utility model registration

Ref document number: 5772714

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees