JP4253271B2 - 画像処理システム及び車両制御システム - Google Patents

画像処理システム及び車両制御システム Download PDF

Info

Publication number
JP4253271B2
JP4253271B2 JP2004144788A JP2004144788A JP4253271B2 JP 4253271 B2 JP4253271 B2 JP 4253271B2 JP 2004144788 A JP2004144788 A JP 2004144788A JP 2004144788 A JP2004144788 A JP 2004144788A JP 4253271 B2 JP4253271 B2 JP 4253271B2
Authority
JP
Japan
Prior art keywords
image
vehicle
light spot
light
headlight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004144788A
Other languages
English (en)
Other versions
JP2005092857A (ja
Inventor
裕史 大塚
寛 武長
彰二 村松
竜彦 門司
勲 古沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004144788A priority Critical patent/JP4253271B2/ja
Priority to EP04019067A priority patent/EP1513103B1/en
Priority to US10/915,603 priority patent/US7512252B2/en
Priority to DE602004029749T priority patent/DE602004029749D1/de
Publication of JP2005092857A publication Critical patent/JP2005092857A/ja
Priority to US12/176,744 priority patent/US7899213B2/en
Application granted granted Critical
Publication of JP4253271B2 publication Critical patent/JP4253271B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/06—Testing the alignment of vehicle headlight devices
    • G01M11/068—Testing the alignment of vehicle headlight devices with part of the measurements done from inside the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05—Special features for controlling or switching of the light beam
    • B60Q2300/054—Variable non-standard intensity, i.e. emission of various beam intensities different from standard intensities, e.g. continuous or stepped transitions of intensity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30—Indexing codes relating to the vehicle environment
    • B60Q2300/33—Driving situation
    • B60Q2300/332—Driving situation on city roads
    • B60Q2300/3321—Detection of streetlights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Image Processing (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両搭載用の画像処理システム及び車両制御システムに関するものである。
車載カメラが撮影した画像を用いて車両の位置及び方向を検出する技術として、夜間のヘッドライトやテールランプを検知し、その情報を基に他車両情報を検出する例があげられる。ヘッドライトは夜間走行時、運転手の視認性を良くするために前方に車両が存在しなければハイビームに、存在する場合は距離に応じてロービームにすることが望ましい。従って、自車両前方に先行車もしくは対向車がどの距離に存在するかどうかを検出する技術が重要となる。車間距離算出の一方式として、自車の前方をカメラで撮像し、画像を解析することで車間距離を計算する例が知られている。ただしＣＣＤやＣＭＯＳのカメラは、ダイナミックレンジが限られているため、ヘッドライトとテールランプのように輝度差が大きな対象を一様に撮像することが難しい。更にカメラへの入射光量は光点からの距離に依存するため、ヘッドライトが近くテールランプが遠方にあれば見かけ上の輝度差は一層広がる。ハイビームは２００ｍ程離れても眩しさを感じることから、配光制御では数百ｍ遠方の車両まで検出できなければならない。即ち遠方のテールランプの輝度にあわせて露光を調整すると、近傍のヘッドライトからの光量が強すぎてブルーミングを起こす可能性が高く、また近傍のヘッドライトにあわせて露光を調整すると、遠方のテールランプは暗くなり、距離の算出が困難となる。
この課題を解決するために、青色フィルタを装着したレンズを持つ撮像素子と赤色フィルタを装着したレンズを持つ撮像素子の２つを有し、青色フィルタで対向車のヘッドライトを、赤色フィルタで先行車のテールランプを各々検出する技術が知られている。（例えば特許文献１）本方式は、機械的な走査装置が不要であって簡単な構成の安価なシステムを実現できる。しかし、撮像素子及びレンズを２つ用いているので、光学系で２倍のコストがかかる。更に、２つそれぞれがヘッドライトとテールランプを分けて認識するため、ヘッドライトとテールランプの違いによる輝度差は吸収できるが、距離の違いによる輝度差は吸収が困難であり、近傍と遠方に車両が混在する場合は、ブルーミング等による車両位置検出精度の低下が生じる。
更に、ヘッドライトやテールランプを検知する場合に問題となるのが信号機やリフレクタ、街灯、自動販売機など、車両以外のノイズ光点の混入である。配光制御や、ＡＣＣ、プリクラッシュセイフティーなどのアプリケーションでは、車両を検知することが重要であり、それ以外のものはノイズとして除外しなければならない。しかしながら、上記のようなノイズ光点が混入すると、それを車両と誤認識することがあり、アプリケーションの振る舞いに重大な影響を与えてしまう。これらノイズ光の影響を排除する手法として、街灯を除外するための手法が提案されている（例えば特許文献１）。 本方式では、街灯の光点の特徴を利用してヘッドライトやテールランプとの差別化を図っている。すなわち、走行を続けるにつれて光点が画面の上方に移動することを利用したり、蛍光灯特有のフリッカーを利用したりすることで除外が可能としている。
特表２００１−５１９７４４号
しかしながら、通常のＮＴＳＣカメラを用いる場合、蛍光灯のフリッカーを利用した方法は現実的でなく、蛍光灯でない信号機には意味をなさない。また、単に上方に移動するものであればバスなどの高い位置に設置されたテールランプも同様の動きをするため、それらとの切り分けが難しいという問題がある。
本発明は、カメラ１台で、近傍のヘッドライトから遠方のテールランプまで高精度に光点の位置を特定できる高精度でかつ安価な画像処理システムを提供する。また、ヘッドライトやテールライトと、信号機や街灯、自動販売機などのノイズ光を識別して、夜間の車両検知性能を高め、より高度な機能を提供することを目的としている。
本発明では、車両に搭載された１台のカメラ（撮像手段）が撮影した画像を解析する画像解析手段を備え、画像解析手段でカメラが撮影した２つ以上の露光量の異なる画像を解析して前方を走行する他の車両の位置を検知する。検知した他車両の位置情報は、車両制御のために用いる。
本発明では、露光量を変えながら複数の画像を撮像することで、ダイナミックレンジの小さい撮像素子においても高精度な光の検出ができ、安価な画像処理システムを構築できる。更に本発明では、ノイズ光の影響をより削減することが可能であり、カメラによる夜間の車両検知を必要とするアプリケーションの高度化に役立つ。
以下、図を用いて本発明の実施例を説明する。
図１は、ヘッドライト配光制御を実現する画像処理システムを、自動車などの車両１００に搭載した構成を模式的に示した図である。本実施例の画像処理システムは、カメラ（撮像手段）１０１と画像解析ユニット１０２を有している。カメラ１０１は、車両１００が走行する前方の画像を撮像できるように、座席のルームミラー（図示せず）付近に設置されている。カメラ１０１で撮像された車両前方の画像は、画像信号化されて画像解析ユニット１０２に入力される。画像解析ユニット１０２は、カメラ１０１から送信された画像信号を解析し、車両１００の前方に存在する他の車両までの距離を算出する。ヘッドライト制御ユニット１０３は、画像解析ユニット１０２からの出力信号を受け、画像解析ユニット１０２が算出した距離値から、ヘッドライト１０４を制御する制御信号を生成する。ヘッドライト制御ユニット１０３が生成した制御信号は、ヘッドライト１０４に送られる。具体的には、ヘッドライト制御ユニット１０３は、ヘッドライト１０４のハイビームおよびロービームに負荷する電圧量を算出し、ヘッドライト１０４に算出された電圧を供給する。
なお、ヘッドライト制御ユニット１０３は、ヘッドライト１０４のハイビームとロービームの電流量を算出して、ヘッドライト１０４に供給してもかまわない。また、ヘッドライト１０４の図示しないフィラメント、あるいはリフレクタ部分を稼動するために、ヘッドライト制御ユニット１０３から、ヘッドライト１０４の照射する光軸の角度を制御する信号を、ヘッドライト１０４に送信しても良い。この制御方法によって、ヘッドライト１０４の照射する光の光軸を変化させて、ヘッドライト１０４からの照射距離を制御することができる。
図２は、カメラ１０１と画像解析ユニット１０２の内部構成を示した模式図である。図３は、カメラ１０１の内部構成を詳細に示した模式図である。以下、図２と図３を用いてカメラ１０１と画像解析ユニット１０２の動作を説明する。
カメラ１０１は、画像を検知するＣＣＤ２０１とカメラＤＳＰ２０２を有している。ＣＣＤ２０１は光を電荷に変換する撮像素子であり、車両前方の映像をアナログ画像信号に変換して、カメラＤＳＰ２０２に転送する。なおカメラ１０１は、他にもレンズや必要に応じてフィルタ等を有していても良い。
カメラＤＳＰ２０２の内部には、ＡＤＣ３０３（Analog-Digital Converter）と、露光制御を行うための露光制御ユニット３０１と、露光時間を設定するためのレジスタ３０２を備えている。ＡＤＣ３０３は、ＣＣＤ２０１が画像を検知して出力したアナログ画像信号を、デジタル画像信号に変換し、画像解析ユニット１０２の画像入力Ｉ／Ｆ２０５に送信している。デジタル画像信号は、カメラＤＳＰ２０２より連続的に送信されるが、その先頭には同期信号が含まれている。従って、画像入力Ｉ／Ｆ２０５では、必要なタイミングのデジタル画像信号のみを取り込むことができる。画像入力Ｉ／Ｆ２０５で取り込まれたデジタル画像信号は、メモリ２０６に書き込まれ、画像処理ユニット２０４によって処理や解析が行われる。なお、この処理の詳細については、後述する。一連の処理はＦＲＯＭに書き込まれたプログラム２０７によって行われ、画像入力Ｉ／Ｆ２０５で画像を取り込ませたり、画像処理ユニット２０４で画像処理を行わせるための制御および必要な計算は、ＣＰＵ２０３が行っている。
ここでＣＣＤ２０１は、レジスタ３０２に設定された露光時間で、車両前方の画像を撮像する。レジスタ３０２は、設定された露光時間を利用者によって任意に書き換え可能である。書き換えられた露光時間は、次フレームあるいは次フィールド以降の撮像時に反映される。
設定された露光時間の制御は、カメラＤＳＰ２０２によって行われる。カメラＤＳＰ２０２は、ＣＣＤ２０１の電源をオンしている時間を制御し、その結果ＣＣＤ２０１に当たる光の量が制限される。この方式は、電子シャッター方式と呼ばれる。露光時間の制御は、電子シャッター方式以外に、メカニカルシャッターを開閉させる方式を用いても実現できる。また、絞り機構を設けて、絞りを調整して露光量を変化させても良い。また、インターレースのように１ラインおきに操作する場合、奇数ラインと偶数ラインで露光量を変化させても良い。
図４は、実施例１の処理の流れを表したフローチャートである。Ｓ４０１からＳ４０９は、それぞれの処理ステップを示している。まず、各処理ステップの概略について説明する。
Ｓ４０１からＳ４０４では、カメラ１０１から高輝度検出用の画像と低輝度検出用の画像を取得し、画像解析ユニット１０２に転送する処理である。転送される画像データには同期信号が含まれており、ＣＰＵ２０３は、同期信号を割り込みタイミングとして画像入出力にかかわる処理を行う。
Ｓ４０５からＳ４０７では、画像データから画像解析ユニット１０２を用いて、画像中の光点の位置を検出している。
Ｓ４０８では自車両と前方を走行する他の車両との車間距離を計算し、Ｓ４０９は、最も近い他の車両との車間距離からヘッドライト１０４に加える目標電圧を算出し、ヘッドライト制御ユニット１０３によってヘッドライト１０４にかける電圧を制御している。
次に、図４及び図５、図６、図７を用いて、各処理ステップの詳細な説明を行う。
Ｓ４０１では、ＣＰＵ２０３がレジスタ３０２を高輝度検出用露光量に設定する。詳述すると、高輝度の光点を検出するために最適な露光時間に設定するものであって、前方の対向車のヘッドライト、または比較的近距離にある先行車両のテールランプの光点を検出するために選ばれる。高輝度の光点を検出するための露光時間は、撮像素子であるＣＣＤ２０１の感度特性にもよるが、１／１２０秒から１／２５０秒程度である。
図５は、カメラ１０１によって車両１００の前方を撮像した画像の模式図である。図５（ａ）は、道路を走行する車両１００の前方の像を示し、対向車両５０１及び先行車両５０２が認識される。図５（ａ）の状態を、前記高輝度検出用露光時間で撮像した画像が、図５（ｂ）に示す高輝度検出用画像５０３である。対向車両５０１のヘッドライトは、輝度が高いために高輝度検出用画像５０３では光点として写る。しかし、先行車両５０２のテールランプは、輝度値が低いために、高輝度検出用画像５０３には写らない。
Ｓ４０２では、Ｓ４０１で設定した露光時間で撮像したデジタル画像信号を、画像解析ユニット１０２中の画像入力Ｉ／Ｆ２０５が受信したのち、メモリ２０６に格納する。
Ｓ４０３では、ＣＰＵ２０３によって、レジスタ３０２を低輝度検出用露光量に書き換える。これは、低輝度の光点を検出するために最適な露光時間であって、前方の比較的遠距離にあるテールランプの光点を検出するために選ばれる。そのため露光時間は、Ｓ４０１で設定したものよりも長くなり、１／３０秒から１／６０秒程度である。図５（ａ）の状態を低輝度検出用露光時間で撮像した画像が、図５（ｃ）の低輝度検出用画像５０４である。低輝度検出用画像５０４は、先行車両５０２のテールランプの低輝度光点を捉えることができる反面、対向車両５０１のヘッドライトは高輝度であるため、ブルーミングを起こして周辺の画素まで白く飽和している。
Ｓ４０４では、Ｓ４０２と同様にＳ４０３で設定した露光時間で撮像したデジタル画像信号を、画像入力Ｉ／Ｆ２０５が受信し、メモリ２０６に格納する。
Ｓ４０５〜Ｓ４０７では、カメラ１０１から取得した画像を解析して光点の位置を求める。Ｓ４０５〜Ｓ４０７の処理は、ＣＰＵ２０３と画像処理ユニット２０４によって行われる。Ｓ４０５〜Ｓ４０７に関する一連の処理を、図６、図７を用いて説明する。
Ｓ４０５は、高輝度検出用画像５０３を用いて、図６（ａ）に示す高輝度光点６０１の位置検出を行っている。光点の位置検出方法については、後述する。高輝度光点６０１の位置が求まったら、Ｓ４０６〜Ｓ４０７で、図６（ｂ）に示す低輝度検出用画像５０４を用いて低輝度光点の位置検出を行う。ここで、低輝度検出用画像５０４には、高輝度の光点も含まれており、前述したようにブルーミングを起こすことがある。ただし、高輝度光点６０１の位置が含まれる光点のブルーミング領域６０３は、高輝度検出用画像５０３ですでに求めている。
そこでＳ４０６では、図６（ｂ）に示すように低輝度検出用画像５０４で高輝度点の二重検出を防ぐためにマスキングを行っている。ここで、日本の道路のように自動車などの車両が左側通行である場合は、対向車両が画像面の右側に位置し、対向車両のヘッドライトよりも画像面の右側に先行車両のテールランプが位置することは考えにくい。そこで、マスキング領域６０４は、図６（ｂ）のようにブルーミング領域６０３から画像面の右側すべてとする。自動車などの車両が道路右側通行の場合は、反対にブルーミング領域から画像面の左側すべてをマスキングすることになる。
続いてＳ４０７では、マスキング領域６０４以外の領域で、低輝度光点６０２の位置を算出している。
次に、高輝度光点と低輝度光点の位置の検出方法について図７を用いて説明する。ここで、図７（ａ）は高輝度検出用画像５０３、図７（ｂ）は低輝度検出用画像５０４を示している。光点は、輝度値が高いため画像上での濃度値が高く白く写る。濃度値は８ビットで示される。即ち、０から２５５までの２５６段階で表現される。高輝度の光点付近の濃度値は２５５に近く、それ以外の領域の濃度値は０に近い。そこで、まず高輝度点を検出するため、図７（ａ）のようにＹ座標が等しい画素の濃度値をすべてＹ軸に累積しながら投影する。この投影分布をＹ軸の濃度投影分布と呼ぶこととする。図７（ａ）のようにＹ軸濃度投影分布には車両１台につき、Ｙ座標軸に１つの山が現れる。この山の頂点を求めることで、光点のＹ座標を求めることができる。更に、Ｙ軸濃度投影分布で検出された山の裾野を上端下端とした光点存在帯７０１に限定して、Ｘ軸濃度投影分布を求める。通常の自動車などの車両は、左右にヘッドライトがあることからＸ座標軸に２つの山が現れる。ただし、片側複数の車線がある路線では、車両が２台以上並ぶこともあり、２つ以上の山が現れる場合もある。また、車両がオートバイなどの２輪車である場合、ヘッドライトは１つであるため、Ｘ座標軸には１つしか山が現れない。低輝度光点の場合も、高輝度光点と同様にして座標軸上の位置を算出することができる。図７（ｂ）のようにマスキング領域６０４を除外した領域で、図７（ａ）の場合と同様にＹ軸濃度投影分布を求め、帯状領域でＸ軸投影を求める。
通常、自動車などの４輪車両の場合は、テールランプやヘッドライトの光点が２つとなり、２つの光点を検出すればよい。しかしながら４灯テールランプ等の車両も存在し、例え先行車両が１台であってもＸ軸濃度投影分布に４つの山ができることがある。このような場合は、先行車両が、１台か２台か判断しにくい。そこで、本発明の実施例では、前記のような４灯テールランプの車両において、山が４つ以上現れた場合は、テールランプが車両中心から左右対称であることを利用し、山のＸ軸の幅や位置を解析することとする。前記解析結果から、先行車両が、４灯テールランプの車両か、それとも２灯テールランプの車両が２台存在するのかを判断できる。
輝度点の位置が求まったら、続いて図４のＳ４０８で車間距離の計算を行う。対向車両もしくは先行車両が４輪車であれば、ヘッドライトあるいはテールランプから車幅を求めることができる。この場合、カメラ１０１を用いてヘッドランプあるいはテールランプの画角を測定し、画角情報があれば三角測量の原理で、自車両と対向車両または先行車両との車間距離を求めることができる。ただし、対向車両もしくは先行車両が２輪車の場合は、ランプが１つしかないので、上記方式で車幅を求めることはできない。そこで、２輪車のように光点が１つの場合は、自車両に設置したカメラの路面からの高さを利用して俯角による測距を行うこととする。すなわち、２輪車のランプの路面からの高さよりも、自車両に設置したカメラの路面からの高さの方が高いことを利用することで、三角測量を用いた車間距離測定を行うことができる。対向車両もしくは先行車両が４輪車の場合は、バスやトラック等、自車両に設置したカメラの路面からの高さよりも高い位置にヘッドライトあるいはテールランプを備えている車両もある。この場合には、俯角による車間距離の測定ができない。従って、前述のランプ幅情報を用いた車間距離の測定を行うこととする。
三角測量で距離を求める方法を図１６、１７を用いて説明する。まず、車両幅情報から距離を求める場合、図１６に示す原理で測距を行う。先行車両１６０３の実際の車両幅Ｗ、カメラの焦点距離ｆ、ＣＣＤ１６０２面に映し出された画像中の車両幅ｗとすると、カメラから車両１６０３までの距離Ｌは
Ｌ＝Ｗｆ／ｗ
と表せる。ここで実際の車両幅Ｗは未知であるため例えば平均的な１．７ｍと仮定することで距離が求まる。
次に、俯角情報を用いて距離を求める場合について図１７を用いて説明する。先行車両のテールランプ１７０３の路面からの高さをｈｌ、カメラの焦点距離ｆ、ＣＣＤ１７０２面に映し出された画像中の座標ｙとすると、カメラから先行車両までの距離Ｌは
Ｌ＝（ｈｃ−ｈｌ）×ｆ／ｙ
と表せる。ここで、実際の先行車両のテールランプ１７０３の路面からの高さｈｌは未知であるため例えば８０ｃｍと仮定する必要がある。ただし、この値は車両による個体差が大きく、とくにカメラの光軸よりも高い、すなわち、カメラの路面からの高さｈｃがテールランプの路面からのｈｌよりも低い場合は距離が求まらない。そのため、オートバイなどの二輪車に使用する程度にして、主に図１６のように車両幅を用いて距離を出すようにした方がよい。
ここで、４輪車でも自車両から遠方に離れてしまうと、画像解像度などによりヘッドライトあるいはテールランプなどの左右２つの光点が切り分けられないこともある。例えば、４輪車の車幅が１．７ｍであって、レンズ画角が２８度、水平解像度６４０、ＣＣＤ横サイズ５ｍｍ、焦点距離１０ｍｍのカメラを用いた場合、３００ｍ遠方での車幅はおよそ７画素程度となる。このとき左右２つの光点の切り分けができず、ランプ間隔による側距方式が俯角による測距方式に切り替わる。このとき距離の整合性が取れなくなり、結果として急激に距離が変化して見えることがある。すなわち２種類の測距方式が違うことで、その誤差が悪影響を及ぼすことがある。このような課題に関しては、４輪車も前述した２通りの測距方式で車間距離を計算し、そのうち距離の近いほうを採用することで誤差を軽減することができる。
図４のＳ４０９では、Ｓ４０８で求まった車間距離のうち最も近い値を基準にしてヘッドライトの配光制御を行っている。ＣＰＵ２０３は、最も小さな車間距離の値からヘッドライトのロービームおよびハイビームに負荷する電圧を算出し、ヘッドライト制御ユニット１０３に送信する。ヘッドライト制御ユニット１０３は、送られてきた各電圧値をヘッドライトのロービームおよびハイビームのフィラメントに負荷する。ここで、最も近い車両との距離が８０ｍ以下であればロービームのみに電圧をかけ、それから距離が大きくなるにつれて徐々にロービームの電圧を落としながらハイビームに電圧を上昇させる。４００ｍ以上離れていればハイビームのみに電圧をかけることとする。
次に、撮像素子であるＣＣＤ２０１にカラーＣＣＤを用いた場合の実施例２の処理について説明する。図８はカラーカメラを用いた実施例２の処理のフローチャートである。Ｓ８０１からＳ８０９は、それぞれの処理ステップを示している。まず、各処理ステップの概略について説明する。
Ｓ８０１からＳ８０４では、カメラ１０１から高輝度検出用の画像と低輝度検出用の画像を取得し、画像解析ユニット１０２に転送する処理である。転送される画像データには同期信号が含まれており、ＣＰＵ２０３は、同期信号を割り込みタイミングとして画像入出力にかかわる処理を行う。Ｓ８０５、Ｓ８０６では、画像データから画像解析ユニット１０２を用いて、画像中の光点の位置を検出している。Ｓ８０７では自車両と前方を走行する他の車両との車間距離を計算し、Ｓ８０８は、最も近い他の車両との車間距離からヘッドライト１０４に加える目標電圧を算出し、ヘッドライト制御ユニット１０３によってヘッドライト１０４にかける電圧を制御している。
次に、図８及び図９、図１０、図１１を用いて、各処理ステップの詳細な説明を行う。
Ｓ８０１では、ＣＰＵ２０３がレジスタ３０２を高輝度検出用露光量に設定する。実施例１同様、高輝度の光点を検出するために最適な露光時間に設定するものであって、前方の対向車のヘッドライト、または比較的近距離にある先行車両のテールランプの光点を検出するために選ばれる。高輝度の光点を検出するための露光時間は、撮像素子であるＣＣＤ２０１の感度特性にもよるが、１／１２０秒から１／２５０秒程度である。
図９は、カメラ１０１によって車両１００の前方を撮像した画像の模式図である。図９（ａ）は、道路を走行する車両１００の前方の像を示し、対向車両９０１及び先行車両９０２が認識される。図９（ａ）の状態を、前記高輝度検出用露光時間で撮像した画像が、図９（ｂ）に示す高輝度検出用画像９０３である。対向車両９０１のヘッドライトは、輝度が高いために高輝度検出用画像９０３では光点として写る。しかし、先行車両５０２のテールランプは、輝度値が低いために、高輝度検出用画像９０３には写らない。
Ｓ８０２は、Ｓ８０１で設定した露光時間で撮像したデジタル画像信号を、画像解析ユニット１０２中の画像入力Ｉ／Ｆ２０５が受信したのち、メモリ２０６に格納する。
Ｓ８０３は、ＣＰＵ２０３によって、レジスタ３０２を低輝度検出用露光量に書き換える。これは、低輝度の光点を検出するために最適な露光時間であって、前方の比較的遠距離にあるテールランプの光点を検出するために選ばれる。そのため露光時間は、Ｓ８０１で設定したものよりも長くなり、１／３０秒から１／６０秒程度である。図９（ａ）の状態を低輝度検出用露光時間で撮像した画像が、図９（ｃ）の低輝度検出用画像９０４である。低輝度検出用画像９０４は、先行車両９０２のテールランプの低輝度光点を捉えることができる反面、対向車両９０１のヘッドライトは高輝度であるため、実施例１と同様に、ブルーミングを起こして周辺の画素まで白く飽和することがある。
Ｓ８０４では、Ｓ８０２と同様にＳ８０３で設定した露光時間で撮像したデジタル画像信号を、画像入力Ｉ／Ｆ２０５が受信し、メモリ２０６に格納する。
Ｓ８０５、Ｓ８０６では、カメラ１０１から取得した画像を解析して光点の位置を求めている。Ｓ８０５、Ｓ８０６の処理は、ＣＰＵ２０３と画像処理ユニット２０４によって行われる。Ｓ８０５、Ｓ８０６に関する一連の処理を、図１０、図１１を用いて説明する。
Ｓ８０５は、高輝度検出用画像９０３を用いて、図１０（ａ）に示す高輝度光点１００１の位置検出を行っている。光点の位置検出方法については後述する。高輝度光点１００１の位置が求まったら、Ｓ８０６で、図９（ｃ）に示す低輝度検出用画像９０４を用いて低輝度光点の位置検出を行う。ここで、低輝度検出用画像９０４には、高輝度の光点も含まれており、前述したようにブルーミングを起こすことがある。ここで、実施例２は実施例１とは異なり色情報を用いることができるため、低輝度検出用画像９０４のなかでテールランプの色である赤色の部分のみを抽出することが可能である。
次に、高輝度光点と低輝度光点の位置の検出方法について図１１を用いて説明する。ここで、図１１（ａ）は高輝度検出用画像９０３、図１１（ｂ）は低輝度検出用画像９０４を示している。光点は、輝度値が高いため画像上での濃度値が高く白く写る。濃度値は８ビットで示される。即ち、０から２５５までの２５６段階で表現される。高輝度の光点付近の濃度値は２５５に近く、それ以外の領域の濃度値は０に近い。そこで、まず高輝度点を検出するため、図１１（ａ）のようにＹ座標が等しい画素の濃度値をすべてＹ軸に累積しながら投影する。この投影分布をＹ軸の濃度投影分布と呼ぶこととする。図１１（ａ）のようにＹ軸濃度投影分布には車両１台につき、Ｙ座標軸に１つの山が現れる。この山の頂点を求めることで、光点のＹ座標を求めることができる。更に、Ｙ軸濃度投影分布で検出された山の裾野を上端下端とした光点存在帯１１０１に限定して、Ｘ軸濃度投影分布を求める。
低輝度光点の場合は、高輝度光点と同様にして座標軸上の位置を算出することができる。カラー画像については様々な表色系の規格が存在し、どの表色系でも本実施例は実現可能であるが、ここでは一般的なＹＵＶ表色系で説明する。ＹＵＶ画像は、濃度情報に対応するＹ画像と色情報をもつＵＶ画像の２画面で構成される規格である。このうちＵＶ画像は２次元のカラーマップを表しており、色の基本情報である色相、彩度情報を取り出すことが可能である。すなわち、ＹＵＶのカラー画像を処理すると赤色部分のみを抽出することができる。この事を利用し、低輝度検出用画像９０１では、実施例１のようにマスキングされた画像から高輝度部分を抽出するのではなく、全領域から赤色成分をもつ高輝度部分のみ抽出する。赤色成分を持つ高輝度部分は図１０（ｂ）のようになる。すなわち、赤色成分をもつ高輝度部分のみを抽出することにより、マスキング処理が必要なくテールランプ領域のみを抽出することが可能となる。光点の検知方法は図１１（ａ）の場合と同様にＹ軸濃度投影分布を求め、帯状領域でＸ軸投影を求める。
ステップＳ８０７、Ｓ８０８については、実施例１のステップＳ４０８、Ｓ４０９と等価な処理であるため説明を省く。
次に、夜間の走行路における、車両以外の様々な光源の識別方法について述べる。車両以外の光源は、画像処理システムにおいてノイズとなる場合が多い。このため、画像処理システムでは、カメラ１０１が捉えた光源を、車両のランプと、ノイズ光源に区別する必要がある。そこで、カメラ１０１としてカラーカメラを用いた場合のノイズ光源除外方法について、以下説明する。
最も走行路に近くかつ明るいノイズ光源としては、道路わきに設置されたリフレクタが上げられる。リフレクタは、自車両のヘッドライトの反射であるため、近い場合には先行車のテールランプよりも輝度が高くなることがある。高輝度検出用画像９０３に写ることはまれであるが、低輝度検出用画像９０４には写る可能性が高い。この問題に関しては、色情報を用いて解決できる。一般に道路左側に設置されたリフレクタは白色、道路右側に設置されたリフレクタはオレンジ色に反射する。すなわち、低輝度検出用画像９０４から光点を検出する場合、赤色光点、すなわち赤色の領域のみを検出してそれ以外の色の低輝度光点はすべて除外する。
次に問題となるのが信号機である。信号機は視認性を確保するため、一般に図１２（ｂ）のように２基並んで設置されている。そのため、４００ｍ〜５００ｍ離れた地点での信号機２基１２０２を、１００ｍ程度前方の比較的高い位置に設置されたバスなどのテールランプ１２０１と混同することがある。これは、カメラで撮像した際に、信号機１２０２もバスのテールランプ１２０１も、どちらも図１２（ｃ）の光点１２０３のように同様に写るからである。この信号機の輝度は一般に高く、高輝度検出用画像９０３に写る。そこで、青信号、黄色信号の場合のみ、カラー情報を用いて高輝度検出用画像９０３内にある青もしくは黄色の高輝度光点は除外する。
ＣＣＤ２０１に赤色フィルタを設置してもよい。この場合、輝度の低い車両のテールランプの光量を落とさずに他のノイズ光源の輝度を落とすことができる。
一般的には上記の手法で大部分のノイズ光が除外できる。ただし、ノイズ光はできるだけ除外できていた方がアプリケーションの動作安定につながる。そのため、いくつかの手法を組み合わせてより多くのノイズ光を取り除く手段を組み込んだ方がよい。以下に本発明となるノイズ光除去手法を詳述する。
まず初めに、赤信号の除去について説明する。赤信号の場合、高輝度検出用画像９０３で除外したとしても、低輝度検出用画像９０４に赤色光点として写りこむため、基本的にはテールランプと誤認識してしまう。赤信号の誤認識は、前述のように４００ｍ〜５００ｍ離れた地点での信号機２基を、１００ｍ程度前方の比較的高い位置に設置されたバスなどの車両灯と混同することである。ここで、比較的高いとは、具体的には消失点１８０１よりも高い位置にある光点を指している。消失点とは図１８に図示するようにすべてのレーンマークが集中する点であり、カメラの光軸と一致する。すなわち、バスなどのように自車のカメラの取付高よりも高い位置に設置されたテールランプは、信号機と同様に消失点よりも高い位置に写るため識別が難しくなる。この場合、バスと信号機の違いを検知できれば区別が可能になる。
例えば図１３（ａ）のようにバス１３０１が１００ｍ以内と比較的近傍に存在するのであれば、低輝度検出用画像１３０５にはテールランプ１３０２以外にもテールランプの下方ナンバープレート光１３０３あるいは客室の明かり１３０４が写りこむ。これらの光点の位置関係はおおむね図１３（ｂ）のようになっているため、テールランプ１３０２以外の光の配置を解析することで、遠方の赤信号なのか近傍のバスなどの車両なのかを識別することが可能となる。すなわち、消失点よりも高い位置に赤色光点１３０２が抽出されたとき、同時に当該赤色光点１３０２の上及び／又は下にも他の光点１３０３、１３０４が抽出されれば、抽出された赤色光点１３０２は他車両に起因する光点であると判定できる。ここで、上あるいは下の光点とは、ｘ座標が２つの当該赤色光点１３０２を左右端とした範囲内の光点のみを指すものとし、２つの当該赤色光点１３０２の範囲外のｘ座標を持ついわゆる斜め方向の光点は含めない。例えば図１３（ｄ）のヘッドランプ光点１３０９は赤色光点１３０８の下とみなし、ヘッドランプ光点１３１０は赤色光点１３０８の下とはみなさない。
次に、図１３（ｃ）に示すように、遠方の信号機１３０６が赤信号になっており、かつ対向車１３０７が存在する状況において、そのヘッドランプ光１３０９と遠方信号機１３０６の配置が、ちょうど図１３（ｂ）に示すナンバープレート光１３０３とバスのテールランプ光１３０２のような配置になる場合について説明する。このような場合にでも、もし当該赤色光点の下に抽出された他の光点が赤色の光点であれば、すなわち当該赤色光点の下に他のテールランプ光が存在すれば、上にある当該赤色光点は赤信号である可能性が高く、他車両に起因する光点ではないと判定できる。また、当該赤色光点の下に抽出された他の光点が赤色でない場合について考えると、もしバスのナンバープレート光１３０３であれば、光量が小さいことから高輝度検出用画像には映らないが、ヘッドランプ光１３０９であれば光量が大きいことから高輝度検出用画像に映る。このことを利用すればテールランプ１３０１と信号機１３０６の赤色とを識別可能となる。しかしながら、対向車１３０７が赤信号で停車してヘッドランプ光をスモールランプに減光している場合も考えられる。このとき対向車１３０７が遠方であれば、高輝度検出画像にはヘッドランプ光１３０９が映らないことも考えられ、前記のような区別が難しくなる。これらのことを考慮し図２２の処理フローのようにして、当該赤色光点が他車両に起因する光点かどうかを判断する。
低輝度検出画像において消失点よりも高い位置に赤色光点が抽出される（Ｓ２２０１）とともに、高輝度検出画像において当該赤色光点の下に他の光点が抽出された場合（Ｓ２２０２）は、前記赤色光点は他車両に起因する光点ではないと判定する（Ｓ２２０７）。低輝度検出画像において消失点よりも高い位置に赤色光点が抽出され（Ｓ２２０１）、かつ高輝度検出画像において当該赤色光点の下に他の光点が抽出されなかった場合（Ｓ２２０２の判定がNo）、低輝度検出用画像において当該赤色光点の下に他の光点が抽出されるかどうかを検証する（Ｓ２２０３）。もし低輝度検出画像において当該赤色光点の下に他の光点が抽出された場合（Ｓ２２０３の判定がYES）、赤色であれば（Ｓ２２０４の判定がYes）、前記赤色光点は他車両に起因する光点ではないと判定する（Ｓ２２０７）。赤色でない場合、１点であれば（Ｓ２２０５の判定がNo）、ナンバープレート光の可能性も高いため前記赤色光点は他車両に起因する光点と判定し（Ｓ２２０６）、図１３（ｄ）のように２点以上あれば（Ｓ２２０５の判定がYes）、前記赤色光点は他車両に起因する光点ではないと判定する（Ｓ２２０７）。
また、赤信号の除去方法として、定期的に点灯色が変化する事を利用して、時系列に複数枚撮像した画像から光点をトラッキングしてその色の変化を解析することで信号機かどうかを判断することもできる。この場合の問題点としては、信号機の光点をトラッキングしなければならないため、画像の取り込みタイミングの周期を短めに設定しておかないと難しいことが挙げられる。また、青色から黄色、赤色に変化したときのみ排除可能であり、画面に初めて出現したときに赤色だった場合には、この手法では取り除けない。
ここでトラッキングとは、動きのある複数枚の画像から対象物を追跡する処理のことで、ここでは毎画像の光点の位置を記憶しておき、次の画像で一番近い位置にある光点を同一物体の光点とみなす処理を行うことで実現可能である。
同じく赤信号を除去するために、図１４のように信号機１４０１の付近に設置された歩行者用信号機１４０２、あるいは横断歩道１４０３を検知することで信号機と判定する方法がある。歩行者用信号機１４０２は一般的に車両用信号機１４０１よりも低い位置にあり、かつ道路わきに位置している。そこで、赤色の光点１４０４、１４０５が斜め方向に位置している場合は信号機の可能性が高いと判断できる。もう一つの情報である横断歩道１４０３については、夜間、カメラで検知するためにはかなり近づかないと難しい（例えば３０ｍ以内）。信号機の場合、接近するとカメラの設置高と信号機の高さの関係から仰角分画面の上の方に写るため、Ｙ座標から判断することも可能になる。そこで、横断歩道１４０３の情報は参考程度で用いると良い。ここで、横断歩道を検出するために、横断歩道のエッジ情報を用いる。図１９に示すように横断歩道１９０１の白線は消失点に向かっているため、消失点に向かっているエッジの数も多い。そこで、消失点に向かっているエッジの数が、あらかじめ指定したしきい値よりも大きくなった段階で横断歩道が路面に描かれていると判断することができる。
次にリフレクタの除去について説明する。リフレクタの除去については上述しているが、ここでは、至近距離のリフレクタの場合に、自車のヘッドランプの反射強度が強く高輝度検知用画像９０３に写りこむ場合について説明する。高輝度検知用画像９０３ではヘッドライトの白色光を検知するが、白色リフレクタはヘッドライトの色そのままであるため、色で判断し除外することはできない。すべてのリフレクタを除外することは難しいが、比較的頻繁に現れる白線の外側にレーンに沿って設置されたリフレクタ群に関しては除外することが可能である。具体的には、白線が写る程度の露光制御で取り込んだ画像で白線認識を行い、その外側に白線に沿って並んでいる光点が数点（例えば３点）以上ある場合はそれらを排除する。
最後に、自動販売機などの明かりを除去する方法について説明する。自動販売機の光は一般的に白いため、低輝度検出用画像９０４に写っても除去できるが、近づいてくると高輝度検出用画像９０３に写りこむ可能性がある。自動販売機の光の特徴としては、高輝度検出用画像９０３に写りこむがヘッドライトよりも輝度が低く、発光部分の面積が大きいため、比較的暗く領域の大きな光点がある場合、車両のヘッドランプやテールランプではなく自動販売機の光である可能性が高い。そのため、高輝度検出用画像９０３の濃淡画像から複数のしきい値で作成した二値画像群から判断する。すなわち、二値化しきい値を段階的に下げていき、急激に光点領域が大きくなる光点部分は、ぼんやりと面積が大きい光点である可能性が高いため、その部分を自販機の光点として除去する。
以上述べたノイズ光識別手段を加味し、実施例２を高度化したものを実施例３として図１５に示す。複数画像から光点の位置を検出するまでのステップはＳ８０１からＳ８０７と同様である。
ステップＳ１５０１では信号機の判定を行う。消失点よりも高い位置にある赤色光点の場合、その上下の光点の存在など、上述したような方法で信号機の灯火かどうかを判断する。
ステップＳ１５０２ではリフレクタの判断を行う。レーンの認識を行ってそのレーンに沿って並んでいることが確認できればリフレクタの可能性が高い。
ステップＳ１５０３で自動販売機の光かどうかの判断を行う。これも上述したように光点の面積とその輝度で判断する。
ステップＳ１５０４では、光点が信号機、リフレクタ、自販機のようなノイズ光である可能性が高いと判断された光点を除外する。
ステップＳ８０８の車間距離計算以降は実施例２と同様なので説明を省略するが、ステップＳ１５０１からステップＳ１５０４によっていくつかのノイズ光が除外されることで、より配光制御の信頼性が向上する。
本実施例では、ヘッドライトの配光制御について示したが、夜間においても先行車両との車間距離が高精度に求まるため、先行車両との車間距離を考慮し前記先行車に追従走行する制御にも使用できる。追従制御の構成を図２０に示す。画像解析ユニット１０２で計算された先行車両までの距離、方向情報、および車速センサ２００７の車速情報をもとに自車両のエンジン２００４、変速機２００５、ブレーキ２００６を制御して先行車に追従するように速度制御を行う。エンジン制御ユニット２００１はエンジンのスロットル開度を調整することでエンジン出力を制御し、変速機制御ユニット２００２は自車速度、エンジン出力をもとに最適なギア比を選択、また、必要に応じてブレーキ制御ユニット２００３がブレーキ２００６を制御することで減速の制御も行える。また、先行車両もしくは対向車両との距離が安全のための閾値よりも狭くなったときに接近警報として運転手に伝える技術にも応用できる。この接近警報の構成を図２１に示す。接近警報も追従制御と同様に画像解析ユニット１０２で計算された先行車両までの距離、方向情報、および車速センサ２００７の車速情報をもとに、警報制御ユニット２１０１が先行車に衝突する危険があるか否かを判断し、必要に応じてスピーカー２１０２で警報を鳴らす。
このように本発明の画像処理システムを用いることにより、快適でかつ安全な運転環境を運転手に提供することができる。
本発明によるヘッドライト配光制御の構成図。 カメラ、および画像解析ユニットの構成図。 カメラ内部の詳細図。 実施例１に係わる露光量の異なる２つの画像から車間距離を算出する処理フロー。 実施例１に係わる先行車と対向車が存在する場合の車両前方の様子の説明図。 実施例１に係わるヘッドライトとテールランプの位置を検出する手法の説明図。 実施例１に係わるヘッドライトとテールランプの位置を検出する手法の説明図。 実施例２に係わる露光量の異なる２つの画像から車間距離を算出する処理フロー。 実施例２に係わる先行車と対向車が存在する場合の車両前方の様子の説明図。 実施例２に係わるヘッドライトとテールランプの位置を検出する手法の説明図。 実施例２に係わるヘッドライトとテールランプの位置を検出する手法の説明図。 大型車のテールランプと赤色信号機がどのように撮像されるかを示す説明図。 近距離にある大型車がどのように撮像されるかを示す説明図。 信号機がどのように撮像されるかを示す説明図。 実施例３に係わるノイズ光を除外するための処理フロー。 三角測量の原理により車両幅情報から距離を求めるための説明図。 三角測量の原理により俯角情報から距離を求めるための説明図。 画面における消失点の説明図。 本実施例３に係わる横断歩道検知手段の説明図。 追従走行制御の構成図。 接近警報制御の構成図。 信号機判定手段の処理フロー。
符号の説明
１００…車両、１０１…カメラ、１０２…画像解析ユニット、１０３…ヘッドライト制御ユニット、１０４…ヘッドライト、２０１…ＣＣＤ、２０２…カメラＤＳＰ、２０３…ＣＰＵ、２０４…画像処理ユニット、２０５…画像入力Ｉ／Ｆ、２０６…メモリ、２０７…ＦＲＯＭ上のプログラム、３０１…露光制御ユニット、３０２…レジスタ、３０３…ＡＤＣ、５０１…対向車、５０２…先行車、５０３…高速シャッター画像、５０４…低速シャッター画像、６０１…高速シャッター時における対向車のヘッドライト光点、６０２…低速シャッター時における先行車のテールランプ光点、６０３…ブルーミング領域、６０４…マスキング領域、７０１…ヘッドランプ光点存在帯、７０２…テールランプ光点存在帯、９０１…対向車、９０２…先行車、９０３…高速シャッター画像、９０４…低速シャッター画像、１００１…高速シャッター時における対向車のヘッドライト光点、１００２…低速シャッター時における先行車のテールランプ光点、１１０１…ヘッドランプ光点存在帯、１１０２…テールランプ光点存在帯、１２０１…大型車後部、１２０２…信号機、１２０３…画像上の光点、１３０１…大型車、１３０２…大型車のテールランプ光点、１３０３…大型車のナンバープレート光点、１３０４…大型車の車内灯光点、１３０５…低速シャッター画像、１３０６…遠方の信号機、１３０７…対向車、１３０８…赤色光点、１３０９…ヘッドランプ光点、１３１０…ヘッドランプ光点、１４０１…信号機、１４０２…歩行者用信号機、１４０３…横断歩道、１４０４…信号機の光点、１４０５…歩行者用信号機の光点、１６０１…カメラのレンズ、１６０２…撮像素子（ＣＣＤ）面、１６０３…先行車、１７０１…カメラのレンズ、１７０２…撮像素子（ＣＣＤ）面、１７０３…先行車のテールランプ、１８０１…消失点、１９０１…横断歩道、２００１…エンジン制御ユニット、２００２…変速機制御ユニット、２００３…ブレーキ制御ユニット、２００４…エンジン、２００５…変速機、２００６…ブレーキ、２１０１…警報制御ユニット、２１０２…スピーカー

Claims (5)

  1. 車両に搭載された撮像手段と、前記撮像手段が撮影した画像を取得し前記画像の解析を行う画像解析手段とを備えた画像処理システムにおいて、
    前記撮像手段は、前記画像の色情報を出力し、
    前記画像解析手段は、前記撮像手段が第１の露光量で撮影した第１の画像と前記第１の露光量よりも露光量の多い第２の露光量で撮影した第２の画像を取得し、前記第１の画像を解析して他の車両から発せられた光点の位置を算出し、前記第１の画像から検出された光点と同一の発光源に起因する光点領域を前記第２の画像から探索し、前記第１の画像から所定の輝度以下の光点を除去し、前記第２の露光量で撮影した画像から赤色以外の光点を除去する、画像処理システム。
  2. 前記画像解析手段は、
    前記第１の画像の水平方向に光点が２つ以上存在する場合には、前記２つの光点の間隔に基づいて他の車両の位置を算出し、
    前記第１の画像の水平方向に光点が１つ存在する場合には、前記撮像手段からの俯角情報に基づいて他の車両の位置を算出する、請求項１記載の画像処理システム。
  3. 前記画像解析手段は、
    前記第１の画像の水平方向に光点が２つ以上存在する場合には、前記２つの光点の間隔から求めた他の車両の位置と１つの光点の俯角情報から求めた他の車両の位置を比較し、
    自車両との距離が短い他の車両の位置を、自車両を制御する制御情報とする、請求項２記載の画像処理システム。
  4. 前記画像解析手段は、前記第１及び第２の画像から、自車両の前方を走行する車両が先行車であるか、対向車であるかを判定する、請求項１乃至３の何れか１項に記載の画像処理システム。
  5. 前記第１の画像は高輝度検出用画像であり、前記第２の画像は低輝度検出用画像であり、
    前記画像解析手段は、前記高輝度検出用画像から対向車両のヘッドライトを検出し、前記低輝度検出用画像から先行車両のテールランプを検出する、請求項４に記載の画像処理システム。
JP2004144788A 2003-08-11 2004-05-14 画像処理システム及び車両制御システム Expired - Lifetime JP4253271B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004144788A JP4253271B2 (ja) 2003-08-11 2004-05-14 画像処理システム及び車両制御システム
EP04019067A EP1513103B1 (en) 2003-08-11 2004-08-11 Image processing system and vehicle control system
US10/915,603 US7512252B2 (en) 2003-08-11 2004-08-11 Image processing system and vehicle control system
DE602004029749T DE602004029749D1 (de) 2003-08-11 2004-08-11 Bildverarbeitungsssystem und Fahrzeugsteuerungssystem
US12/176,744 US7899213B2 (en) 2003-08-11 2008-07-21 Image processing system and vehicle control system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003206997 2003-08-11
JP2004144788A JP4253271B2 (ja) 2003-08-11 2004-05-14 画像処理システム及び車両制御システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004167644A Division JP4253275B2 (ja) 2003-08-11 2004-06-04 車両制御システム

Publications (2)

Publication Number Publication Date
JP2005092857A JP2005092857A (ja) 2005-04-07
JP4253271B2 true JP4253271B2 (ja) 2009-04-08

Family

ID=34137889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004144788A Expired - Lifetime JP4253271B2 (ja) 2003-08-11 2004-05-14 画像処理システム及び車両制御システム

Country Status (4)

Country Link
US (2) US7512252B2 (ja)
EP (1) EP1513103B1 (ja)
JP (1) JP4253271B2 (ja)
DE (1) DE602004029749D1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582131B2 (en) 2015-06-04 2020-03-03 Sony Corporation In-vehicle camera system and image processing apparatus

Families Citing this family (138)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3925488B2 (ja) * 2003-11-11 2007-06-06 日産自動車株式会社 車両用画像処理装置
JP2005301519A (ja) * 2004-04-08 2005-10-27 Toyota Motor Corp 信号機検出装置および信号機検出方法
US7561720B2 (en) * 2004-04-30 2009-07-14 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
JP4391315B2 (ja) 2004-05-10 2009-12-24 浜松ホトニクス株式会社 撮像システムおよび撮像方法
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
US8924078B2 (en) * 2004-11-18 2014-12-30 Gentex Corporation Image acquisition and processing system for vehicle equipment control
US7561721B2 (en) * 2005-02-02 2009-07-14 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US20080094471A1 (en) * 2005-05-20 2008-04-24 Toyota Jidosha Kabushiki Kaisha Image Processor for Vehicles
US20070031008A1 (en) * 2005-08-02 2007-02-08 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
DE102006013474B4 (de) * 2006-03-23 2019-01-31 Siemens Healthcare Gmbh Verfahren zur Echtzeitrekonstruktion und Darstellung eines dreidimensionalen Zielvolumens
EP1837803A3 (en) * 2006-03-24 2008-05-14 MobilEye Technologies, Ltd. Headlight, taillight and streetlight detection
JP4473232B2 (ja) * 2006-04-26 2010-06-02 株式会社日本自動車部品総合研究所 車載用車両前方環境検出装置および車両用照明装置
JP4743037B2 (ja) * 2006-07-28 2011-08-10 株式会社デンソー 車両検出装置
JP4853160B2 (ja) * 2006-08-02 2012-01-11 株式会社デンソー 車両検出装置及びヘッドランプ制御装置
DE102006043433B4 (de) * 2006-08-16 2018-11-15 Daimler Ag Verfahren zur bildgestützten Bestimmung der Fahrtrichtung von Fahrzeugen
JP4697101B2 (ja) * 2006-09-07 2011-06-08 株式会社デンソー 車両検出装置、およびライト制御装置
JP4664883B2 (ja) * 2006-09-13 2011-04-06 パナソニック株式会社 ヘッドライト制御装置
WO2008038370A1 (en) * 2006-09-28 2008-04-03 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
ITMI20070243A1 (it) * 2007-02-09 2008-08-10 Uni Degli Studi Perugia Metodo per la commutazione della posizione dei fari di una vettura
JP4415996B2 (ja) * 2007-02-26 2010-02-17 株式会社日立製作所 車載用画像認識装置及び配光制御装置、並びに配光制御方法
JP4538468B2 (ja) 2007-02-27 2010-09-08 日立オートモティブシステムズ株式会社 画像処理装置，画像処理方法、及び画像処理システム
ES2319033B1 (es) * 2007-03-15 2010-02-03 Seat, S.A. Procedimiento de valoracion de faros.
FR2915719B1 (fr) * 2007-05-04 2015-05-15 Valeo Vision Procede de commande de l'orientation des projecteurs de vehicule
JP2008306373A (ja) * 2007-06-06 2008-12-18 Omron Corp 車両撮像装置
JP4985117B2 (ja) 2007-06-06 2012-07-25 株式会社ニコン 画像処理プログラム、および画像処理装置
JP2009107543A (ja) * 2007-10-31 2009-05-21 Panasonic Corp 車両用照明装置
JP2009132230A (ja) * 2007-11-29 2009-06-18 Omron Corp 前照灯配光制御装置
DE102008005314A1 (de) * 2008-01-21 2009-07-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erfassen eines vorbeifahrenden Fahrzeuges bei Dunkelheit
JP5271571B2 (ja) * 2008-03-13 2013-08-21 株式会社小糸製作所 車両用前照灯装置およびその制御方法
DE102008014630A1 (de) * 2008-03-17 2009-09-24 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Verarbeiten von Bilddaten
JP4775391B2 (ja) * 2008-03-18 2011-09-21 株式会社デンソー 障害物検出装置
JP5071198B2 (ja) * 2008-03-28 2012-11-14 富士通株式会社 信号機認識装置，信号機認識方法および信号機認識プログラム
EP2116421B1 (en) 2008-05-08 2017-11-08 Koito Manufacturing Co., Ltd. Automotive headlamp apparatus
DE102008025458B4 (de) 2008-05-28 2020-03-12 HELLA GmbH & Co. KGaA Verfahren und Vorrichtung zur Kalibrierung einer durch einen Frontscheinwerfer eines Fahrzeugs erzeugten horizontalen Hell-Dunkel-Grenze
DE102008025804A1 (de) * 2008-05-29 2009-12-03 Hella Kgaa Hueck & Co. Verfahren zur Erkennung vorausfahrender Fahrzeuge, insbesondere LKW
US8208022B2 (en) * 2008-06-05 2012-06-26 Lg Electronics Inc. Apparatus and method for removing blooming of camera image
KR101531195B1 (ko) * 2008-06-05 2015-06-25 엘지전자 주식회사 카메라 영상의 블루밍 제거장치 및 방법
US8798314B2 (en) * 2008-07-14 2014-08-05 National Ict Australia Limited Detection of vehicles in images of a night time scene
JP4702426B2 (ja) 2008-10-10 2011-06-15 株式会社デンソー 車両検出装置、車両検出プログラム、およびライト制御装置
JP4666049B2 (ja) 2008-10-17 2011-04-06 株式会社デンソー 光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置
JP5195351B2 (ja) * 2008-11-27 2013-05-08 トヨタ自動車株式会社 車両周辺監視装置
CN101510356B (zh) * 2009-02-24 2011-07-20 上海高德威智能交通系统有限公司 视频检测系统及其数据处理装置、视频检测方法
JP4858574B2 (ja) * 2009-05-19 2012-01-18 トヨタ自動車株式会社 物体検出装置
JP5405207B2 (ja) * 2009-06-25 2014-02-05 株式会社小糸製作所 車両用灯具の配光制御システム
JP5382122B2 (ja) * 2009-07-31 2014-01-08 富士通株式会社 移動体位置検出装置および移動体位置検出方法
JP5412240B2 (ja) 2009-11-04 2014-02-12 ルネサスエレクトロニクス株式会社 画像処理用半導体装置および画像処理装置
JP5462609B2 (ja) * 2009-12-09 2014-04-02 富士重工業株式会社 停止線認識装置
WO2011086807A1 (ja) * 2010-01-14 2011-07-21 本田技研工業株式会社 車両周辺監視装置
US8456327B2 (en) * 2010-02-26 2013-06-04 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
JP5563884B2 (ja) * 2010-05-07 2014-07-30 株式会社小糸製作所 制御装置、車両用灯具システム、車両用灯具
DE102010021944A1 (de) * 2010-05-28 2011-12-01 Hella Kgaa Hueck & Co. Vorrichtung und Verfahren zur Vorausschau eines vor einem Fahrzeug liegenden Streckenverlaufs
JP5601913B2 (ja) * 2010-07-15 2014-10-08 株式会社小糸製作所 車両検出装置
US10046716B2 (en) 2011-02-10 2018-08-14 Denso Corporation In-vehicle camera and vehicle control system
JP5830876B2 (ja) * 2011-02-18 2015-12-09 富士通株式会社 距離算出プログラム、距離算出方法及び距離算出装置
EP2495127B1 (en) * 2011-03-01 2014-07-30 Autoliv Development AB A driver assistance system and method for a motor vehicle
JP5687097B2 (ja) * 2011-03-09 2015-03-18 スタンレー電気株式会社 配光制御システム
DE102011006554A1 (de) * 2011-03-31 2012-10-04 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bereitstellung eines Signals für eine Lichtsteuerungseinheit
WO2012137332A1 (ja) * 2011-04-07 2012-10-11 パイオニア株式会社 移動体の周囲状況検知システム
WO2012140752A1 (ja) * 2011-04-13 2012-10-18 トヨタ自動車株式会社 車載周辺物認識装置及びこれを用いる運転支援装置
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
JP2012240530A (ja) * 2011-05-18 2012-12-10 Koito Mfg Co Ltd 画像処理装置
JP5370413B2 (ja) 2011-06-06 2013-12-18 株式会社デンソー 認識対象検出装置
US9690997B2 (en) 2011-06-06 2017-06-27 Denso Corporation Recognition object detecting apparatus
JP6176028B2 (ja) 2013-09-26 2017-08-09 株式会社デンソー 車両制御システム、画像センサ
DE102011077038A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
JP5936098B2 (ja) * 2011-07-29 2016-06-15 株式会社リコー 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ
DE102011081397A1 (de) * 2011-08-23 2013-02-28 Robert Bosch Gmbh Verfahren zur Schätzung eines Straßenverlaufs und Verfahren zur Steuerung einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs
JP5950196B2 (ja) 2011-08-30 2016-07-13 株式会社リコー 撮像装置、並びに、これを用いる画像解析装置及び移動装置
CN103029621B (zh) * 2011-09-30 2016-04-06 株式会社理光 检测前方车辆的方法及设备
JP5637117B2 (ja) * 2011-10-26 2014-12-10 株式会社デンソー 距離測定装置、および距離測定プログラム
JP5846872B2 (ja) * 2011-11-21 2016-01-20 日立オートモティブシステムズ株式会社 画像処理装置
JP5680573B2 (ja) 2012-01-18 2015-03-04 富士重工業株式会社 車両の走行環境認識装置
US9473437B1 (en) 2012-02-13 2016-10-18 ZapFraud, Inc. Tertiary classification of communications
US9041838B2 (en) 2012-02-14 2015-05-26 Gentex Corporation High dynamic range imager system
JP2013200603A (ja) * 2012-03-23 2013-10-03 Hitachi Automotive Systems Ltd 車載用画像処理装置及び方法
JP5928077B2 (ja) * 2012-03-28 2016-06-01 株式会社デンソー ライト制御装置、およびライト制御プログラム
JP5722266B2 (ja) * 2012-03-30 2015-05-20 日立オートモティブシステムズ株式会社 光点検出装置
JP5772714B2 (ja) * 2012-05-16 2015-09-02 株式会社デンソー 灯火検出装置及び車両制御システム
JP5884635B2 (ja) 2012-05-18 2016-03-15 株式会社デンソー 走行環境検出装置、走行環境検出プログラム、およびライト制御装置
JP5831362B2 (ja) * 2012-05-28 2015-12-09 株式会社デンソー 車両光源検出装置および車両光源検出プログラム
CN102937814B (zh) * 2012-10-30 2015-01-21 浙江中控太阳能技术有限公司 塔式太阳能热发电系统的定日镜精度动态校验方法与系统
US8977007B1 (en) * 2013-04-23 2015-03-10 Google Inc. Detecting a vehicle signal through image differencing and filtering
CN103324936B (zh) * 2013-05-24 2016-05-25 北京理工大学 一种基于多传感器融合的车辆下边界检测方法
US10277628B1 (en) 2013-09-16 2019-04-30 ZapFraud, Inc. Detecting phishing attempts
EP3051518B1 (en) 2013-09-27 2020-12-09 Hitachi Automotive Systems, Ltd. Object detector
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
DE102013222628A1 (de) * 2013-11-07 2015-05-07 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erfassen einer Fehleinstellung einer lichttechnischen Einrichtung eines Fahrzeugs
US10694029B1 (en) 2013-11-07 2020-06-23 Rightquestion, Llc Validating automatic number identification data
JP2015098304A (ja) * 2013-11-20 2015-05-28 スタンレー電気株式会社 車両用灯具の光軸制御装置、車両用前照灯システム
JP6031468B2 (ja) * 2014-04-15 2016-11-24 株式会社豊田中央研究所 照射装置
JP6270624B2 (ja) * 2014-05-22 2018-01-31 株式会社Ｓｕｂａｒｕ 車外環境認識装置
KR102233391B1 (ko) * 2014-06-16 2021-03-29 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR102241324B1 (ko) * 2014-06-17 2021-05-25 (주)엠아이웨어 단안 카메라를 이용한 영상 기반의 전방 추돌 경고 시스템의 거리 추정 방법
JP6219784B2 (ja) * 2014-06-17 2017-10-25 トヨタ自動車株式会社 車両用前照灯装置
US9779314B1 (en) 2014-08-21 2017-10-03 Waymo Llc Vision-based detection and classification of traffic lights
US9305224B1 (en) * 2014-09-29 2016-04-05 Yuan Ze University Method for instant recognition of traffic lights countdown image
JP2016142647A (ja) * 2015-02-03 2016-08-08 クラリオン株式会社 画像処理装置、および車両システム
JP6543050B2 (ja) * 2015-03-06 2019-07-10 株式会社デンソーテン 障害物検出装置および障害物検出方法
WO2016194296A1 (en) 2015-06-04 2016-12-08 Sony Corporation In-vehicle camera system and image processing apparatus
KR101920186B1 (ko) * 2015-07-08 2018-11-19 닛산 지도우샤 가부시키가이샤 등화기 검출 장치 및 등화기 검출 방법
JP6975270B2 (ja) * 2015-12-02 2021-12-01 株式会社Subaru 車外環境認識装置
JP6660162B2 (ja) * 2015-12-02 2020-03-11 株式会社Ｓｕｂａｒｕ 車外環境認識装置
CN105539273A (zh) * 2015-12-09 2016-05-04 合肥工业大学 一种汽车远近光灯自动切换的装置
CN108367703B (zh) * 2015-12-25 2021-02-05 日立汽车系统株式会社 前照灯控制装置
CN105539270A (zh) * 2015-12-29 2016-05-04 深圳华耀车灯科技有限公司 自适应led汽车前照灯
JP6612135B2 (ja) 2016-01-14 2019-11-27 日立オートモティブシステムズ株式会社 車両検出装置および配光制御装置
US10721195B2 (en) 2016-01-26 2020-07-21 ZapFraud, Inc. Detection of business email compromise
JP6645254B2 (ja) * 2016-02-23 2020-02-14 株式会社デンソー 物体認識装置
JP2018031607A (ja) 2016-08-23 2018-03-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、電子装置、および、測距装置の制御方法
US10805314B2 (en) 2017-05-19 2020-10-13 Agari Data, Inc. Using message context to evaluate security of requested data
US10805270B2 (en) 2016-09-26 2020-10-13 Agari Data, Inc. Mitigating communication risk by verifying a sender of a message
US11936604B2 (en) 2016-09-26 2024-03-19 Agari Data, Inc. Multi-level security analysis and intermediate delivery of an electronic message
US10880322B1 (en) 2016-09-26 2020-12-29 Agari Data, Inc. Automated tracking of interaction with a resource of a message
CN106529411B (zh) 2016-10-11 2020-07-28 北京小米移动软件有限公司 车辆提示方法及装置
US10311599B2 (en) * 2016-11-03 2019-06-04 Caterpillar Inc. System and method for diagnosis of lighting system
US11044267B2 (en) 2016-11-30 2021-06-22 Agari Data, Inc. Using a measure of influence of sender in determining a security risk associated with an electronic message
US10715543B2 (en) 2016-11-30 2020-07-14 Agari Data, Inc. Detecting computer security risk based on previously observed communications
US11722513B2 (en) 2016-11-30 2023-08-08 Agari Data, Inc. Using a measure of influence of sender in determining a security risk associated with an electronic message
EP3564072A4 (en) * 2016-12-28 2020-07-08 Koito Manufacturing Co., Ltd. LIGHTING DEVICE
US10614326B2 (en) 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
US10380438B2 (en) 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
JP6930011B2 (ja) * 2017-04-14 2021-09-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および画像処理方法
US11030732B2 (en) 2017-04-14 2021-06-08 Sony Interactive Entertainment Inc. Information processing device, information processing system, and image processing method for generating a sum picture by adding pixel values of multiple pictures
US11019076B1 (en) 2017-04-26 2021-05-25 Agari Data, Inc. Message security assessment using sender identity profiles
US11102244B1 (en) 2017-06-07 2021-08-24 Agari Data, Inc. Automated intelligence gathering
US11757914B1 (en) 2017-06-07 2023-09-12 Agari Data, Inc. Automated responsive message to determine a security risk of a message sender
JP6944310B2 (ja) * 2017-08-23 2021-10-06 スタンレー電気株式会社 特定対象物検出装置
JP7118529B2 (ja) * 2018-03-29 2022-08-16 矢崎総業株式会社 車内監視モジュール、及び、監視システム
JP7070082B2 (ja) * 2018-05-18 2022-05-18 株式会社デンソー 車載カメラ
CN110874921A (zh) 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 智能路侧单元及其信息处理方法
CN109447093B (zh) * 2018-10-26 2021-11-23 上海为森车载传感技术有限公司 基于yuv图像的车尾灯检测方法
JP7260341B2 (ja) * 2019-03-06 2023-04-18 スタンレー電気株式会社 車両用灯具の制御装置、車両用灯具の制御方法、車両用灯具システム
JP7289723B2 (ja) * 2019-05-23 2023-06-12 日立Astemo株式会社 物体認識装置
US11195033B2 (en) 2020-02-27 2021-12-07 Gm Cruise Holdings Llc Multi-modal, multi-technique vehicle signal detection
CN112040207B (zh) * 2020-08-27 2021-12-10 广景视睿科技（深圳）有限公司 一种调整投影画面的方法、装置以及投影设备
CN112906504B (zh) * 2021-01-29 2022-07-12 浙江安谐智能科技有限公司 一种基于双摄像头的夜间车辆远光灯开启状态判别方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796094A (en) 1993-02-26 1998-08-18 Donnelly Corporation Vehicle headlight control using imaging sensor
JPH06276524A (ja) * 1993-03-19 1994-09-30 Toyota Motor Corp 対向車両認識装置
JP3503230B2 (ja) 1994-12-15 2004-03-02 株式会社デンソー 夜間用車両認識装置
JPH08193831A (ja) 1995-01-13 1996-07-30 Nissan Motor Co Ltd 接近車両検出装置
JPH0973529A (ja) 1995-07-05 1997-03-18 Suzuki Motor Corp 二輪車監視装置
JP3651860B2 (ja) 1995-07-27 2005-05-25 株式会社日立国際電気 撮像表示装置
US5837994C1 (en) 1997-04-02 2001-10-16 Gentex Corp Control system to automatically dim vehicle head lamps
US6631316B2 (en) * 2001-03-05 2003-10-07 Gentex Corporation Image processing system to control vehicle headlamps or other vehicle equipment
US6611610B1 (en) * 1997-04-02 2003-08-26 Gentex Corporation Vehicle lamp control
US6049171A (en) * 1998-09-18 2000-04-11 Gentex Corporation Continuously variable headlamp control
JP2000137899A (ja) 1998-11-04 2000-05-16 Fuji Electric Co Ltd 車間距離測定装置
JP2000217100A (ja) 1999-01-25 2000-08-04 Matsushita Electric Ind Co Ltd 車載カメラシステム
JP4119041B2 (ja) 1999-06-23 2008-07-16 松下電器産業株式会社 色情報を用いた車両検出装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582131B2 (en) 2015-06-04 2020-03-03 Sony Corporation In-vehicle camera system and image processing apparatus
US11089229B2 (en) 2015-06-04 2021-08-10 Sony Group Corporation In-vehicle camera system and image processing apparatus
US11539894B2 (en) 2015-06-04 2022-12-27 Sony Group Corporation In-vehicle camera system and image processing apparatus

Also Published As

Publication number Publication date
US7899213B2 (en) 2011-03-01
EP1513103B1 (en) 2010-10-27
JP2005092857A (ja) 2005-04-07
DE602004029749D1 (de) 2010-12-09
EP1513103A3 (en) 2006-02-08
US7512252B2 (en) 2009-03-31
US20050036660A1 (en) 2005-02-17
US20080278577A1 (en) 2008-11-13
EP1513103A2 (en) 2005-03-09

Similar Documents

Publication Publication Date Title
JP4253271B2 (ja) 画像処理システム及び車両制御システム
JP4253275B2 (ja) 車両制御システム
JP5617999B2 (ja) 車載周辺物認識装置及びこれを用いる運転支援装置
US10442343B2 (en) Vehicle exterior environment recognition apparatus
JP5680573B2 (ja) 車両の走行環境認識装置
EP3588939B1 (en) Bundling night vision and other driver assistance systems (das) using near infra red (nir) illumination and a rolling shutter
JP5409929B2 (ja) 車両用ヘッドライト装置の制御方法およびヘッドライト装置
US20170144585A1 (en) Vehicle exterior environment recognition apparatus
US9042600B2 (en) Vehicle detection apparatus
JP5313638B2 (ja) 車両用前照灯装置
JP2012240530A (ja) 画像処理装置
US9616805B2 (en) Method and device for controlling a headlamp of a vehicle
JP2008211410A (ja) 車載用画像認識装置及び配光制御装置、並びに配光制御方法
JP2004104646A (ja) 車載用画像処理装置
JP2008207677A (ja) 画像処理装置，画像処理方法、及び画像処理システム
JP5361901B2 (ja) 前照灯制御装置
JP2009061812A (ja) 配光等の自動車の制御装置
JP4007578B2 (ja) 前照灯照射範囲制御方法及び前照灯装置
JP5643877B2 (ja) 車両用前照灯装置
JP7084223B2 (ja) 画像処理装置および車両用灯具
JP6335065B2 (ja) 車外環境認識装置
JP6853890B2 (ja) 物体検出システム
WO2019159764A1 (ja) 車載カメラシステム、車両用灯具
JP5803650B2 (ja) 物体判別装置、車両用前照灯装置、車両、物体判別方法
WO2022130866A1 (ja) 配光制御システム及びセンシングシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090123

R151 Written notification of patent or utility model registration

Ref document number: 4253271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120130

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120130

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120130

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130130

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250