JP5361901B2 - 前照灯制御装置 - Google Patents

前照灯制御装置 Download PDF

Info

Publication number
JP5361901B2
JP5361901B2 JP2010535619A JP2010535619A JP5361901B2 JP 5361901 B2 JP5361901 B2 JP 5361901B2 JP 2010535619 A JP2010535619 A JP 2010535619A JP 2010535619 A JP2010535619 A JP 2010535619A JP 5361901 B2 JP5361901 B2 JP 5361901B2
Authority
JP
Japan
Prior art keywords
vehicle
attribute
road
optical flow
light distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010535619A
Other languages
English (en)
Other versions
JPWO2010050095A1 (ja
Inventor
正自 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Priority to JP2010535619A priority Critical patent/JP5361901B2/ja
Publication of JPWO2010050095A1 publication Critical patent/JPWO2010050095A1/ja
Application granted granted Critical
Publication of JP5361901B2 publication Critical patent/JP5361901B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10Indexing codes relating to particular vehicle conditions
    • B60Q2300/11Linear movements of the vehicle
    • B60Q2300/112Vehicle speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/10Indexing codes relating to particular vehicle conditions
    • B60Q2300/12Steering parameters
    • B60Q2300/122Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30Indexing codes relating to the vehicle environment
    • B60Q2300/32Road surface or travel path
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/41Indexing codes relating to other road users or special conditions preceding vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/42Indexing codes relating to other road users or special conditions oncoming vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/45Special conditions, e.g. pedestrians, road signs or potential dangers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Image Analysis (AREA)

Description

本発明は、自動車の前照灯ユニットを制御する前照灯制御装置に関する。
近年、車両に搭載されたカメラにより取得された周囲の画像情報に基づいて周囲の環境や物体を判別し、その環境や物体に応じた車両制御を行うことが種々試みられている。例えば、特許文献1〜4には、車両に取り付けたカメラによって車両後方の画像を取得し、その画像データを画像処理することにより車両後方を走行する他の車両などの移動物体を検出する車両用後側方監視装置が開示されている。このような監視装置では、後方から接近する他の車両などの移動物体を検出する画像処理方法として、オプティカルフローが用いられている。
特開2000−11298号公報 特開2000−251080号公報 特開2001−21345号公報 特開2002−104113号公報
ところで、従来、車両前方の視認性を向上させるために様々な構成の車両用前照灯装置が考案されている。例えば、前走車の有無によりロービームとハイビームとを切り替えたり、ハンドル舵角や車速に応じてヘッドランプの光軸をスイブルしたりすることが可能な装置が考案されている。
一方、このような車両用前照灯装置において、視認性や安全性を向上させるために最適な配光制御は、前方の状況に応じて刻々と変化する。そのため、特に車両前方に存在する物体がどのような属性を持つものかを精度良く判別する必要がある。
本発明はこうした状況に鑑みてなされたものであり、その目的は、自車両の前方に存在する物体を精度良く判別することで適切な配光制御が可能な技術を提供することにある。
上記課題を解決するために、本発明のある態様の前照灯制御装置は、取得した車両前方の撮像画像の輝度情報に基づいて、発光体又は光反射体として車両前方に存在する物体のオプティカルフローを算出するオプティカルフロー算出手段と、オプティカルフローに基づいて物体の属性を判別する属性判別手段と、物体の属性に基づいて車両に設けられている前照灯ユニットの配光を制御する配光制御手段と、を備える。
この態様によると、取得した撮像画像に基づいて物体を判別することができるため、ドライバに特段の操作負担をかけることなく物体の属性に応じた適切な配光制御が可能となる。
車両前方の道路形状を推定する道路形状推定手段を更に備えてもよい。属性判別手段は、物体のオプティカルフローおよび道路形状に基づいて、物体の属性を判別してもよい。これにより、道路形状が曲線路や屈曲路であっても物体の属性を精度良く判別することができる。
属性判別手段は、物体のオプティカルフローから推定される自車両と物体との相対速度と、自車両の速度とを比較することで該物体の属性を判別してもよい。これにより、物体の属性を更に詳細に判別することができるため、より適切な配光制御が可能となる。
属性判別手段は、相対速度と自車両の速度とを比較することで、物体の属性が道路に対する固定物であるか移動体であるかを判別してもよい。これにより、例えば、物体との相対速度が自車両の速度とほぼ等しい場合には、その物体が道路照明やデリニエータなどの固定物であると判別し、物体との相対速度が自車両の速度と異なる場合には、その物体が対向車や先行車などの移動体であると判別することができる。
属性判別手段は、物体のオプティカルフローが撮像画像の上下方向のどこに存在するかによって、該物体の属性が道路照明であるかデリニエータであるかを判別してもよい。通常、道路照明やデリニエータはその設置位置がある程度定まっており、例えば、道路照明は水平線より上方、デリニエータは水平線より下方に位置する場合が多い。そのため、物体のオプティカルフローが撮像画像の上下方向のどこに存在するかによってこれらを判別することができる。
道路形状推定手段は、車両前方の撮像画像に対する高速フーリエ変換によるテクスチャ解析によって道路の路肩位置を推定してもよい。これにより、例えば、レーンマークがない路面であっても、路面と路肩部との判別が可能となり、例えば、路面に対する物体のオプティカルフローの位置が精度良く算出可能となるため、物体の属性を精度良く判別することができる。
本発明によれば、車両前方に存在する物体の属性に応じた適切な配光制御が可能となる。
高速道路の直線路における消失点とオプティカルフローの関係を模式的に示した図である。 本実施の形態に係る車両用前照灯装置を適用した車両の外観を示す概略図である。 本実施の形態に係る車両用前照灯装置の概略構成を示すブロック図である。 本実施の形態に係る物体属性判別処理を含む配光制御方法を示すフローチャートである。 輝度と画像濃度Dとの関係を示すグラフの一例を示す図である。 路肩および路面の模様を模式的に示すとともに、両者の画像をテクスチャ解析した結果を示す図である。 図7(a)は、直線路(実線)に対して左右にカーブしている曲路(点線)を示す図であり、図7(b)は、直線路(実線)に対して上り下りしている曲路(点線)を示す図であり、図7(c)は、図7(b)の曲路を車両が走行中の様子を側方から見た模式図である。 物体属性判別処理を行う車両前方の撮像画像における物体の位置関係を模式的に示した図である。 本実施の形態に係る物体判別方法を示すフローチャートである。
車両などの前照灯ユニット(ヘッドライト)の配光を、その車両が走行する環境や路面状況、周囲の車両等に応じて制御することは種々考案されている。しかしながら、車両前方に存在する物体は様々であり、対向車や先行車のようにグレアを考慮した配光制御が必要な物体や、道路照明やデリニエータ(視線誘導標)のようにグレアを考慮せずに自車両にとって最適な配光制御を行えばよい物体もある。そこで、本発明者は、車両前方に存在する物体の属性に応じて予想される適切な配光制御を簡易な構成で実現すべく本願発明に想到した
このような前照灯ユニットの配光制御を実現するためには、自車両の前方を走行する前走車(対向車や先行車)のような発光体や道路照明、デリニエータのような光反射体を検知するセンサを用いることが好ましい。加えて、物体として検知した発光体や光反射体の属性を特定する機能があることがより好ましい。ここで、属性とは、例えば、前方の発光体や光反射体が前走車であるか道路付属施設等であるかを区別するものである。より詳細には、発光体等が車両であれば先行車であるか対向車であるか、発光体等が道路付属施設等であれば道路照明であるか、デリニエータであるか、その他の発光施設(例えば、店舗照明、広告等)であるか、交通信号であるかを区別するものである。
そして、以下で述べる実施の形態では、上述した物体の属性の判別をより簡易な構成の装置、具体的には単眼カメラの画像センサにより実現している。また、このような簡易な装置構成に加えて、以下の手法(詳細は後述)を採用することで物体の属性の判別精度を向上している。具体的には、(a)オプティカルフローの活用による移動物体の属性判別、(b)(a)に加えて道路区域設定および光点列の活用による路上物体(固定物)の属性判別、(c)道路の消失点の活用による路上物体の属性判別精度の向上、である。
また、発光体や光反射体(以下、適宜「発光体等」と称する)の属性の他に、自車両から発光体等までのおおよその距離と、その発光体等の輝度(明るさ)の情報を算出し利用することで更に物体の属性の判別精度を向上することもできる。この場合、自車両と発光体等との距離の測定には、レーザレーダやミリ波レーダを用いてもよい。また、輝度の測定に照度計を用いてもよい。
(オプティカルフローの活用)
画像センサ(カメラ)と路上物体の相対位置関係が変化する場合、連続した撮像画像において物体の像は流れる。このような現象をオプティカルフロー(以下、適宜「OF」と称する)という。OFは、自車両と物体との相対距離が近いほど、また、相対速度差が大きいほど、大きくなる。例えば、自車両が停車中の場合、移動物体に応じたOFが発生する。また、自車両が走行中の場合、道路照明やデリニエータ等の路上固定物に応じたOFが発生するとともに、自車両と速度の異なる前走車に応じたOFが発生する。そこで、OFの大きさに基づいて自車両前方の物体の属性が道路に対する移動物体か固定物かを判別することができる。
(道路消失点の活用)
図1は、高速道路の直線路における消失点とオプティカルフローの関係を模式的に示した図である。図1に示すように、直線路においては消失点が存在する。ここで、消失点とは、絵画の遠近法における収束点として定義することができる。消失点は、レーンマーク、路側帯、中央分離帯、規則的な配置で設置された道路付属施設(道路照明、デリニエータ)等の無限遠点となる。なお、道路形状(例えばカーブ)や前走車の存在などで無限遠点が求められない場合、それらの物体の近景における配置を無限遠まで延長し、それらの交点を画面上で推測することにより仮の消失点とすることも可能である。なお、消失点は
曲路(左右カーブだけではなく、道路のアップダウン)では算出することが困難であるが、左右方向の屈折路では算出可能である。また、自車両が車線変更などで道路の幅方向に移動する場合、それに伴って消失点も移動する。
(道路区域の設定と交点列の活用)
車両前方のレーンマーク、路側帯、中央分離帯などの画像データを解析することで、自車線や対向車線等の道路区域を決定できる。道路照明やデリニエータ等の道路付属施設は道路上に規則的に設置されているため、道路区域が決定されることで、夜間において発光体等がどのような物体かがより精度良く判別できる。具体的には、夜間において発光体等の光輝点や光点列が道路区域に対してどの位置(例えば、自車線か対向車線か路肩か)に存在するか、および前述のOFがどうなっているか、を考慮することで発光体等の属性が道路照明か、デリニエータか、先行車か、対向車かが判別可能となる。
以下、図面を参照しながら、本発明を実施するための最良の形態について詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を適宜省略する。
図2は、本実施の形態に係る車両用前照灯装置を適用した車両の外観を示す概略図である。図1に示すように、本実施の形態に係る車両10は、前照灯装置12と、前照灯装置12による光の照射を制御する前照灯制御装置としての制御システム14と、車両10の走行状況を示す情報を検出してその検出信号を制御システム14へ出力する各種センサと、車両前方を監視する前方監視カメラ16と、GPS衛星からの軌道信号を受信して制御システム14へ出力するアンテナ18と、を備える。
各種センサとしては、例えば、ステアリングホイール20の操舵角を検出するステアリングセンサ22と、車両10の車速を検出する車速センサ24と、自車両の周囲の照度を検出する照度センサ26とが設けられており、これらのセンサ22,24,26が前述の制御システム14に接続されている。
本発明に適用できる前照灯装置としては、照射する光の配光を前方に存在する物体の属性に応じて変化させることができる構成であれば特に限定されない。例えば、ハロゲンランプやガスディスチャージヘッドランプ、LEDを用いたヘッドランプを採用することができる。本実施の形態では、ランプをスイブルできる方式を例として説明する。
前照灯装置12は、左右一対の前照灯ユニット12R,12Lを有する。前照灯ユニット12R,12Lは、内部構造が左右対称であるほかは互いに同じ構成であり、右側のランプハウジング内にロービーム用灯具ユニット28Rおよびハイビーム用灯具ユニット30Rが、左側のランプハウジング内にロービーム用灯具ユニット28Lおよびハイビーム用灯具ユニット30Lがそれぞれ配置されている。
制御システム14は、入力された各種センサの各出力に基づいて車両の前部の左右にそれぞれ装備されたスイブル可能な前照灯ユニット12R,12L、すなわち照射方向を左右上下方向に偏向制御してその配光特性を変化することが可能な前照灯装置12を制御する。このようなスイブル可能な前照灯ユニット12R,12Lとしては、例えば前照灯ユニット内に設けられているリフレクタやプロジェクタランプを水平方向に回動可能な構成として駆動モータ等の駆動力源によって回転駆動する回転駆動手段を備えたものがある。この種のAFS(Adaptive Front-Lighting System)によれば、自動車がカーブした道路を走行する際には、自動車の走行速度に対応してカーブ先の道路を照明することが可能になり、走行安全性を高める上で有効である。
(車両用前照灯装置)
次に、本実施の形態に係る車両用前照灯装置について説明する。図3は、本実施の形態に係る車両用前照灯装置110の概略構成を示すブロック図である。車両用前照灯装置110は、前照灯ユニット12R,12Lと、前照灯ユニット12R,12Lによる光の照射を制御する制御システム14とを備える。そして、車両用前照灯装置110は、制御システム14において車両前方に存在する物体の属性を判別し、その物体の属性に基づいて配光制御条件を決定し、決定された配光制御条件に基づいて前照灯ユニット12R,12Lによる光の照射を制御する。
そこで、本実施の形態に係る制御システム14には、ドライバの視対象を含む車両前方の撮像画像を取得するための前方監視カメラ16が接続されている。また、車両の走行状態を判断する際に参照される、操舵情報や車速を検出するためのステアリングセンサ22や車速センサ24、照度センサ26が接続されている。照度センサ26としては、例えば、対向車や人工光源(道路照明や店舗照明)から受けた光の鉛直面照度(人工光源によるグレア量)を計測できるように受光面を鉛直に設置したものや、走行環境や車両上方から受けた光の水平面照度を計測できるように受光面を水平に設置したものが用いられる。
(制御システム)
制御システム14は、画像処理ECU32と、配光制御ECU34と、GPSナビゲーションECU36と、車内LAN制御ECU38とを備える。各種ECUおよび各種車載センサは、車内LANバス40により接続されデータの送受信が可能になっている。画像処理ECU32は、前方監視カメラ16により取得された撮像画像のデータや各種車載センサに基づいて前方に存在する物体の属性を判別する。なお、画像処理ECU32内部は各部が高速バス42で接続されている。配光制御ECU34は、画像処理ECU32および各種車載センサの情報に基づいて、車両が置かれている走行環境に適した配光制御条件を決定し、その制御信号を前照灯ユニット12R,12Lに出力する。
前照灯ユニット12R,12Lは、配光制御ECU34から出力された制御信号が光学部品の駆動装置や光源の点灯制御回路に入力されることで、配光が制御される。前方監視カメラ16は、CCDやCMOSなどの画像センサを備えた単眼カメラであり、その画像データから運転に必要な道路線形情報、道路付属施設、対向車・先行車の存在状況や位置の情報などを、必要であれば他のレーダセンサなどと協調して取得する。
図4は、本実施の形態に係る物体属性判別処理を含む配光制御方法を示すフローチャートである。物体属性の判別は、主に図3に示す画像処理ECU32で実行され、配光制御は、主に配光制御ECU34で実行される。
所定のタイミングで処理が開始されると、各種車載センサ(ステアリングセンサ22、車速センサ24、照度センサ26)から出力されたデータが車内LANバス40を介して外部データ入力手段44で取得される(S10)。また、前方監視カメラ16で撮像した撮像画像の画像データが画像データ取得手段46で取得される(S12)。なお、前方監視カメラ16から出力される画像データは、モノクロ画像に対応していてもよいしカラー画像に対応していてもよい。
取得された画像データは、画像データ蓄積手段48においてRAMなどの記憶手段に一時的に記憶される(S14)。画像解析手段50は、画像データに含まれている濃度データに対して差分や微分、更にはSOBEL演算を施すことにより周辺と濃度の異なる物体(例えば、ヘッドライトや道路照明などの発光体や、レーンマークやデリニエータなどの光反射体)の輪郭を抽出する、エッジ処理を行う(S18)。なお、エッジ処理の方法はこれらに限られず、公知の方法を適宜変形させて用いてもよい。
次に、濃度輝度変換手段52において画像の濃度データが輝度(明るさ)データに変換される(S20)。画像データの輝度への変換は、露光条件(撮像条件)下における画像濃度と車両前方の範囲の輝度との関係を求めておけば、露光条件を勘案して求めることができる。図5は、輝度と画像濃度Dとの関係を示すグラフの一例を示す図である。
画像解析手段50は、エッジ処理により輪郭が抽出された物体にレーンマーク(区画線)が存在しているか判定する(S22)。区画線がない場合、そのままでは路肩位置が求められない。そこで、区画線がないと判定された場合(S22のNo)、画像データに基づいてテクスチャ解析が行われる(S24)。テクスチャ解析とは、例えば規則的な濃淡変化を表す模様を数値化することであり、通常、路面と路肩の画像データを周波数(FFT)解析すると異なる周波数特性が得られる。
図6は、路肩および路面の模様を模式的に示すとともに、両者の画像をテクスチャ解析した結果を示す図である。図に示すように、路面の画像は肌理が細かいため周波数の高い成分が多いが、草木や道路構築物の存在する路肩の画像は周波数成分が幅広く存在する。そこで、画像データの所定の領域の解析結果を、例えば、予め記憶されている路面の画像の周波数成分の分布と比較することで、区画線が存在しない場合であっても路肩位置が検出可能となる。つまり、路面に対応する周波数特性から異なる周波数特性に変化する位置が路肩位置として推定される。
画像解析手段50は、上述の区画線の検出あるいはテクスチャ解析を含む画像解析結果から、道路の車線幅、路肩位置、道路の形状、消失点の位置など道路の形状と相関のある情報を算出し、道路形状を推定する(S26)。図7(a)は、直線路(実線)に対して左右にカーブしている曲路(点線)を示す図であり、図7(b)は、直線路(実線)に対して上り下りしている曲路(点線)を示す図であり、図7(c)は、図7(b)の曲路を車両が走行中の様子を側方から見た模式図である。なお、雨天のように区画線が検出不能な場合や、道路の形状が曲路(左右カーブや上り下り)の場合には、図7に示すように、消失点を算出することができない。そこで、このような場合には、舵角データやGPSからのデータに基づいて、仮想の消失点を算出してもよい。なお、本実施の形態では、画像解析手段50が道路形状推定手段として機能する。
道路形状が推定された後、光輝物体、例えば発光体や光反射体の位置を検出する。具体的には、光輝物体検出手段54は、S20の処理における濃度輝度変換で所定の輝度(例えば、レーンマークに対応する輝度)以上の物体を光輝物体として抽出し、その位置を検出する(S28)。
次に、動画のように時系列で連続的に取得される画像データの解析により光輝物体の属性を判定する。はじめに、前回の画像解析処理において内部メモリ56に記憶された光輝物体の位置や物体の候補などの画像特性のデータと、現在の画像特性のデータとがOF算出手段58により取得される(S30)。
OF算出手段58は、異なる時間に取得した複数の撮像画像の画像特性データに基づいて、各光輝物体にOFが発生しているか否かを検出する(S32)。具体的には、OF算出手段58は、取得した車両前方の撮像画像の輝度データに基づいて、発光体又は光反射体として車両前方に存在する光輝物体のOFを算出する。そして、物体属性判別手段60は、OF算出手段58により算出されたOFに基づいて物体の属性を判別する(S34)。なお、S34における物体属性判別方法については後述する。
物体の属性が判別されると、現在の画像特性データが内部メモリ56に記憶される(S36)。具体的には、OF検出のために必要な光輝物体の位置、属性、OFのベクトルなどである。このデータは次回の画像処理におけるOFの算出に用いられる。
物体属性判別手段60により判別された各物体の属性データや道路形状などのデータが内部データ出力手段62から出力される(S38)。出力されたデータは車内LANバス40を介して配光制御ECU34に入力され、そのデータに含まれる物体の属性や自車両の走行状態、天候条件などに基づいて配光制御条件が決定される(S40)。そして、配光制御ECU34は、決定された配光制御条件に基づいて前照灯ユニット12R,12L内に設けられている光源や駆動源へ制御信号を出力し配光を制御する(S42)。
(物体属性判別方法)
次に、物体属性判別処理を行うステップS34について詳述する。図8は、物体属性判別処理を行う車両前方の撮像画像における物体の位置関係を模式的に示した図である。図8に示すように、道路上を走行中の車両の前方には様々な物体が存在する。そのような状況下において夜間を走行中の車両の前方監視カメラ16が光輝物体として識別する物体としては、以下のものがある。
はじめに、夜間において走行中の対向車70のHL(ヘッドライト)、先行車のTL(テールライト)が挙げられる。このようなライトは通常左右一対のペアライトとして存在するとともに、図8に示す水平線Hより下方に位置する。また、OFの大きさは物体が先行車の場合に小さくなり、対向車の場合に大きくなる。
次に、道路照明72やデリニエータが挙げられる。これらの固定物は、通常設置基準が規定されており、例えば道路照明は路面より5m以上、つまり水平線Hより上方に存在する(図8参照)。一方、デリニエータ(図8では不図示)は、ガードレール上端部に設置されており、水平線Hより下方に存在する。また、OFの大きさは物体が固定物であれば自車両の車速および物体と自車両との距離に応じた値となる。
上述の物体以外にも、店舗照明、広告ネオンサイン、カーブサインなどが光輝物体として検出されうる。店舗照明や広告ネオンサインは、ランダムに存在する固定物体であり、道路照明やデリニエータのように配置されている位置に規則性がないため、この点を考慮した画像解析をすることで道路照明等の固定物と判別することができる。また、カーブサインは、その設置位置がデリニエータとほぼ同じ高さであるためデリニエータとの弁別は困難であるが、カーブサインをデリニエータと誤認しても配光制御に与える影響はないため、画像解析において特段の考慮は必要とされない。
本実施の形態に係る物体判別方法は、以上のような物体の存在を前提に行われる。図9は、本実施の形態に係る物体判別方法を示すフローチャートである。まず、物体属性判別手段60は、検出されたOFに基づいて光輝物体の位置やOFのベクトルを算出する(S100)。次に、物体属性判別手段60は、OFベクトルや前述の消失点の情報に基づいて物体の相対速度V1を算出する(S102)とともに、車速センサからその時の自車両速度V2を検出する(S104)。
相対速度V1と自車両速度V2とが画像解析における算出誤差やセンサの検出誤差を考慮しても実質的に等しい場合(S106のYes)、物体は固定物と判別される(S108)。物体属性判別手段60は、更に物体が存在する位置が水平線より上方か否かを判定(S110)し、物体の位置が水平線より上方の場合(S110のYes)はその物体は道路照明であると判別し(S112)、物体の位置が水平線より下方の場合(S110のNo)はその物体はデリニエータであると判別する(S114)。
物体に対する相対速度V1と自車両速度V2とが異なる場合(S106のNo)、物体は固定物ではなく移動体であると推測される。そこで、物体が自車両に近付く場合の相対速度V1を正として、相対速度V1が自車両速度V2より大きいか否かが判定される(S116)。物体属性判別手段60は、相対速度V1が自車両速度V2より大きい場合(S116のYes)はその物体は対向車であると判別し(S118)、相対速度V1が自車両速度V2より小さい場合(S118のNo)はその物体は先行車であると判別する(S120)。
その後、判別された物体の属性は物体毎に記憶され(S122)、画像データにおける全ての物体の判別が終了しているかが判定される(S124)。全ての物体が判別されていない場合(S124のNo)、S100の処理に戻る。全ての物体が判別されている場合(S124のYes)、一連の処理を一度終了する。
なお、OFベクトルや物体の位置の情報に基づく上述の物体判別処理において、ステップS26で算出された道路形状の情報や、GPSナビゲーションECU36から取得した現在走行している道路の特性情報(高速道路などの道路種別、車線数、市街地か郊外か、など)を加味することで、店舗照明、広告ネオンサイン、カーブサインなどの判別精度が向上する。
また、前方監視カメラ16は、光輝物体の色の判別が可能なカラーカメラであるとよい。このようなカラーカメラであれば、センサの光輝物体の位置に対応するR(赤)素子とB(青)素子の出力比を算出することで、ノイズ光の多い市街地における先行車、対向車、交通信号、道路照明、店舗照明などの判別がし易くなる。
また、画像データのうち、テールライトTL(先行車、赤色)の位置に対応するセンサのR素子とB素子の出力比R/B(TL)と、ヘッドライトHL(対向車、白色)の位置に対応するセンサR素子とB素子の出力比R/B(HL)とを比較すると、R/B(TL)>>R/B(HL)の関係がある。そこで、各色の光に対するR/Bを実験やシミュレーションで事前に求めておくことで、先行車と対向車との判別精度の向上が可能となる。特に、先行車と対向車の位置が交錯しやすい曲路においての判別精度の向上に寄与する。
上述したように、本実施の形態に係る制御システム14は、取得した撮像画像に基づいて物体を判別することができるため、ドライバに特段の操作負担をかけることなく物体の属性に応じた適切な配光制御が可能となる。配光制御ECU34は、画像処理ECU32から取得したデータに基づいて、例えば、車両前方に光輝物体が存在していないと判断する場合には自動的に前照灯ユニットの配光をハイビームにするとともに、光輝物体として対向車や先行車が存在していると判断する場合には自動的に前照灯ユニットの配光をロービームにするというような配光制御が可能となる。
また、配光制御ECU34は、従来では対向車や先行車と判別できなかった道路照明やデリニエータしか存在しないと判断した場合には、前照灯ユニットの配光をハイビームの状態に維持することで、前照灯ユニットの照明能力をより有効に活用することができる。
また、画像処理ECU32は、車両前方の道路形状を推定する画像解析手段50を備えているため、物体のOFおよび道路形状に基づいて、物体の属性を判別することが可能となり、道路形状が曲線路や屈曲路であっても物体の属性を精度良く判別することができる。
また、物体属性判別手段60は、物体のOFから推定される自車両と物体との相対速度V1と、自車両速度V2とを比較することでその物体の属性を判別することができるため、物体の属性を更に詳細に判別することができるため、より適切な配光制御が可能となる。
具体的には、相対速度V1と自車両速度V2とを比較することで、物体の属性が道路に対する固定物であるか移動体であるかが判別される。これにより、物体属性判別手段60は、例えば、物体との相対速度V1がほぼ自車両速度V2とほぼ等しい場合には、その物体が道路照明やデリニエータなどの固定物であると判別し、物体との相対速度V1が自車両速度V2と異なる場合には、その物体が対向車や先行車などの移動体であると判別することができる。
また、物体属性判別手段60は、物体の位置やOFが撮像画像の上下方向のどこに存在するかによって、その物体の属性が道路照明であるかデリニエータであるかを判別することができる。
また、画像解析手段50は、車両前方の撮像画像に対する高速フーリエ変換によるテクスチャ解析によって道路の路肩位置を推定することができるため、例えば、レーンマークがない路面であっても、路面と路肩部との判別が可能となり、このような路面を走行中の車両が備える制御システム14であっても物体の属性を精度良く判別することができる。
本実施の形態に係る前照灯制御装置としての制御システム14およびそれを備えた車両用前照灯装置110によれば、特に夜間の交通視環境(照明状況、対向車状況)に応じて詳細な配光制御が可能となり、交通事故防止に貢献できる。また、本実施の形態に係る制御システム14は、複数のカメラ用いたり複雑な機構のカメラを用いたりせずに、単眼カメラを用いることで光輝物体の属性を判別することができるため、システム全体のコストの低減が可能となる。
以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、実施の形態の構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。また、当業者の知識に基づいて実施の形態における組合せや処理の順番を適宜組み替えることや各種の設計変更等の変形を実施の形態に対して加えることも可能であり、そのような変形が加えられた実施の形態も本発明の範囲に含まれうる。
10 車両、 12 前照灯装置、 14 制御システム、 16 前方監視カメラ、 18 アンテナ、 22 ステアリングセンサ、 24 車速センサ、 26 照度センサ、 32 画像処理ECU、 34 配光制御ECU、 36 GPSナビゲーションECU、 38 車内LAN制御ECU、 40 車内LANバス、 42 高速バス、 44 外部データ入力手段、 46 画像データ取得手段、 48 画像データ蓄積手段、 50 画像解析手段、 52 濃度輝度変換手段、 54 光輝物体検出手段、 56 内部メモリ、 58 OF算出手段、 60 物体属性判別手段、 62 内部データ出力手段、 110 車両用前照灯装置。

Claims (6)

  1. 取得した車両前方の撮像画像の輝度情報に基づいて、発光体又は光反射体として車両前方に存在する物体のオプティカルフローを算出するオプティカルフロー算出手段と、
    前記オプティカルフローに基づいて前記物体の属性を判別する属性判別手段と、
    前記物体の属性に基づいて車両に設けられている前照灯ユニットの配光を制御する配光制御手段と、を備え
    前記属性判別手段は、
    前記物体のオプティカルフローから推定される自車両と物体との相対速度と、自車両の速度とを比較することで該物体の属性を判別し、
    前記物体のオプティカルフローが撮像画像の上下方向のどこに存在するかによって、該物体の属性が道路照明であるかデリニエータであるかを判別することを特徴とする前照灯制御装置。
  2. 車両前方の道路形状を推定する道路形状推定手段を更に備え、
    前記属性判別手段は、前記物体のオプティカルフローおよび前記道路形状に基づいて、前記物体の属性を判別することを特徴とする請求項1に記載の前照灯制御装置。
  3. 前記道路形状推定手段は、道路の消失点を推定し、
    前記属性判別手段は、前記物体と推定された消失点との相対位置に基づいて該物体の属性が道路照明であるかデリニエータであるかを判別することを特徴とする請求項2に記載の前照灯制御装置。
  4. 前記属性判別手段は、前記相対速度と自車両の速度とを比較することで、前記物体の属性が道路に対する固定物であるか移動体であるかを判別することを特徴とする請求項1乃至3のいずれか1項に記載の前照灯制御装置。
  5. 取得した車両前方の撮像画像の輝度情報に基づいて、発光体又は光反射体として車両前方に存在する物体のオプティカルフローを算出するオプティカルフロー算出手段と、
    前記オプティカルフローに基づいて前記物体の属性を判別する属性判別手段と、
    前記物体の属性に基づいて車両に設けられている前照灯ユニットの配光を制御する配光制御手段と、
    車両前方の道路形状を推定する道路形状推定手段と、を備え、
    前記属性判別手段は、前記物体のオプティカルフローおよび前記道路形状に基づいて、前記物体の属性を判別し、
    前記道路形状推定手段は、車両前方の撮像画像に対するテクスチャ解析によって道路の路肩位置を推定することを特徴とする前照灯制御装置。
  6. 前記道路形状推定手段は、高速フーリエ変換によるテクスチャ解析を行うことを特徴とする請求項5に記載の前照灯制御装置。
JP2010535619A 2008-10-31 2009-07-21 前照灯制御装置 Expired - Fee Related JP5361901B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010535619A JP5361901B2 (ja) 2008-10-31 2009-07-21 前照灯制御装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008281973 2008-10-31
JP2008281973 2008-10-31
PCT/JP2009/003409 WO2010050095A1 (ja) 2008-10-31 2009-07-21 前照灯制御装置
JP2010535619A JP5361901B2 (ja) 2008-10-31 2009-07-21 前照灯制御装置

Publications (2)

Publication Number Publication Date
JPWO2010050095A1 JPWO2010050095A1 (ja) 2012-03-29
JP5361901B2 true JP5361901B2 (ja) 2013-12-04

Family

ID=42128469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010535619A Expired - Fee Related JP5361901B2 (ja) 2008-10-31 2009-07-21 前照灯制御装置

Country Status (3)

Country Link
EP (1) EP2347931B1 (ja)
JP (1) JP5361901B2 (ja)
WO (1) WO2010050095A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011253222A (ja) * 2010-05-31 2011-12-15 Denso Corp 前方領域検出装置及び車両制御装置
JP5612915B2 (ja) * 2010-06-18 2014-10-22 東芝アルパイン・オートモティブテクノロジー株式会社 移動体検出装置及び移動体検出方法
JP5537491B2 (ja) * 2011-05-12 2014-07-02 富士重工業株式会社 環境認識装置
JP2012240530A (ja) * 2011-05-18 2012-12-10 Koito Mfg Co Ltd 画像処理装置
DE102016003296A1 (de) 2016-03-17 2017-09-21 Audi Ag Kraftfahrzeug mit wenigstens einem Scheinwerfer
WO2018135356A1 (ja) 2017-01-20 2018-07-26 株式会社小糸製作所 車両用灯具システム、車両用灯具の制御装置及び車両用灯具の制御方法
DE102017206245A1 (de) * 2017-04-11 2018-10-11 Conti Temic Microelectronic Gmbh Vorrichtung und verfahren zur detektion eines geländeverlaufs
WO2019156087A1 (ja) * 2018-02-07 2019-08-15 株式会社小糸製作所 画像処理装置および車両用灯具
GB2599380A (en) * 2020-09-30 2022-04-06 Roadmetric Ltd Measuring vehicle speeds with an uncalibrated camera

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750769A (ja) * 1993-08-06 1995-02-21 Yazaki Corp 車両用後側方監視方法
JP2006021631A (ja) * 2004-07-07 2006-01-26 Koito Mfg Co Ltd 車両用照明システム
JP2006304265A (ja) * 2005-03-25 2006-11-02 Fuji Photo Film Co Ltd 画像出力装置、画像出力方法、および画像出力プログラム
JP2006298362A (ja) * 2005-03-31 2006-11-02 Valeo Vision 暗い領域に到達したことを早期に検出する方法
JP2007076429A (ja) * 2005-09-13 2007-03-29 Koito Mfg Co Ltd ヘッドランプシステム
JP2007276527A (ja) * 2006-04-03 2007-10-25 Nissan Motor Co Ltd 視線誘導装置
WO2008093585A1 (ja) * 2007-01-30 2008-08-07 Aisin Seiki Kabushiki Kaisha 移動物体認識装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339149B1 (en) * 1993-02-26 2008-03-04 Donnelly Corporation Vehicle headlight control using imaging sensor
JP2000011298A (ja) 1998-06-22 2000-01-14 Yazaki Corp 車両用後側方監視装置
JP4287532B2 (ja) 1999-03-01 2009-07-01 矢崎総業株式会社 車両用後側方監視装置
JP2001021345A (ja) 1999-07-07 2001-01-26 Tokai Rika Co Ltd 障害物検出装置
JP3911983B2 (ja) 2000-09-28 2007-05-09 日産自動車株式会社 後方監視装置
DE102005047331A1 (de) * 2005-09-30 2007-04-05 Daimlerchrysler Ag Verfahren und Vorrichtung zur Beleuchtungssteuerung bei Straßenfahrzeugen
JP4872611B2 (ja) * 2006-11-09 2012-02-08 トヨタ自動車株式会社 車両用照明装置
JP4720764B2 (ja) * 2006-11-16 2011-07-13 株式会社デンソー 前照灯制御装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750769A (ja) * 1993-08-06 1995-02-21 Yazaki Corp 車両用後側方監視方法
JP2006021631A (ja) * 2004-07-07 2006-01-26 Koito Mfg Co Ltd 車両用照明システム
JP2006304265A (ja) * 2005-03-25 2006-11-02 Fuji Photo Film Co Ltd 画像出力装置、画像出力方法、および画像出力プログラム
JP2006298362A (ja) * 2005-03-31 2006-11-02 Valeo Vision 暗い領域に到達したことを早期に検出する方法
JP2007076429A (ja) * 2005-09-13 2007-03-29 Koito Mfg Co Ltd ヘッドランプシステム
JP2007276527A (ja) * 2006-04-03 2007-10-25 Nissan Motor Co Ltd 視線誘導装置
WO2008093585A1 (ja) * 2007-01-30 2008-08-07 Aisin Seiki Kabushiki Kaisha 移動物体認識装置

Also Published As

Publication number Publication date
EP2347931A4 (en) 2018-03-07
JPWO2010050095A1 (ja) 2012-03-29
EP2347931B1 (en) 2020-01-15
EP2347931A1 (en) 2011-07-27
WO2010050095A1 (ja) 2010-05-06

Similar Documents

Publication Publication Date Title
JP5361901B2 (ja) 前照灯制御装置
US10139708B2 (en) Adjustable camera mount for a vehicle windshield
CN104185588B (zh) 用于确定道路宽度的车载成像系统及方法
JP5313638B2 (ja) 車両用前照灯装置
JP5097648B2 (ja) 前照灯制御装置および車両用前照灯装置
JP4253271B2 (ja) 画像処理システム及び車両制御システム
KR101377888B1 (ko) 차량용 헤드라이트 어셈블리의 제어 방법 및 그 헤드라이트 어셈블리
KR101370215B1 (ko) 차량용 헤드라이트 어셈블리의 제어 방법 및 그 헤드라이트 어셈블리
JP5892876B2 (ja) 車載用環境認識装置
JP4253275B2 (ja) 車両制御システム
JP5952532B2 (ja) 画像処理装置および配光制御方法
US8254635B2 (en) Bundling of driver assistance systems
CN105270254B (zh) 用于控制车辆的至少一个大灯的光发射的方法和设备
JP5855272B2 (ja) ブレーキ状況を認識する方法および装置
US9102265B2 (en) Method and device for the distance-based debouncing of light-characteristic changes
EP2525302A1 (en) Image processing system
JPWO2012140752A1 (ja) 車載周辺物認識装置及びこれを用いる運転支援装置
EP2399777B1 (en) Control device, vehicle headlamp, and vehicle headlamp system
US9376052B2 (en) Method for estimating a roadway course and method for controlling a light emission of at least one headlight of a vehicle
JP5643877B2 (ja) 車両用前照灯装置
JP7084223B2 (ja) 画像処理装置および車両用灯具
WO2022244085A1 (ja) 前照灯制御装置、前照灯制御システム、及び前照灯制御方法
CN111712854A (zh) 图像处理装置及车辆用灯具
JPWO2019208544A1 (ja) 画像処理装置、車両用灯具および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130903

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5361901

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees