JPWO2018047495A1 - 画像処理装置および配光制御システム - Google Patents

画像処理装置および配光制御システム Download PDF

Info

Publication number
JPWO2018047495A1
JPWO2018047495A1 JP2018538275A JP2018538275A JPWO2018047495A1 JP WO2018047495 A1 JPWO2018047495 A1 JP WO2018047495A1 JP 2018538275 A JP2018538275 A JP 2018538275A JP 2018538275 A JP2018538275 A JP 2018538275A JP WO2018047495 A1 JPWO2018047495 A1 JP WO2018047495A1
Authority
JP
Japan
Prior art keywords
image
light spot
light
specific color
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018538275A
Other languages
English (en)
Other versions
JP6594557B2 (ja
Inventor
宏治 土井
宏治 土井
永崎 健
健 永崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Publication of JPWO2018047495A1 publication Critical patent/JPWO2018047495A1/ja
Application granted granted Critical
Publication of JP6594557B2 publication Critical patent/JP6594557B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415Dimming circuits
    • B60Q1/1423Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05Special features for controlling or switching of the light beam
    • B60Q2300/054Variable non-standard intensity, i.e. emission of various beam intensities different from standard intensities, e.g. continuous or stepped transitions of intensity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/41Indexing codes relating to other road users or special conditions preceding vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/42Indexing codes relating to other road users or special conditions oncoming vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、従来よりも光点を検出する処理の処理量を削減し、車両のヘッドライトやテールランプを精度よく検出可能な安価な画像処理装置を提供する。本発明は、第1の画像から光点を検出する光点検出部11と、第1の画像よりも露光量の多い第2の画像における光点に対応する光点領域に対して特定の色の検出を行う特定色検出部12と、を備える画像処理装置10。

Description

本発明は、車両搭載用の画像処理装置と車両のヘッドライトの配光を制御する配光制御システムに関する。
従来から車両搭載用の画像処理システムに関する発明が知られている(下記特許文献1を参照)。特許文献1に記載された画像処理システムは、車両に搭載された撮像手段と、前記撮像手段が撮影した画像を取得し前記画像の解析を行う画像解析手段とを備えている。この画像解析手段は、前記撮像手段が撮影した露光量の異なる画像を複数枚取得し、前記露光量の異なる複数の画像を解析して他の車両の位置を検知する(同文献、請求項1等を参照)。
この画像処理システムでは、露光量を変えながら複数の画像を撮像することで、ダイナミックレンジの小さい撮像素子においても高精度な光の検出ができ、安価な画像処理システムを構築できる。さらに、この画像処理システムでは、ノイズ光の影響をより削減することが可能であり、カメラによる夜間の車両検知を必要とするアプリケーションの高度化に役立つ(同文献、段落0009等を参照)。
特開2005−092857号公報
前記従来の画像処理システムでは、露光量の異なる複数の画像のそれぞれにおいて画像の広い範囲を走査する処理を行うため、処理量が増大し、たとえば専用の論理回路によるハードウェア処理が必要になるなど、低価格化へ向けての課題がある。
本発明は、前記課題に鑑みてなされたものであり、従来よりも光点を検出する処理の処理量を削減し、車両のヘッドライトやテールランプを精度よく検出可能な安価な画像処理装置およびその画像処理装置を備えた配光制御システムを提供することを目的とする。
前記目的を達成すべく、本発明の画像処理装置は、第1の画像から光点を検出する光点検出部と、前記第1の画像よりも露光量の多い第2の画像における前記光点に対応する光点領域に対して特定の色の検出を行う特定色検出部と、を備えることを特徴とする。
本発明の画像処理装置は、光点検出部によって第1の画像から光点を検出し、特定色検出部によって第2の画像を処理するときに、検出した光点に対応する第2の画像の光点領域のみを限定的に走査し、特定の色の光点を検出することができる。したがって、本発明によれば、特定の色の光点を検出する処理の処理量を従来よりも削減して専用回路等を省略しつつ、車両のヘッドライトやテールランプを精度よく検出可能な、安価な画像処理装置およびその画像処理装置を備えた配光制御システムを提供することができる。
本発明の一実施形態に係る画像処理装置および配光制御システムの概略図。 図1に示す画像処理装置によって取得された画像の一例を示す図。 図2Aに対応する第1の画像の一例を示す図。 図2Aに対応する第2の画像の一例を示す図。 図1に示す画像処理装置によって取得された画像の一例を示す図。 図3Aに対応する第1の画像の一例を示す図。 図3Aに対応する第2の画像の一例を示す図。 図1に示す画像処理装置の画像処理フローの一例を示すフロー図。
以下、図面を参照して本発明の画像処理装置および配光制御システムの一実施形態を説明する。
図1は、本発明の一実施形態に係る画像処理装置10および配光制御システム100の概略構成を示すブロック図である。本実施形態の配光制御システム100は、たとえば、自動車等の車両に搭載される車載用システムであって、対向車のヘッドライトや先行車のテールランプを検出し、自車両のヘッドライトの配光を制御するシステムである。配光制御システム100は、たとえば、画像処理装置10と、制御信号生成部20と、配光制御部30とを備えている。
画像処理装置10は、主要な構成として、光点検出部11と特定色検出部12とを備えている。また、画像処理装置10は、たとえば、撮像部13、画像取得部14、光点情報格納部15、および出力部16を備えることができる。
撮像部13は、たとえば、車両に設置され、車両の前方等の車外に向けられた単眼カメラやステレオカメラなどの撮像装置によって構成することができる。撮像部13は、通常の画像に加え、たとえば、第1の画像と第2の画像を所定の撮像周期で交互に撮影することができる。撮像部13がステレオカメラである場合には、基線長の間隔の異なる位置で一対の画像を同時に撮影することができる。
撮像部13によって撮影される第1の画像の露光量は、第2の画像の露光量よりも少ない。第1の画像は、たとえば、比較的に輝度が高いヘッドライトや近距離の先行車のテールランプの検出に適した露光量に設定される。また、第2の画像の露光量は、第1の画像の露光量よりも多い。第2の画像は、たとえば、比較的に輝度が低い遠距離の先行車のテールランプの検出に適した露光量に設定される。
なお、テールランプの明るさは法令で定められているため、撮像部13による第1の画像の撮影時の第1の露光量を調節することで、第1の画像に先行車のテールランプが写る距離の範囲を調節することができる。以下の説明では、自車両からの距離が所定の距離の範囲内で、露光量の少ない第1の画像に先行車のテールランプが写る画像上の領域を「近傍領域」と呼ぶ。また、自車両からの距離が所定の距離の範囲外で、露光量の少ない第1の画像に先行車のテールランプが写らなくなる画像上の領域を「遠方領域」と呼ぶ。
第1の画像と第2の画像の露光量は、たとえば、撮像部13による画像の撮影時に、露光時間を増減させることによって制御することができる。すなわち、撮像部13による第2の画像の撮影時の露光時間を、撮像部13による第1の画像の撮影時の露光時間よりも長くすることで、第2の画像の露光量を第1の画像の露光量よりも多くすることができる。なお、第1の画像と第2の画像の露光量の調節は、撮像部13の回路においてアナログ信号値を増幅するアナログゲインの調整、撮影後の画像処理においてデジタル信号値を増幅するデジタルゲインの調整、または、カメラの絞り調整によって行うことも可能である。
撮像部13は、たとえば、相補性金属酸化膜半導体(CMOS)、電荷結合素子(CCD)等のイメージセンサを有している。イメージセンサは、複数の撮像要素を有し、各撮像要素は、特定の色を含む複数の色の光を検出する複数の受光素子を有している。受光素子によって検出する特定の色としては、たとえば、テールランプの検出に適した赤(R)を選択することができる。
また、受光素子によって検出する特定の色が赤(R)である場合、他の受光素子によって検出するそれ以外の複数の色としては、たとえば、緑(G)、青(B)等、光の三原色の組み合わせを選択することができる。各々の撮像要素において、それぞれ異なる色を検出する複数の受光素子の配列としては、たとえば、ベイヤー配列を採用することができる。
画像取得部14は、たとえば、画像の撮影時に撮像部13を制御し、撮像部13による画像撮影時の露光量を周期的に増減させる。画像取得部14は、たとえば、撮像部13による画像撮影時の露光時間を、短時間露光と長時間露光とに周期的に切り替えることにより、画像撮影時の露光量を周期的に増減させることができる。画像取得部14は、撮像部13を制御して、たとえば車両の前方を定期的に撮影し、通常の画像の他、第1の画像とその第1の画像よりも露光量の多い第2の画像とを定期的に取得する。
なお、撮像部13がステレオカメラである場合、画像取得部14は、基線長の間隔で離れた異なる位置で同時に撮影された複数の画像に基づいて距離情報を取得する距離情報取得部としての機能を有することができる。具体的には、距離情報取得部としての画像取得部14は、ステレオカメラの一対の画像の視差に基づいて、画像の各画素の距離情報を取得する。なお、画像取得部14と距離情報取得部とは、それぞれ別に設けてもよい。
光点検出部11は、撮像部13によって撮影され、画像取得部14によって取得された第1の画像から、光点を検出する。具体的には、光点検出部11は、撮像部13を構成するイメージセンサの撮像要素の信号強度から求めた輝度に基づいて、第1の画像から光点を検出する。より詳細には、各撮像要素において異なる色を検出する複数の受光素子の信号強度を、各色の受光素子の比率に応じて重み付け加算することで、各撮像要素の信号強度を求める。そして、各撮像要素の信号強度から求めた輝度が所定の輝度のしきい値を超える第1の画像の画素を、光点として検出する。
光点検出部11によって第1の画像から光点を検出する処理は、汎用の演算処理装置を用いたソフトウェア処理によって行うことも可能であるが、比較的に処理量が多くなることから、専用の論理回路を用いたハードウェア処理によって行うこともできる。
図1に示す例において、光点検出部11は、第1の画像から検出された光点に対応させて第2の画像に光点領域を設定する光点領域設定部としての機能を有している。すなわち、光点領域設定部としての光点検出部11は、第1の画像において光点として検出された画素の情報に基づいて、第2の画像に対し、その検出された画素に対応する画素を含む光点領域を設定する。なお、光点検出部11と光点領域設定部とは、それぞれ別に設けてもよい。
第2の画像に設定する光点領域は、たとえば、第1画像で光点として検出された画素群に対応する第2の画像の画素群を囲む矩形の領域とすることができる。また、特定色検出部12の処理量を低減させる観点から、光点領域の面積は、検出された光点に対応する画素群を含む範囲で、可能な限り小さくすることが好ましい。
光点情報格納部15は、たとえば、メモリやハードディスク等の記憶装置によって構成され、光点検出部11によって検出された光点の情報を格納し、保存する。以下の表1に、光点情報の構造とデータの一例を示す。表1に示すように、光点情報格納部15に格納および保存される光点情報は、たとえば、光点領域が矩形である場合に、光点ID、光点領域の左上の画素の座標、光点領域のサイズ、輝度等を含むことができる。
Figure 2018047495
なお、光点検出部11によって検出された各光点について、ヘッドライトとテールランプの判別が行われる場合には、光点情報格納部15は、各光点の情報をヘッドライトまたはテールランプの判別結果と関連付けて格納および保存してもよい。
特定色検出部12は、撮像部13によって撮影され、画像取得部14によって取得された、第1の画像よりも露光量の多い第2の画像において、第1の画像から検出された光点に対応する光点領域に対して、特定の色の検出を行う。具体的には、第1画像で光点として検出された画素群に対応する第2画像の画素群を含む光点領域が、第2の画像に設定される。
特定色検出部12は、この第2の画像の光点領域に対して、特定の色として、たとえば赤色の検出を行う。なお、第1の画像は、露光量が少ないため、特定色検出部12によって第1の画像から色の検出を行うことは困難である。しかし、第2の画像は第1の画像よりも露光量が多いため、特定色検出部12によって、特定の色の検出を行うことが可能である。
特定色検出部12は、第2の画像の光点領域に対応する撮像部13の撮像要素における特定の色の光を検出する受光素子の信号強度に基づき、たとえば特定の色として赤色を検出する。これにより、第1の画像に写った輝度の高い光点の中に、自車両の近傍領域に存在する先行車の赤色のテールランプが含まれる場合に、第1の画像の光点に対応する第2の画像の光点領域において赤色のテールランプの存在を検出することができる。
また、特定色検出部12は、光点領域設定部としての光点検出部11によって設定された第2の画像の光点領域において、特定の色、たとえば、赤色が検出されなかった場合に、第2の画像に遠方領域を設定することができる。遠方領域は、第2の画像において、近傍領域よりも遠方の道路上の限定された領域に対して設定することができる。同様に、特定色検出部12は、光点検出部11によって第1の画像から光点が検出されない場合にも、第2の画像に遠方領域を設定することができる。
また、撮像部13がステレオカメラである場合、画像取得部14は、ステレオカメラの一対の第2の画像の視差から求めた距離情報を利用し、先行車のテールランプが第1の画像に写らない範囲を、第2の画像の遠方領域に設定することができる。なお、撮像部13が単眼カメラである場合にも、画像取得部14は、たとえば、第1の画像の履歴から画像上の近傍領域の範囲を特定し、その近傍領域の外側の道路上の領域を画像上で遠方領域と特定し、第2の画像に遠方領域を設定することができる。
特定色検出部12は、光点検出部11によって光点が検出されない場合、または、第2の画像の光点領域で特定の色が検出されなかった場合に、第2の画像に設定された遠方領域から特定の色の光点を検出する。これにより、第1の画像には写らず、第2の画像に写った遠方領域に存在する先行車のテールランプを検出することができる。
なお、第2の画像に遠方領域を設定する場合には、近傍領域との間に空隙が存在しないようにすることが好ましい。第2の画像の近傍領域と遠方領域との間に空隙が生じ、その空隙に対応する中間距離に先行車が存在すると、その先行車のテールランプは、第1の画像には写らず、光点検出部11によって検出されない。この場合、特定色検出部12は、第2画像の遠方領域から特定の色を検出する。
しかし、近傍領域と遠方領域との間の距離に対応する中間距離に存在する先行車のテールランプは、第2の画像に近傍領域と遠方領域との間の光点として映る。この光点は、第2画像の光点領域および遠方領域のみから特定の色を検出する特定色検出部12によっては、検出することができない。このような先行車のテールランプの検出漏れを防止するために、第2の画像の遠方領域は、近傍領域との間に空隙が存在しないように、たとえば近傍領域と重複するように設定してもよい。
出力部16は、光点検出部11による光点の検出結果と、特定色検出部12による特定の色の検出結果とを統合し、配光制御システム100の制御信号生成部20に出力する。
制御信号生成部20は、出力部16から出力された画像処理装置10の光点検出部11および特定色検出部12の検出結果に基づいて、車両のヘッドライトの配光制御を行うための配光制御信号を生成する。
配光制御部30は、制御信号生成部20によって生成された制御信号に基づいて、車両のヘッドライトの配光制御を行う。具体的には、配光制御部30は、配光制御信号に基づいて、ヘッドライトのハイビームとロービームの配光を制御することができる。なお、配光制御システム100による配光制御は、ヘッドライトのハイビームとロービームの切り替えに限定されず、たとえば、ヘッドライト、ポジションランプ、フォグランプ等のオン、オフ、照射方向、および光量などの制御を含むことができる。
図2Aおよび図3Aは、本実施形態の画像処理装置10の通常のスケジュールに基づいて取得された画像Gの一例を示す図である。画像処理装置10は、通常、予め設定されたスケジュールに基づいて撮像部13によって周期的に撮像された画像を取得している。図2Aは、自車両からの距離が近い近傍領域に先行車LVが存在する例を示している。図3Aは、自車両からの距離が遠い遠方領域に先行車LVが存在する例を示している。
画像処理装置10は、所定のタイミングでスケジュールの再設定を行うことができる。
具体的には、画像処理装置10は、たとえば、車両においてアプリケーションが起動または停止されたり、自車両もしくは周囲の状況に変化があったり、または所定の時間が経過したりしたときに、スケジュールの再設定を行うことができる。画像処理装置10は、設定されたスケジュールに従って、以下の処理を実行する。
図4は、図1に示す画像処理装置10の画像処理フローの一例を示すフロー図である。
画像処理装置10は、まず、ステップS1において、撮像部13が次に撮像する画像の露光時間を画像取得部14によって所定の短露光時間に設定し、画像取得部14によって撮像部13を制御して所定のタイミングで第1の画像を撮影し、第1の画像を取得する。
図2Bおよび図3Bは、それぞれ、図2Aおよび図3Aに対応する第1の画像G1の一例を示す図である。図2Aに示すように、自車両からの距離が所定の距離の範囲内である近傍領域に先行車LVが存在する場合には、自車両から見た先行車LVのテールランプTLの輝度が高いため、図2Bに示すように、露光量の少ない第1の画像G1に先行車LVのテールランプTLが写る。
一方、図3Aに示すように、先行車LVが近傍領域に存在せず、自車両からの距離が所定の距離の範囲外である遠方領域に存在する場合には、自車両から見た先行車LVのテールランプTLの輝度が低下するため、図3Bに示すように、露光量の少ない第1の画像G1に先行車LVのテールランプTLが写らない。
次に、画像処理装置10は、ステップS2において、光点検出部11によって第1の画像G1から光点を検出する。具体的には、第1の画像G1の各画素を走査して、輝度値が閾値以上である隣り合った画素領域を検出する。図2Bに示す例では、第1の画像G1から所定の面積を有する2つ円形の光点LSが検出され、図3Bに示す例では、第1の画像G1から光点LSは検出されない。
次に、画像処理装置10は、ステップS3において、ステップS2で検出した光点情報を、光点情報格納部15に格納および保存する。次に、画像処理装置10は、ステップS4において、撮像部13が次に撮像する画像の露光時間を、画像取得部14によって所定の長露光時間に設定し、画像取得部14によって撮像部13を制御して、所定のタイミングで第2の画像を撮影し、第2の画像を取得する。
図2Cおよび図3Cは、図2Aおよび図3Aに対応する第2の画像G2の一例を示す図である。第2の画像G2は、図2Bおよび図3Bに示す第1の画像G1よりも露光量が多いため、図2Cに示す近傍領域に存在する先行車LVのテールランプTLだけでなく、図3Cに示す遠方領域FAに存在する先行車LVのテールランプTLも写すことができる。
次に、ステップS5において、画像処理装置10は、ステップS3における光点情報の有無を判定し、光点情報が得られた場合(YES)、ステップS6へ進み、光点情報が得られなかった場合(NO)、ステップS7へ進む。
ステップS6において、画像処理装置10は、ステップS4で取得された図2Cに示す長露光時間の第2の画像G2から、特定色検出部12によって特定の色、たとえば赤色の光点を検出する。具体的には、光点情報格納部15に格納された第1の画像G1の光点情報に対応して、図2Cに示すように第2の画像G2に設定された光点領域LAに含まれる画素の色情報を特定色検出部12によって参照し、テールランプTLとして規定されている赤色に該当するか否かを判定する。
画像処理装置10は、特定色検出部12によって赤色であると判定された場合、その光点をテールランプTLであるとみなす。特定色検出部12は、第2の画像G2に設定されたすべての光点領域LAに対して判定処理を終えたら、テールランプTLの検出結果を出力部16へ転送する。
ステップS7において、画像処理装置10は、ステップS4で取得された図3Cに示す長露光時間の第2の画像G2に設定された遠方領域FAに対し、特定色検出部12によって特定の色、たとえば赤色の光点を検出する。具体的には、特定色検出部12によって、第2の画像G2の遠方領域FAの各画素を走査して、輝度値が閾値以上である隣り合った画素領域を検出する。
さらに、特定色検出部12によって、当該画素領域の色情報を参照し、テールランプTLとして規定された赤色に該当するか否かを判定する。画像処理装置10は、特定色検出部12によって赤色であると判定された場合、当該画素領域の光点をテールランプTLであるとみなす。特定色検出部12は、遠方領域FAのすべての画素に対して判定処理を終えたら、テールランプTLの検出結果を出力部16へ転送する。以上により、画像処理装置10の画像処理フローの1サイクルが終了する。
以下、本実施形態の画像処理装置10および配光制御システム100の作用について説明する。
本実施形態の画像処理装置10は、前述のように、第1の画像G1から光点LSを検出する光点検出部11と、第1の画像G1よりも露光量の多い第2の画像G2における光点に対応する光点領域LAに対して特定の色の検出を行う特定色検出部12と、を備えている。
そのため、光点検出部11によって第1の画像G1から光点LSを検出し、特定色検出部12によって第2の画像G2を処理するときに、検出した光点LSに対応する第2の画像G2の光点領域LAのみを限定的に走査し、特定の色の光点LSを検出することができる。したがって、本実施形態の画像処理装置10によれば、特定の色の光点LSを検出する処理の処理量を従来よりも削減することで、汎用の演算処理装置によるソフトウェア処理を可能にして専用回路等を省略し、車両のヘッドライトやテールランプTLを精度よく検出可能な、安価な装置を提供することができる。
また、本実施形態の画像処理装置10は、第1の画像G1から検出された光点LSに対応させて第2の画像G2に光点領域LAを設定する光点領域設定部としての光点検出部11を備えている。これにより、露光量の少ない第1の画像G1に光点LSとして写る、比較的輝度が高い対向車のヘッドライトや近傍領域に存在する先行車LVのテールランプTLの位置に基づいて、第2の画像G2に光点領域LAを設定することができる。
そのため、比較的に処理負荷の高い特定の色を検出する処理を行う特定色検出部12による第2の画像G2の処理範囲を、第1の画像G1から検出された光点LSに対応する画素を含む極めて限定された範囲に絞り込むことができる。したがって、第2の画像G2の全体またはより広い範囲から特定の色を検出する場合と比較して大幅に処理量を削減しつつ、自車両の近傍領域に存在する先行車LVのテールランプTLと対向車のヘッドライトとを精度よく識別することができる。
また、本実施形態の画像処理装置10は、第1の画像G1および第2の画像G2を撮影する撮像部13を備えている。そして、撮像部13は、複数の撮像要素を有し、各撮像要素は、たとえば赤色等の特定の色を含む複数の色の光を検出する複数の受光素子を有している。これにより、撮像部13によってカラー画像を撮影することができるだけでなく、白色のヘッドライトと、特定の色のテールランプTLとを識別することが可能になる。
また、本実施形態の画像処理装置10において、光点検出部11は、撮像要素の信号強度から求めた輝度に基づいて光点を検出する。これにより、第1の画像G1から所定の輝度のしきい値を超える輝度の画素を光点として検出することが可能になる。
また、本実施形態の画像処理装置10において、特定色検出部12は、光点領域LAに対応する撮像要素の特定の色の光を検出する受光素子の信号強度に基づいて、特定の色を検出する。これにより、第1の画像G1から検出された光点LSに対応する第2の画像G2の光点領域LAに対して特定の色の検出を行うことが可能になる。
また、本実施形態の画像処理装置10において、撮像部13がステレオカメラである場合に、撮像部13によって撮影された複数の画像Gに基づいて距離情報を取得する距離情報取得部としての画像取得部14を備えることができる。また、特定色検出部12は、この距離情報取得部としての画像取得部14によって取得された距離情報に基づいて設定された遠方領域から特定の色の光点を検出することができる。これにより、複数の画像Gに基づく距離情報に基づいて、第2の画像G2の処理範囲を限定された遠方領域FAに絞り込み、特定色検出部12の処理量を従来よりも大幅に削減しつつ、第1の画像G1に写らなかった遠方領域FAの先行車LVのテールランプTLを検出することが可能になる。
また、本実施形態の画像処理装置10では、光点検出部11によって光点LSが検出されない場合に、第2の画像G2に設定された遠方領域FAから特定色検出部12によって特定の色の光点を検出することができる。この場合にも、第2の画像G2の処理範囲を限定された遠方領域FAに絞り込み、特定色検出部12の処理量を従来よりも大幅に削減しつつ、第1の画像G1に写らなかった遠方領域FAの先行車LVのテールランプTLを検出することが可能になる。
また、本実施形態の配光制御システム100は、車両のヘッドライトの配光を制御するシステムであって、前述の画像処理装置10と、光点検出部11および特定色検出部12の検出結果に基づいてヘッドライトの配光制御信号を生成する制御信号生成部20と、を備えている。
これにより、光点LSを検出する処理の処理量を従来よりも削減して専用回路等を省略しつつ、車両のヘッドライトやテールランプTLを精度よく検出可能な、安価な画像処理装置10を備えた配光制御システム100を提供することができる。また、対向車のヘッドライトや先行車LVのテールランプTLを精度よく検出することができるので、対向車や先行車LVの運転に支障のないように、適切な制御信号を生成して、ヘッドライトの配光制御を行うことができる。
さらに、本実施形態の配光制御システム100は、制御信号生成部20が生成した配光制御信号に基づいてヘッドライトのハイビームとロービームの配光を制御する配光制御部30を備えている。そのため、たとえば、画像処理装置10によって対向車のヘッドライトや先行車LVのテールランプTLが検出された場合は、配光制御部30によって自車両のヘッドライトをロービームに切り替えることができる。また、画像処理装置10によって対向車のヘッドライトや先行車LVのテールランプTLが検出されなかった場合は、配光制御部30によって自車両のヘッドライトをハイビームに切り替えることができる。
以上、図面を用いて本発明の実施の形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。
10…画像処理装置、11…光点検出部(光点領域設定部)、12…特定色検出部、13…撮像部、14…画像取得部(距離情報取得部)、20…制御信号生成部、30…配光制御部、100…配光制御システム、FA…遠方領域、G…画像、G1…第1の画像、G2…第2の画像、LA…光点領域、LS…光点

Claims (9)

  1. 第1の画像から光点を検出する光点検出部と、前記第1の画像よりも露光量の多い第2の画像における前記光点に対応する光点領域に対して特定の色の検出を行う特定色検出部と、を備えることを特徴とする画像処理装置。
  2. 前記第1の画像から検出された前記光点に対応させて前記第2の画像に前記光点領域を設定する光点領域設定部を備えることを特徴とする請求項1に記載の画像処理装置。
  3. 前記第1の画像および前記第2の画像を撮影する撮像部を備え、
    前記撮像部は、複数の撮像要素を有し、各撮像要素は、前記特定の色を含む複数の色の光を検出する複数の受光素子を有することを特徴とする請求項2に記載の画像処理装置。
  4. 前記光点検出部は、前記撮像要素の信号強度から求めた輝度に基づいて前記光点を検出することを特徴とする請求項3に記載の画像処理装置。
  5. 前記特定色検出部は、前記光点領域に対応する前記撮像要素の前記特定の色の光を検出する受光素子の信号強度に基づいて前記特定の色を検出することを特徴とする、請求項3に記載の画像処理装置。
  6. 前記撮像部は、ステレオカメラであり、
    前記撮像部によって撮影された複数の画像に基づいて距離情報を取得する距離情報取得部を備え、
    前記特定色検出部は、前記距離情報に基づいて設定された遠方領域から前記特定の色の光点を検出することを特徴とする請求項3に記載の画像処理装置。
  7. 前記特定色検出部は、前記光点検出部によって前記光点が検出されない場合に、前記第2の画像に設定された遠方領域から前記特定の色の光点を検出することを特徴とする請求項1に記載の画像処理装置。
  8. 車両のヘッドライトの配光を制御する配光制御システムであって、
    請求項1から請求項7のいずれか一項に記載の画像処理装置と、前記光点検出部および前記特定色検出部の検出結果に基づいて前記ヘッドライトの配光制御信号を生成する制御信号生成部と、を備えることを特徴とする配光制御システム。
  9. 前記配光制御信号に基づいて前記ヘッドライトのハイビームとロービームの配光を制御する配光制御部を備えることを特徴とする請求項8に記載の配光制御システム。
JP2018538275A 2016-09-06 2017-07-26 画像処理装置および配光制御システム Active JP6594557B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016173596 2016-09-06
JP2016173596 2016-09-06
PCT/JP2017/026976 WO2018047495A1 (ja) 2016-09-06 2017-07-26 画像処理装置および配光制御システム

Publications (2)

Publication Number Publication Date
JPWO2018047495A1 true JPWO2018047495A1 (ja) 2019-06-24
JP6594557B2 JP6594557B2 (ja) 2019-10-23

Family

ID=61562609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018538275A Active JP6594557B2 (ja) 2016-09-06 2017-07-26 画像処理装置および配光制御システム

Country Status (3)

Country Link
EP (1) EP3511900B1 (ja)
JP (1) JP6594557B2 (ja)
WO (1) WO2018047495A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220261A (ja) * 2003-01-14 2004-08-05 Toshiba Corp 特定画像領域検出装置、紙葉類処理装置、特定画像領域検出方法、および紙葉類処理方法
JP2005092861A (ja) * 2003-08-11 2005-04-07 Hitachi Ltd 車両制御システム
JP2014232431A (ja) * 2013-05-29 2014-12-11 富士重工業株式会社 画像処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4484856B2 (ja) * 2006-10-06 2010-06-16 日立オートモティブシステムズ株式会社 自動車用ヘッドライト制御装置
JP5846872B2 (ja) * 2011-11-21 2016-01-20 日立オートモティブシステムズ株式会社 画像処理装置
US10380434B2 (en) * 2014-01-17 2019-08-13 Kpit Technologies Ltd. Vehicle detection system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220261A (ja) * 2003-01-14 2004-08-05 Toshiba Corp 特定画像領域検出装置、紙葉類処理装置、特定画像領域検出方法、および紙葉類処理方法
JP2005092861A (ja) * 2003-08-11 2005-04-07 Hitachi Ltd 車両制御システム
JP2014232431A (ja) * 2013-05-29 2014-12-11 富士重工業株式会社 画像処理装置

Also Published As

Publication number Publication date
EP3511900A1 (en) 2019-07-17
EP3511900A4 (en) 2020-03-04
WO2018047495A1 (ja) 2018-03-15
JP6594557B2 (ja) 2019-10-23
EP3511900B1 (en) 2021-05-05

Similar Documents

Publication Publication Date Title
JP5846872B2 (ja) 画像処理装置
JP4484856B2 (ja) 自動車用ヘッドライト制御装置
US20170330053A1 (en) Color night vision system and operation method thereof
JP4258539B2 (ja) 複数画角カメラ
US20180278824A1 (en) Systems and methods for regionally controlling exposure time in high dynamic range imaging
JP5860663B2 (ja) ステレオ撮像装置
WO2013140873A1 (ja) 車載用画像処理装置及び方法
JP2009244946A (ja) 信号機認識装置,信号機認識方法および信号機認識プログラム
WO2014181743A1 (ja) 画像処理装置及び画像処理方法
JP5750291B2 (ja) 画像処理装置
CN111433811A (zh) 减少图像中的图像伪影
JP6525503B2 (ja) 画像処理装置および撮像装置
US10944929B2 (en) Imaging apparatus and imaging method
JP6594557B2 (ja) 画像処理装置および配光制御システム
US11941897B2 (en) Vehicle occupant monitoring system including an image acquisition device with a rolling shutter image sensor
JP6322723B2 (ja) 撮像装置および車両
JP6525723B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2010093623A (ja) 画像処理装置
JP6396840B2 (ja) 物体検出装置
US10791289B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
JP6161582B2 (ja) 画像処理装置
JP6827240B2 (ja) 画像生成装置、画像生成方法、プログラム及びそれを記録した記録媒体
US20230291880A1 (en) Image processing apparatus
JP7080724B2 (ja) 配光制御装置、投光システム及び配光制御方法
JP4305116B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190924

R150 Certificate of patent or registration of utility model

Ref document number: 6594557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350