JP6526350B1 - 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム - Google Patents

車両照明制御装置、車両照明制御方法及び車両照明制御プログラム Download PDF

Info

Publication number
JP6526350B1
JP6526350B1 JP2018548937A JP2018548937A JP6526350B1 JP 6526350 B1 JP6526350 B1 JP 6526350B1 JP 2018548937 A JP2018548937 A JP 2018548937A JP 2018548937 A JP2018548937 A JP 2018548937A JP 6526350 B1 JP6526350 B1 JP 6526350B1
Authority
JP
Japan
Prior art keywords
light
vehicle
pedestrian
low beam
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018548937A
Other languages
English (en)
Other versions
JPWO2019186864A1 (ja
Inventor
直之 藤山
直之 藤山
亮太 関口
亮太 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6526350B1 publication Critical patent/JP6526350B1/ja
Publication of JPWO2019186864A1 publication Critical patent/JPWO2019186864A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B60Q1/247Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the close surroundings of the vehicle, e.g. to facilitate entry or exit
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/45Special conditions, e.g. pedestrians, road signs or potential dangers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2205/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S2205/01Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

車両制御装置(10)は、ライト制御部(22)と、第1検知部(23)と、第2検知部(24)とを備える。第1検知部(23)は、車両(100)が有するロービームの照射範囲外に存在する対象物を遠赤外線カメラ(31)により検知する。第2検知部(24)は、第1検知部(23)によって検知された対象物の位置を、レーザーを用いて測距する測距センサ(321)により検知する。ライト制御部(22)は、ロービームよりも遠方まで照射可能なマーキングライト(35)により、第2検知部(24)によって検知された対象物の位置を照射する。

Description

この発明は、車両に搭載された照明の制御技術に関する。
LEDといった半導体の発光素子をマトリクス状に配列して、各発光素子の点消灯を制御することで配光パターンの照射エリアを変化させる、いわゆるAdaptive Driving Beam(以下、ADB)機能を備えた車両用前照灯がある。ADB機能は、単眼カメラといったセンサーを用いることによって車両の近傍の歩行者の動作状況を検知し、歩行者を眩惑しないよう歩行者に対して部分的な点消灯を実現している(特許文献1参照)。
特開2016−110853号公報
しかし、歩行者を眩惑しないよう歩行者に対して部分消灯してしまうと、ドライバーが歩行者を目視で認知できなくなってしまう。そのため、道路を横断している歩行者を見落とし、衝突してしまう危険性がある。
この発明は、ドライバーが歩行者といった対象物を認知し易くすることを目的とする。
この発明に係る車両照明制御装置は、
車両が有するロービームの照射範囲外に存在する対象物を遠赤外線カメラにより検知する第1検知部と、
前記第1検知部によって検知された前記対象物の位置を、レーザーを用いて測距する測距センサにより検知する第2検知部と、
前記ロービームよりも遠方まで照射可能なマーキングライトにより、前記第2検知部によって検知された前記対象物の位置を照射するライト制御部と
を備える。
この発明では、ロービームの照射範囲外に存在する対象物が存在する範囲がマーキングライトにより照射される。これにより、ロービームのみ使用している状況では認知することのできなかった遠方の対象物をドライバーが認知することが可能になる。
実施の形態1に係る車両照明制御装置10の構成図。 実施の形態1に係るライト制御部22の構成図。 実施の形態1に係る遠赤外線カメラ31及び可視光カメラ32で得られる画像の画像座標系50を示す図。 実施の形態1に係る車両座標系60を示す図。 実施の形態1に係るライト座標系70を示す図。 実施の形態1に係る車両照明制御装置10の動作を示すフローチャート。 実施の形態1に係る遠赤外線カメラ31で得られた画像とマーキングライト35の水平角度との関係を示す図。 実施の形態1に係るロービーム判定処理の説明図。 実施の形態1に係るマーキングライト35の制御例を示す図。 実施の形態2に係る車両照明制御装置10の構成図。 実施の形態2に係るライト制御部22の構成図。 実施の形態2に係る測距センサー座標系80を示す図。 実施の形態2に係る車両照明制御装置10の動作を示すフローチャート。 実施の形態2に係る歩行者の画像座標系50における画素位置と測距センサー座標系80における位置との関係を示す図。 実施の形態2に係るロービームの照射範囲の説明図。
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る車両照明制御装置10の構成を説明する。
車両照明制御装置10は、車両100に搭載されるECU(Electronic Control Unit)といったコンピュータである。車両照明制御装置10は、車両100と一体不可分な構成であってもよいし、車両100と分離可能な構成であってもよい。
車両照明制御装置10は、機能構成要素として、検知部21と、ライト制御部22とを備える。検知部21は、第1検知部23と、第2検知部24とを備える。実施の形態1では、ライト制御部22と第1検知部23と第2検知部24とはそれぞれ独立したECUによって構成される。なお、ライト制御部22と第1検知部23と第2検知部24との2つ以上が1つのECUによって構成されてもよい。
車両100には、車両照明制御装置10の他に、遠赤外線カメラ31と、可視光カメラ32と、車載センサー33と、LEDドライバー34と、マーキングライト35と、モーター制御装置36と、水平ドライバー37と、垂直ドライバー38と、水平ステッピングモーター39と、垂直ステッピングモーター40とが搭載される。
図2を参照して、実施の形態1に係るライト制御部22の構成を説明する。
ライト制御部22は、機能構成要素として、画素ベース予測部41と、第1角度算出部42と、車両ベース予測部43と、第2角度算出部44と、車両移動予測部45と、ロービーム検出部46と、衝突予測部47と、制御実行部48とを備える。ライト制御部22が備える機能構成要素は、ソフトウェアで実現される。
ライト制御部22を実現するECUには、メモリが搭載されており、メモリには各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、処理を実行するIC(Integrated Circuit)であるプロセッサに読み込まれ、プロセッサによって実行される。これにより、ライト制御部22が備える各機能構成要素の機能が実現される。
また、メモリは、第1パラメータ記憶部421と、第2パラメータ記憶部441との機能を実現する。
第1検知部23及び第2検知部24の機能も、ライト制御部22の各機能構成要素の機能と同様に、ソフトウェアで実現される。
なお、ライト制御部22と第1検知部23と第2検知部24との機能は、ソフトウェアではなく、ASIC及びFPGAといったハードウェアによって実現されてもよい。プロセッサとASIC及びFPGAといったハードウェアとは、処理回路である。つまり、ライト制御部22と第1検知部23と第2検知部24との機能は、処理回路によって実現される。
***動作の説明***
図3から図9を参照して、実施の形態1に係る車両照明制御装置10の動作を説明する。
実施の形態1に係る車両照明制御装置10の動作は、実施の形態1に係る車両照明制御方法に相当する。また、実施の形態1に係る車両照明制御装置10の動作は、実施の形態1に係る車両照明制御プログラムの処理に相当する。
実施の形態1では、対象物は歩行者であるとする。しかし、対象物は歩行者に限らず、自転車、動物、駐車動作中の車両といった他の種別であってもよい。
図3から図5を参照して、実施の形態1に係る数学的定義を説明する。
図3に示すように、遠赤外線カメラ31によって得られる画像座標系50は、水平方向の軸を右向きに正としてU軸とし、垂直方向の軸を下向きに正としてV軸とする。横M画素及び縦N画素の画像が得られるとすると、最も左上にある画素位置が(1,1)として表され、最も右下にある画素位置が(M,N)として表され、1≦u≦M及び1≦v≦Nの範囲にある任意の画素位置が(u,v)として表される。
遠赤外線カメラ31により撮像された対象物である歩行者51の検知範囲が検知枠52として表される。検知枠52の左上の画素位置53が(Utl,Vtl)として表され、右下の画素位置54が(Ubr,Vbr)として表される。検知枠52の中心座標55は、((Utl+Ubr)/2,(Vtl+Vbr)/2)である。
可視光カメラ32によって得られる画像座標系についても、遠赤外線カメラ31によって得られる画像座標系50と同様に定義される。したがって、可視光カメラ32によって得られる画像座標系についても、同じ変数が用いられる。
図4に示すように、車両座標系60は、車両100の進行方向をZw軸とし、左手系を用いてXw軸及びYw軸が定義される。ある時刻T=tにおける車両座標系60での歩行者の座標は、(xwp(t),ywp(t),zwp(t))と表される。また、ある時刻T=tにおける車両座標系60での車両100の座標は、(xwc(t),ywc(t),zwc(t))と表される。
図5に示すように、ライト座標系70は、ライトの照射方向をZl軸とし、左手系を用いてXl軸及びYl軸が定義される。ある時刻T=tにおけるライト座標系70での歩行者の座標は、(xlp(t),ylp(t),zlp(t))と表される。また、ある時刻T=tにおけるライト座標系70での車両100の座標は、(xlc(t),wlc(t),zlc(t))と表される。
図6を参照して、実施の形態1に係る車両照明制御装置10の動作を説明する。
(ステップS1:第1検知処理)
第1検知部23は、車両100が有するロービームの照射範囲外に存在する対象物である歩行者を検知する。つまり、第1検知部23は、遠赤外線カメラ31を用い、ロービームが届かずにドライバーが目視で認知できない車両100前方の遠方に存在する歩行者を検知する。ロービームが届かない遠方とは、例えば、車両100から40m以上離れた範囲である。ここでは、第1検知部23は、ロービームが届かない遠方のうち、車両100〜120mの範囲内の歩行者を検知する。
具体的には、遠赤外線カメラ31は、熱源を映像として取得できるカメラである。遠赤外線カメラ31は、センサーで温度分布をセンシングして映像データとして出力する。
第1検知部23は、遠赤外線カメラ31によって出力された映像データを入力として、ASIC(Application Specific Integrated Circuit)又はFPGA(Field−Programmable Gate Array)といった回路により諧調処理といったカメラ信号処理を実行する。第1検知部23は、自動車予防安全向けのSoC(System on Chip)により、1枚の静止画像から画像内の特徴量を算出し、サポートベクターマシンを適用して歩行者か否かを判定する。そして、第1検知部23は、静止画像における歩行者と判定された画素の位置を計算して、画像座標系50における検知枠52の左上の画素位置53(Utl,Vtl)と、右下の画素位置54(Ubr,Vbr)とを出力する。
なお、歩行者の検知方法は、どのような方法であってもよい。具体的には、特徴量抽出方法と、特徴量から歩行者か否かを判別する方法とは、どのような方法であってもよい。また、出力される画素位置は、左上の画素位置53及び右下の画素位置54ではなく、歩行者の中心座標55といった他の位置であってもよい。
(ステップS2:画素ベース予測処理)
ライト制御部22の画素ベース予測部41は、ステップS1で出力された画素位置に基づき、ある時間後の歩行者の移動先の画素位置を予測する。ここでは、画素ベース予測部41は、0.1[s]から5[s]後までの歩行者の移動先の画素位置{(lu(t+p|t)、lv(t+p|t)),p=1,・・・,50,p=1,・・・,50}をカルマンフィルタにより計算する。
具体的には、画素ベース予測部41は、検知枠52の左上の画素位置53(Utl,Vtl)と、右下の画素位置54(Ubr,Vbr)とから、中心座標55((Utl+Ubr)/2,(Vtl+Vbr)/2)を計算する。画素ベース予測部41は、中心座標55を入力として、0.1[s]から5[s]後までの歩行者の水平方向の移動先の画素位置をカルマンフィルタにより計算する。
なお、移動先の画素位置の計算方法は、カルマンフィルタを用いた方法に限定されるものではなく、他の方法でもよい。
カルマンフィルタによる画素位置の予測方法を説明する。
位置をl(Location)、速度をv(Velocity)、加速度をa(Accelaration)で表す。時刻tにおける画像上の位置と、速度と、加速度とをそれぞれ位置(lu(t)、lv(t))と、速度(vu(t)),vv(t))と、加速度(au(t),av(t))とする。状態ベクトルx(t)を、x(t)=[lu(t)、lv(t)、vu(t)、vv(t)、au(t)、av(t)]で定義する。
状態空間モデルをx(t+1)=Fx(t)+Gξ(t)とする。ここで、Fは、状態遷移行列、Gはシステム雑音の遷移行列、ξ(t)は平均0かつ共分散Qの正規性白色雑音である。また、検知した歩行者の画素位置の観測モデルをy(t)=Hx(t)+η(t)とする。ここで、Hは観測行列、η(t)は平均0かつ共分散Rの正規性白色雑音である。
初期値をx(1|0)=x0、P(1|0)=P0として与えることで、t=1,・・・,Nに対し、以下の予測推定値及び濾波推定値が求まる。但し、x0はx(t)が取り得る平均値、P0はx(t)が取り得る共分散値を概算して与える。
K(t)=P(t|t−1)H^{T}{HP(t|t−1)H^{T}+R}^{−1}
x(t|t)=x(t|t−1)+K(t){y(t)−Hx(t|t−1)}
P(t|t)=P(t|t−1)−KHP(t|t−1)
x(t+1|t)=Fx(t|t)
P(t+1|t)=FP(t|t)F^{T}+GQG^{T}
なお、式において“^”はべき乗を表す。例えば、X^Yは、Xを表す。ただし、X^{T}は行列Xの転置を表す。
ここで、Fは6×6の行列であり、検知した歩行者の画素位置が等加速度直線運動をするとしてモデル化し、F=[1 0 Δt 0 ((Δt)^{2})/2 0;0 1 0 Δt 0 ((Δt)^{2})/2;0 0 1 0 Δt 0;0 0 0 0 1 Δt;0 0 0 0 1 0;0 0 0 0 0 1]と定義される。なお、行列において“;”は改行を表す。
また、システム雑音は状態ベクトルの要素はお互いに無相関であるとし、Gは6×6の単位行列と定義される。
画素ベース予測部41は、歩行者の画素位置((Utl+Ubr)/2,(Vtl+Vbr)/2)のみ出力する。そのため、観測行列Hは、H=[1 0 0 0 0 0;0 1 0 0 0 0;0 0 0 0 0 0;0 0 0 0 0 0;0 0 0 0 0 0;0 0 0 0 0 0]と定義される。
検知部21からの出力が0.1[s]周期であるとすると、Δt=0.1[s]として与えられ行列Fは具体的な値が決定する。
また、カルマンフィルタとは別にx(t+p|t)=F^{p}x(t|t)の関係が求まる。Δt=0.1[s]から0.1[s]後、0.2[s]後、・・・、5[s]後がp=1,2,・・・,50に対応する。そのため、上記式を用いることで状態ベクトルを5秒後まで0.1[s]ごとに予測することができる。
そして、0.1[s]から5[s]後までの状態ベクトルx(t+1|t),・・・,x(t+50|t)から、0.1[s]から5[s]後までの水平方向の画素位置lu(t+1|t),・・・,lu(t+50|t)が計算可能である。
(ステップS3:第1照射処理)
ライト制御部22の第1角度算出部42は、車両100の進行方向に対する歩行者の存在する方向の水平角度θ(t+p|t)を計算する。そして、制御実行部48は、計算された水平角度θ(t+p|t)に基づき、マーキングライト35を制御して、歩行者の存在する方向に向けて光を照射する。
ここで、マーキングライト35は、ロービームよりも狭い範囲で、且つ遠方まで照射可能なライトである。また、照射方向を変えることができる。車両100は、マーキングライト35を1つだけでなく複数備えても良く、複数のマーキングライト35を備える場合には、各マーキングライトの輝度、色、または照射方向等を個別に制御できるようにしても良い。ここではマーキングライト35としてLEDを例とし、水平ステッピングモーター39と垂直ステッピングモーター40によってライトの照射方向を変える。
具体的には、第1角度算出部42は、ステップS2で計算された0.1[s]から5[s]後までの歩行者の水平方向の移動先の画素位置(lu(t+1|t)、lv(t+1|t)),・・・,画素位置(lu(t+50|t)、lv(t+50|t))を入力として、0.1[s]から5[s]後までのライト座標系70におけるマーキングライト35の水平角度θ(t+1|t)),・・・,θ(t+50|t)を計算する。第1角度算出部42は、0.1[s]から5[s]後までの水平角度θ(t+1|t)),・・・,θ(t+50|t)をライト制御部22に出力する。
ここで、第1角度算出部42は、遠赤外線カメラ31によって得られる画像の水平方向の画素位置に対するマーキングライト35の水平角度の関係(1次式)を予め求め、キャリブレーションパラメータとして第1パラメータ記憶部421に記憶しておく。第1角度算出部42は、このキャリブレーションパラメータに基づき、水平方向の画素位置に対応するマーキングライト7の水平角度を計算する。
キャリブレーションパラメータについて説明する。例えば図7に示すように、第1角度算出部42は、マーキングライト35の水平角度−30度と、−20度と、−10度と、0度と、10度と、20度と、30度とに対する遠赤外線カメラ31の画像座標での水平位置u(−30度)と、u(−20度)と、u(−10度)と、u(0度)と、u(10度)と、u(20度)と、u(30度)とを予め計測して、テーブルとして第1パラメータ記憶部421に保存しておく。このテーブルがキャリブレーションパラメータである。第1角度算出部42は、画素位置(lu(t+p|t)、lv(t+p|t))から計算される中心座標55((Utl+Ubr)/2,(Vtl+Vbr)/2)がテーブルのどの区間に入るのかを求める。そして、第1角度算出部42は、その区間内における中心座標55((Utl+Ubr)/2,(Vtl+Vbr)/2)に対応する角度を、対応するマーキングライト35の水平角度として、1次関数により求める。
なお、遠赤外線カメラ31によって得られる画像の水平方向の画素位置に対するマーキングライト35の水平角度の関係が非線形関係になる場合も考えられる。この場合には、多くのサンプリング点でテーブルを生成することにより、精度よくマーキングライト35の水平角度を計算することができる。また、サンプリング点を多項式で近似し、多項式に基づきマーキングライト35の水平角度を計算してもよい。
制御実行部48は、水平角度が計算されてからマーキングライト35から光を歩行者に照射するまでの処理時間に鑑みて、0.1秒後から5秒後までの50個の水平角度のうち1つを選択する。制御実行部48は、選択された水平角度にマーキングライト35を回転させるモーター制御信号を水平ドライバー37に出力する。モーター制御信号は、回転方向及びパルス幅を示す信号である。また、制御実行部48は、ドライバー制御信号をLEDドライバー34に出力する。
すると、水平ドライバー37は、モーター制御信号が入力されると、モーター制御信号に基づき水平ステッピングモーター39にパルス信号を出力する。水平ステッピングモーター39は、パルス信号に基づきマーキングライト35を水平方向に回転させる。また、LEDドライバー34は、ドライバー制御信号が入力されると、5Vの電圧をマーキングライト35に印加する。マーキングライト35は、5Vの電圧が印加されると点灯する。
つまり、マーキングライト35は、選択された水平角度に向けて、歩行者の存在する方向に向けて光を照射する。
(ステップS4:第2検知処理)
第2検知部24は、可視光カメラ32によりマーキングライト35により照射された範囲に存在する対象物である歩行者を検知する。つまり、ステップS3でマーキングライト35により歩行者に光が照射されることによって、可視光カメラ32により歩行者を撮像することが可能になる。そこで、第2検知部24は、可視光カメラ32によりマーキングライト35により照射された範囲を撮像して、歩行者を検知する。
具体的には、可視光カメラ32は、マーキングライト35により照射された範囲を撮像して得られた映像データを出力する。この際、可視光カメラ32は、内蔵されているASIC又はFPGAに実装されたカメラ信号処理ハードウエアによって、露光時間の調整及び諧調の補正を行った上で撮像する。
第2検知部24は、可視光カメラ32によって出力された映像データを入力として、自動車予防安全向けSoCにより、1枚の静止画像から画像内の特徴量を算出し、サポートベクターマシンを適用して歩行者か否かを判定する。第2検知部24は、静止画像における歩行者と判定された画素の位置を計算して、画像座標系50における検知枠52の左上の画素位置53(Utl,Vtl)と、右下の画素位置54(Ubr,Vbr)とを特定する。第2検知部24は、左上の画素位置53(Utl,Vtl)と、右下の画素位置54(Ubr,Vbr)とから中心座標55を計算する。第2検知部24は、中心座標55に基づき、ある時刻T=tにおける車両100の位置を原点とした車両座標系60における歩行者の座標値(xwp(t),ywp(t),zwp(t))を計算し、出力する。
なお、ステップS1と同様に、歩行者の検知方法は、どのような方法であってもよい。
(ステップS5A:車両ベース予測処理)
ライト制御部22の車両ベース予測部43は、ステップS4で出力された歩行者の座標値に基づき、ある時間後の歩行者の移動先の座標値を予測する。ここでは、車両ベース予測部43は、ある時刻tに対して、0.1[s]から5[s]後までの歩行者の移動先の車両座標系60における座標{(xwp(t+p|t),ywp(t+p|t),zwp(t+p|t)),p=1,・・・,50}をカルマンフィルタにより計算する。
ここで、カルマンフィルタによる座標の予測方法は,ステップS2におけるカルマンによる画素位置の予測方法と同様のアルゴリズムで求めることができる。なお、状態ベクトルの定義は物理モデルを勘案して定義すればよい。
(ステップS5B:車両移動予測処理)
ライト制御部22の車両移動予測部45は、車載センサー33から、ある時刻tにおける車両100の走行速度V(t)[m/s]と、ヨーレート(ヨー角速度)r(t)[°/s]と、操舵角δ(t)[°]とを取得する。車載センサー33は、車両100に搭載された各種センサーである。車両移動予測部45は、走行速度V(t)と、ヨーレートr(t)と、操舵角δ(t)とを入力として、旋回半径ρ(t)=(1−m/(2・l^(2))・((lf・Kf−lr・Kr)/Kf・Kr)・(V(t))^(2)))・l/δ(t)を計算する。
ここで、m[kg]は慣性質量である。l[m]はホイールベース長である。Kfは前輪のコーナリングパワーである。Krは後輪のコーナリングパワーである。lf[m]は車両重心点と前車軸間の距離である。lr[m]は車両重心点と後車軸間の距離であり、車両100の移動を予測する際に旋回半径を求める際の定数となる。
車両移動予測部45は、ある時刻tに対して、p=1,・・・,50について、半径ρ(t)に沿った弧の長さL(t,t+p)=V(t)×0.1[s]×pを計算する。これにより、車両移動予測部45は、旋回半径ρ(t)に沿った5秒後までの自車位置の軌跡を予測値として得る。
車両移動予測部45は、その際の回転角度(t,t+p)=(360[°]×L(t,t+p))/(2×π×ρ(t))計算する。そして、車両移動予測部45は、p=1,・・・,50について、時刻tにおける車両座標系60での移動予測位置(xwc(t,t+p),zwc(t,t+p))を、ヨーレートr(t)が正の場合はxwc(t,t+p)=−ρ(t)+ρ(t)cos(ψ(t,t+p)),zwc(t,t+p)=ρ(t)sin(ψ(t,t+p))により計算し、ヨーレートr(t)が負の場合はxwc(t,t+p)=ρ(t)−ρ(t)cos(ψ(t,t+p)),zwc(t,t+p)=ρ(t)sin(ψ(t,t+p))により計算する。
但し、ここでは、車両100の高さは道路より一定とし、ywcを定数として出力することとする。
なお、車両移動予測部45は、道路の起伏などに合わせ車両100がサスペンションにより上下動をすると考え、時刻tに対する予測値を計算してもよい。この場合には、車両移動予測部45は、ywc(t,t+p)を計算して出力すればよい。但し、サスペンションの物理モデルを導入して予測することとなり煩雑となるため、ここでは一定値とする。
(ステップS5C:ロービーム判定処理)
ライト制御部22のロービーム検出部46は、歩行者がロービームの照射範囲に入ったか否かを判定する。
具体的には、ロービーム検出部46は、可視光カメラ32により車両100の前方を撮像してえられた映像データを取得する。ロービーム検出部46は、図8に示すように、映像データのある時刻tの画像データを、複数のブロックに分割する。例えば、ロービーム検出部46は、画像データを40ピクセル×40ピクセルのブロックに分割する。また、ロービーム検出部46は、各ブロックについて、そのブロックに含まれる画素の輝度値の平均値をブロック平均として計算する。
そして、ロービーム検出部46は、直近に実行されたステップS4で検知された歩行者の位置に対応する画素を含むブロックを特定する。ロービーム検出部46は、特定されたブロックのブロック平均が閾値よりも高いか否かを判定する。また、ロービーム検出部46は、特定されたブロックの周囲の全てのブロックのブロック平均が閾値よりも低いか否かを判定する。ロービーム検出部46は、特定されたブロックのブロック平均が閾値よりも高く、かつ、特定されたブロックの周囲の全てのブロックのブロック平均が閾値よりも低くない場合には、歩行者がロービームの照射範囲に入ったと判定する。
(ステップS6A:角度計算処理)
ライト制御部22の第2角度算出部44は、0.1秒後から5秒後まで50個の車両座標系60の歩行者の座標(xwp(t,t+p),ywp(t,t+p),zwp(t,t+p))と、0.1秒後から5秒後まで50個の車両座標系60の車両100の座標(xwc(t,t+p),ywc(t,t+p),zwc(t,t+p))とをライト座標系70の座標に変換する。
ここで、第2角度算出部44は、車両座標系60の歩行者の座標(xwp(t+p|t),ywp(t+p|t),zwp(t+p|t))とライト座標の歩行者の座標(xlp(t+p|t),ylp(t+p|t),zlp(t+p|t))との変換のためのキャリブレーションパラメータを予め計測しておき、第2パラメータ記憶部441に記憶しておく。このキャリブレーションパラメータは、2つの座標間での回転(r11,r12,r13,r21,r22,r23,r31,r32,r33)と、並進(t1,t2,t3)とである。
そして、第2角度算出部44は、[xlp(t+p|t);ylp(t+p|t);zlp(t+p|t);1]=[r11 r12 r13 t1;r21 r22 r23 t2;r31 r32 r33 t3;0 0 0 1]×[xwp(t+p|t);ywp(t+p|t);zwp(t+p|t);1]を計算することにより、車両座標系60の歩行者の座標をライト座標の歩行者の座標に変換することができる。
第2角度算出部44は、車両座標系60の車両100の座標(xwc(t+p|t),ywc(t+p|t),zwc(t+p|t))についても、同様に、ライト座標の車両100の座標(xlc(t+p|t),ylc(t+p|t),zlc(t+p|t))に変換する。
第2角度算出部44は、ライト座標系70の歩行者の座標(xlp(t+p|t),ylp(t+p|t),zlp(t+p|t))と、ライト座標系70の車両100の座標(xlc(t+p|t),ylc(t+p|t),zlc(t+p|t))とから、水平角度θ及び垂直角度φを計算する。具体的には、第2角度算出部44は、θ(t+p,t)=atan({xlp(t+p|t)−xlc(t+p|t)}/{zlp(t+p|t)−zlc(t+p|t)})により、水平角度θを計算する。また、第2角度算出部44は、φ(t+p,t)=atan({ylp(t+p|t)−ylc(t+p|t)}/{zlp(t+p|t)−zlc(t+p|t)})により、垂直角度φを計算する。
ここでθ(t+p,t)は、時刻tに対して時間p後の水平角度を示し、φ(t+p,t)は、時刻tに対して時間p後の垂直角度を示している。
(ステップS6B:衝突位置予測処理)
衝突予測部47は、ステップS5Aで計算された歩行者の予測位置と、ステップS5Bで計算された車両100の予測位置とから、歩行者と車両100とが同じ時刻に同じ位置に移動すること予測されているか否かを判定する。ここで、同じ時刻とは、厳密に同一の時刻だけでなく、例えば1秒といったある程度の幅のある時間である。同様に、同じ位置とは、厳密に同一の位置だけでなく、3メートル四方といったある程度広さのある範囲である。衝突予測部47は、歩行者と車両100とが同じ時刻に同じ位置に移動すること予測されていると判定された場合には、歩行者と車両100とが衝突する可能性があると判定する。
そして、衝突予測部47は、上述した同じ位置を歩行者と車両100とが衝突する衝突位置として特定する。第2角度算出部44は、0.1秒後から5秒後までについて、車両100の進行方向に対する衝突位置の水平角度θ及び垂直角度φを計算する。水平角度θ及び垂直角度φの計算方法は、ステップS6Aと同様である。
(ステップS7:第2照射処理)
制御実行部48は、ステップS6Aで計算された水平角度θ及び垂直角度φと、ステップS6Bで判定された結果と、ステップS5Cで判定された結果とに基づき、マーキングライト35を制御する。制御実行部48は、ステップS6Bで衝突する可能性があると判定された場合と、衝突する可能性がないと判定された場合とで制御を変える。
衝突する可能性があると判定された場合の制御を説明する。
制御実行部48は、マーキングライト35を制御して、衝突位置の方向と、歩行者が存在する方向とに向けて光を照射する。この際、制御実行部48は、マーキングライト35から照射される光を一定パターンで変化させる。制御実行部48は、一定時間経過後、マーキングライト35を制御して、歩行者が存在する方向だけに向けて光を照射する。
具体的には、制御実行部48は、衝突位置及び歩行者の位置それぞれについて、0.1秒後から5秒後までの50個の水平角度θ及び垂直角度φの組のうち1つを選択する。この際、制御実行部48は、ステップS7が実行されてからマーキングライト35から光を照射するまでの処理時間に鑑みて、水平角度θ及び垂直角度φの組を選択する。制御実行部48は、衝突位置及び歩行者の位置それぞれについて選択された組の水平角度θにマーキングライト35を回転させるモーター制御信号を水平ドライバー37に出力し、選択された組の垂直角度φにマーキングライト35を回転させるモーター制御信号を垂直ドライバー38に出力する。また、制御実行部48は、ドライバー制御信号をLEDドライバー34に出力する。
すると、水平ドライバー37は、モーター制御信号が入力されると、モーター制御信号に基づき水平ステッピングモーター39にパルス信号を出力する。水平ステッピングモーター39は、パルス信号に基づきマーキングライト35を水平方向に回転させる。同様に、垂直ドライバー38は、モーター制御信号が入力されると、モーター制御信号に基づき垂直ステッピングモーター40にパルス信号を出力する。垂直ステッピングモーター40は、パルス信号に基づきマーキングライト35を垂直方向に回転させる。この際、水平ステッピングモーター39及び垂直ステッピングモーター40は、マーキングライト35の一部の光源を衝突位置の方向に回転させ、残りの光源を歩行者の方向に回転させる。また、LEDドライバー34は、ドライバー制御信号が入力されると、5Vの電圧をマーキングライト35に印加する。
制御実行部48は、一定時間経過後、衝突位置についてのみ、水平角度θ及び垂直角度φの組のうち1つを選択する。そして、マーキングライト35を制御して、歩行者が存在する方向だけに向けて光を照射する。
ここで、制御実行部48は、一定時間が経過するまで、LEDドライバー34を駆動して、車両100から衝突位置に向けて走査するように、マーキングライト35に光を照射させてもよい。また、制御実行部48は、一定時間が経過するまで、マーキングライト35の光の色を、例えば青から赤に徐々に変化させて、衝突位置に向けて照射させてもよい。制御実行部48は、一定時間が経過するまで、マーキングライト35の光の強度を徐々に変化させて、衝突位置に向けて照射させてもよい。
衝突する可能性がないと判定された場合の制御を説明する。
制御実行部48は、マーキングライト35を制御して、歩行者が存在する方向に向けて光を照射し、歩行者がロービームの照射範囲に入った場合に光の照射を止める。光を照射する際、制御実行部48は、マーキングライト35から照射される光を一定パターンで変化させてもよい。
具体的には、制御実行部48は、歩行者の位置それぞれについて、0.1秒後から5秒後までの50個の水平角度θ及び垂直角度φの組のうち1つを選択する。この際、制御実行部48は、ステップS7が実行されてからマーキングライト35から光を照射するまでの処理時間に鑑みて、水平角度θ及び垂直角度φの組を選択する。制御実行部48は、選択された組の水平角度θにマーキングライト35を回転させるモーター制御信号を水平ドライバー37に出力し、選択された組の垂直角度φにマーキングライト35を回転させるモーター制御信号を垂直ドライバー38に出力する。また、制御実行部48は、ドライバー制御信号をLEDドライバー34に出力する。
すると、水平ドライバー37は、モーター制御信号が入力されると、モーター制御信号に基づき水平ステッピングモーター39にパルス信号を出力する。水平ステッピングモーター39は、パルス信号に基づきマーキングライト35を水平方向に回転させる。同様に、垂直ドライバー38は、モーター制御信号が入力されると、モーター制御信号に基づき垂直ステッピングモーター40にパルス信号を出力する。垂直ステッピングモーター40は、パルス信号に基づきマーキングライト35を垂直方向に回転させる。また、LEDドライバー34は、ドライバー制御信号が入力されると、5Vの電圧をマーキングライト35に印加する。
ステップS5Cで歩行者がロービームの照射範囲に入ったと判定された場合には、制御実行部48は、照射を止めることを示すドライバー制御信号をLEDドライバー34に出力する。すると、LEDドライバー34は、ドライバー制御信号が入力されると、0Vの電圧をマーキングライト35に印加する。これにより、マーキングライト35からの光の照射が止まる。
ステップS7では、制御実行部48は、ステップS5Cで歩行者がロービームの照射範囲に入ったと判定されるまでは、LEDドライバー34を駆動して、車両100から歩行者までの距離に応じた色温度の光をマーキングライト35に照射させてもよい。制御実行部48は、距離が近づくにつれて、徐々に光の色を青から赤に変化させていってもよい。制御実行部48は、距離に応じた強度の光をマーキングライト35に照射させてもよい。
車両100から歩行者までの距離は、車両100の位置と歩行者の位置とから計算可能である。この際、車両座標系60における車両100の位置及び歩行者の位置を用いて距離を計算してもよいし、ライト座標系70における車両100の位置及び歩行者の位置を用いて距離を計算してもよい。
例えば、図9に示すように、制御実行部48は、(1)(2)(3)の順にマーキングライト35に光を照射させて、車両100から衝突位置に向けて走査を行う。同時に、制御実行部48は、(4)(5)のように、歩行者の存在する範囲に向けてマーキングライト35に光を照射させる。また、制御実行部48は、(6)のように、歩行者が移動した場合には、移動した位置に対してマーキングライト35に光を照射させる。そして、制御実行部48は、(7)に示すロービームの照射範囲に、歩行者が入った場合には、光の照射を止める。
***実施の形態1の効果***
以上のように、実施の形態1に係る車両照明制御装置10は、ロービームの照射範囲外に存在する歩行者を検知して、歩行者が存在する範囲へマーキングライト35により光を照射する。これにより、ロービームのみ使用している状況では認知することのできなかった遠方の対象物をドライバーが認知することが可能になる。
また、歩行者は、マーキングライト35により光が照射されることにより、ドライバーが存在に気が付いているという安心感を得ることができる。
また、実施の形態1に係る車両照明制御装置10は、歩行者がロービームの照射範囲に入った場合には、マーキングライト35による光の照射を止める。これにより、ドライバーがマーキングライト35の光に注視し、歩行者に対する注意が削がれることを防止できる。また、光の照射と、水平ステッピングモーター39及び垂直ステッピングモーター40の駆動とに必要なエネルギーの消費を抑えることができる。
また、実施の形態1に係る車両照明制御装置10は、マーキングライト35により照射された範囲に存在する歩行者を可視光カメラ32を用いて検知する。可視光カメラ32を用いて歩行者を検知することにより、歩行者の存在する位置を、水平方向だけでなく、垂直方向にも特定することが可能になる。これにより、より精度よく歩行者に光を照射することが可能になる。
歩行者の顔よりも低い位置に光を照射するといった制御をすることも考えられる。これにより、歩行者を眩惑しないようにすることができる。
また、実施の形態1に係る車両照明制御装置10は、車両100と歩行者との間の距離に応じて、マーキングライト35により照射する光の色と、マーキングライト35により照射する光の強度との少なくともいずれかを変える。これにより、車両100から歩行者までの距離をドライバーが容易に認識することができる。
また、実施の形態1に係る車両照明制御装置10は、衝突位置を予測し、マーキングライト35により衝突位置に光を照射する。これにより、ドライバー及び歩行者に注意を促すことができる。
***他の構成***
<変形例1>
実施の形態1では、制御実行部48は、歩行者がロービームの照射範囲に入った場合には、マーキングライト35による光の照射を止めた。しかし、制御実行部48は、歩行者がロービームの照射範囲に入った場合には、マーキングライト35による光の強度を低くしてもよい。これにより、ドライバーがマーキングライト35の光に惑わされることを防止しつつ、歩行者がいる位置をドライバーが認識し易くすることが可能になる。
<変形例2>
実施の形態1では、マーキングライト35の方向を制御するために水平ドライバー37及び垂直ドライバー38のハードウェアを用いた。しかし、制御実行部48がソフトウェアによりマーキングライト35の方向を制御してもよい。
実施の形態2.
実施の形態2は、可視光カメラ32に代えて、レーザースキャナーといった測距センサー321を用いる点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
***構成の説明***
図10を参照して、実施の形態2に係る車両照明制御装置10の構成を説明する。
車両100には、可視光カメラ32に代えて、測距センサー321が搭載される点と、検知部21が第3パラメータ記憶部241と第4パラメータ記憶部242とを備える点とが図1に示す構成と異なる。
測距センサー321は、レーザーを用いて測距し、測距データを出力するセンサーである。測距センサー321は、具体例としては、LiDAR(Light Detection and Ranging)といったレーザースキャナーである。実施の形態2では、測距センサー321は、車両100の周囲にレーザーを照射し、反射点で反射した光を受信して反射点までの距離を計算し、計算された反射点までの距離を示す測距データを出力するとする。
図11を参照して、実施の形態2に係るライト制御部22の構成を説明する。
ライト制御部22は、画素ベース予測部41と、第1角度算出部42と、第1パラメータ記憶部421とを備えていない点と、第5パラメータ記憶部461を備えている点とが図2に示す構成と異なる。
***動作の説明***
図12から図15を参照して、実施の形態2に係る車両照明制御装置10の動作を説明する。
実施の形態2に係る車両照明制御装置10の動作は、実施の形態2に係る車両照明制御方法に相当する。また、実施の形態2に係る車両照明制御装置10の動作は、実施の形態2に係る車両照明制御プログラムの処理に相当する。
図12を参照して、実施の形態2に係る数学的定義を説明する。
図12に示すように、測距センサー座標系80は、レーザーの0度の照射方向をZL軸とし、左手系を用いてXL軸及びYL軸が定義される。ある時刻T=tにおける測距センサー座標系80での歩行者の座標は、(xLp(t),yLp(t),zLp(t))と表される。また、ある時刻T=tにおける測距センサー座標系80での車両100の座標は、(xLc(t),wLc(t),zLc(t))と表される。
図13を参照して、実施の形態2に係る車両照明制御装置10の動作を説明する。
ステップS11の処理は、図6のステップS1の処理と同じである。ステップS13Bは、図6のステップS5Bと同じである。ステップS14A及びステップS14Bは、図6のステップS6A及びステップS6Bと同じである。
(ステップS12:第2検知処理)
第2検知部24は、測距センサー231から出力された測距データにより、車両100が有するロービームの照射範囲外に存在する対象物である歩行者までの距離を測定する。
具体的には、まず、第2検知部24は、ステップS1で出力された歩行者の画像座標系50における画素位置を測距センサー座標系80における位置に変換する。つまり、図14に示すように、第2検知部24は、歩行者56についての画像座標系50における検知枠52の左上の画素位置53(Utl,Vtl)を測距センサー231の水平角度α(Utl)及び垂直角度β(Vtl)に変換するとともに、右下の画素位置54(Ubr,Vbr)とを、測距センサー231の水平角度α(Ubr)、垂直角度β(Vbr)に変換する。
ここで、第2検知部24は、遠赤外線カメラ31における画像座標系50の任意の座標(u,v)に対し、測距センサー231の照射方向(α(u,v)、β(u,v))をテーブルとして第3パラメータ記憶部241に記憶しておく。そして、第2検知部24は、ステップS1で出力された画素位置53(Utl,Vtl)と、右下の画素位置54(Ubr,Vbr)とのそれぞれに対応する測距センサー231の照射方向(α(u,v)、β(u,v))を第3パラメータ記憶部241に記憶されたテーブルを引いて特定する。
第3パラメータ記憶部241は、1<=u<=U及び1<=v<=Vの全画素位置について照射方向(α(u,v)、β(u,v))がテーブルとして記憶されていてもよい。しかし、例えば、一定の間隔の画素位置について照射方向(α(u,v)、β(u,v))がテーブルとして記憶されていてもよい。一定の間隔の画素位置について照射方向(α(u,v)、β(u,v))が記憶されている場合には、記憶されていない画素位置については、記憶されている画素位置についての照射方向(α(u,v)、β(u,v))から線形補間を行い計算すればよい。テーブルの作成方法については特に限定するものではない。
次に、第2検知部24は、測距センサー231によって出力された測距データから、特定された測距センサー231の水平角度α(Utl)から水平角度α(Ubr)までの範囲、かつ、垂直角度β(Vtl)から垂直角度β(Vbr)までの範囲に照射されたレーザーについての測距データを抽出する。つまり、第2検知部24は、ステップS11で検知された歩行者が存在する範囲に照射されたレーザーについての測距データを抽出する。
そして、第2検知部24は、抽出された測距データからレーザーの反射強度が強い位置を特定する。第2検知部24は、特定された位置までの距離と、特定された位置に対するレーザーの照射角度とから、歩行者の座標(xLp(t),yLp(t),zLp(t))を特定する。なお、抽出された測距データから歩行者の座標を特定する方法については、特に限定されない。例えば、複数の測距データを平均値で置き換えた上で、歩行者の座標を特定するようにしてもよい。
最後に、第2検知部24は、特定された測距センサー座標系80における歩行者の座標(xLp(t),yLp(t),zLp(t))を、車両座標系60における座標(xwp(t),ywp(t),zwp(t))に変換し、出力する。
ここで、第2検知部24は、車両座標系60の歩行者の座標(xwp(t),ywp(t),zwp(t))と測距センサー座標系80の歩行者の座標(xLp(t),yLp(t),zLp(t))との変換のためのキャリブレーションパラメータを予め計測して、第4パラメータ記憶部242に記憶しておく。このキャリブレーションパラメータは、2つの座標間での回転(r11,r12,r13,r21,r22,r23,r31,r32,r33)と、並進(t1,t2,t3)とで表される。そして、第2検知部24は、[xwp(t);ywp(t);zwp(t);1]=[r11 r12 r13 t1;r21 r22 r23 t2;r31 r32 r33 t3;0 0 0 1]×[xLp(t);yLp(t);zLp(t);1]を計算することにより、測距センサー座標系80の歩行者の座標を車両座標系60の歩行者の座標(xwp(t),ywp(t),zwp(t))に変換する。
(ステップS13A:距離ベース予測処理)
図6のステップS5Aと同様に、ライト制御部22の車両ベース予測部43は、ステップS12で出力された歩行者の座標値に基づき、ある時間後の歩行者の移動先の座標値を予測する。
(ステップS13C:ロービーム判定処理)
ライト制御部22のロービーム検出部46は、歩行者がロービームの照射範囲に入ったか否かを判定する。
具体的には、ロービーム検出部46は、車両座標系60においてロービームが届く範囲を第5パラメータ記憶部461に記憶しておく。例えば、図15のような範囲でロービームが照射されるとする。この場合には、第5パラメータ記憶部461には、Zw軸1.0m毎のXw軸の最大値と最小値が、ロービームの照射範囲として記憶される。ロービーム検出部46は、第5パラメータ記憶部461に記憶されたロービームが届く範囲と、直近に実行されたステップS12で出力された歩行者の座標(xwp(t),ywp(t),zwp(t))とを比較することにより、歩行者がロービームの照射範囲に入ったか否かを判定する。
(ステップS15:第2照射処理)
制御実行部48は、ステップS14Aで計算された水平角度θ及び垂直角度φと、ステップS14Bで判定された結果と、ステップS14Cで判定された結果とに基づき、マーキングライト35を制御する。
具体的な制御は、図6のステップS7の制御と同じである。
***実施の形態2の効果***
以上のように、実施の形態1に係る車両照明制御装置10は、測距センサー321を用いて、ロービームの照射範囲外に存在する歩行者の位置を特定して、歩行者が存在する範囲へマーキングライト35により光を照射する。これにより、ロービームのみ使用している状況では認知することのできなかった遠方の対象物をドライバーが認知することが可能になる。
特に、実施の形態1では、マーキングライト35により光を照射した上で、可視光カメラ32により歩行者を検知して、歩行者の位置を特定した。これに比べて、実施の形態2では、マーキングライト35により光を照射することなく、歩行者の位置を特定することができる。そのため、実施の形態1と比べて単純な処理により、実施の形態1と同様の効果を奏することができる。
10 車両照明制御装置、21 検知部、22 ライト制御部、23 第1検知部、24 第2検知部、31 遠赤外線カメラ、32 可視光カメラ、33 車載センサー、34 LEDドライバー、35 マーキングライト、36 モーター制御装置、37 水平ドライバー、38 垂直ドライバー、39 水平ステッピングモーター、40 垂直ステッピングモーター、41 画素ベース予測部、42 第1角度算出部、421 第1パラメータ記憶部、43 車両ベース予測部、44 第2角度算出部、441 第2パラメータ記憶部、45 車両移動予測部、46 ロービーム検出部、47 衝突予測部、48 制御実行部、50 画像座標系、60 車両座標系、70 ライト座標系、100 車両。

Claims (8)

  1. 車両が有するロービームの照射範囲外に存在する対象物を遠赤外線カメラにより得られた映像データを用いて検知する第1検知部と、
    前記第1検知部によって検知された前記対象物を表す前記映像データにおける画素が示す位置を、レーザーを用いて測距する測距センサの角度方向に変換して、当該角度方向に照射されたレーザーを用いて測距して得られた測距データを用いて検知する第2検知部と、
    前記ロービームよりも遠方まで照射可能なマーキングライトにより、前記第2検知部によって検知された前記対象物の位置を照射するライト制御部と
    を備える車両照明制御装置。
  2. 前記ライト制御部は、前記対象物が前記ロービームの照射範囲に入った場合には、前記マーキングライトによる照射を止める
    請求項1に記載の車両照明制御装置。
  3. 前記ライト制御部は、前記対象物が前記ロービームの照射範囲に入った場合には、前記マーキングライトによる照射の強度を低くする
    請求項1に記載の車両照明制御装置。
  4. 前記ライト制御部は、前記車両と前記対象物との間の距離に応じて、前記マーキングライトにより照射する光の色と、前記マーキングライトにより照射する光の強度との少なくともいずれかを変える
    請求項1から3までのいずれか1項に記載の車両照明制御装置。
  5. 前記ライト制御部は、前記車両と前記対象物とが衝突する可能性がある衝突位置を予測し、前記マーキングライトにより前記衝突位置を照射する
    請求項1から4までのいずれか1項に記載の車両照明制御装置。
  6. 前記車両照明制御装置は、さらに、
    前記遠赤外線カメラによって得られる前記映像データの横及び縦の画素位置に対する前記測距センサのレーザーの照射方向をそれぞれ水平角度及び垂直角度として記憶したパラメータ記憶部
    を備え、
    前記第2検知部は、前記パラメータ記憶部を参照して、前記映像データにおける画素が示す位置に対応する測距データを特定する
    請求項1から5までのいずれか1項に記載の車両照明制御装置。
  7. 第1検知部が、車両が有するロービームの照射範囲外に存在する対象物を遠赤外線カメラにより得られた映像データを用いて検知し、
    第2検知部が、検知された前記対象物を表す前記映像データにおける画素が示す位置を、レーザーを用いて測距する測距センサの角度方向に変換して、当該角度方向に照射されたレーザーを用いて測距して得られた測距データを用いて検知し、
    ライト制御部が、前記ロービームよりも遠方まで照射可能なマーキングライトにより、検知された前記対象物の位置を照射する
    車両照明制御方法。
  8. 車両が有するロービームの照射範囲外に存在する対象物を遠赤外線カメラにより得られた映像データを用いて検知する第1検知処理と、
    前記第1検知処理によって検知された前記対象物を表す前記映像データにおける画素が示す位置を、レーザーを用いて測距する測距センサの角度方向に変換して、当該角度方向に照射されたレーザーを用いて測距して得られた測距データを用いて検知する第2検知処理と、
    前記ロービームよりも遠方まで照射可能なマーキングライトにより、前記第2検知処理によって検知された前記対象物の位置を照射するライト制御処理と
    をコンピュータに実行させる車両照明制御プログラム。
JP2018548937A 2018-03-29 2018-03-29 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム Active JP6526350B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/013137 WO2019186864A1 (ja) 2018-03-29 2018-03-29 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム

Publications (2)

Publication Number Publication Date
JP6526350B1 true JP6526350B1 (ja) 2019-06-05
JPWO2019186864A1 JPWO2019186864A1 (ja) 2020-04-30

Family

ID=66730648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018548937A Active JP6526350B1 (ja) 2018-03-29 2018-03-29 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム

Country Status (5)

Country Link
US (1) US11332063B2 (ja)
JP (1) JP6526350B1 (ja)
CN (1) CN111902315B (ja)
DE (1) DE112018007190T5 (ja)
WO (1) WO2019186864A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11396986B2 (en) 2019-05-23 2022-07-26 Valeo North America, Inc. Apparatus and method for masking residual visible light from an infrared emission source

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111902314B (zh) * 2018-03-29 2023-09-08 三菱电机株式会社 车辆照明控制装置、车辆照明控制方法和车辆照明控制程序
FR3104675B1 (fr) * 2019-12-16 2021-11-26 Valeo Vision Procédé de contrôle d’un système d’éclairage d’un véhicule automobile

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143510A (ja) * 2006-11-17 2008-06-26 Toyota Central R&D Labs Inc 注意喚起照射装置
JP2008181711A (ja) * 2007-01-23 2008-08-07 Matsushita Electric Ind Co Ltd 暗視撮像装置、ヘッドライトモジュール、車両及び暗視撮像装置の制御方法
JP2008230333A (ja) * 2007-03-19 2008-10-02 Mazda Motor Corp 車両の運転支援装置
JP2010018165A (ja) * 2008-07-10 2010-01-28 Panasonic Corp 車両用照明装置及び照明方法
JP2013184614A (ja) * 2012-03-08 2013-09-19 Toyota Motor Corp 多光式ヘッドライト
JP2014102743A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 報知制御方法、報知制御装置および報知制御プログラム
JP2017165178A (ja) * 2016-03-15 2017-09-21 トヨタ自動車株式会社 車両用照明装置
JP6288208B1 (ja) * 2016-10-24 2018-03-07 マツダ株式会社 車両用ヘッドライト制御装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5843014A (en) 1995-03-24 1998-12-01 Alza Corporation Display for an electrotransport delivery device
AU2003234995A1 (en) * 2002-04-25 2003-11-10 Matsushita Electric Industrial Co., Ltd. Object detection device, object detection server, and object detection method
JP2004095433A (ja) * 2002-09-02 2004-03-25 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4437712B2 (ja) 2004-07-07 2010-03-24 株式会社小糸製作所 車両用照明システム
JP2006185410A (ja) * 2004-12-02 2006-07-13 Nissan Motor Co Ltd 夜間移動体報知装置及び夜間移動体報知方法
JP2006176020A (ja) * 2004-12-22 2006-07-06 Nissan Motor Co Ltd 歩行者報知装置及び方法
JP2007030739A (ja) 2005-07-28 2007-02-08 Fujitsu Ten Ltd 車載灯具制御装置および車載灯具制御方法
JP2007099235A (ja) 2005-10-07 2007-04-19 Nissan Motor Co Ltd 切り替え制御システム
JP4835374B2 (ja) 2006-10-19 2011-12-14 トヨタ自動車株式会社 車両用照明装置
JP2008226140A (ja) * 2007-03-15 2008-09-25 Mazda Motor Corp 車両の運転支援装置
JP5051468B2 (ja) * 2008-12-25 2012-10-17 トヨタ自動車株式会社 センサ校正装置、及び、センサ校正方法
JP2012151058A (ja) 2011-01-21 2012-08-09 Koito Mfg Co Ltd シェード駆動ユニット
JP5370413B2 (ja) 2011-06-06 2013-12-18 株式会社デンソー 認識対象検出装置
JP5907407B2 (ja) 2011-12-05 2016-04-26 スタンレー電気株式会社 車両用前照灯
JP5643373B2 (ja) 2013-04-18 2014-12-17 株式会社Screenホールディングス 空間光変調器
KR20140137577A (ko) * 2013-05-23 2014-12-03 한국전자통신연구원 차량의 주변환경 정보를 제공하는 장치 및 그 방법
JP2015033939A (ja) 2013-08-09 2015-02-19 スタンレー電気株式会社 車両用前照灯の点灯制御装置、車両用前照灯システム
JP2016110853A (ja) 2014-12-08 2016-06-20 株式会社小糸製作所 車両用前照灯
CN107851184B (zh) * 2015-07-28 2022-12-23 苹果公司 用于光和图像投影的系统和方法
US20170106793A1 (en) * 2015-10-19 2017-04-20 Ford Global Technologies, Llc Vehicle lighting system with dynamic beam pattern
JP6311768B1 (ja) * 2016-10-24 2018-04-18 マツダ株式会社 車両用ヘッドライト制御装置
US10677897B2 (en) * 2017-04-14 2020-06-09 Luminar Technologies, Inc. Combining lidar and camera data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143510A (ja) * 2006-11-17 2008-06-26 Toyota Central R&D Labs Inc 注意喚起照射装置
JP2008181711A (ja) * 2007-01-23 2008-08-07 Matsushita Electric Ind Co Ltd 暗視撮像装置、ヘッドライトモジュール、車両及び暗視撮像装置の制御方法
JP2008230333A (ja) * 2007-03-19 2008-10-02 Mazda Motor Corp 車両の運転支援装置
JP2010018165A (ja) * 2008-07-10 2010-01-28 Panasonic Corp 車両用照明装置及び照明方法
JP2013184614A (ja) * 2012-03-08 2013-09-19 Toyota Motor Corp 多光式ヘッドライト
JP2014102743A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 報知制御方法、報知制御装置および報知制御プログラム
JP2017165178A (ja) * 2016-03-15 2017-09-21 トヨタ自動車株式会社 車両用照明装置
JP6288208B1 (ja) * 2016-10-24 2018-03-07 マツダ株式会社 車両用ヘッドライト制御装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11396986B2 (en) 2019-05-23 2022-07-26 Valeo North America, Inc. Apparatus and method for masking residual visible light from an infrared emission source
US11821598B2 (en) 2019-05-23 2023-11-21 Valeo North America, Inc. Apparatus and method for masking residual visible light from an infrared emission source

Also Published As

Publication number Publication date
JPWO2019186864A1 (ja) 2020-04-30
CN111902315B (zh) 2023-04-28
WO2019186864A1 (ja) 2019-10-03
DE112018007190T5 (de) 2020-12-10
US11332063B2 (en) 2022-05-17
CN111902315A (zh) 2020-11-06
US20200398737A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
US10614326B2 (en) System and method for vehicle control based on object and color detection
US10380438B2 (en) System and method for vehicle control based on red color and green color detection
JP6526350B1 (ja) 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム
JP6185970B2 (ja) 車両の後方側面に隣接する物体を検出する方法
US9707885B2 (en) Motor vehicle with driver's gaze controlled headlamp and method
JP6459659B2 (ja) 画像処理装置、画像処理方法、運転支援システム、プログラム
JP2014525067A (ja) 車両の周辺区域にある物体を認識する方法および装置
JP6551283B2 (ja) 車両制御装置、車両制御方法
WO2015190299A1 (ja) 車両用照明装置
EP2214121B1 (en) Safety system for a motor vehicle
JP6597350B2 (ja) 車両用撮像システム
JP6526351B1 (ja) 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム
JP2007218626A (ja) 対象物検出システム、作動装置制御システム、車両
JP2012226556A (ja) 走行支援装置
US20220230474A1 (en) Activity identification method and apparatus
JP2013213792A (ja) 路面状態推定装置
US11066005B2 (en) System and method for providing dynamic high beam control
JP5859897B2 (ja) 車載カメラ装置
JP5330120B2 (ja) 三次元形状計測装置および半導体集積回路
JP2014101068A (ja) 誤検知判定装置および車両制御システム
US20230136684A1 (en) Person movement type determination method, person movement type determination device, and storage medium
JP7020359B2 (ja) 警告装置
JP6720683B2 (ja) 車両用表示装置および車両用表示方法
CN117152721A (zh) 座椅定位推测装置、座椅定位推测方法以及座椅定位推测用计算机程序

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180914

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180914

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180914

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190507

R150 Certificate of patent or registration of utility model

Ref document number: 6526350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250