JP6744424B2 - 照明装置 - Google Patents

照明装置 Download PDF

Info

Publication number
JP6744424B2
JP6744424B2 JP2018552324A JP2018552324A JP6744424B2 JP 6744424 B2 JP6744424 B2 JP 6744424B2 JP 2018552324 A JP2018552324 A JP 2018552324A JP 2018552324 A JP2018552324 A JP 2018552324A JP 6744424 B2 JP6744424 B2 JP 6744424B2
Authority
JP
Japan
Prior art keywords
brightness
partial area
partial
unit
brightness adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018552324A
Other languages
English (en)
Other versions
JPWO2018096619A1 (ja
Inventor
嶋田 堅一
堅一 嶋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of JPWO2018096619A1 publication Critical patent/JPWO2018096619A1/ja
Application granted granted Critical
Publication of JP6744424B2 publication Critical patent/JP6744424B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415Dimming circuits
    • B60Q1/1423Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415Dimming circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/05Special features for controlling or switching of the light beam
    • B60Q2300/054Variable non-standard intensity, i.e. emission of various beam intensities different from standard intensities, e.g. continuous or stepped transitions of intensity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/20Indexing codes relating to the driver or the passengers
    • B60Q2300/23Driver's line of sight
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/42Indexing codes relating to other road users or special conditions oncoming vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/45Special conditions, e.g. pedestrians, road signs or potential dangers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40Indexing codes relating to other road users or special conditions
    • B60Q2300/47Direct command from other road users, i.e. the command for switching or changing the beam is sent by other vehicles or road devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Description

本発明は、照明装置に関する。
夜間における交通事故の発生を抑え、車社会の安全性を向上させるために、走行中の車の前照灯を常にハイビームとすることが提案されている。そこで、走行中は基本として運転者の視界を明るく照らしつつ、前方車や対向車へのグレアを回避するため、周囲の状況に応じて前照灯を部分消灯するAdaptive Driving Beam(ADB)と呼ばれる技術を搭載した照明装置が実用化され始めている。
例えば、特許文献1には、自車両が減光すべきかどうかを判定して、輝度を調整できる前照灯装置及び輝度制御方法が開示されている。具体的には、前照灯装置は、LEDを光源とし、前照灯を点灯する前照灯状況を検出する状況検出手段と、前照灯点灯状況に応じて前照灯の輝度をゼロより大きい所定値まで低下させる減光制御手段と、を有する。
また、特許文献2には、照明光下の照明範囲の撮像画像から、配光変更部をなす複数の配光変更素子夫々に対応した複数の部分領域の輝度を取得し、夫々の輝度に基づいて複数の配光変更素子夫々の光学パラメータを制御することにより、照明装置から近距離及び遠距離に位置する被照明物が夫々輝度過剰及び輝度不足になることを防ぐ配光調整方法及び照明装置、並びに照明装置から近距離及び遠距離に位置する被撮像物が夫々露光過剰及び露光不足になることを防ぐ照明装置を備えた撮像装置が開示されている。
特開2012−61992号公報 特開2009−204734号公報
ところが、特許文献1で開示された前照灯装置では、画像データのうち撮影対象の変化がしにくい領域を、照度変化の判定に使用している。このため、例えば、側道の照明や併走する車両の照明など、車の運転者から見て動的に周囲の明るさが変化する状況に応じて前照灯の照度を調光することができない。
また、特許文献2で開示された照明装置では、静止状態において照明光の照射範囲の輝度情報を取得し、部分領域毎に予め設定した目標輝度に補正することにより照明光の配光が調整される。このため、動的に周囲の明るさが変化する非定常状態では、例えば、周囲の輝度分布が周期的に変化した場合、その変化に忠実に追従して前照灯の配光を補正する作用が働いてしまう。その結果、運転者は照明光が点滅している様に知覚し、運転者に違和感や疲労を与えるおそれがある。また、照明光の点滅がパッシングと誤解される事も考えられる。
そこで、本発明は、周囲の輝度が動的に変化する状況においても、適切に輝度を調整することが可能な照明装置、および照明装置の調光方法を提供することを目的とする。
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
本発明の代表的な実施の形態による照明装置は、車両に設けられ、車両の前方の所定の撮像領域を撮像して複数の画素からなる画像を生成し、画像に基づいて画素ごとの画像データを生成する撮像部と、画像データに基づいて画素ごとの輝度を算出する画像処理部と、画素ごとの輝度に基づいて、複数の部分領域で構成された撮像領域のそれぞれの部分領域の平均輝度を算出し、平均輝度と、部分領域の平均輝度の上限を規定する輝度閾値と、に基づいて部分領域ごとに輝度調整を行うかどうかを判定し、輝度調整の判定結果に基づいて部分領域の輝度調整を行うコントローラと、複数の光源を有し、光源が輝度調整による輝度調整結果に基づいてそれぞれの光源を所定の光量に調整し、部分領域を照明する照明部と、を備えている。
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。すなわち、本発明の代表的な実施の形態によれば、周囲の輝度が動的に変化する状況においても、適切に輝度を調整することが可能となる。
本発明の実施の形態1に係る照明装置の使用状況の一例を示す図である。 本発明の実施の形態1に係る照明装置の構成の一例を示す図である。 本発明の実施の形態1に係る照明装置の調光方法の一例を示すフローチャート図である。 本発明の実施の形態1に係る照明装置の調光方法の他の例を示す概略図である。 本発明の実施の形態2に係る部分領域の輝度調整を行うかどうかを判定する方法の一例を示す概略図である。 本発明の実施の形態3に係る照明装置の調光方法の一例を示すフローチャート図である。 本発明の実施の形態3に係る照明装置の調光方法の一例を示す概念図である。 本発明の実施の形態4に係る照明装置の構成の一例を示す図である。 本発明の実施の形態4に係る照明部の照明タイミングの一例を示す図である。 本発明の実施の形態4に係る照明部の照明タイミングと光量との関係の一例を示す図である。 本発明の実施の形態5に係る照明装置の調光方法の一例を示す図である。 本発明の実施の形態6に係る照明装置の構成の一例を示す図である。 本発明の実施の形態6に係る運転者の視線監視の一例を示す図である。 本発明の実施の形態7に係る照明装置の調光方法の一例を示す図である。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全ての図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。
(実施の形態1)
<照明装置の構成>
図1は、本発明の実施の形態1に係る照明装置の使用状況の一例を示す図である。図1(a)は、照明装置が車両の前方を照射している状況を示す図である。図1(b)は、調光前の輝度分布を示す図である。図1(c)は、調光後の輝度分布を示す図である。図2は、本発明の実施の形態1に係る照明装置の構成の一例を示す図である。車両1は、図1(a)に示すように、照明装置10等を備えている。照明装置10は、例えば夜間の走行時等に車両1の前方を照明する。照明装置10は、図1(a)に示すように、例えば、Z軸の正方向(図示で左方向)を照明する。照明装置10は、図1〜2に示すように、例えば、撮像部20、画像処理部30、コントローラ40、照明部50等を備えている。
撮像部20は、例えば図1(b)、(c)に示すように、車両1の前方(Z軸の正方向)の所定の撮像領域20Aを撮像して画像を生成する。撮像領域20Aは、例えば、図1(b)、(c)に示すように、複数の部分領域で構成されている。例えば、撮像領域20Aは、図1(b)、(c)に示すように、縦方向(Y軸方向)に沿ってA〜Hの各列に分割され、横方向(X軸方向)に沿ってa〜dの各行に分割された複数の部分領域で構成されている。なお、以下では、例えば、A列とa行とが交差する部分領域を部分領域Aa、H列とd行とが交差する部分領域を部分領域Hd等と表記する場合がある。なお、図1(b)では、撮像領域20Aが32個の部分領域に分割された例が示されている。ただし、撮像領域20Aは、例えば、これ以上の個数の部分領域に分割されてもよいし、これ以下の個数の部分領域に分割されてもよい。
撮像部20は、図2に示すように、例えば、撮像レンズ21、絞り22、撮像素子23、AGC(Automatic Gain Control:自動利得制御)24、A/D変換器25、露光制御部26等を備えている。
撮像レンズ21は、撮像領域20Aから到達した光を集光する。また、撮像レンズ21は、集光した光が撮像素子23へ向かうよう光路を調整する。撮像レンズ21は、1枚のレンズで構成されてもよいし、複数枚のレンズで構成されてもよい。
絞り22は、撮像レンズ21で集光された光の光量を調整する。絞り22は、例えば、複数の絞り羽根22aで構成され、絞り羽根22aの配置を異ならせることにより絞り22の開口径を調整する。絞り22は、露光制御部26による制御に基づいて開口径を調整する。
撮像素子23は、例えば、いずれも図示しない電子シャッタ、イメージセンサを備えている。電子シャッタは、絞り22とイメージセンサとの間に配置され、シャッタ速度を調整することによりイメージセンサへ照射される光の露光量を調整する。電子シャッタは、露光制御部26による制御に基づいてシャッタ速度を調整する。イメージセンサは、例えば、複数の画素を有するCMOS、CCD等で構成されている。イメージセンサは、複数の画素からなる画像を生成する。例えば、イメージセンサは、画素ごとに露光量に基づいた画素信号(例えば、電圧)を生成することにより画像を生成する。そして、イメージセンサは、生成した画素信号(画像)をAGC24へ出力する。
AGC24は、撮像素子23から出力された画素信号の利得の調整を行う。例えば、AGC24は、露光制御部26による制御に基づいて画素信号の利得の調整を行う。例えば、AGC24は、画素信号が適切な範囲内に収まるよう、利得の調整(例えば、電圧)を行う。AGC24は、利得の調整を行ったそれぞれの画素信号をA/D変換器25へ出力する。
露光制御部26は、絞り22と接続され、絞り22の開口径を制御し、撮像素子23に到達する光の光量を調整する。例えば、撮影領域が暗く、集光された光の光量が少ない場合、露光制御部26は、それぞれの絞り羽根22aの配置を変更し、開口径を大きくする。これにより、露光制御部26は、撮像素子23へ照射される光の光量の低下を抑える。また、例えば、撮影領域が明るく、集光された光の光量が多い場合、露光制御部26は、それぞれの絞り羽根22aの配置を変更し、開口径を小さくする。これにより、露光制御部26は、撮像素子23へ照射される光の光量の増大を抑える。
また、露光制御部26は、撮像素子23と接続され、電子シャッタのシャッタ速度を制御し、イメージセンサへの露光量を調整する。例えば、露光制御部26は、撮像素子23に到達する光の光量が多い場合、シャッタ速度を速くし、イメージセンサへの露光量を抑える。また、露光制御部26は、撮像素子23へ到達する光の光量が少ない場合、シャッタ速度を遅くし、イメージセンサへの露光量を増大させる。
また、露光制御部26は、AGC24と接続され、AGC24の利得を調整する。例えば、露光制御部26は、画素信号の電圧が適切な範囲となるようAGC24の利得を調整する。例えば、利得が調整された画素信号の電圧が適切な範囲より大きくなる場合、露光制御部26は、AGC24の利得を小さくする。また、例えば、利得調整された画素信号の電圧が適切な範囲より小さくなる場合、露光制御部26は、AGC24の利得を大きくする。
A/D変換器25は、AGC24から出力されたそれぞれの画素信号(アナログ信号)をデジタル信号に変換する。そして、A/D変換器25は、全ての画素のデジタル変換された画素信号に基づいて画像データを生成する。A/D変換器25は、生成した画像データを画像処理部30へ出力する。なお、撮像部20は、前方車との衝突回避などを目的に、周囲の状況を把握するために使用されてもよい。
画像処理部30は、撮像部20から出力された画像データに基づいて、画素ごとの輝度を算出する。画像処理部30は、例えば、画像データに基づいて、視感反射率や視感透過率と呼ばれるY値を見積ることにより画素ごとの輝度を算出する。
各画素の輝度は、例えば、絞り22の開口径、撮像素子23における露光量、AGC24の利得の設定値に依存する。このため、画像処理部30は、絞り22の開口径、露光量、利得の設定値の各情報を予め取得し、これらの情報、及び輝度情報に基づいて画素ごとの輝度を算出することが望ましい。なお、各画素の輝度が実際の輝度と略同等となる様に、輝度の算出に係る各種パラメータが適宜調整されていることが望ましい。画像処理部30は、画素ごとの輝度に関する輝度情報を生成し、生成した輝度情報をコントローラ40へ出力する。
なお、画像処理部30は、例えば、車両1の照明装置10以外の場所に設けられてもよい。また、画像処理部30は、撮像部20から出力された画像データだけでなく、車両1で行うその他の画像処理を行ってもよい。
コントローラ40は、撮像部20で生成された画像から、撮像領域20Aにおける複数の部分領域毎の平均輝度を算出する。また、コントローラ40は、算出した平均輝度と後述する所定の輝度閾値に基づいて、照明部50における複数の光源の光量を個別に制御するための情報を照明部50に出力する。
コントローラ40は、図2に示すように、例えば、演算部41、調光部46を備えている。演算部41は、図2に示すように、例えば、平均輝度算出部42、輝度調整判定部43を備えている。
平均輝度算出部42は、画像処理部30から出力された輝度情報に基づいて、撮像領域20Aを構成する部分領域ごとの平均輝度を算出する。平均輝度算出部42は、1つの部分領域を構成する全ての画素の輝度情報に基づいて、この部分領域の平均輝度を算出する。このように、平均輝度算出部42は、全ての部分領域の平均輝度を算出する。平均輝度算出部42は、各部分領域の平均輝度に関する平均輝度情報を輝度調整判定部43へ出力する。
輝度調整判定部43は、平均輝度算出部42から出力された平均輝度情報に基づいて、部分領域ごとに照明光の輝度の調整を行うかどうかを判定する。例えば、輝度調整判定部43は、平均輝度情報、及び部分領域ごとに予め設定された輝度閾値に基づいて、照明光の輝度の調整を行うかどうかを判定する。ここで、輝度閾値とは、各部分領域の平均輝度の上限を規定するものである。例えば、輝度調整判定部43は、部分領域ごとに平均輝度と輝度閾値とを比較し、平均輝度が輝度閾値を超えている場合、判定対象の部分領域に対し、輝度調整をすべきであると判定する。また、輝度調整判定部43は、平均輝度が輝度閾値以下である場合、判定対象の部分領域に対し、輝度調整する必要はないものと判定する。輝度調整判定部43は、部分領域ごとの輝度調整判定結果に関する輝度調整判定情報を調光部46へ出力する。なお、輝度調整判定情報には、部分領域ごとの平均輝度に関する情報が含まれてもよい。
なお、照明装置10は、車両1から各部分領域までの距離を測定する測距センサ(図示は省略)を別途備え、平均輝度算出部42で算出された平均輝度と測距センサで測定された距離とに基づいて部分領域ごとの輝度閾値を設定してもよい。例えば、照明装置10は、車両1からの距離が大きい部分領域の輝度閾値を、車両1からの距離が近い部分領域の輝度閾値より低い値に設定してもよい。例えば、照明装置10は、車両1からの距離の2乗に反比例するように輝度閾値の設定値を設定してもよい。このように、部分領域ごとの輝度閾値が設定されれば、動的に変化する周囲の状況に応じて、より適切な輝度閾値が設定される。
なお、本実施の形態における輝度閾値は、例えば、欧州経済委員会(ECE:Economic Commission for Europe)規則(ECE112)の6.2.4項や6.3.3項等に記載された要件を満足する値に設定される。
調光部46は、輝度調整判定部43から出力された部分領域ごとの輝度調整判定情報に基づいて照明光を調光する。例えば、調光部46は、輝度調整すべきであると判定された部分領域を照射する光源に対し、この部分領域の輝度が輝度閾値以下となるよう光量を調整する光量設定情報を生成する。調光部46は、例えば、光源ごとに光量を異ならせる光量設定情報を生成してもよいし、同一の部分領域を照明する複数の光源の光量を同一とする光量設定情報を生成してもよい。調光部46は、生成した光量設定情報を照明部50へ出力する。
照明部50は、コントローラ40による輝度調整結果に基づいた所定の光量で各部分領域を照明する。照明部50は、例えば、車両1の前方の先端に設けられている。照明部50は、図2に示すように、光源部51、投影レンズ52等を備えている。光源部51は、複数の光源を備えている。光源は、例えば、LEDや半導体レーザ等で構成されている。光源部51では、例えば、複数の光源がアレイ状に配置されている。また、例えば、それぞれの光源は、図1(b)に示す撮像領域20Aの部分領域のそれぞれに対応するよう配置されてもよい。例えば、1つの部分領域に対して1つの光源が対応してもよいし、1つの部分領域に対して複数の光源が対応してもよい。
光源部51は、コントローラ40から出力された光量設定情報に基づいて各光源の光量を個別或いは独立して調整する。例えば、平均輝度が輝度閾値より大きい部分領域を照明する光源は、この部分領域の平均輝度が輝度閾値以下となるよう光量が低減される。なお、平均輝度が輝度閾値より小さい部分領域を照明する光源は、この部分領域の平均輝度が輝度閾値以下となる範囲内であれば光量が増大されてもよい。調光後の、各部分領域の平均輝度は、例えば、図1(c)に示されるような分布となる。なお、図1(c)では、平均輝度の調整が行われた部分領域が斜線で示されている。また、斜線の太さは、調光後の平均輝度を示しており、例えば、斜線が太くなるごとに、部分領域の平均輝度が低くなっている。
例えば、調光された後の部分領域Db、Ga、Hcの輝度は、ほぼ同一である。また、調光された後の部分領域Db、Ga、Hcの輝度は、部分領域Bcの輝度より大きい。また、調光された後の部分領域Bcの輝度は、部分領域Ccの輝度より大きい。また、調光された後の部分領域Ccの輝度は、部分領域Cbに輝度より大きい。また、調光された後の部分領域Cbの輝度は、部分領域Dcの輝度より大きい。
投影レンズ52は、1又は複数のレンズで構成されている。投影レンズ52は、光源部51の各光源から出力された照明光を集光する。投影レンズ52は、図1(a)に示すように、集光した照明光を車両1の前方の所定の方向へ投影する。
なお、照明装置10には、複数の照明部50が設けられてもよい。例えば、車両1の前方の先端の左右にそれぞれ照明部50が設けられてもよい。この場合、コントローラ40は、照明部50ごとに輝度調整を行うことにより部分領域の平均輝度を調整する。
なお、照明部50が時分割で点灯制御され、例えば瞬間的に消灯している時に撮像部2が撮像してもよい。これにより、撮像部20は、照明部50の照明が直接内部に進入することなく撮像することができる。これにより、画像データへの照明光の影響が抑えられ、画素ごとの正確な輝度が算出される。
また、例えば、照明部50は水平方向(X軸方向)に広角に照明することが可能であるため、撮像部20は照明部50の照明範囲を包含するよう、広角に撮影できることが望ましい。一般的に、投射レンズ52は歪曲収差を有している。このため、例えば、投射レンズ52が、いわゆる糸巻き型の歪曲収差を有する場合、画像上の部分領域に対応する領域は、実際の部分領域よりも小さくなってしまうので、例えば、図1(b)、(c)で示された部分領域の面積は、広角の領域ほど大きくされる事が望ましい。
一方、投射レンズ52が、いわゆる樽型の歪曲収差を有する場合、画像上の部分領域に対応する領域は、実際の部分領域よりも大きくなってしまうので、例えば、図1(b)、(c)で示された部分領域の面積は、広角の領域ほど小さくされる事が望ましい。
<照明装置の調光方法>
次に、本実施の形態における照明装置の調光方法について説明する。図3は、本発明の実施の形態1に係る照明装置の調光方法の一例を示すフローチャート図である。本実施の形態では、図3に示すように、ステップS101〜S105における各処理により、各部分領域の輝度調整がなされる。
まず、ステップ(第1のステップ)S101では、画像処理部30は、撮像部20から出力された画像データに基づいて画素ごとの輝度情報を取得する。例えば、撮像素子23は、図1(b)に示すように車両1の前方を撮像する。撮像素子23は、撮像した風景に係る画素ごとの画素信号をAGC24へ出力する。AGC24は、画素信号の利得の調整を行い、利得が調整された画素信号をA/D変換器25へ出力する。A/D変換器25は、利得が調整された画素信号をデジタル化し、画像データを生成する。A/D変換器25は、生成した画像データを画像処理部30へ出力する。
画像処理部30は、A/D変換器25から出力された画像データに基づいて各画素の輝度を算出する。画像処理部30は、算出した各画素の輝度に関する輝度情報を生成し、輝度情報をコントローラ40へ出力する。
ステップ(第2のステップ)S102では、コントローラ40は、撮像領域20Aの各部分領域の平均輝度を算出する。例えば、演算部41の平均輝度算出部42は、画像処理部30から出力された輝度情報に基づき、撮像領域20Aの各部分領域の平均輝度を算出する。平均輝度算出部42は、輝度情報から、1つの部分領域を構成する全ての画素の輝度を抽出し、抽出した各画素の輝度に基づいてこの部分領域の平均輝度を算出する。平均輝度算出部42は、例えば図1(b)に示す全ての部分領域(32個)のそれぞれの平均輝度を算出する。平均輝度算出部42は、算出した平均輝度に関する平均輝度情報を輝度調整判定部43へ出力する。
ステップ(第3のステップ)S103では、コントローラ40が、平均輝度情報に基づいて、各部分領域の輝度調整を行うかどうかを判定する。まず、演算部41の輝度調整判定部43は、各部分領域の平均輝度が所定の輝度閾値を超えているかどうかを判定する。輝度閾値に関する情報は、例えば、図示しないデータ格納部に格納され、輝度調整判定部43は、データ格納部から輝度閾値に関する情報を読み出す。なお、輝度閾値は、全ての部分領域において共通であってもよい。
そして、輝度調整判定部43は、平均輝度算出部42から出力された平均輝度情報及び輝度閾値に基づき、各部分領域に対し輝度調整を行うかどうかを判定する。例えば、輝度調整判定部43は、平均輝度が輝度閾値を超えている部分領域に対し、輝度調整をすべきであると判定する(Yes)。また、輝度調整判定部43は、平均輝度が輝度閾値以下である部分領域に対し、輝度調整をする必要はないものと判定する(No)。
図1の例では、図1(c)に示すように、部分領域Bc、Cb、Cc、Db、Dc、Ga、Hcの平均輝度が輝度閾値を超えており、輝度調整判定部43は、これらの部分領域に対し輝度調整をすべきであると判定する。また、これら以外の部分領域に対し輝度調整は必要ないものと判定する。輝度調整判定部43は、部分領域ごとの輝度調整判定結果に関する輝度調整判定情報を調光部46へ出力する。輝度調整を行うべきであると判定された部分領域に対しては、図3に示すように、ステップS104の処理が行われる。
ステップ(第4のステップ)S104では、コントローラ40は、輝度調整判定情報に基づいて、輝度調整を行うべきであると判定された部分領域の輝度調整を行う。例えば、調光部46は、判定対象の部分領域に対する調光後の平均輝度の設定を行う。調光部46は、判定対象の部分領域を照明する光源の光量を設定する。例えば、調光部46は、輝度調整を行うべきであると判定された部分領域を照明する光源に対し、部分領域の輝度が輝度閾値以下となるよう光量を低減させる光量設定情報を生成する。調光部46は、生成した光量設定情報を照明部50へ出力する。
ステップ(第5のステップ)S105では、照明部50は、コントローラ40から出力された光量設定情報に基づいて光源部51の光源の光量を調整する。例えば、照明部50の光源部51は、調光部46から出力された光量設定情報に基づいて光源の光量を低減させる。光源は、光量設定情報に基づいて調整された光量で各部分領域を照明する。そして、各部分領域の平均輝度は、所定の輝度閾値以下となる。図1(c)の例では、調光された後の部分領域Ba、Bb、Bd、Fdの平均輝度はほぼ同一である。また、調光後の部分領域Db、Ga、Hcの平均輝度は、ほぼ同一である。また、調光後の部分領域Ba、Bb、Bd、Fdの平均輝度は、調光後の部分領域Db、Ga、Hcの平均輝度より大きい。また、調光後の部分領域Db、Ga、Hcの平均輝度は、調光後の部分領域Bcの平均輝度より大きい。また、調光後の部分領域Bcの平均輝度は、調光後の部分領域Ccの平均輝度より大きい。また、調光後の部分領域Ccの平均輝度は、調光後の部分領域Cbの平均輝度より大きい。また、調光後の部分領域Cbの平均輝度は、調光後の部分領域Dcの平均輝度より大きい。
一方、ステップS103において輝度調整を行う必要がないと判定された場合には、図3に示すように、調光部46は、この部分領域を照明する光源の光量の調整を行わない。このとき、調光部46は、この部分領域を照明する光源に関する光量設定情報を生成しない。あるいは、調光部46は、この部分領域を照明する光源の光量を維持する光量設定情報を生成し、生成した光量設定情報を照明部50へ出力してもよい。したがって、この部分領域を照明する光源は、光量が調整されることなく照明する。
また、車両1の前方を前方車が走行している場合には、照明装置10は、前方車の照明光を考慮した調光を行ってもよい。図4は、本発明の実施の形態1に係る照明装置の調光方法の他の例を示す概略図である。図4(a)は、車両1の前方の風景120を示す図である。図4(b)は、風景120における撮像領域120Aを示す図である。図4(c)は、部分領域ごとの平均輝度の一例を示す図である。図4(d)は、輝度調整が行われる部分領域を示す図である。
ステップS101では、撮像素子23は、図4(a)に示すように、前方車101の照明領域101Aを含む車両前方の風景120を撮像する。画像処理部30は、照明領域101Aを含む画像データの各画素の輝度を算出する。
ステップS102では、平均輝度算出部42は、画像処理部30から出力された輝度情報に基づき、例えば、図4(b)に示す撮像領域120Aを構成する各部分領域の平均輝度を算出する。
ステップS103では、輝度調整判定部43は、撮像領域120Aの各部分領域に対し、輝度調整を行うかどうかを判定する。例えば、図4(c)には、それぞれの部分領域の平均輝度が示されている。撮像領域120Aの部分領域のうち、例えば、図4(c)に示すように、部分領域Bb、Cb、Db、Dc、Eb、Ecの平均輝度が輝度閾値を超えている。したがって、輝度調整判定部43は、これらの部分領域に対し、輝度調整を行うべきであると判定する。なお、これらの部分領域は、例えば、前方車101の照明の影響が大きい領域である。
ステップS104では、調光部46は、図4(d)に示す部分領域Bb、Cb、Db、Dc、Eb、Ecに対する調光を行う。
<本実施の形態による効果>
本実施の形態によれば、コントローラ40は、画素ごとの輝度に基づいて、複数の部分領域で構成された撮像領域20A、120Aのそれぞれの部分領域の平均輝度を算出し、平均輝度と、輝度閾値と、に基づいて部分領域ごとに輝度調整を行うかどうかを判定し、輝度調整の判定結果に基づいて部分領域の輝度調整を行う。この構成によれば、輝度調整の判定結果によりそれぞれの部分領域を照明する光源の光量が調整されるので、部分領域ごとの輝度が適切に調整される。これにより、周囲の輝度が動的に変化する状況においても、撮像領域20A、120Aの輝度が適切に調整される。
また、本実施の形態によれば、コントローラ40は、判定対象の部分領域の平均輝度が輝度閾値を超えている場合、判定対象の部分領域に対し輝度調整を行うべきであると判定し、判定対象の部分領域の平均輝度が輝度閾値以下となるような輝度調整を行う。この構成によれば、部分領域の平均輝度が輝度閾値を超えても、輝度閾値以下に調整されるので、部分領域ごとの輝度が適切に調整される。これにより、周囲の輝度が上昇した場合にも、撮像領域20A、120Aの輝度が適切に調整される。
また、本実施の形態によれば、コントローラ40は、判定対象の部分領域を照明するそれぞれの光源の光量を調整する光量設定情報を生成し、照明部50は、光量設定情報に基づいてそれぞれの光源の光量を調整する。この構成によれば、光源ごとに光量が設定されるので、部分領域の輝度がより詳細に調整される。
また、本実施の形態によれば、それぞれの部分領域の輝度閾値は、測距センサにより測定された距離に基づいて設定されている。この構成によれば、撮像領域20の状況に応じたより適切な輝度閾値が設定されるので、部分領域ごとの輝度調整がより適切に行われる。
また、本実施の形態によれば、それぞれの部分領域の輝度閾値は、測距センサにより測定された距離の2乗に反比例する値に設定されている。この構成によれば、それぞれの部分領域からの光の拡散の影響が考慮されるので、部分領域ごとの輝度閾値がより適切に設定される。
また、本実施の形態によれば、コントローラ40は、撮像部20で生成された画像から、撮像領域20A、120Aにおける複数の部分領域毎の平均輝度を算出し、算出した平均輝度と所定の輝度閾値に基づいて、照明部50における複数の光源の光量を個別に制御するための情報を照明部50に出力する。この構成によれば、それぞれの光源の光量が個別に調整されるので、部分領域ごとの輝度が適切に調整される。これにより、周囲の輝度が動的に変化する状況においても、撮像領域20A、120Aの輝度が適切に調整される。
(実施の形態2)
次に、本発明の実施の形態2について説明する。実施の形態2では、前述の実施の形態とは異なる方法で部分領域の輝度調整を行うかどうかを判定する場合について説明する。なお、以下では、前述の実施の形態と重複する箇所については、原則としてその説明を省略する。
図5は、本発明の実施の形態2に係る部分領域の輝度調整を行うかどうかを判定する方法の一例を示す概略図である。図5(a)は、算出された平均輝度の時間変化の一例を示す図である。図5(b)は、平均輝度が輝度閾値を超えているかどうかの判定結果を示す図である。図5(c)は、部分領域の輝度調整を行うかどうかの判定結果の一例を示す図である。
本実施の形態における照明装置の調光方法は、前述の図3のフローチャートに沿って行われる。ステップS101では、画像処理部30へ画像データを出力する際、撮像部20で撮像された時刻に関する撮像時刻情報も合わせて出力される。なお、画像データに、撮像時刻情報が含まれてもよい。そして、画像処理部30は、生成した輝度情報及び撮像時刻情報をコントローラ40へ出力する。なお、撮像部20は、撮像時刻情報をコントローラ40へ出力してもよい。
ステップS102では、平均輝度算出部42は、算出した平均輝度情報及び撮像時刻情報を輝度調整判定部43へ出力する。このように、コントローラ40は、撮像時刻情報を取得する。
ステップS103では、まず、輝度調整判定部43が、各部分領域の平均輝度が所定の輝度閾値を超えているかどうかを判定する。詳しくは、輝度調整判定部43は、図5(a)に示す平均輝度の時間変化に基づいて、部分領域の平均輝度が輝度閾値を超えている時間を検出する。そして、輝度調整判定部43は、図5(b)に示すように、平均輝度が所定の輝度閾値を超えているかどうかの判定結果に関する輝度閾値超え判定フラグを生成する。輝度調整判定部43は、例えば、平均輝度が所定の輝度閾値を超えている場合には、図5(b)に示すように、ハイレベルの輝度閾値超え判定フラグを生成する。一方、輝度調整判定部43は、平均輝度が所定の輝度閾値以下である場合には、図5(b)に示すように、ローレベルの輝度閾値超え判定フラグを生成する。
コントローラ40は、取得した撮像時刻情報に基づいて部分領域の平均輝度が輝度閾値を超えている時間である輝度閾値超越時間を検出する。例えば、平均輝度算出部42は、複数の輝度情報及び複数の撮像時刻情報に基づいて輝度閾値超越時間を検出する。図5(b)に示すT1〜T6は、輝度閾値超越時間をそれぞれ示している。輝度閾値超越時間T1〜T4は、平均輝度が急激に変化する場合に対応し、輝度閾値超越期間時間T5〜T6は、平均輝度が緩やかに変化する場合に対応している。このため、輝度閾値超越時間T1〜T4は、輝度閾値超越期間時間T5〜T6より短い。
コントローラ40は、輝度閾値超越時間(例えば、T1〜T6)と、所定の待ち時間Tsと、に基づいて部分領域ごとに輝度調整を行うかどうかを判定する。例えば、輝度調整判定部43は、輝度閾値超え判定フラグの輝度閾値超越時間が所定の待ち時間Tsを超えている場合には、判定対象の部分領域に対して輝度調整をすべきであると判定する。このとき、輝度調整判定部43は、図5(c)に示すように、ハイレベルの輝度調整判定フラグを生成する。例えば、図5(b)に示す輝度閾値超越時間T5〜T6は、待ち時間Tsを超えているので、輝度調整判定部43は、それぞれの時間(T5−Ts、T6−Ts)、ハイレベルの輝度調整判定フラグを生成する。これらの時間(T5−Ts、T6−Ts)は、図3に示すように、判定対象の部分領域に対してステップS104の処理により輝度調整が行われる。
一方、輝度閾値超え判定フラグの輝度閾値超越期間が所定の待ち時間Ts以下である場合には、輝度調整判定部43は、該当する部分領域に対して輝度調整を行う必要はないものと判定する。このとき、輝度調整判定部43は、図5(c)に示すように、ローレベルの輝度調整判定フラグを生成する。例えば、図5(b)に示す輝度閾値超越時間T1〜T4は待ち時間Ts以下であるので、輝度調整判定部43は、それぞれの時間T1〜T4においても、ローレベルの輝度調整判定フラグを生成する。これらの時間T1〜T4は、図3に示すように、判定対象の部分領域に対して輝度調整が行われない。
輝度調整判定部43は、生成した輝度調整判定フラグに関する情報を輝度調整判定情報として調光部46へ出力する。
なお、待ち時間Tsは、照明光の光量の増減(あるいは点滅)が、パッシングやハザードランプの点滅と間違われないよう設定されることが好ましい。例えば、待ち時間Tsは、ハザードランプの点滅間隔(例えば、0.5秒〜1秒)よりも長く設定される事が望ましく、例えば、1秒以上に設定される事がより望ましい。
ステップS104では、コントローラ40は、輝度調整判定情報として出力された輝度調整判定フラグに基づいて各部分領域の調光後の平均輝度の設定を行う。例えば、調光部46は、輝度調整判定フラグがハイレベルとなっている部分領域の調光後の平均輝度の設定を行う。
ステップS105では、前述の実施の形態1のステップS105と同様の処理が行われるので、ここでは、詳細な説明を省略する。
本実施の形態によれば、前述の実施の形態における効果に加えて以下の効果が得られる。例えば、本実施の形態によれば、コントローラ40は、撮像時刻情報に基づいて平均輝度が輝度閾値を超えている時間である輝度閾値超越時間を検出し、輝度閾値超越時間と、所定の待ち時間Tsと、に基づいて部分領域ごとに輝度調整を行うかどうかを判定する。そして、コントローラ40は、判定対象の部分領域の輝度閾値超越時間が待ち時間Tsを超えている場合、判定対象の部分領域に対し輝度調整を行うべきであると判定する。この構成によれば、輝度閾値超越時間が待ち時間Tsを超えてから判定対象の部分領域の輝度調整が行われるので、部分領域の急激な輝度変化が抑えられる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。前述の実施の形態2では、輝度閾値超越時間が待ち時間Tsを超えると、部分領域の輝度調整がなされることについて説明した。ただし、輝度閾値超越時間が待ち時間Tsをわずかに超える場合、部分領域は、わずかな時間Δtだけ減光された後、増光される場合もあり得る。このような急激な輝度変化を回避するためには、一度減光されたらある程度の時間は減光された状態が維持されることが望ましい。そこで、本実施の形態では、部分領域の輝度変化を先読みすることにより、輝度調整を行うかどうかを判定する照明装置について説明する。なお、以下では、前述の実施の形態と重複する箇所については、原則としてその説明を省略する。
図6は、本発明の実施の形態3に係る照明装置の調光方法の一例を示すフローチャート図である。図7は、本発明の実施の形態3に係る照明装置の調光方法の一例を示す概念図である。図7(a)は、輝度調整の判定対象の部分領域の一例を示す図である。図7(b)は、判定対象の部分領域の平均輝度の変化の先読を行う先読み部分領域の一例を示す図である。図7(c)は、判定対象の部分領域の平均輝度の判定結果、先読み部分領域の平均輝度の判定結果、判定対象の部分領域に対する輝度調整に関する判定結果の一例を示す図である。本実施の形態では、図6に示すように、ステップS201〜S207により、照明装置から出力される照明光が調光される。
ステップS201〜S202では、前述のステップS101〜S102と同様の処理が行われるので、ここでは詳細な説明は省略する。
ステップ(第6のステップ)S203では、コントローラ40は、図7(a)に示す、それぞれの部分領域250の輝度変化を先読みする先読み部分領域251の平均輝度を算出する。例えば、平均輝度算出部42は、画像処理部30から出力された輝度情報に基づいて先読み部分領域251の平均輝度を算出する。平均輝度算出部42は、算出した先読み部分領域251の平均輝度に関する平均輝度情報を輝度調整判定部43へ出力する。
先読み部分領域251は、例えば、部分領域250の近傍の領域である。例えば、先読み部分領域251には、後に(例えば、現在時刻の直後に)部分領域250を構成する領域が選択される。例えば、先読み部分領域251には、図7(a)に示すように、部分領域250と接する右上の領域が選択される。
そして、コントローラ40は、判定対象の部分領域250の輝度閾値超越時間と、待ち時間Tsと、輝度閾値超越時間が経過した時の先読み部分領域251の平均輝度と、に基づいて判定対象の部分領域250の輝度調整を行うかどうかを判定する。
まず、ステップS204では、コントローラ40は、判定対象の部分領域250の平均輝度が所定の輝度閾値を超えている時間が、所定の待ち時間を超えているかどうかを判定する。例えば、輝度調整判定部43は、図7(b)に示すように、判定対象の部分領域250の平均輝度が所定の輝度閾値を超えている場合、ハイレベルの輝度閾値越え判定フラグを生成する。一方、輝度調整判定部43は、図7(b)に示すように判定対象の部分領域250の平均輝度が所定の輝度閾値以下である場合、ローレベルの輝度閾値越え判定フラグを生成する。
輝度調整判定部43は、部分領域250の輝度閾値超え判定フラグの輝度閾値超越時間が、所定の待ち時間Tsを超えているかどうかを判定する。例えば、部分領域250の輝度閾値超越時間が所定の待ち時間Tsを超えていると判定された場合(Yes)、図6に示すように、ステップS205の処理が行われる。一方、部分領域250の輝度閾値超越時間が所定の待ち時間Ts以下であると判定された場合(No)、図6に示すように、判定対象の部分領域250に対する輝度調整は行われない。なお、図7(b)の例では、輝度閾値超越時間T31、T32のいずれも待ち時間Tsを超えており、いずれの場合にもステップS205の処理が行われる。
ステップ(第7のステップ)S205では、コントローラ40は、判定対象の部分領域250の輝度閾値超越時間が所定の待ち時間Tsを経過したとき、先読み部分領域251の平均輝度が所定の輝度閾値を超えているかどうかを判定する。
例えば、輝度調整判定部43は、図7(b)に示す先読み部分領域251の輝度閾値越え判定フラグに基づいて、判定対象の部分領域250の輝度閾値超越時間が所定の待ち時間Tsとなったときの先読み部分領域251の平均輝度が所定の輝度閾値を超えているかどうかを判定する。
例えば、判定対象の部分領域250の輝度閾値超越時間が所定の待ち時間Tsを経過し、かつ、判定対象の部分領域250の輝度閾値超越時間が待ち時間Tsを経過したときの先読み部分領域251の平均輝度が輝度閾値を超えている場合(Yes)、輝度調整判定部43は、判定対象の部分領域250に対して輝度調整をすべきであると判定する。このとき、輝度調整判定部43は、図7(b)に示すように、ハイレベルの輝度調整判定フラグを生成し、生成した輝度調整判定フラグを輝度調整判定情報として調光部46へ出力する。そして、図6に示すように、ステップS206の処理が行われる。
一方、判定対象の部分領域250の輝度閾値超越時間が所定の待ち時間Tsを経過したときの先読み部分領域251の平均輝度が輝度閾値以下である場合(No)、輝度調整判定部43は、判定対象の部分領域250に対して輝度調整をする必要はないものと判定する。このとき、輝度調整判定部43は、図7(b)に示すように、ローレベルの輝度調整判定フラグを生成し、生成した輝度調整判定フラグを輝度調整判定情報として調光部46へ出力する。この場合、図6に示すように、判定対象の部分領域250に対する調光は行われない。
ステップS206では、前述の実施の形態2のステップのステップS104と同様の処理が行われるので、ここでは、詳細な説明を省略する。
ステップS207では、前述の実施の形態2のステップS105と同様の処理が行われるので、ここでは、詳細な説明を省略する。
なお、先読み部分領域251の大きさは、どの程度の時間を先読みするかに応じて、その大きさを適宜設定されてもよい。図7(a)に示す消失点290に向けて面積を大きくとれば、それだけ遠方の領域の平均輝度を検出でき、先読みできる時間を増やす事が出来る。
本実施の形態によれば、前述の実施の形態における効果に加えて以下の効果が得られる。例えば、本実施の形態によれば、コントローラ40は、先読み部分領域251の平均輝度を算出し、判定対象の部分領域250の輝度閾値超越時間と、待ち時間Tsと、輝度閾値超越時間が経過した時の先読み部分領域251の平均輝度と、に基づいて判定対象の部分領域250の輝度調整を行うかどうかを判定する。そして、コントローラ40は、判定対象の部分領域250の輝度閾値超越時間が待ち時間Tsを経過し、かつ、判定対象の部分領域250の輝度閾値超越時間が待ち時間Tsを経過したときの先読み部分領域251の平均輝度が輝度閾値を超えている場合、判定対象の部分領域250に対し輝度調整を行うべきであると判定する。この構成によれば、輝度変化の先読みの結果、待ち時間Tsを経過した後の輝度閾値超越時間が短いと判断される場合、部分領域250の輝度調整が行われないので、部分領域の急激な輝度変化がより一層抑えられる。
なお、図示しない測距センサが別途設けられ、例えば、先読み部分領域251までの距離が部分領域250よりも遠方に存在するかどうかをコントローラ40等が判定してもよい。このような判定が行われた後、コントローラ40は、例えば図7に示すような調光を行ってもよい。測距センサにより部分領域250及び先読み部分領域251までの距離情報が取得され、コントローラ40が、先読み部分領域251が部分領域250よりも遠方にあるかどうかを判定することで、先読みの精度が向上する。
(実施の形態4)
次に、本発明の実施の形態4について説明する。撮像部20及び照明部50は、互いに離れた位置に配置されていることが多い。このため、撮像部20の光軸と照明部50の光軸とが一致せず、撮像部20と照明部50との間に視差が生じ、画像おける撮像領域と、実際の撮像領域との間にずれが生じる。そうすると、各部分領域の輝度調整にずれが生じるおそれがある。
そこで、本実施の形態では、このような輝度調整のずれを抑えた照明装置について説明する。なお、以下では、前述の実施の形態と重複する箇所については、原則としてその説明を省略する。図8は、本発明の実施の形態4に係る照明装置の構成の一例を示す図である。本実施の形態では、照明装置は、複数の照明部と、複数の撮像部と、を備えている。例えば、照明装置310は、図8に示すように、例えば、撮像部320R、320L、画像処理部30、コントローラ340、照明部350R、350L等を備えている。
コントローラ340は、図8に示すように、例えば、演算部41、調光部46、タイミング制御部349を備えている。タイミング制御部349は、例えば、撮像部320R、320Lに対する撮像タイミングの調整を行う。例えば、タイミング制御部349は、撮像のタイミングを調整する撮像タイミング信号を撮像部320R、320Lへ出力する。
また、タイミング制御部349は、照明部350R、350Lの点灯、消灯の照明タイミングの調整を行う。例えば、タイミング制御部349は、照明部350R、350Lの点灯、消灯のタイミングに関する照明タイミング信号を調光部46へ出力する。調光部46は、照明タイミング信号に基づいて、照明部350R、350Lの各光源の光量を設定する光量設定情報を生成する。例えば、調光部46は、照明部350R、350Lを消灯させる場合には、全ての光源の光量を0にする光量設定情報を生成する。また、調光部46は、照明部350R、350Lを点灯させる場合には、それぞれの光源を所定の光量にする光量設定情報を生成する。
撮像部320R、320Lは、図2に示す撮像部20と同様の構成を備えている。このため、これらの詳細な説明は省略する。撮像部320R、320Lは、タイミング制御部349から出力された撮像タイミング信号に基づいて撮像する。例えば、撮像部320R、320Lのそれぞれの露光制御部26は、撮像タイミング信号に基づいて各部を制御する。
それぞれの照明部には、撮像部が近接して配置されている。例えば、照明部350Rには、撮像部320Rが近接して配置されている。また、撮像部320R及び照明部350Rは、同一の筐体に収められてもよい。あるいは、撮像部320R、照明部350Rは、一部の部品が共通化される等により一体で構成されてもよい。また、例えば、照明部350Lには、撮像部320Lが近接して配置されている。また、撮像部320L及び照明部350Lは、同一の筐体に収められてもよい。あるいは、撮像部320L、照明部350Lは、一部の部品が共通化される等により一体で構成されてもよい。
照明部350Rは、例えば、車両1の前方の先端右側に設けられている。照明部350Rは、例えば、主に車両1の右前方を照明する。照明部350Lは、例えば、車両1の前方の先端左側に設けられている。照明部350Lは、例えば、主に車両1の左前方を照明する。なお、照明部350R、350Lの各部は、図2に示す照明部50の各部と同様の構成である。照明部350R、350Lは、タイミング制御部349から出力された照明タイミング信号に基づいて点灯、消灯する。例えば、照明部350R、350Lの各光源は、調光部46から出力される光量設定情報に基づいて点灯、消灯する。
ところで、照明部350R及び撮像部320R、照明部350L及び撮像部320L、はそれぞれ互いに近接して配置されているので、照明部350R、350Lから出力された照明光が撮像部320R、320Lのそれぞれに外乱光として漏れ込まないようにする必要がある。
ここで、撮像部320R、320Lの撮像タイミング、及び照明部350R、350Lの照明タイミング(点灯、消灯)の例について説明する。図9は、本発明の実施の形態4に係る照明部の照明タイミングの一例を示す図である。図9(a)は、照明部350L、350Rの照明タイミングの一例を示す図である。図9(b)は、撮像部320Lで撮像するときの照明部350R、350Lの状態を示す図である。図9(c)は、撮像部320Rで撮像するときの照明部350R、350Lの状態を示す図である。
コントローラ340は、1の撮像部が撮像する場合、1の撮像部と近接して配置された照明部を消灯させる。例えば、照明部350Lは、図9(a)に示すように、期間T41、T43では消灯し、それ以外の期間では点灯している。また、照明部350Rは、図9(a)に示すように、期間T42、T44では消灯し、それ以外の期間では点灯している。撮像部320Lは、図9(b)に示す期間T41、T43内に撮像する。すなわち、撮像部320Lは、照明部320Lが消灯し、照明部350Rが点灯した状態で撮像する。一方、撮像部320Rは、図9(c)に示す期間T42、T44内に撮像する。すなわち、撮像部320Rは、照明部320Rが消灯し、照明部350Lが点灯した状態で撮像する。
照明部350Rの輝度調整は、撮像部320Rにより生成された画像データに基づいて行われる。また、照明部350Lの輝度調整は、撮像部320Lにより生成された画像データに基づいて行われる。
また、撮像部20R、20Lによる撮像時、照明部350R、350Lのいずれかが消灯するので、撮像領域の照明光の光量が低下する。そこで、撮像部20R、20Lによる撮像時には、点灯している照明部の光量を一時的に増加させるような調光がなされてもよい。
図10は、本発明の実施の形態4に係る照明部の照明タイミングと光量との関係の一例を示す図である。照明部350R、350Lの照明タイミングは、図9(a)と同様である。照明部350Lが消灯しているときの照明部350Rの光量は、図10に示すように、照明部350Lが点灯しているときよりも増大している。例えば、調光部46は、照明部350Lを消灯する光量設定情報とともに、照明部350Rの光量を増大させる光量設定情報を出力する。
一方、照明部350Rが消灯しているときの照明部350Lの光量は、図10に示すように、照明部350Rが点灯しているときよりも増大している。例えば、調光部46は、照明部350Rを消灯する光量設定情報とともに、照明部350Lの光量を増大させる光量設定情報を出力する。
本実施の形態によれば、前述の実施の形態における効果に加えて以下の効果が得られる。例えば、本実施の形態によれば、照明部350Rと撮像部320Rとが近接して配置されている。また、照明部350Lと撮像部320Lとが近接して配置されている。この構成によれば、撮像部320Rと照明部350Rとの間の視差が抑えられるので、画像における撮像領域と、実際の撮像領域との間のずれが抑えられる。これにより、各部分領域の輝度調整のずれが抑えられる。
また、本実施の形態によれば、照明部350R及び撮像部320R、照明部350L及び撮像部320Lがそれぞれ同一の筐体に収められている。この構成によれば、照明部350R及び撮像部320R、照明部350L及び撮像部320Lのそれぞれが一体で取り扱われるので、これらの取り回しが容易となる。また、これにより、照明部350R及び撮像部320Rの相対位置、照明部350L及び撮像部320Lの相対位置の変動が抑えられるので、照明装置10の信頼性が向上する。
また、本実施の形態によれば、コントローラ340は、撮像部320Rが撮像する場合、照明部350Rを消灯させる。また、コントローラ340は、撮像部320Lが撮像する場合、照明部350Lを消灯させる。この構成によれば、撮像時に、撮像部320R、320Lへ漏れこむ外乱光が抑えられるので、撮像領域が明瞭に撮像される。これにより、各部分領域の平均輝度がより正確に算出され、より正確な輝度調整が行われる。
(実施の形態5)
次に、本発明の実施の形態5について説明する。前述の実施の形態1では、前方車101の照明光を考慮して部分領域の調光を行う場合について説明した。この場合、例えば、減光による消費電力低減の恩恵を受けるのは自車のみである。一方、このような消費電力低減の恩恵を他車が受けられるような調光が行われてもよい。そこで、本実施の形態では、いわゆる車車間通信を介して、他車と連携して照明光の調光を行う場合について説明する。なお、以下では、前述の実施の形態と重複する箇所については、原則としてその説明を省略する。
図11は、本発明の実施の形態5に係る照明装置の調光方法の一例を示す図である。図11(a)は、自車及び他車のそれぞれの照明領域を示す図である。図11(b)は、図11(a)のA−A’線における調光前の自車及び他車のそれぞれの照明領域の輝度分布を示す図である。図11(c)は、A−A’線における調光前の自車及び他車それぞれの輝度分布の合計を示す図である。図11(d)は、A−A’線における調光後の自車及び他車のそれぞれの照明領域の輝度分布を示す図である。図11(e)は、A−A’線における調光後の自車及び他車それぞれの輝度分布の合計を示す図である。
本実施の形態では、自車(例えば、車両1)及び他車(例えば、前方車101)は、図示しない情報通信部を備えている。自車及び他車は、情報通信部を介して車車間通信による各種情報の送受信を行う。情報通信部は、例えば、前述の照明装置10、310に設けられてもよいし、照明装置10、310とは別体で設けられてもよい。
自車(例えば、車両1)及び他車(例えば、前方車101)は、図11(a)に示すように、所定の照明領域501、502をそれぞれ照明している。自車の照明領域501及び他車の照明領域502は、図11(a)に示すように、共通照明領域503で重複している。すなわち、図11では、複数の車両の照明部の照明領域が重複している。
自車及び他車の照明光は、例えば、図11(b)に示すような輝度分布となっている。これらの照明光による輝度の合計は、例えば、図11(c)に示すような分布となっている。図11(c)によれば、共通照明領域503内に、照明光の輝度が所定の輝度閾値を超えている領域が存在する。そこで、1の車両(例えば、自車)のコントローラ40等は、情報通信部を介して車車間通信により他の車両(例えば、他車)のコントローラと連携することにより共通照明領域503の平均輝度の輝度調整を行う。
例えば、自車及び他車は前述の実施の形態で示された手法により照明装置の調光を行う際、共通照明領域503を照明する光源の光量設定情報を自車と他車との間で共有する。例えば、自車及び他車は、情報通信部を介して共通照明領域503を包含する各部分領域を照明する光源の光量設定情報を互いに送受信する。そして、自車及び他車は、例えば、図11(d)に示すように、共通照明領域503を照明する光源の光量を低下させる。これにより、調光後の共通照明領域503の輝度は、図11(e)に示すように、輝度閾値以下となる。
なお、本実施の形態における輝度閾値も、前述したように、例えば、ECE規則の6.2.4項や6.3.3項等に記載された要件を満足する値に設定される。
本実施の形態によれば、前述の実施の形態における効果に加えて以下の効果が得られる。例えば、本実施の形態によれば、自車の照明領域501と他車の照明領域502とが共通照明領域503で重複する場合、例えば、自車のコントローラ40等は、情報通信部を介して車車間通信により他車のコントローラと連携することにより、共通照明領域503の平均輝度の輝度調整を行う。この構成によれば、例えば、自車だけでなく他車の照明部の光源の光量も調整されるので、複数の車両において消費電力が低減される。
(実施の形態6)
次に、本発明の実施の形態6について説明する。安全に車を運転する上で、運転手が認識すべき情報として、例えば歩行者、動物、標識、信号、車線、移動体等の障害物がある。運転手は、これらの情報を漏らす事なく認識しつつ車両を運転する事が望ましい。しかし、周囲が暗くなる夜間等は、全ての障害物を認識することが困難な場合もあり得る。一方、自動運転を目指した研究開発を契機に、カメラやレーダなどを用いて、人間の眼に代わってリアルタイムに車外や車内の状況を把握するセンシング技術が発展している。
そこで、本実施の形態では、前述の実施の形態の内容を踏襲しつつ、運転手が障害物を認識していない場合の調光方法について説明する。なお、以下では、前述の実施の形態と重複する箇所については、原則としてその説明を省略する。
図12は、本発明の実施の形態6に係る照明装置の構成の一例を示す図である。照明装置610は、図12に示すように、例えば、撮像部20、画像処理部30、コントローラ640、照明部50、視線管理部660等を備えている。
視線監視部660は、例えば、運転手の静止画像や動画像を生成する撮像装置等で構成されている。視線監視部660は、運転手の視線情報を取得する。視線監視部660は、例えば、撮像装置により生成された運転手の画像から運転手の視線方向を検出し、視線方向に関する視線情報を生成する。視線監視部660は、生成した視線情報を画像処理部30へ出力する。なお、視線監視部660は、生成した視線情報をコントローラ640へ出力してもよい。
画像処理部30は、画像データに基づいて、例えば、標識、信号、歩行者、動物、その他の障害物及びその位置を検出する。画像処理部30は、例えば、障害物の位置に関する障害物位置情報を生成する。そして、画像処理部30は、輝度情報とともに、障害物位置情報、及び視線監視部660から出力された視線情報をコントローラ640へ出力する。
コントローラ640は、図12に示すように、例えば、演算部641、調光部46を備えている。演算部641は、例えば、図12に示すように、平均輝度算出部42、輝度調整判定部43、障害物認識判定部644を備えている。
障害物認識判定部644は、例えば、画像処理部30から出力された障害物位置情報及び視線情報に基づいて、運転者が障害物を認識しているかどうかを判定する。例えば、障害物認識判定部644は、障害物位置情報から障害物の位置を検出する。また、障害物認識判定部644は、視線情報から運転手の視線方向を検出する。そして、障害物認識判定部644は、障害物の位置情報と運転手の視線方向とを比較し、運転手の視線が障害物の方向へ向けられているかどうかを判定する。
また、障害物認識判定部644は、例えば、このような判定を連続して行い、視線情報に基づいて、運転手の視線が障害物の方向へ向けられた時間を検出してもよい。この場合、運転手の視線が障害物の方向へ向けられた時間が所定の障害物認識時間を超えている場合には、障害物認識判定部644は、運転手は障害物を認識したものと判定する。また、運転手の視線が障害物の方向へ向けられた時間が所定の障害物認識時間以下である場合には、障害物認識判定部644は、運転手は障害物を認識していないものと判定する。
そして、障害物認識判定部644は、運転者が障害物を認識したかどうかの判定結果に関する障害物認識判定情報を生成する。障害物認識判定部644は、生成した障害物認識判定情報を調光部46へ出力する。
調光部46は、輝度調整判定部43から出力された輝度調整判定情報、及び障害物判定情報に基づいて光源ごとの光量設定情報を生成する。例えば、調光部46は、平均輝度が輝度閾値を超えている部分領域を照明する光源の光量を低下させ、運転手が認識していないと判定された障害物を包含する部分領域を照明する光源の光量を増大させる光量設定情報を生成する。
照明部50は、調光部46から出力された光量設定情報に基づいて、平均輝度が輝度閾値を超えている部分領域の輝度を低下させ、運転手が認識していないと判定された障害物を包含する部分領域の輝度を増大させる。
ここで、障害物認識判定情報に基づいた調光方法の一例について説明する。図13は、本発明の実施の形態6に係る運転者の視線監視の一例を示す図である。図13(a)は、調光前における照明方向を示す図である。図13(b)は調光前における車両前方の風景を示す図である。図13(c)は、調光後における照明方向を示す図である。図13(d)は、調光後における車両前方の風景を示す図である。
調光前の照明部50は、図13(a)に示すように、主に歩行者680の手前の領域を照明し、歩行者680をほとんど照明していない。このとき、運転手681の視線は、図13(b)に示すように、路面1000の方向に向けられており、歩行者680の方向に向けられていない。このとき、視線監視部660は、路面方向に向けられた運転手681の視線情報をコントローラ640へ出力する。コントローラ640は、運転手681が歩行者680を認識していないものと判定し、歩行者680を照明するような調光を行う。
照明部50は、図13(c)に示すように、光量設定情報に基づいて歩行者680を照明する。これにより、運転手681の視線は、図13(d)に示すように、歩行者680へ向けられる。これにより、運転手681は、歩行者680を認識することができる。
なお、本実施の形態では、障害物を有する部分領域が、例えば、障害物の形状に合わせて設定されてもよい。これにより、障害物が照明する光源のみが適宜選択されるので、障害物への照明が効率的に行われる。
なお、コントローラ640は、例えば、図8に示すタイミング調整部349を備えていてもよい。また、照明装置610は、例えば、図示しない情報通信部を備えていてもよい。
本実施の形態によれば、前述の実施の形態における効果に加えて以下の効果が得られる。例えば、本実施の形態によれば、コントローラ640は、画像データに基づいて障害物(例えば、歩行者680)の位置を検出し、障害物の位置と、運転手681の視線情報と、に基づいて、運転手681が障害物を認識しているかどうかを判定する。そして、コントローラ640は、運転手681が障害物を認識していないと判定した場合、障害物を照明する光源の光量を増大させるような輝度調整を行う。この構成によれば、運転手681が認識していない障害物が照明されるので、運転手681は障害物を認識することができる。これにより、運転中の事故の発生が抑えられる。
また、本実施の形態によれば、コントローラ640は、運転手681の視線が障害物へ向けられた時間が所定の障害物認識時間以下である場合には、運転手681が障害物を認識していないと判定する。この構成によれば、運転手681が障害物を認識しているがどうかがより確実に判定されるので、障害物への照明が効率的に行われる。これにより、消費電力の増大が抑えられつつ、運転手681は障害物をより確実に認識することができる。
(実施の形態7)
次に、本発明の実施の形態7について説明する。前述の実施の形態では、輝度閾値を超えた部分領域の平均輝度を低減させる調光方法について説明した。本実施の形態では、輝度閾値を超えない範囲内で、各部分領域の平均輝度を増大させる調光方法について説明する。なお、以下では、前述の実施の形態と重複する箇所については、原則としてその説明を省略する。図14は、本発明の実施の形態7に係る照明装置の調光方法の一例を示す図である。図14(a)は、調光前の部分領域P1、P2の平均輝度を示す図である。図14(b)は、調光後の部分領域P1、P2の平均輝度を示す図である。
例えば、図2のコントローラ40は、平均輝度情報に基づいて、各部分領域の輝度調整を行うかどうかを判定する。まず、輝度調整判定部43は、各部分領域の平均輝度が所定の低輝度閾値未満であるかどうかを判定する。ここで、低輝度閾値とは、各部分領域の平均輝度の下限を規定するものである。低輝度閾値に関する情報は、例えば、図示しないデータ格納部に格納され、輝度調整判定部43は、データ格納部から低輝度閾値に関する情報を読み出す。なお、低輝度閾値は、全ての部分領域において共通であってもよい。
そして、輝度調整判定部43は、平均輝度情報及び低輝度閾値に基づき、各部分領域に対し輝度調整を行うかどうかを判定する。例えば、輝度調整判定部43は、平均輝度が低輝度閾値未満である部分領域に対し、輝度調整をすべきであると判定する。また、輝度調整判定部43は、平均輝度が低輝度閾値以上である部分領域に対し、輝度調整をする必要はないものと判定する。
図14の例では、図14(a)に示すように、部分領域P1の平均輝度は低輝度閾値未満であり、輝度調整判定部43は、部分領域P1の輝度調整をすべきであると判定する。例えば、調光部46は、部分領域P1を照明する光源の光量調整を行う。例えば、調光部46は、部分領域P1を照明する各光源に対し、部分領域の輝度が低輝度閾値以上かつ輝度閾値以下となるよう光量を増大させる光量設定情報を生成する。照明部50の光源部51は、光量設定情報に基づいて各光源の光量を増大させる。これにより、部分領域P2の平均輝度は、図14(b)に示すように、低輝度閾値以上かつ輝度閾値以下となる。
一方、図14(a)に示すように、部分領域P2の平均輝度は低輝度閾値以上であり、輝度調整判定部43は、部分領域P2の輝度調整をする必要はないものと判定する。この場合、部分領域P2の平均輝度は、例えば、図14(b)に示すように維持される。
また、例えば、判定対象の部分領域の平均輝度が所定の輝度閾値を超えている場合、調光部46は、この部分領域の平均輝度が低輝度閾値以上かつ輝度閾値以下となるよう調光する。
本実施の形態によれば、前述の実施の形態における効果に加えて以下の効果が得られる。例えば、本実施の形態によれば、コントローラ40等は、輝度閾値と、低輝度閾値と、に基づいて部分領域ごとに輝度調整を行うかどうかを判定する。そして、コントローラ40等は、判定対象の部分領域の平均輝度が低輝度閾値未満である場合、判定対象の部分領域に対し輝度調整を行うべきであると判定する。そして、コントローラ40等は、判定対象の部分領域の平均輝度が低輝度閾値以上、かつ、輝度閾値以下となるような輝度調整を行う。この構成によれば、平均輝度が低すぎる場合、低輝度閾値と輝度閾値との間に収まるよう、判定対象の部分領域の平均輝度を増加させるような輝度調整が行われるので、複数の部分領域間における輝度のばらつきが抑えられる。また、これにより、運転手が撮像領域の輝度のばらつきに違和感を感じる機会が抑えられ、運転者は運転中に受けるストレスが緩和される。
また、本実施の形態によれば、コントローラ40等は、輝度閾値と、低輝度閾値と、に基づいて部分領域ごとに輝度調整を行うかどうかを判定する。そして、コントローラ40等は、判定対象の部分領域の平均輝度が輝度閾値を超えている場合、判定対象の部分領域に対し輝度調整を行うべきであると判定する。そして、コントローラ40等は、判定対象の部分領域の平均輝度が低輝度閾値以上、かつ、輝度閾値以下となるような輝度調整を行う。この構成によれば、平均輝度が高すぎる場合、低輝度閾値と輝度閾値との間に収まるよう、判定対象の部分領域の平均輝度を低減させるような輝度調整が行われるので、複数の部分領域間における輝度のばらつきが抑えられる。また、これにより、運転手が撮像領域の輝度のばらつきに違和感を感じる機会が抑えられ、運転者は運転中に受けるストレスが緩和される。
以上、本発明者によってなされた発明を発明の実施の形態に基づき具体的に説明したが、本発明は前記発明の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。なお、図面に記載した各部材や相対的なサイズは、本発明を分かりやすく説明するため簡素化・理想化しており、実装上はより複雑な形状となる場合がある。
以下に、本発明の好ましい主な態様について付記する。
[付記1]
車両に設けられ、
前記車両の前方の所定の撮像領域を撮像して複数の画素からなる画像を生成し、前記画像に基づいて前記画素ごとの画像データを生成する撮像部と、
前記画像データに基づいて前記画素ごとの輝度を算出する画像処理部と、
前記画素ごとの前記輝度に基づいて、複数の部分領域で構成された前記撮像領域のそれぞれの前記部分領域の平均輝度を算出し、前記平均輝度と、前記部分領域の前記平均輝度の上限を規定する輝度閾値と、に基づいて前記部分領域ごとに輝度調整を行うかどうかを判定し、前記輝度調整の判定結果に基づいて前記部分領域の前記輝度調整を行うコントローラと、
複数の光源を有し、前記光源が前記輝度調整による輝度調整結果に基づいてそれぞれの前記光源を所定の光量に調整し、前記部分領域を照明する照明部と、
を備えた照明装置の調光方法であって、
前記画像処理部が、前記画素の輝度を算出する第1のステップと、
前記コントローラが、前記部分領域の平均輝度を算出する第2のステップと、
前記コントローラが、判定対象の前記部分領域の前記平均輝度が前記輝度閾値を超えているかどうかを判定する第3のステップと、
前記コントローラが、前記判定対象の部分領域の前記平均輝度が前記輝度閾値を超えていると判定した場合、前記判定対象の部分領域に対し前記輝度調整を行う第4のステップと、
前記照明部が、前記判定対象の部分領域を照明する前記光源の前記光量を調整する第5のステップと、
が行われる、
照明装置の調光方法。
[付記2]
付記1に記載の照明装置の調光方法において、
前記第3のステップでは、前記コントローラが、前記撮像部で撮像された時刻に関する撮像時刻情報に基づいて前記平均輝度が前記輝度閾値を超えている時間である輝度閾値超越時間を検出し、前記輝度閾値超越時間と、所定の待ち時間と、に基づいて前記部分領域ごとに輝度調整を行うかどうかを判定し、
前記コントローラが、前記判定対象の部分領域の前記輝度閾値超越時間が前記待ち時間を超えている場合、前記第4のステップが行われる、
照明装置の調光方法。
[付記3]
付記2に記載の照明装置の調光方法において、
前記第2のステップと前記第3のステップとの間に、前記コントローラが、後に前記判定対象の部分領域を構成する先読み部分領域の平均輝度を算出する第6のステップが行われ、
前記第3のステップと前記第4のステップとの間に、前記コントローラが、前記輝度閾値超越時間と、前記待ち時間と、前記輝度閾値超越時間が経過した時の前記先読み部分領域の前記平均輝度と、に基づいて前記判定対象の部分領域の前記輝度調整を行うかどうかを判定する第7のステップが行われ、
前記第7のステップにおいて、前記コントローラが、前記判定対象の部分領域の前記輝度閾値超越時間が前記待ち時間を経過し、かつ、前記判定対象の部分領域の前記輝度閾値超越時間が前記待ち時間を経過したときの前記先読み部分領域の前記平均輝度が前記輝度閾値を超えていると判定した場合、前記第4のステップが行われる、
照明装置の調光方法。
1…車両、10…照明装置、20…撮像部、20A…撮像領域、30…画像処理部、40…コントローラ、50…照明部、120A…撮像領域、250…部分領域、251…先読み部分領域、310…照明装置、320R、320L…撮像部、340…コントローラ、350R、350L…照明部、501、502…照明領域、503…共通照明領域、610…照明装置、640…コントローラ、660…視線監視部、680…歩行者、681…運転手、T1〜T6…輝度閾値超越時間、Ts…待ち時間

Claims (11)

  1. 車両に設けられ、
    前記車両の前方の所定の撮像領域を撮像して複数の画素からなる画像を生成し、前記画像に基づいて前記画素ごとの画像データを生成する撮像部と、
    前記画像データに基づいて前記画素ごとの輝度を算出する画像処理部と、
    前記画素ごとの前記輝度に基づいて、複数の部分領域で構成された前記撮像領域のそれぞれの前記部分領域の平均輝度を算出し、前記平均輝度と、前記部分領域の前記平均輝度の上限を規定する輝度閾値と、に基づいて前記部分領域ごとに輝度調整を行うかどうかを判定し、前記輝度調整の判定結果に基づいて前記部分領域の前記輝度調整を行うコントローラと、
    複数の光源を有し、前記光源が前記輝度調整による輝度調整結果に基づいてそれぞれの前記光源を所定の光量に調整し、前記部分領域を照明する照明部と、
    を備え、
    前記コントローラは、判定対象の前記部分領域の前記平均輝度が前記輝度閾値を超えている場合、前記判定対象の部分領域に対し前記輝度調整を行うべきであると判定し、前記判定対象の部分領域の前記平均輝度が前記輝度閾値以下となるような前記輝度調整を行い、
    前記コントローラは、前記撮像部で撮像された時刻に関する撮像時刻情報に基づいて前記平均輝度が前記輝度閾値を超えている時間である輝度閾値超越時間を検出し、前記輝度閾値超越時間と、所定の待ち時間と、に基づいて前記部分領域ごとに輝度調整を行うかどうかを判定し、前記判定対象の部分領域の前記輝度閾値超越時間が前記待ち時間を超えている場合、前記判定対象の部分領域に対し前記輝度調整を行うべきであると判定する、
    照明装置。
  2. 請求項1に記載の照明装置において、
    前記コントローラは、後に前記判定対象の部分領域を構成する先読み部分領域の平均輝度を算出し、前記輝度閾値超越時間と、前記待ち時間と、前記輝度閾値超越時間が経過した時の前記先読み部分領域の前記平均輝度と、に基づいて前記判定対象の部分領域の前記輝度調整を行うかどうかを判定し、前記判定対象の部分領域の前記輝度閾値超越時間が前記待ち時間を経過し、かつ、前記判定対象の部分領域の前記輝度閾値超越時間が前記待ち時間を経過したときの前記先読み部分領域の前記平均輝度が前記輝度閾値を超えている場合、前記判定対象の部分領域に対し前記輝度調整を行うべきであると判定する、
    照明装置。
  3. 車両に設けられ、
    前記車両の前方の所定の撮像領域を撮像して複数の画素からなる画像を生成し、前記画像に基づいて前記画素ごとの画像データを生成する撮像部と、
    前記画像データに基づいて前記画素ごとの輝度を算出する画像処理部と、
    前記画素ごとの前記輝度に基づいて、複数の部分領域で構成された前記撮像領域のそれぞれの前記部分領域の平均輝度を算出し、前記平均輝度と、前記部分領域の前記平均輝度の上限を規定する輝度閾値と、に基づいて前記部分領域ごとに輝度調整を行うかどうかを判定し、前記輝度調整の判定結果に基づいて前記部分領域の前記輝度調整を行うコントローラと、
    複数の光源を有し、前記光源が前記輝度調整による輝度調整結果に基づいてそれぞれの前記光源を所定の光量に調整し、前記部分領域を照明する照明部と、
    前記車両から前記部分領域までの距離を測定する測距センサと、
    を備え、
    前記コントローラは、判定対象の前記部分領域の前記平均輝度が前記輝度閾値を超えている場合、前記判定対象の部分領域に対し前記輝度調整を行うべきであると判定し、前記判定対象の部分領域の前記平均輝度が前記輝度閾値以下となるような前記輝度調整を行い、
    それぞれの前記部分領域の前記輝度閾値は、前記測距センサにより測定された前記距離に基づいて設定されている、
    照明装置。
  4. 請求項3に記載の照明装置において、
    それぞれの前記部分領域の前記輝度閾値は、前記距離の2乗に反比例する値に設定されている、
    照明装置。
  5. 車両に設けられ、
    前記車両の前方の所定の撮像領域を撮像して複数の画素からなる画像を生成し、前記画像に基づいて前記画素ごとの画像データを生成する撮像部と、
    前記画像データに基づいて前記画素ごとの輝度を算出する画像処理部と、
    前記画素ごとの前記輝度に基づいて、複数の部分領域で構成された前記撮像領域のそれぞれの前記部分領域の平均輝度を算出し、前記平均輝度と、前記部分領域の前記平均輝度の上限を規定する輝度閾値と、に基づいて前記部分領域ごとに輝度調整を行うかどうかを判定し、前記輝度調整の判定結果に基づいて前記部分領域の前記輝度調整を行うコントローラと、
    複数の光源を有し、前記光源が前記輝度調整による輝度調整結果に基づいてそれぞれの前記光源を所定の光量に調整し、前記部分領域を照明する照明部と、
    複数の前記照明部と、
    複数の前記撮像部と、
    を備え、
    前記コントローラは、判定対象の前記部分領域の前記平均輝度が前記輝度閾値を超えている場合、前記判定対象の部分領域に対し前記輝度調整を行うべきであると判定し、前記判定対象の部分領域の前記平均輝度が前記輝度閾値以下となるような前記輝度調整を行い、
    それぞれの前記照明部には、前記撮像部が近接して配置されており、
    前記コントローラは、1の前記撮像部が撮像する場合、前記1の撮像部と近接して配置された前記照明部を消灯させる、
    照明装置。
  6. 請求項5に記載の照明装置において、
    前記照明部及び前記撮像部が同一の筐体に収められている、
    照明装置。
  7. 車両に設けられ、
    前記車両の前方の所定の撮像領域を撮像して複数の画素からなる画像を生成し、前記画像に基づいて前記画素ごとの画像データを生成する撮像部と、
    前記画像データに基づいて前記画素ごとの輝度を算出する画像処理部と、
    前記画素ごとの前記輝度に基づいて、複数の部分領域で構成された前記撮像領域のそれぞれの前記部分領域の平均輝度を算出し、前記平均輝度と、前記部分領域の前記平均輝度の上限を規定する輝度閾値と、に基づいて前記部分領域ごとに輝度調整を行うかどうかを判定し、前記輝度調整の判定結果に基づいて前記部分領域の前記輝度調整を行うコントローラと、
    複数の光源を有し、前記光源が前記輝度調整による輝度調整結果に基づいてそれぞれの前記光源を所定の光量に調整し、前記部分領域を照明する照明部と、
    を備え、
    前記コントローラは、判定対象の前記部分領域の前記平均輝度が前記輝度閾値を超えている場合、前記判定対象の部分領域に対し前記輝度調整を行うべきであると判定し、前記判定対象の部分領域の前記平均輝度が前記輝度閾値以下となるような前記輝度調整を行い、
    前記車両は車車間通信を行う情報通信部を備え、
    複数の前記車両の前記照明部の照明領域が重複する場合、
    1の前記車両の前記コントローラは、前記情報通信部を介して前記車車間通信により他の前記車両の前記コントローラと連携することにより重複する前記照明領域の前記平均輝度の前記輝度調整を行う、
    照明装置。
  8. 車両に設けられ、
    前記車両の前方の所定の撮像領域を撮像して複数の画素からなる画像を生成し、前記画像に基づいて前記画素ごとの画像データを生成する撮像部と、
    前記画像データに基づいて前記画素ごとの輝度を算出する画像処理部と、
    前記画素ごとの前記輝度に基づいて、複数の部分領域で構成された前記撮像領域のそれぞれの前記部分領域の平均輝度を算出し、前記平均輝度と、前記部分領域の前記平均輝度の上限を規定する輝度閾値と、に基づいて前記部分領域ごとに輝度調整を行うかどうかを判定し、前記輝度調整の判定結果に基づいて前記部分領域の前記輝度調整を行うコントローラと、
    複数の光源を有し、前記光源が前記輝度調整による輝度調整結果に基づいてそれぞれの前記光源を所定の光量に調整し、前記部分領域を照明する照明部と、
    前記車両の運転手の視線に関する視線情報を取得する視線監視部と、
    を備え、
    前記コントローラは、判定対象の前記部分領域の前記平均輝度が前記輝度閾値を超えている場合、前記判定対象の部分領域に対し前記輝度調整を行うべきであると判定し、前記判定対象の部分領域の前記平均輝度が前記輝度閾値以下となるような前記輝度調整を行い、
    前記コントローラは、前記画像データに基づいて障害物の位置を検出し、前記障害物の位置と、前記視線情報と、に基づいて、前記運転手が前記障害物を認識しているかどうかを判定し、前記運転手が前記障害物を認識していないと判定した場合、前記障害物を照明する前記光源の前記光量を増大させるような前記輝度調整を行い、
    前記コントローラは、前記視線情報に基づいて前記運転手の前記視線が前記障害物へ向けられた時間を検出し、前記運転手の前記視線が前記障害物へ向けられた前記時間が所定の障害物認識時間以下である場合には、前記運転手が前記障害物を認識していないと判定する、
    照明装置。
  9. 請求項1、3、5、7および8のいずれか1項に記載の照明装置において、
    前記コントローラは、前記判定対象の前記部分領域を照明するそれぞれの前記光源の光量を調整する光量設定情報を生成し、
    前記照明部は、前記光量設定情報に基づいてそれぞれの前記光源の前記光量を調整する、
    照明装置。
  10. 請求項1、3、5、7および8のいずれか1項に記載の照明装置において、
    前記コントローラは、前記輝度閾値と、前記部分領域の前記平均輝度の下限を規定する低輝度閾値と、に基づいて前記部分領域ごとに輝度調整を行うかどうかを判定し、前記判定対象の前記部分領域の前記平均輝度が前記輝度閾値を超えている場合、前記判定対象の部分領域に対し前記輝度調整を行うべきであると判定し、前記判定対象の部分領域の前記平均輝度が前記低輝度閾値以上、かつ、前記輝度閾値以下となるような前記輝度調整を行う、
    照明装置。
  11. 請求項1、3、5、7および8のいずれか1項に記載の照明装置において、
    前記コントローラは、前記輝度閾値と、前記部分領域の前記平均輝度の下限を規定する低輝度閾値と、に基づいて前記部分領域ごとに輝度調整を行うかどうかを判定し、判定対象の前記部分領域の前記平均輝度が前記低輝度閾値未満である場合、前記判定対象の部分領域に対し前記輝度調整を行うべきであると判定し、前記判定対象の部分領域の前記平均輝度が前記低輝度閾値以上、かつ、前記輝度閾値以下となるような前記輝度調整を行う、
    照明装置。
JP2018552324A 2016-11-24 2016-11-24 照明装置 Active JP6744424B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/084822 WO2018096619A1 (ja) 2016-11-24 2016-11-24 照明装置

Publications (2)

Publication Number Publication Date
JPWO2018096619A1 JPWO2018096619A1 (ja) 2019-10-17
JP6744424B2 true JP6744424B2 (ja) 2020-08-19

Family

ID=62194892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018552324A Active JP6744424B2 (ja) 2016-11-24 2016-11-24 照明装置

Country Status (4)

Country Link
US (1) US10688911B2 (ja)
JP (1) JP6744424B2 (ja)
CN (1) CN109963744B (ja)
WO (1) WO2018096619A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11577639B2 (en) 2021-02-19 2023-02-14 Toyota Jidosha Kabushiki Kaisha Lighting device for vehicle

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017129946A1 (de) * 2017-12-14 2019-06-19 HELLA GmbH & Co. KGaA Verfahren zur Erfassung von Fehleinstellungen der Hell-Dunkel-Grenze eines Scheinwerfers
JP7163101B2 (ja) * 2018-08-16 2022-10-31 株式会社小糸製作所 前照灯の配光制御システム及び配光制御手段
JP7131228B2 (ja) * 2018-09-18 2022-09-06 株式会社デンソー 車両用表示装置
US11787330B2 (en) 2018-11-12 2023-10-17 Koito Manufacturing Co., Ltd. Vehicle lamp system
DE102018130512A1 (de) * 2018-11-30 2020-06-04 HELLA GmbH & Co. KGaA Beleuchtungsvorrichtung für Fahrzeuge
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view
KR20210015448A (ko) * 2019-08-02 2021-02-10 현대자동차주식회사 차량의 조도 정보 생성 장치 및 방법
CN110490017B (zh) * 2019-08-08 2022-02-22 广东斯玛特自动化科技有限公司 一种用于扫码机的照明方法及装置
CN110708472B (zh) * 2019-11-07 2021-06-29 重庆紫光华山智安科技有限公司 一种抑制运动亮光源曝光控制方法、系统及设备
JP7238829B2 (ja) * 2020-02-17 2023-03-14 トヨタ自動車株式会社 車両用前照灯制御装置
JP7449472B2 (ja) * 2020-07-01 2024-03-14 マツダ株式会社 ヘッドライト制御システム
CN111976583B (zh) * 2020-07-14 2022-02-01 江铃汽车股份有限公司 一种重型车灯光自动控制方法及系统
CN112918373A (zh) * 2021-01-21 2021-06-08 广州小鹏自动驾驶科技有限公司 一种数据处理的方法和装置
FR3128915A1 (fr) * 2021-11-05 2023-05-12 Valeo Vision Procédé d’optimisation de l’éclairage d’une zone de croisement entre une pluralité de véhicules émettant un faisceau lumineux
JPWO2023084663A1 (ja) * 2021-11-11 2023-05-19
WO2024057376A1 (ja) * 2022-09-13 2024-03-21 三菱電機株式会社 ヘッドライト制御装置およびヘッドライト制御方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005057410A (ja) * 2003-08-01 2005-03-03 Alpine Electronics Inc 映像出力装置および方法
EP2026097A1 (en) * 2007-08-08 2009-02-18 Harman Becker Automotive Systems GmbH Vehicle illumination system
JP5003398B2 (ja) * 2007-10-10 2012-08-15 株式会社豊田中央研究所 照明装置
JP4999652B2 (ja) * 2007-11-19 2012-08-15 アイシン精機株式会社 車両用ランプ制御システム
JP2009204734A (ja) 2008-02-26 2009-09-10 Sharp Corp 配光調整方法、照明装置及び撮像装置
DE102008025459B4 (de) * 2008-05-28 2020-03-26 HELLA GmbH & Co. KGaA Verfahren und Vorrichtung zur Kalibrierung einer durch einen Frontscheinwerfer eines Fahrzeugs erzeugten vertikalen Hell-Dunkel-Grenze
JP5097648B2 (ja) * 2008-08-28 2012-12-12 株式会社小糸製作所 前照灯制御装置および車両用前照灯装置
CN101367350A (zh) * 2008-09-24 2009-02-18 上海大学 一种汽车主动防眩光装置和方法
DE102008042537B4 (de) * 2008-10-01 2023-05-25 Robert Bosch Gmbh Verfahren zum Kalibrieren eines Bilderfassunssystems in einem Kraftfahrzeug und Bilderfassungssystem
JP5348100B2 (ja) 2010-09-17 2013-11-20 トヨタ自動車株式会社 前照灯装置、輝度制御方法
DE102011081428A1 (de) * 2011-08-23 2013-02-28 Robert Bosch Gmbh Verfahren zum Bestimmen einer Objektklasse eines Objekts, von dem aus Licht zu einem Fahrzeug ausgesandt und/oder reflektiert wird
JP6114545B2 (ja) * 2012-12-20 2017-04-12 株式会社小糸製作所 車室搭載型の配光可変灯具
JP2015009647A (ja) 2013-06-28 2015-01-19 株式会社デンソー 車両配光制御装置
JP5906224B2 (ja) * 2013-09-27 2016-04-20 富士重工業株式会社 車外環境認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11577639B2 (en) 2021-02-19 2023-02-14 Toyota Jidosha Kabushiki Kaisha Lighting device for vehicle

Also Published As

Publication number Publication date
JPWO2018096619A1 (ja) 2019-10-17
WO2018096619A1 (ja) 2018-05-31
US20190359121A1 (en) 2019-11-28
CN109963744B (zh) 2022-07-15
US10688911B2 (en) 2020-06-23
CN109963744A (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
JP6744424B2 (ja) 照明装置
JP5348100B2 (ja) 前照灯装置、輝度制御方法
JP5680573B2 (ja) 車両の走行環境認識装置
JP4262072B2 (ja) 自動車用補助機器制御装置
US9519841B2 (en) Attached matter detector and vehicle equipment control apparatus
JP4484856B2 (ja) 自動車用ヘッドライト制御装置
US20170088036A1 (en) Headlamp device for a vehicle and method for controlling the headlamp device
JP6963563B2 (ja) 車両用照明システムおよび車両
JP2010223685A (ja) 車両用撮像装置
CN114520880A (zh) 一种曝光参数调节方法及装置
CN112896035A (zh) 车辆用投光控制装置及方法、车辆用投光系统
JP4950967B2 (ja) 自動車用補助機器制御装置
JP6935815B2 (ja) 照明撮像装置
US11704910B2 (en) Vehicle detecting device and vehicle lamp system
JP4669445B2 (ja) 乗員検知装置
US11375134B2 (en) Vehicle monitoring system
JP6082446B2 (ja) 車両用前照灯装置
JP2015136066A (ja) 物体検出装置
JP4679469B2 (ja) 車載画像処理装置
EP4309954A1 (en) Light distribution control device, vehicular lamp system, and light distribution control method
WO2021039577A1 (ja) 車両用灯具
JP6944310B2 (ja) 特定対象物検出装置
JP6939875B2 (ja) 照明撮像装置
JP2020044946A (ja) 車両用灯具

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200730

R150 Certificate of patent or registration of utility model

Ref document number: 6744424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250