WO2020262446A1 - 車両用灯具 - Google Patents

車両用灯具 Download PDF

Info

Publication number
WO2020262446A1
WO2020262446A1 PCT/JP2020/024761 JP2020024761W WO2020262446A1 WO 2020262446 A1 WO2020262446 A1 WO 2020262446A1 JP 2020024761 W JP2020024761 W JP 2020024761W WO 2020262446 A1 WO2020262446 A1 WO 2020262446A1
Authority
WO
WIPO (PCT)
Prior art keywords
range
outer lens
image
exposure
timing
Prior art date
Application number
PCT/JP2020/024761
Other languages
English (en)
French (fr)
Inventor
剣 李
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2021527683A priority Critical patent/JP7474759B2/ja
Publication of WO2020262446A1 publication Critical patent/WO2020262446A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a vehicle lamp.
  • An object identification system that senses the position and type of objects existing around the vehicle is used for automatic driving and automatic control of the light distribution of headlamps.
  • the object identification system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
  • the sensor is selected from cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc. in consideration of application, required accuracy, and cost.
  • Depth information cannot be obtained from a general monocular camera. Therefore, when a plurality of objects located at different distances overlap, it is difficult to separate them.
  • the TOF camera is known as a camera that can obtain depth information.
  • a TOF (TimeOfFlight) camera emits infrared light with a light emitting device, measures the flight time until the reflected light returns to the image sensor, and obtains an image obtained by converting the flight time into distance information. is there.
  • the applicant has proposed a sensor (hereinafter referred to as a gating camera in the present specification) as an alternative to the TOF camera (Patent Documents 1 and 2).
  • the gating camera divides the shooting range into a plurality of ranges, changes the exposure timing and the exposure time for each range, and captures images a plurality of times. As a result, images are obtained for each target range, and each image includes only objects included in the corresponding range.
  • the present inventor has considered incorporating a gating camera into a vehicle lamp (headlamp).
  • the shooting with the gating camera is performed through the outer lens of the headlamp. Dust and raindrops adhering to the outer lens and internal reflection of the outer lens deteriorate the image of the gating camera.
  • the present invention has been made in such a situation, and one of the exemplary purposes of the embodiment is to improve the image quality of a gating camera built in a vehicle lamp.
  • An aspect of the present invention relates to a vehicle lamp.
  • the vehicle lighting equipment includes an outer lens and a gating camera housed inside the outer lens.
  • the gating camera is configured to divide into a plurality of ranges in the depth direction, and for each range, set the timing of exposure and light emission to a predetermined value determined for the range and shoot. The timing of exposure and light emission in each range is determined so that the outer lens does not affect the image.
  • FIG. 1 It is a block diagram of the object identification system which concerns on embodiment. It is a figure explaining the operation of a gating camera.
  • 3 (a) and 3 (b) are diagrams for explaining an image obtained by a gating camera. It is sectional drawing of the lighting equipment for a vehicle which incorporates a gating camera.
  • 5 (a) and 5 (b) are views for explaining shooting with a gating camera through the outer lens.
  • 6 (a) and 6 (b) are diagrams for explaining shooting in which the influence of the outer lens is excluded.
  • FIG. 1 is a block diagram of the object identification system 10 according to the embodiment.
  • the object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle, and determines the type (also referred to as a category or class) of an object OBJ existing around the vehicle.
  • the object identification system 10 mainly includes a gating camera 20 and an arithmetic processing unit 40.
  • the gating camera 20 includes a floodlight 22, an image sensor 24, and a controller 26.
  • the imaging by the gating camera 20 is performed by dividing into a plurality of N (N ⁇ 2) ranges RNG 1 to RNG N in the depth direction. Adjacent ranges may overlap in the depth direction at their boundaries.
  • the floodlight 22 irradiates the probe light L1 to the front of the vehicle in synchronization with the floodlight timing signal S1 given from the controller 26.
  • the probe light L1 is preferably infrared light, but is not limited to this, and may be visible light having a predetermined wavelength.
  • the image sensor 24 is configured to be capable of exposure control synchronized with the shooting timing signal S2 given from the controller 26 and to be able to generate an image IMG.
  • the image sensor 24 has sensitivity to the same wavelength as the probe light L1, and photographs the reflected light (return light) L2 reflected by the object OBJ.
  • the controller 26 holds a predetermined light projection timing and exposure timing for each range RNG.
  • the controller 26 When a certain range RNGi is photographed, the controller 26 generates a projection timing signal S1 and an imaging timing signal S2 based on the projection timing and the exposure timing corresponding to the range, and performs imaging.
  • the gating camera 20 can generate a plurality of images IMG 1 to IMG N corresponding to a plurality of ranges RNG 1 to RNG N , and the i-th image IMG i is an object included in the corresponding range RNG i. Only will be captured.
  • FIG. 2 is a diagram illustrating the operation of the gating camera 20.
  • FIG. 2 shows a state when the i-th range RNG i is measured.
  • the floodlight 22 emits light during the light emission period ⁇ 1 between the times t 0 and t 1 in synchronization with the light flood timing signal S1.
  • a diagram of rays with time on the horizontal axis and distance on the vertical axis is shown. From gating camera 20, the distance d MINi up before the boundary of the range RNG i, the distance to the far side of the boundary of the range RNG i and d MAXi.
  • T MINi 2 ⁇ d MINI / c Is. c is the speed of light.
  • T MAXi 2 ⁇ d MAXi / c Is.
  • the controller 26 may repeat the above-mentioned exposure operation a plurality of times in a predetermined period ⁇ 2 .
  • the image actually captured includes an object included in a narrow region (indicated by p in FIG. 2) in front of the distance d MINi .
  • the image is reflected at a relatively lower exposure than the object contained in RNG i .
  • an object included in a narrow region (indicated by q in FIG. 2) behind the distance d MAXi is also reflected with a relatively low exposure.
  • FIG. 3 (a) and 3 (b) are diagrams for explaining an image obtained by the gating camera 20.
  • the object to the range RNG 2 (pedestrian) OBJ 2 are present, there is an object (vehicle) OBJ 3 to the range RNG 3.
  • FIG. 3 (b) shows a plurality of images IMG 1 to IMG 3 obtained in the situation of FIG. 3 (a).
  • the image sensor is exposed only by the reflected light from the range RNG 1, so that no object image is captured in the image IMG 1 .
  • the image sensor When the image IMG 2 is captured, the image sensor is exposed only by the reflected light from the range RNG 2, so that only the object image OBJ 2 is captured in the image IMG 2 .
  • the image sensor when the image IMG 3 is captured, the image sensor is exposed only by the reflected light from the range RNG 3, so that only the object image OBJ 3 is captured in the image IMG 3 .
  • an object can be separated and photographed for each range.
  • the arithmetic processing unit 40 is configured to be able to identify the type of an object based on a plurality of images IMG 1 to IMG N corresponding to a plurality of ranges RNG 1 to RNG N obtained by the gating camera 20.
  • the arithmetic processing unit 40 includes a classifier 42 implemented based on a prediction model generated by machine learning.
  • the algorithm of the classifier 42 is not particularly limited, but YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN. , DSSD (Deconvolution -SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
  • the arithmetic processing unit 40 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer
  • the arithmetic processing unit 40 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 40 may be configured only by hardware.
  • the range of the size of the object image (called the allowable range) that appears in the corresponding image is specified.
  • the classifier 42 identifies the type of the object image included in each of the plurality of image IMGs on the premise (constraint) that the size of the object image to be detected is included in the permissible range.
  • the detection data OUT includes the bounding box information for each object, the height and width of the bounding box can be used as the object size information.
  • the type information may indicate the possibility (affiliation probability) corresponding to each of the plurality of types, or may include an identifier of the type having the highest affiliation probability.
  • FIG. 4 is a cross-sectional view of a vehicle lamp 200 having a built-in gating camera 20.
  • the vehicle lamp 200 includes a housing 210, an outer lens 220, a high beam and low beam lamp unit 230H / 230L, and a gating camera 20.
  • the lamp unit 230H / 230L and the gating camera 20 are housed in the housing 210.
  • FIG. 5 (a) and 5 (b) are diagrams illustrating shooting by the gating camera 20 through the outer lens 220.
  • deposits 222 such as raindrops and dirt are attached to the outer lens 220.
  • the distance d MIN to short of the boundaries of the imaging target range RNG 1 is too short, and thus to include outer lens 220 to the imaging range RNG 1.
  • the deposit 222 is reflected in the image IMG 1 .
  • the light spot 224 due to the internal reflection of the outer lens 220 is reflected in the image IMG 1 .
  • the image IMG 1 may be affected by the distortion 226 caused by the outer lens 220.
  • the gating camera 20 is configured to exclude the outer lens 220 from the shooting range.
  • the range in which an object is reflected when a certain range is photographed is determined based on the timings t 0 to t 3 of light projection and exposure. That is, in the present embodiment, the exposure and light emission timings (t 0 to t 3 ) for each range RNG are determined so as to reduce the influence of the outer lens on the corresponding image. "The influence of the outer lens is reduced" means that (i) the deposits on the outer lens are not reflected on the image IMG, (ii) the light spots due to the internal reflection of the outer lens are not reflected on the image IMG, etc. including.
  • 6 (a) and 6 (b) are diagrams for explaining shooting in which the influence of the outer lens is excluded.
  • the foremost range RNG 1 is defined so as not to include the outer lens 220.
  • the influence of the outer lens 220 may appear in the image IMG 1 . Therefore, it is preferable to define the range in which the influence of the outer lens 220 is expressed as the shooting exclusion range and the back side of the shooting exclusion range as the shooting possible range, and define the range RNG 1 within the shooting range.
  • the image IMG 1 obtained for the range RNG 1 does not include the deposits of the outer lens 220, and high image quality can be obtained.
  • the timing of exposure and light emission that reduces the influence of the outer lens 220 may be theoretically calculated from the positional relationship of the floodlight 22, the image sensor 24, and the outer lens 220. ..
  • the image pickup surface IS of the image sensor 24 and the light emitting surface ES of the floodlight 22 do not always match. Further, the distance between the light emitting surface ES of the floodlight 22 and the outer lens 220 and the distance between the image pickup surface IS of the image sensor 24 and the outer lens 220 do not always match. Under these circumstances, it is not easy to determine the timing of light projection and exposure by theoretical calculation.
  • the controller 26 monitors the output image IMG i of the image sensor 24 while changing the timing of light projection and exposure for each range RNG i so that the influence of the outer lens 220 on the image IMG i is reduced.
  • the timing of exposure and light emission may be optimized. Instead of the controller 26, this optimization process may be performed by a computer outside the vehicle lamp 200.
  • the designer or the inspector manually monitors the output image of the image sensor 24 while changing the timing of light projection and exposure, and the timing of exposure and light emission. May be optimized.
  • the auxiliary range RNG 0 In addition to the plurality of ranges RNG 1 to RNG N defined so as not to be affected by the outer lens 220, the auxiliary range RNG 0 whose timings related to light projection and exposure are determined so as to be affected by the outer lens 220. May be retained. This auxiliary range RNG 0 may match the exclusion range of FIG. 6 (a). Then, if the vehicle is switched to the auxiliary range RNG 0 and photographed while the vehicle is stopped or running, the deposits on the outer lens 220 can be detected based on the obtained image.
  • the present invention relates to a vehicle lamp.

Abstract

ゲーティングカメラ２０は、アウターレンズ２２０の内側に収容される。ゲーティングカメラ２０は、奥行き方向について複数のレンジに区切り、各レンジについて、露光と発光のタイミングを、そのレンジについて定められた所定値にセットして撮影するよう構成される。各レンジＲＮＧｉの露光と発光のタイミング（ｔ０，ｔ１，ｔ２，ｔ３）は、画像ＩＭＧｉに対してアウターレンズ２２０が影響を与えないように定められる。

Description

車両用灯具
　本発明は、車両用灯具に関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。
　奥行き情報が得られるカメラとして、ＴＯＦカメラが知られている。ＴＯＦ（Time Of Flight）カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換した画像を得るものである。
特開２００９－２５７９８３号公報 国際公開ＷＯ２０１７／１１０４１３Ａ１
　本出願人は、ＴＯＦカメラに代わるセンサ（以下、本明細書においてゲーティングカメラと称する）を提案している（特許文献１，２）。ゲーティングカメラは、撮影範囲を複数のレンジに区切り、レンジ毎に露光タイミングおよび露光時間を変化させて複数回、撮像する。これにより、対象のレンジ毎に画像が得られ、各画像は対応するレンジに含まれる物体のみを含む。
　本発明者は、ゲーティングカメラを車両用灯具（ヘッドランプ）に内蔵することを検討した。この場合、ゲーティングカメラによる撮影は、ヘッドランプのアウターレンズ越しに行われることとなる。アウターレンズに付着したゴミや雨滴、アウターレンズの内面反射は、ゲーティングカメラの画像を劣化させる。
　本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、車両用灯具に内蔵されるゲーティングカメラの画質の改善にある。
　本発明のある態様は車両用灯具に関する。車両用灯具は、アウターレンズと、アウターレンズの内側に収容されるゲーティングカメラを備える。ゲーティングカメラは、奥行き方向について複数のレンジに区切り、各レンジについて、露光と発光のタイミングを、そのレンジについて定められた所定値にセットして撮影するよう構成される。各レンジの、露光と発光のタイミングは、画像に対してアウターレンズが影響を与えないように定められる。
　本発明によれば、アウターレンズの付着物や内面反射の影響が少ない画像を得ることができる。
実施の形態に係る物体識別システムのブロック図である。 ゲーティングカメラの動作を説明する図である。 図３（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。 ゲーティングカメラを内蔵する車両用灯具の断面図である。 図５（ａ）、（ｂ）は、アウターレンズ越しのゲーティングカメラによる撮影を説明する図である。 図６（ａ）、（ｂ）は、アウターレンズの影響が除外された撮影を説明する図である。
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　図１は、実施の形態に係る物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ、あるいはクラスともいう）を判定する。
　物体識別システム１０は、主としてゲーティングカメラ２０および演算処理装置４０を備える。ゲーティングカメラ２０は、投光器２２、イメージセンサ２４、コントローラ２６を含む。ゲーティングカメラ２０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
　投光器２２は、コントローラ２６から与えられる投光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
　イメージセンサ２４は、コントローラ２６から与えられる撮影タイミング信号Ｓ２と同期した露光制御が可能であり、画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
　コントローラ２６は、レンジＲＮＧごとに予め定められた投光タイミングと露光タイミングを保持している。コントローラ２６は、あるレンジＲＮＧｉを撮影するとき、そのレンジに対応する投光タイミングと露光タイミングにもとづいて投光タイミング信号Ｓ１および撮影タイミング信号Ｓ２を生成し、撮影を行う。ゲーティングカメラ２０は、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数の画像ＩＭＧ１～ＩＭＧＮを生成することができ、ｉ番目の画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
　図２は、ゲーティングカメラ２０の動作を説明する図である。図２にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。投光器２２は、投光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
　ある時刻に投光器２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
　ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
　同様に、ある時刻に投光器２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
　ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
　レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、撮影タイミング信号Ｓ２を生成する。これが１回の露光動作である。
　ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ２６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
　なお、図２の制御タイミングｔ０～ｔ３を与えたときに、実際に撮影される画像には、距離ｄＭＩＮｉより手前の狭い領域（図２にｐで示す）に含まれる物体が、レンジＲＮＧｉに含まれる物体よりも相対的に低い露出で写り込む。同様に距離ｄＭＡＸｉより奥側の狭い領域（図２にｑで示す）に含まれる物体も、相対的に低い露出で写り込む。
　図３（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図３（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図３（ｂ）には、図３（ａ）の状況で得られる複数の画像ＩＭＧ１～ＩＭＧ３が示される。画像ＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、画像ＩＭＧ１にはいかなる物体像も写らない。
　画像ＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、画像ＩＭＧ２には、物体像ＯＢＪ２のみが写る。同様に画像ＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、画像ＩＭＧ３には、物体像ＯＢＪ３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。
　図１に戻る。演算処理装置４０は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数の画像ＩＭＧ１～ＩＭＧＮにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、機械学習によって生成された予測モデルにもとづいて実装される分類器４２を備える。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
　演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。
　複数のレンジそれぞれについて、対応する画像に写る物体像の大きさの範囲（許容範囲という）が規定されている。分類器４２は、検出対象の物体像のサイズは、許容範囲に含まれるという前提（制約）のもと、複数の画像ＩＭＧそれぞれに含まれる物体像の種類を識別する。
　たとえば、分類器４２の出力（検出データという）ＯＵＴｉ（ｉ＝１，２，…Ｎ）は、ｉ番目の画像データＩＭＧｉに含まれる各物体像のサイズ情報と、その種類（カテゴリ）の情報を含む。検出データＯＵＴが、物体ごとのバウンディングボックスの情報を含む場合、バウンディングボックスの高さと幅を、物体のサイズ情報とすることができる。種類の情報は、複数の種類それぞれに該当する可能性（所属確率）を示してもよいし、最も所属確率が高い種類の識別子を含んでもよい。
　図４は、ゲーティングカメラ２０を内蔵する車両用灯具２００の断面図である。車両用灯具２００は、筐体２１０、アウターレンズ２２０、ハイビームおよびロービームの灯具ユニット２３０Ｈ／２３０Ｌおよびゲーティングカメラ２０を備える。灯具ユニット２３０Ｈ／２３０Ｌおよびゲーティングカメラ２０は、筐体２１０に収容されている。
　図５（ａ）、（ｂ）は、アウターレンズ２２０越しのゲーティングカメラ２０による撮影を説明する図である。図５（ａ）に示すように、アウターレンズ２２０には、雨滴や汚れなどの付着物２２２が付着している。撮影対象のレンジＲＮＧ１の手前の境界までの距離ｄＭＩＮが短すぎると、撮影レンジＲＮＧ１にアウターレンズ２２０が含まれることとなる。その結果、図５（ｂ）に示すように、付着物２２２が画像ＩＭＧ１に写り込む。また画像ＩＭＧ１には、アウターレンズ２２０の内面反射による光点２２４が写り込む。さらに画像ＩＭＧ１は、アウターレンズ２２０に起因する歪み２２６の影響を受ける場合もある。
　このようなアウターレンズの影響を受けた画像ＩＭＧ１にもとづいて物体認識を行うと、識別率が低下する。そこで、ゲーティングカメラ２０は、アウターレンズ２２０を撮影範囲から除外するように構成される。図２を参照して説明したように、あるレンジを撮影したときに物体が写り込む範囲は、投光と露光のタイミングｔ０～ｔ３にもとづいて定まる。つまり本実施の形態では、各レンジＲＮＧごとの、露光と発光のタイミング（ｔ０～ｔ３）は、対応する画像に対するアウターレンズの影響が低減するように定められる。「アウターレンズの影響が低減する」とは、（i）アウターレンズの付着物が画像ＩＭＧに写り込まないこと、（ii）アウターレンズの内面反射による光点が画像ＩＭＧに写り込まないこと、などを含む。
　図６（ａ）、（ｂ）は、アウターレンズの影響が除外された撮影を説明する図である。図６（ａ）に示すように、最も手前のレンジＲＮＧ１は、アウターレンズ２２０を含まないように定められる。ただし、レンジＲＮＧ１がアウターレンズ２２０を含んでいない場合であっても、アウターレンズ２２０の影響が画像ＩＭＧ１に現れる場合がある。そこで、アウターレンズ２２０の影響が表される範囲を撮影除外範囲、撮影除外範囲よりも奥側を撮影可能範囲として定め、レンジＲＮＧ１を、撮影可能範囲内で規定するとよい。これにより図６（ｂ）に示すように、レンジＲＮＧ１について得られる画像ＩＭＧ１には、アウターレンズ２２０の付着物などが写り込まず、高画質が得られることとなる。
　各レンジＲＮＧ１～ＲＮＧＮそれぞれについて、アウターレンズ２２０の影響を低減するような露光と発光のタイミングは、投光器２２、イメージセンサ２４およびアウターレンズ２２０の位置関係から、理論的に計算してもよい。
　ただし、実際の車両用灯具２００では、図３に示すように、イメージセンサ２４の撮像面ＩＳと、投光器２２の発光面ＥＳは一致しているとは限らない。また投光器２２の発光面ＥＳとアウターレンズ２２０の距離と、イメージセンサ２４の撮像面ＩＳとアウターレンズ２２０の距離も一致しているとは限らない。このような事情から、理論計算によって、投光および露光に関するタイミングを決定することは容易でない。
　そこでコントローラ２６は、各レンジＲＮＧｉについて、投光および露光に関するタイミングを変化させながら、イメージセンサ２４の出力画像ＩＭＧｉを監視し、画像ＩＭＧｉに対するアウターレンズ２２０の影響が低減されるように、露光と発光のタイミングを最適化してもよい。コントローラ２６に変えて、車両用灯具２００の外部のコンピュータによってこの最適化処理を行ってもよい。
　あるいは、車両用灯具２００の設計段階、あるいは検査工程において、設計者あるいは検査員がマニュアルで、投光および露光に関するタイミングを変化させながら、イメージセンサ２４の出力画像を監視し、露光と発光のタイミングを最適化してもよい。
　なお、アウターレンズ２２０の影響を受けないように定められた複数のレンジＲＮＧ１～ＲＮＧＮとは別に、アウターレンズ２２０の影響を受けるように投光および露光に関するタイミングが定められた補助レンジＲＮＧ０を保持しておいてもよい。この補助レンジＲＮＧ０は、図６（ａ）の除外範囲と一致させてもよい。そして、車両の停車中や走行中に、補助レンジＲＮＧ０に切り替えて撮影を行えば、得られた画像にもとづいて、アウターレンズ２２０の付着物を検出することができる。
　実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本発明は、車両用灯具に関する。
　Ｓ１　投光タイミング信号
　Ｓ２　撮影タイミング信号
　１０　物体識別システム
　２０　ゲーティングカメラ
　２２　投光器
　２４　イメージセンサ
　２６　コントローラ
　４０　演算処理装置
　４２　分類器
　２００　車両用灯具
　２１０　筐体
　２２０　アウターレンズ
　２３０　灯具ユニット

Claims (3)

  1. 　アウターレンズと、
    　奥行き方向について複数のレンジに区切り、各レンジについて、露光と発光のタイミングを、そのレンジについて定められた所定値にセットして撮影するよう構成され、前記アウターレンズの内側に収容されるゲーティングカメラと、
    　を備え、
    　各レンジの前記露光と発光のタイミングは、画像に対して前記アウターレンズが影響を与えないように定められることを特徴とする車両用灯具。
  2. 　前記ゲーティングカメラは、前記画像に対する前記アウターレンズの影響が低減されるように、自動的に前記露光と発光のタイミングを最適化するコントローラを含むことを特徴とする請求項１に記載の車両用灯具。
  3. 　前記複数のレンジとは別に、前記画像に対して前記アウターレンズの付着物が写るように、前記露光と発光のタイミングが定められた補助レンジが用意され、前記補助レンジに対応する画像にもとづいて、前記アウターレンズの付着物を検出可能であることを特徴とする請求項１または２に記載の車両用灯具。
PCT/JP2020/024761 2019-06-28 2020-06-24 車両用灯具 WO2020262446A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021527683A JP7474759B2 (ja) 2019-06-28 2020-06-24 車両用灯具

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019122037 2019-06-28
JP2019-122037 2019-06-28

Publications (1)

Publication Number Publication Date
WO2020262446A1 true WO2020262446A1 (ja) 2020-12-30

Family

ID=73887860

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024761 WO2020262446A1 (ja) 2019-06-28 2020-06-24 車両用灯具

Country Status (3)

Country Link
JP (1) JP7474759B2 (ja)
CN (1) CN112153252B (ja)
WO (1) WO2020262446A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252357A (ja) * 2007-03-29 2008-10-16 Matsushita Electric Ind Co Ltd 暗視撮像装置及びヘッドライトモジュール
JP2009257981A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2017090409A (ja) * 2015-11-17 2017-05-25 株式会社デンソーウェーブ レーザレーダ装置の着雪検出方法、着雪検出装置、着雪検出プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5469527B2 (ja) * 2010-05-10 2014-04-16 パナソニック株式会社 撮像装置
CN204119335U (zh) * 2014-09-29 2015-01-21 华为技术有限公司 一种摄像设备
EP3396410A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGE ACQUISITION DEVICE FOR VEHICLES, CONTROL DEVICE, VEHICLE HAVING IMAGE ACQUISITION DEVICE FOR VEHICLES AND CONTROL DEVICE, AND IMAGE ACQUISITION METHOD FOR VEHICLES

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252357A (ja) * 2007-03-29 2008-10-16 Matsushita Electric Ind Co Ltd 暗視撮像装置及びヘッドライトモジュール
JP2009257981A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2017090409A (ja) * 2015-11-17 2017-05-25 株式会社デンソーウェーブ レーザレーダ装置の着雪検出方法、着雪検出装置、着雪検出プログラム

Also Published As

Publication number Publication date
CN112153252A (zh) 2020-12-29
CN112153252B (zh) 2022-10-14
JP7474759B2 (ja) 2024-04-25
JPWO2020262446A1 (ja) 2020-12-30

Similar Documents

Publication Publication Date Title
JP7369921B2 (ja) 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
US11073379B2 (en) 3-D environment sensing by means of projector and camera modules
JP2022505772A (ja) 構造化光照明付き飛行時間型センサ
WO2020184447A1 (ja) ゲーティングカメラ、自動車、車両用灯具、物体識別システム、演算処理装置、物体識別方法、画像表示システム、検査方法、撮像装置、画像処理装置
JP6435661B2 (ja) 物体識別システム、情報処理装置、情報処理方法及びプログラム
JPWO2017110415A1 (ja) 車両用センサおよびそれを備えた車両
US11803982B2 (en) Image processing device and three-dimensional measuring system
TW202021340A (zh) 用於相機之紅外光預閃光
CN107483815A (zh) 运动物体的拍摄方法和装置
US11303817B2 (en) Active sensor, object identification system, vehicle and vehicle lamp
WO2021201269A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2020262446A1 (ja) 車両用灯具
WO2021193645A1 (ja) ゲーティングカメラ、センシングシステム、車両用灯具
WO2021060397A1 (ja) ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
JP2010190793A (ja) 距離計測装置及び距離計測方法
WO2020195755A1 (ja) 測距撮像システム、測距撮像方法、及びプログラム
WO2023013776A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP7043375B2 (ja) ステレオカメラ、車載灯具ユニット、及びステレオカメラシステム
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
WO2022145261A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2023013777A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2023189599A1 (ja) 距離画像センサ、および車両用灯具
WO2020218283A1 (ja) ＴｏＦカメラ、車両用灯具、自動車
WO2021172478A1 (ja) センサ、自動車および周囲環境のセンシング方法
WO2023224077A1 (ja) ＴｏＦカメラ、車両用センシングシステム、および車両用灯具

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20831287

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021527683

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20831287

Country of ref document: EP

Kind code of ref document: A1