WO2021193645A1 - ゲーティングカメラ、センシングシステム、車両用灯具 - Google Patents

ゲーティングカメラ、センシングシステム、車両用灯具 Download PDF

Info

Publication number
WO2021193645A1
WO2021193645A1 PCT/JP2021/012020 JP2021012020W WO2021193645A1 WO 2021193645 A1 WO2021193645 A1 WO 2021193645A1 JP 2021012020 W JP2021012020 W JP 2021012020W WO 2021193645 A1 WO2021193645 A1 WO 2021193645A1
Authority
WO
WIPO (PCT)
Prior art keywords
range
light
light source
gating camera
lighting device
Prior art date
Application number
PCT/JP2021/012020
Other languages
English (en)
French (fr)
Inventor
原田 知明
安男 中村
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2022510553A priority Critical patent/JPWO2021193645A1/ja
Publication of WO2021193645A1 publication Critical patent/WO2021193645A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • This disclosure relates to a gating camera.
  • An object identification system that senses the position and type of objects existing around the vehicle is used for automatic driving and automatic control of the light distribution of headlamps.
  • the object identification system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
  • the sensor is selected from cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, etc. in consideration of application, required accuracy, and cost.
  • Depth information cannot be obtained from a general monocular camera. Therefore, when a plurality of objects located at different distances overlap, it is difficult to separate them.
  • the TOF camera is known as a camera that can obtain depth information.
  • a TOF (TimeOfFlight) camera emits infrared light with a light emitting device, measures the flight time until the reflected light returns to the image sensor, and obtains an image obtained by converting the flight time into distance information. be.
  • a gating camera instead of a TOF camera has been proposed (Patent Documents 1 and 2).
  • the gating camera divides the shooting range into a plurality of ranges, changes the exposure timing and the exposure time for each range, and captures images a plurality of times. As a result, slice images are obtained for each target range, and each slice image contains only objects included in the corresponding range.
  • the present disclosure has been made in such circumstances, and one of the exemplary purposes of that aspect is to provide a gating camera that can obtain good sliced images over different distance ranges.
  • the gating camera is a gating camera that divides into a plurality of ranges in the depth direction and generates a plurality of slice images corresponding to the plurality of ranges, and can control the light emission timing and the light distribution. It includes a lighting device that irradiates probe light, an image sensor that can control the exposure timing, and a controller that controls the light emission timing and light distribution of the lighting device and the imaging timing of the image sensor for each range.
  • good slice images can be obtained in different distance ranges.
  • FIG. 8A is a diagram showing a headlamp including a lighting device
  • FIG. 8B is a diagram illustrating irradiation ranges of a plurality of light sources.
  • FIG. 9 (a) to 9 (c) are views for explaining the light distribution of the lighting device of FIG. 10 (a) and 10 (b) are views showing an automobile equipped with a gating camera. It is a block diagram which shows the lamp for a vehicle provided with the object detection system.
  • the gating camera is a gating camera that divides the depth direction into a plurality of ranges and generates a plurality of slice images corresponding to the plurality of ranges, and can control the light emission timing and the light distribution.
  • a lighting device that irradiates probe light, an image sensor that can control the exposure timing, and a controller that controls the light emission timing and light distribution of the lighting device and the imaging timing of the image sensor for each range.
  • a good slice image can be obtained by switching the light distribution of the probe light according to the distance.
  • the light distribution of the lighting device may be set so that the range in the horizontal direction becomes narrower as the range becomes farther, and the peak brightness decreases.
  • the range in the horizontal direction becomes narrower as the range becomes farther, and the peak brightness decreases.
  • the light distribution of the lighting device when shooting the closest range may be substantially flat, at least in the range of plus or minus 10 ° to the left and right.
  • the light distribution of the lighting device when shooting the farthest range may include 90% or more of the total light amount in the range of plus or minus 10 ° to the left and right.
  • the illuminating device may include a plurality of light sources, each of which is responsible for different irradiation ranges in the horizontal direction.
  • the emission intensity of each light source may be controlled according to the range.
  • the lighting device may include a first light source to a sixth light source.
  • the first light source and the fourth light source illuminate the first range centered on 0 °
  • the second light source illuminates the second range whose center is located to the left of the center of the first range
  • the third light source illuminates the second range.
  • the center illuminates the third range located to the left of the center of the second range
  • the fifth light source illuminates the fourth range whose center is located to the right of the center of the first range
  • the sixth light source is the center. May irradiate the fifth range located to the right of the center of the fourth range.
  • the first to third light sources may be built into the left headlamp, and the fourth to sixth light sources may be built into the right headlamp.
  • the lighting device of the gating camera can be built into the headlamp while maintaining the left-right symmetry of the headlamp.
  • FIG. 1 is a block diagram of an object identification system 10 including the gating camera 20 according to the embodiment.
  • This object identification system 10 is mounted on a vehicle such as an automobile or a motorcycle, and determines the type (also referred to as a category or class) of an object OBJ existing around the vehicle.
  • the object identification system 10 is a sensing system, and mainly includes a gating camera 20 and an arithmetic processing unit 40.
  • the gating camera 20 includes a lighting device (floodlight) 22, an image sensor 24, and a controller 26.
  • the imaging by the gating camera 20 is performed by dividing into a plurality of N (N ⁇ 2) ranges RNG 1 to RNG N in the depth direction. Adjacent ranges may overlap in the depth direction at their boundaries.
  • the lighting device 22 irradiates the probe light L1 to the front of the vehicle in synchronization with the light emission timing signal S1a given from the controller 26.
  • the probe light L1 is preferably infrared light, but is not limited to this, and may be visible light having a predetermined wavelength.
  • a laser diode (LD) or an LED can be used as the lighting device 22 .
  • the lighting device 22 is a variable light distribution lamp, and its light distribution can be controlled according to the light distribution control signal S1b from the controller 26.
  • the image sensor 24 is configured to be capable of exposure control synchronized with the exposure timing signal S2 given from the controller 26 and to be able to generate a slice image IMG.
  • the image sensor 24 has sensitivity to the same wavelength as the probe light L1 and photographs the reflected light (return light) L2 reflected by the object OBJ.
  • the controller 26 controls the timing of irradiation of the probe light L1 by the lighting device 22 and imaging by the image sensor 24 for each range.
  • the controller 26 changes the light emission timing signal S1a and the exposure timing signal S2 for each range RNG to change the time difference between the light emission by the lighting device 22 and the exposure of the image sensor 24.
  • the light emission timing signal S1 defines the light emission start timing and the light emission time.
  • the exposure timing signal S2 defines the exposure start timing (time difference from the light emission) and the exposure time.
  • the controller 26 changes the light distribution control signal S1b for each range RNG to switch the light distribution of the lighting device 22.
  • FIG. 2 is a diagram illustrating the basic operation of the gating camera 20.
  • FIG. 2 shows a state when measuring the i-th range RNG i.
  • the lighting device 22 emits light during the light emission period ⁇ 1 between the times t 0 and t 1 in synchronization with the light emission timing signal S1a.
  • a diagram of rays with time on the horizontal axis and distance on the vertical axis is shown. From gating camera 20, the distance d MINi up before the boundary of the range RNG i, the distance to the far side of the boundary of the range RNG i and d MAXi.
  • T MINi 2 ⁇ d MINI / c Is. c is the speed of light.
  • T MAXi 2 ⁇ d MAXi / c Is.
  • the controller 26 may repeat the above-mentioned exposure operation a plurality of times in a predetermined period ⁇ 2.
  • FIG. 3 (a) and 3 (b) are diagrams illustrating slice images obtained by the gating camera 20.
  • the object to the range RNG 2 (pedestrian) OBJ 2 are present, there is an object (vehicle) OBJ 3 to the range RNG 3.
  • FIG. 3 (b) shows a plurality of slice images IMG 1 to IMG 3 obtained in the situation of FIG. 3 (a).
  • the image sensor is exposed only by the reflected light from the range RNG 1, so that no object image is captured in the slice image IMG 1.
  • the image sensor When the slice image IMG 2 is photographed, the image sensor is exposed only by the reflected light from the range RNG 2, so that only the object image OBJ 2 is captured in the slice image IMG 2. Similarly, when the slice image IMG 3 is photographed, the image sensor is exposed only by the reflected light from the range RNG 3, so that only the object image OBJ 3 is captured in the slice image IMG 3. In this way, according to the gating camera 20, it is possible to separate and shoot an object for each range.
  • the gating camera 20 generates a plurality of slice images IMG 1 to IMG N corresponding to the plurality of ranges RNG 1 to RNG N. Only the objects included in the corresponding range RNG i are captured in the i-th slice image IMG i.
  • the arithmetic processing unit 40 is configured to be able to identify the type (class or category) of an object based on a plurality of slice images IMG 1 to IMG N corresponding to a plurality of ranges RNG 1 to RNG N obtained by the gating camera 20. Will be done.
  • the arithmetic processing unit 40 includes a classifier 42 implemented based on a trained model generated by machine learning.
  • the algorithm of the classifier 42 is not particularly limited, but YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), R-CNN (Region-based Convolutional Neural Network), SPPnet (Spatial Pyramid Pooling), Faster R-CNN. , DSSD (Deconvolution -SSD), Mask R-CNN, etc. can be adopted, or algorithms developed in the future can be adopted.
  • the arithmetic processing unit 40 can be implemented by combining a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer
  • the arithmetic processing unit 40 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 40 may be configured only by hardware.
  • FIG. 4 is a diagram illustrating light distribution control of the gating camera 20 of FIG.
  • FIG. 4 shows the light distribution patterns LD N , LD M , and LD F corresponding to the three ranges.
  • a short-distance range RNG N a wide light distribution pattern LD N is formed in the horizontal direction
  • a narrow light distribution pattern LD F is formed in the horizontal direction.
  • a range RNG M a light distribution pattern LD M having a width of about the middle in the horizontal direction is formed.
  • Figure 5 (a) ⁇ (c) are diagrams illustrating a short distance, middle distance, the light distribution pattern LD N for long distance, LD M, an example of LD F.
  • the horizontal axis represents the horizontal angle
  • the vertical axis represents the emission intensity. 0 ° corresponds to the front of the vehicle.
  • a short distance means within 20 m from the own vehicle
  • a medium distance means 20 to 50 m from the own vehicle
  • a long distance means 50 m or more.
  • the light distribution of the lighting device is determined so that the range in the horizontal direction becomes narrower as the range becomes farther, and the peak brightness decreases.
  • the light distribution when shooting the closest range is substantially flat, at least in the range of plus or minus 10 ° to the left and right.
  • the light distribution when shooting the farthest range is such that the light is concentrated in the range of plus or minus 10 ° to the left and right, and includes 90% or more of the total amount of light.
  • the above is an example of light distribution.
  • FIG. 6 is a diagram illustrating a comparative technique.
  • the same light distribution is used regardless of the distance (range), and the emission intensity is changed according to the distance.
  • the intensity of the reflected light from a near object and the intensity of the reflected light from a distant object can be made uniform.
  • a good image can be obtained in a plurality of ranges by switching the light distribution according to the shooting range, that is, the distance.
  • FIG. 7 is a diagram showing a configuration example of the lighting device 22.
  • the lighting device 22 includes a plurality of light sources 30_1 to 30_N (N ⁇ 2) and a lighting circuit 32 for driving them.
  • a plurality of light sources 30 _ 1 ⁇ 30_N are each configured to be able irradiate the irradiation range ⁇ 1 ⁇ ⁇ N different horizontally.
  • individual irradiations of a plurality of light sources 30_1 to 30_N are combined to form a light distribution pattern.
  • the lighting circuit 32 is configured so that the brightness of the plurality of light sources 30_1 to 30_N can be controlled independently.
  • the lighting circuit 32 changes the brightness of the plurality of light sources 30_1 to 30_N based on the light distribution control signal S1b, thereby switching to a different light distribution pattern for each range.
  • FIG. 8A is a diagram showing headlamps 302L and 302R provided with the lighting device 22.
  • the lighting circuit 32 is provided for each of the left and right lamps.
  • the lighting device 22 includes the first light source 30_1 to the sixth light source 30_6.
  • the first light source 30_1 to the third light source 30_3 are built in the left headlamp 302L
  • the fourth light source 30_1 to the sixth light source 30_6 are built in the right headlamp 302R.
  • FIG. 8B is a diagram illustrating irradiation ranges of a plurality of light sources.
  • the first light source 30_1 and the fourth light source 30_1 irradiate the first range ⁇ 1 (-10 to 10 °) centered on 0 °.
  • the second light source 30_2 irradiates the second range ⁇ 2 ( ⁇ 20 to 0 °) whose center is located on the left side of the center of the first range ⁇ 1.
  • the third light source 30_3 irradiates the third range ⁇ 3 (-30 to ⁇ 10 °) whose center is located on the left side of the center of the second range ⁇ 2.
  • the fifth light source 30_5 irradiates the fourth range ⁇ 4 (0 to 20 °) whose center is located on the right side of the center of the first range ⁇ 1.
  • the sixth light source 30_6 irradiates the fifth range ⁇ 5 (10 to 30 °) whose center is located on the right side of the center of the fourth range ⁇ 4.
  • the irradiation ranges ⁇ 1 and ⁇ 3 , ⁇ 1 and ⁇ 5 , and ⁇ 2 and ⁇ 4 may overlap.
  • FIG. 9A when forming the light distribution for a short distance, the brightness of the first light source 30_1 and the fourth light source 30_4 is weakened, whereby the light distribution LD N is flat over a wide irradiation angle. Is formed.
  • FIG. 9B when forming the light distribution for a medium distance, the brightness of the light sources 30_3 and 30_6 corresponding to the outer irradiation area is lowered, and conversely, the light source corresponding to the central irradiation area is reduced. The brightness of 30_1 and 30_4 is increased. Accordingly, the light distribution pattern LD M is formed. As shown in FIG.
  • the irradiation range of the light sources 30_1 and 30_4 is defined so as to match the width of the light distribution pattern to be formed when photographing a distant range.
  • the light distribution can be switched by controlling the brightness of a plurality of light sources for each range.
  • Modification example 1 In the embodiment, the case of switching the three types of light distribution of short distance, medium distance, and long distance has been described, but the present invention is not limited to this, and four or more types of light distribution may be switched, or the short distance may be switched. You may switch between two ways, long distance and long distance.
  • the configuration of the lighting device 22 is not limited to that described in the embodiment.
  • a light source for a short distance, a light source for a medium distance, and a light source for a long distance may be provided and switched for each range.
  • FIG. 10 (a) and 10 (b) are views showing an automobile 300 equipped with a gating camera 20. See FIG. 10 (a).
  • the automobile 300 includes headlamps (lamps) 302L and 302R.
  • one lighting device 22 is provided in the center of the vehicle, and the image sensor 24 is built in either or both of the left and right headlamps 302L and 302R.
  • the position of the lighting device 22 is not particularly limited, but may be provided on, for example, the front bumper (i) or the front grill (ii), or may be mounted on the back side (iii) of the rearview mirror inside the front window.
  • the position of the controller 26 is not particularly limited, and may be provided in the engine room, in the vehicle interior, or built in the headlamp.
  • FIG. 10 (b) This configuration corresponds to the lighting device 22 of FIG.
  • the lighting device 22 is divided into left and right headlamps 302L and 302R and mounted.
  • the image sensor 24 may be built in one of the headlamps 302L and 302R, or may be built in both. Alternatively, the image sensor 24 may be provided outside the headlamps 302L and 302R.
  • FIG. 11 is a block diagram showing a vehicle lamp 200 including an object detection system 210.
  • the vehicle lamp 200 constitutes the lamp system 310 together with the vehicle side ECU 304.
  • the vehicle lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicle lamp 200 is provided with an object detection system 210.
  • the object detection system 210 corresponds to the above-mentioned object identification system 10, and includes a gating camera 20 and an arithmetic processing unit 40.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be used for the light distribution control of the vehicle lamp 200.
  • the lamp side ECU 208 generates an appropriate light distribution pattern based on the information regarding the type of the object OBJ generated by the arithmetic processing unit 40 and its position.
  • the lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp side ECU 208.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be transmitted to the vehicle side ECU 304.
  • the vehicle-side ECU may perform automatic driving based on this information.
  • the embodiment merely shows one aspect of the principle and application of the present invention, and the embodiment includes many modifications and examples as long as the idea of the present invention defined in the claims is not deviated. Arrangement changes are allowed.
  • This disclosure relates to a gating camera.

Abstract

ゲーティングカメラ20は、奥行き方向について複数のレンジRNGに区切り、複数のレンジRNGに対応する複数のスライス画像IMGを生成する。照明装置22は、発光タイミングおよび配光が制御可能であり、プローブ光L1を照射する。イメージセンサ24は、露光タイミングが制御可能である。コントローラ26は、レンジ毎に、照明装置22の発光タイミングおよび配光と、イメージセンサ24の撮像のタイミングを制御する。

Description

ゲーティングカメラ、センシングシステム、車両用灯具
 本開示は、ゲーティングカメラに関する。
 自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
 一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。
 奥行き情報が得られるカメラとして、TOFカメラが知られている。TOF(Time Of Flight)カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換した画像を得るものである。
 TOFカメラに代わるアクティブセンサ(以下、本明細書においてゲーティングカメラと称する)が提案されている(特許文献1,2)。ゲーティングカメラは、撮影範囲を複数のレンジに区切り、レンジ毎に露光タイミングおよび露光時間を変化させて複数回、撮像する。これにより、対象のレンジ毎にスライス画像が得られ、各スライス画像は対応するレンジに含まれる物体のみを含む。
特開2009-257981号公報 国際公開WO2017/110417A1
 本開示は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、異なる距離のレンジにおいて良好なスライス画像が得られるゲーティングカメラの提供にある。
 本開示のある態様に係るゲーティングカメラは、奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、発光タイミングおよび配光が制御可能であり、プローブ光を照射する照明装置と、露光タイミングが制御可能なイメージセンサと、レンジ毎に、照明装置の発光タイミングおよび配光と、イメージセンサの撮像のタイミングを制御するコントローラと、を備える。
 本開示のある態様によれば、異なる距離のレンジにおいて良好なスライス画像を得ることができる。
実施の形態に係るゲーティングカメラを備える物体識別システムのブロック図である。 ゲーティングカメラの基本動作を説明する図である。 図3(a)、(b)は、ゲーティングカメラにより得られるスライス画像を説明する図である。 図1のゲーティングカメラの配光制御を説明する図である。 図5(a)~(c)は、近距離、中距離、長距離用の配光パターンの一例を示す図である。 比較技術を説明する図である。 照明装置の構成例を示す図である。 図8(a)は、照明装置を備えるヘッドランプを示す図であり、図8(b)は、複数の光源の照射範囲を説明する図である。 図9(a)~(c)は、図8の照明装置の配光を説明する図である。 図10(a)、(b)は、ゲーティングカメラを備える自動車を示す図である。 物体検出システムを備える車両用灯具を示すブロック図である。
(実施形態の概要)
 本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、1つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態(実施例や変形例)または複数の実施形態(実施例や変形例)を指すものとして用いる場合がある。
 この概要は、考えられるすべての実施形態の広範な概要ではなく、すべての実施形態の重要な要素または重要な要素を特定することも、一部またはすべての態様の範囲を線引きすることも意図していない。その唯一の目的は、後で提示するより詳細な説明の前置きとして、1つまたは複数の実施形態のいくつかの概念を簡略化した形で提示することである。
 一実施の形態に係るゲーティングカメラは、奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、発光タイミングおよび配光が制御可能であり、プローブ光を照射する照明装置と、露光タイミングが制御可能なイメージセンサと、レンジ毎に、照明装置の発光タイミングおよび配光と、イメージセンサの撮像のタイミングを制御するコントローラと、を備える。
 この構成によると、距離に応じて、プローブ光の配光を切り替えることにより、良好なスライス画像を得ることができる。
 一実施の形態において、照明装置の配光は、レンジが遠くなるほど水平方向の範囲が狭くなり、ピーク輝度が低下するように定められてもよい。これにより、近いレンジにおいて、広い範囲の物体を検出でき、また近いレンジの物体の輝度が飽和するのを防止できる。また遠いレンジの物体の輝度が不足するのを防止できる。
 一実施の形態において、最も近いレンジを撮影するときの照明装置の配光は、少なくとも左右プラスマイナス10°の範囲において、実質的にフラットであってもよい。
 一実施の形態において、最も遠いレンジを撮影するときの照明装置の配光は、左右プラスマイナス10°の範囲に、全光量の90%以上が含まれてもよい。
 一実施の形態において、照明装置は、それぞれが水平方向に異なる照射範囲を受け持つ複数の光源を含んでもよい。レンジに応じて、各光源の発光強度が制御されてもよい。
 一実施の形態において、照明装置は、第1光源から第6光源を含んでもよい。第1光源および第4光源は、0°を中心とする第1範囲を照射し、第2光源は、中心が第1範囲の中心より左側に位置する第2範囲を照射し、第3光源は、中心が第2範囲の中心より左側に位置する第3範囲を照射し、第5光源は、中心が第1範囲の中心より右側に位置する第4範囲を照射し、第6光源は、中心が第4範囲の中心より右側の位置する第5範囲を照射してもよい。
 一実施の形態において、第1光源から第3光源は、左ヘッドランプに内蔵され、第4光源から第6光源は、右ヘッドランプに内蔵されてもよい。これにより、ヘッドランプの左右の対称性を維持したまま、ゲーティングカメラの照明装置をヘッドランプに内蔵するできる。
(実施の形態)
 以下、本開示を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
 図1は、実施の形態に係るゲーティングカメラ20を備える物体識別システム10のブロック図である。この物体識別システム10は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体OBJの種類(カテゴリ、あるいはクラスともいう)を判定する。
 物体識別システム10はセンシングシステムであり、主としてゲーティングカメラ20および演算処理装置40を備える。ゲーティングカメラ20は、照明装置(投光器)22、イメージセンサ24、コントローラ26を含む。ゲーティングカメラ20による撮像は、奥行き方向について複数N個(N≧2)のレンジRNG~RNGに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
 照明装置22は、コントローラ26から与えられる発光タイミング信号S1aと同期して、プローブ光L1を車両前方に照射する。プローブ光L1は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。照明装置22は、たとえばレーザダイオード(LD)やLEDを用いることができる。
 また照明装置22は、配光可変ランプであり、その配光は、コントローラ26からの配光制御信号S1bに応じて制御可能となっている。
 イメージセンサ24は、コントローラ26から与えられる露光タイミング信号S2と同期した露光制御が可能であり、スライス画像IMGを生成可能に構成される。イメージセンサ24は、プローブ光L1と同じ波長に感度を有しており、物体OBJが反射した反射光(戻り光)L2を撮影する。
 コントローラ26は、レンジ毎に、照明装置22によるプローブ光L1の照射と、イメージセンサ24による撮像のタイミングを制御する。コントローラ26は、レンジRNGごとに、発光タイミング信号S1aと露光タイミング信号S2を変化させて、照明装置22による発光と、イメージセンサ24の露光の時間差を変化させる。発光タイミング信号S1は、発光開始のタイミングと発光時間を規定する。露光タイミング信号S2は、露光開始のタイミング(発光との時間差)と、露光時間を規定する。さらにコントローラ26は、レンジRNGごとに、配光制御信号S1bを変化させ、照明装置22の配光を切り替える。
 図2は、ゲーティングカメラ20の基本動作を説明する図である。ここでは理解の容易化のため、図2にはi番目のレンジRNGを測定するときの様子が示される。照明装置22は、発光タイミング信号S1aと同期して、時刻t~tの間の発光期間τの間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ20から、レンジRNGの手前の境界までの距離をdMINi、レンジRNGの奥側の境界までの距離をdMAXiとする。
 ある時刻に照明装置22を出発した光が、距離dMINiに到達してその反射光がイメージセンサ24に戻ってくるまでのラウンドトリップ時間TMINiは、
 TMINi=2×dMINi/c
である。cは光速である。
 同様に、ある時刻に照明装置22を出発した光が、距離dMAXiに到達してその反射光がイメージセンサ24に戻ってくるまでのラウンドトリップ時間TMAXiは、
 TMAXi=2×dMAXi/c
である。
 レンジRNGに含まれる物体OBJのみを撮影したいとき、コントローラ26は、時刻t=t+TMINiに露光を開始し、時刻t=t+TMAXiに露光を終了するように、露光タイミング信号S2Aを生成する。これが1回の露光動作である。
 i番目のレンジRNGを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ26は、所定の周期τで、上述の露光動作を複数回にわたり繰り返せばよい。
 図3(a)、(b)は、ゲーティングカメラ20により得られるスライス画像を説明する図である。図3(a)の例では、レンジRNGに物体(歩行者)OBJが存在し、レンジRNGに物体(車両)OBJが存在している。図3(b)には、図3(a)の状況で得られる複数のスライス画像IMG~IMGが示される。スライス画像IMGを撮影するとき、イメージセンサはレンジRNGからの反射光のみにより露光されるため、スライス画像IMGにはいかなる物体像も写らない。
 スライス画像IMGを撮影するとき、イメージセンサはレンジRNGからの反射光のみにより露光されるため、スライス画像IMGには、物体像OBJのみが写る。同様にスライス画像IMGを撮影するとき、イメージセンサはレンジRNGからの反射光のみにより露光されるため、スライス画像IMGには、物体像OBJのみが写る。このようにゲーティングカメラ20によれば、レンジ毎に物体を分離して撮影することができる。
 図1に戻る。ゲーティングカメラ20により、複数のレンジRNG~RNGに対応する複数のスライス画像IMG~IMGが生成される。i番目のスライス画像IMGには、対応するレンジRNGに含まれる物体のみが写ることとなる。
 演算処理装置40は、ゲーティングカメラ20によって得られる複数のレンジRNG~RNGに対応する複数のスライス画像IMG~IMGにもとづいて、物体の種類(クラスあるいはカテゴリー)を識別可能に構成される。演算処理装置40は、機械学習によって生成された学習済みモデルにもとづいて実装される分類器42を備える。分類器42のアルゴリズムは特に限定されないが、YOLO(You Only Look Once)とSSD(Single Shot MultiBox Detector)、R-CNN(Region-based Convolutional Neural Network)、SPPnet(Spatial Pyramid Pooling)、Faster R-CNN、DSSD(Deconvolution -SSD)、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
 演算処理装置40は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)、マイコンなどのプロセッサ(ハードウェア)と、プロセッサ(ハードウェア)が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置40は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置40はハードウェアのみで構成してもよい。
 以上がゲーティングカメラ20を備える物体識別システム10の構成である。続いてゲーティングカメラ20の動作を説明する。図4は、図1のゲーティングカメラ20の配光制御を説明する図である。図4には、3つのレンジに対応する配光パターンLD,LD、LD示される。近距離のレンジRNGを撮影するときには、水平方向に広い配光パターンLDが形成され、遠距離のレンジRNGを撮影するときには、水平方向に狭い配光パターンLDが形成され、中距離のレンジRNGを撮影するときには、水平方向に中くらいの幅をもつ配光パターンLDが形成される。
 図5(a)~(c)は、近距離、中距離、長距離用の配光パターンLD,LD,LDの一例を示す図である。横軸は水平方向の角度を、縦軸は発光強度を示す。0°は、車両正面に対応する。たとえば近距離は、自車から20m以内を、中距離は自車から20~50mを、遠距離は50m以上をいう。
 図5(a)~(c)に示すように、照明装置の配光は、レンジが遠くなるほど水平方向の範囲が狭くなり、ピーク輝度が低下するように定められる。
 最も近いレンジを撮影するときの配光は、少なくとも左右プラスマイナス10°の範囲において、実質的にフラットである。また最も遠いレンジを撮影するときの配光は、左右プラスマイナス10°の範囲に光が集中しており、全光量の90%以上が含まれる。以上が配光の一例である。
 この配光制御をともなうゲーティングカメラ20の利点は、比較技術との対比によって明確となる。図6は、比較技術を説明する図である。比較技術では、距離(レンジ)にかかわらず、同じ配光が用いられ、距離に応じて発光強度を変化させる。比較技術によれば、近い物体からの反射光の強さと、遠い物体からの反射光の強さを揃えることができる。
 しかしながら、図6の配光制御では、近距離を撮影する際に、-30~20°、あるいは+20~30°の範囲で、光量が不足し、その範囲にいる物体を検出することが難しくなる。この問題を解決するために、近距離において広い範囲を照射できる配光パターンを採用すると、それを用いて遠くを撮影する際に、その範囲が強く照射されてしまう。
 これに対して、本実施の形態によれば、撮影レンジ、すなわち距離に応じて配光を切り替えることで、複数のレンジにおいて良好な画像を得ることができる。
 図7は、照明装置22の構成例を示す図である。照明装置22は複数の光源30_1~30_N(N≧2)と、それらを駆動する点灯回路32を備える。複数の光源30_1~30_Nは、それぞれが、水平方向に異なる照射範囲θ~θを照射できるように構成される。車両前方において、複数の光源30_1~30_Nの個別の照射が合成され、配光パターンが形成される。点灯回路32は、複数の光源30_1~30_Nの輝度を独立に制御可能に構成される。点灯回路32は、配光制御信号S1bにもとづいて複数の光源30_1~30_Nの輝度を変化させ、これにより、レンジ毎に異なる配光パターンに切り替える。
 図8(a)は、照明装置22を備えるヘッドランプ302L,302Rを示す図である。図7において、光源の個数Nを偶数2m(この例では、N=6、m=3)とし、左右のヘッドランプ302L,302Rに、m個(3個)ずつの光源を内蔵してもよい。この場合、点灯回路32は、左右のランプそれぞれに設けられる。
 具体的には照明装置22は、第1光源30_1から第6光源30_6を含む。第1光源30_1から第3光源30_3は、左ヘッドランプ302Lに内蔵され、第4光源30_4から第6光源30_6は、右ヘッドランプ302Rに内蔵される。
 図8(b)は、複数の光源の照射範囲を説明する図である。第1光源30_1および第4光源30_4は、0°を中心とする第1範囲θ(-10~10°)を照射する。第2光源30_2は、中心が第1範囲θの中心より左側に位置する第2範囲θ(-20~0°)を照射する。第3光源30_3は、中心が第2範囲θの中心より左側に位置する第3範囲θ(-30~-10°)を照射する。第5光源30_5は、中心が第1範囲θの中心より右側に位置する第4範囲θ(0~20°)を照射する。第6光源30_6は、中心が第4範囲θの中心より右側の位置する第5範囲θ(10~30°)を照射する。照射範囲θとθ、θとθ、θとθは、オーバーラップしていても良い。
 図9(a)~(c)は、図8の照明装置22の配光を説明する図である。図9(a)に示すように、近距離用の配光を形成する際には、第1光源30_1,第4光源30_4の輝度が弱められ、これにより幅広い照射角にわたり平坦な配光LDが形成される。図9(b)に示すように、中距離用の配光を形成する際には、外側の照射領域に対応する光源30_3,30_6の輝度が下げられ、反対に中央の照射領域に対応する光源30_1,30_4の輝度が高められる。これにより、配光パターンLDが形成される。図9(c)に示すように、遠距離用の配光を形成する際には、照射領域に対応する光源30_1,30_4のみが強く発光し、残りの光源30_2,30_3,30_5,30_6は消灯する。つまり、光源30_1,30_4の照射範囲は、遠方のレンジを撮影するときに形成すべき配光パターンの幅と一致するように定められる。
 このように、レンジ毎に、複数の光源の輝度を制御することにより、配光を切り替えることができる。
(変形例1)
 実施の形態では、近距離、中距離、遠距離の3通りの配光を切り替える場合を説明したが、本発明はそれに限定されず、4通り以上の配光を切り替えてもよいし、近距離と遠距離の2通りで切り替えてもよい。
(変形例2)
 照明装置22の構成は、実施の形態で説明したものに限定されない。たとえば、近距離用の光源、中距離用の光源、遠距離用の光源を設け、それらをレンジごとに切り替えてもよい。
(用途)
 図10(a)、(b)は、ゲーティングカメラ20を備える自動車300を示す図である。図10(a)を参照する。自動車300は、ヘッドランプ(灯具)302L,302Rを備える。図10(a)の自動車300は、車両の中央に1個の照明装置22が設けられ、左右のヘッドランプ302L,302Rのいずれか、あるいは両方にイメージセンサ24が内蔵される。照明装置22の位置は特に限定されないが、たとえばフロントバンパー(i)やフロントグリル(ii)に設けてもよいし、フロントウィンドウの内側のルームミラーの裏側(iii)に取り付けてもよい。またコントローラ26の位置も特に限定されず、エンジンルームに設けてもよいし、車室内に設けてもよいし、ヘッドランプに内蔵してもよい。
 図10(b)を参照する。この構成は、図8の照明装置22に対応する。照明装置22は、左右のヘッドランプ302L,302Rに分割して実装される。
 イメージセンサ24は、ヘッドランプ302L,302Rの一方に内蔵してもよいし、両方に内蔵してもよい。あるいはイメージセンサ24は、ヘッドランプ302L,302Rの外側に設けてもよい。
 図11は、物体検出システム210を備える車両用灯具200を示すブロック図である。車両用灯具200は、車両側ECU304とともに灯具システム310を構成する。車両用灯具200は、光源202、点灯回路204、光学系206を備える。さらに車両用灯具200には、物体検出システム210が設けられる。物体検出システム210は、上述の物体識別システム10に対応しており、ゲーティングカメラ20および演算処理装置40を含む。
 演算処理装置40が検出した物体OBJに関する情報は、車両用灯具200の配光制御に利用してもよい。具体的には、灯具側ECU208は、演算処理装置40が生成する物体OBJの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路204および光学系206は、灯具側ECU208が生成した配光パターンが得られるように動作する。
 また演算処理装置40が検出した物体OBJに関する情報は、車両側ECU304に送信してもよい。車両側ECUは、この情報にもとづいて、自動運転を行ってもよい。
 実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
 本開示は、ゲーティングカメラに関する。
 S1a 発光タイミング信号
 S1b 配光制御信号
 S2 露光タイミング信号
 10 物体識別システム
 20 ゲーティングカメラ
 22 照明装置
 24 イメージセンサ
 26 コントローラ
 40 演算処理装置
 42 分類器
 200 車両用灯具
 202 光源
 204 点灯回路
 206 光学系
 300 自動車
 302 ヘッドランプ
 304 車両側ECU
 310 灯具システム

Claims (9)

  1.  奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
     発光タイミングおよび配光が制御可能であり、プローブ光を照射する照明装置と、
     露光タイミングが制御可能なイメージセンサと、
     レンジ毎に、前記照明装置の前記発光タイミングおよび前記配光と、前記イメージセンサの撮像のタイミングを制御するコントローラと、
     を備えることを特徴とするゲーティングカメラ。
  2.  前記照明装置の配光は、レンジが遠くなるほど水平方向の範囲が狭くなり、ピーク輝度が低下するように定められることを特徴とする請求項1に記載のゲーティングカメラ。
  3.  最も近いレンジを撮影するときの前記照明装置の配光は、少なくとも左右プラスマイナス10°の範囲において、実質的にフラットであることを特徴とする請求項1または2に記載のゲーティングカメラ。
  4.  最も遠いレンジを撮影するときの前記照明装置の配光は、左右プラスマイナス10°の範囲に、全光量の90%以上が含まれることを特徴とする請求項1から3のいずれかに記載のゲーティングカメラ。
  5.  前記照明装置は、それぞれが水平方向に異なる照射範囲を受け持つ複数の光源を含み、
     レンジに応じて、各光源の発光強度が制御されることを特徴とする請求項1または2に記載のゲーティングカメラ。
  6.  前記照明装置は、第1光源から第6光源を含み、
     前記第1光源および前記第4光源は、0°を中心とする第1範囲を照射し、
     前記第2光源は、中心が前記第1範囲の中心より左側に位置する第2範囲を照射し、
     前記第3光源は、中心が前記第2範囲の中心より左側に位置する第3範囲を照射し、
     前記第5光源は、中心が前記第1範囲の中心より右側に位置する第4範囲を照射し、
     前記第6光源は、中心が前記第4範囲の中心より右側の位置する第5範囲を照射することを特徴とする請求項5に記載のゲーティングカメラ。
  7.  前記第1光源から前記第3光源は、左ヘッドランプに内蔵され、前記第4光源から前記第6光源は、右ヘッドランプに内蔵されることを特徴とする請求項6に記載のゲーティングカメラ。
  8.  請求項1から7のいずれかに記載のゲーティングカメラと、
     前記ゲーティングカメラが撮影する前記複数のスライス画像を処理する演算処理装置と、
     を備えることを特徴とするセンシングシステム。
  9.  請求項1から7のいずれかに記載のゲーティングカメラを備えることを特徴とする車両用灯具。
PCT/JP2021/012020 2020-03-24 2021-03-23 ゲーティングカメラ、センシングシステム、車両用灯具 WO2021193645A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022510553A JPWO2021193645A1 (ja) 2020-03-24 2021-03-23

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020053004 2020-03-24
JP2020-053004 2020-03-24

Publications (1)

Publication Number Publication Date
WO2021193645A1 true WO2021193645A1 (ja) 2021-09-30

Family

ID=77892185

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/012020 WO2021193645A1 (ja) 2020-03-24 2021-03-23 ゲーティングカメラ、センシングシステム、車両用灯具

Country Status (2)

Country Link
JP (1) JPWO2021193645A1 (ja)
WO (1) WO2021193645A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189910A1 (ja) * 2022-03-28 2023-10-05 パナソニックIpマネジメント株式会社 距離測定システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130201288A1 (en) * 2012-02-03 2013-08-08 Bryed Billerbeck High dynamic range & depth of field depth camera
US20170182931A1 (en) * 2015-12-29 2017-06-29 Sl Corporation Automotive lamp and method of controlling the same
US20180227566A1 (en) * 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
JP2020106376A (ja) * 2018-12-27 2020-07-09 株式会社小糸製作所 アクティブセンサ、物体識別システム、車両、車両用灯具

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130201288A1 (en) * 2012-02-03 2013-08-08 Bryed Billerbeck High dynamic range & depth of field depth camera
US20170182931A1 (en) * 2015-12-29 2017-06-29 Sl Corporation Automotive lamp and method of controlling the same
US20180227566A1 (en) * 2017-02-06 2018-08-09 Microsoft Technology Licensing, Llc Variable field of view and directional sensors for mobile machine vision applications
JP2020106376A (ja) * 2018-12-27 2020-07-09 株式会社小糸製作所 アクティブセンサ、物体識別システム、車両、車両用灯具

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023189910A1 (ja) * 2022-03-28 2023-10-05 パナソニックIpマネジメント株式会社 距離測定システム

Also Published As

Publication number Publication date
JPWO2021193645A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
US6993255B2 (en) Method and apparatus for providing adaptive illumination
EP2026104B1 (en) Distance measurement method and device and vehicle equipped with said device
JP5073273B2 (ja) 遠近判定方法およびその装置
WO2017110415A1 (ja) 車両用センサおよびそれを備えた車両
CN109154984B (zh) 用来提高障碍物的可识别性的机动车的照明装置
US11073379B2 (en) 3-D environment sensing by means of projector and camera modules
WO2002004247A1 (en) Method and apparatus for providing adaptive illumination
WO2017110414A1 (ja) 車両用画像取得装置およびそれを備えた車両
WO2021201269A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP7252755B2 (ja) アクティブセンサ、物体識別システム、車両、車両用灯具
WO2021193645A1 (ja) ゲーティングカメラ、センシングシステム、車両用灯具
WO2022039231A1 (ja) 車載用センシングシステムおよびゲーティングカメラ
WO2021060397A1 (ja) ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
JP7096701B2 (ja) 撮像装置
WO2022145261A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
CN115720633A (zh) 用于检测交通工具的周围环境的设备和方法
WO2023013776A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP7474759B2 (ja) 車両用灯具
WO2021172478A1 (ja) センサ、自動車および周囲環境のセンシング方法
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
JP7298562B2 (ja) 車両の周辺検知装置
WO2022163721A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2023074902A1 (ja) アクティブセンサ、物体識別システム、車両用灯具
US20230252660A1 (en) Image-capturing apparatus for vehicle
JP6730174B2 (ja) 車両用照明装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21774120

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022510553

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21774120

Country of ref document: EP

Kind code of ref document: A1