WO2021172478A1 - センサ、自動車および周囲環境のセンシング方法 - Google Patents

センサ、自動車および周囲環境のセンシング方法 Download PDF

Info

Publication number
WO2021172478A1
WO2021172478A1 PCT/JP2021/007213 JP2021007213W WO2021172478A1 WO 2021172478 A1 WO2021172478 A1 WO 2021172478A1 JP 2021007213 W JP2021007213 W JP 2021007213W WO 2021172478 A1 WO2021172478 A1 WO 2021172478A1
Authority
WO
WIPO (PCT)
Prior art keywords
surrounding environment
sensor
arithmetic processing
image
processing unit
Prior art date
Application number
PCT/JP2021/007213
Other languages
English (en)
French (fr)
Inventor
原田　知明
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2022503728A priority Critical patent/JPWO2021172478A1/ja
Publication of WO2021172478A1 publication Critical patent/WO2021172478A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/95—Lidar systems specially adapted for specific applications for meteorological use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Definitions

  • This disclosure relates to sensors.
  • An object identification system that senses the position and type of objects existing around the vehicle is used for automatic driving and automatic control of the light distribution of headlamps.
  • the object identification system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
  • the sensor is selected from among cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter-wave radar, ultrasonic sonar, active sensors, etc. in consideration of application, required accuracy and cost.
  • the sensor sensing results are affected by the surrounding environment, including weather such as sunny weather, rainy weather, and fog. Therefore, if the surrounding environment can be estimated, the accuracy of sensing can be improved. Alternatively, information about the surrounding environment is useful for automatic driving control and lamp light distribution control.
  • the present disclosure has been made in such a situation, and one of the exemplary purposes of the embodiment is to provide a sensor or sensing method capable of estimating the surrounding environment at low cost.
  • the aspect of the present disclosure relates to a method / apparatus for sensing the surrounding environment.
  • This method / device uses an active sensor including a lighting device and an image sensor, and sets the timing of light emission of the lighting device and the timing of exposure of the image sensor so that an object included in a predetermined range can be captured in the depth direction. do. Then, the surrounding environment is estimated based on the pixel values of the sliced images obtained for a predetermined range.
  • the surrounding environment can be sensed.
  • FIG. 5A is a diagram showing the relationship between the emission intensity I and the pixel value p
  • FIG. 5B is a table showing the relationship between the ambient environment and the transmittance T.
  • 6 (a) and 6 (b) are views showing an automobile equipped with a gating camera. It is a block diagram which shows the lamp for a vehicle provided with the object detection system.
  • the sensor according to the embodiment includes a gating camera and an arithmetic processing unit.
  • the gating camera is configured to divide the depth direction into multiple ranges (also called slices), change the time difference between light emission and exposure for each range, and generate multiple slice images corresponding to multiple ranges. Will be done.
  • the arithmetic processing unit estimates the surrounding environment based on the pixel values of the sliced image obtained for a predetermined range.
  • the amount of light emitted by the gating camera is known, and the distance to a predetermined range is known.
  • the pixel value of the object changes according to the transmittance between the gating camera and the object, in other words, the surrounding environment. Therefore, according to this sensor, the light transmittance and the surrounding environment can be estimated based on the pixel value of the sliced image.
  • the arithmetic processing unit may set the shooting parameters of the gating camera for each range during normal shooting based on the estimated surrounding environment.
  • shooting parameters light emission intensity of the lighting device, light emission time, exposure time of the image sensor, and their time difference
  • Image quality can be improved by dynamically controlling the shooting parameters of each range according to the surrounding environment.
  • the arithmetic processing unit may estimate the surrounding environment based on the pixel value of a specific object having a predetermined reflectance included in the slice image.
  • the specific object may include at least one of a sign, a road surface, a white line, a guardrail, and a reflector whose reflectance is known.
  • the arithmetic processing unit may estimate the surrounding environment based on slice images obtained for at least two ranges. This makes it possible to improve the accuracy of estimation.
  • the sensor includes an active sensor including a lighting device whose light emission timing can be controlled and an image sensor whose exposure timing can be controlled, and a lighting device and an image so that an object included in a predetermined range in the depth direction can be captured. It is provided with an arithmetic processing device that controls a sensor and estimates the surrounding environment based on the pixel value of the slice image obtained for a predetermined range. The surrounding environment can be estimated by using an active sensor other than the gating camera.
  • FIG. 1 is a block diagram of the sensor 100 according to the embodiment.
  • the sensor 100 is mounted on a vehicle such as an automobile or a motorcycle, and photographs the state in front of the vehicle.
  • the sensor 100 mainly includes a gating camera 20 and an arithmetic processing unit 40.
  • the gating camera 20 is an active sensor including a lighting device 22, an image sensor 24, and a controller 26.
  • the imaging by the gating camera 20 is performed by dividing into a plurality of N (N ⁇ 2) ranges RNG 1 to RNG N in the depth direction. Adjacent ranges may overlap in the depth direction at their boundaries.
  • the lighting device (floodlight) 22 irradiates the probe light L1 to the front of the vehicle in synchronization with the light emission timing signal S1 given from the controller 26.
  • the probe light L1 is preferably infrared light, but is not limited to this, and may be visible light having a predetermined wavelength.
  • a laser diode (LD) or an LED can be used as the lighting device 22.
  • the image sensor 24 is configured to be capable of exposure control synchronized with the exposure timing signal S2 given from the controller 26 and to be able to generate a slice image IMG.
  • the image sensor 24 has sensitivity to the same wavelength as the probe light L1 and photographs the reflected light (return light) L2 reflected by the object OBJ.
  • the controller 26 changes the light emission timing signal S1 and the exposure timing signal S2 for each range RNG to change the time difference between the light emission by the lighting device 22 and the exposure of the image sensor 24.
  • the light emission timing signal S1 defines the light emission start timing and the light emission time.
  • the exposure timing signal S2 defines the exposure start timing (time difference from the light emission) and the exposure time. Further, the controller 26 may switch the emission intensity of the lighting device 22 for each range RNG.
  • the gating camera 20 generates a plurality of slice images IMG 1 to IMG N corresponding to a plurality of ranges RNG 1 to RNG N. Only the objects included in the corresponding range RNG i are captured in the i-th slice image IMG i.
  • FIG. 2 is a diagram illustrating the operation of the gating camera 20.
  • FIG. 2 shows a state when measuring the i-th range RNG i.
  • the lighting device 22 emits light during the light emission period ⁇ 1 between the times t 0 and t 1 in synchronization with the light emission timing signal S1.
  • a diagram of rays with time on the horizontal axis and distance on the vertical axis is shown. From gating camera 20, the distance d MINi up before the boundary of the range RNG i, the distance to the far side of the boundary of the range RNG i and d MAXi.
  • T MINI 2 ⁇ d MINI / c Is. c is the speed of light.
  • T MAXi 2 ⁇ d MAXi / c Is.
  • the controller 26 may repeat the above-mentioned exposure operation a plurality of times in a predetermined period ⁇ 2.
  • the method of determining the exposure start time t 2 and the exposure time t 3 is not limited to that shown in FIG.
  • the gating camera 20 uses the shutter speed (exposure time), the number of exposures, the sensitivity, and the probe for each range so that the exposure (the brightness value of the object image in the slice image) does not vary from range to range.
  • the light irradiation intensity and other factors (shooting parameters) are optimized.
  • FIG. 3A and 3B are diagrams for explaining an image obtained by the gating camera 20.
  • the object to the range RNG 2 (pedestrian) OBJ 2 are present, there is an object (vehicle) OBJ 3 to the range RNG 3.
  • FIG. 3 (b) shows a plurality of slice images IMG 1 to IMG 3 obtained in the situation of FIG. 3 (a).
  • the image sensor is exposed only by the reflected light from the range RNG 1, so that no object image is captured in the slice image IMG 1.
  • the image sensor When the slice image IMG 2 is photographed, the image sensor is exposed only by the reflected light from the range RNG 2, so that only the object image OBJ 2 is captured in the slice image IMG 2. Similarly, when the slice image IMG 3 is photographed, the image sensor is exposed only by the reflected light from the range RNG 3, so that only the object image OBJ 3 is captured in the slice image IMG 3. In this way, according to the gating camera 20, it is possible to separate and shoot an object for each range.
  • the arithmetic processing unit 40 estimates the surrounding environment based on the slice image IMG X corresponding to the predetermined range RNG X obtained by the gating camera 20.
  • the arithmetic processing unit 40 is a combination of a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a microcomputer, and a GPU (Graphics Processing Unit), and a software program executed by the processor (hardware). Can be implemented.
  • the arithmetic processing unit 40 may be a combination of a plurality of processors. Alternatively, the arithmetic processing unit 40 may be configured only by hardware.
  • the arithmetic processing unit 40 and the controller 26 of the gating camera 20 may be mounted on the same hardware or may be mounted on different hardware.
  • the arithmetic processing unit 40 estimates the surrounding environment based on at least one pixel value included in the slice image IMG X obtained for a predetermined range RNG X, and generates environment information ENV indicating the surrounding environment.
  • the arithmetic processing unit 40 may extract a predetermined object having a known reflectance from the slice image IMG X and estimate the surrounding environment based on the pixel value.
  • a predetermined object can include at least one of a sign, a road surface, a white line, a guardrail, and a reflector.
  • the reciprocating transmittance T between the object and the gating camera 20 depends on the weather (ambient environment).
  • the reflectance of the object is R and the emission intensity of the lighting device 22 is I
  • A is a coefficient. Since A, I, and R can be regarded as constants, the pixel value p is proportional to the transmittance T.
  • the transmittance T depends on the distance between the object and the gating camera 20, and since the object is included in the predetermined range, this distance is known. Therefore, the pixel value p is proportional to the transmittance per unit distance.
  • the surrounding environment can be estimated based on the pixel value p.
  • FIGS. 4 (a) to 4 (d) are diagrams showing slice images obtained in a state of light rain (precipitation 30 mm / h), heavy rain (precipitation 80 mm / h), and fog in fine weather. Each image shows a person and a reflector.
  • FIG. 5A is a diagram showing the relationship between the emission intensity I and the pixel value p
  • FIG. 5B is a table showing the relationship between the ambient environment and the transmittance T. 5 (a) and 5 (b) are manufactured based on the pixel values of the reflector.
  • the surrounding environment can be estimated based on the pixel value p of a predetermined object.
  • the estimated surrounding environment can be used to set the shooting parameters of the gating camera 20 itself.
  • the arithmetic processing unit 40 may set the shooting parameters of the gating camera 20 for each range RNG during normal shooting based on the estimated surrounding environment. For example, when it rains, if the depth of the range is widened, the raindrops contained in the range make it difficult to see the image. Therefore, when it rains, shooting parameters may be set so that the depth of each range is shortened. On the contrary, in fine weather, the depth of each range may be increased so that many objects can be photographed at one time. If it is presumed to be fog, the emission intensity may be increased or the sensitivity of the image sensor may be increased.
  • the arithmetic processing unit 40 may have a table that defines the relationship between the surrounding environment and shooting parameters. Image quality can be improved by dynamically controlling the shooting parameters of each range according to the surrounding environment.
  • the arithmetic processing unit 40 may estimate the surrounding environment based on the slice images IMG X and IMG Y obtained for at least two ranges RNG X and RNG Y. This makes it possible to improve the estimation accuracy.
  • FIG. 6 (a) and 6 (b) are views showing an automobile 300 equipped with a gating camera 20. See FIG. 6 (a).
  • the automobile 300 includes headlamps (lamps) 302L and 302R.
  • the image sensor 24 is built in at least one of the left and right headlamps 302L and 302R.
  • the image sensor 24 may be provided outside the headlamps 302L and 302R.
  • the position of the lighting device 22 is not particularly limited, but may be provided on, for example, the front bumper (i) or the front grill (ii), or may be mounted on the back side (iii) of the rearview mirror inside the front window.
  • the position of the controller 26 is not particularly limited, and may be provided in the engine room, in the vehicle interior, or built in the headlamp.
  • One illuminating device 22 includes a plurality of (for example, two) light sources 22A and 22B.
  • the plurality of light sources 22A and 22B emit light at the same timing, and their emitted light forms one probe light.
  • the plurality of light sources 22A and 22B are built in the left and right headlamps 302L and 302R.
  • the image sensor 24 is built in at least one of the left and right headlamps 302L and 302R.
  • the image sensor 24 may be provided outside the headlamps 302L and 302R.
  • FIG. 7 is a block diagram showing a vehicle lamp 200 including an object detection system 210.
  • the vehicle lamp 200 constitutes the lamp system 310 together with the vehicle side ECU 304.
  • the vehicle lamp 200 includes a light source 202, a lighting circuit 204, and an optical system 206. Further, the vehicle lamp 200 is provided with an object detection system 210.
  • the arithmetic processing unit 40 senses the surrounding environment as described above. Further, the arithmetic processing unit 40 recognizes an object included in the slice image by image processing. The information about the object OBJ detected by the arithmetic processing unit 40 may be used for the light distribution control of the vehicle lamp 200. Specifically, the lamp side ECU 208 generates an appropriate light distribution pattern based on information on the type of the object OBJ generated by the arithmetic processing unit 40 and its position. The lighting circuit 204 and the optical system 206 operate so as to obtain the light distribution pattern generated by the lamp side ECU 208.
  • the information about the object OBJ detected by the arithmetic processing unit 40 may be transmitted to the vehicle side ECU 304.
  • the vehicle-side ECU may perform automatic driving based on this information.
  • the surrounding environment sensed by the arithmetic processing unit 40 is used for controlling the gating camera 20, but this is not the case.
  • the environmental information may be used for automatic operation or for controlling the light distribution of the headlamps.
  • Modification 2 In the embodiment, sensing of the surrounding environment using a gating camera has been described, but the present invention is not limited to this. That is, the set of the lighting device and the image sensor used for sensing does not necessarily constitute a gating camera, but may be those of a normal active sensor.
  • the active sensor includes a lighting device whose light emission timing can be controlled and an image sensor whose exposure timing can be controlled.
  • the arithmetic processing unit controls the lighting device and the image sensor so that an object included in a predetermined range in the depth direction is captured when sensing the surrounding environment.
  • the arithmetic processing unit can estimate the surrounding environment based on the pixel values of the objects included in the slice image obtained for a predetermined range.
  • the lighting device and image sensor used for sensing the surrounding environment do not even need to configure an active sensor, and even if the lighting device and image sensor originally provided independently are diverted for sensing the surrounding environment.
  • a car may be equipped with an image sensor for driving assistance.
  • it may be equipped with LIDAR or infrared illumination. In such a case, they may be combined to perform sensing of the surrounding environment.
  • the pixel value of a specific object having a predetermined reflectance included in the slice image obtained for a predetermined range is used, but the present invention is not limited to this.
  • several slice images are acquired for the same range.
  • the objects reflected in these slice images change according to the driving scene, the types and positions of the objects included in the slice images are random, and statistically, the average value of the pixel values corresponds to the light transmittance. Converges to the value. Therefore, the surrounding environment may be estimated by taking a plurality of slice images in different driving scenes in a predetermined range with the gating camera 20 and statistically processing the pixel values thereof.
  • a multi-tap type sensor As the image sensor 24, a multi-tap type sensor may be used.
  • the multi-tap type sensor has a plurality of floating diffusion (charge storage region) FDs for each pixel, and the exposure timing can be individually controlled for each floating diffusion FD.
  • a plurality of ranges can be sensed at the same time by shifting the exposure timings of the plurality of floating diffusion FDs for one light emission.
  • This disclosure can be used for sensors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

センサ１００は、ゲーティングカメラ２０および演算処理装置４０を備える。ゲーティングカメラ２０は、奥行き方向について複数のレンジに区切り、レンジ毎に、発光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数のスライス画像を生成する。演算処理装置４０は、所定のレンジについて得られたスライス画像の画素値にもとづいて、周囲環境を推定する。

Description

センサ、自動車および周囲環境のセンシング方法
　本開示は、センサに関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナー、アクティブセンサなどの中から、用途、要求精度やコストを考慮して選択される。
　センサによるセンシング結果は、晴天、雨天、霧などの天候を初めとする周囲環境の影響を受ける。したがって、周囲環境を推定できれば、センシングの精度を高めることができる。あるいは、周囲環境に関する情報は、自動運転制御やランプの配光制御に有用である。
特開２００９－２５７９８３号公報 国際公開ＷＯ２０１７／１１０４１３Ａ１
　従来では、天候を検出するために、雨滴センサなど、専用のセンサを用いる必要があり、コストアップの要因となっていた。
　本開示は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、低コストで周囲環境を推定可能なセンサあるいはセンシング方法の提供にある。
　本開示の態様は、周囲環境のセンシングの方法／装置に関する。この方法／装置は、照明装置およびイメージセンサを含むアクティブセンサを用い、奥行き方向について所定のレンジに含まれる物体が写るように照明装置の発光のタイミングとイメージセンサの露光のタイミングを設定して撮影する。そして、所定のレンジについて得られたスライス画像の画素値にもとづいて、周囲環境を推定する。
　本開示によれば、周囲環境をセンシングできる。
実施形態に係るセンサのブロック図である。 ゲーティングカメラの動作を説明する図である。 図３（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。 図４（ａ）～（ｄ）は、晴天時、弱い雨（降水量３０ｍｍ／ｈ）、強い雨（降水量８０ｍｍ／ｈ）、霧の状態で得られた、スライス画像を示す図である。 図５（ａ）は、発光強度Ｉと画素値ｐの関係を示す図であり、図５（ｂ）は、周囲環境と透過率Ｔの関係を示すテーブルである。 図６（ａ）、（ｂ）は、ゲーティングカメラを備える自動車を示す図である。 物体検出システムを備える車両用灯具を示すブロック図である。
（実施形態の概要）
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。
　一実施形態に係るセンサは、ゲーティングカメラおよび演算処理装置を備える。ゲーティングカメラは、奥行き方向について複数のレンジ（スライスともいう）に区切り、レンジ毎に、発光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数のスライス画像を生成可能に構成される。演算処理装置は、所定のレンジについて得られたスライス画像の画素値にもとづいて、周囲環境を推定する。
　ゲーティングカメラが照射する光量は既知であり、また所定のレンジまでの距離は既知である。物体の反射率が一定であるとき、その物体の画素値は、ゲーティングカメラと物体の間の透過率、言い換えれば周囲環境に応じて変化する。したがって、このセンサによれば、スライス画像の画素値にもとづいて、光の透過率、ひいては周囲環境を推定できる。
　一実施形態において、演算処理装置は、推定された周囲環境にもとづいて、通常撮影時の各レンジごとの、ゲーティングカメラの撮影パラメータを設定してもよい。ゲーティングカメラは、レンジ毎に、撮影パラメータ（照明装置の発光強度、発光時間、イメージセンサの露光時間、それらの時間差）が設定される。周囲環境に応じて、各レンジの撮影パラメータを動的に制御することにより、画質を改善できる。
　一実施形態において、演算処理装置は、スライス画像に含まれる所定の反射率を有する特定物体の画素値にもとづいて、周囲環境を推定してもよい。特定物体は、反射率が既知である標識、路面、白線、ガードレール、反射板の少なくともひとつを含んでもよい。
　一実施形態において、演算処理装置は、少なくとも２つのレンジについて得られたスライス画像にもとづいて、周囲環境を推定してもよい。これにより推定の精度を高めることができる。
　一実施形態に係るセンサは、発光タイミングが制御可能な照明装置および露光タイミングが制御可能なイメージセンサを含むアクティブセンサと、奥行き方向について所定のレンジに含まれる物体が写るように、照明装置とイメージセンサを制御し、所定のレンジについて得られたスライス画像の画素値にもとづいて、周囲環境を推定する演算処理装置と、を備える。ゲーティングカメラ以外のアクティブセンサを利用しても、周囲環境を推定できる。
（実施形態）
　以下、実施形態について図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、開示や発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも開示や発明の本質的なものであるとは限らない。
　図１は、実施形態に係るセンサ１００のブロック図である。このセンサ１００は、自動車やバイクなどの車両に搭載され、車両前方の様子を撮影する。
　センサ１００は、主としてゲーティングカメラ２０および演算処理装置４０を備える。ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、コントローラ２６を含むアクティブセンサである。ゲーティングカメラ２０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
　照明装置（投光器）２２は、コントローラ２６から与えられる発光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。照明装置２２は、たとえばレーザダイオード（ＬＤ）やＬＥＤを用いることができる。
　イメージセンサ２４は、コントローラ２６から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、スライス画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
　コントローラ２６は、レンジＲＮＧごとに、発光タイミング信号Ｓ１と露光タイミング信号Ｓ２を変化させて、照明装置２２による発光と、イメージセンサ２４の露光の時間差を変化させる。発光タイミング信号Ｓ１は、発光開始のタイミングと発光時間を規定する。露光タイミング信号Ｓ２は、露光開始のタイミング（発光との時間差）と、露光時間を規定する。またコントローラ２６は、レンジＲＮＧごとに、照明装置２２の発光強度を切り替えてもよい。
　ゲーティングカメラ２０は、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数のスライス画像ＩＭＧ１～ＩＭＧＮを生成する。ｉ番目のスライス画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
　図２は、ゲーティングカメラ２０の動作を説明する図である。図２にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
　ある時刻に照明装置２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
　ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
　同様に、ある時刻に照明装置２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
　ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
　レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。
　ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ２６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
　なお、この例では、露光の開始時刻ｔ２と終了時刻ｔ３の決め方は、図２のそれに限定されない。たとえば、発光時間ｔ０～ｔ１の中央を、基準タイミングｔＲＥＦとして、ｔ２＝ｔＲＥＦ＋ＴＭＩＮｉ、ｔ３＝ｔＲＥＦ＋ＴＭＡＸｉのように定めてもよい。
　本実施形態において、露出（スライス画像内の物体像の輝度値）がレンジごとにばらつかないように、ゲーティングカメラ２０は、レンジ毎に、シャッタースピード（露光時間）、露光回数、感度、プローブ光の照射強度など（撮影パラメータ）が最適化されている。
　図３（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図３（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図３（ｂ）には、図３（ａ）の状況で得られる複数のスライス画像ＩＭＧ１～ＩＭＧ３が示される。スライス画像ＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、スライス画像ＩＭＧ１にはいかなる物体像も写らない。
　スライス画像ＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、スライス画像ＩＭＧ２には、物体像ＯＢＪ２のみが写る。同様にスライス画像ＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、スライス画像ＩＭＧ３には、物体像ＯＢＪ３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。
　図１に戻る。演算処理装置４０は、ゲーティングカメラ２０によって得られた所定のレンジＲＮＧＸに対応するスライス画像ＩＭＧＸにもとづいて、周囲環境を推定する。演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコン、ＧＰＵ（Graphics Processing Unit）などのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。なお演算処理装置４０と、ゲーティングカメラ２０のコントローラ２６は、同一のハードウェアに実装してもよいし、別々のハードウェアに実装してもよい。
　演算処理装置４０は、所定のレンジＲＮＧＸについて得られたスライス画像ＩＭＧＸに含まれる少なくともひとつの画素値にもとづいて、周囲環境を推定し、周囲環境を示す環境情報ＥＮＶを生成する。
　たとえば演算処理装置４０は、スライス画像ＩＭＧＸの中から、反射率が既知である所定の物体を抽出し、画素値にもとづいて周囲環境を推定してもよい。車載用のセンサの場合、所定の物体は、標識、路面、白線、ガードレール、反射板（デリニエータ）の少なくともひとつを含むことができる。
　物体とゲーティングカメラ２０の間の往復の透過率Ｔは、天候（周囲環境）に依存する。物体の反射率がＲ、照明装置２２の発光強度がＩであるとき、スライス画像に含まれる物体の画素値ｐは、
　ｐ＝Ａ×Ｉ×Ｒ×Ｔ
となる。Ａは係数である。Ａ，Ｉ，Ｒは定数とみなせるから、画素値ｐは、透過率Ｔに比例することとなる。ここで透過率Ｔは、物体とゲーティングカメラ２０までの距離に依存するところ、物体は所定レンジに含まれているから、この距離は既知である。したがって画素値ｐは、単位距離あたりの透過率に比例することとなる。ここで、単位距離当たりの透過率は、周囲環境に依存するから、画素値ｐにもとづいて、周囲環境を推定できる。
　図４（ａ）～（ｄ）は、晴天時、弱い雨（降水量３０ｍｍ／ｈ）、強い雨（降水量８０ｍｍ／ｈ）、霧の状態で得られた、スライス画像を示す図である。各画像には、人と反射板が写っている。
　図５（ａ）は、発光強度Ｉと画素値ｐの関係を示す図であり、図５（ｂ）は、周囲環境と透過率Ｔの関係を示すテーブルである。図５（ａ）、（ｂ）は、反射板の画素値にもとづいて作製している。
　本実施形態によれば、所定の物体の画素値ｐにもとづいて、周囲環境を推定できる。
　推定した周囲環境は、ゲーティングカメラ２０自体の撮影パラメータの設定に用いることができる。演算処理装置４０は、推定された周囲環境にもとづいて、通常撮影時の各レンジＲＮＧごとの、ゲーティングカメラ２０の撮影パラメータを設定してもよい。たとえば降雨時に、レンジの奥行きを広くとると、そのレンジに含まれる雨粒によって画像が見えにくくなる。そこで降雨時には、各レンジの奥行きが短くなるように、撮影パラメータを設定してもよい。反対に晴天時には、各レンジの奥行きを長くして、一度に、多くの物体を撮影するようにしてもよい。また霧と推定される場合には、発光強度を高めたり、イメージセンサの感度を高めてもよい。演算処理装置４０は、周囲環境と撮影パラメータの関係を規定するテーブルを有してもよい。周囲環境に応じて、各レンジの撮影パラメータを動的に制御することにより、画質を改善できる。
　なお、演算処理装置４０は、少なくとも２つのレンジＲＮＧＸ，ＲＮＧＹについて得られたスライス画像ＩＭＧＸ，ＩＭＧＹにもとづいて、周囲環境を推定してもよい。これにより推定精度を高めることができる。
（用途）
　図６（ａ）、（ｂ）は、ゲーティングカメラ２０を備える自動車３００を示す図である。図６（ａ）を参照する。自動車３００は、ヘッドランプ（灯具）３０２Ｌ，３０２Ｒを備える。左右のヘッドランプ３０２Ｌ，３０２Ｒの少なくとも一方に、イメージセンサ２４が内蔵される。なおイメージセンサ２４は、ヘッドランプ３０２Ｌ，３０２Ｒの外側に設けてもよい。また照明装置２２の位置は特に限定されないが、たとえばフロントバンパー（i）やフロントグリル（ii）に設けてもよいし、フロントウィンドウの内側のルームミラーの裏側（iii）に取り付けてもよい。またコントローラ２６の位置も特に限定されず、エンジンルームに設けてもよいし、車室内に設けてもよいし、ヘッドランプに内蔵してもよい。
　図６（ｂ）を参照する。１個の照明装置２２は、複数（たとえば２個）の光源２２Ａ、２２Ｂを含む。複数の光源２２Ａ，２２Ｂは、同じタイミングで発光し、それらの出射光が、１個のプローブ光を形成する。複数の光源２２Ａ、２２Ｂは、左右のヘッドランプ３０２Ｌ，３０２Ｒに内蔵される。
　また左右のヘッドランプ３０２Ｌ，３０２Ｒの少なくとも一方に、イメージセンサ２４が内蔵される。イメージセンサ２４は、ヘッドランプ３０２Ｌ，３０２Ｒの外側に設けてもよい。
　図７は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。
　演算処理装置４０は、上述の、周囲環境のセンシングを行う。さらに演算処理装置４０は、画像処理によって、スライス画像に含まれる物体認識を行う。演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
　また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
　以上、実施形態について説明した。この実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本開示あるいは本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
（変形例１）
　実施形態では、演算処理装置４０がセンシングした周囲環境を、ゲーティングカメラ２０の制御に利用したがその限りでない。環境情報は、自動運転に利用してもよいし、ヘッドランプの配光制御に利用してもよい。
（変形例２）
　実施形態では、ゲーティングカメラを利用した周囲環境のセンシングを説明したがその限りでない。つまり、センシングに用いる照明装置とイメージセンサのセットは、それらは必ずしもゲーティングカメラを構成するものではなく、通常のアクティブセンサのそれらであってもよい。
　変形例２において、アクティブセンサは、発光タイミングが制御可能な照明装置および露光タイミングが制御可能なイメージセンサを含む。演算処理装置は、周囲環境のセンシングに際して、奥行き方向について所定のレンジに含まれる物体が写るように、照明装置とイメージセンサを制御する。演算処理装置は、所定のレンジについて得られたスライス画像に含まれる物体の画素値にもとづいて、周囲環境を推定することができる。
　さらに言えば、周囲環境のセンシングに利用する照明装置とイメージセンサは、アクティブセンサを構成する必要すらなく、本来は無関係に設けられた照明装置とイメージセンサを、周囲環境のセンシングに流用してもよい。たとえば自動車は、運転支援のためのイメージセンサを備えている場合がある。また、それとは別に、ＬＩＤＡＲや赤外線照明を備えている場合がある。このような場合、それらを組み合わせて、周囲環境のセンシングを行ってもよい。
（変形例３）
　実施形態では、所定レンジについて得られたスライス画像に含まれる所定の反射率を有する特定物体の画素値を利用したが、その限りでない。ある期間にわたって走行すると、同一レンジに関して、何枚かのスライス画像が取得される。これらのスライス画像に写る物体は、走行シーンに応じて変化し、スライス画像に含まれる物体の種類や位置はランダムとなり、統計的には、画素値の平均値は、光の透過率に応じた値に収束する。そこでゲーティングカメラ２０によって、所定のレンジについて異なる走行シーンで複数のスライス画像を撮影し、それらの画素値を統計的に処理することにより、周囲環境を推定してもよい。
（変形例４）
　イメージセンサ２４として、マルチタップ型のセンサを用いてもよい。マルチタップ型のセンサは、画素ごとに、複数のフローティングディフュージョン（電荷蓄積領域）ＦＤを有しており、フローティングディフュージョンＦＤごとに露光タイミングを個別に制御可能である。マルチタップ型のセンサを用いた場合、１回の発光に対して、複数のフローティングディフュージョンＦＤの露光タイミングをずらすことにより、複数のレンジを一斉にセンシング可能となる。
　実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本開示は、センサに利用できる。
　Ｓ１　発光タイミング信号
　Ｓ２　露光タイミング信号
　１００　センサ
　２０　ゲーティングカメラ
　２２　照明装置
　２４　イメージセンサ
　２６　コントローラ
　４０　演算処理装置

Claims (8)

  1. 　奥行き方向について複数のレンジに区切り、レンジ毎に、発光と露光の時間差を変化させて撮影し、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラと、
    　所定のレンジについて得られたスライス画像の画素値にもとづいて、周囲環境を推定する演算処理装置と、
    　を備えることを特徴とするセンサ。
  2. 　推定された前記周囲環境にもとづいて、通常撮影時の各レンジごとの、前記ゲーティングカメラの撮影パラメータを設定することを特徴とする請求項１に記載のセンサ。
  3. 　前記演算処理装置は、前記スライス画像に含まれる所定の反射率を有する特定物体の画素値にもとづいて、前記周囲環境を推定することを特徴とする請求項１または２に記載のセンサ。
  4. 　前記特定物体は、標識、路面、白線、ガードレール、反射板の少なくともひとつを含むことを特徴とする請求項３に記載のセンサ。
  5. 　前記演算処理装置は、少なくとも２つのレンジについて得られたスライス画像にもとづいて、前記周囲環境を推定することを特徴とする請求項１から４のいずれかに記載のセンサ。
  6. 　発光タイミングが制御可能な照明装置および露光タイミングが制御可能なイメージセンサを含むアクティブセンサと、
    　奥行き方向について所定のレンジに含まれる物体が写るように、前記照明装置と前記イメージセンサを制御し、前記所定のレンジについて得られたスライス画像の画素値にもとづいて、周囲環境を推定する演算処理装置と、
    　を備えることを特徴とするセンサ。
  7. 　請求項１から６のいずれかに記載のセンサを備えることを特徴とする自動車。
  8. 　照明装置およびイメージセンサを含むアクティブセンサを用い、奥行き方向について所定のレンジに含まれる物体が写るように前記照明装置の発光のタイミングと前記イメージセンサの露光のタイミングを設定して撮影するステップと、
    　前記所定のレンジについて得られたスライス画像の画素値にもとづいて、周囲環境を推定するステップと、
    　を備えることを特徴とする周囲環境のセンシング方法。
PCT/JP2021/007213 2020-02-26 2021-02-25 センサ、自動車および周囲環境のセンシング方法 WO2021172478A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022503728A JPWO2021172478A1 (ja) 2020-02-26 2021-02-25

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-030764 2020-02-26
JP2020030764 2020-02-26

Publications (1)

Publication Number Publication Date
WO2021172478A1 true WO2021172478A1 (ja) 2021-09-02

Family

ID=77491698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007213 WO2021172478A1 (ja) 2020-02-26 2021-02-25 センサ、自動車および周囲環境のセンシング方法

Country Status (2)

Country Link
JP (1) JPWO2021172478A1 (ja)
WO (1) WO2021172478A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10103939A (ja) * 1996-09-27 1998-04-24 Omron Corp 路面状態判別装置およびこの装置が搭載された車輌
JP2009257983A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置および車両用距離画像データの生成方法
US20150048736A1 (en) * 2013-08-15 2015-02-19 Robert Bosch Gmbh Method and device for controlling at least one headlight of a vehicle
JP2015148114A (ja) * 2014-02-07 2015-08-20 株式会社キクテック 路面ライン標示及び路面ライン標示用塗料

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10103939A (ja) * 1996-09-27 1998-04-24 Omron Corp 路面状態判別装置およびこの装置が搭載された車輌
JP2009257983A (ja) * 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置および車両用距離画像データの生成方法
US20150048736A1 (en) * 2013-08-15 2015-02-19 Robert Bosch Gmbh Method and device for controlling at least one headlight of a vehicle
JP2015148114A (ja) * 2014-02-07 2015-08-20 株式会社キクテック 路面ライン標示及び路面ライン標示用塗料

Also Published As

Publication number Publication date
JPWO2021172478A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
JP5680573B2 (ja) 車両の走行環境認識装置
KR100874461B1 (ko) 차량의 외부 조명 제어 장치 및 차량의 자동 제어 장치
WO2020184447A1 (ja) ゲーティングカメラ、自動車、車両用灯具、物体識別システム、演算処理装置、物体識別方法、画像表示システム、検査方法、撮像装置、画像処理装置
WO2018110389A1 (ja) 車両用照明システムおよび車両
US9426377B2 (en) Image capturing apparatus, image capturing method, storage medium, and device control system for controlling vehicle-mounted devices
EP4196368A1 (en) Apparatus, system and method for controlling lighting using gated imaging
JP2024103607A (ja) 車両用赤外線センサシステム
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
WO2021201269A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP7252755B2 (ja) アクティブセンサ、物体識別システム、車両、車両用灯具
WO2021172478A1 (ja) センサ、自動車および周囲環境のセンシング方法
WO2022039231A1 (ja) 車載用センシングシステムおよびゲーティングカメラ
WO2021193645A1 (ja) ゲーティングカメラ、センシングシステム、車両用灯具
WO2021060397A1 (ja) ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
JP7538805B2 (ja) 車両用ランプシステム
CN112565618B (zh) 曝光控制装置
WO2023085403A1 (ja) センシングシステム
WO2022145261A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
WO2022039230A1 (ja) 車載用センシングシステムおよびゲーティングカメラ
WO2023074903A1 (ja) センシングシステムおよび自動車
WO2022014416A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
WO2023224078A1 (ja) 車載センシングシステムおよび縁石の検出方法
WO2023074902A1 (ja) アクティブセンサ、物体識別システム、車両用灯具
WO2023013776A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21759826

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022503728

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21759826

Country of ref document: EP

Kind code of ref document: A1