WO2022039229A1 - 車載用センシングシステムおよびゲーティングカメラ - Google Patents

車載用センシングシステムおよびゲーティングカメラ Download PDF

Info

Publication number
WO2022039229A1
WO2022039229A1 PCT/JP2021/030393 JP2021030393W WO2022039229A1 WO 2022039229 A1 WO2022039229 A1 WO 2022039229A1 JP 2021030393 W JP2021030393 W JP 2021030393W WO 2022039229 A1 WO2022039229 A1 WO 2022039229A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
gating camera
gating
main controller
sensing system
Prior art date
Application number
PCT/JP2021/030393
Other languages
English (en)
French (fr)
Inventor
与至久 遠藤
淳 狩野
学 加藤
裕一 綿野
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to EP21858373.0A priority Critical patent/EP4201745A4/en
Priority to IL300789A priority patent/IL300789A/en
Priority to CN202180051616.XA priority patent/CN116710838A/zh
Priority to US18/042,428 priority patent/US20230311897A1/en
Priority to JP2022543996A priority patent/JPWO2022039229A1/ja
Publication of WO2022039229A1 publication Critical patent/WO2022039229A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera

Definitions

  • This disclosure relates to a sensing system for vehicles.
  • an object identification system that senses the position and type of objects existing around the vehicle.
  • the object identification system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
  • the sensor is selected from among cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), millimeter wave radar, ultrasonic sonar, active sensor, etc. in consideration of application, required accuracy and cost.
  • a gating camera (Gating Camera or Gated Camera) has been proposed as an active sensor in place of the TOF camera (Patent Documents 1 and 2).
  • the gating camera divides the shooting range into a plurality of ranges, changes the exposure timing and the exposure time for each range, and takes an image. As a result, slice images are obtained for each target range, and each slice image contains only objects included in the corresponding range.
  • the present inventors have considered adding a gating camera (sensor fusion) to the conventional object identification system, and have come to recognize the following problems.
  • the gating camera is an active sensor, and is equipped with a lighting device that irradiates the subject with pulsed illumination light and an image sensor that captures the reflected light from the subject.
  • a lighting device that irradiates the subject with pulsed illumination light
  • an image sensor that captures the reflected light from the subject.
  • This disclosure was made in such a situation, and one of the exemplary purposes of that aspect is to provide a sensing system fused with a gating camera.
  • the sensing system controls the enable state and disable state according to the main sensor and the driving environment.
  • the enable state the field of view is divided into multiple ranges in the depth direction, and multiple slice images corresponding to multiple ranges are displayed.
  • It includes a gating camera to generate and a main controller to process the output of the main sensor and the output of the gating camera.
  • This gating camera constitutes an in-vehicle sensing system together with a main sensor and a main controller that processes the output of the main sensor.
  • the gating camera controls a lighting device that irradiates pulsed illumination light, an image sensor, a light emission timing of the lighting device, and an exposure timing of the image sensor, and outputs a plurality of image data corresponding to a plurality of ranges to the image sensor. It is equipped with a camera controller to generate.
  • the gating camera is controlled to be enabled / disabled according to the instruction from the main controller.
  • This gating camera constitutes an in-vehicle sensing system together with a main sensor and a main controller that processes the output of the main sensor.
  • the gating camera determines the enable state and disable state of the gating camera according to the lighting device that irradiates the pulsed illumination light, the image sensor, and the driving environment, and in the enabled state, the light emission timing of the lighting device and the image sensor. It includes a camera controller that controls the timing of exposure and causes an image sensor to generate a plurality of image data corresponding to a plurality of ranges.
  • the sensing system of a certain aspect of the present disclosure is used for driving assistance or automatic driving.
  • the sensing system includes a main sensor, a gating camera, and a main controller that processes the output of the main sensor and the output of the gating camera.
  • the gating camera generates a slice image corresponding to an interest range (target range) according to a control signal from the main controller.
  • the gating camera of a certain aspect of the present disclosure constitutes an in-vehicle sensing system together with a main sensor and a main controller that processes the output of the main sensor.
  • the gating camera controls the lighting device that irradiates the pulsed illumination light, the image sensor, the light emission timing of the lighting device, and the exposure timing of the image sensor. It is equipped with a camera controller that generates a slice image corresponding to the above.
  • FIG. It is a block diagram of the sensing system which concerns on Embodiment 1.
  • FIG. It is a figure explaining the operation of a gating camera.
  • 3 (a) and 3 (b) are diagrams illustrating an image obtained by a gating camera.
  • 4 (a) to 4 (c) are diagrams illustrating the advantages of a gating camera in bad weather. It is a time chart explaining the operation of the sensing system which concerns on Embodiment 1.
  • FIG. It is a block diagram of the sensing system which concerns on Embodiment 2.
  • FIG. It is a block diagram of the sensing system which concerns on Embodiment 3.
  • FIG. 8 (a) and 8 (b) are diagrams showing an automobile equipped with a sensing system. It is a block diagram which shows the lamp for a vehicle which concerns on embodiment.
  • the enable state and the disable state are controlled according to the main sensor and the driving environment, and in the enable state, the field of view is divided into a plurality of ranges in the depth direction, and the field of view corresponds to a plurality of ranges. It includes a gating camera that generates a plurality of slice images, and a main controller that processes the output of the main sensor and the output of the gating camera.
  • the increase in power consumption can be suppressed by operating the gating camera only in the necessary situations based on the driving environment instead of operating it all the time and using it as an auxiliary sensor to assist the main sensor.
  • the main controller may control the enable / disable state of the gating camera according to the driving environment.
  • the gating camera may control the enabled / disabled state of the gating camera itself according to the driving environment.
  • the gating camera may be enabled in bad weather.
  • bad weather such as rain, snowfall, and fog
  • the gating camera can remove rain, snow, and fog contained in a range other than the range to be measured. That is, the sliced image generated by the gating camera contains more information than a general camera in bad weather. Therefore, by determining whether the weather is good or bad in the main controller or the gating camera and utilizing the gating camera in bad weather, it is possible to recover from the deterioration of the sensing ability of the main sensor.
  • the gating camera may be enabled if the main sensor malfunctions.
  • the malfunction of the main sensor may include a situation in which the target cannot be recognized from the output image, a situation in which the recognition rate is lowered, and the like.
  • the gating camera may be enabled when the object recognition accuracy by the main controller falls below a predetermined threshold.
  • the enabled / disabled state of the gating camera may be controlled based on at least one of the rain sensor, the output of the fog sensor, the wiper, and the fog lamp mounted on the vehicle.
  • the enabled / disabled state of the gating camera may control the gating camera based on the state of the driver. Poor visibility due to bad weather increases the driver's tension, which manifests itself in the driver's condition, such as gestures, posture, and eye movements. Therefore, by monitoring the driver's condition, it is possible to estimate whether or not the weather is bad.
  • the main controller may use the output of the gating camera for driving assistance or control of automatic driving.
  • the main controller may display the output of the gating camera on the display.
  • the sensing system includes a main sensor, a gating camera, and a main controller that processes the output of the main sensor and the output of the gating camera.
  • the gating camera generates a slice image corresponding to the range of interest according to the control signal from the main controller.
  • the gating camera does not operate all the time, and under the control of the main controller, only shooting in the range requested by the main controller is performed.
  • the gating camera as an auxiliary sensor to assist the main sensor, it is possible to suppress an increase in power consumption.
  • the main sensor may include a sensor that can detect the distance to an object, such as a millimeter-wave radar or a stereo camera.
  • the main sensor may include a monocular camera and the main controller may acquire the distance to the object by image processing.
  • the gating camera may supply the slice image itself corresponding to the range of interest to the main controller.
  • the gating camera defines a plurality of ranges that divide the field of view in the depth direction, and one of the plurality of ranges may be selected as the range of interest based on the control signal.
  • the main controller When the main controller detects an object based on the output of the main sensor, it may supply the gating camera with a control signal including position data that specifies the distance to the object or the range in the depth direction including the object. ..
  • the gating camera may return information indicating whether or not an object is included in the range of interest to the main controller.
  • the gating camera includes a classifier that detects the type (also referred to as a class or category) of an object existing in the range of interest based on the slice image, and the detection result by the classifier may be returned to the main controller.
  • a classifier that detects the type (also referred to as a class or category) of an object existing in the range of interest based on the slice image, and the detection result by the classifier may be returned to the main controller.
  • the main controller supplies data indicating the type of object detected based on the output of the main sensor to the gating camera, and the gating camera detects the type of object existing in the range of interest based on the slice image.
  • the main controller may be provided with a match / mismatch between the type detected by the classifier and the type indicated by the data, including the device.
  • the gating camera controls a lighting device that irradiates pulsed illumination light, an image sensor, a light emission timing of the lighting device, and an exposure timing of the image sensor, and a control signal from the main controller to the image sensor. It is equipped with a camera controller that generates a slice image corresponding to the range of interest according to the above.
  • the gating camera does not operate all the time, and only the shooting of the range requested by the gating camera is performed under the control of the main controller.
  • the gating camera as an auxiliary sensor to assist the main sensor, it is possible to suppress an increase in power consumption.
  • FIG. 1 is a block diagram of the sensing system 10 according to the first embodiment.
  • the sensing system 10 is mounted on a vehicle such as an automobile or a motorcycle for the purpose of driving support or automatic driving, and detects an object OBJ existing around the vehicle.
  • the sensing system 10 includes a main sensor group 50, a main controller 60, and a gating camera 20.
  • the main sensor group 50 may include one or more sensors.
  • the main sensor group 50 includes a camera 52 and a millimeter wave radar 54.
  • the main sensor group 50 may include a stereo camera.
  • the main sensor group 50 may include LiDAR or the like.
  • the main controller 60 detects the position and type of an object around the vehicle based on the output of the main sensor group 50, and outputs the detection result RESULT.
  • the main controller 60 may include a classifier (classifier), and the detection result RESULT may include information regarding the type (category, class) and position of the target.
  • the gating camera 20 divides the field of view into a plurality of ranges RNG 1 to RNG N in the depth direction, and generates a plurality of slice images IMGs 1 to IMGs N corresponding to the plurality of ranges RNG 1 to RNG N. Adjacent ranges may overlap in the depth direction at their boundaries.
  • the gating camera 20 includes a lighting device 22, an image sensor 24, a camera controller 26, and an arithmetic processing device 28.
  • the lighting device (floodlight) 22 irradiates the field of view in front of the vehicle with the pulsed lighting light L1 in synchronization with the light emission timing signal S1 given from the camera controller 26.
  • the pulse illumination light L1 is preferably infrared light, but is not limited to this, and may be visible light having a predetermined wavelength.
  • a laser diode (LD) or an LED can be used.
  • the wavelength of the pulse illumination light L1 can be set to near infrared in the vicinity of 800 nm.
  • the pulse illumination light L1 may have a wavelength range longer than 1 ⁇ m.
  • the image sensor 24 includes a plurality of pixels and is capable of exposure control synchronized with the exposure timing signal S2 given from the camera controller 26, and generates a slice image IMGr composed of the plurality of pixels.
  • the image sensor 24 has sensitivity to the same wavelength as the pulse illumination light L1, and captures the reflected light (return light) L2 reflected by the object OBJ.
  • the sliced image IMGr generated by the image sensor 24 with respect to the i-th range RNG i is referred to as a raw image or a primary image as necessary to distinguish it from the sliced image IMGs which is the final output of the gating camera 20.
  • raw image IMGr and sliced image IMGs are generically referred to as simply sliced image IMG.
  • the camera controller 26 changes the light emission timing signal S1 and the exposure timing signal S2 for each range RNG to change the time difference between the light emission by the lighting device 22 and the exposure of the image sensor 24.
  • the light emission timing signal S1 defines the light emission start timing and the light emission time.
  • the exposure timing signal S2 defines the exposure start timing (time difference from the light emission) and the exposure time.
  • the arithmetic processing unit 28 is a combination of a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a microcomputer, and a GPU (Graphics Processing Unit), and a software program executed by the processor (hardware). Can be implemented.
  • the arithmetic processing unit 28 may be configured only by hardware.
  • the arithmetic processing unit 28 processes the raw image data IMGr generated by the image sensor 24, and outputs the final sliced image IMGs. When the output IMGr of the image sensor 24 is used as it is as sliced image IMGs, the arithmetic processing unit 28 can be omitted.
  • FIG. 2 is a diagram illustrating the operation of the gating camera 20.
  • FIG. 2 shows a state when the i-th range RNG i is measured as an interest range.
  • the lighting device 22 emits light during the light emission period ⁇ 1 between the times t 0 and t 1 in synchronization with the light emission timing signal S1.
  • ⁇ 1 between the times t 0 and t 1 in synchronization with the light emission timing signal S1.
  • dMINi be the distance from the gating camera 20 to the boundary in front of the range RNG i
  • dMAXi be the distance to the boundary on the back side of the range RNG i .
  • T MINi 2 ⁇ d MINi / c Is. c is the speed of light.
  • T MAXi 2 ⁇ d MAXi / c Is.
  • the timing signal S2 is generated. This is one exposure operation.
  • the camera controller 26 may repeat the above-mentioned set of irradiation and exposure operations a plurality of times in a predetermined period ⁇ 2 .
  • the image sensor 24 outputs a slice image integrated by a plurality of exposures.
  • the gating camera 20 has a shutter speed (exposure time), number of exposures, sensitivity, and pulse for each range so that the exposure (brightness value of the object image in the slice image) does not vary from range to range.
  • the irradiation intensity of the illumination light (shooting parameters) is optimized.
  • FIG. 3A and 3B are diagrams illustrating an image obtained by the gating camera 20.
  • the object (pedestrian) OBJ 2 exists in the range RNG 2
  • the object (vehicle) OBJ 3 exists in the range RNG 3 .
  • FIG. 3 (b) shows a plurality of slice images IMG 1 to IMG 3 obtained in the situation of FIG. 3 (a).
  • the image sensor 24 is exposed only by the reflected light from the range RNG 1 , so that no object image is captured in the slice image IMG 1 .
  • the image sensor 24 When the slice image IMG 2 is photographed, the image sensor 24 is exposed only by the reflected light from the range RNG 2 , so that only the object image OBJ 2 is captured in the slice image IMG 2 . Similarly, when the slice image IMG 3 is photographed, the image sensor 24 is exposed only by the reflected light from the range RNG 3 , so that only the object image OBJ 3 is captured in the slice image IMG 3 . In this way, according to the gating camera 20, it is possible to separate and shoot an object for each range.
  • FIG. 4A shows an example of a driving scene in bad weather.
  • An object (vehicle) OBJ 3 exists in the range RNG 3 .
  • the points shown in the figure schematically show obstacles such as raindrops, snowflakes, and fog.
  • FIG. 4 (b) shows the slice image IMG 3 in the third range obtained in the situation of FIG. 4 (a).
  • the image sensor 24 When the slice image IMG 3 is photographed, the image sensor 24 is exposed only by the reflected light from the range RNG 3 , so that the slice image IMG 3 has obstacles (raindrops, snowdrops, fog) of the ranges RNG 1 and RNG 2 . ) Does not appear. That is, it is possible to remove rain, snow, and fog contained in a range other than the range to be measured.
  • FIG. 4C shows an image taken by a general camera in the same field of view.
  • the reflected light of all the objects of the range RNG 3 is captured, so many obstacles are captured so as to block the object OBJ 3 .
  • the gating camera 20 is utilized as an auxiliary sensor that assists the main sensor group 50. Therefore, the gating camera 20 does not always operate, but is adaptively selected to operate or not operate (stop) according to the traveling environment.
  • the camera controller 26 When the gating camera 20 is in the operating state, the camera controller 26 generates a light emission timing signal S1 and an exposure timing signal S2, whereby slice images of a plurality of ranges are generated. In the stopped state of the gating camera 20, the camera controller 26 does not generate the emission timing signal S1 and the exposure timing signal S2, and therefore does not generate a slice image.
  • the operation and stop of the gating camera 20 are controlled by the main controller 60.
  • the gating camera 20 enters an operating state in response to the assertion of the enable signal EN from the main controller 60, and takes a picture.
  • the main controller 60 determines the situation in which the gating camera 20 is required, and asserts the enable signal EN only when necessary.
  • the camera controller 26 of the gating camera 20 enters an operating state in response to the assertion of the enable signal EN, and generates a light emission timing signal S1 and an exposure timing signal S2.
  • the gating camera 20 becomes active (enabled), and the slice image IMGs generated by the gating camera 20 are supplied to the main controller 60. Then, the output of the gating camera 20 is used for driving support or control of automatic driving.
  • FIG. 5 is a time chart illustrating the operation of the sensing system 10.
  • the reliability of the main sensor group 50 is high under good weather (visibility) conditions.
  • the gating camera 20 is disabled, and the main controller 60 detects the target based on the output of the main sensor group 50.
  • the gating camera 20 is enabled, and the main controller 60 detects the target in place of or in addition to the output of the main sensor group 50, based on the detection result of the gating camera 20. ..
  • the above is the operation of the sensing system 10. According to this sensing system 10, it is possible to suppress an increase in power consumption due to the gating camera 20 and to suppress a deterioration in the performance of the sensing system 10 in bad weather.
  • the main controller 60 determines whether the weather is good or bad. Then, when it is determined that the weather condition is bad, the enable signal is asserted. By utilizing the gating camera 20 in bad weather, it is possible to recover from the deterioration of the sensing ability of the main sensor group 50.
  • the main controller 60 may determine whether it is raining, whether there is snowfall, whether there is fog, in other words, whether the visibility is good or bad, based on the sensor output of a rain sensor, a fog sensor, or the like mounted on the vehicle.
  • the main controller 60 can determine whether or not there is rainfall or snowfall, and the amount of rainfall and the amount of snowfall, based on the operating state (on, off, or operating speed) of the wiper. Further, the main controller 60 can determine the presence or absence of fog based on the on / off of the fog lamp.
  • the main controller 60 may determine whether it is raining, whether there is snowfall, whether there is fog, in other words, whether the visibility is good or bad, based on the information given by wireless communication from outside the vehicle.
  • the main controller 60 may enable the gating camera 20 when the main sensor group 50 malfunctions.
  • the dysfunction is not limited to the result of bad weather and may include other factors such as a failure of the camera 52 of the main sensor group 50 or a dysfunction due to dirt.
  • the main controller 60 may enable the gating camera 20 as a malfunction when the recognition accuracy of the object falls below a predetermined threshold value. For example, the main controller 60 may determine that the recognition accuracy is lowered when the probability of belonging to each of a plurality of classes (types, categories) of an object does not exceed a predetermined threshold value. ..
  • the sensing system including the main sensor group 50 and the main controller 60 outputs a fail signal (also referred to as an error signal) to the upper ECU (Electronic Control Unit) of the vehicle.
  • the main controller 60 asserts a fail signal when the sensing based on the output of the main sensor group 50 fails. This fail signal may be used as an enable signal of the gating camera 20.
  • the main controller 60 may monitor the driver, estimate the quality of the weather based on the driver's condition, and control the gating camera 20 based on the result. For example, (i) poor visibility due to bad weather can increase the driver's tension, which can manifest itself as the driver's behavior, such as gestures, posture, and eye movements. In this case, the behavior of the driver can be monitored and the weather can be estimated based on the monitoring result.
  • FIG. 6 is a block diagram of the sensing system 10 according to the second embodiment.
  • the main controller 60 controls the operating and non-operating states of the gating camera 20.
  • the gating camera 20A switches between operating and non-operating states by itself.
  • the operation / non-operation control method of the gating camera 20A is the same as that described in the first embodiment.
  • the camera controller 26A determines whether the weather is good or bad, and is in a stopped state in good weather with high reliability of the main sensor group 50, and is in an operating state in bad weather where the reliability of the main sensor group 50 is lowered. Become. By utilizing the gating camera 20A in bad weather, it is possible to recover from the deterioration of the sensing ability of the main sensor group 50.
  • the camera controller 26A may determine whether or not there is rain, whether or not there is snowfall, whether or not there is fog, in other words, whether or not the field of view is good, based on the sensor outputs of the rain sensor, fog sensor, and the like.
  • the camera controller 26A can determine whether or not there is rainfall or snowfall, and the amount of rainfall and the amount of snowfall, based on the operating state (on, off, or operating speed) of the wiper. Further, the camera controller 26A can determine the presence / absence of fog based on the on / off of the fog lamp.
  • the camera controller 26A may determine whether it is raining, whether there is snowfall, whether there is fog, in other words, whether the visibility is good or bad, based on the information given by wireless communication from outside the vehicle.
  • the camera controller 26A may put the gating camera 20A into an operating state when the main sensor group 50 malfunctions.
  • the dysfunction is not limited to the result of bad weather and may include other factors such as a failure of the camera 52 of the main sensor group 50 or a dysfunction due to dirt.
  • the main controller 60 when the recognition accuracy of an object falls below a predetermined threshold value, the main controller 60 considers that it has fallen into a malfunction and sends a fail signal (also referred to as an error signal) to the upper ECU (Electronic Control Unit) of the vehicle. Output.
  • the camera controller 26A may select operation or non-operation of the gating camera 20A based on the fail signal generated by the main controller 60.
  • the camera controller 26A may monitor the driver, estimate the quality of the weather based on the driver's condition, and control the operation and stop of the gating camera 20A based on the result. ..
  • the camera controller 26A may output a status signal STATUS indicating whether the gating camera 20A is in the operating state or the non-operating state to the main controller 60.
  • the main controller 60 can know whether or not the gating camera 20A is operating by referring to the status signal STATUS.
  • the main controller 60 can use the slice image IMGs generated by the gating camera 20A for object recognition and the like while the gating camera 20A is in operation. Whether or not the main controller 60 uses the sliced images IMGs for object recognition may be left to the judgment of the main controller 60.
  • FIG. 7 is a block diagram of the sensing system 10 according to the third embodiment. Since the basic configuration of the sensing system 10 is the same as that of the first embodiment, the description thereof will be omitted, and the differences will be described.
  • the gating camera 20 divides the field of view into a plurality of ranges RNG 1 to RNG N in the depth direction, and generates a plurality of slice images IMGs 1 to IMGs N corresponding to the plurality of ranges RNG 1 to RNG N. (Normal shooting mode). Adjacent ranges may overlap in the depth direction at their boundaries.
  • the gating camera 20 supports an on-demand shooting mode in addition to the normal shooting mode in which shooting is performed for the entire range.
  • the normal shooting mode is not essential, and the gating camera 20 may support only the on-demand shooting mode.
  • the gating camera 20 When set to the on-demand shooting mode, the gating camera 20 generates a slice image RNG_ROI corresponding to the interest range ROI corresponding to the control signal CTRL from the main controller 60.
  • the interest range ROI is a section in the depth direction in front of the vehicle, and is set or selected by control from the main controller 60.
  • the vehicle is running in bad weather (for example, in thick fog).
  • the camera 52 cannot accurately photograph a distant object.
  • the millimeter wave radar 54 since the millimeter wave radar 54 operates effectively even in fog, it can detect the existence of some object, but it cannot detect the type of the object.
  • the main controller 60 gives a control signal CTRL to the gating camera 20 so that the object detected by the millimeter wave radar 54 is captured.
  • the gating camera 20 can obtain a higher quality image than the normal camera 52 even in bad weather, information on an object that cannot be photographed by the camera 52 is acquired by using the gating camera 20. can do.
  • the gating camera 20 is not always operated, and only the range ROI requested by the main controller 60 is photographed under the control of the main controller 60.
  • shooting is performed up to a range in which no object exists, which increases waste.
  • the on-demand shooting mode only the range in which the presence of an object is estimated by the main controller 60 is shot. By doing so, it is possible to suppress an increase in power consumption.
  • the control method of the interest range ROI is not particularly limited, but some methods will be described below.
  • a plurality of ranges RNG 1 to RNG N are defined in advance in the camera controller 26 of the gating camera 20.
  • the main controller 60 estimates the distance to the object based on the output of the millimeter wave radar 54, and gives the distance information to the camera controller 26.
  • the camera controller 26 selects one of a plurality of ranges RNG 1 to RNG N as the interest range ROI based on the distance indicated by the distance information.
  • a plurality of ranges RNG 1 to RNG N are defined in advance in the camera controller 26 of the gating camera 20.
  • the main controller 60 knows the range of each of the plurality of ranges RNG 1 to RNG N.
  • the main controller 60 estimates the distance to the object based on the output of the millimeter wave radar 54, and selects one of a plurality of ranges RNG 1 to RNG N as the interest range ROI based on the estimated distance. Data indicating whether to shoot the second range is given to the camera controller 26.
  • No range is predefined in the camera controller 26 of the gating camera 20.
  • the main controller 60 estimates the distance to the object based on the output of the millimeter wave radar 54, and gives the distance information to the camera controller 26.
  • the camera controller 26 dynamically determines the range of interest ROI so that the object detected by the main controller 60 is included.
  • the gating camera 20 may supply the slice image IMGs themselves corresponding to the interest range ROI to the main controller 60.
  • the main controller 60 may determine the type of an object existing in the range of interest ROI by using its own classifier.
  • the gating camera 20 may include a classifier (classifier) that analyzes sliced images IMGs. This classifier can be mounted on the arithmetic processing unit 28. The classifier may determine whether or not an object is included in the sliced image IMGs of the interest range ROI, and return the determination result to the main controller 60. At a higher altitude, the gating camera 20 may return the type of object detected by the classifier to the main controller 60.
  • classifier classifier
  • the main controller 60 may transmit data indicating the type of the detected object based on the output of the main sensor group 50 to the gating camera 20.
  • the gating camera 20 may return the match or disagreement between the type of the object detected based on the slice images IMGs and the type indicated by the received data to the main controller 60.
  • the main controller 60 determines whether the weather is good or bad. Then, when it is determined that the weather condition is bad, the gating camera 20 may be operated in the on-demand mode.
  • the main controller 60 may determine whether it is raining, whether there is snowfall, whether there is fog, in other words, whether the visibility is good or bad, based on the sensor output of a rain sensor, a fog sensor, or the like mounted on the vehicle.
  • the main controller 60 can determine whether or not there is rainfall or snowfall, and the amount of rainfall and the amount of snowfall, based on the operating state (on, off, or operating speed) of the wiper. Further, the main controller 60 can determine the presence or absence of fog based on the on / off of the fog lamp.
  • the main controller 60 determines whether there is rainfall, snowfall, fog, in other words, good or bad visibility, based on information given by wireless communication from outside the vehicle, such as VICS (registered trademark) (Vehicle Information and Communication System) information. You may.
  • VICS registered trademark
  • Vehicle Information and Communication System Vehicle Information and Communication System
  • the main controller 60 may enable the gating camera 20 when a part of the main sensor group 50 malfunctions.
  • the main controller 60 may enable the gating camera 20 as a malfunction when the recognition accuracy of the object falls below a predetermined threshold value. For example, the main controller 60 may determine that the recognition accuracy is lowered when the probability of belonging to each of a plurality of classes (types, categories) of an object does not exceed a predetermined threshold value. ..
  • the sensing system including the main sensor group 50 and the main controller 60 outputs a fail signal (also referred to as an error signal) to the upper ECU (Electronic Control Unit) of the vehicle.
  • the main controller 60 asserts a fail signal when the sensing based on the output of the main sensor group 50 fails.
  • the gating camera 20 may be set to the on-demand mode by using the assertion of this fail signal as a trigger.
  • the main controller 60 may monitor the driver, estimate the quality of the weather based on the driver's condition, and control the gating camera 20 based on the result. For example, (i) poor visibility due to bad weather can increase the driver's tension, which can manifest itself as the driver's behavior, such as gestures, posture, and eye movements. In this case, the behavior of the driver can be monitored and the weather can be estimated based on the monitoring result.
  • FIG. 8 (a) and 8 (b) are diagrams showing an automobile 300 including the sensing system 10 according to the first to third embodiments. See FIG. 8 (a).
  • the automobile 300 includes headlamps (lamps) 302L and 302R.
  • the camera 52 and the millimeter wave radar 54 of the main sensor group 50 are arranged at locations suitable for vehicle sensing.
  • the camera 52 is provided behind the rear-view mirror, and the millimeter-wave radar 54 is arranged in front of the vehicle.
  • the main controller 60 is arranged in the vehicle interior or the engine room.
  • the lighting device 22 of the gating camera 20 is built in at least one of the left and right headlamps 302L and 302R.
  • the image sensor 24 can be attached to a part of the vehicle, for example, the back side of the rear-view mirror. Alternatively, the image sensor 24 may be provided on the front grill or the front bumper.
  • the camera controller 26 may be provided in the vehicle interior, in the engine room, or may be built in the headlamp.
  • the image sensor 24 may be incorporated in either the left or right headlamps 302L or 302R together with the lighting device 22.
  • FIG. 9 is a block diagram showing a vehicle lamp 200.
  • the vehicle lamp 200 corresponds to the headlamp 302 shown in FIG. 8B, and includes a low beam unit 202, a high beam unit 204, a lamp ECU 210, and a gating camera 20.
  • the lamp ECU 210 controls on / off or light distribution of the low beam unit 202 and the high beam unit 204 based on a control command from the vehicle side ECU 310.
  • the gating camera 20 is built in the housing of the vehicle lighting equipment 200. At least one of the image sensor 24, the camera controller 26, and the arithmetic processing unit 28 may be provided on the outside of the housing of the vehicle lamp 200.
  • the lamp ECU 210 may control the enable / disable state of the gating camera 20.
  • the slice images IMGs are output from the gating camera 20 to the main controller 60, but this is not the case.
  • a classifier (classifier) may be mounted on the arithmetic processing unit 28 of the gating camera 20, and the identification result, that is, the type (category) and position of the target may be output to the main controller 60.
  • the output of the gating camera 20 is used for driving support or control of automatic driving, but this is not the case.
  • the gating camera 20 may be activated in bad weather, and the sliced images IMGs generated by the gating camera 20 may be displayed on a display device such as a HUD (Head Up Display) to assist the user's field of view.
  • a display device such as a HUD (Head Up Display) to assist the user's field of view.
  • This disclosure can be used for sensing systems for vehicles.
  • Sensing system 20 Gating camera 22
  • Lighting device 24 Image sensor 26
  • Camera controller 28 Arithmetic processing device 50
  • Main sensor group 52 Camera 54
  • Main controller 200 Vehicle lighting equipment 202
  • Low beam unit 204 High beam Unit 210
  • Lighting ECU 300 Automobile 302 Headlamp 310

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

センシングシステム（１０）は、運転支援または自動運転に利用される。ゲーティングカメラ（２０）は、走行環境に応じてイネーブル状態／ディセーブル状態が制御される。ゲーティングカメラ（２０）はイネーブル状態において、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成する。メインコントローラ（６０）は、メインセンサ群（５０）の出力およびゲーティングカメラ（２０）の出力を処理する。

Description

車載用センシングシステムおよびゲーティングカメラ
　本開示は、車両用のセンシングシステムに関する。
　運転支援や自動運転のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナー、アクティブセンサなどの中から、用途、要求精度やコストを考慮して選択される。
特開２００９－２５７９８３号公報 国際公開ＷＯ２０１７／１１０４１３Ａ１
　ＴＯＦカメラに代わるアクティブセンサとして、ゲーティングカメラ（Gating CameraあるいはGated Camera）が提案されている（特許文献１，２）。ゲーティングカメラは、撮影範囲を複数のレンジに区切り、レンジ毎に露光タイミングおよび露光時間を変化させて、撮像する。これにより、対象のレンジ毎にスライス画像が得られ、各スライス画像は対応するレンジに含まれる物体のみを含む。
　本発明者らは、従来の物体識別システムに、ゲーティングカメラを追加（センサ・フュージョン）することを検討し、以下の課題を認識するに至った。
　ゲーティングカメラはアクティブセンサであり、被写体にパルス照明光に照射する照明装置と、被写体からの反射光を撮影するイメージセンサを備える。ゲーティングカメラによって、１００ｍ以上先の物体を撮影しようとすると、照明装置を大出力化する必要がある。また、遠い物体からの反射光は微弱であるから、微弱な反射光を積算する必要があり、１回の撮影ごとに、複数回、照明装置を発光させる必要がある。このようなゲーティングカメラを、常時動作させておくと、非常に大きな電力を消費することとなる。消費電力の増加は、燃費悪化の原因となりうる。
　本開示は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、ゲーティングカメラをフュージョンしたセンシングシステムの提供にある。
　本開示のある態様は、運転支援または自動運転のためのセンシングシステムに関する。センシングシステムは、メインセンサと、走行環境に応じて、イネーブル状態、ディセーブル状態が制御され、イネーブル状態において、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラと、メインセンサの出力およびゲーティングカメラの出力を処理するメインコントローラと、を備える。
　本開示の別の態様は、ゲーティングカメラである。このゲーティングカメラは、メインセンサと、メインセンサの出力を処理するメインコントローラとともに車載用のセンシングシステムを構成する。ゲーティングカメラは、パルス照明光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御し、イメージセンサに、複数のレンジに対応する複数の画像データを生成させるカメラコントローラと、を備える。ゲーティングカメラは、メインコントローラからの指示に応じてイネーブル／ディセーブルが制御される。
　本開示の別の態様も、ゲーティングカメラである。このゲーティングカメラは、メインセンサと、メインセンサの出力を処理するメインコントローラとともに車載用のセンシングシステムを構成する。ゲーティングカメラは、パルス照明光を照射する照明装置と、イメージセンサと、走行環境に応じてゲーティングカメラのイネーブル状態、ディセーブル状態を決定し、イネーブル状態において照明装置の発光タイミングとイメージセンサの露光のタイミングを制御し、イメージセンサに、複数のレンジに対応する複数の画像データを生成させるカメラコントローラと、を備える。
　本開示のある態様のセンシングシステムは、運転支援または自動運転に利用される。センシングシステムは、メインセンサと、ゲーティングカメラと、メインセンサの出力およびゲーティングカメラの出力を処理するメインコントローラと、を備える。ゲーティングカメラは、メインコントローラからの制御信号に応じた興味レンジ（対象レンジ）に対応するスライス画像を生成する。
　本開示のある態様のゲーティングカメラは、メインセンサと、メインセンサの出力を処理するメインコントローラとともに車載用のセンシングシステムを構成する。ゲーティングカメラは、パルス照明光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御し、イメージセンサに、メインコントローラからの制御信号に応じた興味レンジに対応するスライス画像を生成させるカメラコントローラと、を備える。
　本開示によれば、ゲーティングカメラをフュージョンしたセンシングシステムを提供できる。
実施形態１に係るセンシングシステムのブロック図である。 ゲーティングカメラの動作を説明する図である。 図３（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。 図４（ａ）～（ｃ）は、悪天候下におけるゲーティングカメラの利点を説明する図である。 実施形態１に係るセンシングシステムの動作を説明するタイムチャートである。 実施形態２に係るセンシングシステムのブロック図である。 実施形態３に係るセンシングシステムのブロック図である。 図８（ａ）、（ｂ）は、センシングシステムを備える自動車を示す図である。 実施形態に係る車両用灯具を示すブロック図である。
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。
１．　一実施形態に係るセンシングシステムは、メインセンサと、走行環境に応じて、イネーブル状態、ディセーブル状態が制御され、イネーブル状態において、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラと、メインセンサの出力およびゲーティングカメラの出力を処理するメインコントローラと、を備える。
　ゲーティングカメラを常時動作させるのではなく、走行環境にもとづいて、必要な状況のみ動作させ、メインセンサをアシストする補助的なセンサとして利用することで、消費電力の増加を抑制できる。
　一実施形態において、メインコントローラは、走行環境に応じてゲーティングカメラのイネーブル状態／ディセーブル状態を制御してもよい。
　一実施形態において、ゲーティングカメラは、走行環境に応じてゲーティングカメラ自身のイネーブル状態／ディセーブル状態を制御してもよい。
　一実施形態において、ゲーティングカメラは、悪天候時に、イネーブル化されてもよい。一般的なカメラの場合、降雨、降雪、霧中などの悪天候時に、雨滴や雪、霧が画像に写り込むため、カメラの画像に含まれる情報量は減少する。これに対して、ゲーティングカメラは、測定対象のレンジ以外のレンジに含まれる雨、雪、霧を除去することができる。つまり、ゲーティングカメラが生成するスライス画像は、悪天候時において、一般的なカメラよりも多くの情報を含む。そこで、メインコントローラあるいはゲーティングカメラにおいて、天候の良否を判断し、悪天候時にゲーティングカメラを活用することで、メインセンサのセンシング能力の低下をリカバリすることができる。
　一実施形態において、ゲーティングカメラは、メインセンサが機能不全に陥ると、イネーブル化されてもよい。メインセンサの機能不全とは、その出力画像から物標を認識できないような状況や、認識率が低下する状況などを含みうる。
　一実施形態において、メインコントローラによる物体の認識精度が所定のしきい値を下回ると、ゲーティングカメラがイネーブル化されてもよい。
　一実施形態において、ゲーティングカメラのイネーブル状態／ディセーブル状態は、車両に搭載されるレインセンサ、フォグセンサの出力、ワイパー、フォグランプの動作状態の少なくともひとつにもとづいて制御されてもよい。
　一実施形態において、ゲーティングカメラのイネーブル状態／ディセーブル状態は、運転者の状態にもとづいて、ゲーティングカメラを制御してもよい。悪天候により視界が悪くなると、運転者の緊張感が高まり、それが、運転者の状態、たとえば仕草、姿勢、目の動きなどとして現れる。そこで運転者の状態を監視することにより、悪天候か否かを推定することができる。
　一実施形態において、メインコントローラは、ゲーティングカメラの出力を、運転支援または自動運転の制御に利用してもよい。
　一実施形態において、メインコントローラは、ゲーティングカメラの出力を、ディスプレイに表示してもよい。
２．　一実施形態に係るセンシングシステムは、メインセンサと、ゲーティングカメラと、メインセンサの出力およびゲーティングカメラの出力を処理するメインコントローラと、を備える。ゲーティングカメラは、メインコントローラからの制御信号に応じた興味レンジに対応するスライス画像を生成する。
　この構成では、ゲーティングカメラが常時動作せず、メインコントローラの制御下で、メインコントローラから要求されたレンジの撮影のみを行う。ゲーティングカメラをメインセンサをアシストする補助的なセンサとして利用することで、消費電力の増加を抑制できる。
　メインセンサは、ミリ波レーダ、ステレオカメラなど、物体までの距離を検出可能なセンサを含んでもよい。あるいは、メインセンサは単眼カメラを含み、メインコントローラは画像処理によって物体までの距離を取得してもよい。
　ゲーティングカメラは、興味レンジに対応するスライス画像そのものを、メインコントローラに供給してもよい。
　ゲーティングカメラには、視野を奥行き方向に区切った複数のレンジが規定されており、制御信号にもとづいて、複数のレンジの中のひとつを興味レンジとして選択してもよい。
　メインコントローラは、メインセンサの出力にもとづいて物体を検出すると、その物体までの距離または当該物体を含む奥行き方向の範囲を指定する位置データを含む制御信号を、ゲーティングカメラに供給してもよい。
　ゲーティングカメラは、興味レンジに物体が含まれるか否かを示す情報を、メインコントローラに返してもよい。
　ゲーティングカメラは、スライス画像にもとづいて興味レンジに存在する物体の種類（クラス、カテゴリーともいう）を検出する識別器を含み、識別器による検出結果を、メインコントローラに返してもよい。
　メインコントローラは、メインセンサの出力にもとづいて検出した物体の種類を示すデータを、ゲーティングカメラに供給し、ゲーティングカメラは、スライス画像にもとづいて興味レンジに存在する物体の種類を検出する識別器を含み、識別器が検出した種類と、データが示す種類の一致・不一致を、メインコントローラに提供してもよい。
　一実施形態に係るゲーティングカメラは、パルス照明光を照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御し、イメージセンサに、メインコントローラからの制御信号に応じた興味レンジに対応するスライス画像を生成させるカメラコントローラと、を備える。
　この構成では、ゲーティングカメラが常時動作せず、メインコントローラの制御下で、ゲーティングカメラから要求されたレンジの撮影のみを行う。ゲーティングカメラをメインセンサをアシストする補助的なセンサとして利用することで、消費電力の増加を抑制できる。
（実施形態）
　以下、好適な実施形態について、図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、開示および発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも開示および発明の本質的なものであるとは限らない。
（実施形態１）
　図１は、実施形態１に係るセンシングシステム１０のブロック図である。このセンシングシステム１０は、自動車やバイクなどの車両に、運転支援あるいは自動運転を目的として搭載され、車両の周囲に存在する物体ＯＢＪを検出する。
　センシングシステム１０は、メインセンサ群５０、メインコントローラ６０およびゲーティングカメラ２０を備える。メインセンサ群５０は、ひとつ、あるいは複数のセンサを含みうる。たとえば、メインセンサ群５０は、カメラ５２およびミリ波レーダ５４を含む。あるいはメインセンサ群５０は、ステレオカメラを備えてもよい。あるいは、メインセンサ群５０はＬｉＤＡＲなどを含んでもよい。
　メインコントローラ６０は、メインセンサ群５０の出力にもとづいて、車両の周囲の物体の位置や種類を検出し、検出結果ＲＥＳＵＬＴを出力する。たとえばメインコントローラ６０は識別器（分類器）を備えてもよく、検出結果ＲＥＳＵＬＴは、物標の種類（カテゴリ、クラス）および位置に関する情報を含んでもよい。
　ゲーティングカメラ２０は、視野を奥行き方向について複数のレンジＲＮＧ１～ＲＮＧＮに区切り、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数のスライス画像ＩＭＧｓ１～ＩＭＧｓＮを生成する。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
　ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、カメラコントローラ２６、演算処理装置２８を含む。
　照明装置（投光器）２２は、カメラコントローラ２６から与えられる発光タイミング信号Ｓ１と同期して、パルス照明光Ｌ１を車両前方の視野に照射する。パルス照明光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。照明装置２２は、たとえばレーザダイオード（ＬＤ）やＬＥＤを用いることができる。ゲーティングカメラ２０を夜間のみ使用するシステムにおいては、パルス照明光Ｌ１の波長を８００ｎｍ付近の近赤外とすることができる。ゲーティングカメラ２０を昼夜を問わずに使用するシステムにおいては、パルス照明光Ｌ１を１μｍより長い波長域とするとよい。
　イメージセンサ２４は、複数の画素を含み、カメラコントローラ２６から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、複数の画素からなるスライス画像ＩＭＧｒを生成する。イメージセンサ２４は、パルス照明光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。ｉ番目のレンジＲＮＧｉに関してイメージセンサ２４が生成するスライス画像ＩＭＧｒは、必要に応じて、生画像あるいは一次画像と称して、ゲーティングカメラ２０の最終的な出力であるスライス画像ＩＭＧｓと区別する。また、生画像ＩＭＧｒおよびスライス画像ＩＭＧｓを総称して、単にスライス画像ＩＭＧとも表記する。
　カメラコントローラ２６は、レンジＲＮＧごとに、発光タイミング信号Ｓ１と露光タイミング信号Ｓ２を変化させて、照明装置２２による発光と、イメージセンサ２４の露光の時間差を変化させる。発光タイミング信号Ｓ１は、発光開始のタイミングと発光時間を規定する。露光タイミング信号Ｓ２は、露光開始のタイミング（発光との時間差）と、露光時間を規定する。
　演算処理装置２８は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコン、ＧＰＵ（Graphics Processing Unit）などのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置２８はハードウェアのみで構成してもよい。演算処理装置２８は、イメージセンサ２４の生成する生画像データＩＭＧｒを処理し、最終的なスライス画像ＩＭＧｓを出力する。なお、イメージセンサ２４の出力ＩＭＧｒをそのままスライス画像ＩＭＧｓとして用いる場合、演算処理装置２８は省略することができる。
　図２は、ゲーティングカメラ２０の動作を説明する図である。図２にはｉ番目のレンジＲＮＧｉを興味レンジとして測定するときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
　ある時刻に照明装置２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
　ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
　同様に、ある時刻に照明装置２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
　ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
　レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、カメラコントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。
　ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、カメラコントローラ２６は、所定の周期τ２で、上述の照射と露光の動作のセットを複数回にわたり繰り返せばよい。イメージセンサ２４は、複数回の露光によって積算されたスライス画像を出力する。
　本実施形態において、露出（スライス画像内の物体像の輝度値）がレンジごとにばらつかないように、ゲーティングカメラ２０は、レンジ毎に、シャッタースピード（露光時間）、露光回数、感度、パルス照明光の照射強度など（撮影パラメータ）が最適化されている。
　図３（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図３（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図３（ｂ）には、図３（ａ）の状況で得られる複数のスライス画像ＩＭＧ１～ＩＭＧ３が示される。スライス画像ＩＭＧ１を撮影するとき、イメージセンサ２４はレンジＲＮＧ１からの反射光のみにより露光されるため、スライス画像ＩＭＧ１にはいかなる物体像も写らない。
　スライス画像ＩＭＧ２を撮影するとき、イメージセンサ２４はレンジＲＮＧ２からの反射光のみにより露光されるため、スライス画像ＩＭＧ２には、物体像ＯＢＪ２のみが写る。同様にスライス画像ＩＭＧ３を撮影するとき、イメージセンサ２４はレンジＲＮＧ３からの反射光のみにより露光されるため、スライス画像ＩＭＧ３には、物体像ＯＢＪ３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。
　ゲーティングカメラ２０は、悪天候での撮影において有利である。以下、その理由を説明する。図４（ａ）～（ｃ）は、悪天候下におけるゲーティングカメラ２０の利点を説明する図である。図４（ａ）は、悪天候時の走行シーンの一例を示している。レンジＲＮＧ３には物体（車両）ＯＢＪ３が存在している。また図に示す点は、雨粒、雪粒あるいは霧などの障害物を模式的に示したものである。図４（ｂ）には、図４（ａ）の状況で得られる３番目のレンジのスライス画像ＩＭＧ３が示される。スライス画像ＩＭＧ３を撮影するとき、イメージセンサ２４はレンジＲＮＧ３からの反射光のみにより露光されるため、スライス画像ＩＭＧ３には、レンジＲＮＧ１，ＲＮＧ２の障害物（雨粒、雪粒、霧）は写らない。つまり測定対象のレンジ以外のレンジに含まれる雨、雪、霧を除去することができる。
　図４（ｃ）には、同じ視野を一般的なカメラが撮影した画像を示す。一般的なカメラで撮影すると、すべてのレンジＲＮＧ３の物体の反射光が写るため、物体ＯＢＪ３を遮るようにして、多くの障害物が写り込む。
　図４（ｂ）と（ｃ）の比較から、ゲーティングカメラ２０が生成するスライス画像ＩＭＧは、悪天候時において、一般的なカメラよりも多くの情報を含むことが分かる。
　図１に戻る。本実施形態では、ゲーティングカメラ２０はメインセンサ群５０をアシストする補助的なセンサとして活用される。したがって、ゲーティングカメラ２０は、常時動作するのではなく、走行環境に応じて、動作、非動作（停止）が適応的に選択される。
　ゲーティングカメラ２０が動作状態となると、カメラコントローラ２６は、発光タイミング信号Ｓ１および露光タイミング信号Ｓ２を生成し、これにより複数のレンジのスライス画像が生成される。ゲーティングカメラ２０の停止状態では、カメラコントローラ２６は、発光タイミング信号Ｓ１および露光タイミング信号Ｓ２を生成せず、したがって、スライス画像は生成されない。
　本実施形態において、ゲーティングカメラ２０の動作、停止は、メインコントローラ６０によって制御される。ゲーティングカメラ２０は、メインコントローラ６０からのイネーブル信号ＥＮのアサートに応答して、動作状態となり、撮影を行う。
　具体的には、メインコントローラ６０は、ゲーティングカメラ２０が必要な状況を判断し、必要なときだけイネーブル信号ＥＮをアサートする。ゲーティングカメラ２０のカメラコントローラ２６は、イネーブル信号ＥＮのアサートに応答して動作状態となり、発光タイミング信号Ｓ１および露光タイミング信号Ｓ２を生成する。
　悪天候時にはゲーティングカメラ２０がアクティブ（イネーブル）となり、ゲーティングカメラ２０が生成したスライス画像ＩＭＧｓが、メインコントローラ６０に供給される。そして、ゲーティングカメラ２０の出力が、運転支援または自動運転の制御に利用される。
　以上がセンシングシステム１０の構成である。続いてその動作を説明する。図５は、センシングシステム１０の動作を説明するタイムチャートである。
　天候（視界）が良い条件では、メインセンサ群５０の信頼性は高い。この場合には、ゲーティングカメラ２０はディセーブル状態となり、メインコントローラ６０は、メインセンサ群５０の出力にもとづいて、物標の検出を行う。
　天候（視界）が悪い条件では、メインセンサ群５０の信頼性が低下する。この場合には、ゲーティングカメラ２０がイネーブルとなり、メインコントローラ６０は、メインセンサ群５０の出力に代えて、あるいはそれに加えて、ゲーティングカメラ２０の検出結果にもとづいて、物標の検出を行う。
　以上がセンシングシステム１０の動作である。このセンシングシステム１０によれば、ゲーティングカメラ２０による消費電力の増加を抑制しつつ、悪天候時のセンシングシステム１０の性能低下を抑制できる。
　続いて、メインコントローラ６０によるゲーティングカメラ２０の制御の具体例を説明する。
　一実施例において、メインコントローラ６０は、天候の良否を判断する。そして、悪天候状態と判定すると、イネーブル信号をアサートする。悪天候時にゲーティングカメラ２０を活用することで、メインセンサ群５０のセンシング能力の低下をリカバリすることができる。
　たとえばメインコントローラ６０は、車両に搭載されるレインセンサ、フォグセンサなどのセンサ出力にもとづいて、降雨、降雪の有無、霧の有無、言い換えると視界の良否を判断してもよい。あるいはメインコントローラ６０は、ワイパーの動作状態（オン、オフ、あるいは動作速度）に基づいて、降雨あるいは降雪の有無や、降雨量、降雪量を判定することができる。またメインコントローラ６０は、フォグランプのオン、オフにもとづいて、霧の有無を判定することができる。
　メインコントローラ６０は、車外から無線通信で与えられる情報にもとづいて、降雨、降雪の有無、霧の有無、言い換えると視界の良否を判断してもよい。
　一実施例において、メインコントローラ６０は、メインセンサ群５０が機能不全に陥ると、ゲーティングカメラ２０をイネーブル化してもよい。機能不全は、天候不良の結果には限定されず、その他の要因、たとえば、メインセンサ群５０のカメラ５２の故障や、汚れが付着したことにもとづく機能不全などを含みうる。
　たとえばメインコントローラ６０は、物体の認識精度が所定のしきい値を下回ると、機能不全に陥ったものとして、ゲーティングカメラ２０をイネーブル化してもよい。たとえばメインコントローラ６０は、ある物体が複数のクラス（種類、カテゴリ）それぞれに対する所属確率が、いずれも所定のしきい値を超えない場合に、認識精度が低下しているものと判定してもよい。
　メインセンサ群５０およびメインコントローラ６０を備えるセンシングシステムは、車両の上位ＥＣＵ（Electronic Control Unit）に対して、フェイル信号（エラー信号ともいう）を出力する。メインコントローラ６０は、メインセンサ群５０の出力にもとづくセンシングが機能不全に陥ると、フェイル信号をアサートする。このフェイル信号を、ゲーティングカメラ２０のイネーブル信号として利用してもよい。
　一実施例において、メインコントローラ６０は、運転者を監視し、運転者の状態にもとづいて、天候の良否を推定し、その結果にもとづいてゲーティングカメラ２０を制御してもよい。たとえば（i）悪天候により視界が悪くなると、運転者の緊張感が高まり、それが、運転者の挙動、すなわち仕草、姿勢、目の動きなどとして現れる場合がある。この場合、運転者の挙動を監視し、監視結果にもとづいて天候を推定することができる。
　（ii）また運転者の緊張感が高まると、それが体温や発汗として現れる場合もある。この場合、運転者の体温や発汗を監視し、監視結果にもとづいて天候を推定することができる。
　（iii）あるいは、運転支援システムを搭載する車両において、アクセルやブレーキの操作を運転者が行うような場合には、晴天時と悪天候時とで、アクセルやブレーキの操作が異なることが想定される。その場合には、アクセルやブレーキの操作を監視し、監視結果にもとづいて天候を推定してもよい。
（実施形態２）
　図６は、実施形態２に係るセンシングシステム１０のブロック図である。実施形態１では、メインコントローラ６０が、ゲーティングカメラ２０の動作、非動作状態を制御した。これに対して実施形態２では、ゲーティングカメラ２０Ａが、自身で動作、非動作状態を切りかえる。
　ゲーティングカメラ２０Ａの動作、非動作の制御方法は、実施形態１で説明したそれと同様である。
　一実施例において、カメラコントローラ２６Ａは、天候の良否を判断し、メインセンサ群５０の信頼性が高い好天候下では停止状態となり、メインセンサ群５０の信頼性が低下する悪天候下で動作状態となる。悪天候時にゲーティングカメラ２０Ａを活用することで、メインセンサ群５０のセンシング能力の低下をリカバリすることができる。
　たとえばカメラコントローラ２６Ａには、車両に搭載されるセンサや機器に関する情報ＩＮＦＯが入力されている。カメラコントローラ２６Ａは、レインセンサ、フォグセンサなどのセンサ出力にもとづいて、降雨、降雪の有無、霧の有無、言い換えると視界の良否を判断してもよい。あるいはカメラコントローラ２６Ａは、ワイパーの動作状態（オン、オフ、あるいは動作速度）に基づいて、降雨あるいは降雪の有無や、降雨量、降雪量を判定することができる。またカメラコントローラ２６Ａは、フォグランプのオン、オフにもとづいて、霧の有無を判定することができる。
　カメラコントローラ２６Ａは、車外から無線通信で与えられる情報にもとづいて、降雨、降雪の有無、霧の有無、言い換えると視界の良否を判断してもよい。
　一実施例において、カメラコントローラ２６Ａは、メインセンサ群５０が機能不全に陥ると、ゲーティングカメラ２０Ａを動作状態としてもよい。機能不全は、天候不良の結果には限定されず、その他の要因、たとえば、メインセンサ群５０のカメラ５２の故障や、汚れが付着したことにもとづく機能不全などを含みうる。
　たとえばメインコントローラ６０は、物体の認識精度が所定のしきい値を下回ると、機能不全に陥ったものとして、車両の上位ＥＣＵ（Electronic Control Unit）に対して、フェイル信号（エラー信号ともいう）を出力する。カメラコントローラ２６Ａは、メインコントローラ６０が生成するフェイル信号にもとづいて、ゲーティングカメラ２０Ａの動作、非動作を選択してもよい。
　一実施例において、カメラコントローラ２６Ａは、運転者を監視し、運転者の状態にもとづいて、天候の良否を推定し、その結果にもとづいてゲーティングカメラ２０Ａの動作、停止を制御してもよい。
　カメラコントローラ２６Ａは、ゲーティングカメラ２０Ａが動作状態であるか、非動作状態であるかを示すステータス信号ＳＴＡＴＵＳを、メインコントローラ６０に出力してもよい。メインコントローラ６０は、ステータス信号ＳＴＡＴＵＳを参照することで、ゲーティングカメラ２０Ａが動作中であるか否かを知ることができる。メインコントローラ６０は、ゲーティングカメラ２０Ａの動作中に、ゲーティングカメラ２０Ａが生成するスライス画像ＩＭＧｓを、物体認識などに利用することができる。なお、メインコントローラ６０が、スライス画像ＩＭＧｓを物体認識に利用するか否かは、メインコントローラ６０の判断に委ねればよい。
（実施形態３）
　図７は、実施形態３に係るセンシングシステム１０のブロック図である。センシングシステム１０の基本構成は実施形態１と同様であるから説明を省略し、相違点を説明する。
　実施形態３において、ゲーティングカメラ２０は、視野を奥行き方向について複数のレンジＲＮＧ１～ＲＮＧＮに区切り、複数のレンジＲＮＧ１～ＲＮＧＮに対応する複数のスライス画像ＩＭＧｓ１～ＩＭＧｓＮを生成する（通常撮影モード）。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
　本実施形態では、ゲーティングカメラ２０は、全レンジについて撮影を行う通常撮影モードに加えて、オンデマンド撮影モードをサポートする。なお、通常撮影モードは必須ではなく、ゲーティングカメラ２０は、オンデマンド撮影モードのみをサポートしてもよい。
　オンデマンド撮影モードに設定されると、ゲーティングカメラ２０は、メインコントローラ６０からの制御信号ＣＴＲＬに応じた興味レンジＲＯＩに対応するスライス画像ＲＮＧ＿ＲＯＩを生成する。興味レンジＲＯＩは、車両前方の奥行き方向の一区間であり、メインコントローラ６０からの制御によって設定あるいは選択される。
　以上がセンシングシステム１０の構成である。続いてその動作を説明する。車両が悪天候下で（たとえば濃い霧の中）走行しているとする。濃い霧の中では、カメラ５２では、遠方の物体を正確に撮影することができない。一方で、ミリ波レーダ５４は、霧の中でも有効に動作するため、何らかの物体が存在することは検出できるが、その物体の種類まで検出することはできない。このような状況において、メインコントローラ６０は、ミリ波レーダ５４が検出した物体が写るように、ゲーティングカメラ２０に制御信号ＣＴＲＬを与える。上述のように、ゲーティングカメラ２０は悪天候下でも、通常のカメラ５２よりも高画質な画像を得ることができるため、カメラ５２では撮影できない物体の情報を、ゲーティングカメラ２０を利用して取得することができる。
　以上がセンシングシステム１０の動作である。このセンシングシステム１０では、ゲーティングカメラ２０を常時動作させず、メインコントローラ６０の制御下で、メインコントローラ６０から要求されたレンジＲＯＩの撮影のみを行う。ゲーティングカメラ２０を通常撮影モードで動作させると、物体が存在しないレンジまで撮影することなり無駄が多くなるが、オンデマンド撮影モードでは、メインコントローラ６０により物体の存在が推定されるレンジのみを撮影することで、消費電力の増加を抑制できる。
　興味レンジＲＯＩの制御方法は特に限定されないが、以下に、いくつかの方法を説明する。
（制御例１）
　ゲーティングカメラ２０のカメラコントローラ２６には、予め複数のレンジＲＮＧ１～ＲＮＧＮが定義されている。メインコントローラ６０は、ミリ波レーダ５４の出力にもとづいて、物体までの距離を推定し、距離情報をカメラコントローラ２６に与える。カメラコントローラ２６は、距離情報が示す距離にもとづいて、複数のレンジＲＮＧ１～ＲＮＧＮのうちひとつを、興味レンジＲＯＩとして選択する。
（制御例２）
　ゲーティングカメラ２０のカメラコントローラ２６には、予め複数のレンジＲＮＧ１～ＲＮＧＮが定義されている。メインコントローラ６０は、複数のレンジＲＮＧ１～ＲＮＧＮがそれぞれ、どの範囲であるかを知っている。メインコントローラ６０は、ミリ波レーダ５４の出力にもとづいて、物体までの距離を推定し、推定した距離にもとづいて、複数のレンジＲＮＧ１～ＲＮＧＮのうちひとつを興味レンジＲＯＩとして選択し、何番目のレンジを撮影すべきかを示すデータを、カメラコントローラ２６に与える。
（制御例３）
　ゲーティングカメラ２０のカメラコントローラ２６には、いかなるレンジも予め定義されていない。メインコントローラ６０は、メインコントローラ６０は、ミリ波レーダ５４の出力にもとづいて、物体までの距離を推定し、距離情報をカメラコントローラ２６に与える。カメラコントローラ２６は、メインコントローラ６０が検出した物体が含まれるように、興味レンジＲＯＩを動的に決定する。
　続いてゲーティングカメラ２０からメインコントローラ６０に提供する情報についていくつかの例を説明する。
　たとえばゲーティングカメラ２０は、興味レンジＲＯＩに対応するスライス画像ＩＭＧｓそのものを、メインコントローラ６０に供給してもよい。メインコントローラ６０は、自身が持つ識別器を利用して、興味レンジＲＯＩに存在する物体の種類を判定してもよい。
　ゲーティングカメラ２０は、スライス画像ＩＭＧｓを解析する識別器（分類器）を備えてもよい。この識別器は、演算処理装置２８に実装することができる。識別器によって、興味レンジＲＯＩのスライス画像ＩＭＧｓに、物体が含まれているか否かを判定し、判定結果をメインコントローラ６０に返してもよい。より高度には、ゲーティングカメラ２０は、識別器によって検出した物体の種類を、メインコントローラ６０に返してもよい。
　メインコントローラ６０は、メインセンサ群５０の出力にもとづいて検出した物体の種類を示すデータをゲーティングカメラ２０に送信してもよい。ゲーティングカメラ２０は、スライス画像ＩＭＧｓにもとづいて検出した物体の種類と、受信したデータが示す種類の一致、不一致を、メインコントローラ６０に返してもよい。
　続いて、メインコントローラ６０によるゲーティングカメラ２０の制御の具体例を説明する。
　一実施例において、メインコントローラ６０は、天候の良否を判断する。そして、悪天候状態と判定した場合に、ゲーティングカメラ２０をオンデマンドモードで動作させてもよい。
　たとえばメインコントローラ６０は、車両に搭載されるレインセンサ、フォグセンサなどのセンサ出力にもとづいて、降雨、降雪の有無、霧の有無、言い換えると視界の良否を判断してもよい。あるいはメインコントローラ６０は、ワイパーの動作状態（オン、オフ、あるいは動作速度）に基づいて、降雨あるいは降雪の有無や、降雨量、降雪量を判定することができる。またメインコントローラ６０は、フォグランプのオン、オフにもとづいて、霧の有無を判定することができる。
　メインコントローラ６０は、ＶＩＣＳ（登録商標）（Vehicle Information and Communication System）情報など、車外から無線通信で与えられる情報にもとづいて、降雨、降雪の有無、霧の有無、言い換えると視界の良否を判断してもよい。
　一実施例において、メインコントローラ６０は、メインセンサ群５０の一部が機能不全に陥ると、ゲーティングカメラ２０をイネーブル化してもよい。
　たとえばメインコントローラ６０は、物体の認識精度が所定のしきい値を下回ると、機能不全に陥ったものとして、ゲーティングカメラ２０をイネーブル化してもよい。たとえばメインコントローラ６０は、ある物体が複数のクラス（種類、カテゴリ）それぞれに対する所属確率が、いずれも所定のしきい値を超えない場合に、認識精度が低下しているものと判定してもよい。
　メインセンサ群５０およびメインコントローラ６０を備えるセンシングシステムは、車両の上位ＥＣＵ（Electronic Control Unit）に対して、フェイル信号（エラー信号ともいう）を出力する。メインコントローラ６０は、メインセンサ群５０の出力にもとづくセンシングが機能不全に陥ると、フェイル信号をアサートする。このフェイル信号のアサートをトリガとして、ゲーティングカメラ２０をオンデマンドモードに設定してもよい。
　一実施例において、メインコントローラ６０は、運転者を監視し、運転者の状態にもとづいて、天候の良否を推定し、その結果にもとづいてゲーティングカメラ２０を制御してもよい。たとえば（i）悪天候により視界が悪くなると、運転者の緊張感が高まり、それが、運転者の挙動、すなわち仕草、姿勢、目の動きなどとして現れる場合がある。この場合、運転者の挙動を監視し、監視結果にもとづいて天候を推定することができる。
　（ii）また運転者の緊張感が高まると、それが体温や発汗として現れる場合もある。この場合、運転者の体温や発汗を監視し、監視結果にもとづいて天候を推定することができる。
　（iii）あるいは、運転支援システムを搭載する車両において、アクセルやブレーキの操作を運転者が行うような場合には、晴天時と悪天候時とで、アクセルやブレーキの操作が異なることが想定される。その場合には、アクセルやブレーキの操作を監視し、監視結果にもとづいて天候を推定してもよい。
　図８（ａ）、（ｂ）は、実施形態１～実施形態３に係るセンシングシステム１０を備える自動車３００を示す図である。図８（ａ）を参照する。自動車３００は、ヘッドランプ（灯具）３０２Ｌ，３０２Ｒを備える。
　メインセンサ群５０のカメラ５２やミリ波レーダ５４は、車両のセンシングに適した箇所に配置されている。たとえばカメラ５２は、ルームミラーの裏側に設けられ、ミリ波レーダ５４は、車両の前方に配置される。メインコントローラ６０は、車室内あるいはエンジンルーム内に配置される。
　ゲーティングカメラ２０の照明装置２２は、左右のヘッドランプ３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。イメージセンサ２４は、車両の一部、たとえばルームミラーの裏側に取り付けることができる。あるいはイメージセンサ２４は、フロントグリルやフロントバンパーに設けてもよい。カメラコントローラ２６は、車室内に設けてもよいし、エンジンルームに設けてもよいし、ヘッドランプに内蔵してもよい。
　図８（ｂ）に示すように、イメージセンサ２４は、左右のヘッドランプ３０２Ｌ，３０２Ｒのいずれかに、照明装置２２とともに内蔵してもよい。
　図９は、車両用灯具２００を示すブロック図である。車両用灯具２００は、図８（ｂ）のヘッドランプ３０２に対応しており、ロービームユニット２０２、ハイビームユニット２０４、灯具ＥＣＵ２１０およびゲーティングカメラ２０を備える。
　灯具ＥＣＵ２１０は、車両側ＥＣＵ３１０からの制御指令にもとづいて、ロービームユニット２０２およびハイビームユニット２０４のオン、オフあるいは配光を制御する。
　またゲーティングカメラ２０は、車両用灯具２００の筐体に内蔵されている。なお、イメージセンサ２４、カメラコントローラ２６、演算処理装置２８の少なくともひとつは、車両用灯具２００の筐体の外側に設けてもよい。
　車両用灯具２００において、ゲーティングカメラ２０のイネーブル状態／ディセーブル状態の制御を、灯具ＥＣＵ２１０が行ってもよい。
　実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
（変形例１）
　実施形態では、ゲーティングカメラ２０からメインコントローラ６０に対してスライス画像ＩＭＧｓを出力することとしたが、その限りでない。たとえばゲーティングカメラ２０の演算処理装置２８に、識別器（分類器）を実装し、識別結果、すなわち物標の種類（カテゴリ）および位置を、メインコントローラ６０に出力するようにしてもよい。
（変形例２）
　実施形態では、ゲーティングカメラ２０の出力を、運転支援または自動運転の制御に利用することとしたがその限りでない。たとえば悪天候時にはゲーティングカメラ２０をアクティブとし、ゲーティングカメラ２０が生成するスライス画像ＩＭＧｓを、ＨＵＤ（Head Up Display）などの表示装置に表示し、ユーザの視界を補助してもよい。
　実施形態にもとづき、具体的な語句を用いて本発明を説明したが、実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　本開示は、車両用のセンシングシステムに利用できる。
　Ｓ１　発光タイミング信号
　Ｓ２　露光タイミング信号
　１０　センシングシステム
　２０　ゲーティングカメラ
　２２　照明装置
　２４　イメージセンサ
　２６　カメラコントローラ
　２８　演算処理装置
　５０　メインセンサ群
　５２　カメラ
　５４　ミリ波レーダ
　６０　メインコントローラ
　２００　車両用灯具
　２０２　ロービームユニット
　２０４　ハイビームユニット
　２１０　灯具ＥＣＵ
　３００　自動車
　３０２　ヘッドランプ
　３１０　車両側ＥＣＵ

Claims (31)

  1. 　運転支援または自動運転のためのセンシングシステムであって、
    　メインセンサと、
    　走行環境に応じて、イネーブル状態／ディセーブル状態が制御され、前記イネーブル状態において、視野を奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラと、
    　前記メインセンサの出力およびゲーティングカメラの出力を処理するメインコントローラと、
    　を備えることを特徴とするセンシングシステム。
  2. 　前記メインコントローラは、前記走行環境に応じて前記ゲーティングカメラのイネーブル状態／ディセーブル状態を制御することを特徴とする請求項１に記載のセンシングシステム。
  3. 　前記ゲーティングカメラは、前記走行環境に応じて前記ゲーティングカメラのイネーブル状態／ディセーブル状態を制御することを特徴とする請求項１に記載のセンシングシステム。
  4. 　前記ゲーティングカメラの少なくとも一部は、車両用灯具に内蔵され、
    　前記ゲーティングカメラのイネーブル状態／ディセーブル状態は、前記車両用灯具のコントロールユニットによって制御されることを特徴とする請求項１に記載のセンシングシステム。
  5. 　前記ゲーティングカメラは、悪天候時にイネーブル化されることを特徴とする請求項１から４のいずれかに記載のセンシングシステム。
  6. 　前記ゲーティングカメラは、前記メインセンサが機能不全に陥るとイネーブル化されることを特徴とする請求項１から５のいずれかに記載のセンシングシステム。
  7. 　前記ゲーティングカメラは、前記メインコントローラにおける物体の認識精度が所定のしきい値を下回るとイネーブル化されることを特徴とする請求項１から６のいずれかに記載のセンシングシステム。
  8. 　前記ゲーティングカメラのイネーブル状態／ディセーブル状態は、車両に搭載されるレインセンサ、フォグセンサの出力、ワイパー、フォグランプの動作状態の少なくともひとつにもとづいて制御されることを特徴とする請求項１から７のいずれかに記載のセンシングシステム。
  9. 　前記ゲーティングカメラのイネーブル状態／ディセーブル状態は、運転者の状態にもとづいて制御されることを特徴とする請求項１から８のいずれかに記載のセンシングシステム。
  10. 　前記メインコントローラは、前記ゲーティングカメラの出力を、運転支援または自動運転の制御に利用することを特徴とする請求項１から９のいずれかに記載のセンシングシステム。
  11. 　メインセンサと、前記メインセンサの出力を処理するメインコントローラとともに車載用のセンシングシステムを構成するゲーティングカメラであって、
    　パルス照明光を照射する照明装置と、
    　イメージセンサと、
    　前記照明装置の発光タイミングと前記イメージセンサの露光のタイミングを制御し、前記イメージセンサに、複数のレンジに対応する複数の画像データを生成させるカメラコントローラと、
    　を備え、
    　前記ゲーティングカメラは、前記メインコントローラからの指示に応じてイネーブル／ディセーブルが制御されることを特徴とするゲーティングカメラ。
  12. 　メインセンサと、前記メインセンサの出力を処理するメインコントローラとともに車載用のセンシングシステムを構成するゲーティングカメラであって、
    　パルス照明光を照射する照明装置と、
    　イメージセンサと、
    　走行環境に応じて前記ゲーティングカメラのイネーブル状態、ディセーブル状態を決定し、前記イネーブル状態において前記照明装置の発光タイミングと前記イメージセンサの露光のタイミングを制御し、前記イメージセンサに、複数のレンジに対応する複数の画像データを生成させるカメラコントローラと、
    　を備えることを特徴とするゲーティングカメラ。
  13. 　前記カメラコントローラは、悪天候時に前記ゲーティングカメラを前記イネーブル状態とすることを特徴とする請求項１２に記載のゲーティングカメラ。
  14. 　前記カメラコントローラは、前記メインセンサが機能不全に陥ると前記ゲーティングカメラを前記イネーブル状態とすることを特徴とする請求項１２または１３に記載のゲーティングカメラ。
  15. 　前記カメラコントローラは、前記メインコントローラにおける物体の認識精度が所定のしきい値を下回ると、前記ゲーティングカメラを前記イネーブル状態とすることを特徴とする請求項１２から１４のいずれかに記載のゲーティングカメラ。
  16. 　前記カメラコントローラは、車両に搭載されるレインセンサ、フォグセンサの出力、ワイパー、フォグランプの動作状態の少なくともひとつにもとづいて、前記ゲーティングカメラのイネーブル状態／ディセーブル状態を制御することを特徴とする請求項１２から１５のいずれかに記載のゲーティングカメラ。
  17. 　前記カメラコントローラは、運転者の状態にもとづいて、前記ゲーティングカメラのイネーブル状態／ディセーブル状態を制御することを特徴とする請求項１２から１６のいずれかに記載のゲーティングカメラ。
  18. 　運転支援または自動運転のためのセンシングシステムであって、
    　メインセンサと、
    　ゲーティングカメラと、
    　前記メインセンサの出力および前記ゲーティングカメラの出力を処理するメインコントローラと、
    　を備え、
    　前記ゲーティングカメラは、前記メインコントローラからの制御信号に応じた興味レンジに対応するスライス画像を生成することを特徴とするセンシングシステム。
  19. 　前記メインセンサはミリ波レーダを含むことを特徴とする請求項１８に記載のセンシングシステム。
  20. 　前記ゲーティングカメラは、前記興味レンジに対応する前記スライス画像そのものを、前記メインコントローラに供給することを特徴とする請求項１８または１９に記載のセンシングシステム。
  21. 　前記ゲーティングカメラは、前記興味レンジに物体が含まれるか否かを示す情報を、前記メインコントローラに返すことを特徴とする請求項１８または１９に記載のセンシングシステム。
  22. 　前記ゲーティングカメラは、前記スライス画像にもとづいて前記興味レンジに存在する物体の種類を検出する識別器を含み、前記識別器による検出結果を、前記メインコントローラに返すことを特徴とする請求項１８または１９に記載のセンシングシステム。
  23. 　前記メインコントローラは、前記メインセンサの出力にもとづいて検出した物体の種類を示すデータを、前記ゲーティングカメラに供給し、
    　前記ゲーティングカメラは、前記スライス画像にもとづいて前記興味レンジに存在する物体の種類を検出する識別器を含み、前記識別器が検出した種類と、前記データが示す前記種類の一致・不一致を、前記メインコントローラに返すことを特徴とする請求項１８または１９に記載のセンシングシステム。
  24. 　前記ゲーティングカメラには、視野を奥行き方向に区切った複数のレンジが規定されており、前記制御信号にもとづいて、前記複数のレンジの中のひとつを前記興味レンジとして選択することを特徴とする請求項１８から２３のいずれかに記載のセンシングシステム。
  25. 　前記メインコントローラは、前記メインセンサの出力にもとづいて物体を検出すると、その物体までの距離または当該物体を含む奥行き方向の範囲を指定する位置データを含む前記制御信号を、前記ゲーティングカメラに供給することを特徴とする請求項１８から２３のいずれかに記載のセンシングシステム。
  26. 　メインセンサと、前記メインセンサの出力を処理するメインコントローラとともに車載用のセンシングシステムを構成するゲーティングカメラであって、
    　パルス照明光を照射する照明装置と、
    　イメージセンサと、
    　前記照明装置の発光タイミングと前記イメージセンサの露光のタイミングを制御し、前記イメージセンサに、前記メインコントローラからの制御信号に応じた興味レンジに対応するスライス画像を生成させるカメラコントローラと、
    　を備えることを特徴とするゲーティングカメラ。
  27. 　前記ゲーティングカメラは、前記興味レンジに対応する前記スライス画像そのものを、前記メインコントローラに供給することを特徴とする請求項２６に記載のゲーティングカメラ。
  28. 　前記ゲーティングカメラは、前記スライス画像にもとづいて前記興味レンジに存在する物体の種類を検出する識別器を含み、前記識別器による検出結果を、前記メインコントローラに返すことを特徴とする請求項２６に記載のゲーティングカメラ。
  29. 　前記メインコントローラは、前記メインセンサの出力にもとづいて検出した物体の種類を示すデータを、前記ゲーティングカメラに供給し、
    　前記ゲーティングカメラは、前記スライス画像にもとづいて前記興味レンジに存在する物体の種類を検出する識別器を含み、前記識別器が検出した種類と、前記データが示す前記種類の一致・不一致を、前記メインコントローラに返すことを特徴とする請求項２６に記載のゲーティングカメラ。
  30. 　前記カメラコントローラには、視野を奥行き方向に区切った複数のレンジが規定されており、前記制御信号にもとづいて、前記複数のレンジの中のひとつを前記興味レンジとして選択することを特徴とする請求項２６から２９のいずれかに記載のゲーティングカメラ。
  31. 　前記ゲーティングカメラは、前記興味レンジに物体が含まれるか否かを示す情報を、前記メインコントローラに返すことを特徴とする請求項２６から２９のいずれかに記載のゲーティングカメラ。
PCT/JP2021/030393 2020-08-21 2021-08-19 車載用センシングシステムおよびゲーティングカメラ WO2022039229A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP21858373.0A EP4201745A4 (en) 2020-08-21 2021-08-19 AUTOMOTIVE DETECTION SYSTEM AND TRIGGER CAMERA
IL300789A IL300789A (en) 2020-08-21 2021-08-19 Vehicle sensing system and distance measuring camera
CN202180051616.XA CN116710838A (zh) 2020-08-21 2021-08-19 车载用感测系统及门控照相机
US18/042,428 US20230311897A1 (en) 2020-08-21 2021-08-19 Automotive sensing system and gating camera
JP2022543996A JPWO2022039229A1 (ja) 2020-08-21 2021-08-19

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020140273 2020-08-21
JP2020-140273 2020-08-21
JP2020-140277 2020-08-21
JP2020140277 2020-08-21

Publications (1)

Publication Number Publication Date
WO2022039229A1 true WO2022039229A1 (ja) 2022-02-24

Family

ID=80323537

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/030393 WO2022039229A1 (ja) 2020-08-21 2021-08-19 車載用センシングシステムおよびゲーティングカメラ

Country Status (5)

Country Link
US (1) US20230311897A1 (ja)
EP (1) EP4201745A4 (ja)
JP (1) JPWO2022039229A1 (ja)
IL (1) IL300789A (ja)
WO (1) WO2022039229A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061939A (ja) * 2001-08-28 2003-03-04 Pioneer Electronic Corp 情報提供システム、情報提供方法、情報提供プログラム、情報提供システムにおけるサーバ装置および、情報提供システムにおける端末装置
JP2009257983A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置および車両用距離画像データの生成方法
WO2017110413A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
WO2018003532A1 (ja) * 2016-06-29 2018-01-04 京セラ株式会社 物体検出表示装置、移動体及び物体検出表示方法
JP2018131084A (ja) * 2017-02-16 2018-08-23 日立オートモティブシステムズ株式会社 車載制御装置
WO2020121973A1 (ja) * 2018-12-10 2020-06-18 株式会社小糸製作所 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9254846B2 (en) * 2013-05-03 2016-02-09 Google Inc. Predictive reasoning for controlling speed of a vehicle
EP3423865B1 (en) * 2016-03-01 2024-03-06 Brightway Vision Ltd. Gated imaging apparatus, system and method
JP7472571B2 (ja) * 2020-03-19 2024-04-23 マツダ株式会社 ヘッドライト制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061939A (ja) * 2001-08-28 2003-03-04 Pioneer Electronic Corp 情報提供システム、情報提供方法、情報提供プログラム、情報提供システムにおけるサーバ装置および、情報提供システムにおける端末装置
JP2009257983A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置および車両用距離画像データの生成方法
WO2017110413A1 (ja) 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
WO2018003532A1 (ja) * 2016-06-29 2018-01-04 京セラ株式会社 物体検出表示装置、移動体及び物体検出表示方法
JP2018131084A (ja) * 2017-02-16 2018-08-23 日立オートモティブシステムズ株式会社 車載制御装置
WO2020121973A1 (ja) * 2018-12-10 2020-06-18 株式会社小糸製作所 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4201745A4

Also Published As

Publication number Publication date
IL300789A (en) 2023-04-01
US20230311897A1 (en) 2023-10-05
EP4201745A4 (en) 2024-02-28
EP4201745A1 (en) 2023-06-28
JPWO2022039229A1 (ja) 2022-02-24

Similar Documents

Publication Publication Date Title
US9904859B2 (en) Object detection enhancement of reflection-based imaging unit
US20200174100A1 (en) Lamp device, sensor system, and sensor device
US9827956B2 (en) Method and device for detecting a braking situation
US20150358540A1 (en) Method and device for generating a surround-view image of the surroundings of a vehicle, method for providing at least one driver-assistance function for a vehicle, surround-view system for a vehicle
CN105270254B (zh) 用于控制车辆的至少一个大灯的光发射的方法和设备
US20070069135A1 (en) Method and device for controlling a radiation source
US20210053483A1 (en) Information display device and information display method
US20230117346A1 (en) System for Monitoring the Surround of a Motor Vehicle
JP2024103607A (ja) 車両用赤外線センサシステム
JP2007015660A (ja) 赤外画像撮像装置
WO2022039229A1 (ja) 車載用センシングシステムおよびゲーティングカメラ
WO2022039231A1 (ja) 車載用センシングシステムおよびゲーティングカメラ
CN111845347B (zh) 车辆行车安全的提示方法、车辆和存储介质
CN116710838A (zh) 车载用感测系统及门控照相机
WO2022039230A1 (ja) 車載用センシングシステムおよびゲーティングカメラ
US10990834B2 (en) Method and apparatus for object detection in camera blind zones
EP3227742B1 (en) Object detection enhancement of reflection-based imaging unit
WO2023085403A1 (ja) センシングシステム
CN116648664A (zh) 车载用传感系统以及门控照相机
WO2023074903A1 (ja) センシングシステムおよび自動車
US20230311818A1 (en) Sensing system and vehicle
WO2021172478A1 (ja) センサ、自動車および周囲環境のセンシング方法
US20240302510A1 (en) Sensor system
EP4382968A1 (en) Gating camera, vehicular sensing system, and vehicular lamp
US20230022313A1 (en) Object detection system for a motor vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21858373

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022543996

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180051616.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021858373

Country of ref document: EP

Effective date: 20230321