WO2022249838A1 - センサ制御装置、センサ制御方法、センサ制御プログラム - Google Patents

センサ制御装置、センサ制御方法、センサ制御プログラム Download PDF

Info

Publication number
WO2022249838A1
WO2022249838A1 PCT/JP2022/018846 JP2022018846W WO2022249838A1 WO 2022249838 A1 WO2022249838 A1 WO 2022249838A1 JP 2022018846 W JP2022018846 W JP 2022018846W WO 2022249838 A1 WO2022249838 A1 WO 2022249838A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
resolution
dark environment
amount
area
Prior art date
Application number
PCT/JP2022/018846
Other languages
English (en)
French (fr)
Inventor
浩 上杉
謙一 柳井
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022067211A external-priority patent/JP2022183018A/ja
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2022249838A1 publication Critical patent/WO2022249838A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • the present disclosure relates to sensor control technology for controlling optical sensors.
  • Optical sensors that project illumination light onto a detection area set in the vehicle's exterior and detect reflected light from the detection area are widely known.
  • the sensor control technology disclosed in Patent Document 1 is based on the resolution of a distance image representing the separation distance to a target existing in the detection area, and the background light intensity from the detection area.
  • the resolution of the background light image is variably set by adjusting the pixel size.
  • Patent Document 1 in the sensor control technology disclosed in Patent Document 1, for example, in a dark environment such as nighttime, a background light image with reduced resolution is acquired in order to secure the light reception intensity during a period in which the reflected light for the irradiation light is not received. put away. As a result, there is a concern that the resolution for specifying the target from the background light image will be lowered as the detection capability.
  • An object of the present disclosure is to provide a sensor control device that enhances detection capability. Another object of the present disclosure is to provide a sensor control method that enhances detection capabilities. Yet another object of the present disclosure is to provide a sensor control program that enhances detection capabilities.
  • a first aspect of the present disclosure is A sensor control device that has a processor and controls an optical sensor that projects illumination light onto a detection area set in the external world of a vehicle and detects reflected light from the detection area,
  • the processor Acquiring a distance image representing a separation distance to a target existing in a detection area as a physical quantity based on reflected light detected by an optical sensor; Acquiring an intensity image representing the intensity of light received from the detection area as a physical quantity based on the reflected light detected by the optical sensor; Setting the resolution of the intensity image to be equal to or higher than the resolution of the range image for a dark environment area in which the amount of ambient light is within the range of the dark environment in the detection area; Adjusting the amount of illumination light emitted for the dark environment area according to the amount of ambient light within the dark environment range and the resolution of the intensity image; configured to run.
  • a second aspect of the present disclosure is A sensor control method executed by a processor for controlling an optical sensor that projects illumination light onto a detection area set in the environment of a vehicle and detects reflected light from the detection area, comprising: Acquiring a distance image representing a separation distance to a target existing in a detection area as a physical quantity based on reflected light detected by an optical sensor; Acquiring an intensity image representing the intensity of light received from the detection area as a physical quantity based on the reflected light detected by the optical sensor; Setting the resolution of the intensity image to be equal to or higher than the resolution of the range image for a dark environment area in which the amount of ambient light is within the range of the dark environment in the detection area; Adjusting the amount of illumination light emitted for the dark environment area according to the amount of ambient light within the dark environment range and the resolution of the intensity image; include.
  • a third aspect of the present disclosure is A sensor control program that is stored in a storage medium and includes instructions that are executed by a processor to control an optical sensor that projects illumination light onto a detection area set in the environment of the vehicle and detects reflected light from the detection area.
  • There is the instruction is Acquiring a distance image representing a separation distance to a target existing in a detection area as a physical quantity based on reflected light detected by an optical sensor; Acquiring an intensity image representing the intensity of received light from the detection area as a physical quantity based on the reflected light detected by the optical sensor; setting the resolution of the intensity image to be equal to or higher than the resolution of the range image for a dark environment area in which the amount of ambient light is within the range of the dark environment among the detection areas; adjusting the amount of illumination light emitted for the dark environment area according to the amount of ambient light within the dark environment range and the resolution of the intensity image; include.
  • a distance image representing the separation distance to the target existing in the detection area and an intensity image representing the intensity of light received from the detection area are acquired. . Therefore, for dark environment areas where the ambient light intensity is within the dark environment range, the resolution of the intensity image is set to be higher than the resolution of the range image. And the amount of illumination light emitted is adjusted according to the resolution of the intensity image. According to this, even if the resolution of the intensity image is increased, the lack of received light intensity can be resolved in the intensity image in which the amount of light emission suitable for the resolution can be reflected in the dark environment area where the amount of ambient light is insufficient. Hence, it is possible to increase the resolution of the target in the intensity image as the detection capability.
  • FIG. 3 is a schematic diagram showing the detailed configuration of the optical sensor according to the first embodiment;
  • FIG. It is a schematic diagram which shows the light projector by 1st embodiment.
  • 4 is a time chart showing detection frames according to the first embodiment;
  • 3 is a block diagram showing the functional configuration of the sensor control device according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining a distance image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining a distance image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining a distance image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining a distance image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining a distance image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining a distance image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining a distance image according to the first
  • FIG. 4 is a schematic diagram for explaining a distance image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining a distance image according to the first embodiment;
  • FIG. 4 is a schematic diagram showing segmented areas of the detection area according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining an intensity image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining an intensity image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining an intensity image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining an intensity image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining an intensity image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining an intensity image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining an intensity image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining an intensity image according to the first embodiment;
  • FIG. 4 is a schematic diagram for explaining an intensity image according to the first
  • FIG. 4 is a schematic diagram for explaining an intensity image according to the first embodiment; 4 is a flow chart showing a sensor control method according to the first embodiment; It is a block diagram which shows the functional structure of the sensor control apparatus by 2nd embodiment. 8 is a flow chart showing a sensor control method according to the second embodiment; FIG. 11 is a block diagram showing the functional configuration of a sensor control device according to a third embodiment; 8 is a flow chart showing a sensor control method according to a third embodiment;
  • the first embodiment of the present disclosure relates to a detection system 2 comprising an optical sensor 10 and a sensor control device 1.
  • a detection system 2 is mounted on a vehicle 5 .
  • the vehicle 5 is capable of steady or temporary automatic driving in the automatic driving control mode.
  • the autonomous driving control mode may be realized by autonomous driving control, such as conditional driving automation, advanced driving automation, or full driving automation, in which the system when activated performs all driving tasks.
  • the automated driving control mode may be implemented in advanced driving assistance controls, such as driving assistance or partial driving automation, where the occupant performs some or all driving tasks.
  • the automatic driving control mode may be realized by either one, combination, or switching of the autonomous driving control and advanced driving support control.
  • the front, rear, up, down, left, and right directions are defined with respect to the vehicle 5 on the horizontal plane.
  • the horizontal direction means a direction parallel to a horizontal plane serving as a direction reference of the vehicle 5 .
  • the vertical direction indicates a vertical direction that is also a vertical direction with respect to a horizontal plane serving as a direction reference of the vehicle 5 .
  • the optical sensor 10 is a so-called LiDAR (Light Detection and Ranging/Laser Imaging Detection and Ranging) that acquires images that can be used for driving control of the vehicle 5 including the automatic driving mode.
  • the optical sensor 10 is arranged in at least one portion of the vehicle 5, for example, the front portion, the left and right side portions, the rear portion, the upper roof, or the like.
  • a three-dimensional orthogonal coordinate system is defined by X-axis, Y-axis, and Z-axis as three mutually orthogonal axes.
  • the X-axis and Z-axis are set along different horizontal directions of the vehicle 5
  • the Y-axis is set along the vertical direction of the vehicle 5
  • the left side of the one-dot chain line along the Y-axis (on the side of the translucent cover 12 to be described later) is actually perpendicular to the right side of the one-dot chain line (on the side of the units 21 and 41 to be described later).
  • Fig. 4 shows a cross-section;
  • the optical sensor 10 projects illumination light toward the detection area AL in the external world of the vehicle 5, which corresponds to the location where it is placed.
  • the optical sensor 10 detects return light that is incident when illumination light at the time of projection is reflected by a target in the detection area AL as reflected light from the area AL.
  • the optical sensor 10 also detects incident light as reflected light from the detection area AL when external light is reflected by a target in the detection area AL when illumination light is not projected.
  • the optical sensor 10 observes the target within the detection area AL by detecting the reflected light.
  • the observation in this embodiment means sensing the separation distance from the optical sensor 10 to the target and the reflection intensity of the reflected light from the target.
  • a representative object to be observed in the optical sensor 10 applied to the vehicle 5 may be at least one of moving objects such as pedestrians, cyclists, non-human animals, and other vehicles.
  • a representative object to be observed in the optical sensor 10 applied to the vehicle 5 is at least one of stationary objects such as guardrails, road signs, roadside structures, and fallen objects on the road. good too.
  • the optical sensor 10 includes a housing 11 , a light projecting unit 21 , a scanning unit 31 and a light receiving unit 41 .
  • the housing 11 constitutes the exterior of the optical sensor 10 .
  • the housing 11 is formed in a box shape and has a light shielding property.
  • the housing 11 accommodates the light projecting unit 21, the scanning unit 31, and the light receiving unit 41 inside.
  • a translucent cover 12 is provided on the open optical window of the housing 11 .
  • the translucent cover 12 is formed in a plate shape and has translucency with respect to the illumination light and reflected light described above. The translucent cover 12 closes the optical window of the housing 11 so that both illumination light and reflected light can be transmitted.
  • the light projecting unit 21 includes a light projector 22 and a light projecting optical system 26 .
  • the light projector 22 is arranged inside the housing 11 .
  • the light projector 22 is formed by arranging a plurality of laser oscillation elements 24 in an array on a substrate.
  • Each laser oscillation element 24 is arranged in a single row along the Y-axis.
  • Each laser oscillating element 24 has a coherent laser beam that is in phase with a resonator structure that resonates the laser beam oscillated in the PN junction layer and a mirror layer structure that repeatedly reflects the laser beam across the PN junction layer. emitted.
  • Each laser oscillation element 24 cooperates with each other in accordance with a control signal from the sensor control device 1 to generate pulsed laser light constituting illumination light.
  • Light in the near-infrared region which is difficult for humans in the outside world to visually recognize, is selected as the laser light that serves as such illumination light.
  • the light projector 22 has a light projection window 25 defined by a pseudo-rectangular outline formed on one side of the substrate.
  • the light projection window 25 is configured as an aggregate of laser oscillation apertures in each laser oscillation element 24 .
  • the laser beam projected from the laser oscillation aperture of each laser oscillation element 24 is projected from the projection window 25 as illumination light simulated in a longitudinal line shape along the Y-axis in the detection area AL (see FIG. 2). be done.
  • the illumination light may include non-light-emitting portions corresponding to the arrangement intervals of the laser oscillation elements 24 in the Y-axis direction. Even in this case, it is preferable to form linear illumination light in which non-light-emitting portions are macroscopically eliminated by the diffraction action in the detection area AL.
  • the projection optical system 26 projects illumination light from the light projector 22 toward the scanning mirror 32 of the scanning unit 31 .
  • the projection optical system 26 is arranged between the projector 22 and the scanning mirror 32 on the optical path of the illumination light.
  • the projection optical system 26 exhibits at least one type of optical action among, for example, condensing, collimating, and shaping.
  • the projection optical system 26 forms a projection optical axis along the Z-axis.
  • the light projecting optical system 26 has at least one light projecting lens 27 having a lens shape corresponding to the optical action to be exerted on the light projecting optical axis.
  • the light projector 22 is positioned on the light projection optical axis of the light projection optical system 26 .
  • the illumination light emitted from the center of the light projection window 25 in the light projector 22 is guided along the light projection optical axis of the light projection optical system 26 .
  • the scanning unit 31 has a scanning mirror 32 and a scanning motor 35 .
  • the scanning mirror 32 scans the illumination light projected from the light projecting optical system 26 of the light projecting unit 21 toward the detection area AL, and directs the reflected light from the detection area AL toward the light receiving optical system 42 of the light receiving unit 41. reflect.
  • the scanning mirror 32 is arranged between the transparent cover 12 and the light projecting optical system 26 on the optical path of the illumination light and between the transparent cover 12 and the light receiving optical system 42 on the optical path of the reflected light.
  • the scanning mirror 32 is formed in a plate shape by vapor-depositing a reflective film on the reflective surface 33, which is one side of the base material.
  • the scanning mirror 32 is supported by the housing 11 so as to be rotatable around the rotation centerline along the Y axis.
  • the scanning mirror 32 can adjust the normal direction of the reflecting surface 33 by rotating around the rotation center line.
  • the scanning mirror 32 oscillates within a finite driving range due to a mechanical or electrical stopper.
  • the scanning mirror 32 is commonly provided for the light projecting unit 21 and the light receiving unit 41 . That is, the scanning mirror 32 is provided commonly for illumination light and reflected light. Thus, the scanning mirror 32 has a light projecting reflecting surface portion used for reflecting illumination light and a light receiving reflecting surface portion used for reflecting reflected light on the reflecting surface 33 so as to be shifted in the Y-axis direction.
  • the projected light is reflected by the light projection reflecting surface portion of the reflecting surface 33 in the normal direction according to the rotation of the scanning mirror 32, and is transmitted through the translucent cover 12 to temporally and spatially detect the detection area AL. Scan to At this time, the scanning of the illumination light with respect to the detection area AL is substantially limited to scanning in the horizontal direction.
  • the illumination light and external light enter the optical sensor 10 by being reflected by a target existing in the detection area AL. Such reflected light is transmitted through the light-transmitting cover 12 and is reflected by the light-receiving reflecting surface portion of the reflecting surface 33 in the normal direction according to the rotation of the scanning mirror 32 .
  • the velocities of the illumination light and the reflected light are sufficiently large with respect to the rotational motion speed of the scanning mirror 32 .
  • the reflected light of the irradiation light is guided to the light receiving optical system 42 so as to travel in the opposite direction to the illumination light at the scanning mirror 32 having substantially the same rotation angle as that of the irradiation light.
  • the scanning motor 35 is arranged around the scanning mirror 32 within the housing 11 .
  • the scanning motor 35 is, for example, a voice coil motor, a brushed DC motor, a stepping motor, or the like.
  • the scanning motor 35 rotationally drives (that is, swings) the scanning mirror 32 within a limited driving range according to a control signal from the sensor control device 1 .
  • the light receiving unit 41 includes a light receiving optical system 42 and a light receiver 45 .
  • the light receiving optical system 42 guides the reflected light reflected by the scanning mirror 32 toward the light receiver 45 .
  • the light receiving optical system 42 is arranged between the scanning mirror 32 and the light receiver 45 on the optical path of the reflected light.
  • the light receiving optical system 42 is positioned below the light projecting optical system 26 in the Y-axis direction.
  • the light-receiving optical system 42 exerts an optical action so as to form an image of the reflected light on the light receiver 45 .
  • the light receiving optical system 42 forms a light receiving optical axis along the Z axis.
  • the light-receiving optical system 42 has at least one light-receiving lens 43 on the light-receiving optical axis, which has a lens shape corresponding to the optical action to be exerted.
  • Reflected light from the detection area AL which is reflected from the light-receiving reflecting surface portion of the reflecting surface 33 of the scanning mirror 32, is guided along the light-receiving optical axis of the light-receiving optical system 42 within the driving range of the scanning mirror 32. .
  • the light receiver 45 outputs a detection signal by detecting reflected light from the detection area AL, which is imaged by the light receiving optical system 42 .
  • the light receiver 45 is arranged on the opposite side of the scanning mirror 32 in the housing 11 with the light receiving optical system 42 interposed therebetween.
  • the light receiver 45 is positioned below the light projector 22 in the Y-axis direction and on the light receiving optical axis of the light receiving optical system 42 .
  • the light receiver 45 is formed by arranging a plurality of light receiving elements 46 in an array on the substrate.
  • Each light receiving element 46 is arranged in two or more rows along each of the X axis and the Y axis.
  • Each light receiving element 46 is composed of a large number of light receiving elements.
  • the light receiving element of each light receiving element 46 is constructed mainly of a photodiode such as a single photon avalanche diode (hereinafter referred to as SPAD (Single Photon Avalanche Diode)).
  • SPAD Single Photon Avalanche Diode
  • Each light-receiving element 46 may be integrally constructed by laminating a microlens array in front of the light-receiving element.
  • the light receiver 45 has a light receiving surface 47 with a rectangular outline formed on one side of the substrate.
  • the light-receiving surface 47 is configured as a collection of incident surfaces of the light-receiving elements 46 .
  • the geometric center of the rectangular contour of the receiving surface 47 is aligned with the receiving optical axis of the receiving optical system 42 or slightly offset from the receiving optical axis of the receiving optical system 42 .
  • Each light-receiving element 46 receives reflected light incident on the light-receiving surface 47 from the light-receiving optical system 42 with its respective light-receiving element.
  • the aspect ratio of the light-receiving surface 47 presenting a rectangular contour is such that the long sides are along the Y-axis.
  • the light receiving element of each light-receiving element 46 receives the reflected light of the illumination light as a linearly spread beam corresponding to the linear illumination light in the detection area AL.
  • the photodetector 45 has a decoder 48 integrally.
  • the decoder 48 sequentially reads out electrical pulses generated by the light receiving elements 46 in response to the reflected light received by the light receiving surface 47 by sampling processing.
  • the decoder 48 outputs the sequentially read electrical pulses to the sensor control device 1 as a detection signal for each detection frame (that is, detection cycle) FS shown in FIG.
  • the detection frame FS is repeated at predetermined time intervals while the vehicle 5 is running.
  • the sensor control device 1 observes the target within the detection area AL according to the physical quantity based on the reflected light detected by the light receiving elements 46 as the scanning mirror 32 rotates. An image is generated that represents the results.
  • the sensor control device 1 shown in FIG. 1 is connected to the optical sensor 10 via at least one of, for example, a LAN (Local Area Network), a wire harness, an internal bus, and the like.
  • the sensor control device 1 includes at least one dedicated computer.
  • the dedicated computer that configures the sensor control device 1 may be a sensor ECU (Electronic Control Unit) specialized for controlling the optical sensor 10 .
  • the sensor ECU may be housed inside the housing 11 .
  • the dedicated computer that configures the sensor control device 1 may be an integrated ECU that integrates operation control of the vehicle 5 .
  • the dedicated computer that constitutes the sensor control device 1 may be a judgment ECU that judges a driving task in driving control of the vehicle 5 .
  • a dedicated computer that configures the sensor control device 1 may be a monitoring ECU that monitors operation control of the vehicle 5 .
  • the dedicated computer that constitutes the sensor control device 1 may be an evaluation ECU that evaluates operation control of the vehicle 5 .
  • the dedicated computer that configures the sensor control device 1 may be a navigation ECU that navigates the travel route of the vehicle 5 .
  • a dedicated computer that constitutes the sensor control device 1 may be a locator ECU that estimates the self-state quantity of the vehicle 5 .
  • the dedicated computer that constitutes the sensor control device 1 may be an actuator ECU that controls the travel actuators of the vehicle 5 .
  • the dedicated computer that configures the sensor control device 1 may be an HCU (HMI (Human Machine Interface) Control Unit) that controls display and audio information presentation in the vehicle 5 .
  • the dedicated computer that configures the sensor control device 1 may be at least one external computer that constructs an external center or mobile terminal that can communicate with the vehicle 5 .
  • the dedicated computer that constitutes the sensor control device 1 has at least one memory 1a and one processor 1b.
  • the memory 1a stores computer-readable programs and data non-temporarily, and includes at least one type of non-transitory storage medium such as a semiconductor memory, a magnetic medium, and an optical medium. tangible storage medium).
  • the processor 1b includes at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a RISC (Reduced Instruction Set Computer)-CPU as a core.
  • the processor 1b executes multiple instructions contained in the sensor control program stored in the memory 1a. Thereby, the sensor control device 1 constructs a plurality of functional blocks for controlling the optical sensor 10 . As described above, in the sensor control device 1, the sensor control program stored in the memory 1a for controlling the optical sensor 10 causes the processor 1b to execute a plurality of instructions, thereby constructing a plurality of functional blocks. As shown in FIG. 6, the plurality of functional blocks constructed by the sensor control device 1 include a range image acquisition unit 100, an intensity image acquisition unit 110, a resolution setting unit 120, a light emission amount adjustment unit 130, and a target observation unit 140. is included.
  • the distance image acquisition unit 100 controls the light emission of the light projector 22 during the distance image acquisition period TD of each detection frame FS shown in FIG. Let The distance image acquisition unit 100 converts the distance to the target existing in the detection area AL as a physical quantity based on the reflected light detected by the optical sensor 10 for each irradiation light pulse during the distance image acquisition period TD so that the decoder 48 acquires a distance image ID based on the detection signal from . At this time, the distance image acquisition unit 100 sets the resolution of the distance image ID to be acquired, as shown in FIGS. do.
  • the distance image acquisition unit 100 reduces the size SD of each pixel PD in the vertical direction as shown in FIGS. , the resolution of the distance image ID in the vertical direction is increased. Further, the distance image acquisition unit 100 reduces the size SD in the horizontal direction as shown in FIGS. This increases the resolution of the distance image ID in the horizontal direction.
  • the resolution of the distance image ID determined by the size SD in this way may be the same as shown in FIGS.
  • one of a plurality of different sizes SD may be selected for each segmented area ⁇ of the detection area AL, so that the plurality of resolutions may be mixed in the distance image ID. .
  • the intensity image acquisition unit 110 shown in FIG. 6 controls the light emission of the light projector 22 during the intensity image acquisition period TI that precedes the distance image acquisition period TD for each detection frame FS shown in FIG. is emitted from the optical sensor 10 to the detection area AL for the number of times of light emission Ln at light emission time intervals t.
  • the emission amount of the irradiation light may be set to zero during the intensity image acquisition period TI (the irradiation of the irradiation light is substantially stopped). is adjusted to an integer greater than or equal to 0.
  • the intensity image acquisition unit 110 obtains an intensity of light reflected from the detection area AL as a physical quantity based on the reflected light detected by the optical sensor 10 continuously exposed during the intensity image acquisition period TI with respect to intermittent irradiation light pulses.
  • An intensity image II based on the detection signal from the decoder 48 is acquired so as to represent the intensity of light received by the sensor 10 .
  • the intensity image acquisition unit 110 sets the resolution of the intensity image II to be acquired, as shown in FIGS. do.
  • the intensity image acquiring unit 110 reduces the size SI in the vertical direction as shown in FIGS. This increases the resolution of the intensity image II in the vertical direction. 13 and 14, the intensity image acquisition unit 110 reduces the size SI in the horizontal direction as shown in FIGS. This increases the resolution of the intensity image II in the horizontal direction.
  • the resolution of the intensity image II determined by the size SI in this way may be the same between the segmented areas ⁇ of the detection area AL shown in FIG. 12, as shown in FIGS.
  • one of a plurality of different sizes SI may be selected for each segmented area ⁇ of the detection area AL, so that the plurality of resolutions may be mixed in the intensity image II. .
  • the resolution setting unit 120 shown in FIG. 6 predicts the ambient light amount Lc for each segmented area ⁇ of the detection area AL prior to sequentially acquiring the intensity image II and the distance image ID in the current detection frame FS, Identify each segmented area ⁇ . Specifically, the resolution setting unit 120 reads the intensity image ID acquired in the previous detection frame FS from the image storage unit 1ai of the memory 1a. Therefore, at least the former of the intensity image II and the distance image ID is stored in the image storage unit 1ai each time it is obtained in each detection frame FS. At the same time, the resolution setting unit 120 stores the light emission amount Li (see FIG. 5) of the illumination light that has been adjusted for each divided area ⁇ in the previous detection frame FS as will be described later.
  • Li see FIG. 5
  • the light emission amount Li is stored in the light emission storage unit 1al for each adjustment in each detection frame FS.
  • the currently detected frame FS is simply referred to as the current frame FS
  • the previous detected frame FS is simply referred to as the previous frame FS.
  • the resolution setting unit 120 sets the light receiving intensity of the plurality of pixels PI included in each section area ⁇ in the read intensity image ID in the previous frame FS, and the light emission amount Li of each section area ⁇ in the read previous frame FS. , the ambient light amount Lc in the current frame FS is predicted. Based on the environmental light amount Lc predicted for each divided area ⁇ , the resolution setting unit 120 sets the divided area ⁇ in which the predicted light amount Lc is within the bright environment range Rb as shown in FIGS. It is identified as the bright environment area ⁇ b at .
  • the resolution setting unit 120 identifies the segmented area ⁇ in which the predicted light amount Lc is within the dark environment range Rd as the dark environment area ⁇ d in the current frame FS as shown in FIGS. 16 shows a case where the entire detection area AL is the bright environment area ⁇ b, and FIG. 15 shows a case where the entire detection area AL is the dark environment area ⁇ d.
  • the dark environment range Rd and the bright environment range Rb in the resolution setting unit 120 are defined with the threshold amount of light as the boundary.
  • the dark environment range Rd is below the threshold light amount and the bright environment range Rb is above the threshold light amount, or the dark environment range Rd is below the threshold light amount and the bright environment range Rb is above the threshold light amount.
  • the threshold light amount is defined as the amount of light received by all the light receiving elements 46 corresponding to the pixels PI in the divided area, for example, at night or in a dark place, based on the amount of light that will be insufficient for target observation without illumination light. be done.
  • the resolution setting unit 120 shown in FIG. 6 sets the resolution of the intensity image II and the distance image ID in the current frame FS before the intensity image II and the distance image ID are sequentially acquired in the current frame FS. Specifically, for the bright environment area ⁇ b as shown in FIGS. , set. Therefore, the resolution setting unit 120 sets the resolutions for each size SI and SD in the vertical direction and the horizontal direction so as to satisfy the bright environment size conditional expression v ⁇ SI ⁇ SD, where v is a real number variable of 1 or more.
  • the resolution setting unit 120 sets the resolution of the intensity image II in the current frame FS to the resolution of the distance image ID in the current frame FS or higher,
  • the fixed size SD or the variable size SD according to the predicted amount of ambient light Lc is set so as to satisfy the size conditional expression described above.
  • SI may be variably set.
  • a fixed or variable size SD that satisfies the above size conditional expression may be set for the variable size SI according to the predicted ambient light amount Lc.
  • the light emission amount adjustment unit 130 shown in FIG. The light emission amount Li of the projected illumination light is adjusted. Specifically, the light emission amount adjustment unit 130 adjusts the light emission amount Li of the illumination light for the bright environment area ⁇ b identified by the resolution setting unit 120 to zero. At this time, the light emission amount adjustment unit 130 sets the number of light emission times Ln to zero. When the entire detection area AL is the dark environment area ⁇ d as shown in FIG. 15, the adjustment of the light emission amount Li for the bright environment area ⁇ b is skipped.
  • the light emission amount adjustment unit 130 adjusts the light emission amount Li of the illumination light for the dark environment area ⁇ d identified by the resolution setting unit 120 to the ambient light amount Lc within the dark environment range Rd predicted by the resolution setting unit 120 and the resolution Adjustment is made according to the resolution of the intensity image II for which the size SI is set by the setting unit 120 .
  • the entire detection area AL is the bright environment area ⁇ b as shown in FIG. 16, the adjustment of the light emission amount Li for the dark environment area ⁇ d is skipped.
  • the light emission amount adjustment unit 130 adjusts the light emission amount Li to the dark environment area ⁇ d so as to compensate for the lack of the ambient light amount Lc within the dark environment range Rd with respect to the set resolution of the intensity image II. At this time, at least one of the number of times of light emission Ln and light emission power Lp shown in FIG. 5 is adjusted for the current frame FS in which the intensity image II is acquired.
  • the amount of light received by all the light-receiving elements 46 corresponding to the pixels PI in the dark environment area is calculated as necessary for target observation. A received light amount Lr is obtained.
  • the light emission amount Li is variably set so that the total sum of the light emission amount Lc in the dark environment range Rd predicted by the resolution setting unit 120 and the required light reception light amount Lr acquired by the light emission amount adjustment unit 130 is greater than or equal to Lr. be done. That is, the light emission amount Li is adjusted so as to satisfy the dark environment light emission conditional expression Li+Lc ⁇ Lr.
  • the received light intensity of each light receiving element 46 corresponding to the pixel in the dark environment area PI becomes equal to or less than the saturation intensity. so limited.
  • the necessary received light amount Lr within a range in which the received light intensity of each light receiving element 46 corresponding to the pixel in the dark environment area PI is equal to or less than the saturation intensity is obtained when adjusting the light emission amount Li.
  • the saturation intensity means the upper limit of the light receiving intensity of each light receiving element 46 .
  • each light-receiving element 46 when the light-receiving elements constituting each light-receiving element 46 are SPADs, the light-receiving intensity corresponding to the number of responses of the SPADs in each light-receiving element 46 is obtained. Received light intensity corresponding to
  • the light emission amount Li that satisfies the dark environment light emission conditional expression Li+Lc ⁇ Lr is multiplied by the default light emission power Lp as shown in FIG.
  • the number of times of light emission Ln to give Li is calculated.
  • the light emission period TL which is the product of the number of light emission times Ln and the light emission time interval t, is less than or equal to the intensity image acquisition period TI (that is, TL ⁇ TI)
  • the number of light emission times Ln and the light emission power Lp are determined. be.
  • the light emission power Lp is incremented (that is, increased) by a predetermined amount so that Li+Lc ⁇ Lr and TL ⁇ TI Recalculation of the amount of light emission Li and the number of times of light emission Ln is repeated until is satisfied.
  • the target observation unit 140 shown in FIG. 6 identifies a plurality of observation targets observed within the detection area AL by image recognition processing based on the intensity image II acquired in the current frame FS.
  • the target observation unit 140 extracts the separation distance from the vehicle 5 to each target to be observed from the distance image ID acquired in the current frame FS.
  • the value of the distance corresponding to the light receiving element 46 in the distance image ID is extracted by matching the light receiving elements 46 corresponding to the target to be observed between the images II and ID.
  • the separation distance extracted in this manner is provided to, for example, an ECU or the like involved in the operation control of the vehicle 5, so that it can be used for the operation control of the vehicle 5 including the automatic control operation mode.
  • control flow Sensor control in which the sensor control device 1 controls the optical sensor 10 is performed jointly by the range image acquisition unit 100, the intensity image acquisition unit 110, the resolution setting unit 120, the light emission amount adjustment unit 130, and the target observation unit 140 described above.
  • the flow of the method (hereinafter referred to as control flow) is described below with reference to FIG.
  • This control flow is repeatedly executed for each detection frame FS.
  • Each "S" in this control flow means a plurality of steps executed by a plurality of instructions included in the sensor control program.
  • the resolution setting unit 120 determines the intensity image II of the previous frame FS based on the received light intensity of the plurality of pixels PI included in each divided area ⁇ and the light emission amount Li of the illumination light of the previous frame FS. Estimate the amount of ambient light Lc in the frame FS. In S102, the resolution setting unit 120 distinguishes between the bright environment area ⁇ b in which the predicted light amount Lc in S101 is within the bright environment range Rb and the dark environment area ⁇ d in which the predicted light amount Lc is within the dark environment range Rd.
  • the resolution setting unit 120 sets the resolution of the intensity image II and the resolution of the distance image ID in the current frame FS.
  • the resolution setting unit 120 sets the resolution of the intensity image II in the current frame FS to the resolution equal to or higher than the resolution of the distance image ID in the current frame FS for the identification area ⁇ b. , to set.
  • the resolution setting unit 120 sets the resolution of the intensity image II in the current frame FS to a resolution equal to or higher than the resolution of the distance image ID in the current frame FS for the identified area ⁇ d. , and set to a resolution equal to or lower than the resolution for the bright environment area ⁇ b.
  • the light emission amount adjustment unit 130 adjusts the light emission amount Li of the illumination light projected on each segmented area ⁇ according to the rotation of the scanning mirror 32 in the current frame FS. At this time, when the bright environment area ⁇ b is identified in S102, the light emission amount adjustment unit 130 adjusts the light emission amount Li to zero for the identification area ⁇ b. On the other hand, when the dark environment area ⁇ d is identified in S102, the light emission amount adjustment unit 130 adjusts the light emission amount Li of the illumination light for the identified area ⁇ d to the environment light amount Lc within the dark environment range Rd predicted in S101, Adjustment is made according to the resolution of the intensity image II set in S103.
  • the intensity image acquisition unit 110 acquires the intensity image II by intermittently irradiating the illumination light pulse during the intensity image acquisition period TI. At this time, the intensity image acquiring unit 110 controls the number of times of light emission Ln and the light emission power Lp of the illumination light pulse so that the light emission amount Li adjusted in S104 is obtained.
  • the distance image acquisition unit 100 acquires the distance image ID by irradiating the irradiation light pulse a predetermined number of times during the distance image acquisition period TD.
  • the target observation unit 140 extracts the separation distance to the observation target observed based on the intensity image II acquired in S105 from the distance image ID acquired in S106. This completes the control flow for the current frame FS.
  • the distance image ID representing the separation distance to the target existing in the detection area AL and the intensity image II representing the intensity of light received from the detection area AL are is obtained. Therefore, in the detection area AL, for the dark environment area ⁇ d where the ambient light amount Lc is within the dark environment range Rd, the resolution of the intensity image II is set to be equal to or higher than the resolution of the distance image ID.
  • the light emission amount Li of the illumination light is adjusted according to the ambient light amount Lc within the range Rd and the resolution of the intensity image II.
  • the intensity image II in which the light emission amount Li suitable for the resolution can be reflected in the dark environment area ⁇ d in which the ambient light amount Lc is insufficient solves the shortage of the received light intensity. can do.
  • the light emission amount Li for the dark environment area ⁇ d is adjusted so as to compensate for the shortage of the ambient light amount Lc within the dark environment range Rd. According to this, by optimizing the light emission amount Li, the insufficient received light intensity in the intensity image II can be resolved for the dark environment area ⁇ d. Therefore, it is possible to contribute to ensuring high target resolution.
  • the light emission amount Li for the dark environment area ⁇ d is adjusted so that the received light intensity is equal to or less than the saturation intensity. According to this, it is possible to optimize the light emission amount Li and prevent saturation of the received light intensity in the intensity image II with respect to the dark environment area ⁇ d. Therefore, it is possible to contribute to ensuring high target resolution.
  • the emission power Lp of the illumination light for the dark environment area ⁇ d in the current frame FS for acquiring the intensity image II is adjusted. According to the adjustment of the light emission power Lp in this manner, the light emission amount Li can be optimized, and the insufficient received light intensity in the intensity image II can be resolved for the dark environment area ⁇ d. Therefore, it is possible to contribute to ensuring high target resolution.
  • the number of times the illumination light is emitted Ln for the dark environment area ⁇ d in the current frame FS for acquiring the intensity image II is adjusted.
  • the number of times of light emission Ln in this way the amount of light emission Li can be optimized, and the lack of received light intensity in the intensity image II can be resolved for the dark environment area ⁇ d. Therefore, it is possible to contribute to ensuring high target resolution.
  • the resolution of the intensity image II is set to be equal to or higher than the resolution of the distance image ID for the bright environment area ⁇ b in which the ambient light amount Lc is within the bright environment range Rb in the detection area AL.
  • the light emission amount Li of the illumination light is adjusted to zero. According to this, in the bright environment area ⁇ b in which the ambient light amount Lc can be naturally secured, high target resolution can be secured even without illumination light due to the high resolution of the intensity image II.
  • the resolution of the intensity image II is set to be equal to or higher than the resolution of the distance image ID and equal to or lower than the resolution for the bright environment area ⁇ b.
  • the quantity Li will be adjusted. According to this, while increasing the resolution of the intensity image II as much as possible according to the dark environment area ⁇ d, in the intensity image II in which the light emission amount Li suitable for the resolution can be reflected in the dark environment area ⁇ d, Insufficient received light intensity can be resolved. Therefore, it is possible to contribute to ensuring high target resolution.
  • the resolution of the intensity image II may be set equal to the resolution of the distance image ID, and the light emission amount Li of the illumination light may be adjusted accordingly. According to this, while the resolution of the intensity image II is increased to the necessary minimum, the intensity image II in which the light emission amount Li suitable for the resolution can be reflected in the dark environment area ⁇ d can be resolved. can be done. Therefore, it is possible to contribute to ensuring high target resolution.
  • the ambient light amount Lc within the dark environment range Rd in the current frame FS for obtaining the intensity image II is predicted based on the received light intensity and the light emission amount Li in the previous frame FS for obtaining the intensity image II. be. According to this, the light emission amount Li corresponding to the predicted ambient light amount Lc can be appropriately adjusted, and the insufficient received light intensity in the intensity image II can be resolved for the dark environment area ⁇ d. Therefore, it is possible to contribute to ensuring high target resolution.
  • the separation distance to the target observed based on the intensity image II is obtained from the distance image ID. According to this, it is possible to accurately acquire the separation distance of a target that can be observed with high resolution based on the intensity image II, so that the detection capability including not only the resolution of the target but also the distance accuracy can be improved. becomes possible.
  • the second embodiment is a modification of the first embodiment.
  • the intensity image acquisition unit 2110 acquires the light emission amount Li adjusted by the light emission amount adjustment unit 130 in S104.
  • the intensity image acquisition unit 2110 acquires the intensity image II without such correction.
  • the lack of the ambient light amount Lc in obtaining the intensity image II is compensated for due to the performance limit of the optical sensor 10 by setting the resolution higher than the distance image ID and adjusting the light emission amount Li.
  • the dark environment area ⁇ d can be corrected based on the light emission upper limit amount Lm. Therefore, it is possible to compensate for the insufficient received light intensity in the intensity image II on the image data and contribute to ensuring high target resolution.
  • the third embodiment is a modification of the first embodiment.
  • the resolution setting unit 3120 acquires the light emission amount Li adjusted by the light emission amount adjustment unit 130 in S104.
  • the control flow shifts from S3104 to S103. returns to S3103 in place of .
  • the light emission amount Li is adjusted to the light emission upper limit amount Lm.
  • the control flow proceeds directly from S104 to S105 when the light emission amount Li is adjusted to the light emission upper limit amount Lm or less for the entire detection area AL.
  • the lack of the ambient light amount Lc in acquiring the intensity image II is compensated for due to the performance limit of the optical sensor 10.
  • the dark environment area ⁇ d is detected before the intensity image II is acquired according to the third embodiment. can be reset based on the light emission upper limit Lm. According to this, it is possible to suppress insufficient received light intensity in the intensity image II and contribute to ensuring high target resolution.
  • the dedicated computer that constitutes the sensor control device 1 may include at least one of a digital circuit and an analog circuit as a processor.
  • Digital circuits here include, for example, ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), SOC (System on a Chip), PGA (Programmable Gate Array), and CPLD (Complex Programmable Logic Device). , at least one Such digital circuits may also have a memory that stores the program.
  • a light projector that projects illumination light during the intensity image acquisition period TI of the modified example may be provided separately from the light projector 22 that projects illumination light during the distance image acquisition period TD.
  • the intensity image acquisition period TI may be set after the distance image acquisition period TD, and S105 may be executed after S106 accordingly.
  • the target observer 140 and S107 may be omitted.
  • the light emission amount Li that satisfies Li+Lc ⁇ Lr and the light emission at the default light emission time interval t
  • the number of light emissions Ln that gives the quantity Li may be calculated.
  • the light emission period TL based on the number of light emissions Ln and the light emission time interval t is less than or equal to the intensity image acquisition period TI (that is, TL ⁇ TI)
  • the number of light emissions Ln and the light emission time interval t should be determined. .
  • the light emission time interval t is decremented by a predetermined amount (that is, decreased) so that Li+Lc ⁇ Lr and TL ⁇ Recalculation of the light emission amount Li and the number of light emission times Ln may be repeated until TI is satisfied.
  • the light emission amount Li that satisfies Li+Lc ⁇ Lr, and the light emission that gives the light emission amount Li at the default light emission power Lp and the default light emission time interval t The number of times Ln may be calculated.
  • the light emission period TL based on the light emission count Ln and the light emission time interval t is less than or equal to the intensity image acquisition period TI (that is, TL ⁇ TI)
  • the light emission count Ln, the light emission power Lp, and the light emission time interval t are determined. should be.
  • the light emission power Lp is incremented by a predetermined amount and the light emission time interval t
  • recalculation of the light emission amount Li and the number of light emission times Ln may be repeated until Li+Lc ⁇ Lr and TL ⁇ TI are satisfied.
  • the ambient light amount Lc may be directly obtained based on, for example, the intensity of received light when illumination light is not emitted.
  • the resolution of the intensity image II for the dark environment area ⁇ d may be set to be higher than the resolution for the bright environment area ⁇ b.
  • the bright environment area ⁇ b and the dark environment area ⁇ d may be identified with the entire detection area AL as a single divided area ⁇ .
  • the intensity image II is used for purposes other than target detection, such as the distribution of targets in the dark environment area ⁇ d and the presence of strong reflective objects with remarkably high reflection intensity among the targets. may be acquired for the purpose of grasping in advance. Therefore, in the resolution setting units 120, 3120 and S103, 3103 of the modified example, the resolution of the intensity image II at the timing used for target detection is set to be equal to or higher than the resolution of the distance image ID according to each of the above-described embodiments. On the other hand, the resolution of the intensity image II used for purposes other than target detection may be set to be less than the resolution of the distance image ID.
  • a device (1) The processor Acquiring a distance image (ID) representing a separation distance to a target existing in a detection area as a physical quantity based on reflected light detected by an optical sensor; Acquiring an intensity image (II) representing the intensity of light received from the detection area as a physical quantity based on the reflected light detected by the optical sensor; Setting the resolution of the intensity image to be equal to or higher than the resolution of the range image for a dark environment area ( ⁇ d) in which the amount of ambient light (Lc) is within the dark environment range (Rd) in the detection area; adjusting the amount of illumination light emitted (Li) for the dark environment area according to the amount of ambient light in the dark environment range and the resolution of the intensity image;
  • a sensor controller configured to perform:
  • a sensor control method comprising: Acquiring a distance image (ID) representing a separation distance to a target existing in a detection area as a physical quantity based on reflected light detected by an optical sensor; Acquiring an intensity image (II) representing the intensity of light received from the detection area as a physical quantity based on the reflected light detected by the optical sensor; Setting the resolution of the intensity image to be equal to or higher than the resolution of the range image for a dark environment area ( ⁇ d) in which the amount of ambient light (Lc) is within the dark environment range (Rd) in the detection area; adjusting the amount of illumination light emitted (Li) for the dark environment area according to the amount of ambient light in the dark environment range and the resolution of the intensity image; Including sensor control method.
  • a sensor control program comprising instructions to cause a processor (1b) to execute the instruction is Acquiring a distance image (ID) representing a separation distance to a target existing in a detection area as a physical quantity based on reflected light detected by an optical sensor; Acquiring an intensity image (II) representing the intensity of light received from the detection area as a physical quantity based on the reflected light detected by the optical sensor; Setting the resolution of the intensity image to be equal to or higher than the resolution of the range image for a dark environment area ( ⁇ d) in which the amount of ambient light (Lc) is within the dark environment range (Rd) in the detection area; adjusting the amount of illumination light emitted (Li) for the dark environment area according to the amount of ambient light in the dark environment range and the resolution of the intensity image;

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

プロセッサは、光学センサ(10)により検出された反射光に基づく物理量として、検出エリア(AL)に存在する物標までの離間距離を表す距離画像(ID)を、取得することと、光学センサ(10)により検出された反射光に基づく物理量として、検出エリア(AL)からの受光強度を表す強度画像(II)を、取得することと、検出エリア(AL)のうち、環境光量(Lc)が暗環境範囲内となる暗環境エリア(αd)に対して、強度画像(II)の解像度を距離画像(ID)の解像度以上に設定することと、暗環境エリア(αd)に対する照明光の発光量(Li)を、暗環境範囲内の環境光量(Lc)及び強度画像(II)の解像度に応じて調整することとを、実行するように構成される。

Description

センサ制御装置、センサ制御方法、センサ制御プログラム 関連出願の相互参照
 この出願は、2021年5月26日に日本に出願された特許出願第2021-88763号、および、2022年4月14日に日本に出願された特許出願第2022-67211号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
 本開示は、光学センサを制御するセンサ制御技術に、関する。
 車両の外界に設定される検出エリアへ照明光を投射し、検出エリアからの反射光を検出する光学センサは、広く知られている。このような光学センサを制御するために特許文献1に開示されるセンサ制御技術は、検出エリアに存在する物標までの離間距離を表す距離画像の解像度と、検出エリアからの背景光強度を表す背景光画像の解像度とを、画素サイズの調整により可変設定している。
特開2020-165677号公報
 しかし、特許文献1に開示のセンサ制御技術において、例えば夜間等の暗環境では、照射光に対する反射光が受光されない期間に、受光強度を確保すべく、解像度の低下した背景光画像が取得されてしまう。その結果、検出能力として、背景光画像から物標を特定する分解能を、低下させる懸念があった。
 本開示の課題は、検出能力を高めるセンサ制御装置を、提供することにある。本開示の別の課題は、検出能力を高めるセンサ制御方法を、提供することにある。本開示のさらに別の課題は、検出能力を高めるセンサ制御プログラムを、提供することにある。
 以下、課題を解決するための本開示の技術的手段について、説明する。
 本開示の第一態様は、
 プロセッサを有し、車両の外界に設定される検出エリアへ照明光を投射し、検出エリアからの反射光を検出する光学センサを、制御するセンサ制御装置であって、
 プロセッサは、
 光学センサにより検出された反射光に基づく物理量として、検出エリアに存在する物標までの離間距離を表す距離画像を、取得することと、
 光学センサにより検出された反射光に基づく物理量として、検出エリアからの受光強度を表す強度画像を、取得することと、
 検出エリアのうち、環境光量が暗環境範囲内となる暗環境エリアに対して、強度画像の解像度を距離画像の解像度以上に設定することと、
 暗環境エリアに対する照明光の発光量を、暗環境範囲内の環境光量及び強度画像の解像度に応じて調整することとを、
 実行するように構成される。
 本開示の第二態様は、
 車両の外界に設定される検出エリアへ照明光を投射し、検出エリアからの反射光を検出する光学センサを、制御するためにプロセッサにより実行されるセンサ制御方法であって、
 光学センサにより検出された反射光に基づく物理量として、検出エリアに存在する物標までの離間距離を表す距離画像を、取得することと、
 光学センサにより検出された反射光に基づく物理量として、検出エリアからの受光強度を表す強度画像を、取得することと、
 検出エリアのうち、環境光量が暗環境範囲内となる暗環境エリアに対して、強度画像の解像度を距離画像の解像度以上に設定することと、
 暗環境エリアに対する照明光の発光量を、暗環境範囲内の環境光量及び強度画像の解像度に応じて調整することとを、
 含む。
 本開示の第三態様は、
 記憶媒体に記憶され、車両の外界に設定される検出エリアへ照明光を投射し、検出エリアからの反射光を検出する光学センサを、制御するためにプロセッサに実行させる命令を含むセンサ制御プログラムであって、
 命令は、
 光学センサにより検出された反射光に基づく物理量として、検出エリアに存在する物標までの離間距離を表す距離画像を、取得させることと、
 光学センサにより検出された反射光に基づく物理量として、検出エリアからの受光強度を表す強度画像を、取得させることと、
 検出エリアのうち、環境光量が暗環境範囲内となる暗環境エリアに対して、強度画像の解像度を距離画像の解像度以上に設定させることと、
 暗環境エリアに対する照明光の発光量を、暗環境範囲内の環境光量及び強度画像の解像度に応じて調整させることとを、
 含む。
 第一~第三態様の検出エリアからの反射光検出によると、検出エリアに存在する物標までの離間距離を表す距離画像と、検出エリアからの受光強度を表す強度画像とが、取得される。そこで検出エリアのうち、環境光量が暗環境範囲内となる暗環境エリアに対しては、強度画像の解像度が距離画像の解像度以上に設定されることに加え、それら暗環境範囲内での環境光量及び強度画像の解像度に応じて照明光の発光量が調整される。これによれば、強度画像の解像度を高めても、環境光量の不足する暗環境エリアに対して当該解像度に適した発光量が反映され得る強度画像では、受光強度不足を解消することができる。故に、検出能力として強度画像における物標の分解能を、高めることが可能である。
第一実施形態による検出システムの全体構成を示す模式図である。 第一実施形態による光学センサの詳細構成を示す模式図である。 第一実施形態による投光器を示す模式図である。 第一実施形態による受光器を示す模式図である。 第一実施形態による検出フレームを示すタイムチャートである。 第一実施形態によるセンサ制御装置の機能構成を示すブロック図である。 第一実施形態による距離画像を説明するための模式図である。 第一実施形態による距離画像を説明するための模式図である。 第一実施形態による距離画像を説明するための模式図である。 第一実施形態による距離画像を説明するための模式図である。 第一実施形態による距離画像を説明するための模式図である。 第一実施形態による検出エリアの区分エリアを示す模式図である。 第一実施形態による強度画像を説明するための模式図である。 第一実施形態による強度画像を説明するための模式図である。 第一実施形態による強度画像を説明するための模式図である。 第一実施形態による強度画像を説明するための模式図である。 第一実施形態による強度画像を説明するための模式図である。 第一実施形態によるセンサ制御方法を示すフローチャートである。 第二実施形態によるセンサ制御装置の機能構成を示すブロック図である。 第二実施形態によるセンサ制御方法を示すフローチャートである。 第三実施形態によるセンサ制御装置の機能構成を示すブロック図である。 第三実施形態によるセンサ制御方法を示すフローチャートである。
 以下、本開示の実施形態を図面に基づき複数説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
 図1に示すように本開示の第一実施形態は、光学センサ10及びセンサ制御装置1を含んで構成される検出システム2に関する。検出システム2は、車両5に搭載される。
 車両5は、自動運転制御モードにおいて定常的、又は一時的に自動走行可能となっている。ここで自動運転制御モードは、条件付運転自動化、高度運転自動化、又は完全運転自動化といった、作動時のシステムが全ての運転タスクを実行する自律運転制御により、実現されてもよい。自動運転制御モードは、運転支援、又は部分運転自動化といった、乗員が一部又は全ての運転タスクを実行する高度運転支援制御において、実現されてもよい。自動運転制御モードは、それら自律運転制御と高度運転支援制御とのいずれか一方、組み合わせ、又は切り替えにより実現されてもよい。
 尚、以下の説明では断り書きがない限り、前、後、上、下、左、及び右の各方向は、水平面上の車両5を基準として定義される。また水平方向とは、車両5の方向基準となる水平面に対して、平行方向を示す。さらに鉛直方向とは、車両5の方向基準となる水平面に対して、上下方向でもある垂直方向を示す。
 光学センサ10は、自動制御運転モードを含む車両5の運転制御に活用可能な画像を取得する、所謂LiDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)である。光学センサ10は、例えば前方部、左右の側方部、後方部、及び上方のルーフ等のうち、車両5の少なくとも一箇所に配置される。図2に示すように光学センサ10においては、互いに直交する三軸としてのX軸、Y軸、及びZ軸により、三次元直交座標系が定義されている。ここで特に本実施形態では、X軸及びZ軸がそれぞれ車両5の相異なる水平方向に沿って設定され、またY軸が車両5の鉛直方向に沿って設定される。尚、図2においてY軸に沿う一点鎖線よりも左側部分(後述の透光カバー12側)は、実際には当該一点鎖線よりも右側部分(後述のユニット21,41側)に対して垂直な断面を図示している。
 光学センサ10は、車両5の外界のうち、配置箇所に応じた検出エリアALへと向けて、照明光を投射する。光学センサ10は、投射時の照明光が検出エリアALの物標により反射されることで入射してくる戻り光を、当該エリアALからの反射光として検出する。光学センサ10は、照明光の非投射時における外光が検出エリアALの物標により反射されることで入射してくる光も、当該エリアALからの反射光として検出する。
 光学センサ10は、反射光を検出することで、検出エリアAL内の物標を観測する。ここで特に本実施形態における観測とは、光学センサ10から物標までの離間距離、及び物標からの反射光の反射強度を、センシングすることを意味する。車両5に適用される光学センサ10において代表的な観測対象物標は、例えば歩行者、サイクリスト、人間以外の動物、及び他車両等の移動物体のうち、少なくとも一種類であってもよい。車両5に適用される光学センサ10において代表的な観測対象物標は、例えばガードレール、道路標識、道路脇の構造物、及び道路上の落下物等の静止物体のうち、少なくとも一種類であってもよい。
 光学センサ10は、筐体11、投光ユニット21、走査ユニット31、及び受光ユニット41を含んで構成されている。筐体11は、光学センサ10の外装を構成している。筐体11は、箱状に形成され、遮光性を有している。筐体11は、投光ユニット21、走査ユニット31、及び受光ユニット41を内部に収容している。筐体11において開口状の光学窓には、透光カバー12が設けられている。透光カバー12は、板状に形成され、上述の照明光及び反射光に対して透光性を有している。透光カバー12は、照明光及び反射光の双方を透過可能に、筐体11の光学窓を閉塞している。
 投光ユニット21は、投光器22、及び投光光学系26を備えている。投光器22は、筐体11内に配置されている。図3に示すように投光器22は、複数のレーザ発振素子24が基板上においてアレイ状に配列されることで、形成されている。各レーザ発振素子24は、Y軸に沿って単列に配列されている。各レーザ発振素子24は、PN接合層において発振されたレーザ光を共振させる共振器構造、及びPN接合層を挟んでレーザ光を繰り返し反射させるミラー層構造により、位相の揃ったコヒーレント光なレーザ光を発する。各レーザ発振素子24は、センサ制御装置1からの制御信号に従うことにより互いに共同して、照明光を構成するレーザ光をそれぞれパルス状に生成する。こうした照明光となるレーザ光には、外界の人間から視認困難な近赤外域の光が、選択される。
 投光器22は、擬似的に長方形輪郭をもって規定される投光窓25を、基板の片面側に形成している。投光窓25は、各レーザ発振素子24におけるレーザ発振開口の集合体として、構成されている。各レーザ発振素子24のレーザ発振開口から投射されるレーザ光は、検出エリアAL(図2参照)においてはY軸に沿った長手のライン状に擬制される照明光として、投光窓25から投射される。照明光には、Y軸方向において各レーザ発振素子24の配列間隔に応じた非発光部が、含まれていてもよい。この場合でも、検出エリアALにおいては回折作用によって巨視的に非発光部の解消されたライン状の照明光が、形成されるとよい。
 図2に示すように投光光学系26は、投光器22からの照明光を、走査ユニット31の走査ミラー32へ向かって投光する。投光光学系26は、照明光の光路上における投光器22及び走査ミラー32の間に、配置されている。投光光学系26は、例えば集光、コリメート、及び整形等のうち、少なくとも一種類の光学作用を発揮する。投光光学系26は、Z軸に沿った投光光軸を、形成する。投光光学系26は、発揮する光学作用に応じたレンズ形状の投光レンズ27を、投光光軸上に少なくとも一つ有している。投光光学系26の投光光軸上には、投光器22が位置決めされている。投光器22において投光窓25の中心から射出される照明光は、投光光学系26の投光光軸に沿って導光される。
 走査ユニット31は、走査ミラー32、及び走査モータ35を備えている。走査ミラー32は、投光ユニット21の投光光学系26から投射された照明光を検出エリアALへ向けて走査し、検出エリアALからの反射光を受光ユニット41の受光光学系42へ向けて反射する。走査ミラー32は、照明光の光路上における透光カバー12及び投光光学系26の間、且つ反射光の光路上における透光カバー12及び受光光学系42の間に配置されている。
 走査ミラー32は、基材の片面である反射面33に反射膜が蒸着されることで、板状に形成されている。走査ミラー32は、Y軸に沿う回転中心線まわりに回転可能に、筐体11によって支持されている。走査ミラー32は、回転中心線まわりの回転により、反射面33の法線方向を調整可能となっている。走査ミラー32は、機械的又は電気的なストッパにより有限となる駆動範囲内において、揺動運動する。
 走査ミラー32は、投光ユニット21と受光ユニット41とに共通に設けられている。即ち走査ミラー32は、照明光と反射光とに共通に設けられている。これにより走査ミラー32は、照明光の反射に利用する投光反射面部と、反射光の反射に利用する受光反射面部とを、反射面33においてY軸方向にずらして形成している。
 投射光は、走査ミラー32の回転に応じた法線方向の反射面33のうち投光反射面部から反射作用を受けることで、透光カバー12を透過して検出エリアALを時間的及び空間的に走査する。このとき検出エリアALに対する照明光の走査は、水平方向での走査に実質制限される。照明光及び外光は、検出エリアALに存在する物標によって反射されることで、光学センサ10へと入射する。こうした反射光は、透光カバー12を透過して、走査ミラー32の回転に応じた法線方向の反射面33のうち受光反射面部から反射作用を受けることで、受光ユニット41の受光光学系42へと導光される。ここで走査ミラー32の回転運動速度に対しては、照明光及びそれに対する反射光の速度が十分に大きい。これにより照射光に対する反射光は、当該照射光と略同一回転角度の走査ミラー32において照明光と逆行するように、受光光学系42へ導光されることとなる。
 走査モータ35は、筐体11内において走査ミラー32の周囲に、配置されている。走査モータ35は、例えばボイスコイルモータ、ブラシ付きDCモータ、又はステッピングモータ等である。走査モータ35は、センサ制御装置1からの制御信号に従って、走査ミラー32を有限の駆動範囲内において回転駆動(即ち、揺動駆動)する。
 受光ユニット41は、受光光学系42、及び受光器45を備えている。受光光学系42は、走査ミラー32によって反射された反射光を、受光器45へ向かって導光する。受光光学系42は、反射光の光路上における走査ミラー32及び受光器45の間に、配置されている。受光光学系42は、Y軸方向において投光光学系26よりも下方に、位置決めされている。受光光学系42は、受光器45に対して反射光を結像させるように、光学作用を発揮する。受光光学系42は、Z軸に沿った受光光軸を、形成する。受光光学系42は、発揮する光学作用に応じたレンズ形状の受光レンズ43を、受光光軸上に少なくとも一つ有している。走査ミラー32の反射面33のうち受光反射面部から反射されてくる、検出エリアALからの反射光は、走査ミラー32の駆動範囲内において受光光学系42の受光光軸に沿って導光される。
 受光器45は、受光光学系42によって結像される、検出エリアALからの反射光を検出することで、検出信号を出力する。受光器45は、筐体11内において走査ミラー32とは受光光学系42を挟んだ反対側に、配置されている。受光器45は、Y軸方向において投光器22よりも下方、且つ受光光学系42の受光光軸上に位置決めされている。
 図4に示すように受光器45は、複数の受光要素46が基板上においてアレイ状に配列されることで、形成されている。各受光要素46は、X軸及びY軸の各々に沿って二列以上ずつ並ぶように、配列されている。各受光要素46は、それぞれ多数の受光素子から構成されている。各受光要素46の受光素子は、例えばシングルフォトンアバランシェダイオード(以下、SPAD(Single Photon Avalanche Diode)という)等のフォトダイオードを主体として、構築されている。各受光要素46は、受光素子の前段にマイクロレンズアレイが積層されて一体的に、構築されていてもよい。
 受光器45は、長方形輪郭の受光面47を、基板の片面側に形成している。受光面47は、各受光要素46における入射面の集合体として、構成されている。受光面47の長方形輪郭に対する幾何学中心は、受光光学系42の受光光軸上に、又は受光光学系42の受光光軸から僅かにずれて、位置合わせされている。各受光要素46は、受光光学系42から受光面47へ入射した反射光を、それぞれの受光素子により受光する。ここで、長方形輪郭を呈する受光面47のアスペクト比は、長辺側がY軸に沿っている。これにより、検出エリアALにおいてライン状に擬制される照明光に対応して、当該照明光に対する反射光は、ライン状に拡がったビームとして各受光要素46の受光素子により受光されることとなる。
 図2に示すように受光器45は、デコーダ48を一体的に有している。デコーダ48は、受光面47における反射光の受光に応じて各受光要素46の生成する電気パルスを、サンプリング処理によって順次読み出す。デコーダ48は、順次読み出された電気パルスを、図5に示す検出フレーム(即ち、検出サイクル)FS毎の検出信号として、センサ制御装置1へと出力する。ここで検出フレームFSは、車両5の起動中において所定時間間隔で繰り返される。こうしたデコーダ48の検出信号を受けてセンサ制御装置1では、走査ミラー32の回転に伴う各受光要素46での受光によって検出した反射光に基づく物理量に応じて、検出エリアAL内での物標観測結果を表す画像が生成される。
 図1に示すセンサ制御装置1は、例えばLAN(Local Area Network)、ワイヤハーネス、及び内部バス等のうち、少なくとも一種類を介して光学センサ10に接続される。センサ制御装置1は、少なくとも一つの専用コンピュータを含んで構成される。センサ制御装置1を構成する専用コンピュータは、光学センサ10を制御することに特化した、センサECU(Electronic Control Unit)であってもよい。この場合にセンサECUは、筐体11内に収容されていてもよい。
 センサ制御装置1を構成する専用コンピュータは、車両5の運転制御を統合する、統合ECUであってもよい。センサ制御装置1を構成する専用コンピュータは、車両5の運転制御における運転タスクを判断する、判断ECUであってもよい。センサ制御装置1を構成する専用コンピュータは、車両5の運転制御を監視する、監視ECUであってもよい。センサ制御装置1を構成する専用コンピュータは、車両5の運転制御を評価する、評価ECUであってもよい。
 センサ制御装置1を構成する専用コンピュータは、車両5の走行経路をナビゲートする、ナビゲーションECUであってもよい。センサ制御装置1を構成する専用コンピュータは、車両5の自己状態量を推定する、ロケータECUであってもよい。センサ制御装置1を構成する専用コンピュータは、車両5の走行アクチュエータを制御する、アクチュエータECUであってもよい。センサ制御装置1を構成する専用コンピュータは、車両5において表示及び音声での情報提示を制御する、HCU(HMI(Human Machine Interface) Control Unit)であってもよい。センサ制御装置1を構成する専用コンピュータは、車両5との間で通信可能な外部センタ又はモバイル端末を構築する、少なくとも一つの外部コンピュータであってもよい。
 センサ制御装置1を構成する専用コンピュータは、メモリ1a及びプロセッサ1bを、少なくとも一つずつ有している。メモリ1aは、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。プロセッサ1bは、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、及びRISC(Reduced Instruction Set Computer)-CPU等のうち、少なくとも一種類をコアとして含む。
 プロセッサ1bは、メモリ1aに記憶されたセンサ制御プログラムに含まれる複数の命令を、実行する。これによりセンサ制御装置1は、光学センサ10を制御するための機能ブロックを、複数構築する。このようにセンサ制御装置1では、光学センサ10を制御するためにメモリ1aに記憶されたセンサ制御プログラムが複数の命令をプロセッサ1bに実行させることで、複数の機能ブロックが構築される。センサ制御装置1により構築される複数の機能ブロックには、図6に示すように距離画像取得部100、強度画像取得部110、解像度設定部120、発光量調整部130、及び物標観測部140が含まれる。
 距離画像取得部100は、図5に示す検出フレームFS毎の距離画像取得期間TDにおいて投光器22の発光を制御することで、照射光のパルスを所定回数分、光学センサ10から検出エリアALへ照射させる。距離画像取得部100は、距離画像取得期間TDにおいて照射光パルス毎に光学センサ10の検出した反射光に基づく物理量として、検出エリアALに存在する物標までの離間距離を表すように、デコーダ48からの検出信号に基づく距離画像IDを取得する。このとき距離画像取得部100は、取得する距離画像IDの解像度を、図7~12に示すように距離画像IDを構成する複数画素PD毎の縦方向及び横方向での各サイズSDによって、設定する。
 具体的には距離画像IDに関して、画素PDの縦方向は車両5のY軸方向に対応し、画素PDの横方向は車両5のX軸方向に対応している。そこで距離画像取得部100は、各画素PDに対応させる受光要素46のY軸方向での数を図7,8の如く減少させるほど、各画素PDの縦方向でのサイズSDを図9,10の如く減少させることで、当該縦方向での距離画像IDの解像度が高くする。また距離画像取得部100は、各画素PDに対応させる受光要素46のX軸方向での数を図7,8の如く減少させるほど、横方向でのサイズSDを図9,10の如く減少させることで、当該横方向での距離画像IDの解像度を高くする。こうしてサイズSDによって決まる距離画像IDの解像度は、図12に示すように複数に区分される検出エリアALの各区分エリアα間において、図9,10に示すように全て同一であってもよい。あるいは図11に示すように、複数の相異なるサイズSDのうちいずれかが検出エリアALの各区分エリアα毎に選択されることで、距離画像IDにおいて当該複数の解像度が混在していてもよい。
 図6に示す強度画像取得部110は、図5に示す検出フレームFS毎に距離画像取得期間TDよりも前となる強度画像取得期間TIにおいて投光器22の発光を制御することで、照射光のパルスを発光時間間隔tで発光回数Ln分、光学センサ10から検出エリアALへ照射させる。強度画像取得部110では、強度画像取得期間TI中に照射光の発光量を零にする(実質的に照射光の照射は中止)場合があるため、照射光のパルス発生回数となる発光回数Lnは、0以上の整数に調整される。強度画像取得部110は、断続的な照射光パルスに対して強度画像取得期間TI中は継続露光される光学センサ10の検出した反射光に基づく物理量として、検出エリアALからの反射強度となる光学センサ10の受光強度を表すように、デコーダ48からの検出信号に基づく強度画像IIを取得する。このとき強度画像取得部110は、取得する強度画像IIの解像度を、図13~17に示すように強度画像IIを構成する複数画素PI毎の縦方向及び横方向での各サイズSIによって、設定する。
 具体的には強度画像IIに関して、画素PIの縦方向は車両5のY軸方向に対応し、画素PIの横方向は車両5のX軸方向に対応している。そこで強度画像取得部110は、各画素PIに対応させる受光要素46のY軸方向での数を図13,14の如く減少させるほど、縦方向でのサイズSIを図15,16の如く減少させることで、当該縦方向での強度画像IIの解像度を高くする。また強度画像取得部110は、各画素PIに対応させる受光要素46のX軸方向での数を図13,14の如く減少させるほど、横方向でのサイズSIを図15,16の如く減少させることで、当該横方向での強度画像IIの解像度を高くする。こうしてサイズSIによって決まる強度画像IIの解像度は、図12に示す検出エリアALの各区分エリアα間において、図15,16に示すように全て同一であってもよい。あるいは図17に示すように、複数の相異なるサイズSIのうちいずれかが検出エリアALの各区分エリアα毎に選択されることで、強度画像IIにおいて当該複数の解像度が混在していてもよい。
 図6に示す解像度設定部120は、今回の検出フレームFSにおいて強度画像II及び距離画像IDが順次取得されるのに先立ち、検出エリアALの各区分エリアα毎に環境光量Lcを予測して、各区分エリアαを識別する。具体的に解像度設定部120は、前回の検出フレームFSにおいて取得された強度画像IDを、メモリ1aの画像記憶部1aiから読み出す。そのために、強度画像II及び距離画像IDのうち少なくとも前者は、各検出フレームFSでの取得毎に画像記憶部1aiに記憶される。それと共に解像度設定部120は、前回の検出フレームFSにおいて後述の如く各区分エリアα毎に調整されることとなった照明光の発光量Li(図5参照)を、メモリ1aの発光記憶部1alから読み出す。そのために発光量Liは、各検出フレームFSでの調整毎に発光記憶部1alに記憶される。尚、以下の説明では、今回の検出フレームFSを単に今回フレームFS、また前回の検出フレームFSを単に前回フレームFS、というものとする。
 解像度設定部120は、読み出した前回フレームFSでの強度画像IDにおいて各区分エリアα毎に含まれる複数画素PIの受光強度と、読み出した前回フレームFSでの各区分エリアα毎の発光量Liとに基づき、今回フレームFSにおける環境光量Lcを予測する。解像度設定部120は、こうして各区分エリアα毎に予測される環境光量Lcに基づくことで、当該予測光量Lcが明環境範囲Rb内となる区分エリアαを、図16,17の如く今回フレームFSでの明環境エリアαbと識別する。一方で解像度設定部120は、予測光量Lcが暗環境範囲Rd内となる区分エリアαを、図15,17の如く今回フレームFSでの暗環境エリアαdと識別する。尚、図16は、検出エリアAL全域が明環境エリアαbとなる場合、また図15は、検出エリアAL全域が暗環境エリアαdとなる場合を、それぞれ示している。
 ここで、解像度設定部120における暗環境範囲Rdと明環境範囲Rbとは、閾光量を境界として定義される。この定義下では、暗環境範囲Rdが閾光量以下且つ明環境範囲Rbが閾光量超過、又は暗環境範囲Rdが閾光量未満且つ明環境範囲Rbが閾光量以上に、規定される。また閾光量は、例えば夜間及び暗所等において区分エリア内画素PIに対応する全受光要素46の受光光量として、照明光なしでの物標観測には不足することになる光量を踏まえて、規定される。
 図6に示す解像度設定部120は、今回フレームFSにおいて強度画像II及び距離画像IDが順次取得されるのに先立ち、それら画像II,IDの今回フレームFSでの解像度を、設定する。具体的に解像度設定部120は、図9,11,16,17の如く明環境エリアαbに対しては、今回フレームFSにおける強度画像IIの解像度を、今回フレームFSにおける距離画像IDの解像度以上に、設定する。そこで解像度設定部120は、縦方向及び横方向における各サイズSI,SDについて、vを1以上の実数変数として、明環境サイズ条件式v・SI≦SDを満たすように、解像度設定をする。
 一方で解像度設定部120は、図10,11,15,17の如く暗環境エリアαdに対しては、今回フレームFSにおける強度画像IIの解像度を、今回フレームFSにおける距離画像IDの解像度以上、且つ明環境エリアαbに対する場合の解像度以下に設定する。そこで解像度設定部120は、縦方向及び横方向における各サイズSI,SDについて、vを1以上の実数変数として、暗環境サイズ条件式v・SI=SDを満たすように、解像度設定をする。ここで、特にv=1の場合はSI=SDを満たすように、強度画像II及び距離画像IDの解像度が設定される。即ち、v=1の場合における強度画像IIの解像度は、距離画像IDの解像度と等しく設定されることになる。
 尚、このような解像度設定部120による解像度設定においては、固定のサイズSDに対して、又は予測の環境光量Lcに応じた可変のサイズSDに対して、上述のサイズ条件式を満たすようにサイズSIが可変設定されてもよい。あるいは、解像度設定部120による解像度設定においては、予測の環境光量Lcに応じた可変のサイズSIに対して、上述のサイズ条件式を満たす固定又は可変のサイズSDが、設定されてもよい。
 図6に示す発光量調整部130は、今回フレームFSにおいて強度画像II及び距離画像IDが順次取得されるのに先立ち、今回フレームFSでの走査ミラー32の回転に応じて各区分エリアα毎に投射される照明光の、発光量Liを調整する。具体的に発光量調整部130は、解像度設定部120により識別された明環境エリアαbに対する照明光の発光量Liを、零に調整する。このとき発光量調整部130は、発光回数Lnを零に設定する。尚、図15の如く検出エリアAL全域が暗環境エリアαdとなる場合には、明環境エリアαbに対する発光量Liの調整はスキップされる。
 一方で発光量調整部130は、解像度設定部120により識別された暗環境エリアαdに対する照明光の発光量Liを、解像度設定部120により予測された暗環境範囲Rd内の環境光量Lcと、解像度設定部120によりサイズSIの設定された強度画像IIの解像度とに応じて、調整する。尚、図16の如く検出エリアAL全域が明環境エリアαbとなる場合には、暗環境エリアαdに対する発光量Liの調整はスキップされる。
 発光量調整部130は、強度画像IIの設定解像度に対して、暗環境範囲Rd内での環境光量Lcの不足を補完するように、暗環境エリアαdへの発光量Liを調整する。このとき、強度画像IIが取得される今回フレームFSに対して、図5に示す発光回数Ln及び発光パワーLpのうち少なくとも一方が調整される。ここで特に本実施形態では、まず、解像度設定部120により設定された解像度の強度画像IIにおいて、暗環境エリア内画素PIに対応する全受光要素46の受光光量として、物標観測に必要な必要受光光量Lrが取得される。そこで発光量Liは、解像度設定部120により予測された暗環境範囲Rd内での環境光量Lcとの総和が、発光量調整部130により取得された必要受光光量Lr以上となるように、可変設定される。即ち発光量Liは、暗環境発光条件式Li+Lc≧Lrを満たすように、調整される。
 但し、発光量調整部130によって調整される発光量Liは、上述の暗環境発光条件式を満たす限りにおいて、暗環境エリア内画素PIに対応する各受光要素46の受光強度が飽和強度以下となるように、制限される。そのために、暗環境エリア内画素PIに対応する各受光要素46の受光強度が飽和強度以下となる範囲での必要受光光量Lrが、発光量Liの調整に当たって取得されることとなる。ここで飽和強度とは、各受光要素46の受光強度に関する上限値を意味する。例えば各受光要素46を構成する受光素子がSPADである場合、各受光要素46におけるSPADの応答数に応じた受光強度が取得されることから、飽和強度とは各受光要素46におけるSPADの総数に応じた受光強度となる。
 こうした発光量Liの調整に当たっては、発光時間間隔tは固定される前提下、暗環境発光条件式Li+Lc≧Lrを満たす発光量Liと、デフォルトの発光パワーLpに対する乗算により図5の如く当該発光量Liを与える発光回数Lnとが、演算される。その結果、発光回数Lnと発光時間間隔tとの乗算値となる発光期間TLが強度画像取得期間TI以下(即ち、TL≦TI)となる場合には、発光回数Ln及び発光パワーLpが確定される。一方で、発光期間TLが強度画像取得期間TI超過(即ち、TL>TI)となる場合には、発光パワーLpが所定量インクリメント(即ち、増大)されることで、Li+Lc≧Lr且つTL≦TIが満たされるまで、発光量Li及び発光回数Lnの再演算が繰り返される。
 図6に示す物標観測部140は、今回フレームFSに取得された強度画像IIに基づく画像認識処理により、検出エリアAL内において観測される観測対象物標を、複数特定する。物標観測部140は、車両5から各観測対象物標までの離間距離を、今回フレームFSに取得された距離画像IDから抽出する。このとき、画像II,ID間において観測対象物標に対応する受光要素46同士のマッチングにより、距離画像IDにおいて当該受光要素46に対応する離間距離の値が、抽出される。こうして抽出された離間距離は、例えば車両5の運転制御に関わるECU等へ与えられることで、自動制御運転モードを含む車両5の運転制御に活用可能となる。
 ここまで説明した距離画像取得部100、強度画像取得部110、解像度設定部120、発光量調整部130、及び物標観測部140の共同により、センサ制御装置1が光学センサ10を制御するセンサ制御方法のフロー(以下、制御フローという)を、図18に従って以下に説明する。本制御フローは、検出フレームFS毎に繰り返し実行される。尚、本制御フローにおける各「S」は、センサ制御プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味する。
 S101において解像度設定部120は、前回フレームFSでの強度画像IIにおいて各区分エリアα毎に、含まれる複数画素PIの受光強度と、前回フレームFSでの照明光の発光量Liとに基づき、今回フレームFSでの環境光量Lcを予測する。S102において解像度設定部120は、S101での予測光量Lcが明環境範囲Rb内の明環境エリアαbと、当該予測光量Lcが暗環境範囲Rd内の暗環境エリアαdとを、それぞれ識別する。
 S103において解像度設定部120は、今回フレームFSにおける強度画像IIの解像度及び距離画像IDの解像度を、それぞれ設定する。このとき解像度設定部120は、S102により明環境エリアαbが識別された場合に当該識別エリアαbに対しては、今回フレームFSにおける強度画像IIの解像度を、今回フレームFSにおける距離画像IDの解像度以上に、設定する。一方で解像度設定部120は、S102により暗環境エリアαdが識別された場合に当該識別エリアαdに対しては、今回フレームFSにおける強度画像IIの解像度を、今回フレームFSにおける距離画像IDの解像度以上、且つ明環境エリアαbに対する場合の解像度以下に設定する。
 S104において発光量調整部130は、今回フレームFSに走査ミラー32の回転に応じて各区分エリアα毎に投射される照明光の、発光量Liを調整する。このとき発光量調整部130は、S102により明環境エリアαbが識別された場合に当該識別エリアαbに対しては、発光量Liを零に調整する。一方で発光量調整部130は、S102により暗環境エリアαdが識別された場合に当該識別エリアαdに対する照明光の発光量Liを、S101により予測された暗環境範囲Rd内の環境光量Lcと、S103により設定された強度画像IIの解像度に応じて、調整する。
 S105において強度画像取得部110は、強度画像取得期間TIに照明光パルスを断続的に照射させることで、強度画像IIを取得する。このとき強度画像取得部110は、S104により調整された発光量Liとなるように、照明光パルスの発光回数Ln及び発光パワーLpを制御する。S106において距離画像取得部100は、距離画像取得期間TDに照射光パルスの所定回数を照射させることで、距離画像IDを取得する。S107において物標観測部140は、S105により取得された強度画像IIに基づき観測される観測対象物標までの離間距離を、S106により取得された距離画像IDから抽出する。以上により、今回フレームFSでの本制御フローが終了する。
 (作用効果)
 以上説明した第一実施形態の作用効果を、以下に説明する。
 第一実施形態の検出エリアALからの反射光検出によると、検出エリアALに存在する物標までの離間距離を表す距離画像IDと、検出エリアALからの受光強度を表す強度画像IIとが、取得される。そこで検出エリアALのうち、環境光量Lcが暗環境範囲Rd内となる暗環境エリアαdに対しては、強度画像IIの解像度が距離画像IDの解像度以上に設定されることに加え、それら暗環境範囲Rd内での環境光量Lc及び強度画像IIの解像度に応じて照明光の発光量Liが調整される。これによれば、強度画像IIの解像度を高めても、環境光量Lcの不足する暗環境エリアαdに対して当該解像度に適した発光量Liが反映され得る強度画像IIでは、受光強度不足を解消することができる。故に、検出能力として強度画像IIにおける物標の分解能を、高めることが可能である。
 第一実施形態によると、暗環境範囲Rd内での環境光量Lcの不足を補完するように、暗環境エリアαdに対する発光量Liが調整される。これによれば、発光量Liを適正化して強度画像IIにおける受光強度不足を、暗環境エリアαdに対して解消することができる。故に、高い物標分解能の確保に貢献することが可能となる。
 第一実施形態によると、受光強度が飽和強度以下となるように、暗環境エリアαdに対する発光量Liが調整される。これによれば、発光量Liを適正化して強度画像IIにおける受光強度の飽和を、暗環境エリアαdに対して予防することができる。故に、高い物標分解能の確保に貢献することが可能となる。
 第一実施形態によると、強度画像IIを取得する今回フレームFSでの、暗環境エリアαdに対する照明光の発光パワーLpが調整される。このような発光パワーLpの調整によれば、発光量Liを適正化して強度画像IIにおける受光強度不足を、暗環境エリアαdに対して解消することができる。故に、高い物標分解能の確保に貢献することが可能となる。
 第一実施形態によると、強度画像IIを取得する今回フレームFSでの、暗環境エリアαdに対する照明光の発光回数Lnが調整される。このような発光回数Lnの調整によれば、発光量Liを適正化して強度画像IIにおける受光強度不足を、暗環境エリアαdに対して解消することができる。故に、高い物標分解能の確保に貢献することが可能となる。
 第一実施形態によると、検出エリアALのうち、環境光量Lcが明環境範囲Rb内となる明環境エリアαbに対しては、強度画像IIの解像度が距離画像IDの解像度以上に設定されることに加え、照明光の発光量Liが零に調整される。これによれば、環境光量Lcを自然に確保し得る明環境エリアαbには、照明光なしでも強度画像IIの高い解像度によって、高い物標分解能を確保することが可能となる。
 第一実施形態によると、暗環境エリアαdに対しては、強度画像IIの解像度が距離画像IDの解像度以上、且つ明環境エリアαbに対する場合の解像度以下に設定され、それに応じて照明光の発光量Liが調整されることになる。これによれば、強度画像IIの解像度を暗環境エリアαdに合わせて可及的に高めつつも、当該解像度に適した発光量Liが暗環境エリアαdに対して反映され得る強度画像IIにおいて、受光強度不足を解消することができる。故に、高い物標分解能の確保に貢献することが可能となる。
 第一実施形態によると、暗環境エリアαdに対しては、強度画像IIの解像度が距離画像IDの解像度と等しく設定され、それに応じて照明光の発光量Liが調整されてもよい。これによれば、強度画像IIの解像度を必要最小限に高めつつも、当該解像度に適した発光量Liが暗環境エリアαdに対して反映され得る強度画像IIにおいて、受光強度不足を解消することができる。故に、高い物標分解能の確保に貢献することが可能となる。
 第一実施形態によると、強度画像IIを取得した前回フレームFSでの受光強度及び発光量Liに基づき、強度画像IIを取得する今回フレームFSでの暗環境範囲Rd内の環境光量Lcが予測される。これによれば、予測の環境光量Lcに応じた発光量Liを適正に調整して、強度画像IIにおける受光強度不足を暗環境エリアαdに対して解消することができる。故に、高い物標分解能の確保に貢献することが可能となる。
 第一実施形態によると、強度画像IIに基づき観測される物標までの、離間距離が距離画像IDから取得される。これによれば、強度画像IIに基づき高分解能で観測され得る物標に関して、離間距離を正確に取得することができるので、当該物標分解能だけでなく、距離精度も含めて検出能力を高めることが可能となる。
 (第二実施形態)
 図19,20に示すように第二実施形態は、第一実施形態の変形例である。
 第二実施形態の制御フローにおいてS105に代わるS2105では、S104の発光量調整部130により調整された発光量Liを、強度画像取得部2110が取得する。その結果、光学センサ10における投光器22の性能上(即ち、仕様上)での発光上限量Lmを調整発光量Liは超過した暗環境エリアαdの存在する場合にS2105において強度画像取得部2110は、CL=Lr/(Lm+Lc)にて表される補正係数CLを、強度画像IIにおける当該暗環境エリアαdからの受光強度に乗算することで、補正された強度画像IIを取得する。尚、検出エリアAL全域に対して発光量Liが発光上限量Lm以下に調整された場合のS2105において強度画像取得部2110は、こうした補正なしに強度画像IIを取得する。
 このように第二実施形態によると、距離画像ID以上の解像度設定と発光量Liの調整とでは、強度画像IIの取得における環境光量Lcの不足が光学センサ10の性能限界に起因して補完しきれない状況が、懸念される。しかし、こうした懸念状況として、暗環境エリアαdに対する調整発光量Liが光学センサ10の発光上限量Lmを超過することになっても、第二実施形態により取得の強度画像IIにおいて暗環境エリアαdからの受光強度は、当該発光上限量Lmに基づき補正され得る。故に、強度画像IIにおける受光強度不足を画像データ上で補償して、高い物標分解能の確保に貢献することが可能となる。
 (第三実施形態)
 図21,22に示すように第三実施形態は、第一実施形態の変形例である。
 第三実施形態の制御フローにおいてS104に続くS3104では、S104の発光量調整部130により調整された発光量Liを、解像度設定部3120が取得する。その結果、光学センサ10における投光器22の性能上(即ち、仕様上)での発光上限量Lmを調整発光量Liが超過した暗環境エリアαdの存在する場合には、制御フローがS3104から、S103に代わるS3103へと戻る。こうして戻った場合のS3103において解像度設定部3120は、発光上限量Lm超過に発光量Liが調整された暗環境エリアαdに対して、強度画像IIにおける縦方向及び横方向での各サイズSIを、Lm+Lc=Lr及びLr∝SIの関係式に従って補正することで、強度画像IIの解像度を再設定する。これにより、強度画像IIの解像度を再設定したS3103に続くS104では、発光量Liが発光上限量Lmに調整される。尚、検出エリアAL全域に対して発光量Liが発光上限量Lm以下に調整された場合のS104からは、制御フローがS105へとそのまま進むこととなる。
 このような第三実施形態によると、距離画像ID以上の解像度設定と発光量Liの調整とでは、強度画像IIの取得における環境光量Lcの不足が光学センサ10の性能限界に起因して補完しきれない状況が、懸念される。しかし、こうした懸念状況として、暗環境エリアαdに対する調整発光量Liが光学センサ10の発光上限量Lmを超過することになっても、第三実施形態による強度画像IIの取得前に暗環境エリアαdに対しての解像度は、当該発光上限量Lmに基づき再設定され得る。これによれば、強度画像IIにおける受光強度不足を抑えて、高い物標分解能の確保に貢献することが可能となる。
 (他の実施形態)
 以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
 変形例においてセンサ制御装置1を構成する専用コンピュータは、デジタル回路、及びアナログ回路のうち、少なくとも一方をプロセッサとして含んでいてもよい。ここでデジタル回路とは、例えばASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)、及びCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを記憶したメモリを、有していてもよい。
 変形例の強度画像取得期間TIにおいて照明光を投射する投光器は、距離画像取得期間TDにおいて照明光を投射する投光器22とは、別に設けられていてもよい。変形例の各検出フレームFSにおいて、距離画像取得期間TDよりも後に強度画像取得期間TIが設定されてもよく、それに応じてS106の後にS105が実行されてもよい。変形例において、物標観測部140及びS107は省かれてもよい。
 変化例による暗環境エリアαdに対しての発光量Liの調整では、まず、発光パワーLpが固定される前提下、Li+Lc≧Lrを満たす発光量Liと、デフォルトの発光時間間隔tにて当該発光量Liを与える発光回数Lnとが、演算されてもよい。その結果、発光回数Ln及び発光時間間隔tに基づく発光期間TLが強度画像取得期間TI以下(即ち、TL≦TI)となる場合には、発光回数Ln及び発光時間間隔tが確定されるとよい。一方で、発光期間TLが強度画像取得期間TI超過(即ち、TL>TI)となる場合には、発光時間間隔tが所定量デクリメント(即ち、減少)されることで、Li+Lc≧Lr且つTL≦TIが満たされるまで、発光量Li及び発光回数Lnの再演算が繰り返されるとよい。
 変化例による暗環境エリアαdに対しての発光量Liの調整では、まず、Li+Lc≧Lrを満たす発光量Liと、デフォルトの発光パワーLp及びデフォルトの発光時間間隔tで当該発光量Liを与える発光回数Lnとが、演算されてもよい。その結果、発光回数Ln及び発光時間間隔tに基づく発光期間TLが強度画像取得期間TI以下(即ち、TL≦TI)となる場合には、発光回数Ln、発光パワーLp及び発光時間間隔tが確定されるとよい。一方で、発光回数Ln及び発光時間間隔tに基づく発光期間TLが強度画像取得期間TI超過(即ち、TL>TI)となる場合には、発光パワーLpの所定量インクリメントと発光時間間隔tの所定量デクリメントとのうち少なくとも一方により、Li+Lc≧Lr且つTL≦TIが満たされるまで、発光量Li及び発光回数Lnの再演算が繰り返されるとよい。
 変化例の解像度設定部120,3120及びS101において環境光量Lcは、例えば照明光の非発光時における受光強度等に基づき、直接的に取得されてもよい。変化例の解像度設定部120,3120及びS103,S3103において、暗環境エリアαdに対する強度画像IIの解像度は、明環境エリアαbに対する場合の解像度以上に設定されてもよい。変形例の解像度設定部120,3120及びS102においては、検出エリアAL全域を単一の区分エリアαとして、明環境エリアαb及び暗環境エリアαdの識別が実行されてもよい。
 変化例では、強度画像IIが物標の検出以外の目的、例えば暗環境エリアαdにおける物標の分布、及び物標のうち反射強度が顕著に高い強反射物の存在等のうち、少なくとも一種類を事前把握する目的から、取得されてもよい。そこで変形例の解像度設定部120,3120及びS103,3103において、物標検出の目的に利用されるタイミングでの強度画像IIの解像度は上述の各実施形態に準じて距離画像IDの解像度以上に設定される一方、物標検出以外の目的に利用される強度画像IIの解像度は距離画像IDの解像度未満に設定されてもよい。
 (付言)
 本明細書には、以下に列挙する複数の技術的思想と、それらの複数の組み合わせが開示されている。
 (技術的思想1)
 プロセッサ(1b)を有し、車両(5)の外界に設定される検出エリア(AL)へ照明光を投射し、検出エリアからの反射光を検出する光学センサ(10)を、制御するセンサ制御装置(1)であって、
 プロセッサは、
 光学センサにより検出された反射光に基づく物理量として、検出エリアに存在する物標までの離間距離を表す距離画像(ID)を、取得することと、
 光学センサにより検出された反射光に基づく物理量として、検出エリアからの受光強度を表す強度画像(II)を、取得することと、
 検出エリアのうち、環境光量(Lc)が暗環境範囲(Rd)内となる暗環境エリア(αd)に対して、強度画像の解像度を距離画像の解像度以上に設定することと、
 暗環境エリアに対する照明光の発光量(Li)を、暗環境範囲内の環境光量及び強度画像の解像度に応じて調整することとを、
 実行するように構成されるセンサ制御装置。
 (技術的思想2)
 暗環境エリアに対する発光量を調整することは、
 暗環境範囲内での環境光量の不足を補完するように、暗環境エリアに対する発光量を調整することを、含む技術的思想1に記載のセンサ制御装置。
 (技術的思想3)
 暗環境エリアに対する発光量を調整することは、
 受光強度が飽和強度以下となるように、暗環境エリアに対する発光量を調整することを、含む技術的思想2に記載のセンサ制御装置。
 (技術的思想4)
 暗環境エリアに対する発光量を調整することは、
 強度画像を取得する今回フレームでの、暗環境エリアに対する照明光の発光回数を調整することを、含む技術的思想1~3のいずれか一項に記載のセンサ制御装置。
 (技術的思想5)
 暗環境エリアに対する発光量を調整することは、
 強度画像を取得する今回フレームでの、暗環境エリアに対する照明光の発光パワーを調整することを、含む技術的思想1~4のいずれか一項に記載のセンサ制御装置。
 (技術的思想6)
 検出エリアのうち、環境光量が明環境範囲(Rb)内となる明環境エリア(αb)に対して、強度画像の解像度を距離画像の解像度以上に設定することと、
 明環境エリアに対する照明光の発光量を、零に調整することとを、
 さらに実行するように構成される技術的思想1~5のいずれか一項に記載のセンサ制御装置。
 (技術的思想7)
 強度画像の解像度を設定することは、
 暗環境エリアに対して、強度画像の解像度を距離画像の解像度以上、且つ明環境エリアに対する場合の解像度以下に設定することを含む技術的思想6に記載のセンサ制御装置。
 (技術的思想8)
 強度画像の解像度を設定することは、
 暗環境エリアに対して、強度画像の解像度を距離画像の解像度と等しく設定することを、含む技術的思想1~7のいずれか一項に記載のセンサ制御装置。
 (技術的思想9)
 強度画像の解像度を設定することは、
 強度画像を取得した前回フレームでの受光強度及び発光量に基づき、強度画像を取得する今回フレームでの暗環境範囲内の環境光量を予測することを、含む技術的思想1~8のいずれか一項に記載のセンサ制御装置。
 (技術的思想10)
 強度画像に基づき観測される物標までの、離間距離を距離画像から抽出することを、
 さらに実行するように構成される技術的思想1~9のいずれか一項に記載のセンサ制御装置。
 (技術的思想11)
 強度画像を取得することは、
 暗環境エリアに対して調整された発光量が光学センサの発光上限量(Lm)を超過する場合に、当該発光上限量に基づき強度画像の受光強度を補正することを、含む技術的思想1~10のいずれか一項に記載のセンサ制御装置。
 (技術的思想12)
 強度画像の解像度を設定することは、
 暗環境エリアに対して調整された発光量が光学センサの発光上限量(Lm)を超過する場合に、当該発光上限量に基づき強度画像の解像度を再設定することを、含む技術的思想1~11のいずれか一項に記載のセンサ制御装置。
 (技術的思想13)
 車両(5)の外界に設定される検出エリア(AL)へ照明光を投射し、検出エリアからの反射光を検出する光学センサ(10)を、制御するためにプロセッサ(1b)により実行されるセンサ制御方法であって、
 光学センサにより検出された反射光に基づく物理量として、検出エリアに存在する物標までの離間距離を表す距離画像(ID)を、取得することと、
 光学センサにより検出された反射光に基づく物理量として、検出エリアからの受光強度を表す強度画像(II)を、取得することと、
 検出エリアのうち、環境光量(Lc)が暗環境範囲(Rd)内となる暗環境エリア(αd)に対して、強度画像の解像度を距離画像の解像度以上に設定することと、
 暗環境エリアに対する照明光の発光量(Li)を、暗環境範囲内の環境光量及び強度画像の解像度に応じて調整することとを、
 含むセンサ制御方法。
 (技術的思想14)
 記憶媒体(1a)に記憶され、車両(5)の外界に設定される検出エリア(AL)へ照明光を投射し、検出エリアからの反射光を検出する光学センサ(10)を、制御するためにプロセッサ(1b)に実行させる命令を含むセンサ制御プログラムであって、
 命令は、
 光学センサにより検出された反射光に基づく物理量として、検出エリアに存在する物標までの離間距離を表す距離画像(ID)を、取得させることと、
 光学センサにより検出された反射光に基づく物理量として、検出エリアからの受光強度を表す強度画像(II)を、取得させることと、
 検出エリアのうち、環境光量(Lc)が暗環境範囲(Rd)内となる暗環境エリア(αd)に対して、強度画像の解像度を距離画像の解像度以上に設定させることと、
 暗環境エリアに対する照明光の発光量(Li)を、暗環境範囲内の環境光量及び強度画像の解像度に応じて調整させることとを、
 を含むセンサ制御プログラム。

Claims (14)

  1.  プロセッサ(1b)を有し、車両(5)の外界に設定される検出エリア(AL)へ照明光を投射し、前記検出エリアからの反射光を検出する光学センサ(10)を、制御するセンサ制御装置(1)であって、
     前記プロセッサは、
     前記光学センサにより検出された前記反射光に基づく物理量として、前記検出エリアに存在する物標までの離間距離を表す距離画像(ID)を、取得することと、
     前記光学センサにより検出された前記反射光に基づく物理量として、前記検出エリアからの受光強度を表す強度画像(II)を、取得することと、
     前記検出エリアのうち、環境光量(Lc)が暗環境範囲(Rd)内となる暗環境エリア(αd)に対して、前記強度画像の解像度を前記距離画像の解像度以上に設定することと、
     前記暗環境エリアに対する前記照明光の発光量(Li)を、前記暗環境範囲内の前記環境光量及び前記強度画像の解像度に応じて調整することとを、
     実行するように構成されるセンサ制御装置。
  2.  前記暗環境エリアに対する前記発光量を調整することは、
     前記暗環境範囲内での前記環境光量の不足を補完するように、前記暗環境エリアに対する前記発光量を調整することを、含む請求項1に記載のセンサ制御装置。
  3.  前記暗環境エリアに対する前記発光量を調整することは、
     前記受光強度が飽和強度以下となるように、前記暗環境エリアに対する前記発光量を調整することを、含む請求項2に記載のセンサ制御装置。
  4.  前記暗環境エリアに対する前記発光量を調整することは、
     前記強度画像を取得する今回フレームでの、前記暗環境エリアに対する前記照明光の発光回数を調整することを、含む請求項1~3のいずれか一項に記載のセンサ制御装置。
  5.  前記暗環境エリアに対する前記発光量を調整することは、
     前記強度画像を取得する今回フレームでの、前記暗環境エリアに対する前記照明光の発光パワーを調整することを、含む請求項1~3のいずれか一項に記載のセンサ制御装置。
  6.  前記検出エリアのうち、前記環境光量が明環境範囲(Rb)内となる明環境エリア(αb)に対して、前記強度画像の解像度を前記距離画像の解像度以上に設定することと、
     前記明環境エリアに対する前記照明光の前記発光量を、零に調整することとを、
     さらに実行するように構成される請求項1~3のいずれか一項に記載のセンサ制御装置。
  7.  前記強度画像の解像度を設定することは、
     前記暗環境エリアに対して、前記強度画像の解像度を前記距離画像の解像度以上、且つ前記明環境エリアに対する場合の解像度以下に設定することを含む請求項6に記載のセンサ制御装置。
  8.  前記強度画像の解像度を設定することは、
     前記暗環境エリアに対して、前記強度画像の解像度を前記距離画像の解像度と等しく設定することを、含む請求項1~3のいずれか一項に記載のセンサ制御装置。
  9.  前記強度画像の解像度を設定することは、
     前記強度画像を取得した前回フレームでの前記受光強度及び前記発光量に基づき、前記強度画像を取得する今回フレームでの前記暗環境範囲内の前記環境光量を予測することを、含む請求項1~3のいずれか一項に記載のセンサ制御装置。
  10.  前記強度画像に基づき観測される前記物標までの、前記離間距離を前記距離画像から抽出することを、
     さらに実行するように構成される請求項1~3のいずれか一項に記載のセンサ制御装置。
  11.  前記強度画像を取得することは、
     前記暗環境エリアに対して調整された前記発光量が前記光学センサの発光上限量(Lm)を超過する場合に、前記強度画像における前記暗環境エリアからの前記受光強度を当該発光上限量に基づき補正することを、含む請求項1~3のいずれか一項に記載のセンサ制御装置。
  12.  前記強度画像の解像度を設定することは、
     前記暗環境エリアに対して調整された前記発光量が前記光学センサの発光上限量(Lm)を超過する場合に、前記強度画像における前記暗環境エリアに対しての解像度を当該発光上限量に基づき再設定することを、含む請求項1~3のいずれか一項に記載のセンサ制御装置。
  13.  車両(5)の外界に設定される検出エリア(AL)へ照明光を投射し、前記検出エリアからの反射光を検出する光学センサ(10)を、制御するためにプロセッサ(1b)により実行されるセンサ制御方法であって、
     前記光学センサにより検出された前記反射光に基づく物理量として、前記検出エリアに存在する物標までの離間距離を表す距離画像(ID)を、取得することと、
     前記光学センサにより検出された前記反射光に基づく物理量として、前記検出エリアからの受光強度を表す強度画像(II)を、取得することと、
     前記検出エリアのうち、環境光量(Lc)が暗環境範囲(Rd)内となる暗環境エリア(αd)に対して、前記強度画像の解像度を前記距離画像の解像度以上に設定することと、
     前記暗環境エリアに対する前記照明光の発光量(Li)を、前記暗環境範囲内の前記環境光量及び前記強度画像の解像度に応じて調整することとを、
     含むセンサ制御方法。
  14.  記憶媒体(1a)に記憶され、車両(5)の外界に設定される検出エリア(AL)へ照明光を投射し、前記検出エリアからの反射光を検出する光学センサ(10)を、制御するためにプロセッサ(1b)に実行させる命令を含むセンサ制御プログラムであって、
     前記命令は、
     前記光学センサにより検出された前記反射光に基づく物理量として、前記検出エリアに存在する物標までの離間距離を表す距離画像(ID)を、取得させることと、
     前記光学センサにより検出された前記反射光に基づく物理量として、前記検出エリアからの受光強度を表す強度画像(II)を、取得させることと、
     前記検出エリアのうち、環境光量(Lc)が暗環境範囲(Rd)内となる暗環境エリア(αd)に対して、前記強度画像の解像度を前記距離画像の解像度以上に設定させることと、
     前記暗環境エリアに対する前記照明光の発光量(Li)を、前記暗環境範囲内の前記環境光量及び前記強度画像の解像度に応じて調整させることとを、
     含むセンサ制御プログラム。
PCT/JP2022/018846 2021-05-26 2022-04-26 センサ制御装置、センサ制御方法、センサ制御プログラム WO2022249838A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021088763 2021-05-26
JP2021-088763 2021-05-26
JP2022-067211 2022-04-14
JP2022067211A JP2022183018A (ja) 2021-05-26 2022-04-14 センサ制御装置、センサ制御方法、センサ制御プログラム

Publications (1)

Publication Number Publication Date
WO2022249838A1 true WO2022249838A1 (ja) 2022-12-01

Family

ID=84228743

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018846 WO2022249838A1 (ja) 2021-05-26 2022-04-26 センサ制御装置、センサ制御方法、センサ制御プログラム

Country Status (1)

Country Link
WO (1) WO2022249838A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039279A1 (ja) * 2017-08-22 2019-02-28 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
US20200025889A1 (en) * 2018-07-20 2020-01-23 Hyundai Mobis Co., Ltd. Lidar system and operating method thereof
CN111722621A (zh) * 2019-03-04 2020-09-29 科沃斯机器人股份有限公司 自移动设备的控制方法、装置、设备及计算机可读存储介质
JP2020165677A (ja) * 2019-03-28 2020-10-08 株式会社デンソー 測距装置
WO2021075404A1 (ja) * 2019-10-16 2021-04-22 株式会社デンソー 車載の異常検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039279A1 (ja) * 2017-08-22 2019-02-28 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
US20200025889A1 (en) * 2018-07-20 2020-01-23 Hyundai Mobis Co., Ltd. Lidar system and operating method thereof
CN111722621A (zh) * 2019-03-04 2020-09-29 科沃斯机器人股份有限公司 自移动设备的控制方法、装置、设备及计算机可读存储介质
JP2020165677A (ja) * 2019-03-28 2020-10-08 株式会社デンソー 測距装置
WO2021075404A1 (ja) * 2019-10-16 2021-04-22 株式会社デンソー 車載の異常検出装置

Similar Documents

Publication Publication Date Title
JP6536984B2 (ja) 測距撮像システム、固体撮像素子及び測距撮像方法
KR20190049871A (ko) Lidar 시스템 및 방법
CN113227839A (zh) 具有结构光照明器的飞行时间传感器
WO2020075525A1 (ja) センサフュージョンシステム、同期制御装置、及び同期制御方法
WO2021019906A1 (ja) 測距装置、情報処理方法、および情報処理装置
WO2021095382A1 (ja) センシングデバイスおよび情報処理装置
EP4196368A1 (en) Apparatus, system and method for controlling lighting using gated imaging
CN111587381A (zh) 调整扫描元件运动速度的方法及测距装置、移动平台
WO2022249838A1 (ja) センサ制御装置、センサ制御方法、センサ制御プログラム
JP2022183018A (ja) センサ制御装置、センサ制御方法、センサ制御プログラム
WO2023042637A1 (ja) 制御装置、制御方法、制御プログラム
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
US20220207884A1 (en) Object recognition apparatus and object recognition program product
JP7338455B2 (ja) 物体検出装置
WO2023079944A1 (ja) 制御装置、制御方法、制御プログラム
WO2023074207A1 (ja) 制御装置、制御方法、制御プログラム
WO2023074208A1 (ja) 制御装置、制御方法、制御プログラム
WO2023074206A1 (ja) 制御装置、制御方法、制御プログラム
WO2024004582A1 (ja) 制御装置、センシングシステム、制御方法、制御プログラム
JP2023048113A (ja) 制御装置、制御方法、制御プログラム
JP7452044B2 (ja) 光検出装置
WO2024111239A1 (ja) 制御装置、光学検出システム、制御方法、制御プログラム
JP7372205B2 (ja) 電磁波検出装置および測距装置
WO2023224078A1 (ja) 車載センシングシステムおよび縁石の検出方法
JP2023180129A (ja) センサ制御装置、センサ制御方法、センサ制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22811112

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22811112

Country of ref document: EP

Kind code of ref document: A1