WO2022186225A1 - 電磁波検出装置及び移動体 - Google Patents

電磁波検出装置及び移動体 Download PDF

Info

Publication number
WO2022186225A1
WO2022186225A1 PCT/JP2022/008671 JP2022008671W WO2022186225A1 WO 2022186225 A1 WO2022186225 A1 WO 2022186225A1 JP 2022008671 W JP2022008671 W JP 2022008671W WO 2022186225 A1 WO2022186225 A1 WO 2022186225A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
electromagnetic wave
detection
incident
detection device
Prior art date
Application number
PCT/JP2022/008671
Other languages
English (en)
French (fr)
Inventor
浩希 岡田
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to CN202280018539.2A priority Critical patent/CN116964475A/zh
Priority to EP22763279.1A priority patent/EP4303613A1/en
Priority to US18/548,852 priority patent/US20240151835A1/en
Publication of WO2022186225A1 publication Critical patent/WO2022186225A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • G01V8/12Detecting, e.g. by using light barriers using one transmitter and one receiver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/15Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation specially adapted for use during transport, e.g. by a person, vehicle or boat
    • G01V3/17Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation specially adapted for use during transport, e.g. by a person, vehicle or boat operating with electromagnetic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/005Prospecting or detecting by optical means operating with millimetre waves, e.g. measuring the black losey radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S2007/4975Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93276Sensor installation details in the windshield area
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4004Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating

Definitions

  • the present disclosure relates to an electromagnetic wave detection device and a moving object.
  • the electromagnetic wave detection device includes an irradiation unit that emits electromagnetic waves in a plurality of different directions in space; an incident part on which electromagnetic waves from the space are incident, including reflected waves of the electromagnetic waves emitted by the irradiating part that are reflected by an object in the space; a first detection unit that detects at least the reflected wave that has entered the incident unit; a second detection unit that detects at least a portion of the electromagnetic wave incident on the incident unit; a control unit that determines whether or not there is an interference factor that hinders detection of the reflected wave by the first detection unit based on the detection result of the second detection unit.
  • a moving object is an irradiation unit that emits electromagnetic waves in a plurality of different directions in space; an incident part on which electromagnetic waves from the space are incident, including reflected waves of the electromagnetic waves emitted by the irradiating part that are reflected by an object in the space; a first detection unit that detects at least the reflected wave that has entered the incident unit; a second detection unit that detects at least a portion of the electromagnetic wave incident on the incident unit; a control unit that determines whether or not there is an interference factor that hinders detection of the reflected wave by the first detection unit based on the detection result of the second detection unit.
  • FIG. 1 is a configuration diagram showing a schematic configuration of an electromagnetic wave detection device according to an embodiment
  • FIG. FIG. 2 is a state diagram of the electromagnetic wave detection device for explaining traveling directions of electromagnetic waves in a first state and a second state of a switching element in a switching unit of the electromagnetic wave detection device of FIG. 1
  • 2 is a timing chart showing timings of radiation and detection of electromagnetic waves for explaining the principle of distance measurement by a distance measurement sensor constituted by the irradiation unit, the first detection unit, and the control unit of FIG. 1
  • FIG. 4 is a diagram showing an example of stains present in an image detected by a second detection unit in FIG. 1
  • FIG. 5 is a diagram for explaining a moving area and stains outside the moving area in the image of FIG. 4;
  • FIG. 5 is a diagram for explaining that, in the image of FIG. 4 , the threshold for comparison with the size of dirt differs depending on the distance from a specific position;
  • FIG. 2 is a side view of a moving object on which the electromagnetic wave detection device of FIG. 1 is mounted;
  • FIG. 2 is a flowchart for explaining disturbance factor detection processing executed by a control unit in FIG. 1;
  • FIG. FIG. 3 is a configuration diagram showing a schematic configuration of a modified example of the electromagnetic wave detection device according to the present embodiment;
  • an electromagnetic wave detection device 10 includes an irradiation unit 11, an incidence unit 12, a first detection unit 13, a second detection unit 14, and a control unit 15. ing.
  • dashed lines connecting each functional block indicate the flow of control signals or communicated information. Communication indicated by dashed lines may be wired communication or wireless communication. A solid line protruding from each functional block indicates a beam-shaped electromagnetic wave.
  • the irradiation unit 11 radiates electromagnetic waves in a plurality of different directions in space.
  • the irradiation unit 11 may change the irradiation position of the electromagnetic wave with which the object ob in the space is irradiated by radiating the electromagnetic wave in a plurality of different directions in the space.
  • the irradiating unit 11 may scan the object ob with the radiated electromagnetic waves.
  • the irradiation unit 11 may configure a scanning distance measuring sensor in cooperation with the first detection unit 13, which will be described later.
  • the irradiation unit 11 may scan the object ob in one-dimensional directions or two-dimensional directions. In this embodiment, the irradiation unit 11 scans the object ob in two-dimensional directions.
  • the irradiation unit 11 is configured such that at least part of the electromagnetic wave radiation area is included in the electromagnetic wave detection range of the electromagnetic wave detection device 10 . More specifically, the irradiation unit 11 is configured such that at least part of the irradiation area of the emitted electromagnetic waves is included in the detection range of the first detection unit 13 . Therefore, at least a part of the electromagnetic waves irradiated to the object ob can be detected by the first detection unit 13 .
  • the irradiation unit 11 uses, for example, the reflection unit 16 to radiate electromagnetic waves in a plurality of different directions within the space.
  • the reflecting unit 16 may reflect the electromagnetic waves emitted from the irradiation unit 11 while changing the direction thereof, thereby causing the electromagnetic waves emitted by the irradiation unit 11 to be emitted in a plurality of different directions in space.
  • the reflector 16 may change the direction in which the electromagnetic waves are reflected under the control of the controller 15, which will be described later.
  • the reflector 16 includes, for example, a MEMS (Micro Electro Mechanical Systems) mirror, a polygon mirror, a galvanomirror, and the like.
  • the irradiation unit 11 may emit at least one of infrared rays, visible rays, ultraviolet rays, and radio waves. In this embodiment, the irradiation unit 11 emits infrared rays.
  • the irradiating section 11 may radiate a beam-shaped electromagnetic wave with a narrow width, for example, 0.5°. Also, the irradiation unit 11 may emit electromagnetic waves in a pulsed manner.
  • the irradiation unit 11 may include an LED (Light Emitting Diode), an LD (Laser Diode), and the like. The irradiation unit 11 may switch between electromagnetic wave radiation and stop based on the control of the control unit 15, which will be described later.
  • the irradiation unit 11 may radiate electromagnetic waves into space without going through the incident unit 12 .
  • the irradiation unit 11 may, for example, provide a mirror or the like on the image side of the incidence unit 12 and radiate electromagnetic waves into space via the incidence unit 12 .
  • the electromagnetic waves from the space is incident on the incident part 12 .
  • the electromagnetic waves from the space may include reflected waves that are reflected by objects in the space from the electromagnetic waves emitted by the irradiation unit 11 .
  • An object in space may include an object ob.
  • the entrance section 12 may include, for example, at least one of a lens and a mirror, and form an image of an object ob, which is a subject.
  • the first detection unit 13 detects at least a reflected wave of the electromagnetic wave emitted by the irradiation unit 11, which is included in the electromagnetic wave incident on the incident unit 12 and reflected by an object in the space.
  • the first detection unit 13 may detect at least one electromagnetic wave of infrared rays, visible rays, ultraviolet rays, and radio waves.
  • the first detection unit 13 may detect electromagnetic waves in the same band as the electromagnetic waves emitted by the irradiation unit 11 .
  • the first detection unit 13 may transmit detection information indicating that the reflected wave from the object has been detected to the control unit 15 as a signal.
  • the first detection unit 13 includes an element that constitutes a distance measuring sensor.
  • the first detection unit 13 includes a single element such as an APD (Avalanche PhotoDiode), a PD (PhotoDiode), and a range-finding image sensor.
  • the first detection unit 13 may include an element array such as an APD array, a PD array, a ranging imaging array, and a ranging image sensor.
  • the reflected wave may enter the first detection unit 13 with various configurations.
  • the reflected wave may enter the first detection section 13 by separating the electromagnetic waves incident on the separation section 17 using the separation section 17 provided on the traveling path of the electromagnetic waves that have passed through the incident section 12 .
  • the separation unit 17 is provided between the incidence unit 12 and a primary imaging position, which is the position where the image of the object ob, which is separated from the incidence unit 12 at a predetermined position, is formed by the incidence unit 12. good.
  • the separation unit 17 may separate incident electromagnetic waves so as to travel in the first direction d1 and the second direction d2.
  • the first detector 13 may be configured to detect electromagnetic waves traveling in the first direction d1.
  • the separation unit 17 transmits a portion of the incident electromagnetic wave including at least the reflected wave in the first direction d1, and reflects another portion of the electromagnetic wave in the second direction d2. do.
  • the separation unit 17 may transmit part of the incident electromagnetic wave in the first direction d1 and transmit another part of the electromagnetic wave in the second direction d2. Further, the separation unit 17 may refract part of the incident electromagnetic wave in the first direction d1 and refract another part of the electromagnetic wave in the second direction d2.
  • the separation unit 17 is, for example, a half mirror, a beam splitter, a dichroic mirror, a cold mirror, a hot mirror, a metasurface, a deflection element, a prism, or the like.
  • a switching section 18 may be provided on the travel path of the electromagnetic wave from passing through the incidence section 12 to reaching the first detection section 13 .
  • the switching section 18 may be provided on the travel path of the electromagnetic wave that travels from the separation section 17 in the first direction d1.
  • the switching unit 18 switches the image of the object ob, which is separated from the incident unit 12 by a predetermined position, to the primary imaging position by the incident unit 12 in the second direction d2 from the separating unit 17 or in the vicinity of the primary imaging position, may be provided.
  • the switching section 18 may have an action surface as on which the electromagnetic wave that has passed through the incident section 12 and the separating section 17 is incident.
  • the acting surface as may be composed of a plurality of switching elements se arranged two-dimensionally.
  • the action surface as is a surface that causes an electromagnetic wave to have an action such as reflection or transmission in at least one of a first state and a second state, which will be described later.
  • the switching unit 18 can switch between a first state in which the electromagnetic wave incident on the action surface as travels in the third direction d3 and a second state in which the electromagnetic wave travels in the fourth direction d4 for each switching element se.
  • the switching section 18 may include a reflecting surface that reflects electromagnetic waves for each switching element se.
  • the switching section 18 may switch between the first state and the second state for each switching element se by changing the orientation of the reflecting surface for each switching element se.
  • the switching unit 18 may include, for example, a DMD (Digital Micro mirror Device).
  • the DMD can switch the reflective surface to either +12° or 12° tilted state with respect to the active surface as by driving the minute reflective surface that constitutes the active surface as for each switching element se.
  • the active surface as may be parallel to the plate surface of the substrate on which the minute reflecting surfaces of the DMD are placed.
  • the switching unit 18 may switch between the first state and the second state for each switching element se based on the control of the control unit 15, which will be described later. For example, as shown in FIG. 2, the switching unit 18 simultaneously switches a part of the switching elements se1 to the first state, thereby allowing the electromagnetic waves incident on the switching elements se1 to travel in the third direction d3. By switching another part of the switching elements se2 to the second state, the electromagnetic waves incident on the switching elements se2 can travel in the fourth direction d4. Electromagnetic waves traveling in the third direction travel toward the first detector 13 . Electromagnetic waves traveling in the fourth direction do not travel toward the first detector 13 .
  • a post-stage optical system 19 may be provided between the first detection section 13 and the switching section 18 .
  • the post-stage optical system 19 may include, for example, at least one of a lens and a mirror.
  • the post-stage optical system 19 may form an image of the target ob as an electromagnetic wave whose traveling direction is switched by the switching unit 18 .
  • the first detection unit 13 only needs to be able to detect electromagnetic waves in a configuration that is a single element that constitutes the distance measuring sensor described above, and does not need to form an image of an object on the detection surface. Therefore, the first detection unit 13 does not have to be provided at the secondary imaging position, which is the imaging position by the post-stage optical system 19 . That is, in this configuration, the first detection unit 13 moves in the third direction d3 by the switching unit 18 if the electromagnetic waves from all angles of view can be incident on the detection surface. may be placed anywhere on the path of the electromagnetic wave traveling through
  • the second detection section 14 detects at least part of the electromagnetic waves that have entered the incident section 12 . At least part of the electromagnetic wave may enter the second detection unit 14 by various methods. For example, the electromagnetic wave may be separated using the separation section 17 as described above, and the reflected wave may enter the second detection section 14 .
  • the second detection section 14 may be provided on the path of the electromagnetic wave traveling from the separation section 17 in the first direction d1. Further, the second detection unit 14 detects the image of the object ob, which is separated from the incident unit 12 at a predetermined position, by the incident unit 12 in the first direction d1 from the separating unit 17 at the imaging position or in the vicinity of the imaging position. may be provided.
  • the second detection unit 14 may include an element array.
  • the second detection unit 14 may include an image pickup device such as an image sensor or an imaging array, pick up an electromagnetic wave image formed on the detection surface, and generate image information corresponding to the picked-up object ob. More specifically, the second detection unit 14 may capture an image of visible light. The second detection unit 14 may transmit the generated image information to the control unit 15 as a signal.
  • the second detection unit 14 may capture images other than visible light, such as images of infrared rays, ultraviolet rays, and radio waves.
  • the second detection unit 14 may include a distance measuring sensor. In a configuration in which the second detection unit 14 includes a distance measuring sensor, the electromagnetic wave detection device 10 can acquire image-like distance information from the second detection unit 14 .
  • the second detection unit 14 may include a thermosensor or the like. In a configuration in which the second detection unit 14 includes a thermosensor, the electromagnetic wave detection device 10 can acquire image-like temperature information from the second detection unit 14 .
  • the control unit 15 includes one or more processors and memory.
  • the processor may include at least one of a general-purpose processor that loads a specific program and executes a specific function, and a dedicated processor that specializes in specific processing.
  • a dedicated processor may include an Application Specific Integrated Circuit (ASIC).
  • the processor may include a programmable logic device (PLD).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the control unit 15 may include at least one of SoC (System-on-a-Chip) and SiP (System In a Package) in which one or more processors cooperate.
  • the control unit 15 may acquire information about the surroundings of the electromagnetic wave detection device 10 based on the electromagnetic waves detected by the second detection unit 14 and the first detection unit 13 respectively.
  • Information about the surroundings may be, for example, image information, distance information, temperature information, and the like.
  • the control unit 15 may acquire distance information by measuring the distance of an object positioned in the radiation direction of the irradiation unit 11 based on the detection information detected by the first detection unit 13 . More specifically, the control unit 15 may generate distance information by a ToF (Time-of-Flight) method, as will be described later. Further, in the present embodiment, the control unit 15 acquires the electromagnetic waves detected by the second detection unit 14 as image information.
  • the control unit 15 can calculate the radiation direction based on the drive signal input to the reflecting unit 16 to change the direction in which the electromagnetic waves are reflected.
  • the control unit 15 may cause the irradiation unit 11 to radiate pulsed electromagnetic waves by inputting an electromagnetic wave radiation signal to the irradiation unit 11 (see “Electromagnetic wave radiation signal” column).
  • the irradiating unit 11 may irradiate an electromagnetic wave based on the input electromagnetic wave radiation signal (see “irradiating unit radiation amount” column).
  • the electromagnetic waves emitted by the irradiation unit 11 and reflected by the reflection unit 16 to irradiate an arbitrary irradiation area are reflected in the irradiation area.
  • the control unit 15 switches at least some of the switching elements se in the image forming area in the switching unit 18 by the incident unit 12 of the reflected wave from the irradiation area to the first state, and switches the other switching elements se to the second state. You may switch to state 2.
  • the switching of the switching element se may be performed prior to the emission of electromagnetic waves by the irradiation unit 11 .
  • the control unit 15 may switch the switching element se to the first state according to the next radiation direction of the electromagnetic wave from the reflecting unit 16 every time the irradiation unit 11 radiates the pulsed electromagnetic wave.
  • the switching elements se in the imaging region in the switching section 18 of the reflected wave of the electromagnetic wave emitted from the irradiation section 11 next is switched to the first state, and the other switching elements se are switched to the second state.
  • the first detection unit 13 detects an electromagnetic wave reflected in the irradiation area (see the column “Electromagnetic wave detection amount”), the first detection unit 13 notifies the control unit 15 of detection information as described above.
  • the control unit 15 may have a time measurement LSI (Large Scale Integrated circuit), and from the timing T1 when the irradiation unit 11 is caused to emit electromagnetic waves to the timing T2 when detection information is acquired (see “detection information acquisition" column) may be measured.
  • the control unit 15 may calculate the distance to the irradiation position by multiplying the time ⁇ T by the speed of light and dividing by two. Note that the control unit 15 may calculate the irradiation position based on the drive signal output to the reflection unit 16 as described above.
  • the control unit 15 may create image-like distance information by calculating the distance to each irradiation position corresponding to the radiation direction while changing the radiation direction.
  • the electromagnetic wave detection device 10 has a configuration that creates distance information by Direct ToF that irradiates a laser beam and directly measures the time until it returns, but is not limited to such a configuration.
  • the electromagnetic wave detection device 10 irradiates electromagnetic waves at a constant cycle, and obtains distance information by Flash ToF, which indirectly measures the time until the electromagnetic waves return from the phase difference between the irradiated electromagnetic waves and the returned electromagnetic waves. may be created.
  • the electromagnetic wave detection device 10 may create distance information by another ToF method, for example, Phased ToF.
  • the control unit 15 may determine whether or not there is an interference factor that hinders the detection of the reflected wave by the first detection unit 13.
  • the detection result of the second detection unit 14 is, for example, image information as described above.
  • the interference factor is, for example, in the incident part 12 of the electromagnetic wave detection device 10 or in a moving object or the like in which the electromagnetic wave detection device 10 is provided, on the surface of a transparent member such as a windshield or a windshield placed in front of the electromagnetic wave detection device 10. It is dirt that sticks. Dirt is, for example, water droplets such as raindrops, mud, dust, and the like. These stains can prevent electromagnetic waves from entering the second detection unit 14 . In addition, these stains can prevent the reflected wave from entering the first detection unit 13 .
  • control unit 15 may determine the presence or absence of dirt UC in the image IM detected by the second detection unit 14, as shown in FIG.
  • the control unit 15 may determine the presence or absence of dirt in the image IM by various methods.
  • control unit 15 may calculate the spatial frequency for each partial region that configures the image IM.
  • the partial area may be pixels that form the image IM, or may be an area where a plurality of mutually adjacent pixels are gathered.
  • the control unit 15 may consider that the contamination UC exists in a partial region whose spatial frequency is equal to or lower than the frequency threshold.
  • control unit 15 may determine the presence or absence of dirt UC in the partial area based on color, brightness, and the like. Alternatively, the control unit 15 may determine the presence or absence of dirt UC in the IM image by machine learning.
  • the control unit 15 may delete the detection result of the first detection unit 13 of the reflected wave affected by the interference factor among the reflected waves incident from the object ob toward the incident unit 12 . In other words, the control unit 15 may delete the detection result of the first detection unit 13 of the reflected wave incident through the interference factor.
  • the control unit 15 may create image-like distance information excluding the detection result of the first detection unit 13 for the radiation direction. Instead of deleting the detection result of the first detection unit 13 for the radiation direction, the control unit 15 generates distance information by attaching a flag indicating that the reliability is lower than the detection results for other radiation directions. you can
  • the control unit 15 may output a notification regarding the inaccuracy of the detection result of the first detection unit 13 to, for example, an external device such as a control device for a mobile body, which will be described later, based on the presence of an interference factor. Notifications regarding inaccuracies are, for example, warnings and stop orders.
  • the control unit 15 may output a notification regarding inaccuracy based on the position of the interfering factor in the entire detection result of the second detection unit 14 .
  • the entire detection result of the second detection unit 14 is, for example, the image IM.
  • the location of the disturbing factor is, for example, the location of dirt UC within the image IM.
  • the control unit 15 notifies the inaccuracy when dirt UC1 exists on the area recognized as the ground in the image IM and the area of the object on the ground. to output Alternatively, the control unit 15 does not output a notification regarding inaccuracy even if the dirt UC2 exists only outside the movement area such as the sky in the image IM, for example.
  • control unit 15 outputs a notification regarding inaccuracy when, for example, the disturbing factor of the dirt UC is present in the movement area in the entire detection result of the second detection unit 14, which is the image IM.
  • a movement area is an area in which a moving object, which will be described later, can be located after movement, in other words, an area in which the moving object can move.
  • the movement area is, for example, an area in the image IM excluding the sky portion, and includes at least the road on which the moving object travels.
  • the control unit 15 may output a notification regarding inaccuracy based on the magnitude of the interfering factor in the overall detection results of the second detection unit 14 .
  • the entire detection result of the second detection unit 14 is, for example, the image IM.
  • the position of the disturbing factor is, for example, the position of dirt UC within the image IM.
  • the control unit 15 outputs a notification regarding inaccuracy, for example, when there is relatively large dirt UC with respect to the image IM.
  • the control unit 15 does not output a notification regarding inaccuracy when, for example, the size of the detected maximum dirt UC is relatively small with respect to the image IM.
  • the control unit 15 may determine that there is a relatively large disturbing factor and output a notification regarding inaccuracy.
  • the entire detection result of the second detection unit 14 is, for example, the image IM.
  • the position of the disturbing factor is, for example, the position of dirt UC within the image IM.
  • the magnitude of the interference factor may be measured by the number of pixels recognized as dirt UC, or the number of pixels corresponding to the maximum diameter of the region recognized as dirt.
  • the threshold may be defined, for example, with respect to the number of pixels of the image IM.
  • a threshold value may be set for each disturbance factor in the overall detection result of the second detection unit 14 .
  • the control unit 15 may output a notification regarding inaccuracy when the magnitude of any of the individual interference factors in the overall detection results of the second detection unit 14 is equal to or greater than a threshold.
  • the threshold may be set for the magnitude of each disturbing factor or the sum of the magnitudes of all disturbing factors within the image IM divided into a plurality of areas of a predetermined size.
  • different thresholds may be set according to the positions of the regions within the image IM. For example, a lower threshold may be set for a relatively important region (center of image IM).
  • the control unit 15 may output a notification regarding inaccuracy when a disturbance area existing in any area is equal to or greater than a threshold value set for the area.
  • a threshold may be set for the sum of the magnitudes of all disturbing factors in the image IM.
  • the control unit 15 issues a notification regarding inaccuracy when the sum of the magnitudes of all disturbance factors in the image IM is equal to or greater than the threshold, or when the ratio in the image IM is equal to or greater than the threshold. can be output.
  • the image IM is divided into a plurality of regions of a predetermined size, and when the total value of the values obtained by reflecting a predetermined weight on the size of the dirt UC present in each region is equal to or greater than a threshold value, A notice about inaccuracy may be output.
  • different weightings may be set according to the positions of the regions within the image IM. For example, a higher weight may be set for a relatively important region (image IM central part).
  • the threshold value may change according to the moving speed of a moving object on which the electromagnetic wave detection device 10 described later is mounted. Specifically, the higher the speed of the moving object, the lower the threshold may be set.
  • the electromagnetic wave detection device 10 has an illuminance sensor, and a threshold value may be set according to the amount of outside light (that is, sunlight). may be set.
  • the threshold may decrease toward a specific position in the overall detection result of the second detection unit 14 in a configuration that is set with respect to the magnitude of each disturbance factor.
  • the entire detection result of the second detection unit 14 is, for example, the image IM.
  • the position of the disturbing factor is, for example, the position of dirt UC within the image IM.
  • the farthest position FP of the travel path recognizable in the image IM may be set at a specific position. Therefore, even if the sizes are the same, the size of dirt UC3 close to the farthest position FP may be greater than or equal to the threshold, and the size of dirt UC4 away from the farthest position FP may be less than the threshold.
  • the closer to the farthest position FP, the lower the threshold may be set.
  • a lower threshold may be set for a region far from the electromagnetic wave detection device 10 in the image IM. That is, the smallest threshold is set at the farthest position FP. With such a setting, the intensity of the reflected light tends to decrease as the farthest position FP is approached, and there is a high possibility that the reliability of the detection result of the first detection unit 13 will decrease due to the presence of interference factors. This is to accommodate
  • control unit 15 When the control unit 15 confirms the existence of the interference factor, when the reflected wave from the object ob toward the incidence unit 12 enters the switching unit 18 via the interference factor, , may switch a number of switching elements se to the first state.
  • the electromagnetic wave detection device 10 may be mounted on a moving body 20.
  • the electromagnetic wave detection device 10 may be installed, for example, so as to be able to detect electromagnetic waves in front of the moving object 20 .
  • the mobile body 20 may include, for example, vehicles, ships, aircraft, and the like.
  • Vehicles may include, for example, automobiles, industrial vehicles, railroad vehicles, utility vehicles, fixed-wing aircraft that travel on runways, and the like.
  • Motor vehicles may include, for example, cars, trucks, buses, motorcycles, trolleybuses, and the like.
  • Industrial vehicles may include, for example, industrial vehicles for agriculture, construction, and the like.
  • Industrial vehicles may include, for example, forklifts, golf carts, and the like.
  • Industrial vehicles for agriculture may include, for example, tractors, cultivators, transplanters, binders, combines, lawn mowers, and the like.
  • Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, mobile cranes, tippers, road rollers, and the like.
  • Vehicles may include those that are powered by humans.
  • Vehicle classification is not limited to the above example.
  • automobiles may include road-drivable industrial vehicles. Multiple classifications may contain the same vehicle.
  • Vessels may include, for example, marine jets, boats, and tankers.
  • Aircraft may include, for example, fixed-wing aircraft, rotary-wing aircraft, and the like.
  • the electromagnetic wave detection device 10 may be mounted inside the moving body 20, for example, and detect electromagnetic waves incident from outside the moving body 20 via a windshield.
  • the electromagnetic wave detection device 10 may be arranged in front of the rearview mirror or on the dashboard.
  • the electromagnetic wave detection device 10 may be fixed to any one of the front bumper, fender grille, side fenders, light module, and bonnet of the moving object 20 .
  • the moving object 20 may include a notification unit 21 and a travel support unit 22.
  • the notification unit 21 issues a warning to the occupant.
  • the notification unit 21 may be, for example, a display capable of displaying a warning image, a speaker capable of generating a warning sound, a lamp capable of leaving the warning lit, or the like.
  • the method for removing the disturbing factor and the position of the disturbing factor that is, the position in the incident part 12, the windshield, etc.
  • the passenger can quickly remove the obstructive factor.
  • the travel support unit 22 moves the moving body 20. can be stopped.
  • the driving support unit 22 may be a device that supports driving of the driver, such as auto-cruising.
  • the disturbance factor detection processing executed by the control unit 15 in this embodiment will be described using the flowchart of FIG.
  • the interference factor detection processing will be described by taking as an example a configuration in which the entire detection result of the second detection unit 14 is the image IM and the position of the interference factor is the position of the dirt UC in the image IM.
  • the disturbance factor detection process is started each time the second detection unit 14 acquires the entire detection result, more specifically, image information of one frame. Alternatively, the disturbance factor detection process may be started periodically.
  • the output of the notification about inaccuracy may be stopped, or the interfering factor may be removed.
  • a notification may be output indicating that.
  • step S100 the control unit 15 determines the presence or absence of dirt UC in the image IM corresponding to the acquired image information. If the dirt UC does not exist in the entire image IM, the interference factor detection process ends. If there is at least one dirt UC in the image IM, the process goes to step S101.
  • step S101 the control unit 15 determines whether or not the dirt UC whose existence was confirmed in step S100 is located only outside the movement area in the image IM. If the dirt UC is located only outside the movement area, the disturbance factor detection process ends. If the dirt UC is not only outside the moving area, but at least one dirt UC is located in the moving area, the process proceeds to step S102.
  • step S102 the control unit 15 calculates the size of the dirt UC determined to be located in the movement area in step S103. After the calculation, the process proceeds to step S103.
  • step S103 the control unit 15 determines a threshold for each dirt UC based on the position in the image IM of the dirt UC whose size was calculated in step S102. After determination, the process proceeds to step S104. Note that the control unit 15 may determine the threshold corresponding to the position where the dirt UC is detected by reading out the threshold for the position in the image IM stored in the memory provided in the electromagnetic wave detection device 10 .
  • step S104 the control unit 15 compares the size of the dirt UC calculated in step S102 with the threshold corresponding to the dirt UC determined in step S103. The control unit 15 determines whether or not the sizes of all dirt UCs are less than the threshold value corresponding to each dirt UC. If the sizes of all dirt UCs are less than the threshold corresponding to each dirt UC, the disturbing factor detection process ends. If the magnitude of at least one contamination UC is greater than or equal to the corresponding threshold, the process proceeds to step S105.
  • control unit 15 outputs a notification regarding the inaccuracy to the external device. After the output, the disturbance factor detection processing ends.
  • the electromagnetic wave detection device 10 of this embodiment determines whether or not there is an interference factor that hinders the detection of the reflected wave by the first detection unit 13 based on the detection result of the second detection unit 14 .
  • the electromagnetic wave detection device 10 can detect an interference factor that cannot be determined only by the detection result of the first detection section 13 . Therefore, the electromagnetic wave detection device 10 can determine the reliability of the detection results by some of the detection units.
  • the electromagnetic wave detection device 10 of the present embodiment outputs a notification regarding the inaccuracy of the detection result of the first detection unit 13 based on the presence of an interfering factor.
  • the electromagnetic wave detection device 10 can provide an external device that performs control based on the detection result of the first detection unit 13 or a user who desires the detection result, because the reliability of the detection result of the first detection unit 13 is high. It can inform you that it is declining.
  • the electromagnetic wave detection device 10 of the present embodiment outputs a notification regarding inaccuracy based on the position of the interference factor in the overall detection results of the second detection unit 14 .
  • An external device or a user who obtains a notification about inaccuracy may need the detection result of the first detection unit 13 for some positions in the entire detection result of the second detection unit 14, and may need the detection result of the first detection unit 13 for other positions. may be unnecessary.
  • the electromagnetic wave detection device 10 having the configuration described above notifies the inaccuracy only when the interference factor exists at the position where the detection result of the first detection unit 13 is required. can output.
  • the electromagnetic wave detection device 10 of the present embodiment outputs a notification regarding inaccuracy when the individual magnitudes of the interference factors or the sum of the magnitudes in the entire detection result of the second detection unit 14 is equal to or greater than the threshold.
  • the interference factor is relatively small, the reliability of the detection result of the first detection unit 13 does not deteriorate to such an extent that the detection result becomes unusable.
  • the electromagnetic wave detection device 10 having the configuration described above can output a notification regarding inaccuracy when the reliability of the detection result has deteriorated to such an extent that it becomes unusable for external devices and users. .
  • the threshold is the smallest at the farthest position in the entire detection results of the second detection section 14 .
  • the first detection unit 13 and the second detection unit 14 detect electromagnetic waves affected by objects in space. Therefore, at the farthest position, the size of the object corresponding to the electromagnetic waves detected by the first detection unit 13, in other words, the set of adjacent irradiation positions or radial directions with substantially the same detection results is small.
  • the electromagnetic wave detection device 10 having the configuration described above reduces the threshold for relatively small objects in the detection result of the second detection unit 14 by moving away from the electromagnetic wave detection device 10 in real space. do. Therefore, the electromagnetic wave detection device 10 can take the distance in the real space into consideration and output the notification regarding the inaccuracy more appropriately.
  • the electromagnetic wave detection device 10 of the present embodiment can switch some of the switching elements se in the switching section 18 to the first state and switch some other switching elements se to the second state.
  • the electromagnetic wave detection device 10 can cause the first detection unit 13 to detect information based on the electromagnetic wave for each portion of the object ob from which the electromagnetic wave incident on each switching element se is emitted.
  • the control unit switches at least the switching elements se in the imaging region where the reflected wave forms an image among the switching elements se to the first state.
  • the number of switching elements se that switch to the first state may not be singular, but may be plural. As the number of switching elements se switched to the first state increases, the amount of light of the reflected wave traveling to the first detection section 13 can be increased.
  • the control unit 15 determines that the size of the dirt UC in the image IM is smaller than the threshold value, the switching element se on which the reflected wave incident through the dirt UC forms an image is in the first state.
  • the number of switching elements se to be used may be increased according to the size of the dirt UC.
  • the radio wave detection device 10 may suspend the output of the notification regarding inaccuracy until the magnitude of the contamination UC reaches or exceeds the threshold.
  • the moving body 20 of the present embodiment includes a notification unit 21 that issues a warning when the existence of a disturbing factor is recognized.
  • the mobile body 20 can notify the passenger that the reliability of the first detection unit 13 has decreased.
  • the moving object 20 of the present embodiment includes a travel support unit 22 that stops movement when the presence of an obstructive factor is recognized.
  • a travel support unit 22 that stops movement when the presence of an obstructive factor is recognized.
  • the electromagnetic wave incident on the working surface as is reflected in the third direction d3 in the first state and the electromagnetic wave incident on the working surface as is reflected in the fourth direction d3 in the second state.
  • the configuration reflects to d4, other configurations may be employed.
  • the switching portion 181 may transmit electromagnetic waves incident on the working surface as in the first state to travel in the third direction d3.
  • the switching section 181 may include a shutter having a reflecting surface that reflects electromagnetic waves in the fourth direction for each switching element.
  • the switching unit 181 having such a configuration, by opening and closing the shutter for each switching element, the movement in the third direction d3 and the movement in the fourth direction d4 can be switched for each switching element.
  • An example of the switching unit 181 having such a configuration is a switching unit including a MEMS shutter in which a plurality of openable and closable shutters are arranged in an array. Further, the switching unit 181 includes a switching unit including a liquid crystal shutter capable of switching between a reflection state of reflecting electromagnetic waves and a transmission state of transmitting electromagnetic waves according to liquid crystal orientation.
  • the electromagnetic wave detecting device 10 causes the reflecting section 16 to scan the beam-like electromagnetic wave emitted from the irradiation section 11, thereby causing the first detecting section 13 to cooperate with the reflecting section 16 to perform a scanning type detection. It has a configuration that functions as an active sensor.
  • the electromagnetic wave detection device 10 is not limited to such a configuration. For example, even if the electromagnetic wave detecting device 10 does not include the reflecting unit 16 and emits radial electromagnetic waves from the irradiating unit 11 to acquire information without scanning, similar effects to those of the present embodiment can be obtained.
  • Descriptions such as “first” and “second” in the present disclosure are identifiers for distinguishing the configurations. Configurations distinguished in the description as “first”, “second”, etc. in this disclosure can be interchanged with the numbers in the configuration. For example, a first camera can exchange the identifiers “first” and “second” with a second camera. The exchange of identifiers is done simultaneously. The configurations are still distinct after the exchange of identifiers. Identifiers may be deleted. Configurations from which identifiers have been deleted are distinguished by codes. The description of identifiers such as “first”, “second”, etc. in this disclosure should not be used as a basis for interpreting the order of the configuration and the existence of identifiers with lower numbers.
  • Computer systems and other hardware include, for example, general-purpose computers, PCs (personal computers), dedicated computers, workstations, PCSs (Personal Communications Systems), mobile (cellular) telephones, and data processing functions. Mobile phones, RFID receivers, game consoles, electronic notepads, laptop computers, GPS (Global Positioning System) receivers or other programmable data processing devices.
  • the various operations are performed by dedicated circuitry (e.g., discrete logic gates interconnected to perform a particular function) implemented with program instructions (software), or by one or more processors. Note that it may be implemented by logic blocks, program modules, or the like.
  • processors that execute logic blocks, program modules, etc. include, for example, one or more microprocessors, CPUs (Central Processing Units), ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), PLDs (Programmable Logic Device), FPGA (Field Programmable Gate Array), processors, controllers, microcontrollers, microprocessors, electronic devices, other devices designed to be able to perform the functions described herein, and/or combinations of any of these be Embodiments shown may be implemented, for example, in hardware, software, firmware, middleware, microcode, or any combination thereof. Instructions may be program code or code segments for performing the required tasks. The instructions may then be stored in a non-transitory machine-readable storage medium or other medium.
  • a code segment may represent a procedure, function, subprogram, program, routine, subroutine, module, software package, class or any combination of instructions, data structures or program statements.
  • Code segments send and/or receive information, data arguments, variables or memory contents from other code segments or hardware circuits, thereby connecting code segments with other code segments or hardware circuits. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Geology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Photo Coupler, Interrupter, Optical-To-Optical Conversion Devices (AREA)

Abstract

電磁波検出装置10は照射部11と入射部12と第1検出部13と第2検出部14と制御部15とを有する。照射部11は空間内の複数の異なる方向に電磁波を放射する。入射部12には空間からの電磁波が入射する。空間からの電磁波は照射部11が放射した電磁波が空間内の物体で反射した反射波を含む。第1検出部13は反射波を少なくとも検出する。第2検出部14は入射部12に入射した電磁波の少なくとも一部を検出する。制御部15は第2検出部14の検出結果に基づき第1検出部13による反射波の検出の妨げとなる妨害要因の存否を判別する。

Description

電磁波検出装置及び移動体 関連出願の相互参照
 本出願は、2021年3月2日に日本国に特許出願された特願2021-032930の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
 本開示は、電磁波検出装置及び移動体に関するものである。
 近年、電磁波を検出する複数の検出器による検出結果から周囲に関する情報を得る装置が開発されている。例えば、画像中の物体の位置を、対象に照射する電磁波の反射波を用いて測定する装置が知られている。(特許文献1参照)。
特開2018-200927号公報
 本開示の第1の観点による電磁波検出装置は、
 空間内の複数の異なる方向に電磁波を放射する照射部と、
 前記照射部が放射した電磁波が前記空間内の物体で反射した反射波を含む、前記空間からの電磁波が入射する入射部と、
 前記入射部に入射した前記反射波を少なくとも検出する第1検出部と、
 前記入射部に入射した電磁波の少なくとも一部を検出する第2検出部と、
 前記第2検出部の検出結果に基づき、前記第1検出部による前記反射波の検出の妨げとなる妨害要因の存否を判別する制御部と、を備える。
 第2の観点による移動体は、
 空間内の複数の異なる方向に電磁波を放射する照射部と、
 前記照射部が放射した電磁波が前記空間内の物体で反射した反射波を含む、前記空間からの電磁波が入射する入射部と、
 前記入射部に入射した前記反射波を少なくとも検出する第1検出部と、
 前記入射部に入射した電磁波の少なくとも一部を検出する第2検出部と、
 前記第2検出部の検出結果に基づき、前記第1検出部による前記反射波の検出の妨げとなる妨害要因の存否を判別する制御部と、を備える。
本実施形態に係る電磁波検出装置の概略構成を示す構成図である。 図1の電磁波検出装置の切替部における切替素子の第1の状態と第2の状態における電磁波の進行方向を説明するための、電磁波検出装置の状態図である。 図1の照射部、第1検出部、及び制御部が構成する測距センサによる測距の原理を説明するための電磁波の放射の時期と検出の時期を示すタイミングチャートである。 図1の第2検出部が検出する画像に存在する汚れの例を示す図である。 図4の画像において、移動領域及び移動領域外の汚れを説明するための図である。 図4の画像において、特定の位置からの間隔に応じて、汚れの大きさと比較する閾値が異なることを説明するための図である。 図1の電磁波検出装置を搭載する移動体の側面図である。 図1の制御部が実行する妨害要因検出処理を説明するためのフローチャートである。 本実施形態に係る電磁波検出装置の変形例の概略構成を示す構成図である。
以下、本開示を適用した電磁波検出装置の実施形態について、図面を参照して説明する。
 図1に示すように、本開示の一実施形態に係る電磁波検出装置10は、照射部11、入射部12、第1検出部13、第2検出部14、及び制御部15を含んで構成されている。
 以後の図において、各機能ブロックを結ぶ破線は、制御信号または通信される情報の流れを示す。破線が示す通信は有線通信であってもよいし、無線通信であってもよい。また、各機能ブロックから突出する実線は、ビーム状の電磁波を示す。
 照射部11は、空間内の複数の異なる方向に電磁波を放射する。照射部11は、空間内の複数の異なる方向に電磁波を放射することにより、空間内の対象obに照射される電磁波の照射位置を変更してよい。照射部11は、放射する電磁波により対象obを走査してよい。本実施形態において、照射部11は、後述する第1検出部13と協同して、走査型の測距センサを構成してよい。照射部11は、一次元方向または二次元方向に対象obを走査してよい。本実施形態においては、照射部11は、二次元方向に対象obを走査する。
 照射部11は、電磁波の放射領域の少なくとも一部が、電磁波検出装置10における電磁波の検出範囲に含まれるように、構成されている。更に具体的には、照射部11は、放射された電磁波の照射領域の少なくとも一部が、第1検出部13における検出範囲に含まれるように、構成されている。したがって、対象obに照射される電磁波の少なくとも一部は、第1検出部13により検出され得る。
 照射部11は、例えば、反射部16を用いて、空間内の複数の異なる方向に電磁波を放射する。反射部16は、照射部11から放射された電磁波を、向きを変えながら反射することにより、照射部11が放射する電磁波を空間内の複数の異なる方向に放射させてよい。反射部16は、後述する制御部15の制御に基づいて、電磁波を反射する向きを変えてよい。反射部16は、例えば、MEMS(Micro Electro Mechanical Systems)ミラー、ポリゴンミラー、及びガルバノミラー等を含む。
 照射部11は、赤外線、可視光線、紫外線、及び電波の少なくともいずれかを放射してよい。本実施形態において、照射部11は、赤外線を放射する。照射部11は、幅の細い、例えば0.5°のビーム状の電磁波を放射してよい。また、照射部11は電磁波をパルス状に放射してよい。照射部11は、LED(Light Emitting Diode)及びLD(Laser Diode)等を含んでよい。照射部11は、後述する制御部15の制御に基づいて、電磁波の放射及び停止を切替えてよい。
 照射部11は、入射部12を介さずに、電磁波を空間内に放射してよい。または、照射部11は、例えば、入射部12の像側にミラー等を設けて、入射部12を介して電磁波を空間内に放射してもよい。
 入射部12には、空間からの電磁波が入射する。空間からの電磁波は、照射部11が放射した電磁波が空間内の物体で反射した反射波を含み得る。空間内の物体は、対象obを含んでよい。入射部12は、例えば、レンズ及びミラーの少なくとも一方を含み、被写体となる対象obの像を結像させてよい。
 第1検出部13は、入射部12に入射した電磁波に含まれる、照射部11が放射した電磁波が空間内の物体で反射した反射波を少なくとも検出する。第1検出部13は、赤外線、可視光線、紫外線、及び電波の少なくともいずれかの電磁波を検出してよい。第1検出部13は、照射部11が放射する電磁波と同じ帯域の電磁波を検出してよい。第1検出部13は、物体からの反射波を検出したことを示す検出情報を信号として制御部15に送信してよい。
 第1検出部13は、更に具体的には、測距センサを構成する素子を含む。例えば、第1検出部13は、APD(Avalanche PhotoDiode)、PD(PhotoDiode)及び測距イメージセンサ等の単一の素子を含む。また、第1検出部13は、APDアレイ、PDアレイ、測距イメージングアレイ、及び測距イメージセンサ等の素子アレイを含むものであってもよい。
 第1検出部13には、多様な構成により、当該反射波が入射してよい。例えば、入射部12を通過した電磁波の進行路上に設けられる分離部17を用いて、当該分離部17に入射する電磁波を分離させることにより、反射波が第1検出部13に入射してよい。
 なお、分離部17は、入射部12と、入射部12から所定の位置をおいて離れた対象obの像の、入射部12による結像位置である一次結像位置との間に設けられてよい。分離部17は、入射する電磁波を第1の方向d1及び第2の方向d2に進行するように分離してよい。本実施形態において、第1検出部13は、第1の方向d1に進行した電磁波を検出可能に構成されてよい。
 本実施形態においてより具体的には、分離部17は、入射する電磁波の少なくとも反射波を含む一部を第1の方向d1に透過し、電磁波の別の一部を第2の方向d2に反射する。分離部17は、入射する電磁波の一部を第1の方向d1に透過し、電磁波の別の一部を第2の方向d2に透過してもよい。また、分離部17は、入射する電磁波の一部を第1の方向d1に屈折させ、電磁波の別の一部を第2の方向d2に屈折させてもよい。分離部17は、例えば、ハーフミラー、ビームスプリッタ、ダイクロイックミラー、コールドミラー、ホットミラー、メタサーフェス、偏向素子、及びプリズム等である。
 入射部12を通過し且つ第1検出部13に到達するまでの電磁波の進行路上に、切替部18が設けられてよい。上述の分離部17が設けられる構成においては、切替部18は、分離部17から第1の方向d1に進行する電磁波の進行路上に設けられてよい。切替部18は、入射部12から所定の位置をおいて離れた対象obの像の、分離部17から第2の方向d2における入射部12による一次結像位置または当該一次結像位置近傍に、設けられてよい。
 切替部18は、入射部12及び分離部17を通過した電磁波が入射する作用面asを有してよい。作用面asは、2次元状に沿って並ぶ複数の切替素子seによって構成されてよい。作用面asは、後述する第1の状態及び第2の状態の少なくともいずれかにおいて、電磁波に、例えば、反射及び透過等の作用を生じさせる面である。切替部18は、作用面asに入射する電磁波を、第3の方向d3に進行させる第1の状態と、第4の方向d4に進行させる第2の状態とに、切替素子se毎に切替可能であってよい。切替部18は、更に具体的には、切替素子se毎に電磁波を反射する反射面を含んでよい。切替部18は、切替素子se毎の反射面の向きを変更することにより、第1の状態及び第2の状態を切替素子se毎に切替えてよい。
 切替部18は、例えば、DMD(Digital Micro mirror Device:デジタルマイクロミラーデバイス)を含んでよい。DMDは、作用面asを構成する微小な反射面を駆動することにより、切替素子se毎に当該反射面を作用面asに対して+12°及び12°のいずれかの傾斜状態に切替可能である。作用面asは、DMDにおける微小な反射面を載置する基板の板面に平行であってよい。
 切替部18は、後述する制御部15の制御に基づいて、第1の状態及び第2の状態を、切替素子se毎に切替えてよい。例えば、図2に示すように、切替部18は、同時に、一部の切替素子se1を第1の状態に切替えることにより当該切替素子se1に入射する電磁波を第3の方向d3に進行させ得、別の一部の切替素子se2を第2の状態に切替えることにより当該切替素子se2に入射する電磁波を第4の方向d4に進行させ得る。第3の方向に進行する電磁波は、第1の検出部13に向かって進行する。第4の方向に進行する電磁波は、第1の検出部13に向かって進行しない。
 図1に示すように、第1検出部13及び切替部18の間には、後段光学系19が設けられてよい。後段光学系19は、例えば、レンズ及びミラーの少なくとも一方を含んでよい。後段光学系19は、切替部18において進行方向を切替えられた電磁波としての対象obの像を結像させてよい。
 なお、第1検出部13は、上述した測距センサを構成する単一の素子である構成において、電磁波を検出できればよく、検出面において物体の像が結像される必要はない。それゆえ、第1検出部13は、後段光学系19による結像位置である二次結像位置に設けられなくてもよい。すなわち、この構成において、第1検出部13は、すべての画角からの電磁波が検出面上に入射可能な位置であれば、切替部18により第3の方向d3に進行した後に後段光学系19を経由して進行する電磁波の経路上のどこに配置されてもよい。
 第2検出部14は、入射部12に入射した電磁波の少なくとも一部を検出する。第2検出部14には、多様な方法により、当該電磁波の少なくとも一部が入射してよい。例えば、前述のように分離部17を用いて、当該電磁波を分離させることにより、反射波が第2検出部14に入射してよい。
 分離部17を適用する構成において、第2検出部14は、分離部17から第1の方向d1に進行する電磁波の経路上に、設けられてよい。さらに、第2検出部14は、入射部12から所定の位置をおいて離れた対象obの像の、分離部17から第1の方向d1における入射部12による結像位置または当該結像位置近傍に、設けられてよい。
 第2検出部14は、素子アレイを含んでよい。例えば、第2検出部14は、イメージセンサまたはイメージングアレイ等の撮像素子を含み、検出面において結像した電磁波による像を撮像して、撮像した対象obに相当する画像情報を生成してよい。第2検出部14は、更に具体的には、可視光の像を撮像してよい。第2検出部14は、生成した画像情報を信号として制御部15に送信してよい。
 第2検出部14は、赤外線、紫外線、及び電波の像等、可視光以外の像を撮像してもよい。第2検出部14は、測距センサを含んでいてもよい。第2検出部14が測距センサを含む構成において、電磁波検出装置10は、第2検出部14により画像状の距離情報を取得し得る。また、第2検出部14は、サーモセンサ等を含んでいてもよい。第2検出部14がサーモセンサを含む構成において、電磁波検出装置10は、第2検出部14により画像状の温度情報を取得し得る。
 制御部15は、1以上のプロセッサ及びメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサの少なくともいずれかを含んでよい。専用のプロセッサは、特定用途向けIC(ASIC;Application Specific Integrated Circuit)を含んでよい。プロセッサは、プログラマブルロジックデバイス(PLD;Programmable Logic Device)を含んでよい。PLDは、FPGA(Field-Programmable Gate Array)を含んでよい。制御部15は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、及びSiP(System In a Package)の少なくともいずれかを含んでもよい。
 制御部15は、第2検出部14及び第1検出部13がそれぞれ検出した電磁波に基づいて、電磁波検出装置10の周囲に関する情報を取得してよい。周囲に関する情報は、例えば画像情報、距離情報、及び温度情報等であってよい。本実施形態において、制御部15は、第1検出部13が検出する検出情報に基づいて、照射部11の放射方向に位置する物体の測距を行うことにより距離情報を取得してよい。制御部15は、より具体的には、後述するように、ToF(Time-of-Flight)方式により、距離情報を生成してよい。また、本実施形態において、制御部15は、第2検出部14が検出した電磁波を画像情報として取得する。また、本実施形態において、制御部15は、反射部16に電磁波を反射する向きを変えさせるために入力する駆動信号に基づいて放射方向を算出し得る。
 図3に示すように、制御部15は、照射部11に電磁波放射信号を入力することにより、照射部11にパルス状の電磁波を放射させてよい(“電磁波放射信号”欄参照)。照射部11は、入力された当該電磁波放射信号に基づいて電磁波を照射してよい(“照射部放射量”欄参照)。照射部11が放射し且つ反射部16が反射して任意の照射領域に照射された電磁波は、当該照射領域において反射する。制御部15は、当該照射領域からの反射波の、入射部12による切替部18における結像領域の中の少なくとも一部の切替素子seを第1の状態に切替え、他の切替素子seを第2の状態に切替えてよい。切替素子seの切替は、照射部11による電磁波の放射に先立って行われてよい。制御部15は、照射部11がパルス状の電磁波を放射する度に、反射部16による電磁波の次回の放射方向に応じた、切替素子seを第1の状態に切替えてよい。すなわち、次に照射部11から放射される電磁波の反射波の、切替部18における結像領域の中の少なくとも一部の切替素子seを第1の状態に切替え、他の切替素子seを第2の状態に切替えてよい。第1検出部13は、当該照射領域において反射された電磁波を検出するとき(“電磁波検出量”欄参照)、前述のように、検出情報を制御部15に通知する。
 制御部15は、時間計測LSI(Large Scale Integrated circuit)を有してよく、照射部11に電磁波を放射させた時期T1から、検出情報を取得(“検出情報取得”欄参照)した時期T2までの時間ΔTを計測してよい。制御部15は、当該時間ΔTに、光速を乗算し、且つ2で除算することにより、照射位置までの距離を算出してよい。なお、制御部15は、上述のように、反射部16に出力する駆動信号に基づいて、照射位置を算出してよい。制御部15は、放射方向を変えながら、放射方向に対応する各照射位置までの距離を算出することにより、画像状の距離情報を作成してよい。
 電磁波検出装置10は、上述のように、レーザ光を照射して、返ってくるまでの時間を直接測定するDirect ToFにより距離情報を作成する構成であるが、このような構成に限られない。例えば、電磁波検出装置10は、電磁波を一定の周期で照射し、照射された電磁波と返ってきた電磁波との位相差から、返ってくるまでの時間を間接的に測定するFlash ToFにより距離情報を作成してもよい。また、電磁波検出装置10は、他のToF方式、例えば、Phased ToFにより距離情報を作成してもよい。
 制御部15は、第2検出部14の検出結果に基づいて、第1検出部13による反射波の検出の妨げとなる妨害要因の存否を判別してよい。第2検出部14の検出結果は、例えば前述のように画像情報である。妨害要因は、例えば、電磁波検出装置10の入射部12、又は電磁波検出装置10が設けられる移動体等において、電磁波検出装置10の前に配置されるフロントガラス、ウインドシールド等の透過部材の表面に付着する汚れである。汚れは、例えば、雨滴等の水滴、泥、及び埃等である。これらの汚れは、電磁波の第2検出部14への入射を妨げうる。また、これらの汚れは、反射波の第1検出部13への入射を妨げうる。
 制御部15は、第2検出部14が画像情報を検出する構成において、図4に示すように、第2検出部14が検出する画像IMにおいて汚れUCの存否を判別してよい。制御部15は、多様な方法により、画像IM中の汚れの有無を判別してよい。
 制御部15は、例えば、画像IMを構成する部分領域毎に空間周波数を算出してよい。部分領域は、画像IMを構成する画素であってよく、互いに隣接する複数の画素が集合する領域であってよい。制御部15は、空間周波数が周波数閾値以下である部分領域に汚れUCが存在するとみなしてよい。
 または、制御部15は、色及び輝度等に基づいて、部分領域における汚れUCの存否を判別してよい。または、制御部15は、機械学習によりIM画像における汚れUCの存否を判別してよい。
 制御部15は、対象obから入射部12へ向けて入射する反射波のうち、妨害要因によって影響を受ける反射波の第1検出部13の検出結果を削除してよい。言い換えると、制御部15は、妨害要因を介して入射する反射波の第1検出部13の検出結果を削除してよい。制御部15は、当該放射方向に対する第1検出部13の検出結果を除いて、画像状の距離情報を作成してよい。制御部15は、当該放射方向に対する第1検出部13の検出結果を削除する代わりに、他の放射方向に対する検出結果よりも、信頼性が低いことを示すフラグを付して距離情報を生成してよい。
 制御部15は、妨害要因の存在に基づいて、第1検出部13の検出結果の不正確さに関する通知を、例えば、後述する移動体の制御装置等の外部機器に出力してよい。不正確さに関する通知は、例えば、警告及び停止命令である。
 制御部15は、妨害要因が存在する場合、第2検出部14の検出結果全体における、当該妨害要因の位置に基づいて、不正確さに関する通知を出力してよい。第2検出部14の検出結果全体は、例えば、画像IMである。妨害要因の位置は、例えば、画像IM内の汚れUCの位置である。このような構成において、制御部15は、例えば、図5に示すように、画像IMにおいて地面と認識する領域及び地面上の物体の領域の上に汚れUC1が存在する場合、不正確さに関する通知を出力する。または、制御部15は、例えば、画像IMにおいて天空等の移動領域外のみの上に汚れUC2が存在する場合であっても、不正確さに関する通知の出力を行わない。言換えると、制御部15は、例えば、画像IMである第2検出部14の検出結果全体における、移動領域に汚れUCである妨害要因が存在する場合、不正確さに関する通知を出力する。移動領域とは、画像IM内で、後述する移動体が移動後に位置し得る領域、言換えれば移動体が移動可能な領域である。移動領域とは、例えば、画像IMにおいて天空部分を除く領域であり、少なくとも移動体が走行する道路を含む。
 制御部15は、妨害要因が存在する場合、第2検出部14の検出結果全体における妨害要因の大きさに基づいて、不正確さに関する通知を出力してよい。上述のように、第2検出部14の検出結果全体は、例えば、画像IMである。また、妨害要因の位置は、例えば、画像IM内の汚れUCの位置である。このような構成において、制御部15は、例えば、画像IMに対して相対的に大きな汚れUCが存在する場合、不正確さに関する通知を出力する。または、制御部15は、例えば、検出される最大の汚れUCの大きさが画像IMに対して相対的に小さい場合、不正確さに関する通知の出力を行わない。
 制御部15は、より具体的には、妨害要因の大きさが閾値以上である場合、相対的に大きな妨害要因が存在すると認定して、不正確さに関する通知を出力してよい。上述のように、第2検出部14の検出結果全体は、例えば、画像IMである。また、妨害要因の位置は、例えば、画像IM内の汚れUCの位置である。このような構成において、妨害要因の大きさは、汚れUCと認定される画素の画素数、汚れと認定される領域の最大径に相当する画素数で計測されてよい。また、閾値は、例えば、画像IMの画素数に対して定められてよい。
 閾値は、第2検出部14の検出結果全体における個々の妨害要因の大きさに対して設定されてよい。このような構成において制御部15は、第2検出部14の検出結果全体における個々の妨害要因のいずれかの大きさが閾値以上の場合に不正確さに関する通知を出力してよい。さらには、閾値は、画像IM内を所定の大きさの複数の領域に分割し、当該領域内における各妨害要因の大きさ、またはすべての妨害要因の大きさの合計について、設定されてよい。このような構成において、画像IM内における、複数の領域の位置に応じて、異なる閾値が設定されてよい。例えば、相対的に重要な領域(画像IM中央部)に対して、低い閾値が設定されてよい。制御部15は、いずれかの領域に存在する妨害領域が、当該領域について設定された閾値以上の場合に不正確さに関する通知を出力してよい。
 または、閾値は、画像IM内の全ての妨害要因の大きさの合計に対して設定されてよい。このような構成において、制御部15は、画像IM内のすべての妨害要因の大きさの合計が閾値以上の場合、または画像IM内における閾値以上の割合を占める場合に、不正確さに関する通知を出力してよい。さらには、画像IM内を所定の大きさの複数の領域に分割し、各領域に存在する汚れUCの大きさに、所定の重みづけを反映させた値の合計値が、閾値以上の場合に不正確さに関する通知を出力してよい。このような構成において、画像IM内における、複数の領域の位置に応じて、異なる重みづけが設定されてよい。例えば、相対的に重要な領域(画像IM中央部)に対して、大きな重みづけが設定されてよい。
 または、閾値は、後述する電磁波検出装置10が搭載される移動体の移動速度に応じて変化してよい。具体的には、移動体の速度が速いほど、閾値が低く設定されてよい。
 または、電磁波検出装置10は、照度センサを有し、外光(すなわち太陽光)の光量に応じて、閾値が設定されてよく、例えば外光の光量が多い場合に、閾値が低くなるように設定されてよい。
 閾値は、個々の妨害要因の大きさに対して設定される構成において、第2検出部14の検出結果全体における特定の位置に向かうにつれて、小さくなってよい。上述のように、第2検出部14の検出結果全体は、例えば、画像IMである。また、妨害要因の位置は、例えば、画像IM内の汚れUCの位置である。このような構成において、例えば、図6に示すように、画像IMにおいて認識可能な、進行路の最遠位置FPが特定の位置に定められてよい。したがって、大きさが同じであっても、最遠位置FPに近接した汚れUC3の大きさが閾値以上であって、最遠位置FPから離れた汚れUC4の大きさが閾値未満になり得る。言換えれば、最遠位置FPに近づくほど、閾値が低くなるように設定されてよい。言い換えれば、画像IM内の、電磁波検出装置10から遠い領域に対して、閾値が低く設定されてよい。すなわち、最遠位置FPにおいて閾値が最も小さく設定される。このような設定は、最遠位置FPに近いほど反射光の強度が低下しがちであり、妨害要因が存在することにより第1検出部13の検出結果の信頼性が低下する可能性が高いことに対応するためである。
 制御部15は、妨害要因の存在を確認した場合、対象obから入射部12へ向かう反射波が妨害要因を介して切替部18に入射するとき、妨害要因を介さずに入射するときに比べて、多くの切替素子seを第1の状態に切替えてよい。
 図7に示すように、電磁波検出装置10は、移動体20に搭載されてよい。電磁波検出装置10は、例えば、移動体20の前方の電磁波を検出可能に設置されてよい。
 移動体20は、例えば車両、船舶、航空機などを含んでよい。車両は、例えば、自動車、産業車両、鉄道車両、生活車両、滑走路を走行する固定翼機などを含んでよい。自動車は、例えば、乗用車、トラック、バス、二輪車、トロリーバスなどを含んでよい。産業車両は、例えば、農業、建設向けの産業車両などを含んでよい。産業車両は、例えば、フォークリフト、ゴルフカートなどを含んでよい。農業向けの産業車両は、例えば、トラクター、耕耘機、移植機、バインダー、コンバイン、芝刈り機などを含んでよい。建設向けの産業車両は、例えば、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、ロードローラなどを含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えば、マリンジェット、ボート、タンカーを含んでよい。航空機は、例えば、固定翼機、回転翼機などを含んでよい。
 電磁波検出装置10は、例えば、移動体20の内部に搭載され、ウインドシールドを介して移動体20の外部から入射する電磁波を検出してよい。電磁波検出装置10は、ルームミラーの前方又はダッシュボード上に配置されてよい。電磁波検出装置10は、移動体20のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール及びボンネットのいずれかに固定されていてよい。
 移動体20は、報知部21及び走行支援部22を備えてよい。
 報知部21は、電磁波検出装置10の制御部15が妨害要因の存在を認定する場合、更に具体的には、電磁波検出装置10から不正確さに関する通知を取得する場合、乗員に警告を報知してよい。報知部21は、例えば、警告画像を表示可能なディスプレイ、警告音を発生可能なスピーカ、警告を点灯で放置可能なランプ等であってよい。報知にあたっては、妨害要因を除去するための方法や、不正確さに関する通知が出力される原因となった妨害要因の位置(すなわち入射部12やフロントガラス等における位置)が報知されてよい。除去すべき妨害要因の位置を、ディスプレイに表示した画像IMと共に示すことにより、乗員は妨害要因を速やかに除去し得る。
 走行支援部22は、電磁波検出装置10の制御部15が妨害要因の存在を認定する場合、更に具体的には、電磁波検出装置10から不正確さに関する通知を取得する場合、移動体20の移動を停止させてよい。走行支援部22は、オートクルーズ等の運転者の走行を支援する装置であってよい。
 次に、本実施形態において制御部15が実行する、妨害要因検出処理について、図8のフローチャートを用いて説明する。なお、便宜上、第2検出部14の検出結果全体は画像IMであり且つ妨害要因の位置は画像IM内の汚れUCの位置である構成を例として、妨害要因検出処理を説明する。妨害要因検出処理は、第2検出部14が全体の検出結果、より具体的には、1フレームの画像情報を取得するたびに開始する。又は、妨害要因検出処理は、周期的に開始してよい。したがって、電磁波検出装置10から不正確さに関する通知が取得されても、ワイパー等によりその妨害要因が除去された場合、不正確さに関する通知の出力が停止されてよく、または妨害要因が除去されたことを示す通知が出力されてよい。
 ステップS100において、制御部15は、取得する画像情報に相当する画像IM中の汚れUCの存否を判別する。画像IM全体に汚れUCが存在しない場合、妨害要因検出処理は終了する。画像IM中に、少なくとも1つの汚れUCが存在する場合、プロセスはステップS101に進む。
 ステップS101では、制御部15は、ステップS100において存在を確認した汚れUCが画像IM中で移動領域外のみに位置するか否かを判別する。汚れUCが移動領域外のみに位置する場合、妨害要因検出処理は終了する。汚れUCが移動領域外のみでなく、少なくとも1つの汚れUCが移動領域に位置する場合、プロセスはステップS102に進む。
 ステップS102では、制御部15は、ステップS103において移動領域に位置すると判別した汚れUCの大きさを算出する。算出後、プロセスはステップS103に進む。
 ステップS103では、制御部15は、ステップS102において大きさを算出した汚れUCの画像IM中の位置に基づいて、汚れUC毎に閾値を決定する。決定後、プロセスはステップS104に進む。なお、制御部15は、汚れUCが検出された位置に対応する閾値を、電磁波検出装置10に設けられるメモリに格納された画像IM中の位置に対する閾値を読出すことにより決定してよい。
 ステップS104では、制御部15は、ステップS102において算出した汚れUCの大きさと、ステップS103において決定した当該汚れUCに対応する閾値とを比較する。制御部15は、すべての汚れUCの大きさがそれぞれの汚れUCに対応する閾値未満であるか否かを判別する。すべての汚れUCの大きさがそれぞれの汚れUCに対応する閾値未満である場合、妨害要因検出処理は終了する。少なくとも1つの汚れUCの大きさが対応する閾値以上である場合、プロセスはステップS105に進む。
 ステップS105では、制御部15は、不正確さに関する通知を外部機器に出力する。出力後、妨害要因検出処理は終了する。
 以上のような構成の本実施形態の電磁波検出装置10は、第2検出部14の検出結果に基づき、第1検出部13による反射波の検出の妨げとなる妨害要因の存否を判別する。このような構成により、電磁波検出装置10は、第1検出部13の検出結果のみでは判別できない妨害要因を検出し得る。したがって、電磁波検出装置10は、一部の検出部による検出結果の信頼性を判別し得る。
 また、本実施形態の電磁波検出装置10は、妨害要因の存在に基づいて、第1検出部13の検出結果の不正確さに関する通知を出力する。このような構成により、電磁波検出装置10は、第1検出部13の検出結果に基づいた制御を行う外部機器又は当該検出結果を所望のユーザに、第1検出部13の検出結果の信頼性が低下していることを報知し得る。
 また、本実施形態の電磁波検出装置10は、第2検出部14の検出結果全体における妨害要因の位置に基づいて、不正確さに関する通知を出力する。不正確さに関する通知を取得する外部機器又はユーザにとって、第2検出部14の検出結果全体における一部の位置に対して第1検出部13の検出結果が必要となることがあり、他の位置における第1検出部13の検出結果が不要であり得る。このような外部状況に対して、上述の構成を有する電磁波検出装置10は、妨害要因が第1検出部13の検出結果が必要な位置に存在する場合に限定して、不正確さに関する通知を出力し得る。
 また、本実施形態の電磁波検出装置10は、第2検出部14の検出結果全体における、妨害要因の個々の大きさ又は大きさの合計が閾値以上である場合、不正確さに関する通知を出力する。妨害要因が相対的に小さい場合、第1検出部13の検出結果の信頼性は、当該検出結果が使用不能になるほど低下するわけではない。このような事象に対して、上述の構成を有する電磁波検出装置10は、検出結果が外部機器やユーザにとって使用不能になる位に信頼性が低下した場合に、不正確さに関する通知を出力し得る。
 また、本実施形態の電磁波検出装置10では、閾値は第2検出部14の検出結果全体における最遠位置において最も小さい。第1検出部13及び第2検出部14は空間内の物体から影響を受ける電磁波を検出する。それゆえ、最遠位置において、第1検出部13が検出する電磁波に対応する物体の大きさ、言換えると、検出結果が略等しい互いに隣接する照射位置又は放射方向の集合が小さい。このような事象に対して、上述の構成を有する電磁波検出装置10は、実空間において電磁波検出装置10から離れることにより第2検出部14の検出結果において相対的に小さな物体に対して閾値を小さくする。したがって、電磁波検出装置10は、実空間における距離も考慮に入れて、より適切に不正確さに関する通知を出力し得る。
 また、本実施形態の電磁波検出装置10は、切替部18における一部の切替素子seを第1の状態に切替え、且つ別の一部の切替素子seを第2の状態に切替え得る。このような構成により、電磁波検出装置10は、各切替素子seに入射する電磁波を出射する対象obの部分毎の電磁波に基づく情報を第1検出部13に検出させ得る。なお、前述のように、制御部は、切替素子seのうち、少なくとも反射波が結像する結像領域の切替素子seを第1の状態に切替える。切替えにおいて、第1の状態に切替える切替素子seは単数でなく、複数であってよい。第1の状態に切替えられた切替素子seが多いほど、第1検出部13へ進行する反射波の光量を多くすることができる。したがって、画像IM中の汚れUCの大きさが閾値より小さいと制御部15が判定した場合には、当該汚れUCを介して入射する反射波が結像する切替素子seのうち第1の状態とする切替素子seの数を、汚れUCの大きさに応じて増やしてよい。第1の状態に切替える切替素子seを増やした場合、汚れUCの大きさが閾値以上になるまでは、電波検出装置10は不正確さに関する通知の出力を保留してよい。
 また、本実施形態の移動体20は、妨害要因の存在が認められる場合、警告を報知する報知部21を備える。このような構成により、移動体20は、乗員に第1検出部13の信頼性が低下していることを報知し得る。
 また、本実施形態の移動体20は、妨害要因の存在が認められる場合、移動を停止させる走行支援部22を備える。このような構成により、移動体20は、第1検出部13の検出結果の信頼性が相対的に低い場合、当該検出結果に基づく走行支援を停止し得る。したがって、移動体20は、走行支援部22による走行支援の安全性を向上する。
 本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
 例えば、本実施形態の切替部18において、第1の状態において作用面asに入射する電磁波を第3の方向d3に反射し、第2の状態において作用面asに入射する電磁波を第4の方向d4に反射する構成であるが、他の構成が採用されてもよい。
 例えば、図9に示すように、切替部181は、第1の状態において作用面asに入射する電磁波を透過させて第3の方向d3に進行させてもよい。切替部181は、更に具体的には、切替素子毎に電磁波を第4の方向に反射する反射面を有するシャッタを含んでいてもよい。このような構成の切替部181においては、切替素子毎のシャッタを開閉することにより、第3の方向d3への進行と第4の方向d4への進行とを切替素子毎に切替え得る。
 このような構成の切替部181として、例えば、開閉可能な複数のシャッタがアレイ状に配列されたMEMSシャッタを含む切替部が挙げられる。また、切替部181は、電磁波を反射する反射状態と電磁波を透過する透過状態とを液晶配向に応じて切替え可能な液晶シャッタを含む切替部が挙げられる。
 また、本実施形態において、電磁波検出装置10は、照射部11から放射されるビーム状の電磁波を反射部16に走査させることにより、第1検出部13を反射部16と協同させて走査型のアクティブセンサとして機能させる構成を有する。しかし、電磁波検出装置10は、このような構成に限られない。例えば、電磁波検出装置10は、反射部16を備えず、照射部11から放射状の電磁波を放射させ、走査なしで情報を取得する構成でも、本実施形態と類似の効果が得られる。
 本開示において「第1」、「第2」等の記載は、当該構成を区別するための識別子である。本開示における「第1」、「第2」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第1のカメラは、第2のカメラと識別子である「第1」と「第2」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第1」、「第2」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。   
 本開示内容の多くの側面は、プログラム命令を実行可能なコンピュータシステムその他のハードウェアにより実行される、一連の動作として示される。コンピュータシステムその他のハードウェアには、たとえば、汎用コンピュータ、PC(パーソナルコンピュータ)、専用コンピュータ、ワークステーション、PCS(Personal Communications System、パーソナル移動通信システム)、移動(セルラー)電話機、データ処理機能を備えた移動電話機、RFID受信機、ゲーム機、電子ノートパッド、ラップトップコンピュータ、GPS(Global Positioning System)受信機またはその他のプログラム可能なデータ処理装置が含まれる。各実施形態では、種々の動作は、プログラム命令(ソフトウェア)で実装された専用回路(たとえば、特定機能を実行するために相互接続された個別の論理ゲート)や、一以上のプロセッサにより実行される論理ブロックやプログラムモジュール等により実行されることに留意されたい。論理ブロックやプログラムモジュール等を実行する一以上のプロセッサには、たとえば、一以上のマイクロプロセッサ、CPU(中央演算処理ユニット)、ASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子機器、ここに記載する機能を実行可能に設計されたその他の装置及び/またはこれらいずれかの組合せが含まれる。ここに示す実施形態は、たとえば、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらいずれかの組合せにより実装される。命令は、必要なタスクを実行するためのプログラムコードまたはコードセグメントであってもよい。そして、命令は、機械読取り可能な非一時的記憶媒体その他の媒体に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造もしくはプログラムステートメントのいずれかの任意の組合せを示すものであってもよい。コードセグメントは、他のコードセグメントまたはハードウェア回路と、情報、データ引数、変数または記憶内容の送信及び/または受信を行い、これにより、コードセグメントが他のコードセグメントまたはハードウェア回路と接続される。
 なお、ここでは、特定の機能を実行する種々のモジュール及び/またはユニットを有するものとしてのシステムを開示しており、これらのモジュール及びユニットは、その機能性を簡略に説明するために模式的に示されたものであって、必ずしも、特定のハードウェア及び/またはソフトウェアを示すものではないことに留意されたい。その意味において、これらのモジュール、ユニット、その他の構成要素は、ここで説明された特定の機能を実質的に実行するように実装されたハードウェア及び/またはソフトウェアであればよい。異なる構成要素の種々の機能は、ハードウェア及び/もしくはソフトウェアのいかなる組合せまたは分離したものであってもよく、それぞれ別々に、またはいずれかの組合せにより用いることができる。また、キーボード、ディスプレイ、タッチスクリーン、ポインティングデバイス等を含むがこれらに限られない入力/出力もしくはI/Oデバイスまたはユーザインターフェースは、システムに直接にまたは介在するI/Oコントローラを介して接続することができる。このように、本開示内容の種々の側面は、多くの異なる態様で実施することができ、それらの態様はすべて本開示内容の範囲に含まれる。
 10 電磁波検出装置
 11 照射部
 12 入射部
 13 第1検出部
 14 第2検出部
 15 制御部
 16 反射部
 17 分離部
 18 切替部
 19 後段光学系
 20 移動体
 21 報知部
 22 走行支援部
 as 作用面
 d1 第1の方向
 d2 第2の方向
 d3 第3の方向
 d4 第4の方向
 IM 画像
 ob 対象
 UC、UC1、UC2、UC3、UC4 汚れ

Claims (15)

  1.  空間内の複数の異なる方向に電磁波を放射する照射部と、
     前記照射部が放射した電磁波が前記空間内の物体で反射した反射波を含む、前記空間からの電磁波が入射する入射部と、
     前記入射部に入射した前記反射波を少なくとも検出する第1検出部と、
     前記入射部に入射した電磁波の少なくとも一部を検出する第2検出部と、
     前記第2検出部の検出結果に基づき、前記第1検出部による前記反射波の検出の妨げとなる妨害要因の存否を判別する制御部と、を備える
     電磁波検出装置。
  2.  請求項1に記載の電磁波検出装置において、
     前記制御部は、前記第1検出部の検出結果に基づいて、前記空間における電磁波の放射方向における物体の測距を行う
     電磁波検出装置。
  3.  請求項1又は2に記載の電磁波検出装置において、
     前記第2検出部は、イメージセンサであり、
     前記制御部は、前記第2検出部が検出する画像中の汚れを、前記妨害要因とみなす
     電磁波検出装置。
  4.  請求項1から3のいずれか1項に記載の電磁波検出装置において、
     前記照射部は、前記入射部を介さずに、電磁波を前記空間内に放射する
     電磁波検出装置。
  5.  請求項1から4のいずれか1項に記載の電磁波検出装置において、
     前記制御部は、前記第2検出部の検出結果全体における、前記妨害要因の存在する位置に基づいて、前記第1検出部の検出結果の不正確さに関する通知を出力する
     電磁波検出装置。
  6.  請求項5に記載の電磁波検出装置において、
     前記制御部は、前記第2検出部の検出結果全体における、前記電磁波検出装置を搭載した移動体が移動可能な移動領域に前記妨害要因が存在する場合に、前記不正確さに関する通知を出力する、
     電磁波検出装置。
  7.  請求項6に記載の電磁波検出装置において、
     前記移動領域は、前記第2検出部の検出結果全体における、天空を除く領域であり、前記移動体が移動する道路を含む、
     電磁波検出装置。
  8.  請求項5から7のいずれか1項に記載の電磁波検出装置において、
     前記制御部は、前記第2検出部の検出結果全体における、前記妨害要因の大きさの合計が閾値以上である場合に、前記不正確さに関する通知を出力する
     電磁波検出装置。
  9.  請求項5から7のいずれか1項に記載の電磁波検出装置において、
     前記制御部は、前記第2検出部の検出結果全体における、個々の前記妨害要因いずれかの大きさが閾値以上である場合に、前記不正確さに関する通知を出力する
     電磁波検出装置。
  10.  請求項9に記載の電磁波検出装置において、
     前記閾値は、前記第2検出部の検出結果全体における各領域に設定されており、最も遠方の前記空間の位置に対応する最遠位置において、最も小さい
     電磁波検出装置。
  11.  請求項1から10に記載の電磁波検出装置において、
     入射する電磁波を前記第1の検出部へ進行させる第1の状態と、前記第1の検出部へ進行させない第2の状態とに切替え可能な複数の切替素子を有する切替部を有し、、
     前記制御部は、前記切替素子のうち前記反射波が入射する領域の切替素子を前記第1の状態とし、前記反射波が前記前記妨害要因を介して前記切替部に入射する場合に、前記反射波が前記前記妨害要因を介さずに前記切替部に入射する場合に比べて、多くの前記切替素子を前記第1の状態とする、
     電磁波検出装置。
  12.  請求項6から11のいずれか1項に記載の電磁波検出装置において、
     前記不正確さに関する通知は、警告又は停止命令である
     電磁波検出装置。
  13.  空間内の複数の異なる方向に電磁波を放射する照射部と、
     前記照射部が放射した電磁波が前記空間内の物体で反射した反射波を含む、前記空間からの電磁波が入射する入射部と、
     前記入射部に入射した前記反射波を少なくとも検出する第1検出部と、
     前記入射部に入射した電磁波の少なくとも一部を検出する第2検出部と、
     前記第2検出部の検出結果に基づき、前記第1検出部による前記反射波の検出の妨げとなる妨害要因の存否を判別する制御部と、を備える
     移動体。
  14.  請求項13に記載の移動体において、
     前記妨害要因の存在を前記制御部が認定する場合、警告を報知する報知部を、更に備える
     移動体。
  15.  請求項13又は14に記載の移動体において、
     前記妨害要因の存在を前記制御部が判別する場合、移動を停止させる走行支援部を、さらに備える
     移動体。
     
PCT/JP2022/008671 2021-03-02 2022-03-01 電磁波検出装置及び移動体 WO2022186225A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280018539.2A CN116964475A (zh) 2021-03-02 2022-03-01 电磁波检测装置和移动体
EP22763279.1A EP4303613A1 (en) 2021-03-02 2022-03-01 Electromagnetic-wave detection device and moving body
US18/548,852 US20240151835A1 (en) 2021-03-02 2022-03-01 Electromagnetic-wave detection device and mobile object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-032930 2021-03-02
JP2021032930A JP2022133958A (ja) 2021-03-02 2021-03-02 電磁波検出装置及び移動体

Publications (1)

Publication Number Publication Date
WO2022186225A1 true WO2022186225A1 (ja) 2022-09-09

Family

ID=83154406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008671 WO2022186225A1 (ja) 2021-03-02 2022-03-01 電磁波検出装置及び移動体

Country Status (5)

Country Link
US (1) US20240151835A1 (ja)
EP (1) EP4303613A1 (ja)
JP (1) JP2022133958A (ja)
CN (1) CN116964475A (ja)
WO (1) WO2022186225A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652500A (ja) * 1992-08-03 1994-02-25 Mazda Motor Corp 車両の走行安全装置
JPH06342071A (ja) * 1993-06-02 1994-12-13 Nissan Motor Co Ltd 車間距離検出装置
US20070115357A1 (en) * 2005-11-23 2007-05-24 Mobileye Technologies Ltd. Systems and methods for detecting obstructions in a camera field of view
JP2007293672A (ja) * 2006-04-26 2007-11-08 Toyota Motor Corp 車両用撮影装置、車両用撮影装置の汚れ検出方法
JP2010223685A (ja) * 2009-03-23 2010-10-07 Omron Corp 車両用撮像装置
JP2015148537A (ja) * 2014-02-07 2015-08-20 日本電産エレシス株式会社 検出装置、検出方法および検出プログラム
WO2018216573A1 (ja) * 2017-05-25 2018-11-29 京セラ株式会社 電磁波検出装置および情報取得システム
JP2019020139A (ja) * 2017-07-11 2019-02-07 京セラ株式会社 情報処理装置、プログラム、および情報処理システム
WO2020059448A1 (ja) * 2018-09-18 2020-03-26 パナソニックIpマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
WO2020100892A1 (ja) * 2018-11-13 2020-05-22 株式会社小糸製作所 センサシステム
CN112099045A (zh) * 2020-08-24 2020-12-18 上海禾赛光电科技有限公司 用于激光雷达的光罩脏污检测系统、检测方法及激光雷达

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652500A (ja) * 1992-08-03 1994-02-25 Mazda Motor Corp 車両の走行安全装置
JPH06342071A (ja) * 1993-06-02 1994-12-13 Nissan Motor Co Ltd 車間距離検出装置
US20070115357A1 (en) * 2005-11-23 2007-05-24 Mobileye Technologies Ltd. Systems and methods for detecting obstructions in a camera field of view
JP2007293672A (ja) * 2006-04-26 2007-11-08 Toyota Motor Corp 車両用撮影装置、車両用撮影装置の汚れ検出方法
JP2010223685A (ja) * 2009-03-23 2010-10-07 Omron Corp 車両用撮像装置
JP2015148537A (ja) * 2014-02-07 2015-08-20 日本電産エレシス株式会社 検出装置、検出方法および検出プログラム
WO2018216573A1 (ja) * 2017-05-25 2018-11-29 京セラ株式会社 電磁波検出装置および情報取得システム
JP2018200927A (ja) 2017-05-25 2018-12-20 京セラ株式会社 電磁波検出装置および情報取得システム
JP2019020139A (ja) * 2017-07-11 2019-02-07 京セラ株式会社 情報処理装置、プログラム、および情報処理システム
WO2020059448A1 (ja) * 2018-09-18 2020-03-26 パナソニックIpマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
WO2020100892A1 (ja) * 2018-11-13 2020-05-22 株式会社小糸製作所 センサシステム
CN112099045A (zh) * 2020-08-24 2020-12-18 上海禾赛光电科技有限公司 用于激光雷达的光罩脏污检测系统、检测方法及激光雷达

Also Published As

Publication number Publication date
EP4303613A1 (en) 2024-01-10
CN116964475A (zh) 2023-10-27
US20240151835A1 (en) 2024-05-09
JP2022133958A (ja) 2022-09-14

Similar Documents

Publication Publication Date Title
JP5096008B2 (ja) 面発光レーザ(vcsel)アレイ・レーザスキャナ
JP5238868B2 (ja) 車両の物体距離認識システム及び作動方法
JP2021504677A (ja) 調整可能な分解能とフェイルセーフ動作を備えたlidarのシステムと方法
US10976420B2 (en) Methods and systems for detecting sensor occlusions
JP7227391B2 (ja) センサハウジングの障害物を検出するための方法およびシステム
JP5632352B2 (ja) 物体検知装置
US20220057203A1 (en) Distance measurement device and distance measurement method
WO2022186225A1 (ja) 電磁波検出装置及び移動体
WO2022196534A1 (ja) 電磁波検出装置
US20240183990A1 (en) Electromagnetic-wave detection device
KR102297399B1 (ko) 듀얼 파장을 이용한 라이다 장치
CN110579776B (zh) 搭载于作业车的激光雷达
US20230305124A1 (en) Methods and systems of window blockage detection for lidar
US20240045040A1 (en) Detecting obstructions
US20240107635A1 (en) Radiant heater for defogging lidar aperture window
US20240183959A1 (en) Methods and systems for detecting obstructions on a sensor housing
US11871130B2 (en) Compact perception device
WO2023105463A1 (en) A system and method for lidar blockage detection
US20240036212A1 (en) Lane boundary detection using sub-short range active light sensor
US20240071093A1 (en) Time-Division Multiple Access Scanning for Crosstalk Mitigation in Light Detection and Ranging (Lidar) Devices
EP4336212A1 (en) Temporally modulated light emission for defect detection in light detection and ranging (lidar) devices and cameras
US20240134050A1 (en) Lidar systems and methods for generating a variable density point cloud
US20230194676A1 (en) Two-Step Return Calibration for Lidar Cross-Talk Mitigation
WO2023183425A1 (en) Methods and systems of window blockage detection for lidar
WO2024063918A1 (en) Radiant heater for defogging lidar aperture window

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22763279

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18548852

Country of ref document: US

Ref document number: 202280018539.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022763279

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022763279

Country of ref document: EP

Effective date: 20231002