WO2021235249A1 - 電磁波検出装置および測距装置 - Google Patents

電磁波検出装置および測距装置 Download PDF

Info

Publication number
WO2021235249A1
WO2021235249A1 PCT/JP2021/017575 JP2021017575W WO2021235249A1 WO 2021235249 A1 WO2021235249 A1 WO 2021235249A1 JP 2021017575 W JP2021017575 W JP 2021017575W WO 2021235249 A1 WO2021235249 A1 WO 2021235249A1
Authority
WO
WIPO (PCT)
Prior art keywords
electromagnetic wave
contour
unit
irradiation
target
Prior art date
Application number
PCT/JP2021/017575
Other languages
English (en)
French (fr)
Inventor
常泰 犬飼
浩希 岡田
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to CN202180037619.8A priority Critical patent/CN115667991A/zh
Priority to US17/999,349 priority patent/US20230184951A1/en
Priority to EP21807549.7A priority patent/EP4155774A1/en
Publication of WO2021235249A1 publication Critical patent/WO2021235249A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters

Definitions

  • This disclosure relates to an electromagnetic wave detection device and a distance measuring device.
  • the electromagnetic wave detection device from the first viewpoint is An image information acquisition unit that acquires image information in the space where the target exists, and A contour detection unit that detects the contour of the target included in the image information, and An irradiation system that irradiates the space with electromagnetic waves, An irradiation control unit that controls the irradiation system to irradiate the electromagnetic wave in a direction corresponding to the contour of the object in the space.
  • the electromagnetic wave includes a first detection unit for detecting a reflected wave reflected by the object.
  • the distance measuring device from the second viewpoint is An image information acquisition unit that acquires image information in the space where the target exists, and A contour detection unit that detects the contour of the target included in the image information, and An irradiation system that irradiates the space with electromagnetic waves, An irradiation control unit that controls the irradiation system to irradiate the electromagnetic wave in a direction corresponding to the contour of the object in the space.
  • a first detection unit that detects the reflected wave reflected by the object by the electromagnetic wave, and A calculation unit for calculating a distance to the target based on the detection information of the first detection unit is provided.
  • FIG. 1 is a configuration diagram showing a schematic configuration of an electromagnetic wave detection device according to an embodiment.
  • FIG. 2 is a diagram for explaining the traveling direction of the electromagnetic wave in the first state and the second state of the electromagnetic wave detection device of FIG.
  • FIG. 3 is a timing chart for explaining the calculation of the distance.
  • FIG. 4 is a diagram showing an example of an image of a space in which an object exists.
  • FIG. 5 is a diagram showing the outline of the image of FIG.
  • FIG. 6 is a diagram showing an example of a position where electromagnetic waves are irradiated.
  • FIG. 7 is a diagram showing the timing of image information output, contour detection, and irradiation control.
  • FIG. 8 is a flowchart showing the processing of the control unit.
  • FIG. 9 is a configuration diagram showing a schematic configuration of a modified example of the electromagnetic wave detection device.
  • FIG. 1 is a configuration diagram showing a schematic configuration of an electromagnetic wave detection device 10 according to an embodiment.
  • the electromagnetic wave detection device 10 includes an irradiation system 111, a light receiving system 110, and a control unit 14.
  • the electromagnetic wave detection device 10 will be described as having one irradiation system 111 and one light receiving system 110, but the irradiation system 111 and the light receiving system 110 are not limited to one, and a plurality of irradiation systems are not limited to one. Each of the plurality of light receiving systems 110 may be associated with each of the 111s.
  • the irradiation system 111 includes an irradiation unit 12 and a deflection unit 13.
  • the light receiving system 110 includes an incident unit 15, a separating unit 16, a first detection unit 20, a second detection unit 17, a switching unit 18, and a first rear-stage optical system 19.
  • the control unit 14 includes an image information acquisition unit 141, a contour detection unit 142, an irradiation control unit 143, a light receiving control unit 144, and a calculation unit 145. Details of each functional block of the electromagnetic wave detection device 10 according to this embodiment will be described later.
  • the broken line connecting each functional block indicates the flow of control signals or information to be communicated.
  • the communication indicated by the broken line may be wired communication or wireless communication.
  • the solid arrow indicates a beam-shaped electromagnetic wave.
  • the target ob is the subject of the electromagnetic wave detection device 10.
  • the subject may include an object such as a road, a median strip, a sidewalk, a roadside tree, a vehicle, or the like, or may include a person. Further, the target ob is not limited to one.
  • the electromagnetic wave detection device 10 can identify the subject by acquiring an image including the subject and detecting the reflected wave reflected by the subject.
  • the electromagnetic wave detection device 10 may be a driving support device mounted on a vehicle or the like to detect an approaching target ob while traveling and notify the driver.
  • the electromagnetic wave detection device 10 according to the present embodiment includes a calculation unit 145, and functions as a distance measuring device for measuring the distance to the target ob by the calculation unit 145 as described later.
  • the irradiation system 111 irradiates the space where the target ob exists with an electromagnetic wave.
  • the irradiation system 111 irradiates the electromagnetic wave irradiated by the irradiation unit 12 toward the space where the target ob exists via the deflection unit 13.
  • the irradiation system 111 may have a configuration in which the irradiation unit 12 directly irradiates the target ob with an electromagnetic wave.
  • the irradiation unit 12 irradiates at least one of infrared rays, visible rays, ultraviolet rays, and radio waves. In the present embodiment, the irradiation unit 12 irradiates infrared rays. Further, in the present embodiment, the irradiation unit 12 irradiates a narrow-width, for example, 0.5 ° beam-shaped electromagnetic wave. Further, the irradiation unit 12 irradiates the electromagnetic wave in a pulse shape.
  • the irradiation unit 12 may be configured to include, for example, an LED (Light Emitting Diode) as an electromagnetic wave irradiation element.
  • the irradiation unit 12 may be configured to include, for example, an LD (Laser Diode) as an electromagnetic wave irradiation element.
  • the irradiation unit 12 switches between irradiation and stopping of electromagnetic waves based on the control of the control unit 14.
  • the irradiation unit 12 may form an LED array or an LD array in which a plurality of electromagnetic wave irradiation elements are arranged in an array, and may simultaneously irradiate a plurality of beams.
  • the deflection unit 13 outputs the electromagnetic wave irradiated by the irradiation unit 12 in a plurality of different directions, and changes the irradiation position of the electromagnetic wave irradiated to the space where the target ob exists. Output in a plurality of different directions may be performed by the deflection unit 13 reflecting the electromagnetic wave from the irradiation unit 12 while changing the direction. For example, the deflection unit 13 scans the target ob in a one-dimensional direction or a two-dimensional direction.
  • the irradiation unit 12 is configured as, for example, an LD array
  • the deflection unit 13 reflects all of the plurality of beams output from the LD array and outputs them in the same direction. That is, the irradiation system 111 has one deflection unit 13 with respect to the irradiation unit 12 having one or a plurality of electromagnetic wave irradiation elements.
  • the deflection unit 13 is configured so that at least a part of the irradiation region, which is a space for outputting electromagnetic waves, is included in the detection range of electromagnetic waves in the light receiving system 110. Therefore, at least a part of the electromagnetic wave radiated to the space where the target ob exists through the deflection unit 13 can be reflected by at least a part of the target ob and detected in the light receiving system 110.
  • the electromagnetic wave that the electromagnetic wave output from the deflection unit 13 is reflected by at least a part of the target ob is referred to as a reflected wave.
  • the deflection unit 13 includes, for example, a MEMS (Micro Electro Mechanical Systems) mirror, a polygon mirror, a galvano mirror, and the like. In this embodiment, the deflection unit 13 includes a MEMS mirror.
  • MEMS Micro Electro Mechanical Systems
  • the deflection unit 13 changes the direction of reflecting electromagnetic waves based on the control of the control unit 14.
  • the deflection unit 13 may have an angle sensor such as an encoder, and may notify the control unit 14 of the angle detected by the angle sensor as direction information for reflecting electromagnetic waves.
  • the control unit 14 can calculate the irradiation position of the electromagnetic wave based on the direction information acquired from the deflection unit 13. Further, the control unit 14 can also calculate the irradiation position based on the drive signal input to change the direction in which the electromagnetic wave is reflected by the deflection unit 13.
  • the “electromagnetic wave including the reflected wave” means an electromagnetic wave including the reflected wave at the target ob and incident on the light receiving system 110. That is, in order to distinguish it from the electromagnetic wave emitted from the irradiation system 111, the electromagnetic wave incident on the light receiving system 110 may be referred to as an "electromagnetic wave including a reflected wave".
  • the electromagnetic wave including the reflected wave includes not only the reflected wave in which the electromagnetic wave radiated from the irradiation system 111 is reflected by the target ob, but also external light such as sunlight and light reflected by the external light in the target ob.
  • the incident portion 15 is an optical system having at least one optical member, and forms an image of an object ob as a subject.
  • the optical member includes at least one such as a lens, a mirror, a diaphragm and an optical filter.
  • the separation unit 16 is provided between the incident unit 15 and the primary image formation position, which is the image formation position by the incident unit 15, of the image of the target ob separated from the incident unit 15 at a predetermined position.
  • the separation unit 16 separates the electromagnetic wave including the reflected wave so as to travel in the first direction d1 or the second direction d2 depending on the wavelength.
  • the separation unit 16 reflects a part of the electromagnetic wave including the reflected wave in the first direction d1 and transmits another part in the second direction d2.
  • the separation unit 16 reflects the visible light reflected by the target ob from the incident electromagnetic waves such as sunlight in the first direction d1.
  • the separation unit 16 transmits the infrared rays emitted by the irradiation unit 12 among the incident electromagnetic waves reflected by the target ob in the second direction d2.
  • the separation unit 16 may transmit a part of the incident electromagnetic wave in the first direction d1 and reflect another part of the electromagnetic wave in the second direction d2.
  • the separation unit 16 may refract a part of the incident electromagnetic wave in the first direction d1 and another part of the electromagnetic wave in the second direction d2.
  • the separator 16 is, for example, a half mirror, a beam splitter, a dichroic mirror, a cold mirror, a hot mirror, a metasurface, a deflection element, a prism, and the like.
  • the second detection unit 17 is provided on the path of the electromagnetic wave traveling from the separation unit 16 in the first direction d1.
  • the second detection unit 17 is provided near the image formation position or the image formation position of the target ob in the first direction d1.
  • the second detection unit 17 detects the electromagnetic wave traveling in the first direction d1 from the separation unit 16.
  • the first traveling axis of the electromagnetic wave traveling from the separation unit 16 in the first direction d1 is parallel to the first detection axis of the second detection unit 17. It may be arranged with respect to the separation part 16.
  • the first traveling axis is the central axis of the electromagnetic wave propagating while spreading radially, traveling from the separation portion 16 in the first direction d1.
  • the first traveling axis is an axis in which the optical axis of the incident portion 15 is extended to the separating portion 16 and bent so as to be parallel to the first direction d1 in the separating portion 16.
  • the first detection axis is an axis that passes through the center of the detection surface of the second detection unit 17 and is perpendicular to the detection surface.
  • the second detection unit 17 may be arranged so that the distance between the first traveling axis and the first detection axis is equal to or less than the first interval threshold value. Further, the second detection unit 17 may be arranged so that the first traveling axis and the first detection axis coincide with each other. In the present embodiment, the second detection unit 17 is arranged so that the first traveling axis and the first detection axis coincide with each other.
  • the second detection unit 17 is separated so that the first angle formed by the first traveling axis and the detection surface of the second detection unit 17 is equal to or less than the first angle threshold value or a predetermined angle. It may be arranged with respect to the part 16. In the present embodiment, the second detection unit 17 is arranged so that the first angle is 90 °.
  • the second detection unit 17 is a passive sensor.
  • the second detection unit 17 further specifically includes an element array.
  • the second detection unit 17 includes an image pickup element such as an image sensor or an imaging array, captures an image of an electromagnetic wave formed on the detection surface, and generates image information of a space including the imaged target ob.
  • the second detection unit 17 more specifically captures an image of visible light.
  • the second detection unit 17 transmits the generated image information as a signal to the control unit 14.
  • the second detection unit 17 may capture an image other than visible light, such as an image of infrared rays, ultraviolet rays, and radio waves.
  • the switching unit 18 is provided on the path of the electromagnetic wave traveling in the second direction d2 from the separation unit 16.
  • the switching unit 18 is provided near the primary image formation position or the primary image formation position of the target ob in the second direction d2.
  • the switching unit 18 is provided at the imaging position.
  • the switching unit 18 has a working surface as on which an electromagnetic wave that has passed through the incident unit 15 and the separation unit 16 is incident.
  • the working surface as is composed of a plurality of switching elements se arranged along a two-dimensional shape.
  • the working surface as is a surface that causes an action such as reflection and transmission on an electromagnetic wave in at least one of a first state and a second state described later.
  • the switching unit 18 can switch between the first state in which the electromagnetic wave incident on the working surface as is advanced in the third direction d3 and the second state in which the electromagnetic wave incident on the working surface as is advanced in the fourth direction d4 for each switching element se.
  • the first state is the first reflection state in which the electromagnetic wave incident on the working surface as is reflected in the third direction d3.
  • the second state is the second reflection state in which the electromagnetic wave incident on the working surface as is reflected in the fourth direction d4.
  • the switching unit 18 further specifically includes a reflecting surface that reflects electromagnetic waves for each switching element se.
  • the switching unit 18 switches between the first reflection state and the second reflection state for each switching element se by arbitrarily changing the direction of each reflecting surface for each switching element se.
  • the switching unit 18 includes, for example, a DMD (Digital Micromirror Device: Digital Micromirror Device).
  • the DMD can switch the reflective surface to either + 12 ° or ⁇ 12 ° with respect to the working surface as for each switching element se by driving a minute reflective surface constituting the working surface as. ..
  • the working surface as is parallel to the plate surface of the substrate on which the minute reflective surface in the DMD is placed.
  • the switching unit 18 switches between the first state and the second state for each switching element se based on the control of the control unit 14. For example, as shown in FIG. 2, the switching unit 18 can simultaneously cause an electromagnetic wave incident on the switching element se1 to travel in the third direction d3 by switching a part of the switching element se1 to the first state. By switching a part of the switching element se2 to the second state, the electromagnetic wave incident on the switching element se2 can be advanced in the fourth direction d4. More specifically, the control unit 14 detects the direction in which the electromagnetic wave is irradiated or the position where the electromagnetic wave is irradiated, based on the direction information from the deflection unit 13.
  • the switching element se1 according to the irradiation direction or irradiation position of the detected electromagnetic wave is set to the first state, and the other switching elements se1 are set to the second state, so that the reflected wave from the target ob is selectively selected. Proceed in the third direction d3. Of the electromagnetic waves that have passed through the separation unit 16, the electromagnetic waves other than the reflected wave from the target ob travel in the fourth direction d4, and therefore do not enter the first detection unit 20.
  • the first rear-stage optical system 19 is provided in the third direction d3 from the switching unit 18.
  • the first post-stage optical system 19 includes, for example, at least one of a lens and a mirror.
  • the first rear-stage optical system 19 forms an image of the target ob as an electromagnetic wave whose traveling direction is switched by the switching unit 18.
  • the first detection unit 20 detects the reflected wave.
  • the first detection unit 20 is arranged at a position where electromagnetic waves traveling via the first rear-stage optical system 19 after traveling in the third direction d3 by the switching unit 18 can be detected.
  • the first detection unit 20 detects an electromagnetic wave that has passed through the first rear-stage optical system 19, that is, an electromagnetic wave that has traveled in the third direction d3, and outputs a detection signal.
  • the first detection unit 20, together with the switching unit 18, travels from the separation unit 16 to the second direction d2, and the traveling direction is switched to the third direction d3 by the switching unit 18, and the second traveling of the electromagnetic wave.
  • the axis may be arranged with respect to the separation unit 16 so as to be parallel to the second detection axis of the first detection unit 20.
  • the second traveling axis is the central axis of the electromagnetic wave propagating while spreading radially, traveling from the switching unit 18 in the third direction d3.
  • the second traveling axis is an axis in which the optical axis of the incident portion 15 is extended to the switching portion 18 and bent so as to be parallel to the third direction d3 in the switching portion 18.
  • the second detection axis is an axis that passes through the center of the detection surface of the first detection unit 20 and is perpendicular to the detection surface.
  • the first detection unit 20 may be arranged together with the switching unit 18 so that the distance between the second traveling axis and the second detection axis is equal to or less than the second interval threshold value.
  • the second interval threshold may be the same value as the first interval threshold, or may be a different value.
  • the first detection unit 20 may be arranged so that the second traveling axis and the second detection axis coincide with each other. In the present embodiment, the first detection unit 20 is arranged so that the second traveling axis and the second detection axis coincide with each other.
  • the second angle formed by the second traveling axis and the detection surface of the first detection unit 20 is equal to or less than the second angle threshold value or a predetermined angle. It may be arranged with respect to the separation portion 16 so as to be.
  • the second angle threshold value may be the same value as the first angle threshold value or may be a different value.
  • the first detection unit 20 is arranged so that the second angle is 90 ° as described above.
  • the first detection unit 20 is an active sensor that detects the reflected wave of the electromagnetic wave emitted from the irradiation unit 12 toward the target ob.
  • the first detection unit 20 includes a single element such as an APD (Avalanche Photodiode), a PD (Photodiode), and a ranging image sensor. Further, the first detection unit 20 may include an element array such as an APD array, a PD array, a range-finding imaging array, and a range-finding image sensor.
  • the first detection unit 20 transmits the detection information indicating that the reflected wave from the subject has been detected to the control unit 14 as a signal. More specifically, the first detection unit 20 detects electromagnetic waves in the infrared band.
  • the first detection unit 20 is used as a detection element for measuring the distance to the target ob.
  • the first detection unit 20 is an element constituting the distance measuring sensor and only needs to be able to detect electromagnetic waves, and does not need to be imaged on the detection surface. Therefore, the first detection unit 20 does not have to be provided at the secondary image formation position which is the image formation position by the first rear-stage optical system 19. That is, in this configuration, if the first detection unit 20 is at a position where electromagnetic waves from all angles of view can be incident on the detection surface, the first detection unit 20 travels in the third direction d3 by the switching unit 18 and then first. It may be arranged anywhere on the path of the electromagnetic wave traveling through the subsequent optical system 19.
  • the electromagnetic wave detection device 10 aligns the optical axis of the reflected wave for measuring the distance between the predetermined position on the image and the position.
  • the image information acquisition unit 141 acquires image information of the space in which the target ob exists from the second detection unit 17. More specifically, the image information acquisition unit 141 includes a line buffer that temporarily stores image information for several lines and outputs the image information to the contour detection unit 142.
  • the line buffer is composed of, for example, a semiconductor memory or a magnetic memory.
  • the contour detection unit 142 detects the contour of the target ob included in the image information acquired from the image information acquisition unit 141.
  • the contour detection unit 142 may detect the contour of the target ob in a one-dimensional or two-dimensional direction.
  • the contour detection unit 142 may use, for example, a Laplacian method, a Sobel method, a Canny method, or the like. The method of contour detection is not limited.
  • the irradiation control unit 143 controls the irradiation system 111.
  • the irradiation control unit 143 causes, for example, the irradiation unit 12 to switch between irradiation and stop of electromagnetic waves.
  • the irradiation control unit 143 causes, for example, the deflection unit 13 to change the direction in which the electromagnetic wave is reflected.
  • the irradiation system 111 irradiates the electromagnetic wave in the direction corresponding to the contour of the target ob in the space based on the information of the contour of the target ob detected by the contour detection unit 142. To control.
  • the light receiving control unit 144 controls the light receiving system 110.
  • the light receiving control unit 144 causes, for example, the switching unit 18 to switch between the first state and the second state for each switching element se.
  • the calculation unit 145 calculates the distance to the target ob based on the detection information of the first detection unit 20.
  • the calculation unit 145 can calculate the distance based on the acquired detection information, for example, by a ToF (Time-of-Flight) method.
  • ToF Time-of-Flight
  • the control unit 14 inputs an electromagnetic wave radiation signal to the irradiation unit 12 to irradiate the irradiation unit 12 with a pulsed electromagnetic wave (see the “electromagnetic wave radiation signal” column).
  • the irradiation unit 12 irradiates an electromagnetic wave based on the input electromagnetic wave radiation signal (see the “irradiation unit radiation amount” column).
  • the electromagnetic wave irradiated by the irradiation unit 12 and reflected by the deflection unit 13 and irradiated to the irradiation region, which is the space where the target ob exists, is reflected in the irradiation region.
  • the control unit 14 switches at least a part of the switching element se in the imaging region in the switching unit 18 by the incident unit 15 of the reflected wave in the irradiation region to the first state, and switches the other switching element se to the second state. Switch to. Then, when the first detection unit 20 detects the electromagnetic wave reflected in the irradiation region (see the “electromagnetic wave detection amount” column), the first detection unit 20 notifies the control unit 14 of the detection information.
  • the calculation unit 145 acquires the information of the above signal including the detection information.
  • the calculation unit 145 includes, for example, a time measurement LSI (Large Scale Integrated circuit), from the time T1 when the irradiation unit 12 is irradiated with electromagnetic waves to the time T2 when the detection information is acquired (see the “detection information acquisition” column). Measure the time ⁇ T.
  • the calculation unit 145 calculates the distance to the irradiation position by multiplying the time ⁇ T by the speed of light and dividing by 2.
  • control unit 14 may include one or more processors.
  • the processor may load a program from an accessible memory and operate as an image information acquisition unit 141, a contour detection unit 142, an irradiation control unit 143, a light receiving control unit 144, and a calculation unit 145.
  • the processor may include at least one of a general purpose processor that loads a specific program and performs a specific function, and a dedicated processor specialized for a specific process.
  • the dedicated processor may include an application specific integrated circuit (ASIC).
  • the processor may include a programmable logic device (PLD; Programmable Logic Device).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the control unit 14 may include at least one of a System (System-on-a-Chip) in which one or a plurality of processors cooperate, and a SiP (System In a Package).
  • the electromagnetic wave detection device 10 acquires an image including the target ob which is the subject by the second detection unit 17, and detects the reflected wave by the first detection unit 20 to determine the distance to the target ob. Can be calculated.
  • the time required to detect an electromagnetic wave including a reflected wave is longer than the time required to acquire an image for one frame by an image pickup device or the like. For example, it is possible to acquire an image of 1920 ⁇ 1080 pixels in 30 frames per second using an image sensor.
  • the time required for distance measurement by receiving the reflected wave of the irradiated electromagnetic wave may take 20 ⁇ s at one point.
  • the resolution of the detection of the electromagnetic wave becomes very low.
  • the resolution of electromagnetic wave detection is increased, the frame rate of distance measurement becomes low, and the timing of acquiring an image and the timing of detecting an electromagnetic wave are greatly deviated.
  • the electromagnetic wave detection device 10 reduces the number of times of irradiating the electromagnetic wave per frame by irradiating the irradiation system 111 with the electromagnetic wave based on the information of the contour of the target ob. Solve such problems.
  • FIG. 4 is a diagram showing an example of an image of the space in which the target ob exists.
  • the image of FIG. 4 may be referred to as a captured image 50.
  • the captured image 50 is a one-frame image and has a size of, for example, 1920 ⁇ 1080 pixels.
  • the target ob is the sky, mountains, roads, white lines, side walls and median strips.
  • the captured image 50 is an image in front of a traveling vehicle equipped with the electromagnetic wave detection device 10, and is set so that the center C is ahead of the traveling direction of the vehicle.
  • the image information acquisition unit 141 acquires the image signal of the captured image 50 from the second detection unit 17 in line units. That is, the image information acquisition unit 141 acquires the image information of the space in which the target ob exists, not in the frame unit but in a partial partial information unit.
  • the image information acquisition unit 141 includes a line buffer for eight lines and acquires partial information for eight lines as a unit. For example, the image information acquisition unit 141 obtains a first partial information 51 which is a part of the image information of the space and a second partial information 52 which is a part of the image information of the space different from the first partial information 51. get.
  • the first partial information 51 and the second partial information 52 are partial information for eight lines, respectively.
  • the line buffer of the image information acquisition unit 141 acquires the first partial information 51 by overwriting the second partial information 52. Further, the image information acquisition unit 141 outputs the second partial information 52 after outputting the first partial information 51 to the contour detection unit 142.
  • FIG. 5 is a diagram showing the outline of the captured image 50 of FIG.
  • the image of FIG. 5 may be referred to as a contour image 60.
  • the contour image 60 corresponds to an image of the result of extracting the contour of the captured image 50 by the contour detection unit 142.
  • the contour image 60 the boundary portion of the sky, the mountain, the road, the white line, the side wall, and the median strip, which are the objects ob, is extracted and shown.
  • the center C of the contour image 60 is at the same position as the captured image 50.
  • the contour detection unit 142 acquires the image signal of the captured image 50 from the image information acquisition unit 141 in line units.
  • the contour detection unit 142 can acquire an image signal within the capacity of the line buffer of the image information acquisition unit 141.
  • the contour detection unit 142 may acquire partial information for each line and execute contour detection from the acquired partial information for one line each time it is acquired.
  • the contour detection unit 142 acquires partial information for eight lines that can be stored in the line buffer of the image information acquisition unit 141 at a time, and executes contour detection from the acquired partial information for eight lines. It's okay.
  • the contour detection unit 142 outputs contour information for eight lines of partial information to the irradiation control unit 143 as a unit.
  • the contour detection unit 142 detects the first contour which is the contour of the target ob based on the first partial information 51 for eight lines, and then the contour detection unit 142 of the target ob based on the second partial information 52 for eight lines. The second contour, which is the contour, is detected. Then, the contour detection unit 142 outputs the information 61 of the first contour to the irradiation control unit 143, and then outputs the information 62 of the second contour to the irradiation control unit 143.
  • FIG. 6 is a diagram showing an example of a position where the irradiation system 111 irradiates an electromagnetic wave.
  • the information 61 of the first contour shown in FIG. 6 is an enlargement of the information 61 of the first contour shown in FIG.
  • the 12 lines included in the first contour information 61 indicate the contour of the target ob included in the partial information.
  • the irradiation control unit 143 acquires the information 61 of the first contour, it controls the irradiation system 111 to irradiate the electromagnetic wave in the direction corresponding to the contour of the target ob in the space.
  • the irradiation control unit 143 irradiates the pulsed electromagnetic wave when the irradiation direction corresponds to the contour of the target ob, and does not irradiate the electromagnetic wave when the irradiation direction does not correspond to the contour of the target ob.
  • the irradiation system 111 is controlled so as to move to the contour position of.
  • the contour of the target ob is supported. It is possible to irradiate electromagnetic waves accurately in the direction of light.
  • the contour of the target ob may have a length in the horizontal or vertical direction.
  • Irradiation control unit 143 for example, the position of the midpoint of successive contour defining a contour position P 1 ⁇ P 12, may by emitting an electromagnetic wave in the direction corresponding to the contour position P 1 ⁇ P 12 in the actual space.
  • the irradiation control unit 143 acquires the information 62 of the second contour, the irradiation control unit 111 controls the irradiation system 111 to irradiate the electromagnetic wave in the direction corresponding to the contour of the target ob in the space. That is, the irradiation control unit 143 irradiates the electromagnetic wave in the direction corresponding to the first contour in the space, and then irradiates the electromagnetic wave in the direction corresponding to the second contour in the space.
  • Irradiating an electromagnetic wave in the direction corresponding to the contour position P 1 ⁇ P 12 is subject ob to be measured the distance makes it possible to irradiate a reliable electromagnetic wave in a position to present.
  • the electromagnetic waves may not be irradiated to a small target ob located between the irradiation points.
  • the electromagnetic wave detection device 10 according to the present embodiment can reliably irradiate the electromagnetic wave in the direction in which the target ob exists by irradiating the irradiation system 111 with the electromagnetic wave based on the information of the contour of the target ob.
  • the upper limit value which is the number of points at which the irradiation system 111 can irradiate electromagnetic waves per frame, may be determined based on the time when the first detection unit 20 detects the reflected wave. For example, when the second detection unit 17 detects an image of 1920 ⁇ 1080 pixels in 30 frames per second, the partial information for 8 lines that can be stored in the line buffer is detected in 240 ⁇ s. However, the detection time of the image for one line is set to 30 ⁇ s in consideration of the blanking period. On the other hand, the time required for the first detection unit 20 to detect the reflected wave of the irradiated electromagnetic wave is 20 ⁇ s per point.
  • the irradiation of the electromagnetic wave of the irradiation system 111 is executed according to the contour detection of the partial information for eight lines. Therefore, in this example, the upper limit is 12 obtained by dividing 240 ⁇ s by 20 ⁇ s.
  • the irradiation control unit 143 controls the irradiation system 111 so that the irradiation direction is moved in the horizontal direction, for example, and the electromagnetic wave is irradiated at a point equal to or less than the upper limit value.
  • the irradiation system 111 may execute the electromagnetic wave irradiation of the upper limit value while deflecting the irradiation direction in one direction, or may execute the electromagnetic wave irradiation of the upper limit value while reciprocating the irradiation direction.
  • the irradiation system 111 is deflected to make one reciprocation in the horizontal direction at 240 ⁇ s, performs 6-point electromagnetic wave irradiation during the deflection in one direction, and another during the deflection in the other direction. 6-point electromagnetic wave irradiation may be performed.
  • the third partial information 53 in the captured image 50 is partial information of an empty image for eight lines.
  • the third contour information 63 in the contour image 60 corresponds to the third partial information 53, but does not include any contour.
  • the irradiation control unit 143 acquires the information 63 of the third contour, the irradiation control unit 143 does not have to irradiate the irradiation system 111 with electromagnetic waves.
  • the irradiation control unit 143 may irradiate the point less than the upper limit value with the electromagnetic wave. That is, the irradiation control unit 143 may irradiate the electromagnetic wave only in the direction corresponding to the contour in the space.
  • the irradiation control unit 143 may irradiate the electromagnetic wave in the direction corresponding to the contour of the target ob having a high priority that does not exceed the upper limit value.
  • the priority may be set so that, for example, the contour of the target ob near the center C of the captured image 50 in space is high. That is, it may be determined that the target ob near the center C has a higher priority than the target ob in the peripheral portion of the captured image 50.
  • the priority may be set so that the clearest of the contours is higher. That is, the portion that is certain to be the boundary of the target ob may be preferentially detected.
  • the priority may be set so that the contour of the target ob in the closer part is higher. That is, priority may be given to the detection of a nearby target ob that needs to take measures such as danger avoidance actions as soon as possible.
  • the priority may be determined based on the moving speed of a vehicle or the like on which the electromagnetic wave detection device 10 is mounted. That is, when the moving speed is fast, the distant target ob may be given priority, and when the moving speed is slow, the near target ob may be given priority. Further, as yet another example, the priority may be determined by the type of the target ob recognized from the captured image, the size of the target ob, and the moving speed of the target ob in the left-right direction.
  • FIG. 7 is a diagram illustrating the timing of image information output, contour detection, and irradiation control.
  • the image information acquisition unit 141 outputs partial information (for example, the first partial information 51) for eight lines temporarily stored in the line buffer to the contour detection unit 142.
  • the image information acquisition unit 141 outputs the partial information for one line to the contour detection unit 142 in eight steps.
  • the contour detection unit 142 executes contour detection every time the partial information for one line is acquired.
  • the contour detection unit 142 executes the contour detection of the first partial information 51, and outputs the first contour information 61 to the irradiation control unit 143.
  • the irradiation control unit 143 controls the irradiation system 111 to irradiate the electromagnetic wave in the direction corresponding to the contour of the target ob in the space based on the information 61 of the first contour.
  • the image information acquisition unit 141 outputs the partial information (for example, the second partial information 52) for eight lines temporarily stored in the line buffer to the contour detection unit 142.
  • the contour detection unit 142 executes the contour detection of the second partial information 52, and outputs the second contour information 62 to the irradiation control unit 143.
  • the irradiation control unit 143 controls the irradiation system 111 to irradiate the electromagnetic wave in the direction corresponding to the contour of the target ob in the space based on the information 62 of the second contour.
  • the image information acquisition unit 141, the contour detection unit 142, and the irradiation control unit 143 execute the processing in parallel with the partial information which is a part of the image information as a unit.
  • the delay from the acquisition of the image until the irradiation system 11 irradiates the electromagnetic wave includes a delay in storing the partial information in the line buffer and a delay due to the contour detection process.
  • the control unit 14 of the electromagnetic wave detection device 10 executes electromagnetic wave detection for one frame, for example, according to the flowchart of FIG.
  • the image information acquisition unit 141 of the control unit 14 acquires the image information of the space in which the target ob exists from the first detection unit 20 (step S1).
  • the image information acquisition unit 141 of the control unit 14 acquires image information not for the entire frame but for a part of the partial information unit.
  • the contour detection unit 142 of the control unit 14 detects the contour of the target ob included in the partial information output from the image information acquisition unit 141 (step S2).
  • the irradiation control unit 143 of the control unit 14 causes the irradiation system 111 to irradiate an electromagnetic wave in a direction corresponding to the contour of the target ob in space.
  • the control unit 14 sets the next partial information in parallel (step S3).
  • the setting of the next partial information is a parameter in the control unit 14 so that the next second partial information 52 can be acquired, for example, when the control of irradiating the electromagnetic wave is executed based on the first partial information 51. As a specific example, it is to change the variable that specifies the line position).
  • step S4 When the control unit 14 finishes acquiring the image information for one frame (Yes in step S4), the control unit 14 ends a series of processes. When the control unit 14 has not acquired the image information for one frame (No in step S4), the control unit 14 returns to the process of step S1.
  • the electromagnetic wave detection device 10 irradiates the electromagnetic wave in the direction corresponding to the contour of the target ob in the space by the above configuration. Therefore, the electromagnetic wave detection device 10 can reliably irradiate the position where the target ob exists without increasing the resolution of electromagnetic wave detection. Therefore, it is possible to reduce the difference between the timing of acquiring an image and the timing of detecting an electromagnetic wave.
  • the electromagnetic wave detection device 10 acquires the first partial information 51 and irradiates the electromagnetic wave in the direction of the contour position based on the first contour information 61 obtained from the first partial information 51, and the second. It is preferable to acquire the partial information 52 of.
  • the electromagnetic wave detection device 10 can further reduce the difference between the timing of acquiring an image and the timing of detecting an electromagnetic wave. That is, the difference between the timing at which the image of the target ob is acquired and the timing at which the distance measurement measurement for the target ob is performed can be further reduced.
  • the electromagnetic wave is irradiated in the direction corresponding to the contour of the target ob, but when the contour of the target ob cannot be detected from the partial information, or the contour portion that can be detected is less than the upper limit value.
  • the electromagnetic wave may be irradiated even in the direction corresponding to the portion where the contour cannot be detected within the range of the upper limit value.
  • the electromagnetic wave detection device 10 may irradiate electromagnetic waves at equal intervals, for example.
  • the electromagnetic wave detection device 10 is configured to irradiate a laser beam and create distance information by Direct ToF that directly measures the time until it returns.
  • the electromagnetic wave detection device 10 is not limited to such a configuration.
  • the electromagnetic wave detection device 10 irradiates an electromagnetic wave at a fixed cycle, and obtains distance information by Flash ToF, which indirectly measures the time until the return from the phase difference between the irradiated electromagnetic wave and the returned electromagnetic wave. You may create it.
  • the electromagnetic wave detection device 10 may create distance information by another ToF method, for example, Phased ToF.
  • the switching unit 18 can switch the traveling direction of the electromagnetic wave incident on the working surface as in two directions, but can switch in three or more directions instead of switching to either of the two directions. It may be there.
  • the first state and the second state are the first reflection state and the fourth reflection state in which the electromagnetic wave incident on the working surface as is reflected in the third direction d3, respectively. It is a second reflection state that reflects in the direction d4, but may be another embodiment.
  • the first state may be a transmission state in which an electromagnetic wave incident on the working surface as is transmitted and travels in the third direction d3.
  • the switching unit 181 may include a shutter having a reflecting surface that reflects electromagnetic waves in the fourth direction d4 for each switching element.
  • the transmission state as the first state and the reflection state as the second state can be switched for each switching element by opening and closing the shutter for each switching element.
  • Examples of the switching unit 181 having such a configuration include a switching unit including a MEMS shutter in which a plurality of shutters that can be opened and closed are arranged in an array. Further, the switching unit 181 includes a switching unit including a liquid crystal shutter capable of switching between a reflection state for reflecting electromagnetic waves and a transmission state for transmitting electromagnetic waves according to the liquid crystal orientation. In the switching unit 181 having such a configuration, by switching the liquid crystal orientation of each switching element, the transmission state as the first state and the reflection state as the second state can be switched for each switching element.
  • the light receiving system 110 may further include a second rear-stage optical system and a third detection unit.
  • the second rear-stage optical system is provided in the fourth direction d4 from the switching unit 18 to form an image of the target ob.
  • the third detection unit is provided on the path of the electromagnetic wave traveling in the fourth direction d4 by the switching unit 18 and then traveling via the second rear-stage optical system, and the electromagnetic wave traveling in the fourth direction d4. Is detected.
  • the electromagnetic wave detection device 10 has a configuration in which the second detection unit 17 is a passive sensor and the first detection unit 20 is an active sensor.
  • the electromagnetic wave detection device 10 is not limited to such a configuration.
  • the same effect as that of the above embodiment can be obtained regardless of whether the second detection unit 17 and the first detection unit 20 are both active sensors or passive sensors.
  • the control unit 14 includes a calculation unit 145.
  • the electromagnetic wave detection device 10 according to the present embodiment has a function as a distance measuring device in which the calculation unit 145 measures the distance to the target ob.
  • the electromagnetic wave detection device 10 is not limited to measuring a distance.
  • the electromagnetic wave detection device 10 may detect and warn the presence of the target ob, which is an obstacle on the road.
  • the control unit 14 may be configured not to include the calculation unit 145.
  • the calculation unit 145 is not included in the control unit 14, but may be provided separately from the control unit 14.
  • the present disclosure can be realized as an embodiment including these, and a method, a program, and a memory recording a program substantially corresponding thereto are recorded. It can also be realized as a medium, and it should be understood that these are also included in the scope of the present disclosure.
  • Electromagnetic wave detection device 12 Irradiation unit 13 Deflection unit 14 Control unit 15 Incident unit 16 Separation unit 17 Second detection unit 18, 181 Switching unit 19 First rear-stage optical system 20 First detection unit 21 Calculation unit 50 Captured image 51 1st partial information 52 2nd partial information 53 3rd partial information 60 Contour image 61 1st contour information 62 2nd contour information 63 3rd contour information 110 Light receiving system 111 Irradiation system 141 Image information Acquisition unit 142 Contour detection unit 143 Irradiation control unit 144 Light receiving control unit 145 Calculation unit as Action surface d1, d2, d3, d4 1st direction, 2nd direction, 3rd direction, 4th direction ob Target

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

画像取得と電磁波検出のタイミングのずれを小さくする電磁波検出装置および測距装置を提供する。電磁波検出装置（１０）は、対象（ｏｂ）が存在する空間の画像情報を取得する画像情報取得部（１４１）と、画像情報に含まれる対象の輪郭を検出する輪郭検出部（１４２）と、空間に電磁波を照射する照射系（１１１）と、照射系を制御して、空間における対象の輪郭に対応する方向に電磁波を照射させる照射制御部（１４３）と、電磁波が対象で反射した反射波を検出する第１の検出部（２０）と、を備える。

Description

電磁波検出装置および測距装置 関連出願の相互参照
　本出願は、日本国特許出願２０２０－０８９１４５号（２０２０年５月２１日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本開示は、電磁波検出装置および測距装置に関する。
　近年、電磁波を検出する複数の検出器による検出結果から周囲に関する情報を得る装置が開発されている。例えば、各検出器による検出結果における座標系の差異を低減させた電磁波検出装置が知られている（特許文献１参照）。
特開２０１８－２００９２７号公報
　第１の観点による電磁波検出装置は、
　対象が存在する空間の画像情報を取得する画像情報取得部と、
　前記画像情報に含まれる前記対象の輪郭を検出する輪郭検出部と、
　前記空間に電磁波を照射する照射系と、
　前記照射系を制御して、前記空間における前記対象の輪郭に対応する方向に前記電磁波を照射させる照射制御部と、
　前記電磁波が前記対象で反射した反射波を検出する第１の検出部と、を備える。
　また、第２の観点による測距装置は、
　対象が存在する空間の画像情報を取得する画像情報取得部と、
　前記画像情報に含まれる前記対象の輪郭を検出する輪郭検出部と、
　前記空間に電磁波を照射する照射系と、
　前記照射系を制御して、前記空間における前記対象の輪郭に対応する方向に前記電磁波を照射させる照射制御部と、
　前記電磁波が前記対象で反射した反射波を検出する第１の検出部と、
　前記第１の検出部の検出情報に基づいて、前記対象との距離を演算する演算部と、を備える。
図１は、一実施形態に係る電磁波検出装置の概略構成を示す構成図である。 図２は、図１の電磁波検出装置の第１の状態と第２の状態における電磁波の進行方向を説明するための図である。 図３は、距離の演算を説明するためのタイミングチャートである。 図４は、対象が存在する空間の画像の一例を示す図である。 図５は、図４の画像の輪郭を示す図である。 図６は、電磁波を照射する位置の例を示す図である。 図７は、画像情報の出力、輪郭検出および照射制御のタイミングを示す図である。 図８は、制御部の処理を示すフローチャートである。 図９は、電磁波検出装置の変形例の概略構成を示す構成図である。
　図１は、一実施形態に係る電磁波検出装置１０の概略構成を示す構成図である。電磁波検出装置１０は、照射系１１１と、受光系１１０と、制御部１４と、を備えて構成される。本実施形態では、電磁波検出装置１０が１つの照射系１１１と１つの受光系１１０を有するものとして説明するが、照射系１１１および受光系１１０は１つに限られるものではなく、複数の照射系１１１の各々に対して、複数の受光系１１０の各々が対応付けられる構成であり得る。
　照射系１１１は、照射部１２と、偏向部１３と、を備える。受光系１１０は、入射部１５と、分離部１６と、第１の検出部２０と、第２の検出部１７と、切替部１８と、第１の後段光学系１９と、を備える。制御部１４は、画像情報取得部１４１と、輪郭検出部１４２と、照射制御部１４３と、受光制御部１４４と、演算部１４５と、を備える。本実施形態に係る電磁波検出装置１０の各機能ブロックの詳細については後述する。
　図面において、各機能ブロックを結ぶ破線は、制御信号または通信される情報の流れを示す。破線が示す通信は有線通信であってよいし、無線通信であってよい。また、実線の矢印はビーム状の電磁波を示す。また、図面において、対象ｏｂは、電磁波検出装置１０の被写体である。被写体は、例えば道路、中央分離帯、歩道、街路樹、車両等の物を含んでよいし、人を含んでよい。また対象ｏｂは１つに限られない。
　電磁波検出装置１０は、被写体を含む画像を取得するとともに、被写体で反射した反射波を検出することによって被写体を識別可能である。例えば電磁波検出装置１０は、車両等に搭載されて、走行中に近づいた対象ｏｂを検出してドライバーに通知する運転支援装置であってよい。本実施形態に係る電磁波検出装置１０は、演算部１４５を備えており、後述するように演算部１４５によって対象ｏｂまでの距離を計測する測距装置として機能する。
（照射系）
　照射系１１１は、対象ｏｂが存在する空間に電磁波を照射する。本実施形態において、照射系１１１は、照射部１２が照射する電磁波を、偏向部１３を介して、対象ｏｂが存在する空間に向けて照射する。別の例として、照射系１１１は、照射部１２が電磁波を対象ｏｂに向けて直接に照射する構成であってよい。
　照射部１２は、赤外線、可視光線、紫外線および電波の少なくともいずれかを照射する。本実施形態において、照射部１２は赤外線を照射する。また、本実施形態において、照射部１２は、幅の細い、例えば０．５°のビーム状の電磁波を照射する。また、照射部１２は電磁波をパルス状に照射する。照射部１２は、電磁波照射素子として、例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）を含んで構成され得る。また、照射部１２は、電磁波照射素子として、例えばＬＤ（Ｌａｓｅｒ　Ｄｉｏｄｅ）を含んで構成され得る。照射部１２は、制御部１４の制御に基づいて電磁波の照射および停止を切替える。ここで、照射部１２は複数の電磁波照射素子をアレイ状に配列させたＬＥＤアレイまたはＬＤアレイを構成し、複数本のビームを同時に照射させてよい。
　偏向部１３は、照射部１２が照射した電磁波を複数の異なる方向に出力させて、対象ｏｂが存在する空間に照射される電磁波の照射位置を変更する。複数の異なる方向への出力は、偏向部１３が照射部１２からの電磁波を、向きを変えながら反射することで行ってよい。例えば偏向部１３は、一次元方向または二次元方向に対象ｏｂを走査する。ここで、照射部１２が例えばＬＤアレイとして構成されている場合、偏向部１３はＬＤアレイから出力される複数のビームの全てを反射させて、同一方向に出力させる。すなわち、照射系１１１は、１つまたは複数の電磁波照射素子を有する照射部１２に対して１つの偏向部１３を有している。
　偏向部１３は、電磁波を出力する空間である照射領域の少なくとも一部が、受光系１１０における電磁波の検出範囲に含まれるように構成されている。したがって、偏向部１３を介して対象ｏｂが存在する空間に照射される電磁波の少なくとも一部は、対象ｏｂの少なくとも一部で反射して、受光系１１０において検出され得る。ここで、偏向部１３から出力された電磁波が対象ｏｂの少なくとも一部で反射した電磁波を反射波と称する。
　偏向部１３は、例えば、ＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ）ミラー、ポリゴンミラー、およびガルバノミラーなどを含む。本実施形態において、偏向部１３は、ＭＥＭＳミラーを含む。
　偏向部１３は、制御部１４の制御に基づいて、電磁波を反射する向きを変える。また、偏向部１３は、例えばエンコーダなどの角度センサを有してよく、角度センサが検出する角度を、電磁波を反射する方向情報として、制御部１４に通知してよい。このような構成において、制御部１４は、偏向部１３から取得する方向情報に基づいて、電磁波の照射位置を算出し得る。また、制御部１４は、偏向部１３に電磁波を反射する向きを変えさせるために入力する駆動信号に基づいても照射位置を算出し得る。
（受光系）
　以下において、「反射波を含む電磁波」は、対象ｏｂでの反射波を含んで受光系１１０に入射する電磁波を意味する。つまり、照射系１１１から照射される電磁波と区別するために、受光系１１０に入射する電磁波は「反射波を含む電磁波」と称されることがある。反射波を含む電磁波は、照射系１１１から照射された電磁波が対象ｏｂで反射した反射波のみならず、太陽光などの外光、外光が対象ｏｂで反射した光などを含む。
　入射部１５は、少なくとも１つの光学部材を有する光学系であって、被写体となる対象ｏｂの像を結像させる。光学部材は、例えばレンズ、ミラー、絞りおよび光学フィルタ等の少なくとも１つを含む。
　分離部１６は、入射部１５と、入射部１５から所定の位置をおいて離れた対象ｏｂの像の、入射部１５による結像位置である一次結像位置との間に設けられている。分離部１６は、反射波を含む電磁波を波長に応じて第１の方向ｄ１または第２の方向ｄ２に進行するように分離する。
　本実施形態において、分離部１６は、反射波を含む電磁波の一部を第１の方向ｄ１に反射し、別の一部を第２の方向ｄ２に透過する。本実施形態において、分離部１６は、入射する電磁波のうち、太陽光などの環境光が対象ｏｂで反射した可視光を第１の方向ｄ１に反射する。また、分離部１６は、入射する電磁波のうち、照射部１２が照射した赤外線が対象ｏｂで反射した赤外線を第２の方向ｄ２に透過する。別の例として、分離部１６は、入射する電磁波の一部を第１の方向ｄ１に透過し、電磁波の別の一部を第２の方向ｄ２に反射してよい。また、分離部１６は、入射する電磁波の一部を第１の方向ｄ１に屈折させ、電磁波の別の一部を第２の方向ｄ２に屈折させてよい。分離部１６は、例えば、ハーフミラー、ビームスプリッタ、ダイクロイックミラー、コールドミラー、ホットミラー、メタサーフェス、偏向素子およびプリズムなどである。
　第２の検出部１７は、分離部１６から第１の方向ｄ１に進行する電磁波の経路上に、設けられている。第２の検出部１７は、第１の方向ｄ１における対象ｏｂの結像位置または結像位置の近傍に、設けられている。第２の検出部１７は、分離部１６から第１の方向ｄ１に進行した電磁波を検出する。
　また、第２の検出部１７は、分離部１６から第１の方向ｄ１に進行する電磁波の第１の進行軸が、第２の検出部１７の第１の検出軸に平行となるように、分離部１６に対して配置されていてよい。第１の進行軸は、分離部１６から第１の方向ｄ１に進行する、放射状に広がりながら伝播する電磁波の中心軸である。本実施形態において、第１の進行軸は、入射部１５の光軸を分離部１６まで延ばし、分離部１６において第１の方向ｄ１に平行になるように折曲げた軸である。第１の検出軸は、第２の検出部１７の検出面の中心を通り、検出面に垂直な軸である。
　さらに、第２の検出部１７は、第１の進行軸および第１の検出軸の間隔が第１の間隔閾値以下となるように配置されていてよい。また、第２の検出部１７は、第１の進行軸および第１の検出軸が一致するように配置されていてよい。本実施形態において、第２の検出部１７は、第１の進行軸および第１の検出軸が一致するように配置されている。
　また、第２の検出部１７は、第１の進行軸と、第２の検出部１７の検出面とのなす第１の角度が第１の角度閾値以下または所定の角度となるように、分離部１６に対して配置されていてよい。本実施形態において、第２の検出部１７は、第１の角度が９０°となるように配置されている。
　本実施形態において、第２の検出部１７は、パッシブセンサである。本実施形態において、第２の検出部１７は、さらに具体的には、素子アレイを含む。例えば、第２の検出部１７は、イメージセンサまたはイメージングアレイなどの撮像素子を含み、検出面において結像した電磁波による像を撮像して、撮像した対象ｏｂを含む空間の画像情報を生成する。
　本実施形態において、第２の検出部１７は、さらに具体的には可視光の像を撮像する。第２の検出部１７は、生成した画像情報を信号として制御部１４に送信する。第２の検出部１７は、赤外線、紫外線、および電波の像など、可視光以外の像を撮像してよい。
　切替部１８は、分離部１６から第２の方向ｄ２に進行する電磁波の経路上に設けられている。切替部１８は、第２の方向ｄ２における対象ｏｂの一次結像位置または一次結像位置近傍に、設けられている。
　本実施形態において、切替部１８は、結像位置に設けられている。切替部１８は、入射部１５および分離部１６を通過した電磁波が入射する作用面ａｓを有している。作用面ａｓは、２次元状に沿って並ぶ複数の切替素子ｓｅによって構成されている。作用面ａｓは、後述する第１の状態および第２の状態の少なくともいずれかにおいて、電磁波に、例えば、反射および透過などの作用を生じさせる面である。
　切替部１８は、作用面ａｓに入射する電磁波を、第３の方向ｄ３に進行させる第１の状態と、第４の方向ｄ４に進行させる第２の状態とに、切替素子ｓｅ毎に切替可能である。本実施形態において、第１の状態は、作用面ａｓに入射する電磁波を、第３の方向ｄ３に反射する第１の反射状態である。また、第２の状態は、作用面ａｓに入射する電磁波を、第４の方向ｄ４に反射する第２の反射状態である。
　本実施形態において、切替部１８は、さらに具体的には、切替素子ｓｅ毎に電磁波を反射する反射面を含んでいる。切替部１８は、切替素子ｓｅ毎の各々の反射面の向きを任意に変更することにより、第１の反射状態および第２の反射状態を切替素子ｓｅ毎に切替える。
　本実施形態において、切替部１８は、例えばＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｃｒｏ　ｍｉｒｒｏｒ　Ｄｅｖｉｃｅ：デジタルマイクロミラーデバイス）を含む。ＤＭＤは、作用面ａｓを構成する微小な反射面を駆動することにより、切替素子ｓｅ毎に反射面を作用面ａｓに対して＋１２°および－１２°のいずれかの傾斜状態に切替可能である。作用面ａｓは、ＤＭＤにおける微小な反射面を載置する基板の板面に平行である。
　切替部１８は、制御部１４の制御に基づいて、第１の状態および第２の状態を、切替素子ｓｅ毎に切替える。例えば、図２に示すように、切替部１８は、同時に、一部の切替素子ｓｅ１を第１の状態に切替えることにより切替素子ｓｅ１に入射する電磁波を第３の方向ｄ３に進行させ得、別の一部の切替素子ｓｅ２を第２の状態に切替えることにより切替素子ｓｅ２に入射する電磁波を第４の方向ｄ４に進行させ得る。より具体的には、制御部１４は偏向部１３からの方向情報に基づいて、電磁波が照射された方向または電磁波が照射された位置を検出する。そして、検出した電磁波の照射方向または照射位置に応じた切替素子ｓｅ１を第１の状態とし、それ以外の切替素子ｓｅ１は第２の状態とすることで、対象ｏｂからの反射波を選択的に第３の方向ｄ３に進行させる。分離部１６を通過した電磁波のうち、対象ｏｂからの反射波以外の電磁波は第４の方向ｄ４に進行するため、第１の検出部２０には入射しない。
　図１に示すように、第１の後段光学系１９は、切替部１８から第３の方向ｄ３に設けられている。第１の後段光学系１９は、例えば、レンズおよびミラーの少なくとも一方を含む。第１の後段光学系１９は、切替部１８において進行方向を切替えられた電磁波としての対象ｏｂの像を結像させる。
　第１の検出部２０は反射波を検出する。第１の検出部２０は、切替部１８による第３の方向ｄ３に進行した後に第１の後段光学系１９を経由して進行する電磁波を検出可能な位置に配置されている。第１の検出部２０は、第１の後段光学系１９を経由した電磁波、すなわち第３の方向ｄ３に進行した電磁波を検出して、検出信号を出力する。
　また、第１の検出部２０は、切替部１８とともに、分離部１６から第２の方向ｄ２に進行して切替部１８により第３の方向ｄ３に進行方向が切替えられた電磁波の第２の進行軸が、第１の検出部２０の第２の検出軸に平行となるように、分離部１６に対して配置されていてよい。第２の進行軸は、切替部１８から第３の方向ｄ３に進行する、放射状に広がりながら伝播する電磁波の中心軸である。本実施形態において、第２の進行軸は、入射部１５の光軸を切替部１８まで延ばし、切替部１８において第３の方向ｄ３に平行になるように折曲げた軸である。第２の検出軸は、第１の検出部２０の検出面の中心を通り、検出面に垂直な軸である。
　さらに、第１の検出部２０は、切替部１８とともに、第２の進行軸および第２の検出軸の間隔が第２の間隔閾値以下となるように配置されていてよい。第２の間隔閾値は、第１の間隔閾値と同じ値であってよいし、異なる値であってよい。また、第１の検出部２０は、第２の進行軸および第２の検出軸が一致するように配置されていてよい。本実施形態において、第１の検出部２０は、第２の進行軸および第２の検出軸が一致するように配置されている。
　また、第１の検出部２０は、切替部１８とともに、第２の進行軸と、第１の検出部２０の検出面とのなす第２の角度が第２の角度閾値以下または所定の角度となるように、分離部１６に対して配置されていてよい。第２の角度閾値は、第１の角度閾値と同じ値であってよいし、異なる値であってよい。本実施形態において、第１の検出部２０は、前述のように、第２の角度が９０°となるように配置されている。
　本実施形態において、第１の検出部２０は、照射部１２から対象ｏｂに向けて照射された電磁波の反射波を検出するアクティブセンサである。第１の検出部２０は、例えばＡＰＤ（Ａｖａｌａｎｃｈｅ　ＰｈｏｔｏＤｉｏｄｅ）、ＰＤ（ＰｈｏｔｏＤｉｏｄｅ）および測距イメージセンサなどの単一の素子を含む。また、第１の検出部２０は、ＡＰＤアレイ、ＰＤアレイ、測距イメージングアレイ、および測距イメージセンサなどの素子アレイを含むものであってよい。
　本実施形態において、第１の検出部２０は、被写体からの反射波を検出したことを示す検出情報を信号として制御部１４に送信する。第１の検出部２０は、さらに具体的には、赤外線の帯域の電磁波を検出する。
　また、本実施形態において、第１の検出部２０は、対象ｏｂまでの距離を測定するための検出素子として用いられる。換言すると、第１の検出部２０は、測距センサを構成する素子であって、電磁波を検出できればよく、検出面において結像される必要がない。それゆえ、第１の検出部２０は、第１の後段光学系１９による結像位置である二次結像位置に設けられなくてよい。すなわち、この構成において、第１の検出部２０は、全ての画角からの電磁波が検出面上に入射可能な位置であれば、切替部１８により第３の方向ｄ３に進行した後に第１の後段光学系１９を経由して進行する電磁波の経路上のどこに配置されてよい。
　以上のような構成を有することにより、電磁波検出装置１０は画像上における所定の位置と、当該位置の距離を測定するための反射波の光軸を一致させている。
（制御部）
　画像情報取得部１４１は、第２の検出部１７から対象ｏｂが存在する空間の画像情報を取得する。より具体的には、画像情報取得部１４１は、数ライン分の画像情報を一時的に記憶して、輪郭検出部１４２に出力するラインバッファを含む。ラインバッファは、例えば、半導体メモリまたは磁気メモリなどで構成される。
　輪郭検出部１４２は、画像情報取得部１４１から取得した画像情報に含まれる対象ｏｂの輪郭を検出する。輪郭検出部１４２は、一次元または二次元の方向に対して対象ｏｂの輪郭を検出してよい。輪郭検出部１４２は、例えばラプラシアン法、ソーベル法またはキャニー法等を用いてよい。輪郭検出の手法は限定されない。
　照射制御部１４３は、照射系１１１を制御する。照射制御部１４３は、例えば照射部１２に、電磁波の照射および停止を切替えさせる。照射制御部１４３は、例えば偏向部１３に、電磁波を反射する向きを変えさせる。後に詳細に説明するように、照射制御部１４３は、輪郭検出部１４２が検出した対象ｏｂの輪郭の情報に基づいて、空間における対象ｏｂの輪郭に対応する方向に照射系１１１が電磁波を照射するように制御する。
　受光制御部１４４は、受光系１１０を制御する。受光制御部１４４は、例えば切替部１８に、第１の状態および第２の状態を切替素子ｓｅ毎に切替えさせる。
　演算部１４５は、第１の検出部２０の検出情報に基づいて、対象ｏｂとの距離を演算する。演算部１４５は、取得した検出情報に基づいて、例えばＴｏＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）方式で距離を演算可能である。
　図３に示すように、制御部１４は、照射部１２に電磁波放射信号を入力することにより、照射部１２にパルス状の電磁波を照射させる（“電磁波放射信号”欄参照）。照射部１２は、入力された電磁波放射信号に基づいて電磁波を照射する（“照射部放射量”欄参照）。照射部１２が照射し、かつ、偏向部１３が反射して、対象ｏｂが存在する空間である照射領域に照射された電磁波は、照射領域において反射する。制御部１４は、照射領域の反射波の入射部１５による切替部１８における結像領域の中の少なくとも一部の切替素子ｓｅを第１の状態に切替え、他の切替素子ｓｅを第２の状態に切替える。そして、第１の検出部２０は、照射領域において反射された電磁波を検出するとき（“電磁波検出量”欄参照）、検出情報を制御部１４に通知する。
　演算部１４５は、検出情報を含む上記の信号の情報を取得する。演算部１４５は、例えば、時間計測ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｅｄ　ｃｉｒｃｕｉｔ）を含み、照射部１２に電磁波を照射させた時期Ｔ１から、検出情報を取得（“検出情報取得”欄参照）した時期Ｔ２までの時間ΔＴを計測する。演算部１４５は、時間ΔＴに光速を乗算し、かつ、２で除算することにより、照射位置までの距離を算出する。
　ここで、制御部１４は、１つ以上のプロセッサを含んでよい。プロセッサは、アクセス可能なメモリからプログラムをロードして、画像情報取得部１４１、輪郭検出部１４２、照射制御部１４３、受光制御部１４４および演算部１４５として動作してよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサの少なくともいずれかを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を含んでよい。制御部１４は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ　Ｉｎ　ａ　Ｐａｃｋａｇｅ）の少なくともいずれかを含んでよい。
（画像取得と電磁波検出のタイミング）
　上記の構成の電磁波検出装置１０は、第２の検出部１７によって被写体である対象ｏｂを含む画像を取得するとともに、第１の検出部２０によって反射波を検出することによって対象ｏｂまでの距離を演算することができる。一般に、反射波を含む電磁波の検出に要する時間は、撮像素子等によって１フレーム分の画像が取得される時間より長い。例えば、撮像素子を用いて１９２０×１０８０ピクセルの画像を１秒間に３０フレーム取得可能である。一方、照射した電磁波の反射波を受光しての距離測定に要する時間は、１ポイントで２０μｓかかることがある。したがって、空間全体に対してビームによるスキャンを行う従来技術において、撮像素子の画像取得のフレームレートに合わせて電磁波を検出する場合、電磁波の検出の解像度が非常に低くなる。例えば１秒間に３０フレームで電磁波の検出を実行する場合、５４×３１ポイントしか測定することができないため、対象ｏｂについての距離測定を適切に行うことができない。また、従来技術において、電磁波の検出の解像度を高くすると距離測定のフレームレートが低くなり、画像を取得するタイミングと電磁波を検出するタイミングが大きくずれてしまう。先の例で、２４０×１３５ポイントで電磁波の検出を実行する場合に、距離測定のフレームレートは１．５程度になり、２０フレーム以上前の画像に対応させて電磁波を検出するおそれがある。言い換えれば、電磁波検出装置による１フレーム分の距離測定が完了する間に、撮像素子によって２０フレーム以上の画像が取得され得るため、最新の画像の取得タイミングと距離測定が行われたタイミングが大きく異なってしまう。本実施形態に係る電磁波検出装置１０は、以下に説明するように、対象ｏｂの輪郭の情報に基づいて照射系１１１が電磁波を照射することによって、１フレームあたりの電磁波を照射する回数を減らし、このような問題を解決する。
　図４は、対象ｏｂが存在する空間の画像の一例を示す図である。以下において、図４の画像を撮像画像５０と称することがある。撮像画像５０は１フレームの画像であって、例えば１９２０×１０８０ピクセルのサイズを有する。撮像画像５０において、対象ｏｂは空、山、道路、白線、側壁および中央分離帯である。撮像画像５０は、電磁波検出装置１０が搭載された走行中の車両の前方の画像であって、中心Ｃが車両の走行方向の先にあるように設定されている。
　画像情報取得部１４１は、撮像画像５０の画像信号を、第２の検出部１７からライン単位で取得する。つまり、画像情報取得部１４１は、対象ｏｂが存在する空間の画像情報を、フレーム単位でなく、一部の部分情報単位で取得する。本実施形態において、画像情報取得部１４１は、８ライン分のラインバッファを含み、８ライン分の部分情報を単位として取得する。例えば、画像情報取得部１４１は、空間の一部の画像情報である第１の部分情報５１と、第１の部分情報５１と異なる空間の一部の画像情報である第２の部分情報５２を取得する。第１の部分情報５１および第２の部分情報５２は、それぞれ８ライン分の部分情報である。画像情報取得部１４１のラインバッファは、第１の部分情報５１を取得した後に、第２の部分情報５２を上書きして取得する。また、画像情報取得部１４１は、第１の部分情報５１を輪郭検出部１４２に出力した後で、第２の部分情報５２を出力する。
　図５は、図４の撮像画像５０の輪郭を示す図である。以下において、図５の画像を輪郭画像６０と称することがある。輪郭画像６０は、輪郭検出部１４２が撮像画像５０の輪郭を抽出した結果を画像化したものに対応する。輪郭画像６０において、対象ｏｂである空、山、道路、白線、側壁および中央分離帯の境界部分が抽出されて示されている。輪郭画像６０の中心Ｃは、撮像画像５０と同じ位置にある。
　輪郭検出部１４２は、撮像画像５０の画像信号を、画像情報取得部１４１からライン単位で取得する。輪郭検出部１４２は、画像情報取得部１４１のラインバッファの容量の範囲内の画像信号を取得できる。本実施形態のように、輪郭検出部１４２は、１ライン毎に部分情報を取得して、取得する度に取得した１ライン分の部分情報から輪郭検出を実行してよい。別の例として、輪郭検出部１４２は、画像情報取得部１４１のラインバッファが記憶可能な８ライン分の部分情報を一度に取得して、取得した８ライン分の部分情報から輪郭検出を実行してよい。本実施形態において、輪郭検出部１４２は、８ライン分の部分情報に対する輪郭の情報を単位として、照射制御部１４３に出力する。例えば、輪郭検出部１４２は、８ライン分の第１の部分情報５１に基づき対象ｏｂの輪郭である第１の輪郭を検出した後に、８ライン分の第２の部分情報５２に基づき対象ｏｂの輪郭である第２の輪郭を検出する。そして、輪郭検出部１４２は、第１の輪郭の情報６１を照射制御部１４３に出力した後に、第２の輪郭の情報６２を照射制御部１４３に出力する。
　図６は、照射系１１１が電磁波を照射する位置の例を示す図である。図６に示される第１の輪郭の情報６１は、図５の第１の輪郭の情報６１を拡大したものである。第１の輪郭の情報６１が含む１２の線は、部分情報に含まれる対象ｏｂの輪郭を示す。照射制御部１４３は、第１の輪郭の情報６１を取得した場合に、照射系１１１を制御して、空間における対象ｏｂの輪郭に対応する方向に電磁波を照射させる。つまり、照射制御部１４３は、照射の向きが対象ｏｂの輪郭に対応する場合にパルス状の電磁波を照射させて、照射の向きが対象ｏｂの輪郭に対応しない場合に電磁波を照射せずに次の輪郭位置まで移動させるように、照射系１１１を制御する。電磁波検出装置１０では、空間における所定の位置の画像を取得するための光と、当該位置の距離を測定するための反射波との光軸が一致していることから、対象ｏｂの輪郭に対応する方向に対して正確に電磁波を照射させることができる。
　ここで、対象ｏｂの輪郭は水平または垂直方向に長さを有することがある。照射制御部１４３は、例えば連続する輪郭の中点の位置を輪郭位置Ｐ１～Ｐ１２と定めて、実際の空間において輪郭位置Ｐ１～Ｐ１２に対応する方向に電磁波を照射させてよい。照射制御部１４３は、第２の輪郭の情報６２を取得した場合にも同様に、照射系１１１を制御して、空間における対象ｏｂの輪郭に対応する方向に電磁波を照射させる。つまり、照射制御部１４３は、空間における第１の輪郭に対応する方向に電磁波を照射した後に、空間における第２の輪郭に対応する方向に電磁波を照射させる。
　輪郭位置Ｐ１～Ｐ１２に対応する方向に電磁波を照射することは、距離を測定したい対象ｏｂが存在する位置に確実に電磁波を照射することを可能にする。例えば、等間隔で電磁波を照射すると、照射するポイント間に位置する小さな対象ｏｂに対して電磁波が照射されないことがある。本実施形態に係る電磁波検出装置１０は、対象ｏｂの輪郭の情報に基づいて照射系１１１が電磁波を照射することによって、対象ｏｂが存在する方向へ確実に電磁波を照射できる。
　照射系１１１が１フレーム当たりに電磁波を照射可能なポイントの数である上限値は、第１の検出部２０が反射波を検出する時間に基づいて定めてよい。例えば、第２の検出部１７が１９２０×１０８０ピクセルの画像を１秒間に３０フレーム検出する場合に、ラインバッファが記憶可能な８ライン分の部分情報は２４０μｓで検出される。ただし、１ライン分の画像の検出時間はブランキング期間を考慮して３０μｓとしている。これに対して、第１の検出部２０が照射された電磁波の反射波を検出するのに要する時間は１ポイントあたり２０μｓである。照射系１１１の電磁波の照射は、８ライン分の部分情報の輪郭検出に応じて実行される。そのため、この例において上限値は２４０μｓを２０μｓで割った１２になる。照射制御部１４３は、照射の向きを例えば水平方向に移動させて上限値以下のポイントで電磁波を照射させるように、照射系１１１を制御する。照射系１１１は、例えば照射の向きを一方向に偏向させる間に上限値の電磁波照射を実行してよいし、照射の向きを往復させる間に上限値の電磁波照射を実行してよい。後者の具体例として、照射系１１１は２４０μｓで水平方向に一往復するように偏向し、一方向への偏向の間に６ポイントの電磁波照射を実行し、他方向への偏向での間に別の６ポイントの電磁波照射を実行してよい。
　ここで、撮像画像５０における第３の部分情報５３は、８ライン分の空の画像の部分情報である。輪郭画像６０における第３の輪郭の情報６３は、第３の部分情報５３に対応するが、１つも輪郭を含まない。例えば照射制御部１４３が第３の輪郭の情報６３を取得した場合に、照射制御部１４３は照射系１１１に電磁波を照射させなくてよい。照射制御部１４３は、取得した輪郭情報が含む輪郭の数が上限値未満の場合に、上限値未満のポイントに電磁波を照射させてよい。つまり、照射制御部１４３は、空間における輪郭に対応する方向だけに電磁波を照射させてよい。
　照射制御部１４３は、対象ｏｂの輪郭の数が上限値を超える場合に、上限値を超えない優先順位の高い対象ｏｂの輪郭に対応する方向に電磁波を照射させてよい。優先順位は、例えば空間の撮像画像５０の中心Ｃに近い対象ｏｂの輪郭が高くなるように定められてよい。つまり、撮像画像５０の周辺部にある対象ｏｂより、中心Ｃに近い対象ｏｂの優先順位が高いと定められてよい。別の例として、優先順位は、輪郭のうち明瞭なものが高くなるように定められてよい。つまり、対象ｏｂの境界であることが確実な部分を優先的に検出するようにしてよい。別の例として、優先順位は、より近い部分にある対象ｏｂの輪郭が高くなるように定められてよい。つまり、危険回避行動等の対応を早くに実行する必要がある近くの対象ｏｂの検出を優先させてよい。また、更に別の例として、優先順位は電磁波検出装置１０が搭載された車両等の移動速度に基づいて定められてよい。つまり、移動速度が速い場合には遠方にある対象ｏｂを優先し、移動速度が遅い場合には近くにある対象ｏｂを優先してよい。また、更に別の例として、撮影した画像から認識した対象ｏｂの種類、対象ｏｂの大きさおよび対象ｏｂの左右方向への移動速度によって優先順位が決定されてよい。
　図７は、画像情報の出力、輪郭検出および照射制御のタイミングを例示する図である。画像情報取得部１４１は、ラインバッファに一時的に記憶した８ライン分の部分情報（例えば第１の部分情報５１）を輪郭検出部１４２に出力する。画像情報取得部１４１は、この例において１ライン分の部分情報を８回に分けて輪郭検出部１４２に出力する。輪郭検出部１４２は１ライン分の部分情報を取得する度に輪郭検出を実行する。輪郭検出部１４２は第１の部分情報５１の輪郭検出を実行して、第１の輪郭の情報６１を照射制御部１４３に出力する。照射制御部１４３は、第１の輪郭の情報６１に基づいて、空間における対象ｏｂの輪郭に対応する方向に照射系１１１が電磁波を照射するように制御する。このとき、画像情報取得部１４１は、ラインバッファに一時的に記憶した８ライン分の部分情報（例えば第２の部分情報５２）を輪郭検出部１４２に出力する。輪郭検出部１４２は第２の部分情報５２の輪郭検出を実行して、第２の輪郭の情報６２を照射制御部１４３に出力する。照射制御部１４３は、第２の輪郭の情報６２に基づいて、空間における対象ｏｂの輪郭に対応する方向に照射系１１１が電磁波を照射するように制御する。このように、一部の画像情報である部分情報を単位として、画像情報取得部１４１、輪郭検出部１４２および照射制御部１４３が並行して処理を実行する。このとき、画像を取得してから照射系１１が電磁波を照射するまでの遅延には、部分情報をラインバッファに記憶する際の遅延と、輪郭検出処理による遅延が含まれる。
（電磁波検出方法）
　本実施形態に係る電磁波検出装置１０の制御部１４は、例えば図８のフローチャートに従って１フレーム分の電磁波検出を実行する。
　制御部１４の画像情報取得部１４１は、第１の検出部２０から対象ｏｂが存在する空間の画像情報を取得する（ステップＳ１）。制御部１４の画像情報取得部１４１は、画像情報をフレーム全体でなく、一部の部分情報単位で取得する。
　制御部１４の輪郭検出部１４２は、画像情報取得部１４１から出力された部分情報に含まれる対象ｏｂの輪郭を検出する（ステップＳ２）。
　制御部１４の照射制御部１４３は、照射系１１１に、空間における対象ｏｂの輪郭に対応する方向に電磁波を照射させる。制御部１４は、並行して、次の部分情報を設定する（ステップＳ３）。次の部分情報の設定は、例えば第１の部分情報５１に基づいて電磁波を照射させる制御を実行する場合に、次の第２の部分情報５２を取得可能なように、制御部１４におけるパラメータ（具体例としてライン位置を指定する変数）を変更することである。
　制御部１４は、１フレーム分の画像情報を取得し終えた場合に（ステップＳ４のＹｅｓ）、一連の処理を終了する。制御部１４は、１フレーム分の画像情報を取得していない場合に（ステップＳ４のＮｏ）、ステップＳ１の処理に戻る。
　以上のように、本実施形態に係る電磁波検出装置１０は、上記の構成によって空間における対象ｏｂの輪郭に対応する方向に電磁波を照射する。そのため、電磁波検出装置１０は、電磁波の検出の解像度を高くしなくても、対象ｏｂが存在する位置に確実に電磁波を照射することができる。したがって、画像を取得するタイミングと電磁波を検出するタイミングのずれを小さくすることができる。
　また、電磁波検出装置１０は、第１の部分情報５１を取得し、第１の部分情報５１から得られる第１の輪郭の情報６１に基づいて輪郭位置の方向に電磁波を照射させるとともに、第２の部分情報５２を取得することが好ましい。電磁波検出装置１０は、このような並行処理によって、画像を取得するタイミングと電磁波を検出するタイミングのずれをさらに小さくすることができる。すなわち、対象ｏｂの画像が取得されたタイミングと、当該対象ｏｂについての測距測定を行うタイミングのずれをさらに小さくできる。
　本実施例では、対象ｏｂの輪郭に対応する方向に対して電磁波を照射するように構成したが、部分情報から対象ｏｂの輪郭が検出できない場合、または、検出できた輪郭部分が上限値より少ない場合には、上限値の範囲内で輪郭が検出できていない箇所に対応する方向に対しても電磁波を照射させてよい。この場合、電磁波検出装置１０は、例えば等間隔に電磁波を照射させるなどしてよい。
（変形例）
　本開示を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。従って、これらの変形および修正は本開示の範囲に含まれることに留意されたい。
　上記の実施形態において、電磁波検出装置１０は、上記のように、レーザー光を照射して、返ってくるまでの時間を直接測定するＤｉｒｅｃｔ　ＴｏＦにより距離情報を作成する構成である。しかし、電磁波検出装置１０は、このような構成に限られない。例えば、電磁波検出装置１０は、電磁波を一定の周期で照射し、照射された電磁波と返ってきた電磁波との位相差から、返ってくるまでの時間を間接的に測定するＦｌａｓｈ　ＴｏＦにより距離情報を作成してよい。また、電磁波検出装置１０は、他のＴｏＦ方式、例えば、Ｐｈａｓｅｄ　ＴｏＦにより距離情報を作成してよい。
　上記の実施形態において、切替部１８は、作用面ａｓに入射する電磁波の進行方向を２方向に切替え可能であるが、２方向のいずれかへの切替えでなく、３以上の方向に切替え可能であってよい。
　上記の実施形態の切替部１８において、第１の状態および第２の状態は、作用面ａｓに入射する電磁波を、それぞれ、第３の方向ｄ３に反射する第１の反射状態、および第４の方向ｄ４に反射する第２の反射状態であるが、他の態様であってよい。
　例えば、図９に示すように、第１の状態が、作用面ａｓに入射する電磁波を、透過させて第３の方向ｄ３に進行させる透過状態であってよい。切替部１８１は、さらに具体的には、切替素子毎に電磁波を第４の方向ｄ４に反射する反射面を有するシャッタを含んでいてよい。このような構成の切替部１８１においては、切替素子毎のシャッタを開閉することにより、第１の状態としての透過状態および第２の状態としての反射状態を切替素子毎に切替え得る。
　このような構成の切替部１８１として、例えば、開閉可能な複数のシャッタがアレイ状に配列されたＭＥＭＳシャッタを含む切替部が挙げられる。また、切替部１８１は、電磁波を反射する反射状態と電磁波を透過する透過状態とを液晶配向に応じて切替え可能な液晶シャッタを含む切替部が挙げられる。このような構成の切替部１８１においては、切替素子毎の液晶配向を切替えることにより、第１の状態としての透過状態および第２の状態としての反射状態を切替素子毎に切替え得る。
　また、電磁波検出装置１０において、受光系１１０がさらに第２の後段光学系および第３の検出部を備えてよい。第２の後段光学系は、切替部１８から第４の方向ｄ４に設けられて、対象ｏｂの像を結像させる。第３の検出部は、切替部１８による第４の方向ｄ４に進行した後に第２の後段光学系を経由して進行する電磁波の経路上に設けられて、第４の方向ｄ４に進行した電磁波を検出する。
　また、上記の実施形態において、電磁波検出装置１０は、第２の検出部１７がパッシブセンサであり、第１の検出部２０がアクティブセンサである構成を有する。しかし、電磁波検出装置１０は、このような構成に限られない。例えば、電磁波検出装置１０において、第２の検出部１７および第１の検出部２０が共にアクティブセンサである構成でも、パッシブセンサである構成でも上記の実施形態と類似の効果が得られる。
　本実施形態において、制御部１４は演算部１４５を備える。本実施形態に係る電磁波検出装置１０は、演算部１４５が対象ｏｂまでの距離を測定し、測距装置としての機能を備える。ここで、電磁波検出装置１０は距離を測定するものに限定されない。例えば、電磁波検出装置１０は、路上の障害物である対象ｏｂの存在を検知して警告するものであってよい。このとき、制御部１４は演算部１４５を含まない構成であってよい。また、演算部１４５は、制御部１４に含まれるのでなく、制御部１４と別に設けられてよい。
　上記の実施形態において代表的な例を説明したが、本開示の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本開示は、上記の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
　また、本開示の解決手段を装置として説明してきたが、本開示は、これらを含む態様としても実現し得るものであり、また、これらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本開示の範囲にはこれらも包含されるものと理解されたい。
　１０　電磁波検出装置
　１２　照射部
　１３　偏向部
　１４　制御部
　１５　入射部
　１６　分離部
　１７　第２の検出部
　１８、１８１　切替部
　１９　第１の後段光学系
　２０　第１の検出部
　２１　演算部
　５０　撮像画像
　５１　第１の部分情報
　５２　第２の部分情報
　５３　第３の部分情報
　６０　輪郭画像
　６１　第１の輪郭の情報
　６２　第２の輪郭の情報
　６３　第３の輪郭の情報
　１１０　受光系
　１１１　照射系
　１４１　画像情報取得部
　１４２　輪郭検出部
　１４３　照射制御部
　１４４　受光制御部
　１４５　演算部
　ａｓ　作用面
　ｄ１、ｄ２、ｄ３、ｄ４　第１の方向、第２の方向、第３の方向、第４の方向
　ｏｂ　対象

Claims (10)

  1. 　対象が存在する空間の画像情報を取得する画像情報取得部と、
    　前記画像情報に含まれる前記対象の輪郭を検出する輪郭検出部と、
    　前記空間に電磁波を照射する照射系と、
    　前記照射系を制御して、前記空間における前記対象の輪郭に対応する方向に前記電磁波を照射させる照射制御部と、
    　前記電磁波が前記対象で反射した反射波を検出する第１の検出部と、を備える、電磁波検出装置。
  2. 　前記照射制御部は、前記対象の輪郭でない部分に対応する方向には、前記電磁波を照射させない、請求項１に記載の電磁波検出装置。
  3. 　前記照射制御部は、前記対象の輪郭の数が、前記照射系が前記電磁波を照射して前記第１の検出部が前記反射波を検出するまでの時間に基づいて定められる上限値を超える場合に、前記上限値を超えない優先順位の高い前記対象の輪郭に対応する方向に前記電磁波を照射させる、請求項１または２に記載の電磁波検出装置。
  4. 　前記優先順位は、前記空間の画像の中心に近い前記対象の輪郭が高くなるように定められる、請求項３に記載の電磁波検出装置。
  5. 　前記画像情報取得部は、前記空間の一部の画像情報である第１の部分情報と、前記第１の部分情報と異なる前記空間の一部の画像情報である第２の部分情報を取得し、
    　前記輪郭検出部は、前記第１の部分情報に基づき前記対象の輪郭である第１の輪郭を検出した後に、前記第２の部分情報に基づき前記対象の輪郭である第２の輪郭を検出し、
    　前記照射制御部は、前記空間における前記第１の輪郭に対応する方向に前記電磁波を照射した後に、前記空間における前記第２の輪郭に対応する方向に前記電磁波を照射させる、請求項１から４のいずれか一項に記載の電磁波検出装置。
  6. 　前記照射系が、前記第１の輪郭に対応する方向に前記電磁波を照射している間に、前記画像情報取得部が前記第２の部分情報を取得する、請求項５に記載の電磁波検出装置。
  7. 　前記反射波を含む電磁波を第１の方向および第２の方向に進行するように分離する分離部と、
    　前記第１の方向に進行した電磁波を検出する第２の検出部と、を備え、
    　前記画像情報取得部は、前記第２の検出部の検出情報に基づく前記空間の画像情報を取得する、請求項１から６のいずれか一項に記載の電磁波検出装置。
  8. 　前記第２の方向に進行した電磁波を、第３の方向へ進行させる第１の状態、または第４の方向に進行させる第２の状態に切替え可能な複数の切替素子を有する切替部と、
    　前記照射系から出力された電磁波の照射方向または照射位置に応じて、前記複数の切替素子のそれぞれを前記第１の状態または前記第２の状態に切替える受光制御部と、を備え、
    　前記分離部は前記反射波を前記第２の方向に進行させ、
    　前記第１の検出部は、前記第３の方向へ進行する電磁波を検出可能な位置に配置されている、請求項７に記載の電磁波検出装置。
  9. 　前記対象の所定位置についての画像情報を取得するための光と、前記第１の検出部が検出する前記所定位置からの前記反射波と、の光軸が一致するように構成された、請求項１から６のいずれか一項に記載の電磁波検出装置。
  10. 　対象が存在する空間の画像情報を取得する画像情報取得部と、
    　前記画像情報に含まれる前記対象の輪郭を検出する輪郭検出部と、
    　前記空間に電磁波を照射する照射系と、
    　前記照射系を制御して、前記空間における前記対象の輪郭に対応する方向に前記電磁波を照射させる照射制御部と、
    　前記電磁波が前記対象で反射した反射波を検出する第１の検出部と、
    　前記第１の検出部の検出情報に基づいて、前記対象との距離を演算する演算部と、を備える、測距装置。
PCT/JP2021/017575 2020-05-21 2021-05-07 電磁波検出装置および測距装置 WO2021235249A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180037619.8A CN115667991A (zh) 2020-05-21 2021-05-07 电磁波检测装置及测距装置
US17/999,349 US20230184951A1 (en) 2020-05-21 2021-05-07 Electromagnetic-wave detection apparatus and distance-measurement apparatus
EP21807549.7A EP4155774A1 (en) 2020-05-21 2021-05-07 Electromagnetic wave detection device and ranging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020089145A JP7372205B2 (ja) 2020-05-21 2020-05-21 電磁波検出装置および測距装置
JP2020-089145 2020-05-21

Publications (1)

Publication Number Publication Date
WO2021235249A1 true WO2021235249A1 (ja) 2021-11-25

Family

ID=78707780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017575 WO2021235249A1 (ja) 2020-05-21 2021-05-07 電磁波検出装置および測距装置

Country Status (5)

Country Link
US (1) US20230184951A1 (ja)
EP (1) EP4155774A1 (ja)
JP (1) JP7372205B2 (ja)
CN (1) CN115667991A (ja)
WO (1) WO2021235249A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004102222A1 (ja) * 2003-05-13 2004-11-25 Fujitsu Limited 物体検出装置、物体検出方法、物体検出プログラム、距離センサ
JP2018200927A (ja) 2017-05-25 2018-12-20 京セラ株式会社 電磁波検出装置および情報取得システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198274A (ja) 2002-12-19 2004-07-15 Olympus Corp 三次元形状測定装置及び三次元形状測定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004102222A1 (ja) * 2003-05-13 2004-11-25 Fujitsu Limited 物体検出装置、物体検出方法、物体検出プログラム、距離センサ
JP2018200927A (ja) 2017-05-25 2018-12-20 京セラ株式会社 電磁波検出装置および情報取得システム

Also Published As

Publication number Publication date
US20230184951A1 (en) 2023-06-15
JP7372205B2 (ja) 2023-10-31
CN115667991A (zh) 2023-01-31
EP4155774A1 (en) 2023-03-29
JP2021183928A (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
CN107037445B (zh) 光检测和测距(lidar)成像系统和方法
JP6640149B2 (ja) 電磁波検出装置および情報取得システム
JP7387803B2 (ja) 電磁波検出装置および情報取得システム
US11675052B2 (en) Electromagnetic wave detection apparatus, program, and electromagnetic wave detection system
JP6754706B2 (ja) 電磁波検出装置、プログラム、および情報取得システム
JP6893797B2 (ja) 電磁波検出装置、プログラム、および電磁波検出システム
JP7025940B2 (ja) 電磁波検出装置および情報取得システム
WO2021235249A1 (ja) 電磁波検出装置および測距装置
CN110709724B (zh) 电磁波检测装置以及记录介质
WO2022004259A1 (ja) 画像処理装置および測距装置
WO2022004260A1 (ja) 電磁波検出装置および測距装置
JP7194709B2 (ja) 測距装置
JP2020067403A (ja) 電磁波検出装置
JP7037609B2 (ja) 電磁波検出装置およびプログラム
WO2020022150A1 (ja) 電磁波検出装置および情報取得システム
JP2022029811A (ja) 電磁波検出装置
JP2020073894A (ja) 電磁波検出装置および情報取得システム
JP2020073895A (ja) 電磁波検出装置および情報取得システム
JP2019002847A (ja) 電磁波検出装置および情報取得システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21807549

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021807549

Country of ref document: EP

Effective date: 20221221