WO2019151059A1 - 画像処理装置、測距装置、撮像装置、画像処理方法及び記憶媒体 - Google Patents

画像処理装置、測距装置、撮像装置、画像処理方法及び記憶媒体 Download PDF

Info

Publication number
WO2019151059A1
WO2019151059A1 PCT/JP2019/001956 JP2019001956W WO2019151059A1 WO 2019151059 A1 WO2019151059 A1 WO 2019151059A1 JP 2019001956 W JP2019001956 W JP 2019001956W WO 2019151059 A1 WO2019151059 A1 WO 2019151059A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
image processing
instantaneous velocity
processing apparatus
Prior art date
Application number
PCT/JP2019/001956
Other languages
English (en)
French (fr)
Inventor
淳 内村
高橋　博
将人 渡邊
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2019151059A1 publication Critical patent/WO2019151059A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/493—Extracting wanted echo signals

Definitions

  • the present invention relates to an image processing device, a distance measuring device, an imaging device, an image processing method, and a storage medium.
  • Patent Document 1 discloses a method for detecting a moving object using a plurality of frames constituting a moving image.
  • the difference A between the frames Fr 0 and Fr 1 and the difference B between the frames Fr 1 and Fr 2 are calculated for three consecutive frames Fr 0 , Fr 1 , and Fr 2.
  • a moving object in the image can be detected.
  • the present invention has been made in view of the above-described problems, and provides an image processing device, a distance measuring device, an imaging device, an image processing method, and a storage medium that can extract a moving object from one image. With the goal.
  • a first acquisition unit that acquires an instantaneous velocity distribution of an object in a first region in space
  • a second acquisition unit that acquires an image including at least a part of the first region.
  • a detection unit for detecting a second region indicating a moving object included in the image based on the instantaneous velocity distribution.
  • obtaining an instantaneous velocity distribution of an object in a first region in space obtaining an image including at least a part of the first region, and the instantaneous velocity Detecting a second region indicating a moving object included in the image based on the distribution, and providing an image processing method.
  • a computer acquires an instantaneous velocity distribution of an object in a first region in space, and an image including at least a part of the first region. And a step of detecting a second region indicating a moving object included in the image based on the instantaneous velocity distribution.
  • a storage medium storing a program is provided.
  • an image processing device it is possible to provide an image processing device, a distance measuring device, an imaging device, an image processing method, and a storage medium that can extract a moving object from one image.
  • 1 is a schematic diagram illustrating a schematic configuration of an object detection system including an image processing apparatus according to a first embodiment. It is a block diagram which shows the hardware structural example of the image processing apparatus which concerns on 1st Embodiment.
  • 1 is a functional block diagram of an image processing apparatus according to a first embodiment. It is a functional block diagram of the distance measuring device according to the first embodiment. It is a functional block diagram of the imaging device concerning a 1st embodiment. It is a sequence diagram which shows the outline of the process performed by the image processing apparatus, distance measuring apparatus, and imaging device which concern on 1st Embodiment. It is a flowchart which shows the outline of the process performed by the distance measuring device which concerns on 1st Embodiment.
  • FIG. 3 is a flowchart illustrating an outline of processing performed by the image processing apparatus according to the first embodiment. It is a schematic diagram which shows the outline of a trimming process. It is a block diagram which shows schematic structure of the object detection system which concerns on 2nd Embodiment. It is a block diagram which shows schematic structure of the object detection system which concerns on 3rd Embodiment. It is a functional block diagram of the image processing apparatus which concerns on 4th Embodiment.
  • FIG. 1 is a schematic diagram illustrating a schematic configuration of an object detection system 1 including an image processing apparatus 10 according to the first embodiment.
  • the object detection system 1 includes an image processing device 10, a distance measuring device 20, and an imaging device 30.
  • the distance measuring device 20 is, for example, a LiDAR (Light Detection and Ranging) device, and can acquire the distribution of distance, instantaneous speed, and the like from the distance measuring device 20 in a predetermined range.
  • the imaging device 30 is a digital camera, for example, and can acquire an image in a predetermined range. With these functions, the object detection system 1 can detect the object 2.
  • the image processing apparatus 10 is, for example, a computer, and processes an image acquired by the imaging apparatus 30 based on information acquired by the distance measuring apparatus 20.
  • the image processing device 10 and the distance measuring device 20 and the image processing device 10 and the imaging device 30 are connected so as to be communicable by wire or wirelessly.
  • the object detection system 1 may further include a control device (not shown) that comprehensively controls the image processing device 10, the distance measuring device 20, and the imaging device 30, and a computer that functions as the image processing device 10 performs the control function. You may have. Further, the object detection system 1 may be configured by a plurality of devices connected so as to be communicable, or may be configured as one device.
  • FIG. 2 is a block diagram showing a hardware configuration example of the image processing apparatus 10 according to the first embodiment of the present invention.
  • the image processing apparatus 10 may be a computer configured integrally with the distance measuring device 20 and the imaging device 30, for example. Further, the image processing apparatus 10 may be a computer configured as a device different from the distance measuring device 20 and the imaging device 30.
  • the image processing apparatus 10 includes a CPU (Central Processing Unit) 101, a RAM (Random Access Memory) 102, a ROM (Read Only Memory) 103, and an HDD (Hard Disk Drive) 104 as computers that perform calculation, control, and storage.
  • the image processing apparatus 10 includes a communication I / F (interface) 105, a display device 106, and an input device 107.
  • the CPU 101, RAM 102, ROM 103, HDD 104, communication I / F 105, display device 106 and input device 107 are connected to each other via a bus 108.
  • the display device 106 and the input device 107 may be connected to the bus 108 via a driving device (not shown) for driving these devices.
  • each unit constituting the image processing apparatus 10 is illustrated as an integrated apparatus, but some of these functions may be provided by an external apparatus.
  • the display device 106 and the input device 107 may be external devices different from the parts constituting the computer function including the CPU 101 and the like.
  • the CPU 101 performs a predetermined operation according to a program stored in the ROM 103, the HDD 104, and the like, and also has a function of controlling each unit of the image processing apparatus 10.
  • the RAM 102 is composed of a volatile storage medium, and provides a temporary memory area necessary for the operation of the CPU 101.
  • the ROM 103 is composed of a non-volatile storage medium, and stores necessary information such as a program used for the operation of the image processing apparatus 10.
  • the HDD 104 is a storage device that includes a nonvolatile storage medium and stores image data, programs, and the like.
  • the communication I / F 105 is a communication interface based on standards such as Wi-Fi (registered trademark) and 4G, and is a module for communicating with other devices.
  • the display device 106 is a liquid crystal display, an OLED (Organic / Light / Emitting / Diode) display, and the like, and is used for displaying images, characters, interfaces, and the like.
  • the input device 107 is a keyboard, a pointing device, or the like, and is used for a user to operate the image processing apparatus 10. Examples of pointing devices include a mouse, a trackball, and a touch panel.
  • the display device 106 and the input device 107 may be integrally formed as a touch panel.
  • the hardware configuration shown in FIG. 1 is an exemplification, and other devices may be added, or some devices may not be provided. Some devices may be replaced with another device having the same function. Furthermore, a part of the functions of the present embodiment may be provided by another device via a network, and the functions of the present embodiment may be realized by being distributed to a plurality of devices.
  • the HDD 104 may be replaced with an SSD (Solid State Drive) using a semiconductor memory, or may be replaced with a cloud storage.
  • FIG. 3 is a functional block diagram of the image processing apparatus 10 according to the present embodiment.
  • the image processing apparatus 10 includes a first acquisition unit 121, a second acquisition unit 122, a detection unit 123, a coordinate setting unit 124, a trimming processing unit 125, and a storage unit 126.
  • the CPU 101 implements the functions of the first acquisition unit 121, the second acquisition unit 122, the detection unit 123, the coordinate setting unit 124, and the trimming processing unit 125 by loading a program stored in the ROM 103 or the like into the RAM 102 and executing the program. To do. Processing performed in each of these units will be described later.
  • the CPU 101 realizes the function of the storage unit 126 by controlling the HDD 104.
  • the storage unit 126 stores information such as a distance acquired from the distance measuring device 20, a distribution such as an instantaneous velocity, and an image acquired from the imaging device 30.
  • FIG. 4 is a functional block diagram of the distance measuring device 20 according to the present embodiment.
  • FIG. 4 is a block diagram of an FMCW (Frequency Modulated Continuous Wave) type LiDAR device as an example of the configuration of the distance measuring device 20.
  • the LiDAR device is a device that obtains reflected light intensity distribution, distance distribution, etc. by projecting laser light such as infrared light, visible light, ultraviolet light, etc., and scanning a predetermined range by repeating the operation of obtaining reflected light. It is.
  • the FMCW method is applied to the distance measuring device 20 shown in FIG. Therefore, the distance measuring device 20 can further acquire the instantaneous velocity distribution by measuring the frequency change due to the Doppler effect.
  • LiDAR is sometimes called laser radar.
  • the instantaneous velocity distribution indicates the instantaneous velocity in the direction from the object 2 toward the distance measuring device 20 or away from the distance measuring device 20. Is desirable.
  • the distance measuring device 20 includes a reflecting mirror unit 201, LD (Laser Diode) 204, PD (Photodiode) 205 and 206, filters 207, 208 and 209, modulator 210, demodulators 211 and 212, triangular wave generator 213, amplitude / Period comparators 214 and 215, a motor control unit 216, and a calculation unit 217 are included.
  • the reflecting mirror unit 201 includes a reflecting mirror 202 and a motor 203.
  • the triangular wave generator 213 generates a triangular wave in which the voltage repeatedly increases and decreases with time.
  • the triangular wave generated by the triangular wave generator 213 is output to the modulator 210.
  • the triangular wave is also output to the amplitude / period comparators 214 and 215 and the calculation unit 217 as a reference signal for referring to the amplitude / period and the like.
  • the modulator 210 includes a VCO (Voltage-Controlled Oscillator) and the like, and generates a frequency-modulated wave corresponding to the input of the triangular wave voltage generated by the triangular wave generator 213.
  • the generated frequency modulation wave is input to the filter 207.
  • the filter 207 is a band-pass filter whose pass band is the frequency of the frequency-modulated wave.
  • the frequency-modulated wave that has passed through the filter 207 is input to the LD 204.
  • the LD 204 generates laser light based on the input frequency modulation wave.
  • the LD 204 is, for example, a light emitting element for infrared communication that emits laser light having a wavelength in the near infrared region.
  • the laser light emitted from the LD 204 is incident on the reflecting mirror unit 201.
  • the reflecting mirror 202 in the reflecting mirror unit 201 reflects the incident laser light and changes the direction in which the laser light is projected.
  • the motor 203 is a DC (Direct Current) motor with an encoder, for example, and rotates the reflecting mirror 202.
  • the reflecting mirror 202 can be scanned with a laser beam within a predetermined range by being rotationally driven by a motor 203. A part of the laser light is incident on the PD 205 as reference light, and the other part is projected outside the distance measuring device 20.
  • the reflected light enters the PD 206.
  • the reflected light has an optical path that is 2r longer than the reference light. Therefore, the time when the reflected light is incident on the PD 206 is 2r / c later than the time when the reference light is incident on the PD 205, where c is the speed of light.
  • PDs 205 and 206 are, for example, photoelectric conversion elements for infrared communication that receive light having the same wavelength as that of the LD 204 and convert it into charges.
  • a change in voltage based on the generated charges is transmitted to the subsequent filters 208 and 209 as electric signals.
  • the filters 208 and 209 are band-pass filters that use the frequency of the frequency-modulated wave generated by the triangular wave generator 213 as a pass band.
  • the frequency modulated wave that has passed through the filter 208 is input to the demodulator 211, and the frequency modulated wave that has passed through the filter 209 is input to the demodulator 212.
  • Demodulators 211 and 212 include a PLL (Phase-Locked Loop) and the like, and demodulate the input frequency modulation wave. Since the frequency-modulated wave is based on the triangular wave generated by the triangular wave generator 213, the signals demodulated by the demodulators 211 and 212 are triangular waves. The triangular wave obtained by demodulation in demodulator 211 is input to amplitude / period comparator 214, and the triangular wave obtained by demodulation in demodulator 212 is input to amplitude / period comparator 215.
  • PLL Phase-Locked Loop
  • the amplitude / period comparators 214 and 215 include a mixer that generates a beat signal.
  • the amplitude / period comparator 214 compares the amplitude / period of the triangular wave output from the triangular wave generator 213 with the amplitude / period of the triangular wave output from the demodulator 211.
  • the comparison result in the amplitude / period comparator 214 is output to the calculation unit 217.
  • the amplitude / period comparator 215 compares the amplitude / period of the triangular wave output from the triangular wave generator 213 with the amplitude / period of the triangular wave output from the demodulator 212.
  • the comparison result in the amplitude / period comparator 215 is output to the calculation unit 217.
  • the comparison result may be a difference or ratio between the amplitudes and periods of the two input signals.
  • the calculation unit 217 uses the signal based on the reference light output from the amplitude / period comparator 214 and the triangular wave output from the triangular wave generator 213 based on the reflected light output from the amplitude / period comparator 215. Performs computation to correct the signal. Accordingly, the calculation unit 217 calculates the intensity of the reflected light, the distance between the distance measuring device 20 and the target object 2, and the instantaneous speed of the target object 2.
  • the distance measuring device 20 scans the laser light within a predetermined range and measures the intensity, distance, and instantaneous velocity of the reflected light, thereby obtaining an image as a two-dimensional reflected light intensity distribution, distance distribution, and instantaneous velocity distribution.
  • the data is output to the processing device 10.
  • Information on the reference light output from the amplitude / period comparator 214 is also output to the motor control unit 216.
  • the motor control unit 216 calculates the current position, rotation speed, and the like of the reflecting mirror 202 based on the information acquired from the amplitude / period comparator 214 and the information acquired from the encoder provided in the motor 203.
  • the motor control unit 216 stabilizes the rotational speed of the reflecting mirror 202 to a predetermined value by performing control to increase or decrease the rotational speed of the motor 203 based on information such as the current position and rotational speed of the reflecting mirror 202. Make it.
  • Filters 207, 208, 209, modulator 210, demodulator 211, 212, triangular wave generator 213, amplitude / period comparators 214, 215, motor control unit 216, and calculation unit 217 are partly or entirely formed as an integrated circuit. It may be formed.
  • the integrated circuit may be ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • FIG. 5 is a functional block diagram of the imaging device 30 according to the present embodiment.
  • FIG. 5 is a block diagram of a digital still camera in which a lens and a main body are integrated as an example of the configuration of the imaging device 30.
  • the imaging device 30 acquires an image in a predetermined range (predetermined angle of view) including the object 2 as digital data.
  • the imaging device 30 includes a lens unit 301, an imaging element 302, a signal processing unit 303, an imaging device control unit 304, an external I / F 305, and a recording medium 306.
  • the imaging device control unit 304 controls the entire imaging device 30.
  • the lens unit 301 is an optical system that guides light from the object 2 to the imaging element 302 and includes one or more lenses.
  • the lens unit 301 may further include optical members such as a diaphragm, a zoom lens, an optical filter, and a mechanical shutter.
  • the image sensor 302 may be a CCD (Charge-Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor, or the like.
  • a plurality of pixels are two-dimensionally arranged on the imaging surface of the imaging element 302.
  • the image sensor 302 generates an image signal based on an optical image with a predetermined angle of view projected on the imaging surface.
  • the signal processing unit 303 may be a processor such as a DSP (Digital Signal Processor).
  • the signal processing unit 303 performs processing such as correction and compression on the image signal generated by the image sensor 302 to generate image data.
  • the generated image data is stored in a non-volatile recording medium 306 configured by a flash memory or the like.
  • the external I / F 305 outputs the image data stored in the recording medium 306 to the image processing apparatus 10.
  • FIG. 6 is a sequence diagram illustrating an outline of processing performed by the image processing device 10, the distance measuring device 20, and the imaging device 30 according to the first embodiment. The outline of the processing will be described with reference to FIG.
  • step S10 the distance measuring device 20 acquires a reflected light intensity distribution, a distance distribution, and an instantaneous velocity distribution within a predetermined range.
  • Information regarding these distributions may be collectively referred to as distribution information.
  • the predetermined range for acquiring the distribution information may be referred to as a first region.
  • step S20 the imaging device 30 captures an image within a range including at least a part of the range from which the reflected light intensity distribution, the distance distribution, and the instantaneous velocity distribution are acquired.
  • FIG. 6 illustrates that step S20 is performed after step S10, the order of step S10 and step S20 may be reversed, or these may be performed in parallel.
  • step S30 the distance measuring device 20 transmits the distribution information to the image processing device 10.
  • step S ⁇ b> 40 the imaging device 30 transmits an image to the image processing device 10.
  • FIG. 6 illustrates that step S40 is performed after step S30, the order of step S30 and step S40 may be reversed, or these may be performed in parallel.
  • step S50 the image processing apparatus 10 detects a moving object from the image based on at least the instantaneous velocity distribution.
  • a range in the image including the detected moving object may be referred to as a second region.
  • step S60 the image processing apparatus 10 performs image processing on the second region.
  • image processing trimming processing for cutting out a range including the second region from the image and generating a moving object image can be given.
  • FIG. 7 is a flowchart showing an outline of processing performed by the distance measuring device 20 according to the first embodiment.
  • FIG. 8 is a graph showing the principle of distance measurement.
  • 9 and 10 are graphs showing the principle of instantaneous velocity measurement.
  • Steps S101 to S104 in FIG. 7 are processes corresponding to step S10 in FIG.
  • Step S105 in FIG. 7 is processing corresponding to step S30 in FIG.
  • the distance measuring device 20 projects laser light in a frequency band such as near infrared light.
  • step S ⁇ b> 102 the distance measuring device 20 receives the reflected light reflected from the object 2.
  • step S103 the distance measuring device 20 calculates reflected light intensity, distance, and instantaneous speed using a signal based on reference light, reflected light, and the like.
  • a method of calculating the distance and the instantaneous speed by the FMCW method will be described with reference to FIGS.
  • the graph of FIG. 8 shows a part of the triangular wave based on the reference light, a part of the triangular wave based on the reflected light, and the time change of the frequency of these beats.
  • the triangular wave based on the reference light has a frequency f 0 at time t 0 , and the frequency increases linearly with time. Thereafter, the frequency f 0 + F is reached at time t 0 + T when the time T has elapsed. That is, the inclination of the triangular wave based on the reference light is F / T.
  • the value of the slope F / T of the triangular wave is known because it is determined by the triangular wave generated by the triangular wave generator 213.
  • ⁇ t 2r / c
  • the time ⁇ t is an extremely short time, it may be difficult to measure the time ⁇ t itself with high accuracy, but the frequency ⁇ f can be measured with relatively high accuracy by generating a beat with a mixer or the like. . Therefore, a triangular wave based on the reference light and a triangular wave based on the reflected light are mixed to generate a beat, and the frequency of the beat is measured to obtain a difference ⁇ f between the frequency of the reference light and the frequency of the reflected light.
  • the ratio of ⁇ f and ⁇ t coincides with the ratio of F and T, as is apparent from FIG.
  • ⁇ t ⁇ f / (F / T) using ⁇ f obtained from the beat and a known value of (F / T).
  • ⁇ t 2r / c
  • FIGS. 9 and 10 are graphs showing the graph shown in FIG. 8 in a wider time range so as to include one period of the triangular wave.
  • FIG. 9 shows the time change of the frequency when the instantaneous speed of the object 2 is zero.
  • the beat frequency is constant at ⁇ f except for the vicinity of the apex of the triangular wave.
  • FIG. 10 shows the time change of the frequency when the object 2 is moving in the direction toward the distance measuring device 20.
  • the light projected from the distance measuring device 20 has a higher frequency due to the Doppler effect when reflected by the object 2.
  • the beat frequency repeats two types of values of ⁇ f 1 and ⁇ f 2 when the frequency of the triangular wave increases and when it decreases.
  • ⁇ f d ( ⁇ f 2 ⁇ f 1 ) / 2.
  • the distance measuring device 20 of the present embodiment is a LiDAR device using the FMCW method, and thus can acquire a distance distribution and an instantaneous velocity distribution. Further, based on the intensity of the signal based on the reflected light, the distance measuring device 20 of the present embodiment can acquire the reflected light intensity distribution.
  • the distance measuring device 20 determines whether or not the acquisition of the reflected light intensity distribution, the distance distribution, and the instantaneous velocity distribution within a predetermined range has been completed. If these acquisitions have not been completed (NO in step S104), the process proceeds to step S101, and the reflected light intensity, distance, and instantaneous velocity at different measurement points are measured by changing the position where the light is irradiated. If these acquisitions have been completed (YES in step S104), the process proceeds to step S105. Thus, in the loop from step S101 to step S104, scanning for obtaining the reflected light intensity distribution, the distance distribution, and the instantaneous velocity distribution is performed.
  • step S105 the distance measuring device 20 transmits the reflected light intensity distribution, the distance distribution, and the instantaneous velocity distribution (distribution information) to the image processing device 10.
  • FIG. 11 is a flowchart illustrating an outline of processing performed by the image processing apparatus 10 according to the first embodiment.
  • FIG. 12 is a schematic diagram showing an outline of the trimming process.
  • Step S 11 is a process corresponding to step S30 in FIG. 6 and step S105 in FIG.
  • Step S202 in FIG. 11 is processing corresponding to step S40 in FIG.
  • Step S203 in FIG. 11 is processing corresponding to step S50 in FIG.
  • Steps S204 and S205 in FIG. 11 are processes corresponding to step S60 in FIG.
  • step S201 the first acquisition unit 121 of the image processing apparatus 10 acquires the distribution information in the first region in the space from the distance measuring device 20.
  • the acquired distribution information is stored in the storage unit 126, and is appropriately read from the storage unit 126 and used in subsequent processing.
  • the distribution information includes at least an instantaneous velocity distribution.
  • step S202 the second acquisition unit 122 of the image processing device 10 acquires an image including at least a part of the first region from the distance measuring device 20.
  • the acquired image is stored in the storage unit 126, and is appropriately read from the storage unit 126 and used in subsequent processing.
  • the order of step S201 and step S202 may be reversed, and these may be performed in parallel.
  • step S203 the detection unit 123 of the image processing apparatus 10 detects a moving object region (second region) indicating a moving object included in the image based on the instantaneous velocity distribution.
  • a moving object region second region
  • the process of step S203 will be described in more detail with reference to FIG.
  • the instantaneous velocity distribution 91 shows a two-dimensional distribution of instantaneous velocities, and a portion having an instantaneous velocity larger than a predetermined threshold is hatched. From FIG. 12, it can be seen that a human-shaped moving object 92 exists in the instantaneous velocity distribution 91. Note that the determination of the portion having the instantaneous speed here may not be based on the threshold value. For example, edge extraction processing using a differential value of the instantaneous speed or the like is performed, and the region surrounded by the edges is determined at a predetermined moment. You may discriminate
  • an image 93 is shown.
  • the image 93 is one frame of a still image or a moving image.
  • the detection unit 123 refers to the instantaneous velocity distribution 91 and detects an area corresponding to the moving object 92 from the image 93. This detection is performed, for example, by searching the image 93 for a shape similar to the shape of the moving object 92 in the instantaneous velocity distribution 91. In this way, a humanoid moving object area 94 is detected in the image 93 as an area corresponding to the moving object 92.
  • step S204 the coordinate setting unit 124 associates the coordinates of the moving object 92 in the instantaneous velocity distribution 91 with the coordinates of the moving object region 94 in the image 93. Thereby, for example, even if the position or size of the range where the instantaneous velocity distribution 91 is acquired does not match the range where the image 93 is acquired, the range of the moving object region 94 in the image 93 is clarified. can do.
  • step S205 the trimming processing unit 125 generates a moving object image 95 by trimming a part of the image 93 so that the moving object region 94 is included.
  • the generated moving object image 95 is stored in the storage unit 126 and can be output to the outside from the image processing apparatus 10 as necessary. In this way, according to this processing, it is possible to acquire the moving object image 95 including only the moving object region 94 or only the moving object region 94 and its vicinity.
  • an image processing apparatus 10 that can extract a moving object from one image without using a plurality of temporally continuous images such as moving image frames for processing.
  • the effect of extracting a moving object from one image will be described more specifically.
  • the amount of information to be handled increases, so that the processing load can be increased.
  • a method of speeding up processing by transmitting a plurality of images from an imaging device to another processing device and detecting a moving object by the other processing device is also conceivable. In this case, a plurality of images are transmitted. Therefore, the communication load may increase.
  • the number of images used for processing can be reduced to one, and the number of images used for processing can be reduced.
  • the instantaneous velocity distribution used in the processing of this embodiment has a smaller amount of information than an image. Therefore, the influence of the processing load and the communication load due to the above-described factors is reduced.
  • the detection accuracy of the moving object can be improved as compared with the indirect method in which the moving object is estimated and detected from the difference between a plurality of images. Therefore, the contour of the moving object can be detected with high accuracy, and the information amount of the moving object image after trimming can be further reduced. Therefore, it is possible to reduce a communication load when transmitting a moving object image to another device.
  • a distance distribution may be used in addition to the instantaneous velocity distribution 91.
  • the moving object region 94 and other regions are equidistant, and there is usually a difference in the distance between them. Therefore, the contour of the moving object may be detected even in the distance distribution. Therefore, the detection accuracy can be further improved by detecting the moving object region 94 by combining the instantaneous velocity distribution 91 and the distance distribution information.
  • the reflected light intensity distribution may be further used.
  • the moving object region 94 and other regions rarely have the same reflectance by chance, and there is usually a difference in reflectance. Therefore, the contour of the moving object may be detected even in the reflected light intensity distribution. Therefore, the detection accuracy can be further improved by detecting the moving object region 94 by combining the information of the instantaneous velocity distribution 91 and the reflected light intensity distribution.
  • the image used for processing is either a still image or a frame constituting a moving image in a format in which compression between frames is not performed.
  • a moving image such as MPEG4 (Moving Picture Experts ⁇ Group 4), which is a format for performing compression between frames, and used in this processing
  • image quality deterioration due to compression between frames may occur.
  • MPEG4 Motion Picture Experts ⁇ Group 4
  • a moving image in a format in which compression between frames is not performed can be, for example, Motion JPEG (Joint Photographic Experts Group).
  • FIG. 13 is a schematic diagram showing a schematic configuration of the object detection system 1 according to the second embodiment.
  • the object detection system 1 includes a distance measuring device 40 and an imaging device 30.
  • the distance measuring device 40 includes an image processing device 10 and a measuring device 50.
  • the measuring device 50 can be, for example, an FMCW LiDAR device corresponding to the distance measuring device 20 described in the first embodiment.
  • the image processing device 10 included in the distance measuring device 40 performs the same processing as the image processing device 10 of the first embodiment.
  • a distance measuring device 40 capable of extracting a moving object from one image without using a plurality of temporally continuous images such as moving image frames for processing.
  • FIG. 14 is a schematic diagram showing a schematic configuration of the object detection system 1 according to the third embodiment.
  • the object detection system 1 includes a distance measuring device 20 and an imaging device 60.
  • the imaging device 60 includes a camera unit 70 that includes the image processing device 10 and an imaging device.
  • the camera unit 70 may be a digital still camera corresponding to the imaging device 30 described in the first embodiment, for example.
  • the image processing device 10 included in the imaging device 60 performs the same processing as the image processing device 10 of the first embodiment.
  • an imaging device 60 that can extract a moving object from one image without using a plurality of temporally continuous images such as a moving image frame for processing.
  • FIG. 15 is a functional block diagram of an image processing apparatus 800 according to the fourth embodiment.
  • the image processing apparatus 800 includes a first acquisition unit 821, a second acquisition unit 822, and a detection unit 823.
  • the first acquisition unit 821 acquires the instantaneous velocity distribution of the object in the first region in the space.
  • the second acquisition unit 822 acquires an image including at least a part of the first region.
  • the detection unit 823 detects a second region indicating a moving object included in the image based on the instantaneous velocity distribution.
  • an image processing apparatus that can extract a moving object from one image is provided.
  • a processing method for recording a program for operating the configuration of the embodiment to realize the functions of the above-described embodiment on a storage medium, reading the program recorded on the storage medium as a code, and executing the program on a computer is also included in each embodiment. Included in the category. That is, a computer-readable storage medium is also included in the scope of each embodiment. In addition to the storage medium on which the above-described program is recorded, the program itself is included in each embodiment. In addition, the one or more constituent elements included in the above-described embodiment may be a circuit such as an ASIC or FPGA configured to realize the function of each constituent element.
  • the storage medium for example, a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD (Compact Disk) -ROM, magnetic tape, nonvolatile memory card, ROM can be used.
  • the embodiment is not limited to executing the processing by a single program recorded in the storage medium, but also executes the processing by operating on the OS in cooperation with other software and the function of the expansion board. Included in the category.
  • SaaS Software as a Service
  • a first acquisition unit that acquires an instantaneous velocity distribution of an object in a first region in space;
  • a second acquisition unit that acquires an image including at least a part of the first region;
  • a detection unit for detecting a second region indicating a moving object included in the image based on the instantaneous velocity distribution;
  • An image processing apparatus comprising:
  • Appendix 3 The image processing apparatus according to appendix 1 or 2, wherein the detection unit detects the second region so as to include a region in which the instantaneous velocity in the instantaneous velocity distribution is larger than a predetermined threshold.
  • Appendix 4 The image processing apparatus according to appendix 1 or 2, wherein the detection unit detects an edge of an instantaneous velocity in the instantaneous velocity distribution, and detects a region including the edge as the second region.
  • Appendix 6 The image processing according to any one of appendices 1 to 5, further comprising: a trimming processing unit that generates a moving object image by trimming a part of the image so that the second region is included. apparatus.
  • the first acquisition unit further acquires a distance distribution indicating a distance from the measuring device that measures the instantaneous velocity distribution to the subject,
  • the image processing apparatus according to any one of appendices 1 to 6, wherein the detection unit further detects the second region based on the distance distribution.
  • the first acquisition unit further acquires a reflected light intensity distribution indicating the intensity of reflected light from the subject by the light projected on the first region,
  • the image processing apparatus according to any one of appendices 1 to 7, wherein the detection unit further detects the second region based on the reflected light intensity distribution.
  • the instantaneous velocity distribution is based on the difference caused by the Doppler effect between the frequency of the projected light and the frequency of the reflected light, which is measured using a frequency modulated continuous wave (FMCW) LiDAR (Light Detection and Ranging) apparatus.
  • FMCW frequency modulated continuous wave
  • the image processing apparatus according to any one of appendices 1 to 8, wherein the image processing apparatus is acquired.
  • Appendix 10 The image processing apparatus according to any one of appendices 1 to 9, wherein the image is a frame constituting a moving image in a format in which compression between frames is not performed.
  • Appendix 11 The image processing apparatus according to any one of appendices 1 to 9, wherein the image is a still image.
  • Appendix 12 A measuring device for measuring the instantaneous velocity distribution;
  • the image processing apparatus according to any one of appendices 1 to 11,
  • a distance measuring device comprising:
  • the appendix 12 is characterized in that the measuring device is an FMCW type LiDAR device and measures the instantaneous velocity distribution based on a difference caused by the Doppler effect between the frequency of the projected light and the frequency of the reflected light.
  • the described distance measuring device is an FMCW type LiDAR device and measures the instantaneous velocity distribution based on a difference caused by the Doppler effect between the frequency of the projected light and the frequency of the reflected light.
  • the measurement apparatus further measures a distance distribution indicating a distance from the measurement apparatus to the subject and a reflected light intensity distribution indicating an intensity of reflected light from the subject due to the projected light.
  • Appendix 15 An image sensor for generating an image based on incident light;
  • the image processing apparatus according to any one of appendices 1 to 11,
  • An imaging device comprising:

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

空間内の第１領域の中の物体の瞬間速度分布を取得する第１取得部と、前記第１領域の少なくとも一部を含む画像を取得する第２取得部と、前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出する検出部と、を有する画像処理装置が提供される。

Description

画像処理装置、測距装置、撮像装置、画像処理方法及び記憶媒体
　本発明は、画像処理装置、測距装置、撮像装置、画像処理方法及び記憶媒体に関する。
　画像の中の移動物体を検出する種々の手法が検討されている。特許文献１には、動画を構成する複数のフレームを用いて移動物体を検出する方法が開示されている。特許文献１の方法では、連続する３つのフレームＦｒ０、Ｆｒ１、Ｆｒ２に対し、フレームＦｒ０とフレームＦｒ１の差分Ａと、フレームＦｒ１とフレームＦｒ２との差分Ｂとを算出し、差分Ａと差分Ｂとの論理和を取得することで、画像中の移動物体を検出することができる。
特開２００４－１７１４３１号公報
　特許文献１に記載されているような移動物体の検出方法では、動画のフレーム等の時間的に連続する複数の画像を処理に用いる必要があるため、１つの画像から移動物体を抽出することはできない。
　本発明は、上述の課題に鑑みてなされたものであって、１つの画像から移動物体を抽出することができる画像処理装置、測距装置、撮像装置、画像処理方法及び記憶媒体を提供することを目的とする。
　本発明の一観点によれば、空間内の第１領域の中の物体の瞬間速度分布を取得する第１取得部と、前記第１領域の少なくとも一部を含む画像を取得する第２取得部と、前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出する検出部と、を有することを特徴とする画像処理装置が提供される。
　本発明の他の観点によれば、空間内の第１領域の中の物体の瞬間速度分布を取得するステップと、前記第１領域の少なくとも一部を含む画像を取得するステップと、前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出するステップと、を有することを特徴とする画像処理方法が提供される。
　本発明の更に他の観点によれば、コンピュータに、空間内の第１領域の中の物体の瞬間速度分布を取得するステップと、前記第１領域の少なくとも一部を含む画像を取得するステップと、前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出するステップと、を実行させることを特徴とするプログラムが記憶された記憶媒体が提供される。
　本発明によれば、１つの画像から移動物体を抽出することができる画像処理装置、測距装置、撮像装置、画像処理方法及び記憶媒体を提供することができる。
第１実施形態に係る画像処理装置を含む物体検出システムの概略構成を示す模式図である。 第１実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。 第１実施形態に係る画像処理装置の機能ブロック図である。 第１実施形態に係る測距装置の機能ブロック図である。 第１実施形態に係る撮像装置の機能ブロック図である。 第１実施形態に係る画像処理装置、測距装置及び撮像装置により行われる処理の概略を示すシーケンス図である。 第１実施形態に係る測距装置により行われる処理の概略を示すフローチャートである。 測距の原理を示すグラフである。 瞬間速度測定の原理を示すグラフである。 瞬間速度測定の原理を示すグラフである。 第１実施形態に係る画像処理装置により行われる処理の概略を示すフローチャートである。 トリミング処理の概略を示す模式図である。 第２実施形態に係る物体検出システムの概略構成を示すブロック図である。 第３実施形態に係る物体検出システムの概略構成を示すブロック図である。 第４実施形態に係る画像処理装置の機能ブロック図である。
　以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
　［第１実施形態］
　図１は、第１実施形態に係る画像処理装置１０を含む物体検出システム１の概略構成を示す模式図である。物体検出システム１は、画像処理装置１０、測距装置２０及び撮像装置３０を含む。
　測距装置２０は、例えばＬｉＤＡＲ（Light Detection and Ranging）装置であり、所定の範囲における測距装置２０からの距離、瞬間速度等の分布を取得することができる。撮像装置３０は、例えばデジタルカメラであり、所定の範囲の画像を取得することができる。これらの機能により、物体検出システム１は、対象物２の検出を行うことができる。
　画像処理装置１０は、例えばコンピュータであり、測距装置２０により取得された情報に基づいて撮像装置３０により取得された画像の処理を行う。画像処理装置１０と測距装置２０の間及び画像処理装置１０と撮像装置３０の間は有線又は無線により通信可能に接続される。
　物体検出システム１は、画像処理装置１０、測距装置２０及び撮像装置３０を統括的に制御する不図示の制御装置を更に含んでもよく、画像処理装置１０として機能するコンピュータが当該制御の機能を有していてもよい。また、物体検出システム１は、通信可能に接続された複数の装置により構成されていてもよく、１つの装置として構成されていてもよい。
　図２は、本発明の第１実施形態に係る画像処理装置１０のハードウェア構成例を示すブロック図である。画像処理装置１０は、例えば、測距装置２０及び撮像装置３０と一体に構成されたコンピュータであり得る。また、画像処理装置１０は、測距装置２０及び撮像装置３０とは別の装置として構成されたコンピュータであってもよい。
　画像処理装置１０は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（Random Access Memory）１０２、ＲＯＭ（Read Only Memory）１０３及びＨＤＤ（Hard Disk Drive）１０４を備える。また、画像処理装置１０は、通信Ｉ／Ｆ（インターフェース）１０５、表示装置１０６及び入力装置１０７を備える。ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、通信Ｉ／Ｆ１０５、表示装置１０６及び入力装置１０７は、バス１０８を介して相互に接続される。なお、表示装置１０６及び入力装置１０７は、これらの装置を駆動するための不図示の駆動装置を介してバス１０８に接続されてもよい。
　図２では、画像処理装置１０を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、表示装置１０６及び入力装置１０７は、ＣＰＵ１０１等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。
　ＣＰＵ１０１は、ＲＯＭ１０３、ＨＤＤ１０４等に記憶されたプログラムに従って所定の動作を行うとともに、画像処理装置１０の各部を制御する機能をも有する。ＲＡＭ１０２は、揮発性記憶媒体から構成され、ＣＰＵ１０１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１０３は、不揮発性記憶媒体から構成され、画像処理装置１０の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１０４は、不揮発性記憶媒体から構成され、画像データ、プログラム等の記憶を行う記憶装置である。
　通信Ｉ／Ｆ１０５は、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置１０６は、液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等であって、画像、文字、インターフェース等の表示に用いられる。入力装置１０７は、キーボード、ポインティングデバイス等であって、ユーザが画像処理装置１０を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル等が挙げられる。表示装置１０６及び入力装置１０７は、タッチパネルとして一体に形成されていてもよい。
　なお、図１に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１０４は、半導体メモリを用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。
　図３は、本実施形態に係る画像処理装置１０の機能ブロック図である。画像処理装置１０は、第１取得部１２１、第２取得部１２２、検出部１２３、座標設定部１２４、トリミング処理部１２５及び記憶部１２６を有する。
　ＣＰＵ１０１は、ＲＯＭ１０３等に記憶されたプログラムをＲＡＭ１０２にロードして実行することにより、第１取得部１２１、第２取得部１２２、検出部１２３、座標設定部１２４及びトリミング処理部１２５の機能を実現する。これらの各部で行われる処理については後述する。ＣＰＵ１０１は、ＨＤＤ１０４を制御することにより記憶部１２６の機能を実現する。記憶部１２６は、測距装置２０から取得された距離、瞬間速度等の分布、撮像装置３０から取得した画像等の情報を記憶する。
　図４は、本実施形態に係る測距装置２０の機能ブロック図である。図４には測距装置２０の構成の一例として、ＦＭＣＷ（Frequency Modulated Continuous Wave）方式のＬｉＤＡＲ装置のブロック図が示されている。ＬｉＤＡＲ装置は、赤外光、可視光、紫外光等のレーザー光を投射し、反射光を取得する動作を繰り返して所定範囲を走査することにより、反射光強度分布、距離分布等を取得する装置である。また、図４に示す測距装置２０にはＦＭＣＷ方式が適用されている。そのため、測距装置２０は、ドップラー効果による周波数変化を測定することにより、瞬間速度分布を更に取得することができる。なお、ＬｉＤＡＲは、レーザーレーダーと呼ばれることもある。また、周波数変化の測定にドップラー効果を利用することから、瞬間速度分布は、対象物２から測距装置２０に向かう方向、あるいは、測距装置２０から遠ざかる方向の瞬間速度を示すものであることが望ましい。
　測距装置２０は、反射鏡ユニット２０１、ＬＤ（Laser Diode）２０４、ＰＤ（Photodiode）２０５、２０６、フィルタ２０７、２０８、２０９、変調器２１０、復調器２１１、２１２、三角波発生器２１３、振幅・周期比較器２１４、２１５、モータ制御部２１６及び演算部２１７を有する。反射鏡ユニット２０１は、反射鏡２０２及びモータ２０３を有する。
　三角波発生器２１３は、時間に対して電圧が増減を繰り返す三角波を生成する。三角波発生器２１３で生成された三角波は変調器２１０に出力される。また、当該三角波は振幅・周期等を参照するための参照信号として振幅・周期比較器２１４、２１５及び演算部２１７にも出力される。
　変調器２１０は、ＶＣＯ（Voltage-Controlled Oscillator）等を含み、三角波発生器２１３で生成された三角波状の電圧の入力に応じた周波数変調波を生成する。生成された周波数変調波は、フィルタ２０７に入力される。フィルタ２０７は、周波数変調波の周波数を通過帯域とする帯域通過フィルタである。フィルタ２０７を通過した周波数変調波は、ＬＤ２０４に入力される。ＬＤ２０４は、入力された周波数変調波に基づくレーザー光を生成する。なお、ＬＤ２０４は、例えば、近赤外領域の波長のレーザー光を射出する赤外線通信用の発光素子である。
　ＬＤ２０４から射出されたレーザー光は、反射鏡ユニット２０１に入射される。反射鏡ユニット２０１内の反射鏡２０２は、入射されたレーザー光を反射し、レーザー光が投射される方向を変化させる。モータ２０３は、例えばエンコーダ付きのＤＣ（Direct Current）モータであり、反射鏡２０２を回転させる。反射鏡２０２は、モータ２０３により回転駆動されることにより、レーザー光を所定範囲内で走査させることができる。レーザー光の一部は参照光としてＰＤ２０５に入射され、他の一部は測距装置２０の外部に投射される。
　測距装置２０の外部に投射されたレーザー光が対象物２で反射され測距装置２０に再び入射すると、当該反射光は、ＰＤ２０６に入射される。なお、対象物２と測距装置２０との間の距離をｒとすると、反射光は参照光に対して光路が２ｒだけ長くなる。そのため、反射光がＰＤ２０６に入射される時刻は、光速をｃとすると、参照光がＰＤ２０５に入射される時刻よりも２ｒ／ｃだけ遅い時刻となる。
　ＰＤ２０５、２０６は、例えば、ＬＤ２０４と同程度の波長の光を受光して電荷に変換する赤外線通信用の光電変換素子である。ＰＤ２０５、２０６に光が入射すると、生成された電荷に基づく電圧の変化が電気信号として後段のフィルタ２０８、２０９に伝達される。フィルタ２０８、２０９も、フィルタ２０７と同様に、三角波発生器２１３で生成された周波数変調波の周波数を通過帯域とする帯域通過フィルタである。フィルタ２０８を通過した周波数変調波は、復調器２１１に入力され、フィルタ２０９を通過した周波数変調波は、復調器２１２に入力される。
　復調器２１１、２１２は、ＰＬＬ（Phase-Locked Loop）等を含み、入力された周波数変調波を復調する。周波数変調波は三角波発生器２１３で生成された三角波に基づくものであるため、復調器２１１、２１２により復調された信号は三角波となる。復調器２１１における復調により得られた三角波は振幅・周期比較器２１４に入力され、復調器２１２における復調により得られた三角波は振幅・周期比較器２１５に入力される。
　振幅・周期比較器２１４、２１５は、ビート信号を生成するミキサ等を含む。振幅・周期比較器２１４は、三角波発生器２１３から出力される三角波の振幅・周期と、復調器２１１から出力される三角波の振幅・周期とを比較する。振幅・周期比較器２１４での比較結果は、演算部２１７に出力される。振幅・周期比較器２１５は、三角波発生器２１３から出力される三角波の振幅・周期と、復調器２１２から出力される三角波の振幅・周期とを比較する。振幅・周期比較器２１５での比較結果は、演算部２１７に出力される。ここで、比較結果とは、２つの入力信号の振幅・周期の差又は比であり得る。
　演算部２１７は、振幅・周期比較器２１４から出力された参照光に基づく信号と、三角波発生器２１３から出力される三角波とを用いて、振幅・周期比較器２１５から出力された反射光に基づく信号を補正する演算を行う。これにより演算部２１７は、反射光の強度、測距装置２０と対象物２との距離及び対象物２の瞬間速度を算出する。測距装置２０は、レーザー光を所定範囲内に走査させて反射光の強度、距離及び瞬間速度を測定することにより、これらを２次元状の反射光強度分布、距離分布及び瞬間速度分布として画像処理装置１０に出力する。
　振幅・周期比較器２１４から出力される参照光の情報はモータ制御部２１６にも出力される。モータ制御部２１６は、振幅・周期比較器２１４から取得した情報と、モータ２０３に設けられたエンコーダから取得した情報とに基づき、反射鏡２０２の現在の位置、回転速度等を算出する。モータ制御部２１６は、反射鏡２０２の現在の位置、回転速度等の情報に基づき、モータ２０３の回転速度を増加又は低下させる制御を行うことで、反射鏡２０２の回転速度を所定の値に安定化させる。
　フィルタ２０７、２０８、２０９、変調器２１０、復調器２１１、２１２、三角波発生器２１３、振幅・周期比較器２１４、２１５、モータ制御部２１６及び演算部２１７の一部又は全部は、一体の回路として形成されていてもよい。ここで、一体の回路とは、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）であり得る。
　図５は、本実施形態に係る撮像装置３０の機能ブロック図である。図５には撮像装置３０の構成の一例として、レンズ及び本体が一体となっているデジタルスチルカメラのブロック図が示されている。撮像装置３０は、対象物２を含む所定の範囲（所定の画角）の画像をデジタルデータとして取得する。
　撮像装置３０は、レンズユニット３０１、撮像素子３０２、信号処理部３０３、撮像装置制御部３０４、外部Ｉ／Ｆ３０５及び記録媒体３０６を有する。撮像装置制御部３０４は、撮像装置３０全体を制御する。レンズユニット３０１は、対象物２からの光を撮像素子３０２に導く光学系であり、１又は２以上のレンズを含む。また、レンズユニット３０１は、絞り、ズームレンズ、光学フィルタ、メカニカルシャッタ等の光学部材を更に含んでもよい。
　撮像素子３０２は、ＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ等であり得る。撮像素子３０２の撮像面には複数の画素が２次元状に配列されている。撮像素子３０２は、撮像面に投影された所定の画角の光学像に基づく画像信号を生成する。
　信号処理部３０３は、ＤＳＰ（Digital Signal Processor）等のプロセッサであり得る。信号処理部３０３は、撮像素子３０２で生成された画像信号に対し、補正、圧縮等の処理を行い、画像データを生成する。生成された画像データは、フラッシュメモリ等により構成された不揮発性の記録媒体３０６に記憶される。外部Ｉ／Ｆ３０５は、記録媒体３０６に記憶された画像データを画像処理装置１０に出力する。
　図６は、第１実施形態に係る画像処理装置１０、測距装置２０及び撮像装置３０により行われる処理の概略を示すシーケンス図である。図６を参照しつつ、処理の概略を説明する。
　ステップＳ１０において、測距装置２０は、所定の範囲内の反射光強度分布、距離分布及び瞬間速度分布を取得する。これらの分布に関する情報は、総称として分布情報と呼ばれることもある。また、分布情報を取得する所定の範囲は、第１領域と呼ばれることもある。
　ステップＳ２０において、撮像装置３０は、反射光強度分布、距離分布及び瞬間速度分布を取得した範囲の少なくとも一部を含む範囲内の画像を撮影する。なお、図６では、ステップＳ１０の後にステップＳ２０が行われるように図示されているが、ステップＳ１０とステップＳ２０の順序は逆であってもよく、これらが並行して行われてもよい。
　ステップＳ３０において、測距装置２０は、画像処理装置１０に分布情報を送信する。ステップＳ４０において、撮像装置３０は、画像処理装置１０に画像を送信する。なお、図６では、ステップＳ３０の後にステップＳ４０が行われるように図示されているが、ステップＳ３０とステップＳ４０の順序は逆であってもよく、これらが並行して行われてもよい。
　ステップＳ５０において、画像処理装置１０は、少なくとも瞬間速度分布に基づいて画像の中から移動物体を検出する。検出された移動物体を含む画像中の範囲は、第２領域と呼ばれることもある。
　ステップＳ６０において、画像処理装置１０は、第２領域に対する画像処理を行う。ここで、画像処理の例としては、画像から第２領域を含む範囲を切り出して移動物体画像を生成するトリミング処理が挙げられる。
　図７乃至図１０を参照して、測距装置２０において行われる処理をより具体的に説明する。図７は、第１実施形態に係る測距装置２０により行われる処理の概略を示すフローチャートである。図８は、測距の原理を示すグラフである。図９及び図１０は、瞬間速度測定の原理を示すグラフである。
　図７のステップＳ１０１からステップＳ１０４は、図６のステップＳ１０に対応する処理である。図７のステップＳ１０５は、図６のステップＳ３０に対応する処理である。ステップＳ１０１において、測距装置２０は、近赤外光等の周波数帯域のレーザー光を投射する。ステップＳ１０２において、測距装置２０は、対象物２から反射された反射光を受光する。
　ステップＳ１０３において、測距装置２０は、参照光、反射光等に基づく信号を用いて反射光強度、距離及び瞬間速度を算出する。ここで、ＦＭＣＷ方式による距離及び瞬間速度の算出方法について図８乃至図１０を参照して説明する。
　まず、図８を参照しつつ距離の算出方法を説明する。図８のグラフは、参照光に基づく三角波の一部、反射光に基づく三角波の一部及びこれらのビートの周波数の時間変化を示している。図８より、参照光に基づく三角波は、時刻ｔ０において周波数ｆ０であり、時間の経過とともに線形に周波数が増加する。その後、時間Ｔが経過した時刻ｔ０＋Ｔにおいて、周波数ｆ０＋Ｆとなる。すなわち、参照光に基づく三角波の傾きはＦ／Ｔである。三角波の傾きＦ／Ｔの値は、三角波発生器２１３で生成される三角波により定まるため、既知である。反射光に基づく三角波は、上述のように、参照光よりも時間Δｔ（＝２ｒ／ｃ）だけ遅れて入力されるため、図８に示されるように、参照光を横方向に時間Δｔだけシフトした波形となる。なお、図８において、対象物２は動いておらず、ドップラー効果による波形のシフトはないものとしている。
　時間Δｔは極めて短い時間であるため、時間Δｔ自体を高精度に測定することは困難な場合があるが、周波数Δｆはミキサ等によりビートを生成することで比較的高精度に測定することができる。そこで、参照光に基づく三角波と反射光に基づく三角波とを混合してビートを生成して、そのビートの周波数を測定することで、参照光の周波数と反射光の周波数の差Δｆを取得する。ΔｆとΔｔの比は、図８から明らかなように、ＦとＴの比と一致する。そのため、Δｔは、ビートから得られたΔｆと、既知の（Ｆ／Ｔ）の値を用いて、Δｔ＝Δｆ／（Ｆ／Ｔ）と表すことができる。上述のΔｔ＝２ｒ／ｃの関係を考慮すると、測距装置２０から対象物２までの距離は、以下の式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　したがって、時間の経過とともに線形に周波数が増加するように周波数変調された光を投射し、反射光に基づく信号と参照光に基づく信号のビートの周波数を測定することにより測距を行うことができる。
　次に、図９及び図１０を参照しつつ瞬間速度の算出方法を説明する。図９及び図１０は、三角波の１周期分を含むように、図８に示したグラフをより広い時間範囲で示したグラフである。図９は、対象物２の瞬間速度がゼロである場合の周波数の時間変化を示している。図９より理解できるように、ビート周波数は、三角波の頂点付近を除き、Δｆで一定である。
　図１０は、対象物２が測距装置２０に向かう方向に動いている場合の周波数の時間変化を示している。測距装置２０から投射された光は、対象物２で反射する際にドップラー効果により周波数が高くなる。これにより、三角波の周波数上昇時と下降時とで、ビート周波数がΔｆ１とΔｆ２の２種類の値を繰り返す。ドップラー効果による周波数変動量をΔｆｄとすると、Δｆｄ＝（Δｆ２－Δｆ１）／２で表される。また、上述の式（１）におけるΔｆは、Δｆ＝（Δｆ１＋Δｆ２）／２で表される。したがって、ビート周波数としてΔｆ１とΔｆ２を取得することにより、対象物２が動いている場合においても式（１）に基づいて距離ｒを算出することができる。更に、Δｆｄを光のドップラー効果の公式に入力することにより対象物２の瞬間速度を算出することができる。このように、本実施形態の測距装置２０は、ＦＭＣＷ方式を用いたＬｉＤＡＲ装置であるため、距離分布及び瞬間速度分布を取得することができる。また、反射光に基づく信号の強度に基づき、本実施形態の測距装置２０は、反射光強度分布を取得することができる。
　図７のステップＳ１０４において、測距装置２０は、所定範囲内における反射光強度分布、距離分布及び瞬間速度分布の取得が完了しているか否かを判断する。これらの取得が完了していない場合（ステップＳ１０４においてＮＯ）、処理はステップＳ１０１に移行し、光を照射する位置を変えて異なる測定点の反射光強度、距離及び瞬間速度の測定を行う。これらの取得が完了している場合（ステップＳ１０４においてＹＥＳ）、処理はステップＳ１０５に移行する。このように、ステップＳ１０１からステップＳ１０４のループにおいては、反射光強度分布、距離分布及び瞬間速度分布の取得のための走査が行われる。
　ステップＳ１０５において、測距装置２０は、画像処理装置１０に反射光強度分布、距離分布及び瞬間速度分布（分布情報）を送信する。
　図１１及び図１２を参照して、画像処理装置１０において行われる処理をより具体的に説明する。図１１は、第１実施形態に係る画像処理装置１０により行われる処理の概略を示すフローチャートである。図１２は、トリミング処理の概略を示す模式図である。
　図１１のステップＳ２０１は、図６のステップＳ３０及び図７のステップＳ１０５に対応する処理である。図１１のステップＳ２０２は、図６のステップＳ４０に対応する処理である。図１１のステップＳ２０３は、図６のステップＳ５０に対応する処理である。図１１のステップＳ２０４及びステップＳ２０５は、図６のステップＳ６０に対応する処理である。
　ステップＳ２０１において、画像処理装置１０の第１取得部１２１は、測距装置２０から空間内の第１領域の中の分布情報を取得する。取得された分布情報は、記憶部１２６に記憶され、後続の処理において、適宜記憶部１２６から読み出されて用いられる。ここで、分布情報は、少なくとも瞬間速度分布を含む。
　ステップＳ２０２において、画像処理装置１０の第２取得部１２２は、測距装置２０から第１領域の少なくとも一部を含む画像を取得する。取得された画像は、記憶部１２６に記憶され、後続の処理において、適宜記憶部１２６から読み出されて用いられる。ステップＳ２０１とステップＳ２０２の順序は逆であってもよく、これらが並行して行われてもよい。
　ステップＳ２０３において、画像処理装置１０の検出部１２３は、瞬間速度分布に基づいて、画像に含まれる移動物体を示す移動物体領域（第２領域）を検出する。ステップＳ２０３の処理について図１２を参照してより詳細に説明する。
　図１２の上段には第１領域における瞬間速度分布９１が示されている。瞬間速度分布９１は、瞬間速度の２次元分布が示されており、所定の閾値よりも大きい瞬間速度を有する部分がハッチングで示されている。図１２より、瞬間速度分布９１内に、人型の移動物体９２が存在することがわかる。なお、ここでの瞬間速度を有する部分の判別は閾値に基づくものでなくてもよく、例えば、瞬間速度の微分値等を用いたエッジ抽出処理を行い、エッジに囲まれた領域を所定の瞬間速度を有する部分と判別するものであってもよい。
　図１２の中段には、画像９３が示されている。画像９３は、静止画又は動画のうちの１フレームである。画像９３のみを参照した場合、画像９３の中のどの領域に移動物体があるのかを判別することは難しい。例えば、画像９３の情報のみに基づいて画像９３内の人型の部分が移動物体であることを判定することは困難である。そこで、検出部１２３は、瞬間速度分布９１を参照して、画像９３の中から移動物体９２に対応する領域を検出する。この検出は、例えば、瞬間速度分布９１内の移動物体９２の形状と類似する形状を画像９３内から探索することにより行われる。このようにして、移動物体９２に対応する領域として、画像９３内に人型の移動物体領域９４が検出される。
　ステップＳ２０４において、座標設定部１２４は、瞬間速度分布９１内の移動物体９２の座標と、画像９３内の移動物体領域９４の座標との対応付けを行う。これにより、例えば、瞬間速度分布９１を取得した範囲と画像９３を取得した範囲との位置又は大きさが一致していない場合であっても、画像９３内の移動物体領域９４の範囲を明らかにすることができる。
　ステップＳ２０５において、トリミング処理部１２５は、画像９３の一部を移動物体領域９４が含まれるようにトリミングして移動物体画像９５を生成する。生成された移動物体画像９５は、記憶部１２６に記憶され、必要に応じて画像処理装置１０から外部に出力可能である。このようにして、本処理によれば、移動物体領域９４のみ、あるいは、移動物体領域９４及びその近傍のみを含む移動物体画像９５を取得することができる。
　本実施形態によれば、動画のフレーム等の時間的に連続する複数の画像を処理に用いることなく、１つの画像から移動物体を抽出することができる画像処理装置１０が提供される。
　ここで、１つの画像から移動物体を抽出することの効果についてより具体的に説明する。複数の画像を比較して移動物体を検出する手法では、扱う情報量が多くなるため処理負荷が大きくなり得る。撮像装置から他の処理装置に複数の画像を送信して、他の処理装置で移動物体を検出する処理を行うことで処理を高速化する手法も考えられるが、この場合、複数の画像を送信することが必要になるため、通信負荷の増大を招き得る。これに対し、本実施形態では、処理に用いる画像は１つにすることができ、処理に用いる画像の個数を少なくすることができる。本実施形態の処理に用いられる瞬間速度分布は、画像に比べると情報量が小さい場合が多い。そのため、上述の要因による処理負荷、通信負荷の影響が低減される。
　移動物体のトリミングを行う際には、移動物体の全体が含まれるように余裕を持ったトリミングを行う必要があるため、移動物体の輪郭の検出精度が高いほどトリミング後の画像のサイズを小さくすることができる。本実施形態の手法では、瞬間速度を直接測定しているため、複数の画像の差分等から移動物体を推測して検出するような間接的な手法に比べ移動物体の検出精度が向上し得る。そのため、移動物体の輪郭を高精度に検出でき、トリミング後の移動物体画像の情報量を更に小さくすることができる。したがって、他の装置に移動物体画像を送信する際の通信負荷を低減することができる。
　ステップＳ２０３における移動物体領域９４の検出において、瞬間速度分布９１に加えて、更に距離分布を用いてもよい。移動物体領域９４とその他の領域とが等距離である場合は少なく、通常は両者の距離に差がある。したがって、距離分布においても移動物体の輪郭を検出可能な場合がある。そこで、瞬間速度分布９１と距離分布の情報を総合して移動物体領域９４の検出を行うことで、更に検出精度が向上し得る。
　また、ステップＳ２０３における移動物体領域９４の検出において、更に反射光強度分布を用いてもよい。移動物体領域９４とその他の領域とが偶然同じ反射率であることは少なく、通常は反射率にも差がある。したがって、反射光強度分布においても移動物体の輪郭を検出可能な場合がある。そこで、瞬間速度分布９１と反射光強度分布の情報を総合して移動物体領域９４の検出を行うことで、更に検出精度が向上し得る。
　処理に用いられる画像は、画質向上のため、静止画、あるいは、フレーム間の圧縮を行っていない形式の動画を構成するフレームのいずれかであることが望ましい。フレーム間の圧縮を行う形式であるＭＰＥＧ４（Moving Picture Experts Group 4）等の動画から１つのフレームを取り出して本処理に用いる場合、フレーム間の圧縮に起因する画質劣化が生じ得る。これに対し、静止画、あるいは、フレーム間の圧縮を行っていない形式の動画から１つのフレームを取り出して本処理に用いる場合、この画質劣化は生じないためである。なお、フレーム間の圧縮を行っていない形式の動画は、例えば、Ｍｏｔｉｏｎ　ＪＰＥＧ（Joint Photographic Experts Group）であり得る。
　［第２実施形態］
　本発明の第２実施形態として、測距装置４０に画像処理装置１０が組み込まれている場合の構成例を説明する。第１実施形態と共通する要素についての説明は省略又は簡略化する。
　図１３は、第２実施形態に係る物体検出システム１の概略構成を示す模式図である。物体検出システム１は、測距装置４０及び撮像装置３０を含む。測距装置４０は、画像処理装置１０及び測定装置５０を含む。測定装置５０は、例えば第１実施形態で述べた測距装置２０に相当するＦＭＣＷ方式のＬｉＤＡＲ装置であり得る。測距装置４０に含まれている画像処理装置１０は、第１実施形態の画像処理装置１０と同様の処理を行う。
　本実施形態の測距装置４０に画像処理装置１０が組み込まれている構成においても、第１実施形態と同様の効果を得ることができる。したがって、動画のフレーム等の時間的に連続する複数の画像を処理に用いることなく、１つの画像から移動物体を抽出することができる測距装置４０が提供される。
　［第３実施形態］
　本発明の第３実施形態として、撮像装置６０に画像処理装置１０が組み込まれている場合の構成例を説明する。第１実施形態と共通する要素についての説明は省略又は簡略化する。
　図１４は、第３実施形態に係る物体検出システム１の概略構成を示す模式図である。物体検出システム１は、測距装置２０及び撮像装置６０を含む。撮像装置６０は、画像処理装置１０及び撮像素子を備えたカメラユニット７０を含む。カメラユニット７０は、例えば第１実施形態で述べた撮像装置３０に対応するデジタルスチルカメラであり得る。撮像装置６０に含まれている画像処理装置１０は、第１実施形態の画像処理装置１０と同様の処理を行う。
　本実施形態の撮像装置６０に画像処理装置１０が組み込まれている構成においても、第１実施形態と同様の効果を得ることができる。したがって、動画のフレーム等の時間的に連続する複数の画像を処理に用いることなく、１つの画像から移動物体を抽出することができる撮像装置６０が提供される。
　上述の実施形態において説明したシステムは以下の第４実施形態のようにも構成することができる。
　［第４実施形態］
　図１５は、第４実施形態に係る画像処理装置８００の機能ブロック図である。画像処理装置８００は、第１取得部８２１、第２取得部８２２及び検出部８２３を備える。第１取得部８２１は、空間内の第１領域の中の物体の瞬間速度分布を取得する。第２取得部８２２は、第１領域の少なくとも一部を含む画像を取得する。検出部８２３は、瞬間速度分布に基づいて、画像に含まれる移動物体を示す第２領域を検出する。
　本実施形態によれば、１つの画像から移動物体を抽出することができる画像処理装置が提供される。
　［変形実施形態］
　本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。
　上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ、ＦＰＧＡ等の回路であってもよい。
　該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disk）－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
　上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software as a Service）の形態でユーザに対して提供することもできる。
　なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
　上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　空間内の第１領域の中の物体の瞬間速度分布を取得する第１取得部と、
　前記第１領域の少なくとも一部を含む画像を取得する第２取得部と、
　前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出する検出部と、
　を有することを特徴とする画像処理装置。
　（付記２）
　前記瞬間速度分布は、前記瞬間速度分布を測定する測定装置に向かう方向又は前記測定装置から遠ざかる方向の瞬間速度の大きさを示す分布である
　ことを特徴とする付記１に記載の画像処理装置。
　（付記３）
　前記検出部は、前記瞬間速度分布の中の瞬間速度が所定の閾値よりも大きい領域を含むように前記第２領域を検出する
　ことを特徴とする付記１又は２に記載の画像処理装置。
　（付記４）
　前記検出部は、前記瞬間速度分布の中の瞬間速度のエッジを検出し、前記エッジを含む領域を前記第２領域として検出する
　ことを特徴とする付記１又は２に記載の画像処理装置。
　（付記５）
　前記第１領域の座標と、前記画像の座標との対応付けを行う座標設定部を更に備える
　ことを特徴とする付記１乃至４のいずれか１項に記載の画像処理装置。
　（付記６）
　前記画像の一部を前記第２領域が含まれるようにトリミングすることにより移動物体画像を生成するトリミング処理部を更に備える
　ことを特徴とする付記１乃至５のいずれか１項に記載の画像処理装置。
　（付記７）
　前記第１取得部は、更に、前記瞬間速度分布を測定する測定装置から被写体までの距離を示す距離分布を取得し、
　前記検出部は、更に、前記距離分布に基づいて、前記第２領域を検出する
　ことを特徴とする付記１乃至６のいずれか１項に記載の画像処理装置。
　（付記８）
　前記第１取得部は、更に、前記第１領域に投射した光による被写体からの反射光の強度を示す反射光強度分布を取得し、
　前記検出部は、更に、前記反射光強度分布に基づいて、前記第２領域を検出する
　ことを特徴とする付記１乃至７のいずれか１項に記載の画像処理装置。
　（付記９）
　前記瞬間速度分布は、ＦＭＣＷ（Frequency Modulated Continuous Wave）方式のＬｉＤＡＲ（Light Detection and Ranging）装置を用いて測定された、投射光の周波数と反射光の周波数とのドップラー効果に起因する差に基づいて取得される
　ことを特徴とする付記１乃至８のいずれか１項に記載の画像処理装置。
　（付記１０）
　前記画像は、フレーム間の圧縮を行っていない形式の動画を構成するフレームである
　ことを特徴とする付記１乃至９のいずれか１項に記載の画像処理装置。
　（付記１１）
　前記画像は、静止画である
　ことを特徴とする付記１乃至９のいずれか１項に記載の画像処理装置。
　（付記１２）
　瞬間速度分布を測定する測定装置と、
　付記１乃至１１のいずれか１項に記載の画像処理装置と、
　を有することを特徴とする測距装置。
　（付記１３）
　前記測定装置は、ＦＭＣＷ方式のＬｉＤＡＲ装置であり、投射光の周波数と反射光の周波数との間のドップラー効果に起因する差に基づいて前記瞬間速度分布を測定する
　ことを特徴とする付記１２に記載の測距装置。
　（付記１４）
　前記測定装置は、前記測定装置から被写体までの距離を示す距離分布と、投射した光による被写体からの反射光の強度を示す反射光強度分布とを更に測定する
　ことを特徴とする付記１２又は１３に記載の測距装置。
　（付記１５）
　入射光に基づく画像を生成する撮像素子と、
　付記１乃至１１のいずれか１項に記載の画像処理装置と、
　を有することを特徴とする撮像装置。
　（付記１６）
　空間内の第１領域の中の物体の瞬間速度分布を取得するステップと、
　前記第１領域の少なくとも一部を含む画像を取得するステップと、
　前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出するステップと、
　を有することを特徴とする画像処理方法。
　（付記１７）
　コンピュータに、
　空間内の第１領域の中の物体の瞬間速度分布を取得するステップと、
　前記第１領域の少なくとも一部を含む画像を取得するステップと、
　前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出するステップと、
　を実行させることを特徴とするプログラムが記憶された記憶媒体。
　この出願は、２０１８年２月５日に出願された日本出願特願２０１８－０１７７９１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０、８００　　　　画像処理装置
１２１、８２１　　　第１取得部
１２２、８２２　　　第２取得部
１２３、８２３　　　検出部
１２４　　　　　　　座標設定部
１２５　　　　　　　トリミング処理部
１２６　　　　　　　記憶部

Claims (17)

  1. 　空間内の第１領域の中の物体の瞬間速度分布を取得する第１取得部と、
    　前記第１領域の少なくとも一部を含む画像を取得する第２取得部と、
    　前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出する検出部と、
    　を有することを特徴とする画像処理装置。
  2. 　前記瞬間速度分布は、前記瞬間速度分布を測定する測定装置に向かう方向又は前記測定装置から遠ざかる方向の瞬間速度の大きさを示す分布である
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記検出部は、前記瞬間速度分布の中の瞬間速度が所定の閾値よりも大きい領域を含むように前記第２領域を検出する
    　ことを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記検出部は、前記瞬間速度分布の中の瞬間速度のエッジを検出し、前記エッジを含む領域を前記第２領域として検出する
    　ことを特徴とする請求項１又は２に記載の画像処理装置。
  5. 　前記第１領域の座標と、前記画像の座標との対応付けを行う座標設定部を更に備える
    　ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
  6. 　前記画像の一部を前記第２領域が含まれるようにトリミングすることにより移動物体画像を生成するトリミング処理部を更に備える
    　ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
  7. 　前記第１取得部は、更に、前記瞬間速度分布を測定する測定装置から被写体までの距離を示す距離分布を取得し、
    　前記検出部は、更に、前記距離分布に基づいて、前記第２領域を検出する
    　ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
  8. 　前記第１取得部は、更に、前記第１領域に投射した光による被写体からの反射光の強度を示す反射光強度分布を取得し、
    　前記検出部は、更に、前記反射光強度分布に基づいて、前記第２領域を検出する
    　ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
  9. 　前記瞬間速度分布は、ＦＭＣＷ（Frequency Modulated Continuous Wave）方式のＬｉＤＡＲ（Light Detection and Ranging）装置を用いて測定された、投射光の周波数と反射光の周波数とのドップラー効果に起因する差に基づいて取得される
    　ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
  10. 　前記画像は、フレーム間の圧縮を行っていない形式の動画を構成するフレームである
    　ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
  11. 　前記画像は、静止画である
    　ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
  12. 　瞬間速度分布を測定する測定装置と、
    　請求項１乃至１１のいずれか１項に記載の画像処理装置と、
    　を有することを特徴とする測距装置。
  13. 　前記測定装置は、ＦＭＣＷ方式のＬｉＤＡＲ装置であり、投射光の周波数と反射光の周波数との間のドップラー効果に起因する差に基づいて前記瞬間速度分布を測定する
    　ことを特徴とする請求項１２に記載の測距装置。
  14. 　前記測定装置は、前記測定装置から被写体までの距離を示す距離分布と、投射した光による被写体からの反射光の強度を示す反射光強度分布とを更に測定する
    　ことを特徴とする請求項１２又は１３に記載の測距装置。
  15. 　入射光に基づく画像を生成する撮像素子と、
    　請求項１乃至１１のいずれか１項に記載の画像処理装置と、
    　を有することを特徴とする撮像装置。
  16. 　空間内の第１領域の中の物体の瞬間速度分布を取得するステップと、
    　前記第１領域の少なくとも一部を含む画像を取得するステップと、
    　前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出するステップと、
    　を有することを特徴とする画像処理方法。
  17. 　コンピュータに、
    　空間内の第１領域の中の物体の瞬間速度分布を取得するステップと、
    　前記第１領域の少なくとも一部を含む画像を取得するステップと、
    　前記瞬間速度分布に基づいて、前記画像に含まれる移動物体を示す第２領域を検出するステップと、
    　を実行させることを特徴とするプログラムが記憶された記憶媒体。
PCT/JP2019/001956 2018-02-05 2019-01-23 画像処理装置、測距装置、撮像装置、画像処理方法及び記憶媒体 WO2019151059A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-017791 2018-02-05
JP2018017791A JP7008308B2 (ja) 2018-02-05 2018-02-05 画像処理装置、測距装置、撮像装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2019151059A1 true WO2019151059A1 (ja) 2019-08-08

Family

ID=67478204

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001956 WO2019151059A1 (ja) 2018-02-05 2019-01-23 画像処理装置、測距装置、撮像装置、画像処理方法及び記憶媒体

Country Status (2)

Country Link
JP (1) JP7008308B2 (ja)
WO (1) WO2019151059A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4311221A1 (en) 2021-03-17 2024-01-24 Sony Group Corporation Information processing device, information processing method, and program
JPWO2023026920A1 (ja) 2021-08-26 2023-03-02

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5786071A (en) * 1980-11-17 1982-05-28 Toshiba Corp Laser distance measuring device
JP2008171140A (ja) * 2007-01-10 2008-07-24 Omron Corp 画像処理装置および方法、並びに、プログラム
JP2008241434A (ja) * 2007-03-27 2008-10-09 Stanley Electric Co Ltd 距離画像生成装置
JP2011027457A (ja) * 2009-07-22 2011-02-10 Fujitsu Ten Ltd 物体検出装置、情報処理方法、および、情報処理システム
US20160225148A1 (en) * 2015-01-29 2016-08-04 Alpha Networks Inc. Intelligent monitoring system and method
JP2016138878A (ja) * 2009-02-20 2016-08-04 デジタル・シグナル・コーポレーション ライダーとビデオ測定を使用する３次元画像の生成システム及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5786071A (en) * 1980-11-17 1982-05-28 Toshiba Corp Laser distance measuring device
JP2008171140A (ja) * 2007-01-10 2008-07-24 Omron Corp 画像処理装置および方法、並びに、プログラム
JP2008241434A (ja) * 2007-03-27 2008-10-09 Stanley Electric Co Ltd 距離画像生成装置
JP2016138878A (ja) * 2009-02-20 2016-08-04 デジタル・シグナル・コーポレーション ライダーとビデオ測定を使用する３次元画像の生成システム及び方法
JP2011027457A (ja) * 2009-07-22 2011-02-10 Fujitsu Ten Ltd 物体検出装置、情報処理方法、および、情報処理システム
US20160225148A1 (en) * 2015-01-29 2016-08-04 Alpha Networks Inc. Intelligent monitoring system and method

Also Published As

Publication number Publication date
JP2019135446A (ja) 2019-08-15
JP7008308B2 (ja) 2022-01-25

Similar Documents

Publication Publication Date Title
US10878589B2 (en) Time-of-flight depth measurement using modulation frequency adjustment
JP6246131B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
JP5448617B2 (ja) 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
EP2936204B1 (en) Multiple frequency time of flight dealiasing
JP6863342B2 (ja) 光測距装置
JP6261681B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
JP6621767B2 (ja) 飛行時間データをビニングするための方法
US11393115B2 (en) Filtering continuous-wave time-of-flight measurements, based on coded modulation images
WO2019151059A1 (ja) 画像処理装置、測距装置、撮像装置、画像処理方法及び記憶媒体
US11808890B2 (en) Distance measuring device and method of measuring distance by using the same
EP3552044B1 (en) Time-of-flight imaging apparatus and method
US11835742B2 (en) Sensor device
JP7206855B2 (ja) 三次元位置検出装置、三次元位置検出システム、及び三次元位置検出方法
US20210293938A1 (en) Image capture device, range finding device, method and storage medium
US11885880B2 (en) Unwrapped phases for time-of-flight modulation light
KR102162019B1 (ko) 3 차원 이미지 생성 방법 및 장치
WO2023238741A1 (ja) 光検出装置、システム及び情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19748301

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19748301

Country of ref document: EP

Kind code of ref document: A1