WO2013015145A1 - 情報取得装置および物体検出装置 - Google Patents

情報取得装置および物体検出装置 Download PDF

Info

Publication number
WO2013015145A1
WO2013015145A1 PCT/JP2012/068050 JP2012068050W WO2013015145A1 WO 2013015145 A1 WO2013015145 A1 WO 2013015145A1 JP 2012068050 W JP2012068050 W JP 2012068050W WO 2013015145 A1 WO2013015145 A1 WO 2013015145A1
Authority
WO
WIPO (PCT)
Prior art keywords
laser light
light
information acquisition
wavelength
light source
Prior art date
Application number
PCT/JP2012/068050
Other languages
English (en)
French (fr)
Inventor
楳田　勝美
後藤　陽一郎
Original Assignee
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三洋電機株式会社 filed Critical 三洋電機株式会社
Priority to CN201280028302.9A priority Critical patent/CN103597316A/zh
Publication of WO2013015145A1 publication Critical patent/WO2013015145A1/ja
Priority to US14/157,241 priority patent/US20140132956A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G01V8/12—Detecting, e.g. by using light barriers using one transmitter and one receiver

Definitions

  • the present invention relates to an object detection apparatus that detects an object in a target area based on a state of reflected light when light is projected onto the target area, and an information acquisition apparatus suitable for use in the object detection apparatus.
  • An object detection device using light has been developed in various fields.
  • An object detection apparatus using a so-called distance image sensor can detect not only a planar image on a two-dimensional plane but also the shape and movement of the detection target object in the depth direction.
  • light in a predetermined wavelength band is projected from a laser light source or LED (Light-Emitting-Diode) onto a target area, and the reflected light is received by a light-receiving element such as a CMOS image sensor.
  • CMOS image sensor Light-Emitting-Diode
  • a distance image sensor of a type that irradiates a target region with laser light having a predetermined dot pattern reflected light from the target region of laser light having a dot pattern is received by a light receiving element. Based on the light receiving position of the dot on the light receiving element, the distance to each part of the detection target object (irradiation position of each dot on the detection target object) is detected using triangulation (for example, non-patent) Reference 1).
  • triangulation for example, non-patent
  • infrared light having a dot pattern is irradiated to a target area, and infrared light reflected by an object located in the target area is received by a monochrome image sensor.
  • a monochrome image sensor since the monochrome image sensor has a small production volume and is expensive, there arises a problem that the cost of the entire apparatus increases.
  • the present invention has been made to solve such a problem, and an object thereof is to provide an information acquisition device and an object detection device capable of reducing the cost.
  • the first aspect of the present invention relates to an information acquisition device.
  • An information acquisition apparatus receives a laser light source that emits laser light, a projection unit that projects the laser light emitted from the laser light source onto a target area, and the laser light reflected from the target area A light receiving unit.
  • the light receiving unit includes a color image sensor on which the laser beam reflected from the target region is incident.
  • the detection sensitivity of pixels that detect light of a predetermined color gradually decreases on the longer wavelength side than the visible light region, and detection of pixels that detect light of the remaining colors other than the color is detected.
  • Each sensitivity has a characteristic having a maximum value, and the detection sensitivities of the respective pixels are substantially aligned with each other in a wavelength band in the vicinity of the wavelength that gives the maximum value.
  • the emission wavelength of the laser light source is set to a wavelength within the wavelength band.
  • the second aspect of the present invention relates to an object detection apparatus.
  • the object detection apparatus according to this aspect includes the information acquisition apparatus according to the first aspect.
  • FIG. 1 It is a figure which shows schematic structure of the object detection apparatus which concerns on embodiment. It is a figure which shows the structure of the information acquisition apparatus and information processing apparatus which concern on embodiment. It is the figure which shows typically the irradiation state of the laser beam with respect to the target area
  • an information acquisition device of a type that irradiates a target area with laser light having a predetermined dot pattern is exemplified.
  • FIG. 1 shows a schematic configuration of the object detection apparatus according to the present embodiment.
  • the object detection device includes an information acquisition device 1 and an information processing device 2.
  • the television 3 is controlled by a signal from the information processing device 2.
  • the information acquisition device 1 projects infrared light over the entire target area and receives the reflected light with a CMOS image sensor, whereby the distance between each part of the object in the target area (hereinafter referred to as “three-dimensional distance information”). To get.
  • the acquired three-dimensional distance information is sent to the information processing apparatus 2 via the cable 4.
  • the information processing apparatus 2 is, for example, a controller for TV control, a game machine, a personal computer, or the like.
  • the information processing device 2 detects an object in the target area based on the three-dimensional distance information received from the information acquisition device 1, and controls the television 3 based on the detection result.
  • the information processing apparatus 2 detects a person based on the received three-dimensional distance information and detects the movement of the person from the change in the three-dimensional distance information.
  • the information processing device 2 is a television control controller
  • the information processing device 2 detects the person's gesture from the received three-dimensional distance information, and outputs a control signal to the television 3 in accordance with the gesture.
  • the application program to be installed is installed.
  • the user can cause the television 3 to execute a predetermined function such as channel switching or volume up / down by making a predetermined gesture while watching the television 3.
  • the information processing device 2 when the information processing device 2 is a game machine, the information processing device 2 detects the person's movement from the received three-dimensional distance information, and displays a character on the television screen according to the detected movement.
  • An application program that operates and changes the game battle situation is installed. In this case, the user can experience a sense of realism in which he / she plays a game as a character on the television screen by making a predetermined movement while watching the television 3.
  • FIG. 2 is a diagram showing the configuration of the information acquisition device 1 and the information processing device 2.
  • the information acquisition apparatus 1 includes a projection optical system 100 and a light receiving optical system 200 as a configuration of an optical unit.
  • the projection optical system 100 and the light receiving optical system 200 are arranged in the information acquisition device 1 so as to be arranged at a predetermined distance in the X-axis direction.
  • the projection optical system 100 includes a laser light source 110, a collimator lens 120, a rising mirror 130, and a diffractive optical element (DOE: Diffractive Optical Element) 140.
  • the light receiving optical system 200 includes an aperture 210, an imaging lens 220, a filter 230, and a CMOS image sensor 240.
  • the information acquisition device 1 includes a CPU (Central Processing Unit) 21, a laser driving circuit 22, an imaging signal processing circuit 23, an input / output circuit 24, and a memory 25 as a circuit unit.
  • CPU Central Processing Unit
  • the laser light source 110 outputs laser light in the infrared wavelength band in a direction away from the light receiving optical system 200 (X-axis positive direction). A method for setting the emission wavelength of the laser light source 110 will be described later with reference to FIG.
  • the collimator lens 120 converts the laser light emitted from the laser light source 110 into substantially parallel light.
  • the raising mirror 130 reflects the laser light incident from the collimator lens 120 side in the direction toward the DOE 140 (Z-axis direction).
  • the DOE 140 has a diffraction pattern on the incident surface. Due to the diffraction effect of the diffraction pattern, the laser light incident on the DOE 140 is converted into a dot pattern laser light and irradiated onto the target region.
  • the diffraction pattern has, for example, a structure in which a step type diffraction hologram is formed in a predetermined pattern. The diffraction hologram is adjusted in pattern and pitch so as to convert laser light incident from the rising mirror 130 side into dot pattern laser light.
  • the DOE 140 irradiates the target region with the laser light incident from the rising mirror 130 as a laser beam having a dot pattern that spreads radially.
  • the size of each dot in the dot pattern depends on the beam size of the laser light when entering the DOE 140.
  • Laser light (0th order light) that is not diffracted by the DOE 140 passes through the DOE 140 and travels straight.
  • the laser light reflected from the target area enters the imaging lens 220 through the aperture 210.
  • the aperture 210 stops the light from the outside so as to match the F number of the imaging lens 220.
  • the imaging lens 220 collects the light incident through the aperture 210 on the CMOS image sensor 240.
  • the filter 230 is an IR filter (Infrared Filter) that transmits only light in the infrared wavelength band including the emission wavelength of the laser light source 110. The visible light is cut from the light incident on the light receiving optical system 200 by the filter 230.
  • the filter 230 is disposed at the rear stage of the imaging lens 220, but the filter 230 may be disposed at the front stage of the imaging lens 220.
  • the filter 230 may be a narrow band pass filter that transmits only light in a narrow wavelength band including the emission wavelength band of the laser light source 110.
  • the CMOS image sensor 240 receives the light collected by the imaging lens 220 and outputs a signal (charge) corresponding to the amount of received light to the imaging signal processing circuit 23 for each pixel.
  • the output speed of the signal is increased so that the signal (charge) of the pixel can be output to the imaging signal processing circuit 23 with high response from the light reception in each pixel.
  • the CMOS image sensor 240 will be described later with reference to FIGS. 6C to 6E and FIG.
  • the CPU 21 controls each unit according to a control program stored in the memory 25.
  • the CPU 21 is provided with the functions of a laser control unit 21a for controlling the laser light source 110 and a distance calculation unit 21b for generating three-dimensional distance information.
  • the laser drive circuit 22 drives the laser light source 110 according to a control signal from the CPU 21.
  • the imaging signal processing circuit 23 controls the CMOS image sensor 240 and sequentially takes in the signal (charge) of each pixel generated by the CMOS image sensor 240 for each line. Then, the captured signals are sequentially output to the CPU 21. Based on the signal (imaging signal) supplied from the imaging signal processing circuit 23, the CPU 21 calculates the distance from the information acquisition device 1 to each part of the detection target by processing by the distance calculation unit 21b.
  • the input / output circuit 24 controls data communication with the information processing apparatus 2.
  • the information processing apparatus 2 includes a CPU 31, an input / output circuit 32, and a memory 33.
  • the information processing apparatus 2 is configured to communicate with the television 3 and to read information stored in an external memory such as a CD-ROM and install it in the memory 33.
  • an external memory such as a CD-ROM
  • the configuration of these peripheral circuits is not shown for the sake of convenience.
  • the CPU 31 controls each unit according to a control program (application program) stored in the memory 33.
  • a control program application program
  • the CPU 31 is provided with the function of the object detection unit 31a for detecting an object in the image.
  • a control program is read from a CD-ROM by a drive device (not shown) and installed in the memory 33, for example.
  • the object detection unit 31a detects a person in the image and its movement from the three-dimensional distance information supplied from the information acquisition device 1. Then, a process for operating the character on the television screen according to the detected movement is executed by the control program.
  • the object detection unit 31 a detects a person in the image and its movement (gesture) from the three-dimensional distance information supplied from the information acquisition device 1. To do. Then, processing for controlling functions (channel switching, volume adjustment, etc.) of the television 3 is executed by the control program in accordance with the detected movement (gesture).
  • the input / output circuit 32 controls data communication with the information acquisition device 1.
  • FIG. 3A is a diagram schematically showing the irradiation state of the laser light on the target region
  • FIG. 3B is a diagram schematically showing the light reception state of the laser light of the CMOS image sensor 240.
  • FIG. 3B shows a light receiving state when a flat surface (screen) exists in the target region for convenience.
  • the projection optical system 100 irradiates a target region with laser light having a dot pattern (hereinafter, the entire laser light having this pattern is referred to as “DP light”).
  • DP light the entire laser light having this pattern
  • dot regions hereinafter simply referred to as “dots” in which the intensity of laser light is increased by the diffraction action of the DOE 140 are scattered according to the dot pattern by the diffraction action of the DOE 140.
  • a flat reflection plane RS perpendicular to the Z-axis direction is disposed at a position at a predetermined distance Ls from the projection optical system 100.
  • the emitted DP light is reflected by the reflection plane RS and enters the CMOS image sensor 240 of the light receiving optical system 200.
  • an electrical signal for each pixel is output from the CMOS image sensor 240.
  • the output electric signal value (pixel value) for each pixel is developed on the memory 25 in FIG. 2, and defines an irradiation area of DP light on the CMOS image sensor 240 as shown in FIG. 4B. “Reference pattern area” is set.
  • a plurality of segment areas having a predetermined size are set with respect to the reference pattern area thus set.
  • the segment areas are set so as to be arranged at intervals of one pixel with respect to the reference pattern area. That is, a certain segment area is set at a position shifted by one pixel with respect to the segment areas adjacent to the upper, lower, left and right sides of the segment area. At this time, each segment area is dotted with dots in a unique pattern. Therefore, the pattern of pixel values in the segment area is different for each segment area.
  • reference pattern area on the CMOS image sensor 240 information on the position of the reference pattern area on the CMOS image sensor 240, pixel values (reference patterns) of all pixels included in the reference pattern area, and information on segment areas set for the reference pattern area are shown in FIG. 2 memory 25. These pieces of information stored in the memory 25 are hereinafter referred to as “reference templates”.
  • the CPU 21 calculates the distance to each part of the object based on the shift amount of the dot pattern in each segment area obtained from the reference template.
  • DP light corresponding to a predetermined segment area Sn on the reference pattern is reflected by the object, and the segment area Sn. It is incident on a different region Sn ′. Since the projection optical system 100 and the light receiving optical system 200 are adjacent to each other in the X-axis direction, the displacement direction of the region Sn ′ with respect to the segment region Sn is parallel to the X-axis. In the case of FIG. 4A, since the object is located at a position closer than the distance Ls, the region Sn 'is displaced in the X-axis positive direction with respect to the segment region Sn. If the object is at a position farther than the distance Ls, the region Sn ′ is displaced in the negative X-axis direction with respect to the segment region Sn.
  • the distance Lr from the projection optical system 100 to the portion of the object irradiated with DP light (DPn) is triangulated using the distance Ls.
  • the distance from the projection optical system 100 is calculated for the part of the object corresponding to another segment area.
  • Non-Patent Document 1 The 19th Annual Conference of the Robotics Society of Japan (September 18-20, 2001), Proceedings, P1279-1280).
  • FIGS. 5A to 5C are diagrams for explaining such a detection method.
  • 5A is a diagram showing a reference pattern region on the CMOS image sensor 240
  • FIG. 5B is a diagram showing a light receiving state on the CMOS image sensor 240 at the time of actual measurement.
  • the area defined by the segment area S1 is a predetermined range (search range in the X-axis direction). ) Is sent one pixel at a time. In each feed region (comparison region), the degree of matching between the dot pattern of the segment region S1 stored in the reference template and the actually measured dot pattern of DP light is obtained. This is because, as described above, the dot pattern of the segment area set by the reference template is normally displaced only within a predetermined range in the X-axis direction at the time of actual measurement.
  • the degree of similarity between the comparison area and the segment area S1 is obtained. That is, the difference between the pixel value of each pixel in the segment area S1 and the pixel value of the pixel corresponding to the comparison area is obtained. A value Rsad obtained by adding the obtained difference to all the pixels in the comparison region is acquired as a value indicating the similarity.
  • a search is also performed for the segment area adjacent to the right of the segment area S1.
  • the search is sequentially performed along the line L1 for the uppermost segment area of the reference pattern area.
  • the segment areas on the other lines are also searched for the segment areas on the lines in the same manner as described above.
  • the detection target object corresponding to each segment area is obtained by triangulation based on the displacement position as described above. The distance to the part is determined.
  • CMOS image sensor 240 a monochrome image sensor (hereinafter referred to as “monochrome sensor”) is used as the CMOS image sensor 240 of the present embodiment.
  • monochrome sensor hereinafter referred to as “monochrome sensor”
  • FIGS. 6A and 6B are schematic diagrams showing the configuration of a monochrome sensor.
  • FIG. 6A is a diagram showing the entire light receiving surface of the monochrome sensor
  • FIG. 6B is a partially enlarged view of the monochrome sensor.
  • Each pixel p includes an optical sensor and outputs a signal (charge) according to the amount of received light.
  • the filter 230 As described above, of the light incident on the light receiving optical system 200, visible light is cut by the filter 230 (see FIG. 2). Further, since the laser light of the dot pattern reflected in the target area is infrared light, it passes through the filter 230. For this reason, when a monochrome sensor is used as the CMOS image sensor 240, the monochrome sensor appropriately uses a signal corresponding to the light amount of each dot of the laser light of the dot pattern reflected in the target area as a signal of each pixel. Can be output.
  • CMOS image sensor 240 is not an expensive monochrome sensor but a color image sensor (hereinafter referred to as a “color sensor”) that has a large production volume and is inexpensive.
  • a color sensor that can be used as the CMOS image sensor 240 for example, a color sensor mounted on a camera unit of an existing mobile phone, a color sensor mounted on a camera unit of a video camera, a digital camera, or the like. Can be mentioned.
  • FIGS. 6D and 6E are schematic diagrams showing the configuration of the color sensor.
  • a plurality of pixels p are arranged on the light receiving surface of the color sensor as in the monochrome sensor. Further, on the light incident side of the plurality of pixels p, as shown in FIG. 6E, a color filter Fr that transmits light in a red wavelength band (hereinafter referred to as “R light”), and a green wavelength band. Color filters Fg that transmit light (hereinafter referred to as “G light”) and color filters Fb that transmit light in the blue wavelength band (hereinafter referred to as “B light”) are regularly arranged. Each pixel p corresponds to any one of the color filters Fr, Fg, and Fb.
  • FIG. 7 is a diagram showing the spectral characteristics of the color sensor in this case.
  • the horizontal axis represents the wavelength of light incident on the color filter, and the vertical axis represents the sensitivity of the pixel p corresponding to the color filter.
  • the sensitivity is represented by a ratio between the current (A) output from the pixel p and the light amount (W) of light incident on the color filter.
  • the alternate long and short dash line indicates sensitivity when there is no color filter, and corresponds to sensitivity when a monochrome sensor is used.
  • FIG. 7 shows spectral characteristics when one of the general-purpose CMOS type color sensors used in the camera unit of an existing mobile phone is evaluated as a sample.
  • the color filter Fr is configured to easily transmit light (R light) having a wavelength of about 650 to 750 nm.
  • the color filter Fg is configured to easily transmit light (G light) having a wavelength of about 525 to 575 nm.
  • the color filter Fb is configured to easily transmit light (B light) having a wavelength of about 450 to 500 nm.
  • CMOS image sensor 240 a color sensor having such spectral characteristics is used instead of the monochrome sensor as the CMOS image sensor 240, a signal corresponding to the laser light of the dot pattern is output from the color sensor as shown below. Proper output is not possible.
  • FIG. 8A and 8B are diagrams showing dot pattern laser light when a color sensor is used as the CMOS image sensor 240.
  • FIG. 8A is a diagram showing dots irradiated on the color filters Fr, Fg, and Fb shown in FIG. 6E, and
  • FIG. 8B shows dots irradiated on the pixel p.
  • FIG. 8A is a diagram showing dots irradiated on the color filters Fr, Fg, and Fb shown in FIG. 6E
  • FIG. 8B shows dots irradiated on the pixel p.
  • FIGS. 8A and 8B illustrate dot irradiation states when the laser light source 110 (see FIG. 2) emits G light in this way.
  • the dots irradiated to the color filters Fr and Fb other than the color filter Fg are the color sensor. Will not be detected by. That is, since the G light does not substantially pass through the color filters Fr and Fb, even if three dots are irradiated as shown in FIG. 8A, two of them are shown as indicated by the crosses in FIG. 8B. One dot will not reach pixel p.
  • the laser light source 110 emits R light or B light
  • the dot irradiated to the color filter that does not substantially transmit R light or B light does not reach the pixel p, and is thus detected by the color sensor. Disappear.
  • the laser light source 110 emits G light, R light, or B light
  • the emission wavelength of the laser light source 110 is between G light and R light, or between B light and G light.
  • the dot detection by the color sensor is not performed properly.
  • the emission wavelength of the laser light source 110 is about 600 nm between the G light and the R light, as shown in FIG. 7, the sensitivity of the pixel p for detecting the G light is reduced, and the B light is detected. The sensitivity of the pixel p is further reduced. For this reason, when dots are irradiated to the positions of the color filters Fg and Fb, the dots may not be detected properly.
  • the sensitivity of the pixel p that detects G light and B light is considerably small if the wavelength is about 770 nm close to visible light. , If dots are irradiated at the position of Fb, there is a possibility that the dots are not properly detected.
  • CMOS image sensor 240 when a color sensor is used as the CMOS image sensor 240, dot detection omission occurs depending on the emission wavelength of the laser light source 110, and the dot pattern laser beam cannot be detected properly.
  • the inventors of the present application set the emission wavelength of the laser light source 110 as shown below so that the dot pattern laser light can be properly detected even if a color sensor is used.
  • the color filters Fr, Fg, and Fb are configured to easily transmit R light, G light, and B light, respectively.
  • the characteristics of the color filters Fr, Fg, and Fb of the color sensor are set based on visible light that is visible to the human eye.
  • infrared light that is not visually recognized by human eyes is removed by an infrared filter or the like. For this reason, the characteristics of the color filters Fr, Fg, and Fb in the infrared wavelength band have not been so important so far in color sensors.
  • each color filter substantially equally transmits light having a wavelength of about 830 nm as shown in FIG.
  • the emission wavelength of the laser light source 110 is set to about 830 nm
  • the above-described dot detection omission can be suppressed, and the laser light of the dot pattern is appropriately set. Can be detected.
  • the detection sensitivity of pixels that detect R light gradually decreases on the longer wavelength side than the visible light region
  • the detection sensitivity of pixels that detect G light and B light other than R light Each have a characteristic having a maximum value, and the detection sensitivities of the respective pixels are substantially uniform in a wavelength band near the wavelength giving the maximum value.
  • the wavelength at which the detection sensitivity of the pixel that detects the G light and the B light becomes a maximum value is in the vicinity of 830 nm.
  • FIGS. 9A to 9C are diagrams showing spectral characteristics of other color sensors different from those in FIG. 7 (manufactured by different manufacturers).
  • the vertical axis of FIG. 9B indicates the sensitivity represented by the ratio between the voltage (V) output from the pixel p and the light quantity (W) of light incident on the color filter.
  • the vertical axis in FIG. 9C indicates the relative value of the sensitivity of each color filter.
  • the sensitivities are substantially equal in the vicinity of a wavelength of 830 nm.
  • the wavelengths at which the detection sensitivity of the pixels for detecting the G light and the B light has a maximum value are shifted from each other by about 10 nm.
  • the wavelengths at which the detection sensitivities of the pixels that detect the G light and the B light are maximum values substantially coincide.
  • the inventor of the present application sets the wavelength of the laser beam emitted from the laser light source 110 to about 830 nm when the color sensor is used as the CMOS image sensor 240 in consideration of the spectral characteristics of the color sensor. did.
  • the emission wavelength of the laser light source 110 is set to be a target value at a “reference temperature” obtained by adding a temperature that rises during use to a temperature that is the center of the environmental temperature in which the apparatus is used.
  • the emission wavelength of the laser light is set to be 830 nm at a reference temperature of 35 degrees.
  • a temperature adjusting element for maintaining the temperature of the laser light source 110 at the reference temperature may be disposed in the vicinity of the laser light source 110.
  • the reference temperature is set as described above, but the reference temperature may be set by another method.
  • the reference temperature may be set to a temperature that is the center of the environmental temperature in which the apparatus is used, or the reference temperature may be set to any temperature within the environmental temperature in which the apparatus is used.
  • FIGS. 8C and 8D show dot patterns on the color filters Fr, Fg, and Fb when a color sensor is used as the CMOS image sensor 240 and the wavelength of the laser beam is set as described above.
  • FIG. 4 is a diagram showing a dot pattern on a pixel p.
  • the cost of the entire apparatus is higher than when an expensive monochrome sensor is used as the CMOS image sensor 240. Can be reduced.
  • the dot pattern laser beam can be properly detected by the CMOS image sensor 240. Further, when the wavelength of the laser beam is set in this way, as shown in “no color filter” in FIG. 7, substantially the same sensitivity as that without the color filters Fr, Fg, Fb of the color sensor is realized. Can do. Thereby, the S / N ratio in the detection signal of the CMOS image sensor 240 can be kept high.
  • the wavelength of the laser light emitted from the laser light source 110 is set to about 830 nm.
  • the present invention is not limited to this, and the wavelength of the laser light is in the infrared wavelength band and for each color. What is necessary is just to set so that the sensitivity of the pixel p corresponding to a color filter may become local maximum value.
  • the detection sensitivity of the pixel p that detects each color light is kept high in the wavelength band of 810 to 870 nm. The Therefore, it is desirable to set the emission wavelength of the laser light source 110 to about 810 to 870 nm.
  • the emission wavelength of the laser light source 110 is desirably set in the vicinity of 830 nm (830 ⁇ 10 nm).
  • the sensitivity of the pixel p for detecting the G light and the B light can be set to a substantially maximum value in the infrared wavelength band, and the sensitivity of the pixel p for detecting the R light is approximately the same.
  • the detection sensitivity of the pixels p that detect each color light is substantially the same, it is not necessary to adjust the gain for the output signal from the color sensor for each color.
  • the emission wavelength of the laser light source 110 is set in the wavelength band where the sensitivity is substantially maximum as described above, even if the emission wavelength of the laser beam fluctuates due to a temperature change, the sensitivity may rapidly decrease. Absent. Therefore, a stable detection operation can be realized.
  • the laser is located near the wavelength that gives one of the maximum values.
  • the wavelength of the light source 110 may be set. Even in this case, since the wavelength giving each local maximum is shifted by only about 10 nm, the detection sensitivity for the color giving the other local maximum is also kept high.
  • the CMOS image sensor 240 made up of a color sensor is used as a sensor for receiving a dot pattern, but a CCD image sensor made up of a color sensor can be used instead.
  • the configurations of the projection optical system 100 and the light receiving optical system 200 can be changed as appropriate.
  • the information acquisition device 1 and the information processing device 2 may be integrated, or the information acquisition device 1 and the information processing device 2 may be integrated with a television, a game machine, or a personal computer.
  • the filter 230 is arranged to remove light in a wavelength band other than the wavelength band of the laser light irradiated to the target region.
  • the filter 230 can be omitted when a circuit configuration for removing a signal component of light other than the laser light applied to the target region from a signal output from the CMOS image sensor 240 is provided. .
  • the color sensor used as the CMOS image sensor 240 has the color filters Fr, Fg, and Fb that transmit R light, G light, and B light.
  • the color sensor may include a color filter that transmits cyan light, magenta light, and yellow light. Even when the color sensor having such a color filter exhibits spectral characteristics as shown in FIGS. 7 and 9, if the wavelength of the laser beam is set in consideration of the spectral characteristics as in the above embodiment, The dot pattern laser beam can be properly received.
  • the laser light of the dot pattern is projected from the projection optical system 100 onto the target area, and the three-dimensional distance information of the object in the target area is based on the amount of deviation of the dot pattern included in the segment area.
  • the present invention is not limited to this, and information acquisition is performed so that the three-dimensional distance information of the object in the target region is acquired from the information acquisition device 1 based on the time difference between the emission timing of the laser light source 110 and the reception timing of the laser light at the pixel p.
  • the device 1 may be configured.

Abstract

　コストを低減させることが可能な情報取得装置および物体検出装置を提供する。情報取得装置は、レーザ光を出射するレーザ光源と、前記レーザ光源から出射された前記レーザ光を目標領域に投射する投射部と、前記目標領域から反射された前記レーザ光を受光する受光部と、を備える。ここで、受光部は、目標領域から反射されたレーザ光が入射するカラーイメージセンサを有する。また、カラーイメージセンサは、波長８３０ｎｍ近傍でＲ光、Ｇ光、Ｂ光を検出する画素の検出感度が互いに略揃う。レーザ光源の出射波長は、波長８３０ｎｍ程度に設定されている。これにより、カラーイメージセンサによって、レーザ光を適正に検出することができる。また、カラーイメージセンサはモノクロイメージセンサに比べて安価であるため、装置全体のコストを低減することができる。

Description

情報取得装置および物体検出装置
　本発明は、目標領域に光を投射したときの反射光の状態に基づいて目標領域内の物体を検出する物体検出装置および当該物体検出装置に用いて好適な情報取得装置に関する。
　従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、２次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。かかる物体検出装置では、レーザ光源やＬＥＤ（Light Emitting Diode）から、予め決められた波長帯域の光が目標領域に投射され、その反射光がＣＭＯＳイメージセンサ等の受光素子により受光される。距離画像センサとして、種々のタイプのものが知られている。
　所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサでは、ドットパターンを持つレーザ光の目標領域からの反射光が受光素子によって受光される。そして、ドットの受光素子上の受光位置に基づいて、三角測量法を用いて、検出対象物体の各部（検出対象物体上の各ドットの照射位置）までの距離が検出される（たとえば、非特許文献１）。
第１９回日本ロボット学会学術講演会（２００１年９月１８－２０日）予稿集、Ｐ１２７９－１２８０
　上記物体検出装置では、たとえば、目標領域に対してドットパターンを持つ赤外光が照射され、目標領域に位置する物体によって反射された赤外光が、モノクロ用のイメージセンサにより受光される。しかしながら、モノクロ用のイメージセンサは生産量が少なく高価であるため、装置全体のコストが上昇するとの問題を生じる。
　本発明は、このような問題を解消するためになされたものであり、コストを低減させることが可能な情報取得装置および物体検出装置を提供することを目的とする。
　本発明の第１の態様は、情報取得装置に関する。この態様に係る情報取得装置は、レーザ光を出射するレーザ光源と、前記レーザ光源から出射された前記レーザ光を目標領域に投射する投射部と、前記目標領域から反射された前記レーザ光を受光する受光部と、を備える。ここで、前記受光部は、前記目標領域から反射された前記レーザ光が入射するカラーイメージセンサを有する。また、前記カラーイメージセンサは、可視光領域よりも長波長側において、所定の色の光を検出する画素の検出感度が次第に減少し、前記色以外の残りの色の光を検出する画素の検出感度がそれぞれ極大値を持つ特性を有し、前記極大値を与える波長の近傍の波長帯域において前記各画素の検出感度が互いに略揃う。前記レーザ光源の出射波長は、前記波長帯域内の波長に設定されている。
　本発明の第２の態様は、物体検出装置に関する。この態様に係る物体検出装置は、上記第１の態様に係る情報取得装置を有する。
　本発明によれば、コストを低減させることが可能な情報取得装置および物体検出装置を提供することができる。
　本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
実施の形態に係る物体検出装置の概略構成を示す図である。 実施の形態に係る情報取得装置と情報処理装置の構成を示す図である。 実施の形態に係る目標領域に対するレーザ光の照射状態を模式的に示す図およびＣＭＯＳイメージセンサにおけるレーザ光の受光状態を模式的に示す図である。 実施の形態に係る距離検出の方法を説明する図である。 実施の形態に係る基準テンプレートのセグメント領域が実測時においてどの位置に変位したかを検出する手法を説明する図である。 モノクロ用センサと実施の形態に係るカラー用センサの構成を示す模式図である。 実施の形態に係るカラー用センサの分光特性を示す図である。 実施の形態に係るＣＭＯＳイメージセンサとしてカラー用センサが用いられる場合の、ドットパターンのレーザ光を示す図である。 他のカラー用センサの分光特性を示す図である。
　以下、本発明の実施の形態につき図面を参照して説明する。本実施の形態には、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの情報取得装置が例示されている。
　まず、図１に本実施の形態に係る物体検出装置の概略構成を示す。図示の如く、物体検出装置は、情報取得装置１と、情報処理装置２とを備えている。テレビ３は、情報処理装置２からの信号によって制御される。
　情報取得装置１は、目標領域全体に赤外光を投射し、その反射光をＣＭＯＳイメージセンサにて受光することにより、目標領域にある物体各部の距離（以下、「３次元距離情報」という）を取得する。取得された３次元距離情報は、ケーブル４を介して情報処理装置２に送られる。
　情報処理装置２は、たとえば、テレビ制御用のコントローラやゲーム機、パーソナルコンピュータ等である。情報処理装置２は、情報取得装置１から受信した３次元距離情報に基づき、目標領域における物体を検出し、検出結果に基づきテレビ３を制御する。
　たとえば、情報処理装置２は、受信した３次元距離情報に基づき人を検出するとともに、３次元距離情報の変化から、その人の動きを検出する。たとえば、情報処理装置２がテレビ制御用のコントローラである場合、情報処理装置２には、受信した３次元距離情報からその人のジェスチャを検出するとともに、ジェスチャに応じてテレビ３に制御信号を出力するアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ３を見ながら所定のジェスチャをすることにより、チャンネル切り替えやボリュームのＵｐ／Ｄｏｗｎ等、所定の機能をテレビ３に実行させることができる。
　また、たとえば、情報処理装置２がゲーム機である場合、情報処理装置２には、受信した３次元距離情報からその人の動きを検出するとともに、検出した動きに応じてテレビ画面上のキャラクタを動作させ、ゲームの対戦状況を変化させるアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ３を見ながら所定の動きをすることにより、自身がテレビ画面上のキャラクタとしてゲームの対戦を行う臨場感を味わうことができる。
　図２は、情報取得装置１と情報処理装置２の構成を示す図である。
　情報取得装置１は、光学部の構成として、投射光学系１００と受光光学系２００とを備えている。投射光学系１００と受光光学系２００は、Ｘ軸方向に所定の距離だけ離れて並ぶように、情報取得装置１に配置される。
　投射光学系１００は、レーザ光源１１０と、コリメータレンズ１２０と、立ち上げミラー１３０と、回折光学素子（ＤＯＥ：Diffractive Optical Element）１４０とを備えている。また、受光光学系２００は、アパーチャ２１０と、撮像レンズ２２０と、フィルタ２３０と、ＣＭＯＳイメージセンサ２４０とを備えている。この他、情報取得装置１は、回路部の構成として、ＣＰＵ（Central Processing Unit）２１と、レーザ駆動回路２２と、撮像信号処理回路２３と、入出力回路２４と、メモリ２５を備えている。
　レーザ光源１１０は、受光光学系２００から離れる方向（Ｘ軸正方向）に赤外の波長帯域のレーザ光を出力する。なお、レーザ光源１１０の出射波長の設定方法については、追って、図７を参照して説明する。
　コリメータレンズ１２０は、レーザ光源１１０から出射されたレーザ光を略平行光に変換する。立ち上げミラー１３０は、コリメータレンズ１２０側から入射されたレーザ光をＤＯＥ１４０に向かう方向（Ｚ軸方向）に反射する。
　ＤＯＥ１４０は、入射面に回折パターンを有する。この回折パターンによる回折作用により、ＤＯＥ１４０に入射したレーザ光は、ドットパターンのレーザ光に変換されて、目標領域に照射される。回折パターンは、たとえば、ステップ型の回折ホログラムが所定のパターンで形成された構造とされる。回折ホログラムは、立ち上げミラー１３０側から入射するレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。
　また、ＤＯＥ１４０は、立ち上げミラー１３０から入射されたレーザ光を、放射状に広がるドットパターンのレーザ光として、目標領域に照射する。ドットパターンの各ドットの大きさは、ＤＯＥ１４０に入射する際のレーザ光のビームサイズに応じたものとなる。ＤＯＥ１４０にて回折されないレーザ光（０次光）は、ＤＯＥ１４０を透過してそのまま直進する。
　目標領域から反射されたレーザ光は、アパーチャ２１０を介して撮像レンズ２２０に入射する。
　アパーチャ２１０は、撮像レンズ２２０のＦナンバーに合うように、外部からの光に絞りを掛ける。撮像レンズ２２０は、アパーチャ２１０を介して入射された光をＣＭＯＳイメージセンサ２４０上に集光する。フィルタ２３０は、レーザ光源１１０の出射波長を含む赤外の波長帯域の光のみを透過するＩＲフィルタ（Infrared Filter）である。フィルタ２３０により、受光光学系２００に入射する光から、可視光がカットされる。なお、本実施の形態では、フィルタ２３０が撮像レンズ２２０の後段に配置されているが、フィルタ２３０が撮像レンズ２２０の前段に配置されても良い。また、フィルタ２３０は、レーザ光源１１０の出射波長帯域を含む狭い波長帯域の光のみを透過させる狭帯域のバンドパスフィルタであっても良い。
　ＣＭＯＳイメージセンサ２４０は、撮像レンズ２２０によって集光された光を受光して、画素毎に、受光量に応じた信号（電荷）を撮像信号処理回路２３に出力する。ここで、ＣＭＯＳイメージセンサ２４０は、各画素における受光から高レスポンスでその画素の信号（電荷）を撮像信号処理回路２３に出力できるよう、信号の出力速度が高速化されている。なお、ＣＭＯＳイメージセンサ２４０については、追って図６（ｃ）～（ｅ）、図７を参照して説明する。
　ＣＰＵ２１は、メモリ２５に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ２１には、レーザ光源１１０を制御するためのレーザ制御部２１ａと、３次元距離情報を生成するための距離演算部２１ｂの機能が付与される。
　レーザ駆動回路２２は、ＣＰＵ２１からの制御信号に応じてレーザ光源１１０を駆動する。
　撮像信号処理回路２３は、ＣＭＯＳイメージセンサ２４０を制御して、ＣＭＯＳイメージセンサ２４０で生成された各画素の信号（電荷）をライン毎に順次取り込む。そして、取り込んだ信号を順次ＣＰＵ２１に出力する。ＣＰＵ２１は、撮像信号処理回路２３から供給される信号（撮像信号）をもとに、情報取得装置１から検出対象物の各部までの距離を、距離演算部２１ｂによる処理によって算出する。入出力回路２４は、情報処理装置２とのデータ通信を制御する。
　情報処理装置２は、ＣＰＵ３１と、入出力回路３２と、メモリ３３を備えている。なお、情報処理装置２には、図２に示す構成の他、テレビ３との通信を行うための構成や、ＣＤ－ＲＯＭ等の外部メモリに格納された情報を読み取ってメモリ３３にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
　ＣＰＵ３１は、メモリ３３に格納された制御プログラム（アプリケーションプログラム）に従って各部を制御する。かかる制御プログラムによって、ＣＰＵ３１には、画像中の物体を検出するための物体検出部３１ａの機能が付与される。かかる制御プログラムは、たとえば、図示しないドライブ装置によってＣＤ－ＲＯＭから読み取られ、メモリ３３にインストールされる。
　たとえば、制御プログラムがゲームプログラムである場合、物体検出部３１ａは、情報取得装置１から供給される３次元距離情報から画像中の人およびその動きを検出する。そして、検出された動きに応じてテレビ画面上のキャラクタを動作させるための処理が制御プログラムにより実行される。
　また、制御プログラムがテレビ３の機能を制御するためのプログラムである場合、物体検出部３１ａは、情報取得装置１から供給される３次元距離情報から画像中の人およびその動き（ジェスチャ）を検出する。そして、検出された動き（ジェスチャ）に応じて、テレビ３の機能（チャンネル切り替えやボリューム調整、等）を制御するための処理が制御プログラムにより実行される。
　入出力回路３２は、情報取得装置１とのデータ通信を制御する。
　図３（ａ）は、目標領域に対するレーザ光の照射状態を模式的に示す図であり、図３（ｂ）は、ＣＭＯＳイメージセンサ２４０のレーザ光の受光状態を模式的に示す図である。なお、図３（ｂ）には、便宜上、目標領域に平坦な面（スクリーン）が存在するときの受光状態が示されている。
　図３（ａ）に示すように、投射光学系１００からは、ドットパターンを持ったレーザ光（以下、このパターンを持つレーザ光の全体を「ＤＰ光」という）が、目標領域に照射される。ＤＰ光の光束中には、ＤＯＥ１４０の回折作用によってレーザ光の強度が高められたドット領域（以下、単に「ドット」という）が、ＤＯＥ１４０の回折作用によるドットパターンに従って点在している。目標領域に平坦な面（スクリーン）が存在すると、これにより反射されたＤＰ光は、図３（ｂ）のように、ＣＭＯＳイメージセンサ２４０上に分布する。
　ここで、図４（ａ）、（ｂ）を参照して、上記距離検出の方法を説明する。
　まず、図４（ａ）に示すように、投射光学系１００から所定の距離Ｌｓの位置に、Ｚ軸方向に垂直な平坦な反射平面ＲＳが配置される。出射されたＤＰ光は、反射平面ＲＳによって反射され、受光光学系２００のＣＭＯＳイメージセンサ２４０に入射する。これにより、ＣＭＯＳイメージセンサ２４０から、画素毎の電気信号が出力される。出力された画素毎の電気信号の値（画素値）は、図２のメモリ２５上に展開され、図４（ｂ）に示すように、ＣＭＯＳイメージセンサ２４０上におけるＤＰ光の照射領域を規定する“基準パターン領域”が設定される。
　こうして設定された基準パターン領域に対して、所定の大きさ（たとえば、縦１５画素、横１５画素）を有する複数のセグメント領域が設定される。セグメント領域は、基準パターン領域に対して１画素間隔で並ぶように設定される。すなわち、あるセグメント領域は、このセグメント領域の上下左右に隣り合うセグメント領域に対して１画素ずれた位置に設定される。このとき、各セグメント領域には、固有のパターンでドットが点在する。よって、セグメント領域内の画素値のパターンは、セグメント領域毎に異なっている。
　こうして、ＣＭＯＳイメージセンサ２４０上における基準パターン領域の位置に関する情報と、基準パターン領域に含まれる全画素の画素値（基準パターン）と、基準パターン領域に対して設定されるセグメント領域の情報が、図２のメモリ２５に記憶される。メモリ２５に記憶されるこれらの情報を、以下、「基準テンプレート」と称する。
　図２のＣＰＵ２１は、投射光学系１００から検出対象物体の各部までの距離を算出する際に、基準テンプレートを参照する。ＣＰＵ２１は、距離を算出する際に、基準テンプレートから得られる各セグメント領域内のドットパターンのずれ量に基づいて、物体の各部までの距離を算出する。
　たとえば、図４（ａ）に示すように距離Ｌｓよりも近い位置に物体がある場合、基準パターン上の所定のセグメント領域Ｓｎに対応するＤＰ光（ＤＰｎ）は、物体によって反射され、セグメント領域Ｓｎとは異なる領域Ｓｎ’に入射する。投射光学系１００と受光光学系２００はＸ軸方向に隣り合っているため、セグメント領域Ｓｎに対する領域Ｓｎ’の変位方向はＸ軸に平行となる。図４（ａ）の場合、物体が距離Ｌｓよりも近い位置にあるため、領域Ｓｎ’は、セグメント領域Ｓｎに対してＸ軸正方向に変位する。物体が距離Ｌｓよりも遠い位置にあれば、領域Ｓｎ’は、セグメント領域Ｓｎに対してＸ軸負方向に変位する。
　セグメント領域Ｓｎに対する領域Ｓｎ’の変位方向と変位量をもとに、投射光学系１００からＤＰ光（ＤＰｎ）が照射された物体の部分までの距離Ｌｒが、距離Ｌｓを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系１００からの距離が算出される。かかる算出手法の詳細は、たとえば、上記非特許文献１（第１９回日本ロボット学会学術講演会（２００１年９月１８－２０日）予稿集、Ｐ１２７９－１２８０）に示されている。
　かかる距離算出では、基準テンプレートのセグメント領域Ｓｎが、実測時においてどの位置に変位したかを検出する必要がある。この検出は、実測時にＣＭＯＳイメージセンサ２４０上に照射されたＤＰ光のドットパターンと、セグメント領域Ｓｎに含まれるドットパターンとを照合することによって行われる。
　図５（ａ）～（ｃ）は、かかる検出の手法を説明する図である。図５（ａ）は、ＣＭＯＳイメージセンサ２４０上における基準パターン領域を示す図であり、図５（ｂ）は、実測時のＣＭＯＳイメージセンサ２４０上の受光状態を示す図であり、図５（ｃ）は、実測されたＤＰ光のドットパターンと、基準テンプレートのセグメント領域に含まれるドットパターンとの照合方法を説明する図である。
　図５（ａ）のセグメント領域Ｓ１の実測時における変位位置を探索する場合、図５（ｂ）に示すように、セグメント領域Ｓ１によって規定される領域が、Ｘ軸方向の所定の範囲（探索範囲）において１画素ずつ送られる。各送り領域（比較領域）において、基準テンプレートに記憶されているセグメント領域Ｓ１のドットパターンと、実測されたＤＰ光のドットパターンのマッチング度合いが求められる。これは、上記のように、通常、基準テンプレートにより設定されたセグメント領域のドットパターンは、実測時において、Ｘ軸方向の所定の範囲内でのみ変位するためである。
　上記マッチング度合いの検出時には、比較領域とセグメント領域Ｓ１との間の類似度が求められる。すなわち、セグメント領域Ｓ１の各画素の画素値と、比較領域に対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域の全ての画素について加算した値Ｒｓａｄが、類似度を示す値として取得される。
　たとえば、図５（ｃ）のように、一つのセグメント領域中に、ｍ列×ｎ行の画素が含まれている場合、セグメント領域のｉ列、ｊ行の画素の画素値Ｔ（ｉ，ｊ）と、比較領域のｉ列、ｊ行の画素の画素値Ｉ（ｉ，ｊ）との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、図５（ｃ）に示す式により値Ｒｓａｄが求められる。値Ｒｓａｄが小さい程、セグメント領域と比較領域との間の類似度が高い。
　セグメント領域Ｓ１について、探索範囲の全ての比較領域に対して値Ｒｓａｄが求められると、求めた値Ｒｓａｄの中から、閾値より小さいものが抽出される。閾値より小さい値Ｒｓａｄが無ければ、セグメント領域Ｓ１の探索はエラーとされる。そして、抽出されたＲｓａｄの中で最も値が小さいものに対応する比較領域が、セグメント領域Ｓ１の移動領域であると判定される。
　同様に、セグメント領域Ｓ１の右に隣接するセグメント領域についても、探索が行われる。こうして、基準パターン領域の最上段のセグメント領域について、順次ラインＬ１に沿って探索が行われる。また、他のライン上のセグメント領域も、上記と同様、そのライン上のセグメント領域についての探索が行われる。
　実測時に取得されたＤＰ光のドットパターンから、各セグメント領域の変位位置が探索されると、上記のように、その変位位置に基づいて、三角測量法により、各セグメント領域に対応する検出対象物体の部位までの距離が求められる。
　ここで、本実施例のＣＭＯＳイメージセンサ２４０として、モノクロ用のイメージセンサ（以下、「モノクロ用センサ」という）が用いられる場合について説明する。
　図６（ａ）、（ｂ）は、モノクロ用センサの構成を示す模式図である。図６（ａ）は、モノクロ用センサの受光面全体を示す図であり、図６（ｂ）は、モノクロ用センサの一部拡大図である。
　モノクロ用センサの受光面には、図６（ｂ）に示すように、複数の画素ｐが配置されている。各画素ｐは、光センサを備え、受光した光量に応じて信号（電荷）を出力する。
　上述したように、受光光学系２００に入射する光のうち、可視光はフィルタ２３０（図２参照）によりカットされる。また、目標領域において反射されたドットパターンのレーザ光は赤外光であるため、フィルタ２３０を透過する。このため、ＣＭＯＳイメージセンサ２４０としてモノクロ用センサが用いられると、かかるモノクロ用センサは、目標領域において反射されたドットパターンのレーザ光の各ドットの光量に応じた信号を、各画素の信号として適正に出力することができる。
　しかしながら、モノクロ用センサは生産量が少なく高価であるため、装置全体のコストが上昇するとの問題を生じる。そこで、本件出願の発明者は、ＣＭＯＳイメージセンサ２４０として、高価なモノクロ用センサではなく、生産量が多く安価なカラー用のイメージセンサ（以下、「カラー用センサ」という）を用いることを考えた。ＣＭＯＳイメージセンサ２４０として利用可能なカラー用センサとして、たとえば、既存の携帯電話機のカメラユニットに搭載されているカラー用センサや、ビデオカメラ、デジタルカメラのカメラユニットに搭載されているカラー用センサ等が挙げられる。
　図６（ｃ）～（ｅ）は、カラー用センサの構成を示す模式図である。図６（ｃ）は、カラー用センサの受光面全体を示す図であり、図６（ｄ）、（ｅ）は、カラー用センサの一部拡大図である。
　カラー用センサの受光面には、図６（ｄ）に示すように、モノクロ用センサと同様、複数の画素ｐが配置されている。また、複数の画素ｐの光入射側には、図６（ｅ）に示すように、赤色の波長帯域の光（以下、「Ｒ光」という）を透過するカラーフィルタＦｒと、緑色の波長帯域の光（以下、「Ｇ光」という）を透過するカラーフィルタＦｇと、青色の波長帯域の光（以下、「Ｂ光」という）を透過するカラーフィルタＦｂとが規則的に配置されている。各画素ｐには、カラーフィルタＦｒ、Ｆｇ、Ｆｂのうち何れか１つのカラーフィルタが対応している。
　図７は、この場合のカラー用センサの分光特性を示す図である。横軸は、カラーフィルタに入射する光の波長を表し、縦軸は、カラーフィルタに対応する画素ｐの感度を表している。ここで、感度は、画素ｐから出力される電流（Ａ）と、カラーフィルタに入射する光の光量（Ｗ）の比率で表される。図中、一点鎖線は、カラーフィルタが無い場合の感度を示し、モノクロ用センサが用いられる場合の感度に相当する。
　なお、図７は、既存の携帯電話機のカメラユニットに用いられる汎用的なＣＭＯＳタイプのカラー用センサのうち、一つをサンプルとして評価したときの分光特性である。
　図７に示すように、カラーフィルタＦｒは、波長６５０～７５０ｎｍ程度の光（Ｒ光）が透過し易いように構成されている。カラーフィルタＦｇは、波長５２５～５７５ｎｍ程度の光（Ｇ光）が透過し易いように構成されている。カラーフィルタＦｂは、波長４５０～５００ｎｍ程度の光（Ｂ光）が透過し易いように構成されている。
　可視光がカラー用センサに入射すると、可視光に含まれるＲ光、Ｇ光、Ｂ光は、それぞれ、カラーフィルタＦｒ、Ｆｇ、Ｆｂのみを透過する。これにより、Ｒ光、Ｇ光、Ｂ光を検出する画素ｐ（カラーフィルタＦｒ、Ｆｇ、Ｆｂに対応する画素ｐ）から出力される信号（電荷）に基づいて、対象物体の形状と色が判別される。
　しかしながら、ＣＭＯＳイメージセンサ２４０として、モノクロ用センサの替わりに、このような分光特性を有するカラー用センサを用いるだけでは、以下に示すように、カラー用センサからドットパターンのレーザ光に応じた信号を適正に出力させることはできない。
　図８（ａ）、（ｂ）は、ＣＭＯＳイメージセンサ２４０としてカラー用センサが用いられる場合の、ドットパターンのレーザ光を示す図である。図８（ａ）は、図６（ｅ）に示すカラーフィルタＦｒ、Ｆｇ、Ｆｂ上に照射されるドットを示す図であり、図８（ｂ）は、画素ｐ上に照射されるドットを示す図である。
　たとえば、図２におけるレーザ光源１１０の出射波長帯域が、緑色の波長帯域の近傍にあり、フィルタ２３０が、緑色の波長帯域の光を透過するよう構成されていると仮定する。図８（ａ）、（ｂ）には、このようにレーザ光源１１０（図２参照）がＧ光を出射する場合のドットの照射状態が例示されている。
　この場合、たとえば、図８（ａ）に示すように、カラー用センサにＧ光のドットが３つ照射されると、カラーフィルタＦｇ以外のカラーフィルタＦｒ、Ｆｂに照射されるドットはカラー用センサによって検出されなくなる。すなわち、Ｇ光は、カラーフィルタＦｒ、Ｆｂを略透過しないため、図８（ａ）に示すように３つのドットが照射されても、図８（ｂ）の×印に示すように、そのうち２つのドットは画素ｐに届かなくなる。同様に、レーザ光源１１０が、Ｒ光またはＢ光を出射する場合も、Ｒ光またはＢ光を略透過しないカラーフィルタに照射されたドットは、画素ｐに届かないため、カラー用センサによって検出されなくなる。
　なお、ここでは、レーザ光源１１０が、Ｇ光、Ｒ光またはＢ光を出射する場合について説明したが、たとえば、レーザ光源１１０の出射波長がＧ光とＲ光の間、または、Ｂ光とＧ光の間の波長帯域にある場合も、カラー用センサによるドットの検出が適正に行われなくなる。たとえば、レーザ光源１１０の出射波長がＧ光とＲ光の間の６００ｎｍ程度である場合、図７に示すように、Ｇ光を検出する画素ｐの感度が小さくなり、また、Ｂ光を検出する画素ｐの感度はさらに一層小さくなる。このため、カラーフィルタＦｇ、Ｆｂの位置にドットが照射されると、このドットが適正に検出されない惧れがある。同様に、レーザ光源１１０出射波長が、赤外の波長帯域であっても、可視光に近い７７０ｎｍ程度であれば、Ｇ光、Ｂ光を検出する画素ｐの感度がかなり小さいため、カラーフィルタＦｇ、Ｆｂの位置にドットが照射されると、このドットが適正に検出されない惧れがある。
　このように、ＣＭＯＳイメージセンサ２４０としてカラー用センサが用いられる場合、レーザ光源１１０の出射波長によっては、ドットの検出漏れが生じ、ドットパターンのレーザ光を適正に検出することができなくなる。
　そこで、本件出願の発明者は、カラー用センサが用いられても、ドットパターンのレーザ光を適正に検出することができるよう、以下に示すように、レーザ光源１１０の出射波長を設定した。
　図７を参照して、上述したように、カラーフィルタＦｒ、Ｆｇ、Ｆｂは、それぞれ、Ｒ光、Ｇ光、Ｂ光を通し易いように構成されている。通常、カラー用センサは、人や風景を撮像するカメラユニットに搭載されるため、カラー用センサのカラーフィルタＦｒ、Ｆｇ、Ｆｂの特性は、人の目に視認される可視光に基づいて設定される。既存のカメラユニットでは、人の目に視認されない赤外光は、赤外除去フィルタ等によって除去される。このため、赤外の波長帯域におけるカラーフィルタＦｒ、Ｆｇ、Ｆｂの特性は、これまで、カラー用センサにおいて、さほど重要ではなかった。
　本件出願の発明者は、このように用いられてきたカラー用センサについて、赤外の波長帯域の感度を検討・評価した。そして、サンプルとされた汎用的なカラー用センサにおいて、各カラーフィルタが、図７に示すように、波長８３０ｎｍ付近の光を略等しく透過することに注目した。図７に示すような分光特性を有するカラー用センサに、波長８３０ｎｍ付近の光が照射されると、この光は、各カラーフィルタを略等しく透過する。このため、かかるカラー用センサをＣＭＯＳイメージセンサ２４０として用い、且つ、レーザ光源１１０の出射波長を８３０ｎｍ程度に設定すると、上記のようなドットの検出漏れを抑制でき、ドットパターンのレーザ光を適正に検出することができる。
　なお、発明者が既存の他のカラー用センサを評価したところ、このような分光特性は、大半の汎用的なカラー用センサに共通するものであった。すなわち、汎用的なカラー用センサは、可視光領域よりも長波長側において、Ｒ光を検出する画素の検出感度が次第に減少し、Ｒ光以外のＧ光およびＢ光を検出する画素の検出感度がそれぞれ極大値を持つ特性を有しており、この極大値を与える波長の近傍の波長帯域において、各画素の検出感度が互いに略揃っていた。また、可視光領域よりも長波長側において、Ｇ光およびＢ光を検出する画素の検出感度が極大値となる波長は、８３０ｎｍ近傍であった。
　図９（ａ）～（ｃ）は、図７とは異なる他のカラー用センサ（互いにメーカが異なる）の分光特性を示す図である。図９（ｂ）の縦軸は、画素ｐから出力される電圧（Ｖ）と、カラーフィルタに入射する光の光量（Ｗ）の比率により表される感度を示している。図９（ｃ）の縦軸は、各カラーフィルタの感度の相対値を示している。図９（ａ）～（ｃ）に示す何れのカラー用センサにおいても、波長８３０ｎｍ近傍において感度が略等しくなっている。なお、図９（ｂ）の分光特性では、Ｇ光およびＢ光を検出する画素の検出感度が極大値となる波長が互いに１０ｎｍ程度ずれている。これに対し、図９（ａ）、（ｃ）の分光特性では、Ｇ光およびＢ光を検出する画素の検出感度が極大値となる波長が略一致している。
　本件出願の発明者は、このようなカラー用センサの分光特性を考慮して、ＣＭＯＳイメージセンサ２４０としてカラー用センサを用いる場合に、レーザ光源１１０が出射するレーザ光の波長を、８３０ｎｍ程度に設定した。
　具体的には、レーザ光源１１０の出射波長は、装置が使用される環境温度の中心となる温度に使用時に上昇する温度を加えた“基準温度”において、目標となる値となるように設定される。たとえば、装置が使用される環境温度が０～５０度であり、使用時に上昇する温度が１０度程度であると、基準温度は（５０／２）＋１０＝３５度となる。この場合、レーザ光の出射波長は、基準温度の３５度において８３０ｎｍとなるように設定される。なお、環境温度の変動により出射波長の変化が問題となる場合、レーザ光源１１０の近傍に、レーザ光源１１０の温度を基準温度に維持するための温度調整素子を配置するようにしても良い。また、ここでは、基準温度が上記のように設定されたが、他の方法により基準温度が設定されても良い。たとえば、装置が使用される環境温度の中心となる温度に基準温度が設定されても良く、あるいは、装置が使用される環境温度内の何れかの温度に基準温度が設定されても良い。
　図８（ｃ）、（ｄ）は、ＣＭＯＳイメージセンサ２４０としてカラー用センサが用いられ、上記のようにレーザ光の波長が設定された場合の、カラーフィルタＦｒ、Ｆｇ、Ｆｂ上のドットパターンと、画素ｐ上のドットパターンを示す図である。
　この場合、たとえば、図６（ｅ）に示すカラーフィルタに対して、図８（ｃ）に示すようにドットが３つ照射されると、カラーフィルタＦｒ、Ｆｇ、Ｆｂに照射されるドットは全て検出され得る。すなわち、波長８３０ｎｍのレーザ光は、図７に示すように、カラーフィルタＦｒ、Ｆｇ、Ｆｂを略等しく透過するため、図８（ｃ）に示すように照射された全てのドットは、図８（ｄ）に示すように画素ｐにより受光され得る。
　以上、本実施の形態によれば、ＣＭＯＳイメージセンサ２４０として安価かつ汎用的なカラー用センサが用いられるため、ＣＭＯＳイメージセンサ２４０として高価なモノクロ用センサが用いられる場合に比べて、装置全体のコストを低減することができる。
　また、本実施の形態によれば、レーザ光源１１０が出射するレーザ光の波長が８３０ｎｍ程度に設定されるため、ドットパターンのレーザ光をＣＭＯＳイメージセンサ２４０により適正に検出することができる。また、このようにレーザ光の波長が設定されると、図７の“カラーフィルタ無し”に示すように、カラー用センサのカラーフィルタＦｒ、Ｆｇ、Ｆｂが無い場合と略同じ感度を実現することができる。これにより、ＣＭＯＳイメージセンサ２４０の検出信号におけるＳ／Ｎ比を高く維持することができる。
　なお、上記実施の形態では、レーザ光源１１０が出射するレーザ光の波長が、８３０ｎｍ程度に設定されたが、これに限らず、レーザ光の波長は、赤外の波長帯域で、且つ、各色のカラーフィルタに対応する画素ｐの感度が極大値付近となるよう設定されれば良い。
　たとえば、ＣＭＯＳイメージセンサ２４０として用いられるカラー用センサの分光特性が図７および図９に示すものである場合、各色光を検出する画素ｐの検出感度は、８１０～８７０ｎｍの波長帯域において高く維持される。よって、レーザ光源１１０の出射波長は、８１０～８７０ｎｍ程度に設定するのが望ましい。
　さらに好ましくは、レーザ光源１１０の出射波長は、８３０ｎｍ近傍（８３０±１０ｎｍ）に設定するのが望ましい。こうすると、Ｇ光、Ｂ光を検出する画素ｐの感度を赤外の波長帯域において略極大値とすることができ、Ｒ光を検出する画素ｐの感度もこれと同程度となる。このように各色光を検出する画素ｐの検出感度が略同じであれば、カラー用センサからの出力信号に対するゲインを色毎に調整する必要がない。また、このように、感度が略極大値となる波長帯域にレーザ光源１１０の出射波長が設定されると、温度変化によりレーザ光の出射波長が変動しても、感度が急激に低下することがない。よって、安定した検出動作を実現することができる。
　なお、図９（ｂ）のように、Ｇ光およびＢ光を検出する画素ｐの検出感度が極大値となる波長が互いにずれている場合、何れか一方の極大値を与える波長の近傍にレーザ光源１１０の波長を設定しても良い。このようにしても、各極大値を与える波長は１０ｎｍ程度しかずれていないため、他方の極大値を与える色に対する検出感度もまた、高く維持される。
　以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、また、本発明の実施の形態も上記の他に種々の変更が可能である。
　たとえば、上記実施の形態では、ドットパターンを受光するセンサとして、カラー用センサからなるＣＭＯＳイメージセンサ２４０を用いたが、これに替えて、カラー用センサからなるＣＣＤイメージセンサを用いることもできる。さらに、投射光学系１００および受光光学系２００の構成も、適宜変更可能である。また、情報取得装置１と情報処理装置２は一体化されてもよいし、情報取得装置１と情報処理装置２がテレビやゲーム機、パーソナルコンピュータと一体化されてもよい。
　また、上記実施の形態では、目標領域に照射されるレーザ光の波長帯以外の波長帯の光を除去するためにフィルタ２３０が配された。しかしながら、目標領域に照射されるレーザ光以外の光の信号成分を、ＣＭＯＳイメージセンサ２４０から出力される信号から除去する回路構成が配されるような場合には、フィルタ２３０を省略することができる。
　また、上記実施の形態では、ＣＭＯＳイメージセンサ２４０として用いられるカラー用センサは、Ｒ光、Ｇ光、Ｂ光を透過するカラーフィルタＦｒ、Ｆｇ、Ｆｂを有していた。しかしながら、これに替えて、かかるカラー用センサが、シアン色の光と、マゼンタ色の光と、イエロー色の光を透過するカラーフィルタを有していても良い。このようなカラーフィルタを有するカラー用センサが、図７、９に示すような分光特性を示す場合も、上記実施の形態と同様、分光特性を考慮してレーザ光の波長が設定されれば、ドットパターンのレーザ光を適正に受光することができる。
　また、上記実施の形態では、投射光学系１００から目標領域に対してドットパターンのレーザ光が投射され、セグメント領域に含まれるドットパターンのずれ量に基づいて、目標領域における物体の３次元距離情報が取得された。しかしながら、これに限らず、レーザ光源１１０の出射タイミングと、画素ｐにおける当該レーザ光の受光タイミングの時間差により、情報取得装置１から目標領域における物体の３次元距離情報が取得されるよう、情報取得装置１が構成されても良い。
　本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
　　　　１　…　情報取得装置
　　　　２　…　情報処理装置（物体検出装置）
　　１００　…　投射光学系（投射部）
　　１１０　…　レーザ光源
　　１４０　…　ＤＯＥ（回折光学素子）
　　２００　…　受光光学系（受光部）
　　２３０　…　フィルタ
　　２４０　…　ＣＭＯＳイメージセンサ（カラーイメージセンサ）
　　　　ｐ　…　画素

Claims (9)

  1. 　レーザ光を出射するレーザ光源と、
    　前記レーザ光源から出射された前記レーザ光を目標領域に投射する投射部と、
    　前記目標領域から反射された前記レーザ光を受光する受光部と、を備え、
    　前記受光部は、前記目標領域から反射された前記レーザ光が入射するカラーイメージセンサを有し、
    　前記カラーイメージセンサは、可視光領域よりも長波長側において、所定の色の光を検出する画素の検出感度が次第に減少し、前記色以外の残りの色の光を検出する画素の検出感度がそれぞれ極大値を持つ特性を有し、前記極大値を与える波長の近傍の波長帯域において前記各画素の検出感度が互いに略揃い、
    　前記レーザ光源の出射波長が、前記波長帯域内の波長に設定されている、
    ことを特徴とする情報取得装置。
  2. 　請求項１に記載の情報取得装置において、
    　前記レーザ光源の出射波長が、８１０～８７０ｎｍの範囲において設定されている、
    ことを特徴とする情報取得装置。
  3. 　請求項２に記載の情報取得装置において、
    　前記レーザ光源の出射波長が、８３０±１０ｎｍの範囲において設定されている、
    ことを特徴とする情報取得装置。
  4. 　請求項３に記載の情報取得装置において、
    　前記レーザ光源の出射波長が、８３０ｎｍに設定されている、
    ことを特徴とする情報取得装置。
  5. 　請求項１ないし４の何れか一項に記載の情報取得装置において、
    　前記レーザ光源の出射波長が、前記残りの色のうち一つの色の光を検出する画素の検出感度が極大値となる波長の近傍に設定されている、
    ことを特徴とする情報取得装置。
  6. 　請求項１ないし５の何れか一項に記載の情報取得装置において、
    　前記投射部は、前記レーザ光源から出射された前記レーザ光を回折によりドットパターンの光に変換する回折光学素子を備え、
    　前記受光部は、前記投射部に対して所定の距離だけ離れて並ぶように配置される、
    ことを特徴とする情報取得装置。
  7. 　請求項１ないし６の何れか一項に記載の情報取得装置において、
    　前記受光部は、前記レーザ光源の出射波長を含む波長帯域の光のみを前記カラーイメージセンサに導くためのフィルタをさらに備える、
    ことを特徴とする情報取得装置。
  8. 　請求項１ないし７の何れか一項に記載の情報取得装置において、
    　前記カラーイメージセンサは、赤色、緑色および青色の光を検出する画素を有する、
    ことを特徴とする情報取得装置。
  9. 　請求項１ないし８の何れか一項に記載の情報取得装置を有する物体検出装置。
PCT/JP2012/068050 2011-07-22 2012-07-17 情報取得装置および物体検出装置 WO2013015145A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201280028302.9A CN103597316A (zh) 2011-07-22 2012-07-17 信息取得装置以及物体检测装置
US14/157,241 US20140132956A1 (en) 2011-07-22 2014-01-16 Object detecting device and information acquiring device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-161219 2011-07-22
JP2011161219 2011-07-22
JP2011-184171 2011-08-25
JP2011184171 2011-08-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/157,241 Continuation US20140132956A1 (en) 2011-07-22 2014-01-16 Object detecting device and information acquiring device

Publications (1)

Publication Number Publication Date
WO2013015145A1 true WO2013015145A1 (ja) 2013-01-31

Family

ID=47600995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/068050 WO2013015145A1 (ja) 2011-07-22 2012-07-17 情報取得装置および物体検出装置

Country Status (4)

Country Link
US (1) US20140132956A1 (ja)
JP (1) JPWO2013015145A1 (ja)
CN (1) CN103597316A (ja)
WO (1) WO2013015145A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190074769A (ko) * 2017-12-20 2019-06-28 주식회사 에스오에스랩 라이다 장치
US11579254B2 (en) 2017-08-02 2023-02-14 SOS Lab co., Ltd Multi-channel lidar sensor module

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
CN105068139B (zh) * 2015-08-24 2017-11-14 中国第一汽车股份有限公司 一种活塞冷却喷嘴安装状态的检测工艺

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04115661A (ja) * 1990-08-31 1992-04-16 Konica Corp カラー画像読取り方法およびカラー画像形成装置
JP2005246033A (ja) * 2004-02-04 2005-09-15 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2006049995A (ja) * 2004-07-30 2006-02-16 Ricoh Co Ltd 画像読み取り装置及び画像形成装置
JP2007088873A (ja) * 2005-09-22 2007-04-05 Sony Corp 信号処理方法、信号処理回路およびこれを用いたカメラシステム
JP2008116309A (ja) * 2006-11-02 2008-05-22 Fujifilm Corp 距離画像生成方法及びその装置
JP2008188196A (ja) * 2007-02-05 2008-08-21 Sanyo Electric Co Ltd 撮像装置
JP2009014712A (ja) * 2007-06-07 2009-01-22 Univ Of Electro-Communications 物体検出装置とそれを適用したゲート装置
JP2009204991A (ja) * 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
JP2010049001A (ja) * 2008-08-21 2010-03-04 Canon Inc 撮像装置
JP2010101683A (ja) * 2008-10-22 2010-05-06 Nissan Motor Co Ltd 距離計測装置および距離計測方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4286123B2 (ja) * 2003-12-22 2009-06-24 三洋電機株式会社 カラー撮像素子およびカラー信号処理回路
JP2006068047A (ja) * 2004-08-31 2006-03-16 Sanyo Electric Co Ltd 生体情報取得装置および生体情報取得方法
US8259203B2 (en) * 2007-12-05 2012-09-04 Electro Scientific Industries, Inc. Method and apparatus for achieving panchromatic response from a color-mosaic imager
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04115661A (ja) * 1990-08-31 1992-04-16 Konica Corp カラー画像読取り方法およびカラー画像形成装置
JP2005246033A (ja) * 2004-02-04 2005-09-15 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2006049995A (ja) * 2004-07-30 2006-02-16 Ricoh Co Ltd 画像読み取り装置及び画像形成装置
JP2007088873A (ja) * 2005-09-22 2007-04-05 Sony Corp 信号処理方法、信号処理回路およびこれを用いたカメラシステム
JP2008116309A (ja) * 2006-11-02 2008-05-22 Fujifilm Corp 距離画像生成方法及びその装置
JP2008188196A (ja) * 2007-02-05 2008-08-21 Sanyo Electric Co Ltd 撮像装置
JP2009014712A (ja) * 2007-06-07 2009-01-22 Univ Of Electro-Communications 物体検出装置とそれを適用したゲート装置
JP2009204991A (ja) * 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
JP2010049001A (ja) * 2008-08-21 2010-03-04 Canon Inc 撮像装置
JP2010101683A (ja) * 2008-10-22 2010-05-06 Nissan Motor Co Ltd 距離計測装置および距離計測方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11579254B2 (en) 2017-08-02 2023-02-14 SOS Lab co., Ltd Multi-channel lidar sensor module
KR20190074769A (ko) * 2017-12-20 2019-06-28 주식회사 에스오에스랩 라이다 장치
KR102059244B1 (ko) * 2017-12-20 2019-12-24 주식회사 에스오에스랩 라이다 장치

Also Published As

Publication number Publication date
JPWO2013015145A1 (ja) 2015-02-23
CN103597316A (zh) 2014-02-19
US20140132956A1 (en) 2014-05-15

Similar Documents

Publication Publication Date Title
WO2012137674A1 (ja) 情報取得装置、投射装置および物体検出装置
US20130050710A1 (en) Object detecting device and information acquiring device
US20200236315A1 (en) Three-dimensional sensor including bandpass filter having multiple passbands
JP5138116B2 (ja) 情報取得装置および物体検出装置
JP5143312B2 (ja) 情報取得装置、投射装置および物体検出装置
JP5214062B1 (ja) 情報取得装置および物体検出装置
US20140293432A1 (en) Projector, head-up display device, and control method of projector
WO2013015145A1 (ja) 情報取得装置および物体検出装置
WO2013046927A1 (ja) 情報取得装置および物体検出装置
US20120327310A1 (en) Object detecting device and information acquiring device
US20120326007A1 (en) Object detecting device and information acquiring device
WO2012144340A1 (ja) 情報取得装置および物体検出装置
US20190301855A1 (en) Parallax detection device, distance detection device, robot device, parallax detection method, and distance detection method
WO2013015146A1 (ja) 物体検出装置および情報取得装置
JP6232784B2 (ja) パターン照明装置及び測距装置
JP2014085257A (ja) 情報取得装置および物体検出装置
WO2013046928A1 (ja) 情報取得装置および物体検出装置
US8351042B1 (en) Object detecting device and information acquiring device
JP2014062796A (ja) 情報取得装置および物体検出装置
JP2019007826A (ja) 測距カメラおよび測距方法
WO2013031448A1 (ja) 物体検出装置および情報取得装置
KR102094214B1 (ko) 영상 획득 장치 및 이의 영상 획득 방법
JP2014163830A (ja) 情報取得装置および物体検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12818350

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013525671

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12818350

Country of ref document: EP

Kind code of ref document: A1