WO2013031448A1 - 物体検出装置および情報取得装置 - Google Patents

物体検出装置および情報取得装置 Download PDF

Info

Publication number
WO2013031448A1
WO2013031448A1 PCT/JP2012/069126 JP2012069126W WO2013031448A1 WO 2013031448 A1 WO2013031448 A1 WO 2013031448A1 JP 2012069126 W JP2012069126 W JP 2012069126W WO 2013031448 A1 WO2013031448 A1 WO 2013031448A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical system
dot pattern
dots
distance
pixel
Prior art date
Application number
PCT/JP2012/069126
Other languages
English (en)
French (fr)
Inventor
山口 淳
山口 光隆
武藤 裕之
Original Assignee
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三洋電機株式会社 filed Critical 三洋電機株式会社
Publication of WO2013031448A1 publication Critical patent/WO2013031448A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Definitions

  • the present invention relates to an object detection apparatus that detects an object in a target area based on a state of reflected light when light is projected onto the target area, and an information acquisition apparatus suitable for use in the object detection apparatus.
  • An object detection device using light has been developed in various fields.
  • An object detection apparatus using a so-called distance image sensor can detect not only a planar image on a two-dimensional plane but also the shape and movement of the detection target object in the depth direction.
  • light in a predetermined wavelength band is projected from a laser light source or LED (Light-Emitting-Diode) onto a target area, and the reflected light is received by a light-receiving element such as a CMOS image sensor.
  • CMOS image sensor Light-Emitting-Diode
  • a distance image sensor of a type that irradiates a target region with laser light having a predetermined dot pattern reflected light from the target region of laser light having a dot pattern is received by a light receiving element. Based on the light receiving position of the dot on the light receiving element, the distance to each part of the detection target object (irradiation position of each dot on the detection target object) is detected using triangulation (for example, non-patent) Reference 1).
  • triangulation for example, non-patent
  • the projection optical system and the light receiving optical system are arranged side by side.
  • the dot light receiving position on the image sensor is normally displaced only in the direction in which the projection optical system and the light receiving optical system are arranged.
  • the distance is detected based on the movement amount of the dots in the direction in which the projection optical system and the light receiving optical system are arranged.
  • the light receiving position of the dots on the image sensor is perpendicular to the alignment direction of the projection optical system and the light receiving optical system. Deviation can occur in any direction.
  • An object is to provide an information acquisition device and an object detection device that can acquire distance information.
  • the 1st aspect of this invention is related with the information acquisition apparatus which acquires the information of a target area
  • the information acquisition device is arranged so as to be lined up with a projection optical system that projects a laser beam with a predetermined dot pattern on a target area and spaced apart by a predetermined distance from the projection optical system,
  • a light receiving optical system that captures an image of a target area with an image sensor, a reference dot pattern that is imaged by the light receiving optical system when the laser beam is irradiated on a reference surface, and an actual measurement that is acquired by imaging the target area during distance measurement
  • a distance acquisition unit that acquires a distance for the position.
  • one or both of the reference dot pattern and the actually measured dot pattern are extended in one or both of the directions perpendicular to the alignment direction of the projection optical system and the light receiving optical system. The distance is acquired using the dot pattern.
  • the second aspect of the present invention relates to an object detection apparatus.
  • the object detection apparatus according to this aspect includes the information acquisition apparatus according to the first aspect.
  • an information acquisition device capable of appropriately acquiring distance information even when the light receiving position of a dot is shifted in a direction perpendicular to the alignment direction of the projection optical system and the light receiving optical system.
  • an object detection apparatus can be provided.
  • an information acquisition device of a type that irradiates a target area with laser light having a predetermined dot pattern is exemplified.
  • FIG. 1 shows a schematic configuration of the object detection apparatus according to the present embodiment.
  • the object detection device includes an information acquisition device 1 and an information processing device 2.
  • the television 3 is controlled by a signal from the information processing device 2.
  • the information acquisition device 1 projects infrared light over the entire target area and receives the reflected light with a CMOS image sensor, whereby the distance between each part of the object in the target area (hereinafter referred to as “three-dimensional distance information”). To get.
  • the acquired three-dimensional distance information is sent to the information processing apparatus 2 via the cable 4.
  • the information processing apparatus 2 is, for example, a controller for TV control, a game machine, a personal computer, or the like.
  • the information processing device 2 detects an object in the target area based on the three-dimensional distance information received from the information acquisition device 1, and controls the television 3 based on the detection result.
  • the information processing apparatus 2 detects a person based on the received three-dimensional distance information and detects the movement of the person from the change in the three-dimensional distance information.
  • the information processing device 2 is a television control controller
  • the information processing device 2 detects the person's gesture from the received three-dimensional distance information, and outputs a control signal to the television 3 in accordance with the gesture.
  • the application program to be installed is installed.
  • the user can cause the television 3 to execute a predetermined function such as channel switching or volume up / down by making a predetermined gesture while watching the television 3.
  • the information processing device 2 when the information processing device 2 is a game machine, the information processing device 2 detects the person's movement from the received three-dimensional distance information, and displays a character on the television screen according to the detected movement.
  • An application program that operates and changes the game battle situation is installed. In this case, the user can experience a sense of realism in which he / she plays a game as a character on the television screen by making a predetermined movement while watching the television 3.
  • FIG. 2 is a diagram showing the configuration of the information acquisition device 1 and the information processing device 2.
  • the information acquisition apparatus 1 includes a projection optical system 100 and a light receiving optical system 200 as a configuration of an optical unit.
  • the projection optical system 100 and the light receiving optical system 200 are arranged in the information acquisition apparatus 1 so as to be aligned in the X-axis direction.
  • the projection optical system 100 includes a laser light source 110, a collimator lens 120, a leakage mirror 130, a diffractive optical element: and (DOE Diffractive Optical Element) 140, and a FMD (FrontMonitor Diode) 150.
  • the light receiving optical system 200 includes an aperture 210, an imaging lens 220, a filter 230, and a CMOS image sensor 240.
  • the information acquisition apparatus 1 includes a CPU (Central Processing Unit) 21, a laser driving circuit 22, a PD signal processing circuit 23, an imaging signal processing circuit 24, an input / output circuit 25, A memory 26 is provided.
  • CPU Central Processing Unit
  • the laser light source 110 outputs laser light in a narrow wavelength band with a wavelength of about 830 nm in a direction away from the light receiving optical system 200 (X-axis negative direction).
  • the collimator lens 120 converts the laser light emitted from the laser light source 110 into light slightly spread from parallel light (hereinafter simply referred to as “parallel light”).
  • the leakage mirror 130 is composed of a multilayer film of dielectric thin films, and the number of layers and the thickness of the film are designed so that the reflectance is slightly lower than 100% and the transmittance is several steps smaller than the reflectance.
  • the leakage mirror 130 reflects most of the laser light incident from the collimator lens 120 side in the direction toward the DOE 140 (Z-axis direction) and transmits the remaining part in the direction toward the FMD 150 (X-axis negative direction).
  • the DOE 140 has a diffraction pattern on the incident surface. Due to the diffractive action of this diffraction pattern, the laser light incident on the DOE 140 is converted into laser light having approximately 30,000 dot patterns and is irradiated onto the target area.
  • the diffraction pattern has, for example, a structure in which a step type diffraction hologram is formed in a predetermined pattern. The diffraction hologram is adjusted in pattern and pitch so as to convert the laser light converted into parallel light by the collimator lens 120 into laser light of a dot pattern.
  • the DOE 140 irradiates the target region with the laser beam incident from the leakage mirror 130 as a laser beam having a dot pattern that spreads radially.
  • the size of each dot in the dot pattern depends on the beam size of the laser light when entering the DOE 140.
  • the FMD 150 receives the laser light transmitted through the leakage mirror 130 and outputs an electrical signal corresponding to the amount of light received.
  • the laser light reflected from the target area enters the imaging lens 220 through the aperture 210.
  • the aperture 210 stops the light from the outside so as to match the F number of the imaging lens 220.
  • the imaging lens 220 collects the light incident through the aperture 210 on the CMOS image sensor 240.
  • the filter 230 is an IR filter (Infrared Filter) that transmits light in the infrared wavelength band including the emission wavelength (about 830 nm) of the laser light source 110 and cuts the wavelength band of visible light.
  • the CMOS image sensor 240 receives the light collected by the imaging lens 220 and outputs a signal (charge) corresponding to the amount of received light to the imaging signal processing circuit 24 for each pixel.
  • the output speed of the signal is increased so that the signal (charge) of the pixel can be output to the imaging signal processing circuit 24 with high response from light reception in each pixel.
  • CPU 21 controls each unit according to a control program stored in memory 26.
  • the CPU 21 is provided with the functions of a laser control unit 21a for controlling the laser light source 110 and a distance acquisition unit 21b for generating three-dimensional distance information.
  • the laser drive circuit 22 drives the laser light source 110 according to a control signal from the CPU 21.
  • the PD signal processing circuit 23 amplifies and digitizes the voltage signal corresponding to the amount of received light output from the FMD 150 and outputs it to the CPU 21.
  • the CPU 21 determines to amplify or decrease the light amount of the laser light source 110 by processing by the laser control unit 21a.
  • the laser control unit 21 a transmits a control signal for changing the light emission amount of the laser light source 110 to the laser driving circuit 22. Thereby, the power of the laser beam emitted from the laser light source 110 is controlled to be substantially constant.
  • the imaging signal processing circuit 24 controls the CMOS image sensor 240 and sequentially takes in the signal (charge) of each pixel generated by the CMOS image sensor 240 for each line. Then, the captured signals are sequentially output to the CPU 21. Based on the signal (imaging signal) supplied from the imaging signal processing circuit 24, the CPU 21 calculates the distance from the information acquisition device 1 to each part of the detection target by processing by the distance acquisition unit 21b.
  • the input / output circuit 25 controls data communication with the information processing apparatus 2.
  • the information processing apparatus 2 includes a CPU 31, an input / output circuit 32, and a memory 33.
  • the information processing apparatus 2 has a configuration for performing communication with the television 3 and for reading information stored in an external memory such as a CD-ROM and installing it in the memory 33.
  • an external memory such as a CD-ROM
  • the configuration of these peripheral circuits is not shown for the sake of convenience.
  • the CPU 31 controls each unit according to a control program (application program) stored in the memory 33.
  • a control program application program
  • the CPU 31 is provided with the function of the object detection unit 31a for detecting an object in the image.
  • a control program is read from a CD-ROM by a drive device (not shown) and installed in the memory 33, for example.
  • the object detection unit 31a detects a person in the image and its movement from the three-dimensional distance information supplied from the information acquisition device 1. Then, a process for operating the character on the television screen according to the detected movement is executed by the control program.
  • the object detection unit 31 a detects a person in the image and its movement (gesture) from the three-dimensional distance information supplied from the information acquisition device 1. To do. Then, processing for controlling functions (channel switching, volume adjustment, etc.) of the television 3 is executed by the control program in accordance with the detected movement (gesture).
  • the input / output circuit 32 controls data communication with the information acquisition device 1.
  • FIG. 3 is a perspective view showing an installation state of the projection optical system 100 and the light receiving optical system 200.
  • the projection optical system 100 and the light receiving optical system 200 are disposed on the base plate 300.
  • the optical members constituting the projection optical system 100 are installed in the housing 100a, and the housing 100a is installed on the base plate 300. Thereby, the projection optical system 100 is arranged on the base plate 300.
  • Reference numerals 150a and 240a denote FPCs (flexible printed circuit boards) for supplying signals from the FMD 150 and the CMOS image sensor 240 to a circuit board (not shown), respectively.
  • the optical member constituting the light receiving optical system 200 is installed in the holder 200a, and this holder 200a is attached to the base plate 300 from the back surface of the base plate 300. As a result, the light receiving optical system 200 is disposed on the base plate 300.
  • the height in the Z-axis direction is higher than that of the projection optical system 100.
  • the periphery of the arrangement position of the light receiving optical system 200 is raised by one step in the Z-axis direction.
  • the positions of the exit pupil of the projection optical system 100 and the entrance pupil of the light receiving optical system 200 substantially coincide with each other in the Z-axis direction. Further, the projection optical system 100 and the light receiving optical system 200, as an imaging center of the center of projection and light receiving optical system 200 of the projection optical system 100 are arranged on a straight line parallel to the X axis, arranged at a predetermined distance in the X-axis direction Installed at.
  • the installation interval between the projection optical system 100 and the light receiving optical system 200 is set according to the distance between the information acquisition device 1 and the reference plane of the target area.
  • the distance between the reference plane and the information acquisition device 1 varies depending on how far away the target is to be detected. The closer the distance to the target to be detected is, the narrower the installation interval between the projection optical system 100 and the light receiving optical system 200 is. Conversely, as the distance to the target to be detected increases, the installation interval between the projection optical system 100 and the light receiving optical system 200 increases.
  • FIG. 4A is a diagram schematically showing the irradiation state of the laser light on the target region
  • FIG. 4B is a diagram schematically showing the light receiving state of the laser light in the CMOS image sensor 240.
  • FIG. 5B shows a flat surface (screen) in the target area and a light receiving state when a person is present in front of the screen.
  • the projection optical system 100 irradiates a target region with laser light having a dot pattern (hereinafter, the entire laser light having this pattern is referred to as “DP light”).
  • DP light the entire laser light having this pattern
  • the luminous flux region of DP light is indicated by a solid line frame.
  • dot areas elevated intensity of the laser beam by the diffraction action by the DOE 140 (hereinafter, simply referred to as "dots") are scattered according to the dot pattern due to the diffraction effect of DOE 140.
  • DP light reflected thereby is distributed on the CMOS image sensor 240 as shown in FIG.
  • the entire DP light receiving area on the CMOS image sensor 240 is indicated by a dashed frame, and the DP light receiving area incident on the imaging effective area of the CMOS image sensor 240 is indicated by a solid frame.
  • the effective imaging area of the CMOS image sensor 240 is an area where a signal is output as a sensor among areas where the CMOS image sensor 240 receives DP light, and has a size of, for example, VGA (640 pixels ⁇ 480 pixels).
  • VGA 640 pixels ⁇ 480 pixels
  • FIG. 5 is a diagram for explaining a reference pattern setting method used in the distance detection method.
  • a flat reflection plane RS perpendicular to the Z-axis direction is disposed at a position at a predetermined distance Ls from the projection optical system 100.
  • the emitted DP light is reflected by the reflection plane RS and enters the CMOS image sensor 240 of the light receiving optical system 200.
  • an electrical signal for each pixel in the effective imaging area is output from the CMOS image sensor 240.
  • the output electric signal value (pixel value) for each pixel is developed on the memory 26 of FIG.
  • an image including all pixel values obtained by reflection from the reflection surface RS is referred to as a “reference image”, and the reflection surface RS is referred to as a “reference surface”.
  • FIG. 5B shows a state in which the light receiving surface is seen through in the positive direction of the Z axis from the back side of the CMOS image sensor 240. The same applies to the drawings after FIG.
  • a plurality of segment areas having a predetermined size are set for the reference pattern area thus set.
  • the size of the segment area is determined in consideration of the contour extraction accuracy of the object based on the obtained distance information and the load of the calculation amount of distance detection for the CPU 21.
  • each segment area is indicated by 7 pixels ⁇ 7 pixels, and the center pixel of each segment area is indicated by a cross.
  • the segment areas are set so that adjacent segment areas are arranged at intervals of one pixel in the X-axis direction and the Y-axis direction with respect to the reference pattern area. That is, a certain segment area is set at a position shifted by one pixel with respect to a segment area adjacent to the segment area in the X-axis direction and the Y-axis direction. At this time, each segment area is dotted with dots in a unique pattern. Therefore, the pattern of pixel values in the segment area is different for each segment area. The smaller the interval between adjacent segment areas, the greater the number of segment areas included in the reference pattern area, and the resolution of distance detection in the in-plane direction (XY plane direction) of the target area is enhanced.
  • reference pattern area on the CMOS image sensor 240 information on the position of the reference pattern area on the CMOS image sensor 240, pixel values (reference patterns) of all pixels included in the reference pattern area, and segment area information set for the reference pattern area are shown in FIG. 2 memory 26. These pieces of information stored in the memory 26 are hereinafter referred to as “reference templates”.
  • the CPU 21 calculates the distance to each part of the object based on the shift amount of the dot pattern in each segment area obtained from the reference template.
  • DP light corresponding to a predetermined segment area Sn on the reference pattern is reflected by the object, and the segment area Sn. It is incident on a different region Sn ′. Since the projection optical system 100 and the light receiving optical system 200 are adjacent to each other in the X-axis direction, the displacement direction of the region Sn ′ with respect to the segment region Sn is parallel to the X-axis. In the case of FIG. 5A, since the object is located at a position closer than the distance Ls, the region Sn ′ is displaced in the positive direction of the X axis with respect to the segment region Sn. If the object is at a position farther than the distance Ls, the region Sn ′ is displaced in the negative X-axis direction with respect to the segment region Sn.
  • the distance Lr from the projection optical system 100 to the part of the object irradiated with DP light (DPn) is triangulated using the distance Ls.
  • the distance from the projection optical system 100 is calculated for the part of the object corresponding to another segment area.
  • the CMOS image sensor 240 it is detected to which position the segment region Sn of the reference template has been displaced at the time of actual measurement. This detection is performed by collating the dot pattern obtained from the DP light irradiated onto the CMOS image sensor 240 at the time of actual measurement with the dot pattern included in the segment region Sn.
  • an image made up of all the pixel values obtained from the DP light irradiated to the imaging effective area on the CMOS image sensor 240 at the time of actual measurement will be referred to as “measured image”.
  • the effective imaging area of the CMOS image sensor 240 at the time of actual measurement is, for example, the size of VGA (640 pixels ⁇ 480 pixels) as in the case of acquiring the reference image.
  • FIGS. 6A to 6E are diagrams for explaining such a distance detection method.
  • FIG. 6A is a diagram showing a reference pattern region set in a standard image on the CMOS image sensor 240
  • FIG. 6B is a diagram showing an actually measured image on the CMOS image sensor 240 at the time of actual measurement.
  • FIGS. 6C to 6E are diagrams for explaining a method for collating the dot pattern of the DP light included in the actual measurement image and the dot pattern included in the segment area of the reference template.
  • FIGS. 6A and 6B only a part of the segment areas is shown for convenience.
  • the actual image of FIG. 6 (b) for convenience, as shown in FIG. 4 (b), the are present person before the reference plane as a detection target object, that the image of the person is crowded-through It is shown.
  • a search range Ri is set for the segment area Si on the actual measurement image.
  • the search range Ri has a predetermined width in the X-axis direction.
  • the segment area Si is sent pixel by pixel in the search range Ri in the X-axis direction, and the dot pattern of the segment area Si is compared with the dot pattern on the measured image at each feed position.
  • a region corresponding to each feed position on the actually measured image is referred to as a “comparison region”.
  • a plurality of comparison areas having the same size as the segment area Si are set in the search range Ri, and the comparison areas adjacent in the X-axis direction are shifted by one pixel from each other.
  • the search range Ri is determined by the direction in which the detection target object moves away from the reference plane toward the information acquisition device 1 and the distance that can be detected in the approaching direction. In FIG. 6, there is a range of a position that is shifted by x pixels in the X-axis positive direction from a position shifted by x pixels in the X-axis negative direction from the pixel position on the actual measurement image corresponding to the pixel position of the segment region Si on the reference image.
  • the search range Ri is set.
  • the degree of matching between the dot pattern of the segment area Si stored in the reference template and the dot pattern of the DP light of the measured image is obtained at each feed position. It is done. As described above, the segment area Si is sent only in the X-axis direction within the search range Ri as described above. Normally, the dot pattern of the segment area set by the reference template is a predetermined value in the X-axis direction at the time of actual measurement. This is because the displacement occurs only within the range.
  • the dot pattern corresponding to the segment area may protrude from the actual measurement image in the X-axis direction.
  • the dot pattern corresponding to the segment area S1 is X more than the measured image.
  • Positioned in the negative axis direction since the dot pattern corresponding to the segment area is not within the effective imaging area of the CMOS image sensor 240, this area cannot be properly matched. However, since areas other than the edge region can be appropriately matched, the influence on the object distance detection is small.
  • the effective imaging area of the CMOS image sensor 240 at the time of actual measurement can be made larger than the effective imaging area of the CMOS image sensor 240 at the time of acquiring the reference image.
  • an effective imaging area is set with a size of VGA (640 pixels ⁇ 480 pixels) at the time of acquiring a reference image, it is 30 pixels larger in the X-axis positive direction and the X-axis negative direction than that when actually measured. Set the effective imaging area by size. As a result, the actually measured image becomes larger than the reference image, but the edge region can also be appropriately matched.
  • the pixel value of each pixel in the reference pattern area and the pixel value of each pixel in each segment area of the measured image are binarized and stored in the memory 26.
  • the pixel values of the reference image and the actually measured image are 8-bit gradations, among the pixel values of 0 to 255, pixels that are equal to or greater than a predetermined threshold are pixels whose pixel value is 1 and pixels that are less than the predetermined threshold are pixels
  • the value is converted to 0 and stored in the memory 26.
  • the similarity between the comparison region and the segment region Si is obtained. That is, the difference between the pixel value of each pixel in the segment area Si and the pixel value of the pixel corresponding to the comparison area is obtained.
  • a value Rsad obtained by adding the obtained difference to all the pixels in the comparison region is acquired as a value indicating the similarity.
  • FIG. 6D the value Rsad is obtained for all the comparison regions in the search range Ri for the segment region Si.
  • FIG. 6E is a graph schematically showing the magnitude of the value Rsad at each feed position in the search range Ri.
  • the minimum value Bt1 is referred to from the obtained value Rsad.
  • the second smallest value Bt2 is referred to from the obtained value Rsad. If the position of the minimum value Bt1 and the second smallest value Bt2 are two pixels or more apart and the difference value Es is less than the threshold value, the search for the segment area Si is regarded as an error.
  • the comparison area Ci corresponding to the minimum value Bt1 is determined as the movement area of the segment area Si.
  • the comparison area Ci is shifted by ⁇ pixels in the positive X-axis direction from the pixel position Si0 on the measured image at the same position as the pixel position of the segment area Si on the reference image. Detected. This is because the dot pattern of the DP light on the measured image is displaced in the X-axis positive direction from the segment area Si on the reference image by a detection target object (person) that is present at a position closer to the reference plane.
  • the dot pattern of DP light acquired during the actual measurement the displacement position of each segment region is searched, as described above, on the basis of the displacement position, by triangulation, corresponding to each segment area detection The distance to the part of the target object is obtained.
  • segment area search is performed for all the segment areas from segment area S1 to segment area Sn.
  • the dot pattern reflected at the time of actual measurement usually shifts only in the X-axis direction.
  • the light receiving position of the dot pattern may be shifted in the Y-axis direction due to the influence of the mounting position shift due to the temporal change of the CMOS image sensor 240 and the optical aberration of the DOE 140.
  • FIG. 7 is a diagram showing a situation when the mounting position of the CMOS image sensor 240 is shifted due to a change over time.
  • FIG. 7A shows an ideal state of the CMOS image sensor 240 and the reference image obtained by capturing the DP light when the reference image is acquired.
  • the CMOS image sensor 240 is mounted such that the upper and lower ends are parallel to the X axis and the left and right ends are parallel to the Y axis.
  • FIG. 7B shows a state in which the relationship between the CMOS image sensor 240 at the time of actual measurement image acquisition and the actual measurement image obtained by capturing the DP light is inappropriate due to a change over time or the like.
  • the CMOS image sensor 240 is inclined with respect to the in-plane direction of the XY plane as compared with the case of FIG.
  • the irradiation position of the DP light does not change, and when the mounting position of the CMOS image sensor 240 is inclined, the incident position of the DP light with respect to the CMOS image sensor 240 is also shifted with respect to the Y-axis direction.
  • the search for the segment area is performed as described above. Since it is shifted in the direction, matching cannot be performed normally.
  • FIG. 8 is a diagram schematically showing a matching situation when the dot pattern is shifted by one pixel in the positive Y-axis direction in the comparative example.
  • the above-described distance detection method is performed using the dot pattern detected on the CMOS image sensor 240 as it is.
  • FIG. 8A is a diagram showing a dot detection situation in a segment area and a dot detection situation in a comparison area at a position corresponding to the segment area.
  • FIG. 8B is a diagram showing a matching situation when the segment area and the comparison area in FIG. 8A overlap each other, and FIG. 8C shows the segment area from the state of FIG. It is a figure which shows the matching condition when 1 pixel has shifted
  • each segment area is surrounded by a solid line and the comparison area is surrounded by a broken line.
  • pixels indicating dots included in the segment area, pixels indicating dots included in the comparison area, and pixels indicating dots matched with the dots included in the comparison area are hatched. Note that the dots included in the comparison area are reflected by an object located at the same position as the reference plane.
  • each dot is treated as an equivalent dot to other dots.
  • the dots in the comparison area corresponding to the segment area are detected with a shift of one pixel in the positive Y-axis direction. In this way, dots for 8 pixels are detected in each of the segment area and the comparison area.
  • matching processing is executed in a state where the dot pattern detected by the CMOS image sensor 240 is extended in the Y-axis direction in advance.
  • FIG. 9 is a diagram showing a flow of distance detection processing in the present embodiment.
  • FIG. 9A is a diagram showing the flow of the reference template generation process. These processes are performed by the setting person using the setting device when setting up the information acquisition device 1.
  • the DP light reflected in a state where only the reference plane is arranged is imaged to obtain a reference image (S11).
  • the setting device performs binarization processing on the reference image obtained from the CMOS image sensor 240 (S12).
  • the reference image is an image in which the presence or absence of dots is represented by 0 and 1.
  • the setting device sets the segment area on the binarized standard image and generates a reference template (S13).
  • the generated reference template is stored in an unerasable state in the memory 26 of FIG.
  • the reference template thus stored in the memory 26 is referred to by the CPU 21 when detecting the distance.
  • FIG. 9B is a diagram showing the flow of processing when detecting distance. These processes are performed by the distance acquisition unit 21b of the CPU 21 of the information acquisition device 1 when detecting the distance.
  • the DP light reflected from the target area is imaged to obtain a measured image (S21).
  • CPU21 performs the binarization process of the measurement image similarly to the reference image (S22).
  • the actual measurement image is an image in which the presence or absence of dots is expressed by 0 and 1 like the reference image.
  • the CPU 21 performs a process of extending the dot pattern of the binarized standard image included in the reference template and the binarized actual measurement image (S23).
  • FIG. 10 is a diagram showing the flow of the dot pattern extension process in S23 of FIG. 9B. The process of FIG. 10 is performed in parallel on the dot pattern of the reference image and the dot pattern of the actually measured image.
  • the CPU 21 reads the dot pattern (binarized signal) of the reference image and the actually measured image expressed by 0 and 1 into a two-dimensional array Ar of m rows ⁇ n columns (S201).
  • the direction in which the number of rows increases corresponds to the positive Y-axis direction shown in FIG. 8A, and the direction in which the number of columns increases corresponds to the positive X-axis direction shown in FIG.
  • the reference image and the actual measurement image have a VGA size and are read into a two-dimensional array of 640 rows ⁇ 480 columns.
  • the CPU 21 sets 1 to the variable i indicating the row position (S202), and sets 1 to the variable j indicating the column position (S203). Then, it is determined whether or not there is a dot in the pixel corresponding to the array Ar (i, j) (S204).
  • the array Ar (i, j) into which the reference image and the measured image are read stores a value of 0 or 1 depending on the presence or absence of a dot. When 1 is stored, a pixel corresponding to the position is stored. There are dots. In S204, it is determined whether the value of the array Ar (i, j) is 1.
  • the array Ar (i ⁇ ) in the row above the array Ar (i, j) (Y-axis negative direction) It is determined whether a dot exists in the pixel corresponding to (1, j) (S205). If there is no dot in the pixel corresponding to the array Ar (i-1, j) (S205: NO), the process proceeds to S206. If there is a dot in the pixel corresponding to the row above the array Ar (i, j) (S205: YES), the process proceeds to S207.
  • the CPU 21 sets a dot in the pixel corresponding to the position of the array Ar (i-1, j).
  • the CPU 21 determines whether or not the variable j indicating the column is the last m column (S209). When the variable j is not m (S209: NO), the CPU 21 adds 1 to the variable j (S210), and returns the process to S204. When the variable j is m (S209: YES), the CPU 21 determines whether or not the variable i indicating the row is the last n rows (S211).
  • the CPU 21 When the variable i is not n (S211: NO), the CPU 21 adds 1 to the variable i (S212), and returns the process to S203.
  • the variable i is n (S211: YES)
  • the CPU 21 stores the updated array Ar in the memory 26 as an updated dot pattern of the reference image and the actually measured image (S213).
  • the dot patterns included in the reference image and the actually measured image are extended by one pixel in the Y-axis positive direction and the Y-axis negative direction and stored in the memory 26.
  • the CPU 21 performs matching processing of the distance detection method using the reference image and the actual measurement image that are extended pixel by pixel in the Y-axis positive direction and the Y-axis negative direction by S23 (see FIG. 9B). S24).
  • FIG. 11 is a diagram schematically showing a matching situation when the dot pattern is shifted by one pixel in the positive Y-axis direction in the present embodiment.
  • FIG. 11A is a diagram showing a dot distribution state when the dot pattern is stretched on the segment area and the comparison area at a position corresponding to the segment area.
  • FIG. 11B is a diagram showing a matching situation when the segment area and the comparison area overlap each other, and
  • FIG. 11C is a diagram illustrating the segment area shifted by one pixel from the state of FIG. It is a figure which shows the matching condition at the time.
  • the dots in the segment area and the comparison area are extended one pixel at a time in the Y-axis positive direction and in the Y-axis negative direction compared to the case of FIG.
  • the interval between the detected dots is one pixel, only one pixel is extended. In this manner, 19 pixels of dots are distributed in the segment area and the comparison area, respectively.
  • the dots in the segment area and the comparison area are extended pixel by pixel in the Y-axis direction. There are more dots to be matched than.
  • the comparison area since the dot pattern before stretching is shifted by one pixel in the positive Y-axis direction, the dot before stretching in the segment area and the portion of the dot that is extended by one pixel in the Y-axis positive direction with respect to this dot The dots for two pixels of the dots are matched with the dots for two pixels in the comparison area.
  • the difference value (Rsad), the difference value of the comparative example (Rsad) ( 16) It will be 36, which is considerably higher than that.
  • the dots one pixel at a time in the positive Y-axis direction and in the negative Y-axis direction at least some of the extended dots can be easily matched.
  • the dots for at least two pixels are matched.
  • the dots for at least one pixel are matched.
  • the difference value (Rsad) when the segment area overlaps the comparison area other than the corresponding comparison area. ) Becomes larger. Therefore, the difference value when the comparison area overlap corresponding segment area and to (Rsad) is relatively smaller than the difference value when the segment region is overlapped with the other comparison area (Rsad).
  • FIG. 12 is a graph showing a result of a simulation performed by the inventors of the present application to confirm the effect of the present embodiment.
  • 15 DP light dots are irradiated in a predetermined pattern in a segment area of 15 pixels ⁇ 15 pixels.
  • all dots are detected under the condition that all the dots are detected in a state shifted by one pixel in the vertical direction (Y-axis positive direction) from the position at which the reference image was acquired.
  • the difference value (Rsad) is obtained for each of the conditions (without vertical pixel deviation) detected in a state where the pixel is not displaced in the vertical direction.
  • an area corresponding to the segment area on the actual measurement image is set to a pixel deviation amount of 0, and when a matching search is performed in the range of the pixel deviation amount from ⁇ 5 to +5 in the X axis positive / negative direction from this area.
  • a difference value (Rsad) is obtained.
  • the detection target is at the same position as the reference plane.
  • FIG. 12A is a graph showing a matching result using a dot pattern in which dots are extended by one pixel in the Y-axis positive direction and the Y-axis negative direction as described above, and FIG. It is a graph which shows a matching result when not extending a dot in a Y-axis positive direction and a Y-axis negative direction like a comparative example.
  • a graph when there is a pixel shift in the vertical direction (Y-axis direction) is indicated by a solid line
  • a graph when there is no pixel shift in the vertical direction (Y-axis direction) is indicated by a broken line.
  • the horizontal axis indicates the search range in the X-axis direction as the amount of pixel shift
  • the vertical axis indicates the difference value (Rsad) at each search position.
  • the dots in the segment area and the comparison area are in the Y-axis positive direction and Y-direction at positions other than the pixel shift amount 0.
  • the difference value (Rsad) has a high value of 60 to 100. Further, at the position where the pixel shift amount is 0, all the dots are matched, and the difference value (Rsad) is 0. In this case, the minimum value of the difference value (Rsad) is 0, the smaller the difference value second (Rsad), since a substantially 60, each of the difference becomes sufficiently large, are properly matched.
  • the difference value (Rsad) is a high value of 60 to 100. Further, at the position of pixel shift amount 0, by dots of segment area and comparative area is extended by one pixel in the Y-axis positive and negative directions, at least, one part dots are matching, the difference value (Rsad) is approximately 30 It is.
  • the minimum value of the difference value (Rsad) is approximately 30, and the second smallest difference value (Rsad) is approximately 60, and each difference is sufficiently large. Therefore, it can be seen that, even when the dots are displaced in the vertical direction (Y-axis direction) during the actual measurement, the dots are properly matched.
  • the difference value (Rsad) is 20 at positions other than the pixel shift amount 0. It is a value of ⁇ 30. Further, at the position where the pixel shift amount is 0, all the dots are matched, and the difference value (Rsad) is 0. In this case, as described above, since the difference between the minimum value of the difference value (Rsad) and the second smallest difference value (Rsad) is sufficiently large, matching is appropriately performed.
  • the difference value is obtained at a position other than the pixel shift amount 0. (Rsad) has a value of 20-30. Further, at the position where the pixel shift amount is 0, the dot in the comparison area is shifted by one pixel in the vertical direction (Y-axis negative direction), so that there is almost no matching dot, and the difference value (Rsad) is approximately 30. Yes. Therefore, in the comparative example, it can be seen that when the dots are shifted in the vertical direction (Y-axis direction) during actual measurement, the dots cannot be properly matched and distance detection results in an error.
  • the dot patterns of the reference image and the actually measured image are matched in a state where they are extended in the Y-axis positive direction and the Y-axis negative direction, the light receiving position of the dot at the time of actual measurement is Even if it deviates in the Y-axis positive direction or the Y-axis negative direction, the distance can be detected appropriately.
  • the distance can be detected appropriately, so that the temperature adjusting element for the laser light source 110 and the like can be omitted.
  • the cost of the information acquisition device 1 can be reduced.
  • the dot patterns of both the reference image and the measured image are each extended by one pixel in the Y-axis positive direction and the negative direction, respectively, but only the dot pattern of the reference image or only the dot pattern of the measured image May be extended in the Y-axis direction.
  • FIG. 13 is a diagram schematically showing a matching situation in Modification 1 in which only the dot pattern of the actually measured image is extended by one pixel in the Y-axis positive direction and the Y-axis negative direction.
  • FIG. 13A is a diagram showing a dot distribution situation in the segment area of the first modification and a dot distribution situation in the comparison area at a position corresponding to the segment area.
  • FIG. 13B is a diagram showing a matching situation when the segment area overlaps the comparison area
  • FIG. 13C is a diagram when the segment area is shifted by one pixel from the state of FIG. 13B. It is a figure which shows the matching condition.
  • dots are not extended in the Y-axis direction, and dots for 8 pixels are distributed. Further, in the comparison area, as in the above embodiment, the dots are extended pixel by pixel in the Y-axis positive direction and the Y-axis negative direction, and dots for 19 pixels are distributed.
  • the difference between the minimum value of the difference value (Rsad) and the second smallest difference value (Rsad) is smaller than that in the case of FIG. , Get pretty big. Therefore, also in the case of the modification example 1, it can be seen that, even when the dots are displaced in the Y-axis direction during the actual measurement, matching is appropriately performed.
  • the dots in both the segment area and the comparison area are extended by one pixel in the Y-axis direction, even if they are shifted up to two pixels in the Y-axis positive and negative directions during measurement.
  • the dot in the comparison area is extended in the Y-axis direction, and thus the dot is shifted to one pixel in the Y-axis positive direction and the Y-axis negative direction at the time of actual measurement. But it is matched appropriately.
  • FIG. 14 is a diagram schematically showing a matching situation in the modification 2 in which only the dot pattern of the reference image is extended in the Y-axis positive direction and the Y-axis negative direction.
  • FIG. 14A is a diagram showing the dot distribution status in the segment area of the second modification and the dot distribution status in the comparison area corresponding to the segment area.
  • FIG. 14B is a diagram showing a matching situation when the segment area overlaps the comparison area
  • FIG. 14C is a diagram when the segment area is shifted by one pixel from the state of FIG. It is a figure which shows a matching condition.
  • the amount of enlargement in the Y-axis direction of the dots in the reference image or the actual measurement image may be increased.
  • the dot extension amount is greater than or equal to the number of pixels included in one side of the segment area, all dots in the segment area are extended to the pixel area limit (9 pixels) in the Y-axis direction of the segment area. The uniqueness of will be greatly lost.
  • the dot extension amount is at least smaller than the number of pixels included in one side of the segment area.
  • the number of dots generated by the DOE 140 is approximately 30,000
  • the total number of pixels of the CMOS image sensor 240 is approximately 300,000
  • the average interval between adjacent dots on the CMOS image sensor 240 is , Approximately 2.5 pixels.
  • the dots when the dots are extended in the Y-axis direction beyond the average interval between adjacent dots, the adjacent dots in the Y-axis direction interfere with each other, and the dots tend to be greatly continuous in the Y-axis direction. The uniqueness of the dot pattern is easily lost.
  • FIG. 15B when the dots are extended in the Y-axis direction beyond the average interval between adjacent dots, the adjacent dots in the Y-axis direction interfere with each other, and the dots tend to be greatly continuous in the Y-axis direction. The uniqueness of the dot pattern is easily lost.
  • FIG. 15B when the dots are extended in the Y-axis direction beyond the average interval between adjacent dots, the adjacent dots in the Y-axis direction interfere with each other, and the dots tend to be greatly continuous in the
  • the dot pattern of one or both of the reference image and the actually measured image is extended in both the Y-axis positive direction and the Y-axis negative direction. If it is stretched only in one of the positive and negative Y-axis directions, it can be matched appropriately even if the dots are shifted from either the positive or negative Y-axis direction during measurement. Can do.
  • FIG. 16 is a diagram illustrating a matching situation in the third modification in which the dot pattern of the reference image is extended by one pixel in the positive direction of the Y axis and the dot pattern of the actually measured image is extended by one pixel in the negative direction of the Y axis.
  • FIG. 16A is a diagram showing a dot distribution situation in the segment area of the third modification and a dot distribution situation in the comparison area corresponding to the segment area.
  • FIG. 16B shows a matching situation when the segment area and the comparison area overlap
  • FIG. 16C shows a matching situation when the segment area is shifted by one pixel from FIG. 16B.
  • FIG. 16A is a diagram showing a dot distribution situation in the segment area of the third modification and a dot distribution situation in the comparison area corresponding to the segment area.
  • FIG. 16B shows a matching situation when the segment area and the comparison area overlap
  • FIG. 16C shows a matching situation when the segment area is shifted by one pixel from FIG. 16B.
  • dots are extended by one pixel only in the positive Y-axis direction, and dots for 14 pixels are distributed. Further, in the comparison area, dots are extended by one pixel only in the negative Y-axis direction, and dots for 14 pixels are distributed.
  • the dots in the segment area are extended by one pixel in the positive Y-axis direction (dot displacement direction during measurement).
  • all the dots are matched by extending the dots in the comparison region by one pixel in the direction opposite to the displacement direction at the time of actual measurement. Therefore, the difference value (Rsad) is 0, which is the smallest.
  • the difference value (Rsad) is 28.
  • the dot pattern of either one or both of the segment area and the comparison area is in the Y-axis positive direction or If it is extended only to one side in the negative Y-axis direction, matching can be performed appropriately.
  • the dot pattern tends to spread radially around the 0th order light due to the optical characteristics of the DOE 140.
  • the dot in the segment region at a position away from the center of the dot pattern in the Y-axis positive direction, the dot is extended in the Y-axis positive direction, and in the segment region at a position away from the Y-axis negative direction, in the Y-axis negative direction. You just need to stretch the dots. In this way, even when the dot pattern is shifted in the Y-axis direction due to the variation in the emission wavelength of the laser beam, matching can be performed appropriately.
  • the dot pattern is extended in both the Y-axis positive direction and the Y-axis negative direction as in the above embodiment.
  • the dot pattern is extended every time when measuring the distance.
  • symbol is attached
  • the CPU 21 determines whether the matching error occurrence rate exceeds a predetermined threshold (S51). .
  • the matching error occurrence rate is obtained by, for example, storing the past matching processing results for a predetermined number of times in the memory 26, obtaining the occurrence rate of each matching error, and averaging the obtained occurrence rates. Calculated.
  • the CPU 21 performs a process of extending the dot pattern of the reference image and the measured image (S23). Then, the CPU 21 performs matching processing using the reference image and the actually measured image in which the dot pattern is extended in the Y-axis direction (S24).
  • the CPU 21 proceeds to S24 without performing the dot pattern extension process. Then, the CPU 21 performs a matching process using the reference image and the actually measured image in which the dot pattern is not extended (S24).
  • the dot pattern is extended in the Y-axis direction only when a matching error continues. Therefore, in a situation where it is not necessary to stretch the dot pattern, the dot pattern stretching process is not performed, and the amount of calculation applied to the CPU 21 can be reduced.
  • the CPU 21 detects the temperature around the laser light source 110 (S61).
  • the temperature detection process is performed, for example, by reading a signal output by a temperature detection element arranged near the laser light source 110 by the CPU 21. Then, the CPU 21 determines whether or not a temperature change from a predetermined temperature set in advance exceeds a predetermined threshold (S62).
  • the CPU 21 When the temperature change exceeds the predetermined threshold (S62: YES), the CPU 21 performs a process of extending the dot pattern of the reference image and the actually measured image (S23). Then, the CPU 21 performs matching processing using the reference image and the actually measured image in which the dot pattern is extended in the Y-axis direction (S24).
  • the CPU 21 proceeds to S24 without performing the dot pattern extension process. Then, the CPU 21 performs a matching process using the reference image and the actually measured image in which the dot pattern is not extended (S24).
  • the dot pattern is stretched in the Y-axis direction only when the temperature in the vicinity of the laser light source 110 changes more than a predetermined temperature. Therefore, the enlargement process is performed only when the emission wavelength of the laser light source 110 fluctuates due to the temperature change, and in the situation where it is not necessary, the dot pattern extension process is not performed, and the amount of calculation applied to the CPU 21 is reduced. Can do.
  • whether or not the dot pattern extension process is necessary is determined only by the matching error occurrence rate and in the modification example 5 only by the temperature change, the matching error occurrence rate and the temperature of the laser light source 110 are determined. By determining both of the changes, it may be determined whether or not the dot pattern extension process is necessary.
  • the dot extension process is performed on a segment area basis during the matching process. It may be broken. This increases the amount of computation required for the dot pattern stretching process, but as shown in FIGS. 15A and 15B, even if the stretching amount in the Y-axis direction is increased, the dots outside the segment area are stretched. The influence by being able to be eliminated can be eliminated.
  • all the dots included in the reference image or the actually measured image are extended in the Y-axis direction, but only a part of the dots may be extended.
  • the extension process may be performed only on the segment area and the comparison area that are likely to be shifted without performing the extension process on all the segment areas and the comparison areas.
  • the dots included in the reference image or the measured image are extended by one pixel in the Y-axis positive direction and the Y-axis negative direction, but other numbers of pixels may be used. The number of pixels may not be the same in the negative Y-axis direction.
  • the dot stretching process was performed at the time of actual measurement.
  • a dot pattern in which dots were stretched in advance was retained, and at the time of actual measurement, the dot pattern was retained in advance.
  • the matching process may be performed using the elongated dot pattern.
  • the stretched dot pattern with respect to the reference image may be held in the memory 26 together with the reference image when setting up the information acquisition apparatus 1.
  • an error is determined based on whether the difference between Rsad with the highest matching rate and Rsad with the next highest matching rate exceeds a threshold.
  • An error may be determined based on whether Rsad having the highest collation rate exceeds a predetermined threshold.
  • the pixel values of the pixels included in the segment area and the comparison area are binarized before calculating the matching rate between the segment area and the comparison area. You may match using a value as it is.
  • the pixel value obtained by the CMOS image sensor 240 is binarized as it is.
  • the pixel value is subjected to correction processing such as predetermined pixel weighting processing and background light removal processing. After performing, you may binarize.
  • the distance information is obtained using the triangulation method and stored in the memory 26.
  • the distance using the triangulation method is set.
  • the displacement amount (pixel shift amount) of the segment area may be acquired as the distance information without calculating.
  • the FMD 150 is used for the projection optical system 100, but the FMD 150 may be omitted.
  • the filter 230 is disposed to remove light in a wavelength band other than the wavelength band of the laser light irradiated to the target region.
  • light other than the laser light irradiated to the target region is used.
  • the filter 230 can be omitted.
  • the arrangement position of the aperture 210 may be between any two imaging lenses.
  • the CMOS image sensor 240 is used as the light receiving element, but a CCD image sensor can be used instead. Furthermore, the configurations of the projection optical system 100 and the light receiving optical system 200 can be changed as appropriate.
  • the information acquisition device 1 and the information processing device 2 may be integrated, or the information acquisition device 1 and the information processing device 2 may be integrated with a television, a game machine, or a personal computer.
  • DESCRIPTION OF SYMBOLS 1 Information acquisition apparatus 21 ... CPU (distance acquisition part) 21b ... Distance acquisition unit (distance acquisition unit) 24 ... Imaging signal processing circuit (distance acquisition unit) 26 ... Memory (storage unit) DESCRIPTION OF SYMBOLS 100 ... Projection optical system 110 ... Laser light source 120 ... Collimator lens 140 ... DOE (diffractive optical element) 200 ... Light receiving optical system

Abstract

イメージセンサ上において、投射光学系と受光光学系の並び方向に対して垂直な方向にドットの受光位置がずれた場合にも、適正に距離情報を取得可能な情報取得装置および物体検出装置を提供する。情報取得装置(1)は、投射光学系(100)と、受光光学系(200)と、基準画像と、実測画像とを保持するメモリ(26)と、基準画像にセグメント領域を設定し、実測画像とセグメント領域内のドットとを照合することにより、距離を取得する距離取得部(21b)と、を備える。距離取得部は、基準画像と実測画像のいずれか一方または両方のドットが投射光学系と受光光学系の並び方向に垂直な方向の一方または両方に引き延ばされたドットパターンを用いて、距離の取得を行う。これにより、垂直な方向にドットの受光位置がずれた場合にも、適正に距離情報を取得できる。

Description

物体検出装置および情報取得装置
 本発明は、目標領域に光を投射したときの反射光の状態に基づいて目標領域内の物体を検出する物体検出装置および当該物体検出装置に用いて好適な情報取得装置に関する。
 従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、2次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。かかる物体検出装置では、レーザ光源やLED(Light Emitting Diode)から、予め決められた波長帯域の光が目標領域に投射され、その反射光がCMOSイメージセンサ等の受光素子により受光される。距離画像センサとして、種々のタイプのものが知られている。
 所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサでは、ドットパターンを持つレーザ光の目標領域からの反射光が受光素子によって受光される。そして、ドットの受光素子上の受光位置に基づいて、三角測量法を用いて、検出対象物体の各部(検出対象物体上の各ドットの照射位置)までの距離が検出される(たとえば、非特許文献1)。
第19回日本ロボット学会学術講演会(2001年9月18-20日)予稿集、P1279-1280
 上記物体検出装置では、投射光学系と受光光学系が横に並ぶように配置される。この場合、通常、イメージセンサ上のドットの受光位置は、投射光学系と受光光学系の並び方向にのみ変位する。上記物体検出装置では、投射光学系と受光光学系の並び方向のドットの移動量をもとに、距離が検出される。
 しかし、イメージセンサの経時変化による取り付け位置のずれ、および光学素子の光学的な収差等の影響によって、イメージセンサ上のドットの受光位置は、投射光学系と受光光学系の並び方向に対して垂直な方向にずれが発生し得る。
 この場合、投射光学系と受光光学系の並び方向にのみドットの移動を探索すると、ドットの移動量の検出が適正に行えず、検出対象物体の各部までの距離の検出精度が劣化するとの問題が生じる。
 本発明は、この点に鑑みてなされたものであり、イメージセンサ上において、投射光学系と受光光学系の並び方向に対して垂直な方向にドットの受光位置がずれた場合にも、適正に距離情報を取得可能な情報取得装置および物体検出装置を提供することを目的とする。
 本発明の第1の態様は、光を用いて目標領域の情報を取得する情報取得装置に関する。本態様に係る情報取得装置は、目標領域に所定のドットパターンでレーザ光を投射する投射光学系と、前記投射光学系に対して所定の距離だけ横方向に離れて並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準ドットパターンと、距離測定時に目標領域を撮像して取得された実測ドットパターンとを保持する記憶部と、前記基準ドットパターンにセグメント領域を設定し、前記実測ドットパターンと前記セグメント領域内のドットとを照合することにより、前記セグメント領域に対応する前記目標領域内の位置について距離を取得する距離取得部と、を備える。前記距離取得部は、前記基準ドットパターンと前記実測ドットパターンのいずれか一方または両方の前記ドットが前記投射光学系と前記受光光学系の並び方向に垂直な方向の一方または両方に引き延ばされたドットパターンを用いて、前記距離の取得を行う。
 本発明の第2の態様は、物体検出装置に関する。本態様に係る物体検出装置は、上記第1の態様に係る情報取得装置を有する。
 本発明によれば、イメージセンサ上において、投射光学系と受光光学系の並び方向に対して垂直な方向にドットの受光位置がずれた場合にも、適正に距離情報を取得可能な情報取得装置および物体検出装置を提供することができる。
 本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
実施の形態に係る物体検出装置の構成を示す図である。 実施の形態に係る情報取得装置と情報処理装置の構成を示す図である。 実施の形態に係る投射光学系と受光光学系の外観を示す斜視図である。 実施の形態に係る目標領域に対するレーザ光の照射状態とイメージセンサ上のレーザ光の受光状態を示す図である。 実施の形態に係る参照パターンの生成方法を説明する図である。 実施の形態に係る距離検出手法を説明する図である。 実施の形態に係るイメージセンサの取り付け位置がずれた場合の状況を示す図である。 比較例に係るY軸方向にドットパターンがずれた場合のマッチング状況を示す図である。 実施の形態に係る距離検出処理の流れを示す図である。 実施の形態に係るドットパターンのY軸方向の引き延ばし処理の流れを示す図である。 実施の形態に係るY軸方向にドットパターンがずれた場合のマッチング状況を示す図である。 実施の形態および比較例に係るY方向にドットパターンがずれた場合とずれない場合のマッチング結果を示すグラフである。 変更例1に係るY軸方向にドットパターンがずれた場合のマッチングの状況を示す図である。 変更例2に係るY軸方向にドットパターンがずれた場合のマッチングの状況を示す図である。 実施の形態および変更例に係るドットパターンの引き延ばしの影響を示す図である。 変更例3に係るY軸方向にドットパターンがずれた場合のマッチングの状況を示す図である。 変更例4および変更例5に係るドットパターンのY軸方向の引き延ばし処理の流れを示す図である。
 以下、本発明の実施の形態につき図面を参照して説明する。本実施の形態には、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの情報取得装置が例示されている。
 まず、図1に本実施の形態に係る物体検出装置の概略構成を示す。図示の如く、物体検出装置は、情報取得装置1と、情報処理装置2とを備えている。テレビ3は、情報処理装置2からの信号によって制御される。
 情報取得装置1は、目標領域全体に赤外光を投射し、その反射光をCMOSイメージセンサにて受光することにより、目標領域にある物体各部の距離(以下、「3次元距離情報」という)を取得する。取得された3次元距離情報は、ケーブル4を介して情報処理装置2に送られる。
 情報処理装置2は、たとえば、テレビ制御用のコントローラやゲーム機、パーソナルコンピュータ等である。情報処理装置2は、情報取得装置1から受信した3次元距離情報に基づき、目標領域における物体を検出し、検出結果に基づきテレビ3を制御する。
 たとえば、情報処理装置2は、受信した3次元距離情報に基づき人を検出するとともに、3次元距離情報の変化から、その人の動きを検出する。たとえば、情報処理装置2がテレビ制御用のコントローラである場合、情報処理装置2には、受信した3次元距離情報からその人のジェスチャを検出するとともに、ジェスチャに応じてテレビ3に制御信号を出力するアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定のジェスチャをすることにより、チャンネル切り替えやボリュームのUp/Down等、所定の機能をテレビ3に実行させることができる。
 また、たとえば、情報処理装置2がゲーム機である場合、情報処理装置2には、受信した3次元距離情報からその人の動きを検出するとともに、検出した動きに応じてテレビ画面上のキャラクタを動作させ、ゲームの対戦状況を変化させるアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定の動きをすることにより、自身がテレビ画面上のキャラクタとしてゲームの対戦を行う臨場感を味わうことができる。
 図2は、情報取得装置1と情報処理装置2の構成を示す図である。
 情報取得装置1は、光学部の構成として、投射光学系100と受光光学系200とを備えている。投射光学系100と受光光学系200は、X軸方向に並ぶように、情報取得装置1に配置される。
 投射光学系100は、レーザ光源110と、コリメータレンズ120と、リーケージミラー130と、回折光学素子(DOE:Diffractive Optical Element)140と、FMD(FrontMonitor Diode)150とを備えている。また、受光光学系200は、アパーチャ210と、撮像レンズ220と、フィルタ230と、CMOSイメージセンサ240とを備えている。この他、情報取得装置1は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、PD信号処理回路23と、撮像信号処理回路24と、入出力回路25と、メモリ26を備えている。
 レーザ光源110は、受光光学系200から離れる方向(X軸負方向)に波長830nm程度の狭波長帯域のレーザ光を出力する。コリメータレンズ120は、レーザ光源110から出射されたレーザ光を平行光から僅かに広がった光(以下、単に「平行光」という)に変換する。
 リーケージミラー130は、誘電体薄膜の多層膜からなり、反射率が100%よりも若干低く、透過率が反射率よりも数段小さくなるように膜の層数や膜厚が設計されている。リーケージミラー130は、コリメータレンズ120側から入射されたレーザ光の大部分をDOE140に向かう方向(Z軸方向)に反射し、残りの一部分をFMD150に向かう方向(X軸負方向)に透過する。
 DOE140は、入射面に回折パターンを有する。この回折パターンによる回折作用により、DOE140に入射したレーザ光は、略3万個のドットパターンのレーザ光に変換されて、目標領域に照射される。回折パターンは、たとえば、ステップ型の回折ホログラムが所定のパターンで形成された構造とされる。回折ホログラムは、コリメータレンズ120により平行光とされたレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。
 DOE140は、リーケージミラー130から入射されたレーザ光を、放射状に広がるドットパターンのレーザ光として、目標領域に照射する。ドットパターンの各ドットの大きさは、DOE140に入射する際のレーザ光のビームサイズに応じたものとなる。
 FMD150は、リーケージミラー130を透過したレーザ光を受光し、受光量に応じた電気信号を出力する。
 目標領域から反射されたレーザ光は、アパーチャ210を介して撮像レンズ220に入射する。
 アパーチャ210は、撮像レンズ220のFナンバーに合うように、外部からの光に絞りを掛ける。撮像レンズ220は、アパーチャ210を介して入射された光をCMOSイメージセンサ240上に集光する。フィルタ230は、レーザ光源110の出射波長(830nm程度)を含む赤外の波長帯域の光を透過し、可視光の波長帯域をカットするIRフィルタ(Infrared Filter)である。
 CMOSイメージセンサ240は、撮像レンズ220にて集光された光を受光して、画素毎に、受光量に応じた信号(電荷)を撮像信号処理回路24に出力する。ここで、CMOSイメージセンサ240は、各画素における受光から高レスポンスでその画素の信号(電荷)を撮像信号処理回路24に出力できるよう、信号の出力速度が高速化されている。
 CPU21は、メモリ26に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU21には、レーザ光源110を制御するためのレーザ制御部21aと、3次元距離情報を生成するための距離取得部21bの機能が付与される。
 レーザ駆動回路22は、CPU21からの制御信号に応じてレーザ光源110を駆動する。PD信号処理回路23は、FMD150から出力された受光量に応じた電圧信号を増幅およびデジタル化してCPU21に出力する。CPU21は、PD信号処理回路23から供給される信号をもとに、レーザ制御部21aによる処理によって、レーザ光源110の光量を増幅もしくは減少させる判断を行う。レーザ光源110の光量を変化させる必要があると判断された場合、レーザ制御部21aは、レーザ光源110の発光量を変化させる制御信号をレーザ駆動回路22に送信する。これにより、レーザ光源110から出射されるレーザ光のパワーが略一定に制御される。
 撮像信号処理回路24は、CMOSイメージセンサ240を制御して、CMOSイメージセンサ240で生成された各画素の信号(電荷)をライン毎に順次取り込む。そして、取り込んだ信号を順次CPU21に出力する。CPU21は、撮像信号処理回路24から供給される信号(撮像信号)をもとに、情報取得装置1から検出対象物の各部までの距離を、距離取得部21bによる処理によって算出する。入出力回路25は、情報処理装置2とのデータ通信を制御する。
 情報処理装置2は、CPU31と、入出力回路32と、メモリ33を備えている。なお、情報処理装置2には、同図に示す構成の他、テレビ3との通信を行うための構成や、CD-ROM等の外部メモリに格納された情報を読み取ってメモリ33にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
 CPU31は、メモリ33に格納された制御プログラム(アプリケーションプログラム)に従って各部を制御する。かかる制御プログラムによって、CPU31には、画像中の物体を検出するための物体検出部31aの機能が付与される。かかる制御プログラムは、たとえば、図示しないドライブ装置によってCD-ROMから読み取られ、メモリ33にインストールされる。
 たとえば、制御プログラムがゲームプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動きを検出する。そして、検出された動きに応じてテレビ画面上のキャラクタを動作させるための処理が制御プログラムにより実行される。
 また、制御プログラムがテレビ3の機能を制御するためのプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動き(ジェスチャ)を検出する。そして、検出された動き(ジェスチャ)に応じて、テレビ3の機能(チャンネル切り替えやボリューム調整、等)を制御するための処理が制御プログラムにより実行される。
 入出力回路32は、情報取得装置1とのデータ通信を制御する。
 図3は、投射光学系100と受光光学系200の設置状態を示す斜視図である。
 投射光学系100と受光光学系200は、ベースプレート300に配置される。投射光学系100を構成する光学部材は、ハウジング100aに設置され、このハウジング100aがベースプレート300上に設置される。これにより、投射光学系100がベースプレート300上に配置される。150a、240aは、それぞれ、FMD150、CMOSイメージセンサ240からの信号を回路基板(図示せず)に供給するためのFPC(フレキシブルプリント基板)である。
 受光光学系200を構成する光学部材は、ホルダ200aに設置され、このホルダ200aが、ベースプレート300の背面からベースプレート300に取りつけられる。これにより、受光光学系200がベースプレート300に配置される。なお、受光光学系200は、Z軸方向に光学部材が並ぶため、投射光学系100と比べ、Z軸方向の高さが高くなっている。ベースプレート300は、Z軸方向の高さを抑えるために、受光光学系200の配置位置周辺がZ軸方向に一段高くなっている。
 図3に示す設置状態において、投射光学系100の射出瞳と受光光学系200の入射瞳の位置は、Z軸方向において、略一致する。また、投射光学系100と受光光学系200は、投射光学系100の投射中心と受光光学系200の撮像中心がX軸に平行な直線上に並ぶように、X軸方向に所定の距離をもって並んで設置される。
 投射光学系100と受光光学系200の設置間隔は、情報取得装置1と目標領域の基準面との距離に応じて、設定される。どの程度離れた目標物を検出対象とするかによって、基準面と情報取得装置1との間の距離が変わる。検出対象の目標物までの距離が近くなるほど、投射光学系100と受光光学系200の設置間隔は狭くなる。逆に、検出対象の目標物までの距離が遠くなるほど、投射光学系100と受光光学系200の設置間隔は広くなる。
 図4(a)は、目標領域に対するレーザ光の照射状態を模式的に示す図、図4(b)は、CMOSイメージセンサ240におけるレーザ光の受光状態を模式的に示す図である。なお、同図(b)には、便宜上、目標領域に平坦な面(スクリーン)とスクリーンの前に人物が存在するときの受光状態が示されている。
 図4(a)に示すように、投射光学系100からは、ドットパターンを持ったレーザ光(以下、このパターンを持つレーザ光の全体を「DP光」という)が、目標領域に照射される。図4(a)には、DP光の光束領域が実線の枠によって示されている。DP光の光束中には、DOE140による回折作用によってレーザ光の強度が高められたドット領域(以下、単に「ドット」という)が、DOE140による回折作用によるドットパターンに従って点在している。
 目標領域に平坦な面(スクリーン)が存在すると、これにより反射されたDP光は、図4(b)のように、CMOSイメージセンサ240上に分布する。
 図4(b)には、CMOSイメージセンサ240上のDP光の全受光領域が破線の枠によって示され、CMOSイメージセンサ240の撮像有効領域に入射するDP光の受光領域が実線の枠によって示されている。CMOSイメージセンサ240の撮像有効領域は、CMOSイメージセンサ240がDP光を受光した領域のうち、センサとして信号を出力する領域であり、たとえば、VGA(640画素×480画素)のサイズである。また、同図(a)に示す目標領域上におけるDt0の光は、CMOSイメージセンサ240上では、同図(b)に示すDt’0の位置に入射する。スクリーンの前の人物の像は、CMOSイメージセンサ240上では、上下左右が反転して撮像される。
 ここで、図5、図6を参照して、上記距離検出の方法を説明する。
 図5は、上記距離検出手法に用いられる参照パターンの設定方法を説明する図である。
 図5(a)に示すように、投射光学系100から所定の距離Lsの位置に、Z軸方向に垂直な平坦な反射平面RSが配置される。出射されたDP光は、反射平面RSによって反射され、受光光学系200のCMOSイメージセンサ240に入射する。これにより、CMOSイメージセンサ240から、撮像有効領域内の画素毎の電気信号が出力される。出力された画素毎の電気信号の値(画素値)は、図2のメモリ26上に展開される。以下、反射面RSからの反射によって得られた全画素値からなる画像を、「基準画像」、反射面RSを「基準面」と称する。そして、図5(b)に示すように、基準画像上に、「参照パターン領域」が設定される。なお、図5(b)には、CMOSイメージセンサ240の背面側から受光面をZ軸正方向に透視した状態が図示されている。図6以降の図においても同様である。
 こうして設定された参照パターン領域に対して、所定の大きさを有する複数のセグメント領域が設定される。セグメント領域の大きさは、得られる距離情報による物体の輪郭抽出精度とCPU21に対する距離検出の演算量の負荷を考慮して決定される。
 図5(c)を参照して、参照パターン領域に設定されるセグメント領域について説明する。なお、図5(c)には、便宜上、各セグメント領域の大きさが7画素×7画素で示され、各セグメント領域の中央の画素が×印で示されている。
 セグメント領域は、図5(c)に示すように、隣り合うセグメント領域が参照パターン領域に対してX軸方向およびY軸方向に1画素間隔で並ぶように設定される。すなわち、あるセグメント領域は、このセグメント領域のX軸方向およびY軸方向に隣り合うセグメント領域に対して1画素ずれた位置に設定される。このとき、各セグメント領域には、固有のパターンでドットが点在する。よって、セグメント領域内の画素値のパターンは、セグメント領域毎に異なっている。隣り合うセグメント領域の間隔が狭いほど、参照パターン領域内に含まれるセグメント領域の数が多くなり、目標領域の面内方向(X-Y平面方向)における距離検出の分解能が高められる。
 こうして、CMOSイメージセンサ240上における参照パターン領域の位置に関する情報と、参照パターン領域に含まれる全画素の画素値(参照パターン)と、参照パターン領域に対して設定されるセグメント領域の情報が、図2のメモリ26に記憶される。メモリ26に記憶されるこれらの情報を、以下、「参照テンプレート」と称する。
 図2のCPU21は、投射光学系100から検出対象物体の各部までの距離を算出する際に、参照テンプレートを参照する。CPU21は、距離を算出する際に、参照テンプレートから得られる各セグメント領域内のドットパターンのずれ量に基づいて、物体の各部までの距離を算出する。
 たとえば、図5(a)に示すように距離Lsよりも近い位置に物体がある場合、参照パターン上の所定のセグメント領域Snに対応するDP光(DPn)は、物体によって反射され、セグメント領域Snとは異なる領域Sn’に入射する。投射光学系100と受光光学系200はX軸方向に隣り合っているため、セグメント領域Snに対する領域Sn’の変位方向はX軸に平行となる。図5(a)の場合、物体が距離Lsよりも近い位置にあるため、領域Sn’は、セグメント領域Snに対してX軸正方向に変位する。物体が距離Lsよりも遠い位置にあれば、領域Sn’は、セグメント領域Snに対してX軸負方向に変位する。
 セグメント領域Snに対する領域Sn’の変位方向と変位量をもとに、投射光学系100からDP光(DPn)が照射された物体の部分までの距離Lrが、距離Lsを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系100からの距離が算出される。かかる算出手法の詳細は、たとえば、上記非特許文献1(第19回日本ロボット学会学術講演会(2001年9月18-20日)予稿集、P1279-1280)に示されている。
 かかる距離算出では、参照テンプレートのセグメント領域Snが、実測時においてどの位置に変位したかを検出する。この検出は、実測時にCMOSイメージセンサ240上に照射されたDP光から得られたドットパターンと、セグメント領域Snに含まれるドットパターンとを照合することによって行われる。以下、実測時にCMOSイメージセンサ240上の撮像有効領域に照射されたDP光から得られた全画素値からなる画像を、「実測画像」と称する。実測時のCMOSイメージセンサ240の撮像有効領域は、基準画像取得時と同様に、たとえば、VGA(640画素×480画素)のサイズである。
 図6(a)~(e)は、かかる距離検出の手法を説明する図である。図6(a)は、CMOSイメージセンサ240上における基準画像に設定された参照パターン領域を示す図であり、図6(b)は、実測時のCMOSイメージセンサ240上の実測画像を示す図であり、図6(c)~(e)は、実測画像に含まれるDP光のドットパターンと、参照テンプレートのセグメント領域に含まれるドットパターンとの照合方法を説明する図である。なお、図6(a)、(b)は、便宜上、一部のセグメント領域のみが示されている。また、図6(b)の実測画像には、便宜上、図4(b)のように、検出対象物体として基準面より前に人物が存在しており、人物の像が写り込んでいることが示されている。
 図6(a)のセグメント領域Siの実測時における変位位置を探索する場合、図6(b)に示すように、実測画像上に、セグメント領域Siに対して探索範囲Riが設定される。探索範囲Riは、X軸方向に所定の幅を持っている。セグメント領域Siが探索範囲Riにおいて1画素ずつX軸方向に送られ、各送り位置において、セグメント領域Siのドットパターンと実測画像上のドットパターンとが比較される。以下、実測画像上の各送り位置に対応する領域を、「比較領域」と称する。探索範囲Riには、セグメント領域Siと同じサイズの比較領域が複数設定され、X軸方向に隣り合う比較領域は互いに1画素ずれている。
 探索範囲Riは、検出対象物体が基準面よりも情報取得装置1に離れる方向、および近づく方向にどの程度の距離を検出可能な範囲とするかによって決定される。図6中では、基準画像上のセグメント領域Siの画素位置に対応する実測画像上の画素位置から、X軸負方向にx画素ずれた位置からX軸正方向にx画素ずれた位置の範囲が探索範囲Riに設定されている。
 比較領域においてセグメント領域SiをX軸方向に1画素ずつ送りながら、各送り位置において、参照テンプレートに記憶されているセグメント領域Siのドットパターンと、実測画像のDP光のドットパターンのマッチング度合いが求められる。このようにセグメント領域Siを探索範囲Ri内においてX軸方向にのみ送るのは、上記のように、通常、参照テンプレートにより設定されたセグメント領域のドットパターンは、実測時において、X軸方向の所定の範囲内でのみ変位するためである。
 なお、実測時には、検出対象物体の位置によっては、セグメント領域に対応するドットパターンが実測画像からX軸方向にはみ出すことが起こり得る。たとえば、参照パターン領域のX軸負側のセグメント領域S1に対応するドットパターンが、基準面よりも遠距離の物体に反射された場合、セグメント領域S1に対応するドットパターンは、実測画像よりもX軸負方向に位置づけられる。この場合、セグメント領域に対応するドットパターンは、CMOSイメージセンサ240の撮像有効領域内にないため、この領域については、適正にマッチングすることができない。しかし、このような端の領域以外については、適正にマッチングすることができるため、物体の距離検出への影響は少ない。
 なお、端の領域についても、適正にマッチングする場合には、実測時のCMOSイメージセンサ240の撮像有効領域を、基準画像取得時のCMOSイメージセンサ240の撮像有効領域よりも、大きくすることができるものを用いればよい。たとえば、基準画像取得時において、VGA(640画素×480画素)のサイズで撮像有効領域が設定された場合、実測時においては、それよりもX軸正方向およびX軸負方向に30画素分大きいサイズで撮像有効領域を設定する。これにより、実測画像が基準画像よりも大きくなるが、端の領域についても、適正にマッチングすることができる。
 上記マッチング度合いの検出時には、まず、参照パターン領域の各画素の画素値と実測画像の各セグメント領域の各画素の画素値が2値化されて、メモリ26に保持される。たとえば、基準画像および実測画像の画素値が8ビットの階調の場合、0~255の画素値のうち、所定の閾値以上の画素が、画素値1に、所定の閾値未満の画素が、画素値0に変換されて、メモリ26に保持される。その後、比較領域とセグメント領域Siとの間の類似度が求められる。すなわち、セグメント領域Siの各画素の画素値と、比較領域に対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域の全ての画素について加算した値Rsadが、類似度を示す値として取得される。
 たとえば、図6(c)のように、一つのセグメント領域中に、m列×n行の画素が含まれている場合、セグメント領域のi列、j行の画素の画素値T(i,j)と、比較領域のi列、j行の画素の画素値I(i,j)との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、図6(c)に示す式の値Rsadが求められる。値Rsadが小さい程、セグメント領域と比較領域との間の類似度が高い。
 こうして、図6(d)に示すように、セグメント領域Siについて、探索範囲Riの全ての比較領域に対して値Rsadが求められる。図6(e)は、探索範囲Riの各送り位置における値Rsadの大小が模式的に示されたグラフである。セグメント領域Siについて、探索範囲Riの全ての比較領域に対して値Rsadが求められると、まず、求めた値Rsadの中から、最小値Bt1が参照される。次に、求めた値Rsadの中から、2番目に小さい値Bt2が参照される。最小値Bt1と2番目に小さい値Bt2の位置が2画素以上離れた位置であり、かつ、その差分値Esが閾値未満であれば、セグメント領域Siの探索はエラーとされる。他方、差分値Esが閾値以上であれば、最小値Bt1に対応する比較領域Ciが、セグメント領域Siの移動領域と判定される。たとえば、図6(d)のように、比較領域Ciは、基準画像上のセグメント領域Siの画素位置と同位置の実測画像上の画素位置Si0よりもX軸正方向にα画素ずれた位置で検出される。これは、基準面よりも近い位置に存在する検出対象物体(人物)によって、実測画像上のDP光のドットパターンが基準画像上のセグメント領域SiよりもX軸正方向に変位したためである。
 こうして、実測時に取得されたDP光のドットパターンから、各セグメント領域の変位位置が探索されると、上記のように、その変位位置に基づいて、三角測量法により、各セグメント領域に対応する検出対象物体の部位までの距離が求められる。
 このようにして、セグメント領域S1~セグメント領域Snまで全てのセグメント領域について、上記同様のセグメント領域の探索が行われる。
 ところで、上述のように、通常、実測時において反射されたドットパターンは、X軸方向のみにずれる。しかし、CMOSイメージセンサ240の経時変化による取り付け位置のずれ、およびDOE140の光学的な収差等の影響によって、ドットパターンの受光位置がY軸方向にずれることが起こり得る。
 図7は、経時変化によって、CMOSイメージセンサ240の取り付け位置がずれた場合の状況を示す図である。
 図7(a)には、基準画像取得時におけるCMOSイメージセンサ240と、DP光が撮像された基準画像の理想的な状態が示されている。基準画像取得時において、CMOSイメージセンサ240は、上下端が、X軸に対して平行、かつ、左右端が、Y軸に対して平行になるように取り付けられている。
 図7(b)には、実測画像取得時におけるCMOSイメージセンサ240と、DP光が撮像された実測画像の関係が経時変化等により不適正となった状態が示されている。実測画像取得時において、CMOSイメージセンサ240は、図7(a)の場合に比べて、XY平面の面内方向に対して傾いている。
 このように、DP光の照射位置は変わらず、CMOSイメージセンサ240の取り付け位置が傾くと、CMOSイメージセンサ240に対するDP光の入射位置がY軸方向に対してもずれることとなる。
 たとえば、図7(c)に示すように、基準画像取得時において、9画素×9画素のセグメント領域S1に対して、6つのドットが入射している。実測画像取得時において、CMOSイメージセンサ240の取り付け位置が傾いていない場合、図7(d)に示すように、セグメント領域S1に対応する比較領域C1においても、同様の位置に6つのドットが入射する。しかし、CMOSイメージセンサ240の取り付け位置が傾くと、CMOSイメージセンサ240に対するドットパターンの入射位置がX軸方向およびY軸方向にずれ、たとえば、比較領域C’1のように、Y軸正方向に1画素ずれた位置に入射する。このような角度ずれは、X軸正方向またはX軸負方向に離れるほど、Y軸方向のずれ量が大きくなり、端の位置において、1画素以内のずれに抑えるのは、困難である。
 このように、セグメント領域S1のドットパターンの入射位置と、セグメント領域S1に対応する比較領域C’1の入射位置がY軸方向にずれると、セグメント領域の探索は、上述のように、X軸方向にずらして行われるため、正常にマッチングすることができなくなる。
 図8は、比較例におけるY軸正方向にドットパターンが1画素ずれた場合のマッチング状況を模式的に示す図である。
 比較例では、CMOSイメージセンサ240上に検出されたドットパターンをそのまま用いて、上記距離検出の手法が行われる。
 図8(a)は、セグメント領域におけるドットの検出状況、および、当該セグメント領域に対応する位置の比較領域におけるドットの検出状況を示す図である。また、図8(b)は、図8(a)のセグメント領域と比較領域とが重なったときのマッチング状況を示す図、図8(c)は、図8(b)の状態からセグメント領域が1画素ずれたときのマッチング状況を示す図である。図中、それぞれ、セグメント領域が実線で囲まれ、比較領域が破線で囲まれて示されている。また、図示のごとく、セグメント領域に含まれるドットを示す画素と、比較領域に含まれるドットを示す画素と、比較領域に含まれるドットにマッチングされたドットを示す画素がハッチングで示されている。なお、比較領域に含まれるドットは、基準面と同位置にある物体によって反射されたものである。
 図8(a)に示すように、セグメント領域には、6つのDP光のドットが入射している。6つのうち、中央の2つのDP光のドットは、CMOSイメージセンサ240上の画素をY軸方向に跨ぐように入射しているため、Y軸方向に2画素においてドットが検出されている。なお、1つのDP光のドットが2つの画素を跨ぐように入射した場合、CMOSイメージセンサ240から出力される信号は、1つの画素に入射した場合よりも、小さくなるが、前述したように、2値化されることによって、それぞれ、他のドットと同等のドットとして扱われる。他方、セグメント領域に対応する比較領域のドットは、Y軸正方向に1画素ずれて検出されている。このように、セグメント領域と比較領域では、それぞれ、8画素分のドットが検出されている。
 図8(b)を参照して、セグメント領域と比較領域とが重なった状況では、中央付近の2画素のドットのみがマッチングされている。それ以外のドットが検出された画素においては、比較領域のドットがY軸負方向にずれているため、マッチングされない。したがって、差分値(Rsad)は、12となる。
 他方、図8(c)を参照して、セグメント領域が比較領域に対して1画素ずれた状況では、全てのドットがマッチングされていない。したがって、差分値(Rsad)は、最も高い16となる。
 このように、ドットがY軸方向にずれて検出されると、通常、マッチングされるべき図8(b)の位置において、他の画素ずれ量の位置における差分値(Rsad)との差が大きくならず、マッチングがエラーとなりやすい。なお、比較例では、セグメント領域の中央の2つのDP光のドットが、画素を跨いで入射したため、2画素分のドットがマッチングされたが、すべてのドットが画素を跨がず入射し、一つのドットもマッチングしないことも起こり得る。
 そこで、本実施の形態では、あらかじめ、CMOSイメージセンサ240に検出されたドットパターンをY軸方向に引き延ばした状態でマッチング処理を実行する。
 図9は、本実施の形態における距離検出処理の流れを示す図である。
 図9(a)は、参照テンプレート生成処理の流れを示す図である。これらの処理は、情報取得装置1のセットアップ時に、設定者によって設定装置を用いて行われる。
 参照テンプレート生成処理時には、まず、基準面のみが配置された状態で反射されたDP光を撮像し、基準画像を取得する(S11)。そして、設定装置は、CMOSイメージセンサ240から得られた基準画像の2値化処理を行う(S12)。これにより、基準画像は、ドットの有無が0と1で表現された画像となる。そして、設定装置は、上述の如く、2値化された基準画像上に、セグメント領域が設定し、参照テンプレートを生成する(S13)。生成された参照テンプレートは、図2のメモリ26に消去不可能な状態で記憶される。こうしてメモリ26に記憶された参照テンプレートは、距離検出する際にCPU21により参照される。
 図9(b)は、距離検出時の処理の流れを示す図である。これらの処理は、距離検出時に、情報取得装置1のCPU21の距離取得部21bによって行われる。
 距離検出時には、まず、目標領域から反射されたDP光を撮像し、実測画像を取得する(S21)。そして、CPU21は、基準画像と同様に、実測画像の2値化処理を行う(S22)。これにより、実測画像は、基準画像同様、ドットの有無が0と1で表現された画像となる。そして、CPU21は、参照テンプレートに含まれる2値化された基準画像と、2値化された実測画像のドットパターンの引き延ばし処理を行う(S23)。
 図10は、図9(b)のS23におけるドットパターンの引き延ばし処理の流れを示す図である。図10の処理は、基準画像のドットパターンと実測画像のドットパターンに対して並行して行われる。
 まず、CPU21は、0と1で表現された基準画像および実測画像のドットパターン(2値化信号)をm行×n列の2次元配列Arに読み込む(S201)。それぞれ、行数が大きくなる方向が、図8(a)に示すY軸正方向に相当し、列数が大きくなる方向が、図8(a)に示すX軸正方向に相当する。なお、基準画像および実測画像は、上述のごとく、VGAサイズであり、640行×480列の2次元配列に読み込まれる。
 次に、CPU21は、行の位置を示す変数iに1をセットし(S202)、列の位置を示す変数jに1をセットする(S203)。そして、配列Ar(i、j)に対応する画素にドットが存在するかを判断する(S204)。基準画像および実測画像を読み込んだ配列Ar(i、j)には、ドットの有無に応じて、0または1の値が格納されており、1が格納されている場合、その位置に対応する画素には、ドットが存在する。S204では、配列Ar(i、j)の値が1であるかが判断される。
 配列Ar(i、j)の位置に対応する画素にドットが存在する場合(S204:YES)、配列Ar(i、j)の一つ上(Y軸負方向)の行の配列Ar(i-1、j)に対応する画素にドットが存在するかを判断する(S205)。配列Ar(i-1、j)に対応する画素にドットが存在しない場合(S205:NO)、処理をS206に進める。配列Ar(i、j)の一つ上の行に対応する画素にドットが存在する場合(S205:YES)、処理をS207に進める。
 配列Ar(i、j)の一つ上の行に対応する画素にドットが存在しない場合(S205:NO)、CPU21は、配列Ar(i-1、j)の位置に対応する画素にドットを設定する(S206)。すなわち、配列Ar(i-1、j)に1を格納する。そして、配列Ar(i、j)の一つ下(Y軸正方向)の行の配列Ar(i+1、j)に対応する画素にドットが存在するかを判断する(S207)。
 配列Ar(i、j)の一つ下の行の配列Ar(i+1、j)に対応する画素にドットが存在する場合(S207:YES)、処理をS209に進める。配列Ar(i、j)の一つ下の行の配列Ar(i+1、j)に対応する画素にドットが存在しない場合(S207:NO)、CPU21は、配列Ar(i+1、j)の位置に対応する画素にドットを設定する(S208)。すなわち、配列Ar(i+1、j)に1を格納する。
 そして、CPU21は、列を示す変数jが最後のm列であるかを判断する(S209)。変数jがmでない場合(S209:NO)、CPU21は、変数jに1を加算し(S210)、処理をS204に戻す。変数jがmである場合(S209:YES)、CPU21は、行を示す変数iが最後のn行であるかを判断する(S211)。
 変数iがnでない場合(S211:NO)、CPU21は、変数iに1を加算し(S212)、処理をS203に戻す。変数iがnである場合(S211:YES)、CPU21は、更新された配列Arを基準画像および実測画像の更新ドットパターンとしてメモリ26に記憶する(S213)。
 このようにして、基準画像および実測画像に含まれるドットパターンがY軸正方向およびY軸負方向に1画素ずつ引き延ばされてメモリ26に記憶される。
 図9(b)に戻り、CPU21は、S23によりY軸正方向およびY軸負方向に1画素ずつ引き延ばされた基準画像および実測画像を用いて、上記距離検出手法のマッチング処理を行う(S24)。
 図11は、本実施の形態におけるY軸正方向にドットパターンが1画素ずれた場合のマッチング状況を模式的に示す図である。
 図11(a)は、セグメント領域と、当該セグメント領域に対応する位置の比較領域に対して上記ドットパターンの引き延ばし処理を行ったときのドットの分布状況を示す図である。また、図11(b)は、セグメント領域と当該比較領域とが重なったときのマッチング状況を示す図、図11(c)は、図11(b)の状態からセグメント領域が1画素だけずれたときのマッチング状況を示す図である。
 図11(a)に示すように、セグメント領域および比較領域のドットは、図8(a)の場合に比べて、Y軸正方向およびY軸負方向に1画素ずつ引き延ばされている。中央の2つのDP光のドットは、検出されたドット間の間隔が1画素のため、1画素のみが引き延ばされている。このように、セグメント領域および比較領域には、それぞれ19画素分のドットが分布している。
 図11(b)を参照して、セグメント領域と比較領域とが重なったときのマッチング状況では、セグメント領域および比較領域のドットがY軸方向に1画素ずつ引き延ばされることにより、比較例の場合よりも、マッチングされるドットが多い。比較領域において、引き延ばし前のドットパターンは、Y軸正方向に1画素ずれているため、セグメント領域の引き延ばし前のドットと、このドットに対してY軸正方向に1画素延ばされた部分のドットの2画素分のドットが、比較領域の2画素分のドットとマッチングされる。他方、セグメント領域のドットのうち、引き延ばし前のドットに対してY軸負方向に引き延ばされたドットは、比較領域のドットとマッチングしない。したがって、図11(b)の状態では、差分値(Rsad)は、10となり、比較例における差分値(Rsad)(=12)よりもやや小さくなる。
 図11(c)を参照して、セグメント領域が1画素ずれたマッチング状況では、全てのドットがマッチングされていない。セグメント領域および比較領域のドットがY軸正方向およびY軸負方向に1画素ずつ引き延ばされているため、差分値(Rsad)は、比較例の場合の差分値(Rsad)(=16)よりもかなり高い36となる。
 このように、ドットがY軸正方向およびY軸負方向に1画素ずつ引き延ばされることにより、引き延ばされたドットのうち、少なくとも一部のドットがマッチングされやすくなる。たとえば、図示の如く、実測時において、ドットがY軸正方向またはY軸負方向に1画素ずれたとしても、少なくとも2画素分のドットがマッチングされる。また、実測時において、ドットがY軸正方向またはY軸負方向に2画素ずれたとしても、少なくとも1画素分のドットがマッチングされる。
 また、ドットが引き延ばされることにより、セグメント領域および比較領域内に含まれるドットの数が多くなり、セグメント領域と、これに対応する比較領域以外の比較領域とが重なったときの差分値(Rsad)が大きくなる。したがって、セグメント領域とこれに対応する比較領域とが重なったときの差分値(Rsad)が、他の比較領域にセグメント領域が重なったときの差分値(Rsad)よりも相対的に小さくなる。
 図12は、本願発明者らが本実施の形態の効果を確認するシミュレーションを行った結果を示すグラフである。シミュレーションでは、基準画像取得時において、15画素×15画素のセグメント領域内に15個のDP光のドットが所定のパターンで照射されるとの設定となっている。またシミュレーションでは、実測時において、全てのドットが基準画像取得時の位置から縦方向(Y軸正方向)に1画素ずれた状態で検出されたとの条件(縦画素ずれあり)と、全てのドットが縦方向にずれていない状態で検出された条件(縦画素ずれなし)とにおいて、それぞれ、差分値(Rsad)が求められている。また、シミュレーションでは、実測画像上のセグメント領域に対応する領域を画素ずれ量0とし、この領域からX軸正負の方向に画素ずれ量が-5~+5の範囲でマッチングの探索を行ったときの差分値(Rsad)が求められている。なお、シミュレーションでは、基準面と同位置に検出対象物があることが想定されている。
 図12(a)は、上記のように、Y軸正方向およびY軸負方向に1画素分ドットが引き延ばされたドットパターンを用いたマッチング結果を示すグラフ、図12(b)は、比較例のように、Y軸正方向およびY軸負方向にドットを引き延ばさないときのマッチング結果を示すグラフである。それぞれ、測定されたドットパターンに縦方向(Y軸方向)の画素ずれがある場合のグラフが実線で示され、縦方向(Y軸方向)の画素ずれがない場合のグラフが破線で示されている。横軸は、X軸方向における探索範囲を画素ずれ量として示し、縦軸は、各探索位置における差分値(Rsad)を示している。
 図12(a)の破線グラフを参照して、縦方向(Y軸方向)の画素ずれがない場合、画素ずれ量0以外の位置では、セグメント領域および比較領域のドットがY軸正方向およびY軸負方向に1画素引き延ばされることにより、差分値(Rsad)は、60~100の高い値となっている。また、画素ずれ量0の位置では、全てのドットがマッチングし、差分値(Rsad)は、0である。この場合、差分値(Rsad)の最小値は0であり、2番目に小さい差分値(Rsad)は、略60となるため、それぞれの差分が十分に大きくなり、適正にマッチングされる。
 次に、図12(a)の実線グラフを参照して、実測時において、ドットが縦方向(Y軸負方向)に1画素ずれた場合、画素ずれ量0以外の位置では、上記同様、ドットが引き延ばされることにより、差分値(Rsad)は、60~100の高い値となっている。また、画素ずれ量0の位置では、セグメント領域および比較領域のドットがY軸正負方向に1画素引き延ばされることにより、少なくとも、1部のドットがマッチングし、差分値(Rsad)は、略30である。この場合、差分値(Rsad)の最小値は略30であり、2番目に小さい差分値(Rsad)は、略60となり、それぞれの差分は、十分に大きくなっている。したがって、実測時において、ドットが縦方向(Y軸方向)にずれたとしても、適正にマッチングされることがわかる。
 また、図12(b)の破線グラフを参照して、比較例において、縦方向(Y軸方向)の画素ずれがない場合、画素ずれ量0以外の位置では、差分値(Rsad)は、20~30の値となっている。また、画素ずれ量0の位置では、全てのドットがマッチングし、差分値(Rsad)は、0である。この場合、上記同様、差分値(Rsad)の最小値と、2番目に小さい差分値(Rsad)との差が十分に大きいため、適正にマッチングされる。
 次に、図12(b)の実線グラフを参照して、比較例において、実測時にドットが縦方向(Y軸負方向)に1画素ずれた場合、画素ずれ量0以外の位置では、差分値(Rsad)は、20~30の値となっている。また、画素ずれ量0の位置では、比較領域のドットが縦方向(Y軸負方向)に1画素ずれることにより、ほぼマッチングされるドットはなく、差分値(Rsad)は、略30となっている。したがって、比較例では、実測時において、ドットが縦方向(Y軸方向)にずれた場合、適正にマッチすることができず、距離検出がエラーとなることがわかる。
 このように、本実施の形態では、実測時のドットが正規の位置から縦方向(Y軸方向)にずれたとしても、ドットが縦方向(Y軸方向)に引き延ばされるため、セグメント領域とこれに対応する比較領域とが重なったとき(画素ずれ量=0)は、少なくとも、一部のドットがマッチングされ、差分値(Rsad)は、大きくならない。また、セグメント領域に対応しない比較領域にセグメント領域が重なったとき(画素ずれ量≠0)には、差分値(Rsad)がかなり大きくなる。したがって、本実施の形態では、実測時において、ドットが縦方向(Y軸方向)にずれたとしても、適正にマッチング検出を行うことができる。
 以上、本実施の形態によれば、基準画像および実測画像のドットパターンがY軸正方向およびY軸負方向に引き延ばされた状態でマッチングされるため、実測時において、ドットの受光位置がY軸正方向またはY軸負方向にずれても、適正に距離を検出することができる。
 また、本実施の形態によれば、実測時におけるドットの照射位置がY軸方向にずれても、適正に距離を検出することができるため、レーザ光源110に対する温度調節素子などを省略することができ、情報取得装置1のコストダウンを図ることができる。
 以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、また、本発明の実施の形態も上記の他に種々の変更が可能である。
 上記実施の形態では、基準画像と実測画像の両方のドットパターンを、それぞれ、Y軸正方向および負方向に1画素ずつ引き延ばしたが、基準画像のドットパターンのみ、または、実測画像のドットパターンのみをY軸方向に引き延ばしてもよい。
 図13は、実測画像のドットパターンのみをY軸正方向およびY軸負方向に1画素ずつ引き延ばした変更例1におけるマッチング状況を模式的に示す図である。
 図13(a)は、変更例1のセグメント領域におけるドットの分布状況、および、当該セグメント領域に対応する位置の比較領域におけるドットの分布状況を示す図である。また、図13(b)は、セグメント領域が当該比較領域に重なったときのマッチング状況を示す図、図13(c)は、図13(b)の状態からセグメント領域が1画素だけずれたときのマッチング状況を示す図である。
 図13(a)に示すように、セグメント領域では、ドットがY軸方向に引き延ばされず、8画素分のドットが分布している。また、比較領域では、上記実施の形態同様、ドットがY軸正方向およびY軸負方向に1画素ずつ引き延ばされ、19画素分のドットが分布している。
 図13(b)を参照して、セグメント領域が当該比較領域に重なったときのマッチング状況では、比較領域のみのドットがY軸方向に引き延ばされることにより、比較領域のドットのうち、引き延ばし前のドットに対してY軸正方向に1画素引き延ばされた部分のドットがマッチングされる。他方、その反対方向に引き延ばされたドットは、逆にマッチングがとれなくなる。したがって、差分値(Rsad)は、11となり、比較例、および図11の場合の差分値(Rsad)(=12)よりも1だけ小さくなる。
 しかし、図13(c)に示すように、上記の実施の形態と同様、画素ずれ量1の位置のマッチング状況では、全てのドットがマッチングされず、差分値(Rsad)は、上記比較例の場合差分値(Rsad)(=16)よりも大きい27となる。
 このように、本変更例では、差分値(Rsad)の最小値と、2番目に小さい差分値(Rsad)との差は、図11の場合よりも小さくなるものの、比較例の場合に比べると、かなり大きくなる。したがって、変更例1の場合においても、実測時に、ドットがY軸方向にずれても、適正にマッチングされることがわかる。
 上記実施の形態の場合は、セグメント領域および比較領域の両方のドットがY軸方向に1画素分引き延ばされたため、実測時にY軸正方向および負方向に2画素までずれたとしても、適正にマッチングされたが、変更例1の場合、比較領域のドットのみがY軸方向に引き延ばされているため、実測時に、ドットがY軸正方向およびY軸負方向に1画素までずれたとしても、適正にマッチングされる。
 図14は、基準画像のドットパターンのみをY軸正方向およびY軸負方向に引き延ばした変更例2におけるマッチング状況を模式的に示す図である。
 図14(a)は、変更例2のセグメント領域におけるドットの分布状況、および、当該セグメント領域に対応する比較領域におけるドットの分布状況を示す図である。また、図14(b)は、セグメント領域が当該比較領域に重なったときのマッチング状況を示す図、図14(c)は、図14(b)の状態からセグメント領域が1画素ずれたときのマッチング状況を示す図である。
 図示の如く、変更例2の場合、上記変更例1の場合と、逆に引き延ばされた方向のドットがマッチングされ、同様の効果が得られることがわかる。
 変更例2の場合も、変更例1の場合と同様に、実測時に、ドットがY軸正方向およびY軸負方向に1画素までずれたとしても、適正にマッチングされる。
 このように、実測時におけるドットのY軸方向のずれの許容量が小さければ、変更例1または2のように、基準画像または実測画像の片方のみのドットを引き延ばしたとしても、上記実施の形態と同様の効果が得られることがわかる。
 しかし、上記実施の形態のように、基準画像および実測画像の両方のドットを引き延ばしたほうが、実測時におけるドットのY軸方向のずれの許容量を大きくでき、より好適である。
 実測時におけるドットのY軸方向のずれの許容量をさらに大きくするには、基準画像または実測画像のドットのY軸方向の引き延ばし量を大きくすればよいが、図15(a)に示すように、ドットの引き延ばし量をセグメント領域の一辺に含まれる画素の数以上にすると、セグメント領域内の全てのドットがセグメント領域のY軸方向の画素数限界(9画素)まで引き延ばされ、ドットパターンのユニーク性が大きく失われることとなる。また、セグメント領域外のドットが大きく引き延ばされることによって、さらにドットパターンのユニーク性が失われる。したがって、ドットの引き延ばし量は、少なくとも、セグメント領域の一辺に含まれる画素の数よりも小さいほうが望ましい。
 さらに、上記実施の形態では、DOE140によって生成されるドットの数は略3万個、CMOSイメージセンサ240の総画素数は略30万であり、CMOSイメージセンサ240上の隣り合うドットの平均間隔は、略2.5画素となっている。図15(b)のように、隣り合うドットの平均間隔以上にドットをY軸方向に引き延ばすと、Y軸方向に隣り合うドットがそれぞれ干渉し合い、Y軸方向に大きく連続したドットとなりやすく、ドットパターンのユニーク性が失われやすい。図15(b)では、中央の2つのDP光のドットの他に、X軸負方向の境界に近い2つのDP光のドットが、セグメント領域のY軸方向の画素数限界(9画素)まで引き延ばされている。したがって、ドットのY軸方向の引き延ばし量は、Y軸方向に隣り合うドットの平均間隔よりも小さい方がさらに望ましい。
 また、上記実施の形態および変更例1、2では、基準画像および実測画像のいずれか一方もしくは両方のドットパターンが、Y軸正方向およびY軸負方向の両方に引き延ばされたが、Y軸正方向またはY軸負方向の片方のみに引き延ばされれば、少なくとも、実測時に、Y軸正方向またはY軸負方向のいずれか一方に対して、ドットがずれても、適正にマッチングすることができる。
 図16は、基準画像のドットパターンを、Y軸正方向に1画素、実測画像のドットパターンを、Y軸負方向に1画素引き延ばした変更例3におけるマッチング状況を示す図である。
 図16(a)は、変更例3のセグメント領域におけるドットの分布状況、および、当該セグメント領域に対応する比較領域におけるドットの分布状況を示す図である。また、図16(b)は、セグメント領域と比較領域が重なったときのマッチング状況を示す図、図16(c)は、図16(b)からセグメント領域が1画素ずれたときのマッチング状況を示す図である。
 図16(a)に示すように、セグメント領域では、ドットがY軸正方向にのみ1画素分引き延ばされ、14画素分のドットが分布している。また、比較領域では、ドットがY軸負方向にのみ1画素分引き伸ばされ、14画素分のドットが分布している。
 図16(b)を参照して、セグメント領域と比較領域とが重なったときのマッチング状況では、セグメント領域のドットがY軸正方向(実測時のドットのずれ方向)に1画素分引き延ばされ、逆に、比較領域のドットが実測時のずれ方向と反対の方向に1画素分引き延ばされることにより、全てのドットがマッチングされる。したがって、差分値(Rsad)は、0となり、最も小さくなる。
 図16(c)を参照して、セグメント領域が1画素ずれたときのマッチング状況では、上記同様、全てのドットがマッチングされていない。セグメント領域および比較領域のドットがY軸正方向またはY軸負方向に引き延ばされているため、差分値(Rsad)は、28となる。
 したがって、変更例3の場合、実測時にずれた方向にドットパターンを引き延ばされているため、適正にマッチングすることができる。
 実測時のドットパターンのY軸方向のずれの方向に傾向がある場合は、このように、セグメント領域および比較領域のいずれか一方もしくは両方のドットパターンが、かかる傾向に応じてY軸正方向またはY軸負方向の一方のみに引き延ばされれば、適正にマッチングすることができる。
 たとえば、レーザ光の出射波長が変動すると、DOE140の光学特性によって、0次光を中心にドットパターンが放射状に広がる傾向がある。このような場合、ドットパターンの中心からY軸正方向に離れた位置のセグメント領域では、Y軸正方向にドットを引き延ばし、Y軸負方向に離れた位置のセグメント領域では、Y軸負方向にドットを引き延ばせばよい。こうすると、レーザ光の出射波長変動によって、ドットパターンがY軸方向にずれた場合にも、適正にマッチングすることができる。
 しかし、レーザ光の出射波長変動の他、CMOSイメージセンサ240の取り付け位置のずれの発生等を考慮すると、Y軸正方向もしくはY軸負方向のどちらに変化するかを完全に把握するのは困難である。したがって、上記実施の形態のように、ドットパターンがY軸正方向およびY軸負方向の両方に引き延ばされたほうが望ましい。
 また、上記実施の形態では、距離測定時において、毎回ドットパターンを引き延ばしたが、上述のように、通常、Y軸方向のずれは発生しない。したがって、図17(a)の変更例4、図17(b)の変更例5に示すように、マッチングのエラー発生率や温度変化を契機にドットパターンの引き延ばし処理を実施するか否かが判断されてもよい。なお、図中、上記実施の形態における図9(b)と同様の処理については、同一の符号が付されており、詳細な説明は省略する。
 図17(a)を参照して、変更例4の場合、実測画像の2値化処理後(S22)、CPU21は、マッチングのエラー発生率が所定の閾値を超えているかを判断する(S51)。マッチングのエラー発生率は、たとえば、所定の回数分、過去のマッチング処理の結果を、メモリ26に保持しておき、各回のマッチングエラーの発生率を求め、求めた発生率を平均化することによって算出される。
 マッチングのエラー発生率が所定の閾値を超えている場合(S51:YES)、CPU21は、基準画像および実測画像のドットパターンの引き延ばし処理を行う(S23)。そして、CPU21は、ドットパターンがY軸方向に引き延ばされた基準画像および実測画像を用いて、マッチング処理を行う(S24)。
 マッチングのエラー発生率が所定の閾値を超えていない場合(S51:NO)、CPU21は、ドットパターンの引き延ばし処理を行わず、処理をS24に進める。そして、CPU21は、ドットパターンが引き延ばされていない基準画像および実測画像を用いて、マッチング処理を行う(S24)。
 このように、変更例4では、マッチングのエラーが続いた場合のみ、ドットパターンのY軸方向の引き延ばし処理が行われる。したがって、ドットパターンの引き延ばしの必要のない状況においては、ドットパターンの引き延ばし処理が行われず、CPU21にかかる演算量を軽減することができる。
 また、図17(b)を参照して、変更例5の場合、実測画像の2値化処理後(S22)、CPU21は、レーザ光源110の周辺の温度を検出する(S61)。温度検出処理は、たとえば、CPU21により、レーザ光源110の近傍に配置された温度検出素子によって出力された信号を読み込むことによって行われる。そして、CPU21は、あらかじめ設定された所定の温度からの温度変化が所定の閾値を超えているかを判断する(S62)。
 温度変化が所定の閾値を超えている場合(S62:YES)、CPU21は、基準画像および実測画像のドットパターンの引き延ばし処理を行う(S23)。そして、CPU21は、ドットパターンがY軸方向に引き延ばされた基準画像および実測画像を用いて、マッチング処理を行う(S24)。
 温度変化が所定の閾値を超えていない場合(S62:NO)、CPU21は、ドットパターンの引き延ばし処理を行わず、処理をS24に進める。そして、CPU21は、ドットパターンが引き延ばされていない基準画像および実測画像を用いて、マッチング処理を行う(S24)。
 このように、変更例5では、レーザ光源110の近傍の温度が、所定の温度より大きく変化した場合にのみ、ドットパターンのY軸方向の引き延ばし処理が行われる。したがって、温度変化によって、レーザ光源110の出射波長が変動した場合にのみ、引き延ばし処理が行われ、必要のない状況においては、ドットパターンの引き延ばし処理が行われず、CPU21にかかる演算量を軽減することができる。
 さらに、変更例4では、マッチングのエラー発生率のみ、変更例5では、温度変化のみによって、ドットパターンの引き延ばし処理の要否が判断されたが、マッチングのエラー発生率と、レーザ光源110の温度変化の両方を判断して、ドットパターンの引き延ばし処理の要否が判断されてもよい。
 また、上記実施の形態では、マッチング処理の前に、基準画像および実測画像の全てのドットについて、一括で引き延ばし処理が行われたが、マッチング処理時において、セグメント領域単位でドットの引き延ばし処理が行われてもよい。こうすると、ドットパターンの引き延ばし処理にかかる演算量が増大するが、図15(a)、(b)のように、Y軸方向の引き延ばし量を大きくしても、セグメント領域外のドットが引き延ばされることによる影響をなくすことができる。
 また、上記実施の形態では、基準画像もしくは実測画像に含まれる全てのドットについて、Y軸方向に引き延ばされたが、一部分のドットのみが引き延ばされてもよい。また、全てのセグメント領域および比較領域に対して引き延ばし処理を行わず、ずれが生じ易いセグメント領域と比較領域に対してのみ引き延ばし処理を行っても良い。
 また、上記実施の形態では、基準画像もしくは実測画像に含まれるドットがY軸正方向およびY軸負方向に1画素ずつ引き延ばされたが、その他の画素数でもよく、Y軸正方向とY軸負方向で同じ画素数でなくてもよい。
 また、上記実施の形態および各変更例では、実測時にドットの引き延ばし処理を行ったが、実測に先立って、予めドットが引き延ばされたドットパターンを保持しておき、実測時には、予め保持した、引き延ばされたドットパターンを用いてマッチング処理を行っても良い。この場合、基準画像に対する引き伸ばされたドットパターンは、情報取得装置1のセットアップ時に、基準画像とともにメモリ26に保持されても良い。
 また、上記実施の形態では、距離検出のエラー判定として、最も照合率の高いRsadと、その次に照合率が高いRsadとの差分が閾値を超えているかに基づいて、エラーが判定されたが、最も照合率の高いRsadが所定の閾値を超えているかに基づいて、エラーが判定されてもよい。
 また、上記実施の形態では、セグメント領域と比較領域のマッチング率を算出する前に、セグメント領域と比較領域に含まれる画素の画素値を2値化したが、CMOSイメージセンサ240によって得られた画素値をそのまま用いて、マッチングしてもよい。また、上記実施の形態では、CMOSイメージセンサ240によって得られた画素値をそのまま2値化したが、画素値について、所定の画素の重みづけ処理、および背景光の除去処理、等の補正処理を行った後に、2値化してもよい。
 また、上記実施の形態では、三角測量法を用いて距離情報が求められ、メモリ26に記憶されたが、物体の輪郭抽出を主目的とするような場合は、三角測量法を用いた距離を演算せずに、セグメント領域の変位量(画素ずれ量)が距離情報として取得されてもよい。
 また、上記実施の形態では、投射光学系100に、FMD150が用いられたが、FMD150は省略されてもよい。
 また、上記実施の形態では、目標領域に照射されるレーザ光の波長帯以外の波長帯の光を除去するためにフィルタ230を配したが、たとえば、目標領域に照射されるレーザ光以外の光の信号成分を、CMOSイメージセンサ240から出力される信号から除去する回路構成が配されるような場合には、フィルタ230を省略することができる。また、アパーチャ210の配置位置は、何れか2つの撮像レンズの間であってもよい。
 また、上記実施の形態では、受光素子として、CMOSイメージセンサ240を用いたが、これに替えて、CCDイメージセンサを用いることもできる。さらに、投射光学系100および受光光学系200の構成も、適宜変更可能である。また、情報取得装置1と情報処理装置2は一体化されてもよいし、情報取得装置1と情報処理装置2がテレビやゲーム機、パーソナルコンピュータと一体化されてもよい。
 本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
     1 … 情報取得装置
    21 … CPU(距離取得部)
   21b … 距離取得部(距離取得部)
    24 … 撮像信号処理回路(距離取得部)
    26 … メモリ(記憶部)
   100 … 投射光学系
   110 … レーザ光源
   120 … コリメータレンズ
   140 … DOE(回折光学素子)
   200 … 受光光学系

Claims (7)

  1.  光を用いて目標領域の情報を取得する情報取得装置において、
     目標領域に所定のドットパターンでレーザ光を投射する投射光学系と、
     前記投射光学系に対して所定の距離だけ横方向に離れて並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、
     基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準ドットパターンと、距離測定時に目標領域を撮像して取得された実測ドットパターンとを保持する記憶部と、
     前記基準ドットパターンにセグメント領域を設定し、前記実測ドットパターンと前記セグメント領域内のドットとを照合することにより、前記セグメント領域に対応する前記目標領域内の位置について距離を取得する距離取得部と、を備え、
     前記距離取得部は、前記基準ドットパターンと前記実測ドットパターンのいずれか一方または両方の前記ドットが前記投射光学系と前記受光光学系の並び方向に垂直な方向の一方または両方に引き延ばされたドットパターンを用いて、前記距離の取得を行う、
    ことを特徴とする情報取得装置。
  2.  請求項1に記載の情報取得装置において、
     前記距離取得部は、前記基準ドットパターンおよび前記実測ドットパターンの両方の前記ドットが引き延ばされたドットパターンを用いて、前記距離の取得を行う、
    ことを特徴とする情報取得装置。
  3.  請求項1または2に記載の情報取得装置において、
     前記距離取得部は、前記ドットを前記投射光学系と前記受光光学系の並び方向に垂直な方向の両方に引き延ばされたドットパターンを用いて、前記距離の取得を行う、
    ことを特徴とする情報取得装置。
  4.  請求項1ないし3の何れか一項に記載の情報取得装置において、
     前記ドットの引き延ばし量は、1画素以上であって、前記セグメント領域の一辺に含まれる画素の数以下である、
    ことを特徴とする情報取得装置。
  5.  請求項1ないし3の何れか一項に記載の情報取得装置において、
     前記ドットの引き延ばし量は、1画素以上であって、前記投射光学系と前記受光光学系の並び方向に垂直な方向に隣り合う前記ドットの平均間隔に対応する画素の数以下である、
    ことを特徴とする情報取得装置。
  6.  請求項1ないし5の何れか一項に記載の情報取得装置において、
     前記投射光学系は、レーザ光源と、前記レーザ光源から出射されたレーザ光が入射するコリメータレンズと、前記コリメータレンズを透過した前記レーザ光を回折によりドットパターンの光に変換する回折光学素子と、を備える、
    ことを特徴とする情報取得装置。
  7.  請求項1ないし6の何れか一項に記載の情報取得装置を有する物体検出装置。
PCT/JP2012/069126 2011-08-26 2012-07-27 物体検出装置および情報取得装置 WO2013031448A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-185186 2011-08-26
JP2011185186A JP2014211306A (ja) 2011-08-26 2011-08-26 物体検出装置および情報取得装置

Publications (1)

Publication Number Publication Date
WO2013031448A1 true WO2013031448A1 (ja) 2013-03-07

Family

ID=47755951

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/069126 WO2013031448A1 (ja) 2011-08-26 2012-07-27 物体検出装置および情報取得装置

Country Status (2)

Country Link
JP (1) JP2014211306A (ja)
WO (1) WO2013031448A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191092A (ja) * 2002-12-09 2004-07-08 Ricoh Co Ltd 3次元情報取得システム
JP2005246033A (ja) * 2004-02-04 2005-09-15 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2009204991A (ja) * 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
JP2010101683A (ja) * 2008-10-22 2010-05-06 Nissan Motor Co Ltd 距離計測装置および距離計測方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191092A (ja) * 2002-12-09 2004-07-08 Ricoh Co Ltd 3次元情報取得システム
JP2005246033A (ja) * 2004-02-04 2005-09-15 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2009204991A (ja) * 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
JP2010101683A (ja) * 2008-10-22 2010-05-06 Nissan Motor Co Ltd 距離計測装置および距離計測方法

Also Published As

Publication number Publication date
JP2014211306A (ja) 2014-11-13

Similar Documents

Publication Publication Date Title
WO2012137674A1 (ja) 情報取得装置、投射装置および物体検出装置
JP5138116B2 (ja) 情報取得装置および物体検出装置
US20130050710A1 (en) Object detecting device and information acquiring device
JP5214062B1 (ja) 情報取得装置および物体検出装置
JP5143312B2 (ja) 情報取得装置、投射装置および物体検出装置
WO2013046927A1 (ja) 情報取得装置および物体検出装置
JP2012237604A (ja) 情報取得装置、投射装置および物体検出装置
JP2014137762A (ja) 物体検出装置
JP2014044113A (ja) 情報取得装置および物体検出装置
JP5143314B2 (ja) 情報取得装置および物体検出装置
WO2012144340A1 (ja) 情報取得装置および物体検出装置
WO2013015146A1 (ja) 物体検出装置および情報取得装置
JPWO2013015145A1 (ja) 情報取得装置および物体検出装置
JP2014052307A (ja) 情報取得装置および物体検出装置
JP2013246009A (ja) 物体検出装置
WO2013031448A1 (ja) 物体検出装置および情報取得装置
JP2014085257A (ja) 情報取得装置および物体検出装置
WO2013046928A1 (ja) 情報取得装置および物体検出装置
WO2013031447A1 (ja) 物体検出装置および情報取得装置
JP2014035294A (ja) 情報取得装置および物体検出装置
JP2014085282A (ja) 情報取得装置および物体検出装置
JP2013234956A (ja) 情報取得装置および物体検出装置
JP2013234957A (ja) 情報取得装置および物体検出装置
JP5138120B2 (ja) 物体検出装置および情報取得装置
JP2013234887A (ja) 情報取得装置および物体検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12827988

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12827988

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP