WO2013046927A1 - 情報取得装置および物体検出装置 - Google Patents

情報取得装置および物体検出装置 Download PDF

Info

Publication number
WO2013046927A1
WO2013046927A1 PCT/JP2012/069940 JP2012069940W WO2013046927A1 WO 2013046927 A1 WO2013046927 A1 WO 2013046927A1 JP 2012069940 W JP2012069940 W JP 2012069940W WO 2013046927 A1 WO2013046927 A1 WO 2013046927A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
feature pattern
area
region
information acquisition
Prior art date
Application number
PCT/JP2012/069940
Other languages
English (en)
French (fr)
Inventor
山口 淳
Original Assignee
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三洋電機株式会社 filed Critical 三洋電機株式会社
Publication of WO2013046927A1 publication Critical patent/WO2013046927A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • G01V8/20Detecting, e.g. by using light barriers using multiple transmitters or receivers
    • G01V8/22Detecting, e.g. by using light barriers using multiple transmitters or receivers using reflectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to an object detection apparatus that detects an object in a target area based on a state of reflected light when light is projected onto the target area, and an information acquisition apparatus suitable for use in the object detection apparatus.
  • An object detection device using light has been developed in various fields.
  • An object detection apparatus using a so-called distance image sensor can detect not only a planar image on a two-dimensional plane but also the shape and movement of the detection target object in the depth direction.
  • light in a predetermined wavelength band is projected from a laser light source or LED (Light-Emitting-Diode) onto a target area, and the reflected light is received by a light-receiving element such as a CMOS image sensor.
  • CMOS image sensor Light-Emitting-Diode
  • a distance image sensor of a type that irradiates a target region with laser light having a predetermined dot pattern reflected light from the target region of laser light having a dot pattern is received by a light receiving element. Then, based on the light receiving position of the dot on the light receiving element, the distance to each part of the detection target object (irradiation position of each dot on the detection target object) is detected using triangulation (for example, Patent Literature 1, Non-Patent Document 1).
  • the projection optical system and the light receiving optical system are arranged side by side.
  • the dot light receiving position on the image sensor is normally displaced only in the direction in which the projection optical system and the light receiving optical system are arranged.
  • the distance is detected based on the movement amount of the dots in the direction in which the projection optical system and the light receiving optical system are arranged.
  • the light receiving position of the dots on the image sensor is perpendicular to the alignment direction of the projection optical system and the light receiving optical system. Deviation can occur in any direction.
  • the amount of movement of the dots is randomly searched in the vertical direction of the projection optical system and the light receiving optical system, the amount of calculation for distance detection increases, which may affect the distance detection of the detection target object. is there.
  • An object of the present invention is to provide an information acquisition device and an object detection device that can appropriately acquire distance information while suppressing the above-described problem.
  • 1st aspect of this invention is related with the information acquisition apparatus which acquires the information of a target area
  • the information acquisition apparatus according to this aspect is arranged so that a projection optical system that projects laser light with a predetermined dot pattern on a target area and a predetermined distance away from the projection optical system in a first direction.
  • a light receiving optical system for imaging the target area with an image sensor, a reference dot pattern imaged by the light receiving optical system when the laser beam is irradiated on a reference surface, and an actual measurement dot imaged by the image sensor at the time of actual measurement The pattern is compared, the position of the reference area on the standard dot pattern is searched for in the first direction in the first direction, and distance information for the reference area is acquired based on the searched position.
  • a distance acquisition unit Here, the dot pattern projected on the target area has a characteristic pattern extending in the first direction. Further, the distance acquisition unit detects a position of the feature pattern in a second direction perpendicular to the first direction in the measured dot pattern, and detects the detected position and the feature pattern on the reference pattern. A region for executing the search is set based on a deviation from the position in the second direction.
  • the second aspect of the present invention relates to an object detection apparatus.
  • the object detection apparatus according to this aspect includes the information acquisition apparatus according to the first aspect.
  • the distance information is appropriately obtained while suppressing the calculation amount.
  • An information acquisition device and an object detection device that can be acquired can be provided.
  • an information acquisition device of a type that irradiates a target area with laser light having a predetermined dot pattern is exemplified.
  • FIG. 1 shows a schematic configuration of the object detection apparatus according to the present embodiment.
  • the object detection device includes an information acquisition device 1 and an information processing device 2.
  • the television 3 is controlled by a signal from the information processing device 2.
  • the information acquisition device 1 projects infrared light over the entire target area and receives the reflected light with a CMOS image sensor, whereby the distance between each part of the object in the target area (hereinafter referred to as “three-dimensional distance information”). To get.
  • the acquired three-dimensional distance information is sent to the information processing apparatus 2 via the cable 4.
  • the information processing apparatus 2 is, for example, a controller for TV control, a game machine, a personal computer, or the like.
  • the information processing device 2 detects an object in the target area based on the three-dimensional distance information received from the information acquisition device 1, and controls the television 3 based on the detection result.
  • the information processing apparatus 2 detects a person based on the received three-dimensional distance information and detects the movement of the person from the change in the three-dimensional distance information.
  • the information processing device 2 is a television control controller
  • the information processing device 2 detects the person's gesture from the received three-dimensional distance information, and outputs a control signal to the television 3 in accordance with the gesture.
  • the application program to be installed is installed.
  • the user can cause the television 3 to execute a predetermined function such as channel switching or volume up / down by making a predetermined gesture while watching the television 3.
  • the information processing device 2 when the information processing device 2 is a game machine, the information processing device 2 detects the person's movement from the received three-dimensional distance information, and displays a character on the television screen according to the detected movement.
  • An application program that operates and changes the game battle situation is installed. In this case, the user can experience a sense of realism in which he / she plays a game as a character on the television screen by making a predetermined movement while watching the television 3.
  • FIG. 2 is a diagram showing the configuration of the information acquisition device 1 and the information processing device 2.
  • the information acquisition apparatus 1 includes a projection optical system 100 and a light receiving optical system 200 as a configuration of an optical unit.
  • the projection optical system 100 and the light receiving optical system 200 are arranged in the information acquisition apparatus 1 so as to be aligned in the X-axis direction.
  • the projection optical system 100 includes a laser light source 110, a collimator lens 120, a leakage mirror 130, a diffractive optical element (DOE: Diffractive Optical Element) 140, and an FMD (Front Monitor Diode) 150.
  • the light receiving optical system 200 includes an aperture 210, an imaging lens 220, a filter 230, and a CMOS image sensor 240.
  • the information acquisition apparatus 1 includes a CPU (Central Processing Unit) 21, a laser driving circuit 22, a PD signal processing circuit 23, an imaging signal processing circuit 24, an input / output circuit 25, A memory 26 is provided.
  • CPU Central Processing Unit
  • the laser light source 110 outputs laser light in a narrow wavelength band with a wavelength of about 830 nm in a direction away from the light receiving optical system 200 (X-axis negative direction).
  • the collimator lens 120 converts the laser light emitted from the laser light source 110 into light slightly spread from parallel light (hereinafter simply referred to as “parallel light”).
  • the leakage mirror 130 is composed of a multilayer film of dielectric thin films, and the number of layers and the thickness of the film are designed so that the reflectance is slightly lower than 100% and the transmittance is several steps smaller than the reflectance.
  • the leakage mirror 130 reflects most of the laser light incident from the collimator lens 120 side in the direction toward the DOE 140 (Z-axis direction) and transmits the remaining part in the direction toward the FMD 150 (X-axis negative direction).
  • the DOE 140 has a diffraction pattern on the incident surface. Due to the diffractive action of this diffraction pattern, the laser light incident on the DOE 140 is converted into laser light having a predetermined dot pattern and irradiated onto the target area. As will be described later, in addition to a random dot pattern, such a dot pattern includes a characteristic dot pattern having regularity in which dots are arranged linearly in the X-axis direction.
  • the diffraction pattern of the DOE 140 has, for example, a structure in which a step type diffraction hologram is formed in a predetermined pattern.
  • the diffraction hologram is adjusted in pattern and pitch so as to convert the laser light converted into parallel light by the collimator lens 120 into laser light of a dot pattern.
  • the DOE 140 irradiates the target region with the laser beam incident from the leakage mirror 130 as a laser beam having a dot pattern that spreads radially.
  • the size of each dot in the dot pattern depends on the beam size of the laser light when entering the DOE 140.
  • the FMD 150 receives the laser light transmitted through the leakage mirror 130 and outputs an electrical signal corresponding to the amount of light received.
  • the laser light reflected from the target area enters the imaging lens 220 through the aperture 210.
  • the aperture 210 stops the light from the outside so as to match the F number of the imaging lens 220.
  • the imaging lens 220 collects the light incident through the aperture 210 on the CMOS image sensor 240.
  • the filter 230 is an IR filter (Infrared Filter) that transmits light in the infrared wavelength band including the emission wavelength (about 830 nm) of the laser light source 110 and cuts the wavelength band of visible light.
  • the CMOS image sensor 240 receives the light collected by the imaging lens 220 and outputs a signal (charge) corresponding to the amount of received light to the imaging signal processing circuit 24 for each pixel.
  • the output speed of the signal is increased so that the signal (charge) of the pixel can be output to the imaging signal processing circuit 24 with high response from light reception in each pixel.
  • CPU 21 controls each unit according to a control program stored in memory 26.
  • the CPU 21 is provided with the functions of a laser control unit 21a for controlling the laser light source 110 and a distance acquisition unit 21b for generating three-dimensional distance information.
  • the laser drive circuit 22 drives the laser light source 110 according to a control signal from the CPU 21.
  • the PD signal processing circuit 23 amplifies and digitizes the voltage signal corresponding to the amount of received light output from the FMD 150 and outputs it to the CPU 21.
  • the CPU 21 determines to amplify or decrease the light amount of the laser light source 110 by processing by the laser control unit 21a.
  • the laser control unit 21 a transmits a control signal for changing the light emission amount of the laser light source 110 to the laser driving circuit 22. Thereby, the power of the laser beam emitted from the laser light source 110 is controlled to be substantially constant.
  • the imaging signal processing circuit 24 controls the CMOS image sensor 240 and sequentially takes in the signal (charge) of each pixel generated by the CMOS image sensor 240 for each line. Then, the captured signals are sequentially output to the CPU 21. Based on the signal (imaging signal) supplied from the imaging signal processing circuit 24, the CPU 21 calculates the distance from the information acquisition device 1 to each part of the detection target by processing by the distance acquisition unit 21b.
  • the input / output circuit 25 controls data communication with the information processing apparatus 2.
  • the information processing apparatus 2 includes a CPU 31, an input / output circuit 32, and a memory 33.
  • the information processing apparatus 2 has a configuration for performing communication with the television 3 and for reading information stored in an external memory such as a CD-ROM and installing it in the memory 33.
  • an external memory such as a CD-ROM
  • the configuration of these peripheral circuits is not shown for the sake of convenience.
  • the CPU 31 controls each unit according to a control program (application program) stored in the memory 33.
  • a control program application program
  • the CPU 31 is provided with the function of the object detection unit 31a for detecting an object in the image.
  • a control program is read from a CD-ROM by a drive device (not shown) and installed in the memory 33, for example.
  • the object detection unit 31a detects a person in the image and its movement from the three-dimensional distance information supplied from the information acquisition device 1. Then, a process for operating the character on the television screen according to the detected movement is executed by the control program.
  • the object detection unit 31 a detects a person in the image and its movement (gesture) from the three-dimensional distance information supplied from the information acquisition device 1. To do. Then, processing for controlling functions (channel switching, volume adjustment, etc.) of the television 3 is executed by the control program in accordance with the detected movement (gesture).
  • the input / output circuit 32 controls data communication with the information acquisition device 1.
  • FIG. 3 is a perspective view showing an installation state of the projection optical system 100 and the light receiving optical system 200.
  • the projection optical system 100 and the light receiving optical system 200 are disposed on the base plate 300.
  • the optical members constituting the projection optical system 100 are installed in the housing 100a, and the housing 100a is installed on the base plate 300. Thereby, the projection optical system 100 is arranged on the base plate 300.
  • Reference numerals 150a and 240a denote FPCs (flexible printed circuit boards) for supplying signals from the FMD 150 and the CMOS image sensor 240 to a circuit board (not shown), respectively.
  • the optical member constituting the light receiving optical system 200 is installed in the holder 200a, and this holder 200a is attached to the base plate 300 from the back surface of the base plate 300. As a result, the light receiving optical system 200 is disposed on the base plate 300.
  • the height in the Z-axis direction is higher than that of the projection optical system 100.
  • the periphery of the arrangement position of the light receiving optical system 200 is raised by one step in the Z-axis direction.
  • the positions of the exit pupil of the projection optical system 100 and the entrance pupil of the light receiving optical system 200 substantially coincide with each other in the Z-axis direction. Further, the projection optical system 100 and the light receiving optical system 200 are arranged with a predetermined distance in the X-axis direction so that the projection center of the projection optical system 100 and the imaging center of the light-receiving optical system 200 are aligned on a straight line parallel to the X axis. Installed at.
  • the installation interval between the projection optical system 100 and the light receiving optical system 200 is set according to the distance between the information acquisition device 1 and the reference plane of the target area.
  • the distance between the reference plane and the information acquisition device 1 varies depending on how far away the target is to be detected. The closer the distance to the target to be detected is, the narrower the installation interval between the projection optical system 100 and the light receiving optical system 200 is. Conversely, as the distance to the target to be detected increases, the installation interval between the projection optical system 100 and the light receiving optical system 200 increases.
  • FIG. 4A is a diagram schematically showing the irradiation state of the laser light on the target region
  • FIG. 4B is a diagram schematically showing the light receiving state of the laser light in the CMOS image sensor 240.
  • FIG. 5B shows a flat surface (screen) in the target area and a light receiving state when a person is present in front of the screen.
  • the projection optical system 100 irradiates a target region with laser light having a dot pattern (hereinafter, the entire laser light having this pattern is referred to as “DP light”).
  • DP light the entire laser light having this pattern
  • the luminous flux region of DP light is indicated by a solid line frame.
  • a dot pattern (hereinafter, simply referred to as “dot”) in which the intensity of the laser light is increased by the diffraction action by the DOE 140 is distributed in a random arrangement by the diffraction action by the DOE 140 (hereinafter, “dot”).
  • dot pattern in which dots are linearly arranged in the X-axis direction
  • characteristic pattern a characteristic dot pattern in which dots are linearly arranged in the X-axis direction
  • the DP light reflected thereby is distributed on the CMOS image sensor 240 as shown in FIG.
  • the entire DP light receiving area on the CMOS image sensor 240 is indicated by a dashed frame, and the DP light receiving area incident on the imaging effective area of the CMOS image sensor 240 is indicated by a solid frame.
  • the effective imaging area of the CMOS image sensor 240 is an area where the CMOS image sensor 240 receives a DP light and outputs a signal as a sensor, and has a size of, for example, VGA (horizontal 640 pixels ⁇ vertical 480 pixels). .
  • the light of Dt0 on the target area shown in FIG. 4A enters the position of Dt0 ′ shown in FIG. 4B on the CMOS image sensor 240.
  • the feature patterns at the four corners are positioned so as to be within the effective imaging area.
  • an image of a person in front of the screen is picked up on the CMOS image sensor 240 by inverting the top, bottom, left and right.
  • FIG. 5 is a diagram for explaining a reference pattern setting method used in the distance detection method.
  • a flat reflection plane RS perpendicular to the Z-axis direction is disposed at a position at a predetermined distance Ls from the projection optical system 100.
  • the emitted DP light is reflected by the reflection plane RS and enters the CMOS image sensor 240 of the light receiving optical system 200.
  • an electrical signal for each pixel in the effective imaging area is output from the CMOS image sensor 240.
  • the output electric signal value (pixel value) for each pixel is developed on the memory 26 of FIG.
  • FIG. 5B shows a state in which the light receiving surface is seen through in the positive direction of the Z axis from the back side of the CMOS image sensor 240. The same applies to the drawings after FIG.
  • a plurality of segment areas having a predetermined size are set for the reference pattern area thus set.
  • the size of the segment area is determined in consideration of the contour extraction accuracy of the object based on the obtained distance information, the load of the calculation amount of distance detection for the CPU 21, and the error occurrence rate by the distance detection method described later.
  • the size of the segment area is set to 15 horizontal pixels ⁇ 15 vertical pixels.
  • each segment area is indicated by 7 pixels wide by 7 pixels high, and the center pixel of each segment area is indicated by a cross.
  • the segment areas are set so that adjacent segment areas are arranged at intervals of one pixel in the X-axis direction and the Y-axis direction with respect to the reference pattern area. That is, a certain segment area is set at a position shifted by one pixel with respect to a segment area adjacent to the segment area in the X-axis direction and the Y-axis direction. At this time, each segment area is dotted with dots in a unique pattern. Therefore, the pattern of pixel values in the segment area is different for each segment area. The smaller the interval between adjacent segment areas, the greater the number of segment areas included in the reference pattern area, and the resolution of distance detection in the in-plane direction (XY plane direction) of the target area is enhanced.
  • reference pattern area on the CMOS image sensor 240 information on the position of the reference pattern area on the CMOS image sensor 240, pixel values (reference patterns) of all pixels included in the reference pattern area, and segment area information set for the reference pattern area are shown in FIG. 2 memory 26. These pieces of information stored in the memory 26 are hereinafter referred to as “reference templates”.
  • the CPU 21 calculates the distance to each part of the object based on the shift amount of the dot pattern in each segment area obtained from the reference template.
  • DP light corresponding to a predetermined segment area Sn on the reference pattern is reflected by the object, and the segment area Sn. It is incident on a different region Sn ′. Since the projection optical system 100 and the light receiving optical system 200 are adjacent to each other in the X-axis direction, the displacement direction of the region Sn ′ with respect to the segment region Sn is parallel to the X-axis. In the case of FIG. 5A, since the object is at a position closer than the distance Ls, the region Sn 'is displaced in the positive direction of the X axis with respect to the segment region Sn. If the object is at a position farther than the distance Ls, the region Sn ′ is displaced in the negative X-axis direction with respect to the segment region Sn.
  • the distance Lr from the projection optical system 100 to the portion of the object irradiated with DP light (DPn) is triangulated using the distance Ls.
  • the distance from the projection optical system 100 is calculated for the part of the object corresponding to another segment area.
  • Non-Patent Document 1 The 19th Annual Conference of the Robotics Society of Japan (September 18-20, 2001), Proceedings, P1279-1280).
  • the CMOS image sensor 240 it is detected to which position the segment region Sn of the reference template has been displaced at the time of actual measurement. This detection is performed by collating the dot pattern obtained from the DP light irradiated onto the CMOS image sensor 240 at the time of actual measurement with the dot pattern included in the segment region Sn.
  • an image made up of all the pixel values obtained from the DP light irradiated to the imaging effective area on the CMOS image sensor 240 at the time of actual measurement will be referred to as “measured image”.
  • the effective imaging area of the CMOS image sensor 240 at the time of actual measurement is, for example, the size of VGA (horizontal 640 pixels ⁇ vertical 480 pixels), as in the case of acquiring the reference image.
  • FIGS. 6A to 6E are diagrams for explaining such a distance detection method.
  • FIG. 6A is a diagram showing a reference pattern region set in a standard image on the CMOS image sensor 240
  • FIG. 6B is a diagram showing an actually measured image on the CMOS image sensor 240 at the time of actual measurement.
  • FIGS. 6C to 6E are diagrams for explaining a method for collating the dot pattern of the DP light included in the actual measurement image and the dot pattern included in the segment area of the reference template.
  • FIGS. 6 (a) and 6 (b) show only a part of the segment areas
  • FIGS. 6 (c) to 6 (e) show the size of each segment area. It is shown by pixel ⁇ 9 pixels vertically.
  • FIG. 4 (b) there is a person in front of the reference plane as a detection target object, and the image of the person is reflected. It is shown.
  • the search area Ri is set for the segment area Si on the actual measurement image.
  • the search area Ri has a predetermined width in the X-axis direction.
  • the segment area Si is sent one pixel at a time in the search area Ri in the X-axis direction, and the dot pattern of the segment area Si is compared with the dot pattern on the measured image at each feed position.
  • a region corresponding to each feed position on the actually measured image is referred to as a “comparison region”.
  • a plurality of comparison areas having the same size as the segment area Si are set in the search area Ri, and the comparison areas adjacent in the X-axis direction are shifted by one pixel from each other.
  • the search area Ri is determined by the direction in which the detection target object is farther from the reference plane than the information acquisition device 1 and how much distance is in the detectable direction.
  • a range hereinafter, referred to as x pixel displacement in the X axis positive direction from a position shifted by x pixels in the X axis negative direction from a pixel position on the actual measurement image corresponding to the pixel position of the segment region Si on the reference image.
  • the search area Ri is set so that the segment area Si is sent in the “search range Li”.
  • a range from a position shifted by ⁇ 30 pixels to a position shifted by 30 pixels is set as the search range Li.
  • the degree of matching between the dot pattern of the segment area Si stored in the reference template and the dot pattern of the DP light of the measured image is obtained at each feed position. It is done. As described above, the segment area Si is sent only in the X-axis direction in the search area Ri as described above. Normally, the dot pattern of the segment area set by the reference template is a predetermined value in the X-axis direction when actually measured. This is because the displacement occurs only within the range.
  • the dot pattern corresponding to the segment area may protrude from the actual measurement image in the X-axis direction.
  • the dot pattern corresponding to the segment area S1 is X more than the measured image.
  • Positioned in the negative axis direction since the dot pattern corresponding to the segment area is not within the effective imaging area of the CMOS image sensor 240, this area cannot be properly matched. However, since areas other than the edge region can be appropriately matched, the influence on the object distance detection is small.
  • the effective imaging area of the CMOS image sensor 240 at the time of actual measurement can be made larger than the effective imaging area of the CMOS image sensor 240 at the time of acquiring the reference image.
  • an effective imaging area is set with a size of VGA (horizontal 640 pixels ⁇ vertical 480 pixels) at the time of acquiring a reference image, 30 pixels in the X-axis positive direction and X-axis negative direction than that when actually measured.
  • the effective imaging area is set by a size that is larger. As a result, the actually measured image becomes larger than the reference image, but the edge region can also be appropriately matched.
  • the pixel value of each pixel in the reference pattern area and the pixel value of each pixel in each segment area of the measured image are binarized and stored in the memory 26.
  • the pixel values of the reference image and the actually measured image are 8-bit gradations, among the pixel values of 0 to 255, pixels that are equal to or greater than a predetermined threshold are pixels whose pixel value is 1 and pixels that are less than the predetermined threshold are pixels
  • the value is converted to 0 and stored in the memory 26.
  • the similarity between the comparison region and the segment region Si is obtained. That is, the difference between the pixel value of each pixel in the segment area Si and the pixel value of the pixel corresponding to the comparison area is obtained.
  • a value Rsad obtained by adding the obtained difference to all the pixels in the comparison region is acquired as a value indicating the similarity.
  • FIG. 6D the value Rsad is obtained for all the comparison areas of the search area Ri for the segment area Si.
  • FIG. 6E is a graph schematically showing the magnitude of the value Rsad at each feed position in the search area Ri.
  • the minimum value Bt1 is referred to from the obtained value Rsad.
  • the second smallest value Bt2 is referred to from the obtained value Rsad. If the position of the minimum value Bt1 and the second smallest value Bt2 is two pixels or more and the difference value Es is less than the threshold value, the search for the segment area Si is considered as an error.
  • the comparison area Ci corresponding to the minimum value Bt1 is determined as the movement area of the segment area Si.
  • the comparison area Ci is shifted by ⁇ pixels in the positive X-axis direction from the pixel position Si0 on the measured image at the same position as the pixel position of the segment area Si on the reference image. Detected. This is because the dot pattern of the DP light on the measured image is displaced in the X-axis positive direction from the segment area Si on the reference image by a detection target object (person) that is present at a position closer to the reference plane.
  • the distance detection usually does not cause an error and can be appropriately matched.
  • segment area search is performed for all the segment areas from segment area S1 to segment area Sn.
  • the dot pattern reflected at the time of actual measurement usually shifts only in the X-axis direction.
  • the light receiving position of the dot pattern may be shifted in the Y-axis direction due to the influence of the mounting position shift due to the temporal change of the CMOS image sensor 240 and the optical aberration of the DOE 140.
  • the amount of deviation in the Y-axis direction of the feature patterns at the four corners generated by the DOE 140 is detected, and the dot pattern search area Ri in the X-axis direction is detected in the Y-axis direction according to the amount of deviation. And the matching process is executed.
  • FIG. 7 and FIG. 8 are diagrams for explaining search processing for the shift amount of the feature pattern in the Y-axis direction according to the present embodiment.
  • feature patterns F1 to F4 in which dots are continuously arranged in the X-axis direction are positioned at the four corners of the reference pattern area.
  • characteristic pattern areas P1 to P4 having a predetermined size including part of the characteristic patterns F1 to F4 are set.
  • the size of the feature pattern areas P1 to P4 is set to 15 horizontal pixels ⁇ 15 vertical pixels as in the segment area.
  • the displacement amount in the Y-axis direction at the time of actual measurement of these feature pattern areas P1 to P4 is detected in the same manner as the distance detection method by setting a search area in the Y-axis direction.
  • feature pattern search regions Rp1 to Rp4 are set for the feature pattern regions P1 to P4 on the actual measurement image.
  • the feature pattern search regions Rp1 to Rp4 have a predetermined width in the Y-axis direction centering on the region corresponding to the feature pattern regions P1 to P4 on the actually measured image.
  • the widths of the feature pattern search areas Rp1 to Rp4 are set assuming how much the dot pattern can be shifted during actual measurement.
  • portions corresponding to the feature patterns F1 to F4 on the actually measured image are denoted as feature patterns F1 'to F4'.
  • the feature pattern areas P1 to P4 are sent pixel by pixel in the feature pattern search areas Rp1 to Rp4, and the dot pattern of the feature pattern areas P1 to P4 and the dot pattern on the measured image are the same as in the distance detection method.
  • the matching process is performed.
  • a region corresponding to each feed position in the feature pattern search regions Rp1 to Rp4 is referred to as a “feature pattern comparison region”.
  • the lengths of the feature patterns F1 to F4 are set several steps longer than the lengths of the feature pattern areas P1 to P4 in the X-axis direction, respectively. For this reason, even when the dot pattern is deviated to some extent in the X-axis direction at the time of actual measurement, the feature pattern areas F1 to F4 are applied to the feature pattern search areas Rp1 to Rp4. By sending the regions P1 to P4 only in the Y-axis direction, matching can be properly performed.
  • FIG. 7C is a partially enlarged view around the feature pattern region P1 in FIG. 7A
  • FIG. 7D is a partially enlarged view around the feature pattern P1 in FIG. 7B.
  • the feature patterns F2 to F4 and the feature pattern areas P2 to P4 only change the vertical and horizontal relations between the feature pattern F1 and the feature pattern area P1 and the reference pattern area, and the others are set in the same manner.
  • the feature pattern F1 and the feature pattern region P1 will be described.
  • the feature pattern F1 is configured such that dots are arranged in a line in the right direction from the leftmost end of the reference pattern area.
  • the length of the feature pattern F1 in the X-axis direction is a length corresponding to 75 pixels.
  • the feature pattern region P1 is set so that the feature pattern F1 is positioned at the center in the Y-axis direction.
  • the feature pattern region P1 is set at the center of the feature pattern F1 so that the feature pattern F1 for 30 pixels protrudes to the left and right of the feature pattern region P1, respectively. Therefore, the feature pattern region P1 is set so that the left end thereof is positioned 30 pixels from the leftmost end of the reference pattern region.
  • the upper end of the feature pattern area P1 is set to be separated from the uppermost end of the reference pattern area by a predetermined number of pixels ⁇ m.
  • the number of pixels ⁇ m is set according to the feature pattern search region Rp1.
  • the feature pattern search region Rp1 is, for example, an amount of deviation of the dot pattern in the Y-axis direction that can normally be assumed when a deviation due to a change in the mounting position of the CMOS image sensor 240 or an optical aberration of the DOE 140 occurs. Is set according to
  • the feature pattern search region Rp1 is the feature pattern region P1 on the measured image.
  • a search range Lp1 of 5 pixels is set in the positive and negative directions on the Y axis centering on the region corresponding to.
  • the number of pixels ⁇ m is set to 5 pixels or more as shown in FIG.
  • the feature pattern search region Rp1 can be contained within the effective imaging region of the CMOS image sensor 240.
  • the feature pattern F1 is positioned at a position of 13 pixels from the uppermost end of the reference pattern area.
  • the number of pixels ⁇ n of the feature pattern F that protrudes from the feature pattern region P1 to the left and right is set according to the search range Li in the X-axis direction set at the time of distance measurement.
  • the search range Li is determined depending on the direction in which the detection target object moves away from the reference plane toward the information acquisition device 1 and the distance that can be detected in the approaching direction.
  • the range of the position shifted by 30 pixels from the position shifted by ⁇ 30 pixels is set as the search range Li. Accordingly, as shown in FIG. 7C, the number of pixels ⁇ n is set to 30 pixels.
  • the feature pattern F1 can be accommodated in the feature pattern search region Rp1 regardless of the position of the detection target object in the range where the distance can be detected. That is, even if the dot pattern is shifted in the X-axis direction during actual measurement, the feature pattern F1 is applied in the feature pattern search region Rp1.
  • FIG. 8A is a diagram showing the state of the feature pattern F1 'on the actually measured image when the flat surface (detection target) is at the farthest position in the range where distance detection is possible.
  • the dot pattern moves by 30 pixels in the X-axis positive direction
  • the feature pattern F1 ′ moves by 30 pixels in the X-axis positive direction from the position of the feature pattern F1 in FIG. .
  • the flat surface (detection target) is the farthest position in the range where distance detection is possible.
  • the feature pattern F1 ′ can be stored in the feature pattern search region Rp1.
  • FIG. 8B is a diagram showing the state of the feature pattern F1 'on the actually measured image when the flat surface (detection target) is at the closest position in the range where distance detection is possible.
  • the dot pattern moves by 30 pixels in the X-axis negative direction
  • the feature pattern F1 ′ moves by 30 pixels in the X-axis negative direction from the position of the feature pattern F1 in FIG. .
  • the feature pattern F1 ′ can be stored in the feature pattern search region Rp1.
  • the feature pattern region P1 can be set so that the left end of the feature pattern region P1 coincides with the leftmost end of the reference pattern region.
  • the portion of the feature pattern F1 that protrudes from the left of the feature pattern region P1 protrudes from the reference pattern region.
  • the portion corresponding to the left 30 pixels of the feature pattern F1 ' also protrudes from the effective imaging area on the measured image.
  • the protruding portion enters the reference pattern region as the flat surface (detection target) moves away from the reference surface.
  • the left 30 pixels of the feature pattern F1 ′ is the feature pattern as shown in FIG. 8D. It falls within the search area Rp1. Therefore, even when the feature pattern region P1 is set as shown in FIG. 8C, the feature pattern F1 'can be stored in the feature pattern search region Rp1.
  • the length of the feature pattern F1 that protrudes from the left and right of the feature pattern region P1 may exceed the length corresponding to 30 pixels.
  • the feature pattern F1 is positioned in the feature pattern search region Rp1 regardless of whether the dot pattern is shifted in the X-axis direction or the Y-axis direction during actual measurement. Therefore, it is possible to appropriately detect the amount of deviation of the feature pattern F1 in the Y-axis direction.
  • the deviation of the dot pattern in the Y-axis direction due to changes over time, optical aberrations of the DOE 140, etc. usually increases as the distance from the center increases. Accordingly, by positioning the feature pattern F1 at the leftmost end and the vicinity of the uppermost end of the reference pattern area as described above, it is possible to suitably detect the deviation of the dot pattern in the Y-axis direction.
  • the feature pattern F1 extending in the X-axis direction is set in this way, the feature pattern F1 is applied to a plurality of segment areas adjacent in the X-axis direction. For this reason, the segment area including the feature pattern F1 loses its uniqueness in the dot pattern for 15 pixels to which the feature pattern F1 is applied, and as a result, the minimum difference value Rsad and the second smallest difference are caused. The difference from the value Rsad tends to be small. However, as described above, since the segment area has a size of horizontal 15 pixels ⁇ vertical 15 pixels, the uniqueness of the segment area is ensured in a portion other than the feature pattern F1.
  • the detection target object is positioned near the center of the reference pattern area, while the feature pattern F1 is positioned at the leftmost end and the uppermost end of the reference pattern area as described above. For this reason, the influence of the feature pattern F1 on the distance detection with respect to the detection target object is further slight.
  • the feature pattern F1 is effective when searching for the feature pattern region P1.
  • the dot pattern at the time of actual measurement is shifted in the X-axis direction.
  • the region corresponding to the feature pattern region P1 on the actually measured image is also shifted in the X-axis direction with respect to the feature pattern search region Rp1.
  • the region corresponding to the feature pattern region P1 is not included in the feature pattern search region Rp1.
  • the feature pattern areas P1 to P4 are set for the reference pattern area, and information about the feature pattern areas P1 to P4 is stored in the memory 26 of FIG. 2 together with the reference template.
  • FIG. 9 is a diagram showing a flow of distance detection processing in the present embodiment.
  • FIG. 9A is a diagram showing the flow of the reference template generation process. These processes are performed by the setting person using the setting device when setting up the information acquisition device 1.
  • the DP light reflected in a state where only the reference plane is arranged is imaged to obtain a reference image (S11).
  • a reference image S11
  • feature patterns F1 to F4 are captured in the four corners of the reference image.
  • the setting device performs binarization processing on the reference image obtained from the CMOS image sensor 240 (S12).
  • the reference image is an image in which the presence or absence of dots is represented by 0 and 1.
  • the setting device sets a segment area on the binarized standard image and generates a reference template (S13).
  • the setting device sets feature pattern areas P1 to P4 on the feature patterns F1 to F4 (S14).
  • Information about the generated reference template and feature pattern areas P1 to P4 is stored in the memory 26 of FIG. In this way, the information regarding the reference template and the feature pattern areas P1 to P4 stored in the memory 26 is referred to by the CPU 21 when the distance is detected.
  • FIG. 9B is a diagram showing the flow of processing when detecting distance. These processes are performed by the distance acquisition unit 21b of the CPU 21 of the information acquisition device 1 when detecting the distance.
  • the DP light reflected from the target area is imaged to obtain a measured image (S21).
  • a measured image S21
  • feature patterns F1 to F4 are captured in the four corners in the actual measurement image.
  • CPU21 performs the binarization process of the measurement image similarly to the reference image (S22).
  • the actual measurement image is an image in which the presence or absence of dots is expressed by 0 and 1 like the reference image.
  • CPU21 performs the matching process which detects the amount of vertical pixel shift
  • the CPU 21 corrects the search area of the segment area in the vertical direction according to each vertical pixel shift amount.
  • An offset pattern setting process is performed (S24). The offset pattern setting process will be described later with reference to FIGS.
  • the CPU 21 offsets the search area of the segment area in the Y-axis direction according to the set offset pattern, performs the distance matching process of the distance detection method (S25), and the distance detection process is completed.
  • FIGS. 10 and 11 are diagrams showing the flow of the feature pattern matching process in S23 of FIG. 9B.
  • the CPU 21 reads pixel information (reference pattern) of the standard image and information regarding the position of the reference pattern area on the CMOS image sensor 240 from the reference template stored in the memory 26 (S201).
  • the CPU 21 sets 1 to the variable i (S202), reads the position information of the feature pattern area Pi on the CMOS image sensor 240 from the memory 26, and the position information of the read feature pattern area Pi and the position information read in S201.
  • the pixel information of the feature pattern region Pi on the reference image is set (S203).
  • a position on the actual measurement image that is the same position as the position of the feature pattern area Pi on the reference image is set (S204).
  • the CPU 21 sets ⁇ x to the variable j (S205), and reads pixel information of the feature pattern comparison region at a position that is j pixels away from the position on the actual measurement image set in S204 in the Y-axis direction (S206). ). Then, the pixel information of the feature pattern comparison area read in S206 is compared with the pixel information of the feature pattern area Pi read in S203, and a value Rsad is calculated by the equation shown in FIG. 6E (S207). The calculated value Rsad is stored in the memory 26 in association with the pixel shift amount j (value of variable j) in the Y-axis direction of the feature pattern area Pi.
  • the CPU 21 determines whether the variable j is equal to x (S208). When the variable j is not equal to x (S208: NO), the CPU 21 adds 1 to the variable j (S209), and returns the process to S206.
  • x is set to 5 as the amount of vertical pixel shift that can be assumed, and the processing of steps S206 to S207 is repeated from a position shifted by 5 pixels in the positive Y-axis direction to a position shifted by 5 pixels in the negative Y-axis direction.
  • the CPU 21 first determines the minimum value Bt1 and the second smallest value from the value Rsad stored in the memory 26 in association with the pixel shift amount j in the Y-axis direction. Bt2 is read and the difference value Es is calculated (S221). Then, the CPU 21 determines whether or not the calculated difference value Es is equal to or greater than a threshold value (S222).
  • the CPU 21 regards that the feature pattern comparison area corresponding to the pixel shift amount of the minimum value Bt1 matches the feature pattern area Pi, and the pixel shift amount of the minimum value Bt1. Is stored in the vertical pixel shift amount table T shown in FIG. 11B (S223).
  • the CPU 21 sets error information in the vertical pixel shift amount table T, assuming that there is no region matching the dot pattern of the feature pattern region Pi (S224). .
  • the error information a value distinguishable from the normal vertical pixel shift amount is stored.
  • the vertical pixel shift amount acquisition processing is completed based on the comparison result of the feature pattern area Pi.
  • the CPU 21 determines whether the variable i is equal to n (S211). When the variable i is not equal to n (S211: NO), 1 is added to the variable i (S212), and the process returns to S203. In n, 4 is set as the number of feature pattern areas set in the reference pattern area, and the processes in steps S203 to S210 are repeated for all the feature pattern areas P1 to P4 set in the reference pattern area.
  • the CPU 21 corrects the error information set in the vertical pixel shift amount table T (S213). Specifically, when error information is set in the vertical pixel shift amount table T, the vertical pixel shift amount is interpolated based on other vertical pixel shift amounts that have been successfully acquired. In this case, since the pixel shift in the vertical direction tends to occur symmetrically in the vertical direction, interpolation may be performed in consideration of this point.
  • the vertical pixel shift amount 2 of the feature pattern region P3 set in the same row is set as the vertical pixel shift amount of the feature pattern region P1.
  • the vertical pixel shift amount is not taken for the feature pattern areas P2 and P4
  • values obtained by adding a negative sign to the vertical pixel shift amounts of the feature pattern areas P1 and P3 set in the same column, respectively This is set as the vertical pixel shift amount of the feature pattern areas P2 and P3.
  • the vertical pixel shift amount of the feature pattern region P1 is set as the vertical pixel shift amount of the feature pattern region P3.
  • Values obtained by adding a negative sign to the vertical pixel shift amount are set as the vertical pixel shift amounts of the feature pattern areas P2 and P4, respectively.
  • an appropriate vertical pixel shift amount can be used even if an error occurs in obtaining the vertical pixel shift amount of some feature pattern areas. If all the vertical pixel shift amounts cause an error, the CPU 21 sets the vertical pixel shift amount to zero.
  • FIG. 12 is a diagram schematically illustrating an example of the matching state of the feature pattern P1 when the dot pattern is shifted by 3 pixels in the Y-axis negative direction and the X-axis positive direction in the present embodiment.
  • the feature pattern corresponding to the feature pattern area P1 is CP0 ′ shifted by 3 pixels in the Y-axis negative direction and 3 pixels in the X-axis positive direction from the feature pattern comparison area Cp0 with 0-pixel shift. The position is displaced.
  • the feature pattern F1 matches the feature pattern F1 ′ on the actual measurement image.
  • dots other than the feature pattern F1 are almost unmatched because they are shifted in the positive direction of the X axis on the measured image.
  • the difference value Rsad from the feature pattern comparison region Cp1 at this position becomes small. As a result, it is determined that the feature pattern region P1 has moved to the position of the feature pattern comparison region Cp1, and it is appropriately detected that the vertical pixel shift amount is 3 pixels.
  • a dot pattern region P1 ′ set for detecting a pixel shift in the Y-axis direction when a feature pattern extending in the X-axis direction is not provided, a dot pattern region P1 ′ set for detecting a pixel shift in the Y-axis direction.
  • the detection range is ⁇ 30 to 30 pixels in the X-axis direction, it is shifted by 60 pixels in the X-axis direction and by 10 pixels in the Y-axis direction. It is necessary to search for the vertical pixel shift amount of the dot pattern region P1 ′, and the calculation amount is approximately 60 times that of the present embodiment.
  • the vertical pixel shift amount of the dot pattern can be detected by shifting the feature pattern region P1 only in the Y-axis direction. . Therefore, the amount of calculation can be made extremely small compared to the comparative example.
  • FIG. 13 (a) is a diagram showing the flow of the offset pattern setting process in S24 of FIG. 9 (b).
  • FIG. 13B is a diagram schematically showing the offset amount of each segment area and the search area of the segment area.
  • the horizontal 16 ⁇ vertical 12 segment regions are shown in a simplified manner so as not to overlap each other.
  • the feature pattern areas P1 to P4 and the amount of vertical pixel shift are also shown.
  • the CPU 21 reads the vertical pixel shift amounts of the feature pattern areas P1 to P4 stored in the vertical pixel shift table T shown in FIG. 11B (S231). Then, as shown in FIG. 13B, the CPU 21 sets the offset amounts of the search areas R1 to R4 with respect to the segment areas S1 to S4 at the four corners in accordance with the vertical pixel shift amounts of the read characteristic pattern areas P1 to P4. Setting is made (S232).
  • the feature pixel region P1 set near the upper left corner has a vertical pixel shift amount of 3 detected.
  • the offset amount of the segment area S1 at the upper left corner is set to 3.
  • the offset amount of the segment region S2 is ⁇ 2
  • the offset amount of the segment region S3 is 2
  • the offset amount of the segment region S4 is ⁇ 1 according to the vertical pixel shift amount of the feature pattern regions P2 to P4. Is set.
  • the CPU 21 determines the vertical pixels of each segment area for all the leftmost segment areas based on the offset amounts of the segment areas S1 and S2 set at the leftmost positions.
  • Each offset amount is set proportionally in accordance with the position (S233).
  • the offset amount of each segment area is adjusted to be an integer. Therefore, the offset amounts of the segments adjacent in the Y-axis direction may be equal to each other.
  • the CPU 21 determines the vertical direction of each segment area for all the rightmost segment areas based on the offset amounts of the segment areas S3 and S4 set at the rightmost end. Each offset amount is set in proportion to the pixel position (S234).
  • the CPU 21 determines the pixels in the left-right direction for the segment regions in each row between them based on the offset amount of the leftmost segment and the rightmost segment region.
  • An offset amount is set in proportion to the position.
  • the CPU 21 stores the offset pattern for each segment area set as described above in the memory 26 and completes the process.
  • the offset pattern in which the offset amount is set for the segment area of 16 horizontal x 12 vertical has been described, but in reality, the segment area is set at an interval of one pixel as described above. Therefore, an offset pattern in which an offset amount of 640 horizontal pixels ⁇ 480 vertical pixels is set according to the number of pixels of the reference image is stored.
  • the offset amounts of the search areas of all the segment areas can be calculated based on the vertical pixel shift amounts of the four feature pattern areas P1 to P4, the calculation amount is suppressed.
  • the amount of vertical pixel shift can be detected with high accuracy.
  • FIG. 14 is a diagram schematically showing a situation where the search area on the measured image of the segment area is offset using the offset pattern of FIG.
  • a search area R1 'offset by 3 pixels upward from the reference search area R1 is set. Then, the matching process for the segment area S1 is performed in the search area R1 '.
  • a search area R3 ′ offset by 2 pixels upward from the reference search area R3 is set, and for the segment areas S2 and S4, the reference search areas R2 and R4, respectively.
  • Search areas R2 ′ and R4 ′ offset by 2 pixels and 1 pixel from the bottom are set. Then, in the search areas R2 'to R4', matching processing for the segment areas S2 to S4 is performed.
  • the offset amount of the segment region S4 at the center of the leftmost end is 0, and the offset amount of the segment region S5 of the center of the rightmost end is also 0.
  • the dot pattern is aligned in the vertical direction (Y) during measurement by offsetting the search area of each segment area according to the vertical pixel shift amount detected in the feature pattern areas P1 to P4. Even if it deviates in the axial direction), matching can be performed appropriately.
  • the search area of the segment area is offset and matched using the offset pattern corresponding to the vertical pixel shift amount of the feature pattern set at the four corners. Even if the light receiving position of the dot is shifted in the Y-axis positive direction or the Y-axis negative direction, the distance can be detected appropriately.
  • the vertical pixel shift amount of the feature pattern can be detected only by searching in the Y-axis direction.
  • the calculation amount of the offset amount of the segment area can be suppressed.
  • the offset amounts of all the segment areas can be calculated and set according to the vertical pixel shift amounts of the feature pattern areas at the four corners.
  • the amount of pixel shift can be detected.
  • the feature pattern is positioned at the top, bottom, left, and right ends of the reference pattern region where the detection target object is difficult to be positioned, and thus it is possible to suitably detect the vertical pixel shift of the dot pattern.
  • the four feature patterns F1 to F4 are set to be positioned at the corners of the reference pattern region, but the number of feature patterns may be other numbers.
  • the number of feature patterns may be other numbers.
  • FIG. 15A at least two feature patterns F1 and F2 may be positioned at the uppermost end and the lowermost end, respectively.
  • an offset amount corresponding to the vertical shift amount detected based on the feature pattern F1 is set for all the segment regions at the uppermost end, and the segment pattern at the lowermost end is set based on the feature pattern F2.
  • An offset amount corresponding to the detected vertical shift amount is set.
  • an offset amount is proportionally set in the segment area between the uppermost end and the lowermost end in accordance with the vertical pixel position of each segment area. Thereby, the effect substantially the same as the said embodiment is show
  • the two feature patterns F1 and F2 do not need to be arranged in the vertical direction, and for example, as shown in FIG. May be in position. Further, as shown in FIG. 15C, six feature patterns F1 to F6 may be positioned. Also in these cases, as in the above-described embodiment, the offset amount is set in proportion to each segment area.
  • one feature pattern F1 may be positioned in the reference pattern area.
  • the offset amount at the upper left corner of the reference pattern area acquired based on the feature pattern area P1 is the reference pattern area.
  • the offset amount obtained by adding a negative sign to the offset amount acquired based on the feature pattern region P1 is set in the lower left and lower right segment regions.
  • the offset amounts of the other segment regions are set proportionally based on the offset amounts of the segment regions at the four corners.
  • the setting accuracy of the offset amount is lower than that in the above embodiment, but the amount of calculation for detecting the amount of vertical pixel displacement is sufficient because it is sufficient to detect the amount of vertical pixel displacement only for one feature pattern region P1. Can be suppressed.
  • the feature pattern may be set near the center of the reference pattern area.
  • the offset amount of each segment region can be set more finely in consideration of the vertical pixel shift amount near the center.
  • At least two feature patterns are positioned at the uppermost end and the lowermost end, respectively. It is more desirable that the amount of vertical pixel shift can be suitably detected at the end, and the influence on the distance detection of the detection target object is small.
  • a characteristic pattern that can be distinguished from other random dot patterns is set by distributing dots in a predetermined region so as to be linearly arranged in the X-axis direction.
  • the number of dots of DP light to be generated is quite large, it is distinguished from other random dot patterns by distributing so that no dot is arranged in a straight line in the X-axis direction in a predetermined region.
  • Possible feature patterns may be generated.
  • the vertical pixel shift amount of the pattern characterized by the fact that the dots are not arranged can be detected only by searching in the Y-axis direction. Can be detected.
  • the feature pattern is set by arranging dots in a straight line in the X-axis direction.
  • the feature pattern is configured to extend linearly in the X-axis direction and have a predetermined regularity. If so, it may be composed of other patterns.
  • the feature pattern may be configured with a pattern in which dots are continuous for 10 pixels and the gap at which dots are interrupted is as short as about 1 pixel. In this case, when the dot pattern is shifted in the X-axis direction, the gap portion cannot be matched. However, since the line portion is set several steps longer than the gap, the vertical pixel shift amount is set to be the same as in the above embodiment. Appropriate detection is possible only by searching in the Y-axis direction.
  • the feature pattern is set so that the dots are arranged in a straight line with a thickness of one pixel in the Y-axis direction at each of the four corners, but two or more instead of one. May be set so that the dots are arranged in a straight line (see FIG. 15B), or may be set so that the dots are arranged in a straight line with a thickness of two or more pixels in the Y-axis direction (see FIG. 15). 15 (c)). In this way, it is possible to accurately calculate the vertical pixel shift amount of the feature pattern region with a feature pattern having a larger number of pixels.
  • the feature pattern is set to be arranged in a straight line with about 1 to 2 in the Y-axis direction with a thickness of 1 pixel. Is desirable.
  • the feature pattern is positioned so as to be located at the center of the feature pattern region.
  • the feature pattern F1 is positioned at the upper end of the feature pattern region P1. May be. In this case, if the feature pattern F1 is shifted upward, it tends to be out of the effective imaging area of the CMOS image sensor 240. However, as shown in FIG. 17A, the feature pattern area P1 is separated from the uppermost end of the reference pattern area. When the position is set at a distance that is 5 pixels or more of the amount of deviation in the Y-axis direction that can be assumed, the feature pattern F1 does not deviate from the effective imaging area of the CMOS image sensor 240.
  • the amount can be appropriately matched only by searching in the Y-axis direction.
  • the feature pattern F1 is positioned closer to the uppermost end of the reference pattern region than in the above-described embodiment, so that the feature pattern is less likely to be applied to the detection target object, and the feature pattern is more preferable.
  • the vertical pixel shift amount of the pattern F1 can be detected.
  • the feature pattern region P1 is set at a position 5 pixels away from the uppermost end of the reference pattern region so that the feature pattern search region Rp1 is within the effective imaging region.
  • the feature pattern area P1 may be set at the uppermost position of the reference pattern area.
  • the difference value Rsad is large in that region.
  • the difference value Rsad becomes small, and matching can be performed appropriately.
  • the feature pattern F1 is positioned at the center of the feature pattern region P1 as in the above embodiment, and therefore, the dot pattern corresponds to the upper half of the seven pixels on the measured image in the upward direction. Even if they deviate, the feature pattern F1 ′ is positioned in the effective imaging area. As described above, the amount of vertical pixel shift that can be assumed is normally about 5 pixels. Therefore, in the example of FIG. 17B, the feature pattern F1 ′ is positioned in the effective imaging area during measurement. It becomes. For this reason, the amount of vertical pixel shift can be detected appropriately.
  • the size of the feature pattern area is set to a size of 15 horizontal pixels ⁇ 15 vertical pixels similarly to the size of the segment area.
  • a size different from the segment area may be set.
  • the segment region as described above, when the size is reduced, the uniqueness of the dot pattern is reduced and the matching error rate is increased.
  • the characteristic pattern area has a characteristic pattern in which dots are arranged in a straight line in the X-axis direction, the uniqueness of the dot pattern is less likely to be lost than the segment area having only a random dot pattern. Therefore, as shown in FIG. 17C, the feature pattern region P1 may have a size of 9 horizontal pixels ⁇ 9 vertical pixels smaller than the segment region.
  • the feature pattern region P1 can be reduced, the amount of calculation required for matching for searching for the vertical pixel shift amount can be further reduced. Further, since the number of pixels included in the X-axis direction of the feature pattern region P1 is also reduced, the length of the feature pattern F1 in the X-axis direction can be reduced from 75 pixels to 69 pixels in the above embodiment.
  • the feature pattern has 75 pixels of dots arranged in the X-axis direction according to the distance detection accuracy in the depth direction and the size of the feature pattern region, but a smaller number than that, Alternatively, a large number of pixels may be arranged. For example, in a normal application, if the detection target object is not positioned at a position where the segment area is shifted by 20 to 30 pixels, the length of the feature pattern is calculated based on the shift amount (search range) of the segment area. Alternatively, the length may be a little smaller than the number of pixels.
  • the offset amount of each segment area is changed proportionally according to the position of each segment area on the reference pattern area.
  • the weight may be changed with a predetermined weight according to the position of the reference pattern region. For example, when the emission wavelength of the laser light fluctuates, the dot pattern tends to spread radially around the 0th order light due to the optical characteristics of the DOE 140. In such a case, the offset amount may be increased in the segment region at a position away from the center of the dot pattern in the Y-axis positive direction or the Y-axis negative direction, and the offset amount may be decreased in the segment region near the center. In this way, matching can be appropriately performed according to the tendency of the emission wavelength variation of the laser light.
  • the values of other vertical pixel shift amounts are interpolated, but the interpolation is not performed and the vertical pixel shift amount is set to 0. You may do it.
  • an error is determined based on the difference between the minimum difference value Rsad and the second smallest difference value Rsad, but the minimum difference value Rsad is You may determine so that it may become an error, when larger than a predetermined threshold value.
  • the threshold value in this case is, for example, a number obtained by subtracting the number of pixels of the feature pattern included in the feature pattern area from the total number of pixels included in the feature pattern area (for example, the size of the feature pattern area is 15 pixels ⁇ 15 pixels horizontally). 210) may be used.
  • the segment area is shifted in the X-axis direction within a search range of ⁇ 30 to 30 pixels, and distance detection is performed.
  • Other pixel numbers may be used.
  • the feature pattern region is shifted in the Y-axis direction within a search range of ⁇ 5 to 5 pixels to detect the vertical pixel shift amount.
  • the segment areas are set so that the adjacent segment areas overlap each other, but the segment areas may be set so that the segment areas adjacent to the left and right do not overlap each other.
  • the segment areas may be set so that the segment areas adjacent in the vertical direction do not overlap each other.
  • the shift amount of the segment areas adjacent in the vertical and horizontal directions is not limited to one pixel, and the shift amount may be set to another number of pixels.
  • region was set to 15 pixels x 15 pixels, it can set arbitrarily according to detection accuracy.
  • region were set to square shape, a rectangle may be sufficient.
  • the segment area is set on the reference image, and the distance matching is performed by searching the position of the corresponding dot pattern on the actual measurement image.
  • the segment area is set on the actual measurement image.
  • the distance matching may be performed by searching for the position of the corresponding dot pattern on the reference image.
  • an error is determined based on whether the difference between Rsad with the highest matching rate and Rsad with the next highest matching rate exceeds a threshold.
  • the error may be determined based on whether Rsad having the highest collation rate exceeds a predetermined threshold.
  • the pixel values of the pixels included in the segment area and the comparison area are binarized before calculating the matching rate between the segment area and the comparison area. Matching may be performed using the values as they are.
  • the pixel value obtained by the CMOS image sensor 240 is binarized as it is. However, the pixel value is subjected to correction processing such as predetermined pixel weighting processing and background light removal processing. After performing, it may be binarized or multi-valued.
  • the distance information is obtained using the triangulation method and stored in the memory 26.
  • the distance using the triangulation method is set.
  • the displacement amount (pixel displacement amount) of the segment area may be acquired as the distance information without calculating.
  • the feature pattern and the random dot pattern are generated by one laser light source 110 and one DOE 140.
  • the feature pattern and the random dot pattern are respectively separated from the separate laser light sources. It may be generated by DOE or one laser light source and a plurality of DOEs.
  • the filter 230 is disposed to remove light in a wavelength band other than the wavelength band of the laser light irradiated to the target region.
  • light other than the laser light irradiated to the target region is used.
  • the filter 230 can be omitted.
  • the arrangement position of the aperture 210 may be between any two imaging lenses.
  • the CMOS image sensor 240 is used as the light receiving element, but a CCD image sensor can be used instead. Furthermore, the configurations of the projection optical system 100 and the light receiving optical system 200 can be changed as appropriate.
  • the information acquisition device 1 and the information processing device 2 may be integrated, or the information acquisition device 1 and the information processing device 2 may be integrated with a television, a game machine, or a personal computer.
  • DESCRIPTION OF SYMBOLS 1 Information acquisition apparatus 21 ... CPU (distance acquisition part) 21b ... Distance acquisition unit (distance acquisition unit) 24 ... Imaging signal processing circuit (distance acquisition unit) DESCRIPTION OF SYMBOLS 100 ... Projection optical system 110 ... Laser light source 120 ... Collimator lens 140 ... DOE (diffractive optical element) 200 ... Light receiving optical system 240 ... CMOS image sensor (image sensor) S1 to Sn: Segment area (reference area) F1 to F6 ... Feature pattern P1 to P6 ... Feature pattern area

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Geophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

イメージセンサ上において、投射光学系と受光光学系の並び方向に対して垂直な方向にドットの受光位置がずれた場合にも、演算量を抑えつつ、適正に距離情報を取得可能な情報取得装置および物体検出装置を提供する。情報取得装置(1)は、ドットパターンでレーザ光を投射する投射光学系(100)と、目標領域を撮像する受光光学系(200)と、基準画像上のセグメント領域の、実測画像上の位置をX軸方向において探索し、距離情報を取得する距離取得部(21b)とを備える。ドットパターンは、X軸方向に延びた特徴パターン(F1-F4)を有し、距離取得部は、Y軸方向における特徴パターンの位置を検出し、距離情報を取得するための探索を実行する領域を設定する。これにより、Y軸方向にドットがずれた場合にも、演算量を抑えつつ、適正に距離情報を取得できる。

Description

情報取得装置および物体検出装置
 本発明は、目標領域に光を投射したときの反射光の状態に基づいて目標領域内の物体を検出する物体検出装置および当該物体検出装置に用いて好適な情報取得装置に関する。
 従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、2次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。かかる物体検出装置では、レーザ光源やLED(Light Emitting Diode)から、予め決められた波長帯域の光が目標領域に投射され、その反射光がCMOSイメージセンサ等の受光素子により受光される。距離画像センサとして、種々のタイプのものが知られている。
 所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサでは、ドットパターンを持つレーザ光の目標領域からの反射光が受光素子によって受光される。そして、ドットの受光素子上の受光位置に基づいて、三角測量法を用いて、検出対象物体の各部(検出対象物体上の各ドットの照射位置)までの距離が検出される(たとえば、特許文献1、非特許文献1)。
特開2011-169701号公報
第19回日本ロボット学会学術講演会(2001年9月18-20日)予稿集、P1279-1280
 上記物体検出装置では、投射光学系と受光光学系が横に並ぶように配置される。この場合、通常、イメージセンサ上のドットの受光位置は、投射光学系と受光光学系の並び方向にのみ変位する。上記物体検出装置では、投射光学系と受光光学系の並び方向のドットの移動量をもとに、距離が検出される。
 しかし、イメージセンサの経時変化による取り付け位置のずれ、および光学素子の光学的な収差等の影響によって、イメージセンサ上のドットの受光位置は、投射光学系と受光光学系の並び方向に対して垂直な方向にずれが発生し得る。
 この場合、投射光学系と受光光学系の垂直な方向にもドットの移動量を無作為に探索すると、距離検出にかかる演算量が増大し、検出対象物体の距離検出に影響を及ぼす惧れがある。
 本発明は、この点に鑑みてなされたものであり、イメージセンサ上において、投射光学系と受光光学系の並び方向に対して垂直な方向にドットの受光位置がずれた場合にも、演算量を抑えつつ、適正に距離情報を取得可能な情報取得装置および物体検出装置を提供することを目的とする。
 本発明の第1の態様は、光を用いて目標領域の情報を取得する情報取得装置に関する。本態様に係る情報取得装置は、目標領域に所定のドットパターンでレーザ光を投射する投射光学系と、前記投射光学系に対して所定の距離だけ第1の方向に離れて並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準ドットパターンと、実測時に前記イメージセンサにより撮像された実測ドットパターンとを比較し、前記基準ドットパターン上の参照領域の、前記実測ドットパターン上の位置を前記第1の方向において探索し、探索された位置に基づいて、当該参照領域に対する距離情報を取得する距離取得部と、を備える。ここで、前記目標領域に投射された前記ドットパターンは、前記第1の方向に延びた特徴パターンを有する。さらに、前記距離取得部は、前記実測ドットパターンにおいて、前記第1の方向に垂直な第2の方向における前記特徴パターンの位置を検出し、検出した位置と、前記基準パターン上における前記特徴パターンの前記第2の方向における位置との間のずれに基づいて、前記探索を実行する領域を設定する。
 本発明の第2の態様は、物体検出装置に関する。本態様に係る物体検出装置は、上記第1の態様に係る情報取得装置を有する。
 本発明によれば、イメージセンサ上において、投射光学系と受光光学系の並び方向に対して垂直な方向にドットの受光位置がずれた場合にも、演算量を抑えつつ、適正に距離情報を取得可能な情報取得装置および物体検出装置を提供することができる。
 本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
実施の形態に係る物体検出装置の構成を示す図である。 実施の形態に係る情報取得装置と情報処理装置の構成を示す図である。 実施の形態に係る投射光学系と受光光学系の外観を示す斜視図である。 実施の形態に係る目標領域に対するレーザ光の照射状態とイメージセンサ上のレーザ光の受光状態を示す図である。 実施の形態に係る参照パターンの生成方法を説明する図である。 実施の形態に係る距離検出手法を説明する図である。 実施の形態に係る特徴パターンの縦画素ずれの探索処理を説明する図である。 実施の形態に係る特徴パターンの大きさと特徴パターン領域の位置の関係を説明する図である。 実施の形態に係る距離検出処理の流れを示す図である。 実施の形態に係る特徴パターンのマッチング処理の流れを示す図である。 実施の形態に係る特徴パターンの縦画素ずれ量の取得処理の流れを示す図である。 実施の形態に係る特徴パターンの縦画素ずれの探索処理を説明する図である。 実施の形態に係るオフセットパターンの設定処理の流れを示す図である。 実施の形態に係る縦画素ずれ量に応じた距離検出手法を説明する図である。 変更例に係る特徴パターンの設定例を示す図である。 変更例に係る特徴パターンの設定例を示す図である。 変更例に係る特徴パターンおよび特徴パターン領域の設定例を示す図である。
 以下、本発明の実施の形態につき図面を参照して説明する。本実施の形態には、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの情報取得装置が例示されている。
 まず、図1に本実施の形態に係る物体検出装置の概略構成を示す。図示の如く、物体検出装置は、情報取得装置1と、情報処理装置2とを備えている。テレビ3は、情報処理装置2からの信号によって制御される。
 情報取得装置1は、目標領域全体に赤外光を投射し、その反射光をCMOSイメージセンサにて受光することにより、目標領域にある物体各部の距離(以下、「3次元距離情報」という)を取得する。取得された3次元距離情報は、ケーブル4を介して情報処理装置2に送られる。
 情報処理装置2は、たとえば、テレビ制御用のコントローラやゲーム機、パーソナルコンピュータ等である。情報処理装置2は、情報取得装置1から受信した3次元距離情報に基づき、目標領域における物体を検出し、検出結果に基づきテレビ3を制御する。
 たとえば、情報処理装置2は、受信した3次元距離情報に基づき人を検出するとともに、3次元距離情報の変化から、その人の動きを検出する。たとえば、情報処理装置2がテレビ制御用のコントローラである場合、情報処理装置2には、受信した3次元距離情報からその人のジェスチャを検出するとともに、ジェスチャに応じてテレビ3に制御信号を出力するアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定のジェスチャをすることにより、チャンネル切り替えやボリュームのUp/Down等、所定の機能をテレビ3に実行させることができる。
 また、たとえば、情報処理装置2がゲーム機である場合、情報処理装置2には、受信した3次元距離情報からその人の動きを検出するとともに、検出した動きに応じてテレビ画面上のキャラクタを動作させ、ゲームの対戦状況を変化させるアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定の動きをすることにより、自身がテレビ画面上のキャラクタとしてゲームの対戦を行う臨場感を味わうことができる。
 図2は、情報取得装置1と情報処理装置2の構成を示す図である。
 情報取得装置1は、光学部の構成として、投射光学系100と受光光学系200とを備えている。投射光学系100と受光光学系200は、X軸方向に並ぶように、情報取得装置1に配置される。
 投射光学系100は、レーザ光源110と、コリメータレンズ120と、リーケージミラー130と、回折光学素子(DOE:Diffractive Optical Element)140と、FMD(Front Monitor Diode)150とを備えている。また、受光光学系200は、アパーチャ210と、撮像レンズ220と、フィルタ230と、CMOSイメージセンサ240とを備えている。この他、情報取得装置1は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、PD信号処理回路23と、撮像信号処理回路24と、入出力回路25と、メモリ26を備えている。
 レーザ光源110は、受光光学系200から離れる方向(X軸負方向)に波長830nm程度の狭波長帯域のレーザ光を出力する。コリメータレンズ120は、レーザ光源110から出射されたレーザ光を平行光から僅かに広がった光(以下、単に「平行光」という)に変換する。
 リーケージミラー130は、誘電体薄膜の多層膜からなり、反射率が100%よりも若干低く、透過率が反射率よりも数段小さくなるように膜の層数や膜厚が設計されている。リーケージミラー130は、コリメータレンズ120側から入射されたレーザ光の大部分をDOE140に向かう方向(Z軸方向)に反射し、残りの一部分をFMD150に向かう方向(X軸負方向)に透過する。
 DOE140は、入射面に回折パターンを有する。この回折パターンによる回折作用により、DOE140に入射したレーザ光は、所定のドットパターンのレーザ光に変換されて、目標領域に照射される。後述のように、かかるドットパターンは、ランダムなドットパターンの他に、X軸方向に直線状にドットが並ぶ、規則性をもった特徴的なドットパターンを含んでいる。
 DOE140の回折パターンは、たとえば、ステップ型の回折ホログラムが所定のパターンで形成された構造とされる。回折ホログラムは、コリメータレンズ120により平行光とされたレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。
 DOE140は、リーケージミラー130から入射されたレーザ光を、放射状に広がるドットパターンのレーザ光として、目標領域に照射する。ドットパターンの各ドットの大きさは、DOE140に入射する際のレーザ光のビームサイズに応じたものとなる。
 FMD150は、リーケージミラー130を透過したレーザ光を受光し、受光量に応じた電気信号を出力する。
 目標領域から反射されたレーザ光は、アパーチャ210を介して撮像レンズ220に入射する。
 アパーチャ210は、撮像レンズ220のFナンバーに合うように、外部からの光に絞りを掛ける。撮像レンズ220は、アパーチャ210を介して入射された光をCMOSイメージセンサ240上に集光する。フィルタ230は、レーザ光源110の出射波長(830nm程度)を含む赤外の波長帯域の光を透過し、可視光の波長帯域をカットするIRフィルタ(Infrared Filter)である。
 CMOSイメージセンサ240は、撮像レンズ220にて集光された光を受光して、画素毎に、受光量に応じた信号(電荷)を撮像信号処理回路24に出力する。ここで、CMOSイメージセンサ240は、各画素における受光から高レスポンスでその画素の信号(電荷)を撮像信号処理回路24に出力できるよう、信号の出力速度が高速化されている。
 CPU21は、メモリ26に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU21には、レーザ光源110を制御するためのレーザ制御部21aと、3次元距離情報を生成するための距離取得部21bの機能が付与される。
 レーザ駆動回路22は、CPU21からの制御信号に応じてレーザ光源110を駆動する。PD信号処理回路23は、FMD150から出力された受光量に応じた電圧信号を増幅およびデジタル化してCPU21に出力する。CPU21は、PD信号処理回路23から供給される信号をもとに、レーザ制御部21aによる処理によって、レーザ光源110の光量を増幅もしくは減少させる判断を行う。レーザ光源110の光量を変化させる必要があると判断された場合、レーザ制御部21aは、レーザ光源110の発光量を変化させる制御信号をレーザ駆動回路22に送信する。これにより、レーザ光源110から出射されるレーザ光のパワーが略一定に制御される。
 撮像信号処理回路24は、CMOSイメージセンサ240を制御して、CMOSイメージセンサ240で生成された各画素の信号(電荷)をライン毎に順次取り込む。そして、取り込んだ信号を順次CPU21に出力する。CPU21は、撮像信号処理回路24から供給される信号(撮像信号)をもとに、情報取得装置1から検出対象物の各部までの距離を、距離取得部21bによる処理によって算出する。入出力回路25は、情報処理装置2とのデータ通信を制御する。
 情報処理装置2は、CPU31と、入出力回路32と、メモリ33を備えている。なお、情報処理装置2には、同図に示す構成の他、テレビ3との通信を行うための構成や、CD-ROM等の外部メモリに格納された情報を読み取ってメモリ33にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
 CPU31は、メモリ33に格納された制御プログラム(アプリケーションプログラム)に従って各部を制御する。かかる制御プログラムによって、CPU31には、画像中の物体を検出するための物体検出部31aの機能が付与される。かかる制御プログラムは、たとえば、図示しないドライブ装置によってCD-ROMから読み取られ、メモリ33にインストールされる。
 たとえば、制御プログラムがゲームプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動きを検出する。そして、検出された動きに応じてテレビ画面上のキャラクタを動作させるための処理が制御プログラムにより実行される。
 また、制御プログラムがテレビ3の機能を制御するためのプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動き(ジェスチャ)を検出する。そして、検出された動き(ジェスチャ)に応じて、テレビ3の機能(チャンネル切り替えやボリューム調整、等)を制御するための処理が制御プログラムにより実行される。
 入出力回路32は、情報取得装置1とのデータ通信を制御する。
 図3は、投射光学系100と受光光学系200の設置状態を示す斜視図である。
 投射光学系100と受光光学系200は、ベースプレート300に配置される。投射光学系100を構成する光学部材は、ハウジング100aに設置され、このハウジング100aがベースプレート300上に設置される。これにより、投射光学系100がベースプレート300上に配置される。150a、240aは、それぞれ、FMD150、CMOSイメージセンサ240からの信号を回路基板(図示せず)に供給するためのFPC(フレキシブルプリント基板)である。
 受光光学系200を構成する光学部材は、ホルダ200aに設置され、このホルダ200aが、ベースプレート300の背面からベースプレート300に取りつけられる。これにより、受光光学系200がベースプレート300に配置される。なお、受光光学系200は、Z軸方向に光学部材が並ぶため、投射光学系100と比べ、Z軸方向の高さが高くなっている。ベースプレート300は、Z軸方向の高さを抑えるために、受光光学系200の配置位置周辺がZ軸方向に一段高くなっている。
 図3に示す設置状態において、投射光学系100の射出瞳と受光光学系200の入射瞳の位置は、Z軸方向において、略一致する。また、投射光学系100と受光光学系200は、投射光学系100の投射中心と受光光学系200の撮像中心がX軸に平行な直線上に並ぶように、X軸方向に所定の距離をもって並んで設置される。
 投射光学系100と受光光学系200の設置間隔は、情報取得装置1と目標領域の基準面との距離に応じて、設定される。どの程度離れた目標物を検出対象とするかによって、基準面と情報取得装置1との間の距離が変わる。検出対象の目標物までの距離が近くなるほど、投射光学系100と受光光学系200の設置間隔は狭くなる。逆に、検出対象の目標物までの距離が遠くなるほど、投射光学系100と受光光学系200の設置間隔は広くなる。
 図4(a)は、目標領域に対するレーザ光の照射状態を模式的に示す図、図4(b)は、CMOSイメージセンサ240におけるレーザ光の受光状態を模式的に示す図である。なお、同図(b)には、便宜上、目標領域に平坦な面(スクリーン)とスクリーンの前に人物が存在するときの受光状態が示されている。
 図4(a)に示すように、投射光学系100からは、ドットパターンを持ったレーザ光(以下、このパターンを持つレーザ光の全体を「DP光」という)が、目標領域に照射される。図4(a)には、DP光の光束領域が実線の枠によって示されている。DP光の光束中には、DOE140による回折作用によってレーザ光の強度が高められたドット領域(以下、単に「ドット」という)が、DOE140による回折作用によって、ランダムな配置で分布するドットパターン(以下、単に「ドットパターン」という)と、ドットがX軸方向に直線状に並ぶ特徴的なドットパターン(以下、「特徴パターン」という)が含まれている。特徴パターンは、DP光の光束領域の4隅近傍に位置付けられている。
 目標領域に平坦な面(スクリーン)が存在すると、これにより反射されたDP光は、図4(b)のように、CMOSイメージセンサ240上に分布する。
 図4(b)には、CMOSイメージセンサ240上のDP光の全受光領域が破線の枠によって示され、CMOSイメージセンサ240の撮像有効領域に入射するDP光の受光領域が実線の枠によって示されている。CMOSイメージセンサ240の撮像有効領域は、CMOSイメージセンサ240がDP光を受光した領域のうち、センサとして信号を出力する領域であり、たとえば、VGA(横640画素×縦480画素)のサイズである。
 図4(a)に示す目標領域上におけるDt0の光は、CMOSイメージセンサ240上では、図4(b)に示すDt0’の位置に入射する。4隅の特徴パターンは、撮像有効領域内に収まるように位置付けられている。また、スクリーンの前の人物の像は、CMOSイメージセンサ240上では、上下左右が反転して撮像される。
 ここで、図5、図6を参照して、上記距離検出の方法を説明する。
 図5は、上記距離検出手法に用いられる参照パターンの設定方法を説明する図である。
 図5(a)に示すように、投射光学系100から所定の距離Lsの位置に、Z軸方向に垂直な平坦な反射平面RSが配置される。出射されたDP光は、反射平面RSによって反射され、受光光学系200のCMOSイメージセンサ240に入射する。これにより、CMOSイメージセンサ240から、撮像有効領域内の画素毎の電気信号が出力される。出力された画素毎の電気信号の値(画素値)は、図2のメモリ26上に展開される。
 以下、反射面RSからの反射によって得られた全画素値からなる画像を、「基準画像」、反射面RSを「基準面」と称する。そして、図5(b)に示すように、基準画像上に、「参照パターン領域」が設定される。なお、図5(b)には、CMOSイメージセンサ240の背面側から受光面をZ軸正方向に透視した状態が図示されている。図6以降の図においても同様である。
 こうして設定された参照パターン領域に対して、所定の大きさを有する複数のセグメント領域が設定される。セグメント領域の大きさは、得られる距離情報による物体の輪郭抽出精度、CPU21に対する距離検出の演算量の負荷および後述する距離検出手法によるエラー発生率を考慮して決定される。本実施の形態では、セグメント領域の大きさは、横15画素×縦15画素に設定される。
 図5(c)を参照して、参照パターン領域に設定されるセグメント領域について説明する。なお、図5(c)には、便宜上、各セグメント領域の大きさが横7画素×縦7画素で示され、各セグメント領域の中央の画素が×印で示されている。
 セグメント領域は、図5(c)に示すように、隣り合うセグメント領域が参照パターン領域に対してX軸方向およびY軸方向に1画素間隔で並ぶように設定される。すなわち、あるセグメント領域は、このセグメント領域のX軸方向およびY軸方向に隣り合うセグメント領域に対して1画素ずれた位置に設定される。このとき、各セグメント領域には、固有のパターンでドットが点在する。よって、セグメント領域内の画素値のパターンは、セグメント領域毎に異なっている。隣り合うセグメント領域の間隔が狭いほど、参照パターン領域内に含まれるセグメント領域の数が多くなり、目標領域の面内方向(X-Y平面方向)における距離検出の分解能が高められる。
 こうして、CMOSイメージセンサ240上における参照パターン領域の位置に関する情報と、参照パターン領域に含まれる全画素の画素値(参照パターン)と、参照パターン領域に対して設定されるセグメント領域の情報が、図2のメモリ26に記憶される。メモリ26に記憶されるこれらの情報を、以下、「参照テンプレート」と称する。
 図2のCPU21は、投射光学系100から検出対象物体の各部までの距離を算出する際に、参照テンプレートを参照する。CPU21は、距離を算出する際に、参照テンプレートから得られる各セグメント領域内のドットパターンのずれ量に基づいて、物体の各部までの距離を算出する。
 たとえば、図5(a)に示すように距離Lsよりも近い位置に物体がある場合、参照パターン上の所定のセグメント領域Snに対応するDP光(DPn)は、物体によって反射され、セグメント領域Snとは異なる領域Sn’に入射する。投射光学系100と受光光学系200はX軸方向に隣り合っているため、セグメント領域Snに対する領域Sn’の変位方向はX軸に平行となる。図5(a)の場合、物体が距離Lsよりも近い位置にあるため、領域Sn’は、セグメント領域Snに対してX軸正方向に変位する。物体が距離Lsよりも遠い位置にあれば、領域Sn’は、セグメント領域Snに対してX軸負方向に変位する。
 セグメント領域Snに対する領域Sn’の変位方向と変位量をもとに、投射光学系100からDP光(DPn)が照射された物体の部分までの距離Lrが、距離Lsを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系100からの距離が算出される。かかる算出手法の詳細は、たとえば、上記非特許文献1(第19回日本ロボット学会学術講演会(2001年9月18-20日)予稿集、P1279-1280)に示されている。
 かかる距離算出では、参照テンプレートのセグメント領域Snが、実測時においてどの位置に変位したかを検出する。この検出は、実測時にCMOSイメージセンサ240上に照射されたDP光から得られたドットパターンと、セグメント領域Snに含まれるドットパターンとを照合することによって行われる。以下、実測時にCMOSイメージセンサ240上の撮像有効領域に照射されたDP光から得られた全画素値からなる画像を、「実測画像」と称する。実測時のCMOSイメージセンサ240の撮像有効領域は、基準画像取得時と同様に、たとえば、VGA(横640画素×縦480画素)のサイズである。
 図6(a)~(e)は、かかる距離検出の手法を説明する図である。図6(a)は、CMOSイメージセンサ240上における基準画像に設定された参照パターン領域を示す図であり、図6(b)は、実測時のCMOSイメージセンサ240上の実測画像を示す図であり、図6(c)~(e)は、実測画像に含まれるDP光のドットパターンと、参照テンプレートのセグメント領域に含まれるドットパターンとの照合方法を説明する図である。なお、便宜上、図6(a)、(b)には、一部のセグメント領域のみが示されており、図6(c)~(e)には、各セグメント領域の大きさが、横9画素×縦9画素で示されている。また、図6(b)の実測画像には、便宜上、図4(b)のように、検出対象物体として基準面より前に人物が存在しており、人物の像が写り込んでいることが示されている。
 図6(a)のセグメント領域Siの実測時における変位位置を探索する場合、図6(b)に示すように、実測画像上に、セグメント領域Siに対して探索領域Riが設定される。探索領域Riは、X軸方向に所定の幅を持っている。セグメント領域Siが探索領域Riにおいて1画素ずつX軸方向に送られ、各送り位置において、セグメント領域Siのドットパターンと実測画像上のドットパターンとが比較される。以下、実測画像上の各送り位置に対応する領域を、「比較領域」と称する。探索領域Riには、セグメント領域Siと同じサイズの比較領域が複数設定され、X軸方向に隣り合う比較領域は互いに1画素ずれている。
 探索領域Riは、検出対象物体が基準面よりも情報取得装置1に離れる方向、および近づく方向にどの程度の距離を検出可能な範囲とするかによって決定される。図6中では、基準画像上のセグメント領域Siの画素位置に対応する実測画像上の画素位置から、X軸負方向にx画素ずれた位置からX軸正方向にx画素ずれた範囲(以下、「探索範囲Li」という)においてセグメント領域Siが送られるように探索領域Riが設定されている。本実施の形態では、-30画素ずれた位置から30画素ずれた位置までの範囲が探索範囲Liに設定される。
 比較領域においてセグメント領域SiをX軸方向に1画素ずつ送りながら、各送り位置において、参照テンプレートに記憶されているセグメント領域Siのドットパターンと、実測画像のDP光のドットパターンのマッチング度合いが求められる。このようにセグメント領域Siを探索領域Ri内においてX軸方向にのみ送るのは、上記のように、通常、参照テンプレートにより設定されたセグメント領域のドットパターンは、実測時において、X軸方向の所定の範囲内でのみ変位するためである。
 なお、実測時には、検出対象物体の位置によっては、セグメント領域に対応するドットパターンが実測画像からX軸方向にはみ出すことが起こり得る。たとえば、参照パターン領域のX軸負側のセグメント領域S1に対応するドットパターンが、基準面よりも遠距離の物体に反射された場合、セグメント領域S1に対応するドットパターンは、実測画像よりもX軸負方向に位置づけられる。この場合、セグメント領域に対応するドットパターンは、CMOSイメージセンサ240の撮像有効領域内にないため、この領域については、適正にマッチングすることができない。しかし、このような端の領域以外については、適正にマッチングすることができるため、物体の距離検出への影響は少ない。
 なお、端の領域についても、適正にマッチングする場合には、実測時のCMOSイメージセンサ240の撮像有効領域を、基準画像取得時のCMOSイメージセンサ240の撮像有効領域よりも、大きくすることができるものを用いれば良い。たとえば、基準画像取得時において、VGA(横640画素×縦480画素)のサイズで撮像有効領域が設定された場合、実測時においては、それよりもX軸正方向およびX軸負方向に30画素分大きいサイズで撮像有効領域を設定する。これにより、実測画像が基準画像よりも大きくなるが、端の領域についても、適正にマッチングすることができる。
 上記マッチング度合いの検出時には、まず、参照パターン領域の各画素の画素値と実測画像の各セグメント領域の各画素の画素値が2値化されて、メモリ26に保持される。たとえば、基準画像および実測画像の画素値が8ビットの階調の場合、0~255の画素値のうち、所定の閾値以上の画素が、画素値1に、所定の閾値未満の画素が、画素値0に変換されて、メモリ26に保持される。その後、比較領域とセグメント領域Siとの間の類似度が求められる。すなわち、セグメント領域Siの各画素の画素値と、比較領域に対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域の全ての画素について加算した値Rsadが、類似度を示す値として取得される。
 たとえば、図6(c)のように、一つのセグメント領域中に、m列×n行の画素が含まれている場合、セグメント領域のi列、j行の画素の画素値T(i,j)と、比較領域のi列、j行の画素の画素値I(i,j)との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、図6(c)に示す式の値Rsadが求められる。値Rsadが小さい程、セグメント領域と比較領域との間の類似度が高い。
 こうして、図6(d)に示すように、セグメント領域Siについて、探索領域Riの全ての比較領域に対して値Rsadが求められる。図6(e)は、探索領域Riの各送り位置における値Rsadの大小が模式的に示されたグラフである。セグメント領域Siについて、探索領域Riの全ての比較領域に対して値Rsadが求められると、まず、求めた値Rsadの中から、最小値Bt1が参照される。次に、求めた値Rsadの中から、2番目に小さい値Bt2が参照される。最小値Bt1と2番目に小さい値Bt2の位置が2画素以上離れた位置であり、且つ、その差分値Esが閾値未満であれば、セグメント領域Siの探索はエラーとされる。他方、差分値Esが閾値以上であれば、最小値Bt1に対応する比較領域Ciが、セグメント領域Siの移動領域と判定される。たとえば、図6(d)のように、比較領域Ciは、基準画像上のセグメント領域Siの画素位置と同位置の実測画像上の画素位置Si0よりもX軸正方向にα画素ずれた位置で検出される。これは、基準面よりも近い位置に存在する検出対象物体(人物)によって、実測画像上のDP光のドットパターンが基準画像上のセグメント領域SiよりもX軸正方向に変位したためである。なお、セグメント領域Siの大きさが大きいほど、セグメント領域Siに含まれるドットパターンのユニーク性が増し、上記エラーの発生率が減少する。本実施の形態では、セグメント領域Siの大きさは、横15画素×縦15画素に設定されるため、通常、距離検出がエラーとなることは少なく、適正にマッチングすることができる。
 こうして、実測時に取得されたDP光のドットパターンから、各セグメント領域の変位位置が探索されると、上記のように、その変位位置に基づいて、三角測量法により、各セグメント領域に対応する検出対象物体の部位までの距離が求められる。
 このようにして、セグメント領域S1~セグメント領域Snまで全てのセグメント領域について、上記同様のセグメント領域の探索が行われる。
 ところで、上述のように、通常、実測時において反射されたドットパターンは、X軸方向のみにずれる。しかし、CMOSイメージセンサ240の経時変化による取り付け位置のずれ、およびDOE140の光学的な収差等の影響によって、ドットパターンの受光位置がY軸方向にずれることが起こり得る。この場合、X軸方向のみならず、Y軸方向に対しても、ドットパターンのずれ量を検出する必要がある。
 そこで、本実施の形態では、DOE140によって生成された4隅の特徴パターンのY軸方向のずれ量を検出し、このずれ量に応じて、X軸方向のドットパターンの探索領域RiをY軸方向にオフセットさせて、マッチング処理を実行する。
 図7、図8は、本実施の形態における特徴パターンのY軸方向のずれ量の探索処理を説明する図である。
 図7(a)を参照して、参照パターン領域の4隅には、X軸方向に連続的にドットが並ぶ特徴パターンF1~F4が位置付けられている。また、上記セグメント領域とは別に、特徴パターンF1~F4の一部を含む所定の大きさの特徴パターン領域P1~P4が設定されている。本実施の形態では、特徴パターン領域P1~P4の大きさは、セグメント領域と同様、横15画素×縦15画素に設定されている。これらの特徴パターン領域P1~P4の実測時におけるY軸方向の変位量を、Y軸方向に探索領域を設定して、上記距離検出手法と同様にして、検出する。
 図7(b)に示すように、まず、実測画像上に、特徴パターン領域P1~P4に対して特徴パターン探索領域Rp1~Rp4が設定される。特徴パターン探索領域Rp1~Rp4は、実測画像上の、特徴パターン領域P1~P4に対応する領域を中心に、Y軸方向に所定の幅を持っている。特徴パターン探索領域Rp1~Rp4の幅は、実測時にドットパターンにどの程度ずれが起こり得るかを想定して設定される。なお、以下では、実測画像上における、特徴パターンF1~F4に対応する部分を、特徴パターンF1’~F4’と表記する。
 特徴パターン領域P1~P4が特徴パターン探索領域Rp1~Rp4において1画素ずつY軸方向に送られ、上記距離検出手法と同様にして、特徴パターン領域P1~P4のドットパターンと実測画像上のドットパターンとのマッチング処理が行われる。以下、特徴パターン探索領域Rp1~Rp4の各送り位置に対応する領域を、「特徴パターン比較領域」と称する。
 特徴パターンF1~F4の長さは、それぞれ、特徴パターン領域P1~P4のX軸方向の長さよりも数段長く設定されている。このため、実測時において、ドットパターンが、ある程度、X軸方向にずれていたとしても、特徴パターン領域F1~F4が特徴パターン探索領域Rp1~Rp4に掛かるようになり、後述のように、特徴パターン領域P1~P4をY軸方向にのみ送ることで、適正にマッチングがなされ得る。
 図7(c)は、図7(a)の特徴パターン領域P1周辺の一部拡大図、図7(d)は、図7(b)の特徴パターンP1周辺の一部拡大図である。なお、特徴パターンF2~F4および特徴パターン領域P2~P4は、特徴パターンF1および特徴パターン領域P1と、参照パターン領域との上下左右の関係が変わるのみであり、その他は、同様に設定されるため、以下、特徴パターンF1、特徴パターン領域P1についてのみ、説明する。
 図7(c)に示すように、特徴パターンF1は、参照パターン領域の最左端から右方向にドットが一列に並ぶよう構成されている。X軸方向における特徴パターンF1の長さは、75画素分に相当する長さになっている。特徴パターン領域P1は、Y軸方向の中央に特徴パターンF1が位置づけられるように設定される。また、特徴パターン領域P1の左右にそれぞれ30画素分の特徴パターンF1がはみ出すよう、特徴パターンF1の中央に特徴パターン領域P1が設定される。したがって、特徴パターン領域P1は、その左端が参照パターン領域の最左端から30画素の位置となるように設定される。
 また、特徴パターン領域P1は、その上端が参照パターン領域の最上端から所定の画素数Δmだけ離れるように設定される。かかる画素数Δmは、特徴パターン探索領域Rp1に応じて設定される。特徴パターン探索領域Rp1は、たとえば、CMOSイメージセンサ240の取り付け位置の経時変化によるずれや、DOE140の光学的な収差等が生じた場合に、通常、想定され得るドットパターンのY軸方向のずれ量に応じて設定される。
 たとえば、図7(d)に示すように、想定されるY軸正および負方向のドットパターンのずれ量がそれぞれ5画素であれば、特徴パターン探索領域Rp1は、実測画像上の特徴パターン領域P1に対応する領域を中心に、Y軸正および負の方向にそれぞれ、5画素の探索範囲Lp1に設定される。この場合、上記画素数Δmは、図7(c)に示すように5画素またはそれ以上に設定される。これにより、図7(d)に示すように、特徴パターン探索領域Rp1を、CMOSイメージセンサ240の撮像有効領域内に収めることができる。この場合、特徴パターンF1は、図7(c)に示すように、参照パターン領域の最上端から13画素の位置に位置づけられる。
 なお、特徴パターン領域P1から左右にそれぞれはみ出す特徴パターンFの画素数Δnは、距離測定時に設定されるX軸方向の探索範囲Liに応じて設定される。上記のように探索範囲Liは、検出対象物体が基準面よりも情報取得装置1に離れる方向、および近づく方向にどの程度の距離を検出可能な範囲とするかによって決定される。本実施の形態では、-30画素ずれた位置から30画素ずれた位置の範囲が探索範囲Liに設定されている。したがって、図7(c)に示すように上記画素数Δnは、それぞれ、30画素に設定される。
 このように画素数Δnを設定することにより、検出対象物体が、距離検出可能な範囲のどの位置にあっても、特徴パターンF1を特徴パターン探索領域Rp1内に収めることができる。すなわち、実測時にドットパターンがX軸方向にずれたとしても、特徴パターン探索領域Rp1内に特徴パターンF1が掛かるようになる。
 図8(a)は、平坦な面(検出対象物)が、距離検出が可能な範囲において、最も遠い位置にあるときの、実測画像上の特徴パターンF1’の状態を示す図である。この場合、ドットパターンはX軸正方向に30画素だけ移動し、これに応じて、特徴パターンF1’が、図7(c)の特徴パターンF1の位置からX軸正方向に30画素だけ移動する。しかしながら、上記のように画素数Δnが30画素に設定されているため、図8(a)に示すように、平坦な面(検出対象物)が、距離検出が可能な範囲において、最も遠い位置にあるときも、特徴パターンF1’を特徴パターン探索領域Rp1に収めることができる。
 図8(b)は、平坦な面(検出対象物)が、距離検出が可能な範囲において、最も近い位置にあるときの、実測画像上の特徴パターンF1’の状態を示す図である。この場合、ドットパターンはX軸負方向に30画素だけ移動し、これに応じて、特徴パターンF1’が、図7(c)の特徴パターンF1の位置からX軸負方向に30画素だけ移動する。しかしながら、この場合も、上記のように画素数Δnが30画素に設定されているため、特徴パターンF1’を特徴パターン探索領域Rp1に収めることができる。
 なお、図8(c)に示すように、特徴パターン領域P1の左端が参照パターン領域の最左端に一致するように特徴パターン領域P1を設定することもできる。この場合、特徴パターン領域P1の左からはみ出す特徴パターンF1の部分は、参照パターン領域から、はみ出す。このため、平坦な面(検出対象物)が基準面にあるとき、実測画像上においても、特徴パターンF1’の左側30画素に相当する部分が、撮像有効領域からはみ出す。しかしながら、このはみ出し部分は、平坦な面(検出対象物)が基準面から遠ざかるにつれて、参照パターン領域内に進入する。そして、平坦な面(検出対象物)が、距離検出が可能な範囲において、最も遠い位置にあるとき、図8(d)に示すように、特徴パターンF1’の左側30画素の部分が特徴パターン探索領域Rp1内に収まる。よって、図8(c)のように特徴パターン領域P1を設定した場合も、特徴パターン探索領域Rp1内に特徴パターンF1’を収めることができる。
 なお、上記効果を実現するためには、特徴パターン領域P1の左右からはみ出す特徴パターンF1の長さは、30画素に相当する長さを越えても良い。
 以上のように、本実施の形態では、実測時において、ドットパターンがX軸、Y軸方向のどちらにずれたとしても、特徴パターンF1が特徴パターン探索領域Rp1内に位置付けられることとなる。よって、適正に特徴パターンF1のY軸方向のずれ量を検出することができる。
 また、経時変化やDOE140の光学的な収差等によるドットパターンのY軸方向のずれは、通常、中央から離れるほど、大きくなる。したがって、上記のように参照パターン領域の最も左端、且つ、最も上端付近に特徴パターンF1を位置付けることにより、ドットパターンのY軸方向のずれを好適に検出することができる。
 なお、このように、X軸方向に延びた特徴パターンF1を設定すると、特徴パターンF1は、X軸方向に隣り合う複数のセグメント領域に掛かることになる。このため、特徴パターンF1を含むセグメント領域は、特徴パターンF1が掛かる15画素分のドットパターンにおいてのユニーク性が失われ、これに起因して、上記の最小の差分値Rsadと2番目に小さい差分値Rsadとの差が、小さくなりやすい。しかし、上述のように、セグメント領域は、横15画素×縦15画素の大きさを有しているため、特徴パターンF1が掛かる以外の部分において、セグメント領域のユニーク性が確保される。このため、このようにセグメント領域に特徴パターンF1が位置づけられても、当該セグメント領域に対するマッチング処理は適正に行われ得る。さらに、通常、検出対象物体は、参照パターン領域の中央付近に位置付けられ、他方、特徴パターンF1は、上述のように、参照パターン領域の最も左端、且つ、最も上端付近に位置付けられている。このため、検出対象物体に対する距離検出への特徴パターンF1の影響はさらに軽微である。
 なお、特徴パターン領域P1の探索時には、特徴パターンF1が効果を発揮する。たとえば、検出対象物体が基準位置よりも近いか遠い場合、実測時のドットパターンはX軸方向にずれる。この場合、実測画像上の特徴パターン領域P1に対応する領域も、特徴パターン探索領域Rp1に対して、X軸方向にずれる。このため、特徴パターン領域P1に対応する領域は、特徴パターン探索領域Rp1内には含まれない。しかしながら、特徴パターン探索領域Rp1内には、Y軸方向の中央位置に特徴パターンF1’が掛かる特徴パターン比較領域が存在する。この特徴パターン比較領域と特徴パターン領域P1は、何れも、Y軸方向の中央位置に特徴パターンF1’、F1に対応するドットが存在する。このドットは15画素分存在する。よって、これらドットのマッチングにより、この特徴パターン比較領域との特徴パターン領域P1との間の差分値Rsadが最小になり易く、また、この差分値Rsadと2番目に小さい差分値Rsadとの差が、大きくなり易い。よって、この特徴パターン比較領域に対して特徴パターン領域P1がマッチングすると判定され、この特徴パターン比較領域の位置が特徴パターン領域P1の移動位置として検出される。そして、この特徴パターン比較領域の位置と特徴パターン領域P1の位置との差が、特徴パターンのずれとして検出される。
 以上のようにして、参照パターン領域に対して特徴パターン領域P1~P4が設定され、特徴パターン領域P1~P4に関する情報が、参照テンプレートとともに、図2のメモリ26に記憶される。
 図9は、本実施の形態における距離検出処理の流れを示す図である。
 図9(a)は、参照テンプレート生成処理の流れを示す図である。これらの処理は、情報取得装置1のセットアップ時に、設定者によって設定装置を用いて行われる。
 参照テンプレート生成処理時には、まず、基準面のみが配置された状態で反射されたDP光を撮像し、基準画像を取得する(S11)。このとき、基準画像には、図7(a)に示すように、特徴パターンF1~F4が、4隅に撮像されている。
 そして、設定装置は、CMOSイメージセンサ240から得られた基準画像の2値化処理を行う(S12)。これにより、基準画像は、ドットの有無が0と1で表現された画像となる。そして、設定装置は、上述の如く、2値化された基準画像上に、セグメント領域を設定し、参照テンプレートを生成する(S13)。さらに、設定装置は、図7に示したように、特徴パターンF1~F4上に特徴パターン領域P1~P4を設定する(S14)。生成された参照テンプレート、特徴パターン領域P1~P4に関する情報は、図2のメモリ26に消去不可能な状態で記憶される。こうして、メモリ26に記憶された参照テンプレート、特徴パターン領域P1~P4に関する情報は、距離検出する際にCPU21により参照される。
 図9(b)は、距離検出時の処理の流れを示す図である。これらの処理は、距離検出時に、情報取得装置1のCPU21の距離取得部21bによって行われる。
 距離検出時には、まず、目標領域から反射されたDP光を撮像し、実測画像を取得する(S21)。このとき、実測画像には、図7(b)に示すように、特徴パターンF1~F4が、4隅に撮像されている。そして、CPU21は、基準画像と同様に、実測画像の2値化処理を行う(S22)。これにより、実測画像は、基準画像同様、ドットの有無が0と1で表現された画像となる。そして、CPU21は、メモリ26に記憶された特徴パターン領域に関する情報を用いて、特徴パターンの縦画素ずれ量を検出するマッチング処理を行う(S23)。なお、特徴パターンマッチング処理については、図10~図12を参照して、後述する。
 特徴パターンマッチング処理にて、各特徴パターン領域P1~P4の縦画素ずれ量が検出されると、CPU21は、各縦画素ずれ量に応じて、セグメント領域の探索領域を縦方向に補正するためのオフセットパターン設定処理を行う(S24)。なお、オフセットパターン設定処理については、図13、図14を参照して、後述する。
 そして、CPU21は、設定されたオフセットパターンに応じて、セグメント領域の探索領域をY軸方向にオフセットさせて、上記距離検出手法の距離マッチング処理を行い(S25)、距離検出の処理が完了する。
 図10、図11は、図9(b)のS23における特徴パターンのマッチング処理の流れを示す図である。
 まず、CPU21は、メモリ26に記憶された参照テンプレートより、基準画像の画素情報(参照パターン)とCMOSイメージセンサ240上における参照パターン領域の位置に関する情報を読み込む(S201)。次に、CPU21は、変数iに1をセットし(S202)、特徴パターン領域PiのCMOSイメージセンサ240上における位置情報をメモリ26から読み込み、読み込んだ特徴パターン領域Piの位置情報とS201で読み込んだ基準画像の画素情報をもとに、基準画像上の特徴パターン領域Piの画素情報を設定する(S203)。そして、読み出した特徴パターン領域Piの位置情報をもとに、基準画像上の特徴パターン領域Piの位置と同位置の実測画像上の位置を設定する(S204)。
 次に、CPU21は、変数jに-xをセットし(S205)、S204で設定された実測画像上の位置からY軸方向にj画素離れた位置の特徴パターン比較領域の画素情報を読み込む(S206)。そして、S206で読み込んだ特徴パターン比較領域の画素情報と、S203で読み込んだ特徴パターン領域Piの画素情報を比較し、図6(e)で示した式により値Rsadが算出される(S207)。算出された値Rsadは、特徴パターン領域PiのY軸方向の画素ずれ量j(変数jの値)と関連付けられてメモリ26に記憶される。
 その後、CPU21は、変数jがxに等しいかを判定する(S208)。変数jがxに等しくない場合(S208:NO)、CPU21は、変数jに1を加算し(S209)、処理をS206に戻す。xには、想定され得る縦画素ずれ量として5が設定され、Y軸正方向に5画素ずれた位置からY軸負方向に5画素ずれた位置まで、処理S206~S207の処理が繰り返される。
 変数jがxに等しくなると(S208:YES)、特徴パターン探索領域Rpiでの特徴パターン領域Piの探索が完了し、特徴パターン領域Piの画素ずれ量に関連付けられた値Rsadをもとに、特徴パターン領域Piの縦(Y軸方向)画素ずれ量の取得処理が行われる(S210)。
 図11を参照して、CPU21は、まず、特徴パターン領域Piについて、Y軸方向の画素ずれ量jと関連付けられてメモリ26に記憶された値Rsadから、最小値Bt1と、2番目に小さい値Bt2を読み込み、それらの差分値Esを算出する(S221)。そして、CPU21は、算出した差分値Esが閾値以上であるかを判定する(S222)。
 差分値Esが閾値以上である場合(S222:YES)、CPU21は、最小値Bt1の画素ずれ量に対応する特徴パターン比較領域が特徴パターン領域Piにマッチングしたとみなし、最小値Bt1の画素ずれ量を図11(b)に示す縦画素ずれ量テーブルTに記憶する(S223)。
 差分値Esが閾値未満である場合(S222:NO)、CPU21は、特徴パターン領域Piのドットパターンにマッチングする領域がなかったとして、エラーの情報を縦画素ずれ量テーブルTに設定する(S224)。エラー情報は、通常の縦画素ずれ量と区別可能な値が記憶される。
 こうして、特徴パターン領域Piの比較結果をもとに縦画素ずれ量取得処理が終了する。
 図10に戻り、特徴パターン領域Piについて、縦画素ずれ量取得処理が完了すると、CPU21は、変数iがnに等しいかを判定する(S211)。変数iがnに等しくない場合(S211:NO)、変数iに1を加算し(S212)、処理をS203に戻す。nには、参照パターン領域に設定された特徴パターン領域の数として4が設定され、参照パターン領域に設定された全ての特徴パターン領域P1~P4について、処理S203~S210の処理が繰り返される。
 変数iがnに等しい場合(S211:YES)、CPU21は、縦画素ずれ量テーブルTに設定されたエラー情報の補正を行う(S213)。具体的には、縦画素ずれ量テーブルTにエラー情報が設定されている場合、正常に取得できた他の縦画素ずれ量に基づいて、縦画素ずれ量を補間する。この場合、縦方向の画素ずれは、上下方向に対称に生じる傾向があるため、この点を考慮して、補間を行えば良い。
 たとえば、特徴パターン領域P1についてのみ、縦画素ずれ量がとれていないような場合、同じ行に設定された特徴パターン領域P3の縦画素ずれ量の2を、特徴パターン領域P1の縦画素ずれ量として設定する。また、特徴パターン領域P2、P4について縦画素ずれ量がとれていないような場合、同じ列に設定された特徴パターン領域P1、P3の縦画素ずれ量に負の符号を付した値を、それぞれ、特徴パターン領域P2、P3の縦画素ずれ量として設定する。さらに、特徴パターン領域P2~P4について縦画素ずれ量がとれていないような場合、特徴パターン領域P1の縦画素ずれ量を、特徴パターン領域P3の縦画素ずれ量として設定し、特徴パターン領域P1の縦画素ずれ量に負の符号を付した値を、それぞれ、特徴パターン領域P2、P4の縦画素ずれ量として設定する。
 こうすることで、一部の特徴パターン領域の縦画素ずれ量の取得がエラーとなった場合にも、適正な縦画素ずれ量を用いることができる。なお、全ての縦画素ずれ量がエラーとなった場合は、CPU21は、縦画素ずれ量を0に設定する。
 こうして、全ての特徴パターン領域P1~P4について、縦画素ずれ量の検出が完了し、処理が終了する。
 図12は、本実施の形態におけるY軸負方向、X軸正方向にドットパターンが3画素ずれた場合の特徴パターンP1のマッチング状況の例を模式的に示す図である。
 図12(a)に示すように、特徴パターン領域P1に対応する特徴パターンは、0画素ずれの特徴パターン比較領域Cp0からY軸負方向に3画素、X軸正方向に3画素ずれたCP0’の位置に変位している。
 この場合、図12(b)に示すように、特徴パターン領域P1を特徴パターン探索領域Rp1において、Y軸方向に1画素ずつ送り、ドットパターンを比較すると、Y軸負方向に3画素ずれた位置で、特徴パターンF1が実測画像上の特徴パターンF1’とマッチングする。このとき、特徴パターンF1以外のドットは、実測画像上においてX軸正方向にずれているため、ほぼマッチングされない。しかしながら、特徴パターンF1が実測画像上の特徴パターンF1’とマッチングすることにより、この位置の特徴パターン比較領域Cp1との差分値Rsadが小さくなる。その結果、特徴パターン比較領域Cp1の位置に特徴パターン領域P1が移動したと判定され、適正に、縦画素ずれ量が3画素であることが検出される。
 なお、たとえば、図12(c)の比較例に示すように、X軸方向に延びる特徴パターンが設けられていない場合、Y軸方向の画素ずれを検出するために設定されたドットパターン領域P1’を、Y軸方向だけではなく、X軸方向にもずらして、マッチングを行う必要があり、演算量が増大する。この場合、本実施の形態と同様に、X軸方向に-30画素~30画素の範囲を検出範囲とすると、X軸方向に60画素分ずらし、且つ、Y軸方向に10画素分ずらして、ドットパターン領域P1’の縦画素ずれ量を探索する必要があり、演算量は、本実施の形態の略60倍となる。
 他方、本実施の形態では、X軸方向に延びた特徴パターンを有しているため、特徴パターン領域P1をY軸方向のみにずらすことにより、ドットパターンの縦画素ずれ量を検出することができる。したがって、比較例に比べて、演算量を極めて小さいものとすることができる。
 図13(a)は、図9(b)のS24におけるオフセットパターン設定処理の流れを示す図である。図13(b)は、各セグメント領域とそのセグメント領域の探索領域のオフセット量が模式的に示された図である。なお、図13(b)には、便宜上、横16個×縦12個のセグメント領域が互いに重ならないように簡略化して示されている。また、便宜上、特徴パターン領域P1~P4とその縦画素ずれ量が併せて示されている。
 図13(a)を参照して、まず、CPU21は、図11(b)に示した縦画素ずれ量テーブルTに記憶された特徴パターン領域P1~P4の縦画素ずれ量を読み込む(S231)。そして、CPU21は、図13(b)に示すように、読み込んだ特徴パターン領域P1~P4の縦画素ずれ量に応じて、4隅のセグメント領域S1~S4に対する探索領域R1~R4のオフセット量を設定する(S232)。
 図13(b)を参照して、左上隅近傍に設定された特徴パターン領域P1は、縦画素ずれ量が3と検出されている。この縦画素ずれ量に応じ、最も左上隅のセグメント領域S1のオフセット量が3に設定される。また、同様にして、特徴パターン領域P2~P4の縦画素ずれ量に応じて、セグメント領域S2のオフセット量が-2、セグメント領域S3のオフセット量が2、セグメント領域S4のオフセット量が-1に設定される。
 図13(a)に戻り、次に、CPU21は、最左端に設定されたセグメント領域S1とセグメント領域S2のオフセット量に基づき、最左端の全てのセグメント領域について、各セグメント領域の上下方向の画素位置に応じて、比例的に各オフセット量を設定する(S233)。このとき、各セグメント領域のオフセット量は、それぞれ整数になるように調整される。したがって、Y軸方向に隣り合うセグメントのオフセット量が互いに等しい場合もある。
 図13(a)に戻り、CPU21は、同様にして、最右端に設定されたセグメント領域S3とセグメント領域S4のオフセット量に基づき、最右端の全てのセグメント領域について、各セグメント領域の上下方向の画素位置に応じて、比例的に各オフセット量を設定する(S234)。
 こうして、最左端および最右端のセグメント領域について、オフセット量が設定されると、CPU21は、最左端と最右端のセグメント領域のオフセット量に基づき、その間にある各行のセグメント領域について、左右方向の画素位置に応じて比例的にオフセット量を設定する。
 こうして、CPU21は、上記のようにして設定された各セグメント領域に対するオフセットパターンをメモリ26に記憶して、処理を完了する。なお、説明の便宜上、横16個×縦12個分のセグメント領域に対してオフセット量が設定されたオフセットパターンを説明したが、実際には、上述の如く、セグメント領域は1画素間隔で設定されるため、基準画像の画素数に応じて、横640画素×縦480画素分のオフセット量が設定されたオフセットパターンが記憶される。
 このように、本実施の形態では、4つの特徴パターン領域P1~P4の縦画素ずれ量に基づいて、全てのセグメント領域の探索領域のオフセット量を演算することができるため、演算量を抑えつつ、精度よく縦画素ずれ量を検出することができる。
 図14は、図13のオフセットパターンを用いてセグメント領域の実測画像上の探索領域をオフセットさせる状況を模式的に示す図である。
 左上のセグメント領域S1については、図13に示すとおりオフセット量が3画素であるため、基準の探索領域R1から上方向に3画素だけオフセットした探索領域R1’が設定される。そして、この探索領域R1’において、セグメント領域S1に対するマッチング処理が行われる。同様に、右上のセグメント領域S3については、基準の探索領域R3から上方向に2画素だけオフセットした探索領域R3’が設定され、セグメント領域S2、S4については、それぞれ、基準の探索領域R2、R4から下方向に2画素、1画素だけオフセットした探索領域R2’、R4’が設定される。そして、これら探索領域R2’~R4’において、セグメント領域S2~S4に対するマッチング処理が行われる。
 なお、図13の例では、最左端中央のセグメント領域S4のオフセット量は、0であり、最右端中央のセグメント領域S5のオフセット量も、0であるため、この行のセグメント領域の探索領域については、オフセットされず、基準の探索領域を用いて各セグメント領域のマッチング処理が行われる。
 このように、本実施の形態では、特徴パターン領域P1~P4で検出した縦画素ずれ量に応じて、各セグメント領域の探索領域をオフセットさせることで、実測時において、ドットパターンが縦方向(Y軸方向)にずれたとしても、適正にマッチングすることができる。
 以上、本実施の形態によれば、4隅に設定された特徴パターンの縦画素ずれ量に応じたオフセットパターンを用いて、セグメント領域の探索領域がオフセットされてマッチングされるため、実測時において、ドットの受光位置がY軸正方向またはY軸負方向にずれても、適正に距離を検出することができる。
 また、本実施の形態によれば、DOE140により、X軸方向にドットが並ぶ特徴パターンが設定されることにより、特徴パターンの縦画素ずれ量をY軸方向の探索のみによって、検出できるため、各セグメント領域のオフセット量の演算量を抑えることができる。
 また、本実施の形態によれば、4隅の特徴パターン領域の縦画素ずれ量に応じて、全てのセグメント領域のオフセット量を算出して設定できるため、演算量をさらに抑えつつ、精度よく縦画素ずれ量を検出することができる。
 また、本実施の形態によれば、特徴パターンは、検出対象物体が位置付けられにくい参照パターン領域の上下左右の端部に位置付けられるため、ドットパターンの縦画素ずれを好適に検出することができる。
 以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、また、本発明の実施の形態も上記の他に種々の変更が可能である。
 たとえば、上記実施の形態では、4つの特徴パターンF1~F4が、それぞれが参照パターン領域の隅に位置付けられるように設定されたが、特徴パターンの数は、他の数であっても良い。たとえば、図15(a)に示すように、少なくとも、2つの特徴パターンF1、F2が、それぞれ、最上端、および最下端に位置付けられても良い。この場合、最上端の全てのセグメント領域には、特徴パターンF1に基づいて検出された縦ずれ量に応じたオフセット量が設定され、最下端の全てのセグメント領域には、特徴パターンF2に基づいて検出された縦ずれ量に応じたオフセット量が設定される。また、最上端と最下端の間にあるセグメント領域には、各セグメント領域の上下方向の画素位置に応じて、比例的に、オフセット量が設定される。これにより、上記実施の形態と略同様の効果が奏される。
 また、2つの特徴パターンF1、F2は、縦方向に並ぶ必要はなく、たとえば、図15(b)に示すように、対角の位置にあっても良いし、左右の端ではなく、その他の位置にあっても良い。また、図15(c)に示すように、6つの特徴パターンF1~F6が位置付けられても良い。これらの場合も、上記実施の形態と同様、各セグメント領域に対して、比例的に、オフセット量が設定される。
 さらには、図15(d)に示すように、1つの特徴パターンF1が、参照パターン領域に位置付けられていても良い。この場合、上記実施の形態において特徴パターン領域P2~P4に対するマッチングがエラーであった場合と同様、特徴パターン領域P1に基づいて取得された参照パターン領域の左上の隅のオフセット量が、参照パターン領域の右上の隅のセグメント領域に設定され、特徴パターン領域P1に基づいて取得されたオフセット量に負の符号を付加したオフセット量が、左下と右下のセグメント領域にそれぞれ設定される。そして、図13の場合と同様、これら4つの隅のセグメント領域のオフセット量をもとに、他のセグメント領域のオフセット量が、比例的に設定される。この場合、上記実施の形態に比べ、オフセット量の設定精度が低下するが、一つの特徴パターン領域P1についてのみ縦画素ずれ量を検出すれば良いため、縦画素ずれ量の検出のための演算量を抑えることができる。
 また、特徴パターンが、参照パターン領域の中央付近に設定されても良い。この場合、特徴パターンの位置に検出対象物体が位置付けられやすく、距離検出に影響を及ぼしやすいが、中央付近の縦画素ずれ量をも考慮して、各セグメント領域のオフセット量をより細かく設定できる。
 なお、上記実施の形態、および図15(a)~図15(c)に示したように、少なくとも、2つの特徴パターンが、それぞれ、最上端、および最下端に位置付けられた方が、それぞれの端部において、縦画素ずれ量を好適に検出することができ、且つ、検出対象物体の距離検出への影響も少なく、より望ましい。
 また、上記実施の形態では、所定の領域において、ドットがX軸方向に直線状に並ぶように分布することにより、他のランダムなドットパターンと区別可能な特徴パターンが設定されたが、DOE140によって生成されるDP光のドット数がかなり多いような場合には、所定の領域において、ドットがX軸方向に直線状に1つも並ばないように分布することにより、他のランダムなドットパターンと区別可能な特徴パターンが生成されても良い。この場合も、上記実施の形態と同様に、ドットが並ばないことによって特徴づけられたパターンの縦画素ずれ量をY軸方向の探索のみによって、検出できるため、演算量を抑えつつ、適正に距離を検出することができる。
 また、上記実施の形態では、特徴パターンは、ドットがX軸方向に直線上に並ぶことによって、設定されたが、X軸方向に直線状に延び、且つ、所定の規則性を持つよう構成されていれば、他のパターンで構成されても良い。たとえば、図16(a)のように、ドットが10画素分連続し、ドットが途切れる隙間が1画素程度と非常に短いようなパターンで特徴パターンが構成されても良い。この場合、ドットパターンがX軸方向にずれることにより、隙間の部分のマッチングがとれなくなるが、隙間よりも線部が数段長く設定されているため、上記実施の形態同様、縦画素ずれ量をY軸方向の探索のみによって、適正に検出することができる。
 また、上記実施の形態では、特徴パターンは、4隅にそれぞれY軸方向に1画素の太さで1本ずつ直線状にドットが並ぶように設定されたが、1本ではなく、2本以上で直線状にドットが並ぶように設定されても良いし(図15(b)参照)、Y軸方向に2画素以上の太さで直線状にドットが並ぶように設定されても良い(図15(c)参照)。こうすると、より多い画素数の特徴パターンで、精度よく特徴パターン領域の縦画素ずれ量を演算することができる。しかし、他方、特徴パターンが掛かるセグメント領域では、内部に含まれるランダムドットパターンの割合が減少し、ユニーク性が失われることになる。このため、セグメント領域に対するマッチング処理の観点からは、上記実施の形態のように、特徴パターンは、Y軸方向に1画素の太さで1本ないし2本程度、直線状に並ぶように設定されるのが望ましい。
 また、上記実施の形態では、特徴パターンは、特徴パターン領域の中央に位置するように位置付けられたが、図17(a)に示すように、特徴パターン領域P1の上端に特徴パターンF1が位置付けられても良い。この場合、特徴パターンF1が、上方向にずれると、CMOSイメージセンサ240の撮像有効領域から外れやすくなるが、図17(a)のように、特徴パターン領域P1を、参照パターン領域の最上端から想定され得るY軸方向のずれ量の5画素数分以上、離れた位置に設定すると、特徴パターンF1がCMOSイメージセンサ240の撮像有効領域から外れることはなく、上記実施の形態同様、縦画素ずれ量をY軸方向の探索のみによって、適正にマッチングすることができる。また、本変更例では、特徴パターンF1が、上記実施の形態よりも、参照パターン領域の最上端に近い位置に位置付けられるため、一層、特徴パターンが検出対象物体に掛かりにくくなり、より好適に特徴パターンF1の縦画素ずれ量を検出することができる。
 また、上記実施の形態では、特徴パターン領域P1は、特徴パターン探索領域Rp1が撮像有効領域内に収まるように、参照パターン領域の最上端から5画素離れた位置に設定されたが、図17(b)に示すように、特徴パターン領域P1は、参照パターン領域の最上端の位置に設定されても良い。この場合、特徴パターン探索領域Rp1は、上側の領域が、参照パターン領域から外れるため、その領域において、差分値Rsadが大きくなる。しかし、少なくとも、実測画像上において特徴パターンF1’が撮像有効領域内に位置付けられていれば、実測画像上の特徴パターンF1’と特徴パターン領域P1上の特徴パターンF1とが整合する位置の特徴パターン比較領域において、差分値Rsadが小さくなり、適正にマッチングがなされ得る。
 図17(b)の例では、特徴パターンF1は、上記実施の形態同様、特徴パターン領域P1の中央に位置付けられているため、実測画像上においてドットパターンが上半分の7画素分、上方向にずれたとしても、特徴パターンF1’は、撮像有効領域内に位置付けられる。上述のように、通常、想定され得る縦画素ずれ量は、5画素程度であるため、図17(b)の例では、実測時において、特徴パターンF1’は、撮像有効領域内に位置付けられることとなる。このため、適正に縦画素ずれ量を検出することができる。
 また、上記実施の形態では、特徴パターン領域の大きさは、セグメント領域の大きさと同様に、横15画素×縦15画素のサイズが設定されたが、セグメント領域と異なるサイズが設定されても良い。セグメント領域の場合、上述のように、サイズを小さくすると、ドットパターンのユニーク性が減少し、マッチングのエラー率が上昇する。他方、特徴パターン領域の場合、X軸方向にドットが直線状に並ぶ特徴パターンを有するため、ランダムなドットパターンのみを持つセグメント領域よりも、ある程度、ドットパターンのユニーク性が失われにくい。したがって、図17(c)に示すように、特徴パターン領域P1は、セグメント領域よりも小さい横9画素×縦9画素のサイズとしても良い。この場合、特徴パターン領域P1を小さくすることができるため、縦画素ずれ量を探索するためのマッチングにかかる演算量をさらに減少させることができる。また、特徴パターン領域P1のX軸方向に含まれる画素の数も小さくなるため、特徴パターンF1のX軸方向の長さも上記実施の形態の75画素から69画素に抑えることができる。
 また、上記実施の形態では、特徴パターンは、深さ方向の距離検出精度、および特徴パターン領域の大きさに応じて、X軸方向に75画素分のドットが並んだが、それよりも少ない数、または多い数の画素数のドットが並んでも良い。たとえば、通常の用途では、セグメント領域が20~30画素ずれる位置に検出対象物体が位置付けられるようなことがないようであれば、特徴パターンの長さは、セグメント領域のずらし量(探索範囲)よりも少し少ない画素数分の長さであっても良い。
 また、上記実施の形態では、図13(b)に示すように、各セグメント領域のオフセット量は、各セグメント領域の参照パターン領域上の位置に応じて、比例的に変化させたが、比例的ではなく、参照パターン領域の位置に応じて、所定の重みづけをして変化させても良い。たとえば、レーザ光の出射波長が変動すると、DOE140の光学特性によって、0次光を中心にドットパターンが放射状に広がる傾向がある。このような場合、ドットパターンの中心からY軸正方向またはY軸負方向に離れた位置のセグメント領域では、オフセット量を大きくし、中心付近のセグメント領域では、オフセット量を小さくすれば良い。こうすると、レーザ光の出射波長変動の傾向に応じて、適正にマッチングすることができる。
 また、上記実施の形態では、特徴パターン領域の縦画素ずれ量の検出がエラーとなった場合、他の縦画素ずれ量の値を補間したが、補間せず、縦画素ずれ量に0を設定しても良い。さらに、上記実施の形態では、特徴パターン領域の縦画素ずれ量の演算において、最小の差分値Rsadと2番目に小さい差分値Rsadの差に基づいてエラーを判定したが、最小の差分値Rsadが所定の閾値よりも、大きい場合にエラーとするように判定しても良い。この場合の閾値は、たとえば、特徴パターン領域に含まれる総画素数から特徴パターン領域に含まれる特徴パターンの画素数を引いた数(たとえば、特徴パターン領域の大きさが横15画素×15画素の場合、210)が用いられても良い。
 また、上記実施の形態では、セグメント領域をX軸方向に-30画素~30画素の探索範囲でずらして、距離検出を行ったが、検出対象物体の深さ方向の距離検出精度に応じて、その他の画素数であっても良い。また、上記実施の形態では、特徴パターン領域をY軸方向に-5画素~5画素の探索範囲でずらして、縦画素ずれ量を検出したが、想定され得る縦画素ずれ量に応じて、その他の画素数であっても良い。
 また、上記実施の形態では、隣り合うセグメント領域が互いに重なるように、セグメント領域が設定されたが、左右に隣り合うセグメント領域が、互いに重ならないように、セグメント領域が設定されてもよく、また、上下に隣り合うセグメント領域が、互いに重ならないように、セグメント領域が設定されても良い。また、上下左右に隣り合うセグメント領域のずれ量は、1画素に限られるものではなく、ずれ量が他の画素数に設定されても良い。また、上記実施の形態では、セグメント領域の大きさが15画素×15画素が設定されたが、検出精度に応じて、任意に設定可能である。さらに、上記実施の形態では、セグメント領域および特徴パターン領域は、正方形状に設定されたが、長方形であっても良い。
 また、上記実施の形態では、基準画像上にセグメント領域を設定し、実測画像上の対応するドットパターンの位置を探索することにより、距離マッチングを行ったが、実測画像上にセグメント領域を設定し、基準画像上の対応するドットパターンの位置を探索することにより、距離マッチングを行っても良い。
 また、上記実施の形態では、距離検出のエラー判定として、最も照合率の高いRsadと、その次に照合率が高いRsadとの差分が閾値を超えているかに基づいて、エラーが判定されたが、最も照合率の高いRsadが所定の閾値を超えているかに基づいて、エラーが判定されても良い。
 また、上記実施の形態では、セグメント領域と比較領域のマッチング率を算出する前に、セグメント領域と比較領域に含まれる画素の画素値を2値化したが、CMOSイメージセンサ240によって得られた画素値をそのまま用いて、マッチングしても良い。また、上記実施の形態では、CMOSイメージセンサ240によって得られた画素値をそのまま2値化したが、画素値について、所定の画素の重みづけ処理、および背景光の除去処理、等の補正処理を行った後に、2値化、もしくは多値化しても良い。
 また、上記実施の形態では、三角測量法を用いて距離情報が求められ、メモリ26に記憶されたが、物体の輪郭抽出を主目的とするような場合は、三角測量法を用いた距離を演算せずに、セグメント領域の変位量(画素ずれ量)が距離情報として取得されても良い。
 また、上記実施の形態では、1つのレーザ光源110と1つのDOE140により、特徴パターンとランダムなドットパターンが生成されたが、たとえば、特徴パターンとランダムなドットパターンが、それぞれ、別々のレーザ光源とDOE、または、1つのレーザ光源と複数のDOEによって生成されても良い。
 また、上記実施の形態では、目標領域に照射されるレーザ光の波長帯以外の波長帯の光を除去するためにフィルタ230を配したが、たとえば、目標領域に照射されるレーザ光以外の光の信号成分を、CMOSイメージセンサ240から出力される信号から除去する回路構成が配されるような場合には、フィルタ230を省略することができる。また、アパーチャ210の配置位置は、何れか2つの撮像レンズの間であっても良い。
 また、上記実施の形態では、受光素子として、CMOSイメージセンサ240を用いたが、これに替えて、CCDイメージセンサを用いることもできる。さらに、投射光学系100および受光光学系200の構成も、適宜変更可能である。また、情報取得装置1と情報処理装置2は一体化されても良いし、情報取得装置1と情報処理装置2がテレビやゲーム機、パーソナルコンピュータと一体化されても良い。
 本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
     1 … 情報取得装置
    21 … CPU(距離取得部)
   21b … 距離取得部(距離取得部)
    24 … 撮像信号処理回路(距離取得部)
   100 … 投射光学系
   110 … レーザ光源
   120 … コリメータレンズ
   140 … DOE(回折光学素子)
   200 … 受光光学系
   240 … CMOSイメージセンサ(イメージセンサ)
 S1~Sn … セグメント領域(参照領域)
 F1~F6 … 特徴パターン
 P1~P6 … 特徴パターン領域

Claims (7)

  1.  光を用いて目標領域の情報を取得する情報取得装置において、
     目標領域に所定のドットパターンでレーザ光を投射する投射光学系と、
     前記投射光学系に対して所定の距離だけ第1の方向に離れて並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、
     基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準ドットパターンと、実測時に前記イメージセンサにより撮像された実測ドットパターンとを比較し、前記基準ドットパターン上の参照領域の、前記実測ドットパターン上の位置を前記第1の方向において探索し、探索された位置に基づいて、当該参照領域に対する距離情報を取得する距離取得部と、を備え、
     前記目標領域に投射された前記ドットパターンは、前記第1の方向に延びた特徴パターンを有し、
     前記距離取得部は、前記実測ドットパターンにおいて、前記第1の方向に垂直な第2の方向における前記特徴パターンの位置を検出し、検出した位置と、前記基準パターン上における前記特徴パターンの前記第2の方向における位置との間のずれに基づいて、前記探索を実行する領域を設定する、
    ことを特徴とする情報取得装置。
  2.  請求項1に記載の情報取得装置において、
     前記距離取得部は、
     前記特徴パターンを含む特徴パターン領域を前記基準ドットパターン上に設定し、前記第2の方向に沿って、前記実測ドットパターンに対する前記特徴パターン領域の探索を実行することにより、前記実測ドットパターン上における前記特徴パターンの位置を検出する、
    ことを特徴とする情報取得装置。
  3.  請求項1または2に記載の情報取得装置において、
     前記特徴パターンは、前記ドットパターンのドットが、前記第1の方向に直線状に並ぶよう構成されている、
    ことを特徴とする情報取得装置。
  4.  請求項1ないし3の何れか一項に記載の情報取得装置において、
     前記イメージセンサの撮像領域は、前記第1の方向と前記第2の方向に平行な辺を有する方形形状を有し、
     前記特徴パターンは、前記基準ドットパターンを前記イメージセンサにより撮像したとき、前記特徴パターンが前記撮像領域の所定の角部分に位置付けられるよう、前記基準ドットパターンに配置される、
    ことを特徴とする情報取得装置。
  5.  請求項4に記載の情報取得装置において、
     前記特徴パターンは、前記撮像領域の4つの角部分のうち、少なくとも前記第2の方向に離れる2つの角部分に配置されている、
    ことを特徴とする情報取得装置。
  6.  請求項1ないし5の何れか一項に記載の情報取得装置において、
     前記投射光学系は、レーザ光源と、前記レーザ光源から出射されたレーザ光が入射するコリメータレンズと、前記コリメータレンズを透過した前記レーザ光を回折によりドットパターンの光に変換する回折光学素子と、を備える、
    ことを特徴とする情報取得装置。
  7.  請求項1ないし6の何れか一項に記載の情報取得装置を有する物体検出装置。
PCT/JP2012/069940 2011-09-28 2012-08-06 情報取得装置および物体検出装置 WO2013046927A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011212000A JP2014238259A (ja) 2011-09-28 2011-09-28 情報取得装置および物体検出装置
JP2011-212000 2011-09-28

Publications (1)

Publication Number Publication Date
WO2013046927A1 true WO2013046927A1 (ja) 2013-04-04

Family

ID=47994979

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/069940 WO2013046927A1 (ja) 2011-09-28 2012-08-06 情報取得装置および物体検出装置

Country Status (2)

Country Link
JP (1) JP2014238259A (ja)
WO (1) WO2013046927A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019236563A1 (en) 2018-06-06 2019-12-12 Magik Eye Inc. Distance measurement using high density projection patterns
CN113391320A (zh) * 2021-06-11 2021-09-14 深圳鳍源科技有限公司 水下物体距离和面积的测量方法、装置、设备及存储介质
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102595391B1 (ko) * 2016-12-07 2023-10-31 매직 아이 인코포레이티드 조정 가능한 초점 이미징 센서를 포함한 거리 센서
WO2021113135A1 (en) 2019-12-01 2021-06-10 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
KR102205290B1 (ko) * 2019-12-30 2021-01-21 한국건설기술연구원 보조광원을 활용한 영상-기반 구조물 계측 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002122417A (ja) * 2000-10-16 2002-04-26 Sumitomo Osaka Cement Co Ltd 三次元形状測定装置
JP2003269915A (ja) * 2002-03-13 2003-09-25 Omron Corp 三次元監視装置
JP2004191092A (ja) * 2002-12-09 2004-07-08 Ricoh Co Ltd 3次元情報取得システム
JP2010101683A (ja) * 2008-10-22 2010-05-06 Nissan Motor Co Ltd 距離計測装置および距離計測方法
JP2011169701A (ja) * 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002122417A (ja) * 2000-10-16 2002-04-26 Sumitomo Osaka Cement Co Ltd 三次元形状測定装置
JP2003269915A (ja) * 2002-03-13 2003-09-25 Omron Corp 三次元監視装置
JP2004191092A (ja) * 2002-12-09 2004-07-08 Ricoh Co Ltd 3次元情報取得システム
JP2010101683A (ja) * 2008-10-22 2010-05-06 Nissan Motor Co Ltd 距離計測装置および距離計測方法
JP2011169701A (ja) * 2010-02-17 2011-09-01 Sanyo Electric Co Ltd 物体検出装置および情報取得装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019236563A1 (en) 2018-06-06 2019-12-12 Magik Eye Inc. Distance measurement using high density projection patterns
EP3803266A4 (en) * 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
TWI808189B (zh) * 2018-06-06 2023-07-11 美商麥吉克艾公司 使用高密度投射圖樣的距離量測
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
CN113391320A (zh) * 2021-06-11 2021-09-14 深圳鳍源科技有限公司 水下物体距离和面积的测量方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2014238259A (ja) 2014-12-18

Similar Documents

Publication Publication Date Title
WO2012137674A1 (ja) 情報取得装置、投射装置および物体検出装置
WO2013046927A1 (ja) 情報取得装置および物体検出装置
JP5138116B2 (ja) 情報取得装置および物体検出装置
JP5214062B1 (ja) 情報取得装置および物体検出装置
US20130050710A1 (en) Object detecting device and information acquiring device
JP5143312B2 (ja) 情報取得装置、投射装置および物体検出装置
JP2014044113A (ja) 情報取得装置および物体検出装置
JPWO2013015145A1 (ja) 情報取得装置および物体検出装置
WO2012144340A1 (ja) 情報取得装置および物体検出装置
JP5143314B2 (ja) 情報取得装置および物体検出装置
US20120326007A1 (en) Object detecting device and information acquiring device
JP2014052307A (ja) 情報取得装置および物体検出装置
WO2012120729A1 (ja) 情報取得装置および情報取得装置を搭載する物体検出装置
WO2013046928A1 (ja) 情報取得装置および物体検出装置
JP2014194341A (ja) 物体検出装置および情報取得装置
WO2013031447A1 (ja) 物体検出装置および情報取得装置
JP2014085257A (ja) 情報取得装置および物体検出装置
WO2013031448A1 (ja) 物体検出装置および情報取得装置
JP2014035294A (ja) 情報取得装置および物体検出装置
JP2013234956A (ja) 情報取得装置および物体検出装置
JP2014035304A (ja) 情報取得装置および物体検出装置
WO2012042976A1 (ja) 物体検出装置および情報取得装置
JP2014098585A (ja) 情報取得装置および物体検出装置
JP2013234957A (ja) 情報取得装置および物体検出装置
JP2014106000A (ja) 情報取得装置および物体検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12834709

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12834709

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP