WO2012042976A1 - 物体検出装置および情報取得装置 - Google Patents

物体検出装置および情報取得装置 Download PDF

Info

Publication number
WO2012042976A1
WO2012042976A1 PCT/JP2011/062683 JP2011062683W WO2012042976A1 WO 2012042976 A1 WO2012042976 A1 WO 2012042976A1 JP 2011062683 W JP2011062683 W JP 2011062683W WO 2012042976 A1 WO2012042976 A1 WO 2012042976A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
pixel
pixels
pattern
information acquisition
Prior art date
Application number
PCT/JP2011/062683
Other languages
English (en)
French (fr)
Inventor
楳田 勝美
Original Assignee
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三洋電機株式会社 filed Critical 三洋電機株式会社
Priority to JP2012536251A priority Critical patent/JP5138120B2/ja
Priority to CN2011800077794A priority patent/CN102741648A/zh
Publication of WO2012042976A1 publication Critical patent/WO2012042976A1/ja
Priority to US13/599,877 priority patent/US8351042B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns

Definitions

  • the present invention relates to an object detection apparatus that detects an object in a target area based on the state of reflected light when light is projected onto the target area, and an information acquisition apparatus suitable for use in the object detection apparatus.
  • An object detection device using light has been developed in various fields.
  • An object detection apparatus using a so-called distance image sensor can detect not only a planar image on a two-dimensional plane but also the shape and movement of the detection target object in the depth direction.
  • light in a predetermined wavelength band is projected from a laser light source or LED (Light Emitting Device) onto a target area, and the reflected light is received by a light receiving element such as a CMOS image sensor.
  • CMOS image sensor Light Emitting Device
  • a distance image sensor of a type that irradiates a target area with laser light having a predetermined dot pattern the dot pattern reflected from the target area is received by the image sensor, and the triangle is based on the light receiving position of the dot pattern on the image sensor.
  • the distance to each part of the detection target object is detected using a surveying method (for example, Non-Patent Document 1).
  • laser light having a dot pattern is emitted in a state where a reflection plane is arranged at a predetermined distance from the laser light irradiation unit, and the laser light irradiated on the image sensor at that time is emitted.
  • a dot pattern is held as a template.
  • the dot pattern of the laser beam irradiated on the image sensor at the time of actual measurement is compared with the dot pattern held on the template, and the segment area of the dot pattern on the template has moved to any position on the dot pattern at the time of actual measurement. Is detected. Based on the amount of movement, the distance to each part of the target area corresponding to each segment area is calculated.
  • one dot of laser light is irradiated to the image sensor in a state of straddling a plurality of pixels on the image sensor at the time of actual measurement.
  • signals are output simultaneously from a plurality of adjacent pixels irradiated with one dot at the same time.
  • the dot pattern is grasped from the output of the image sensor, there may be a state where the boundary between the dots is eliminated as a whole.
  • the present invention has been made to solve such a problem, and an object of the present invention is to provide an information acquisition apparatus capable of improving the detection accuracy of a dot pattern and an object detection apparatus equipped with the information acquisition apparatus.
  • the 1st aspect of this invention is related with the information acquisition apparatus which acquires the information of a target area
  • the information acquisition apparatus includes a light source that emits light of a predetermined wavelength band, a projection optical system that projects the light emitted from the light source toward the target area with a predetermined dot pattern, A light receiving element that receives reflected light reflected from the target area and outputs a signal.
  • the projection optical system is configured so that dots of the reference pattern of the light received by the light receiving element have a pitch of 2.5 pixels or more in at least the arrangement direction of the light source and the light receiving element. Light is projected toward the target area.
  • the second aspect of the present invention relates to an object detection apparatus.
  • the object detection apparatus according to this aspect includes the information acquisition apparatus according to the first aspect.
  • an information acquisition device capable of improving the detection accuracy of a dot pattern and an object detection device equipped with the information acquisition device.
  • the present invention is applied to an information acquisition apparatus of a type that irradiates a target area with laser light having a predetermined dot pattern.
  • FIG. 1 shows a schematic configuration of the object detection apparatus according to the present embodiment.
  • the object detection device includes an information acquisition device 1 and an information processing device 2.
  • the television 3 is controlled by a signal from the information processing device 2.
  • the information acquisition device 1 projects infrared light over the entire target area and receives the reflected light with a CMOS image sensor, whereby the distance between each part of the object in the target area (hereinafter referred to as “three-dimensional distance information”). To get.
  • the acquired three-dimensional distance information is sent to the information processing apparatus 2 via the cable 4.
  • the information processing apparatus 2 is, for example, a controller for TV control, a game machine, a personal computer, or the like.
  • the information processing device 2 detects an object in the target area based on the three-dimensional distance information received from the information acquisition device 1, and controls the television 3 based on the detection result.
  • the information processing apparatus 2 detects a person based on the received three-dimensional distance information and detects the movement of the person from the change in the three-dimensional distance information.
  • the information processing device 2 is a television control controller
  • the information processing device 2 detects the person's gesture from the received three-dimensional distance information and outputs a control signal to the television 3 in accordance with the gesture.
  • the application program to be installed is installed.
  • the user can cause the television 3 to execute a predetermined function such as channel switching or volume up / down by making a predetermined gesture while watching the television 3.
  • the information processing device 2 when the information processing device 2 is a game machine, the information processing device 2 detects the person's movement from the received three-dimensional distance information, and displays a character on the television screen according to the detected movement.
  • An application program that operates and changes the game battle situation is installed. In this case, the user can experience a sense of realism in which he / she plays a game as a character on the television screen by making a predetermined movement while watching the television 3.
  • FIG. 2 is a diagram showing the configuration of the information acquisition device 1 and the information processing device 2.
  • the information acquisition apparatus 1 includes a projection optical system 11 and a light receiving optical system 12 as optical systems.
  • the projection optical system 11 and the light receiving optical system 12 are arranged in the information acquisition device 1 so as to be aligned in the X-axis direction.
  • the projection optical system 11 includes a laser light source 111, a collimator lens 112, an aperture 113, and a diffractive optical element (DOE: Diffractive Optical Element) 114.
  • the light receiving optical system 12 includes an aperture 121, an imaging lens 122, a filter 123, and a CMOS image sensor 124.
  • the information acquisition device 1 includes a CPU (Central Processing Unit) 21, a laser driving circuit 22, an imaging signal processing circuit 23, an input / output circuit 24, and a memory 25 as a circuit unit.
  • CPU Central Processing Unit
  • the laser light source 111 outputs laser light in a narrow wavelength band with a wavelength of about 830 nm.
  • the collimator lens 112 converts the laser light emitted from the laser light source 111 into parallel light.
  • the aperture 113 adjusts the beam cross section of the laser light to a predetermined shape.
  • the DOE 114 has a diffraction pattern on the incident surface. Due to the diffraction effect of this diffraction pattern, the laser light that has entered the DOE 114 from the aperture 113 is converted into a laser light having a dot pattern and irradiated onto the target area.
  • the laser light reflected from the target area is incident on the imaging lens 122 via the aperture 121.
  • the aperture 121 stops the light from the outside so as to match the F number of the imaging lens 122.
  • the imaging lens 122 condenses the light incident through the aperture 121 on the CMOS image sensor 124.
  • the filter 123 is a band-pass filter that transmits light in a wavelength band including the emission wavelength (about 830 nm) of the laser light source 111 and cuts the visible light wavelength band.
  • the CMOS image sensor 124 receives the light collected by the imaging lens 122 and outputs a signal (charge) corresponding to the amount of received light to the imaging signal processing circuit 23 for each pixel.
  • the output speed of the signal is increased so that the signal (charge) of the pixel can be output to the imaging signal processing circuit 23 with high response from light reception in each pixel.
  • the CPU 21 controls each unit according to a control program stored in the memory 25.
  • the CPU 21 is provided with the functions of a laser control unit 21a for controlling the laser light source 111 and a three-dimensional distance calculation unit 21b for generating three-dimensional distance information.
  • the laser drive circuit 22 drives the laser light source 111 according to a control signal from the CPU 21.
  • the imaging signal processing circuit 23 controls the CMOS image sensor 124 and sequentially takes in the signal (charge) of each pixel generated by the CMOS image sensor 124 for each line. Then, the captured signals are sequentially output to the CPU 21. Based on the signal (imaging signal) supplied from the imaging signal processing circuit 23, the CPU 21 calculates the distance from the information acquisition device 1 to each part of the detection target by processing by the three-dimensional distance calculation unit 21b.
  • the input / output circuit 24 controls data communication with the information processing apparatus 2.
  • the information processing apparatus 2 includes a CPU 31, an input / output circuit 32, and a memory 33.
  • the information processing apparatus 2 has a configuration for performing communication with the television 3 and for reading information stored in an external memory such as a CD-ROM and installing it in the memory 33.
  • an external memory such as a CD-ROM
  • the configuration of these peripheral circuits is not shown for the sake of convenience.
  • the CPU 31 controls each unit according to a control program (application program) stored in the memory 33.
  • a control program application program
  • the CPU 31 is provided with the function of the object detection unit 31a for detecting an object in the image.
  • a control program is read from a CD-ROM by a drive device (not shown) and installed in the memory 33, for example.
  • the object detection unit 31a detects a person in the image and its movement from the three-dimensional distance information supplied from the information acquisition device 1. Then, a process for operating the character on the television screen according to the detected movement is executed by the control program.
  • the object detection unit 31 a detects a person in the image and its movement (gesture) from the three-dimensional distance information supplied from the information acquisition device 1. To do. Then, processing for controlling functions (channel switching, volume adjustment, etc.) of the television 3 is executed by the control program in accordance with the detected movement (gesture).
  • the input / output circuit 32 controls data communication with the information acquisition device 1.
  • FIG. 3A is a diagram schematically showing the irradiation state of the laser light on the target region
  • FIG. 3B is a diagram schematically showing the light receiving state of the laser light in the CMOS image sensor 124.
  • FIG. 6B shows a light receiving state when a flat surface (screen) exists in the target area.
  • laser light having a dot pattern (hereinafter, the whole laser light having this pattern is referred to as “DP light”) is irradiated onto the target area.
  • DP light laser light having a dot pattern
  • the light flux region of DP light is indicated by a solid line frame.
  • dot regions (hereinafter simply referred to as “dots”) in which the intensity of the laser light is increased by the diffraction action by the DOE 114 are scattered according to the dot pattern by the diffraction action by the DOE 114.
  • the light beam of DP light is divided into a plurality of segment regions arranged in a matrix.
  • dots are scattered in a unique pattern.
  • the dot dot pattern in one segment area is different from the dot dot pattern in all other segment areas.
  • each segment area can be distinguished from all other segment areas with a dot dot pattern.
  • the segment areas of DP light reflected thereby are distributed in a matrix on the CMOS image sensor 124 as shown in FIG.
  • the light in the segment area S0 on the target area shown in FIG. 5A enters the segment area Sp shown in FIG.
  • the light flux region of DP light is indicated by a solid frame, and for convenience, the light beam of DP light is divided into a plurality of segment regions arranged in a matrix.
  • the three-dimensional distance calculation unit 21b detects the position of each segment area on the CMOS image sensor 124, and corresponds to each segment area of the detection target object based on the triangulation method from the detected position of each segment area. The distance to the position to be detected is detected. Details of such a detection technique are described in, for example, Non-Patent Document 1 (The 19th Annual Conference of the Robotics Society of Japan (September 18-20, 2001), Proceedings, P1279-1280).
  • FIG. 4 is a diagram schematically showing a method of generating a reference template used for the distance detection.
  • a flat reflection plane RS perpendicular to the Z-axis direction is arranged at a predetermined distance Ls from the projection optical system 11.
  • the temperature of the laser light source 111 is maintained at a predetermined temperature (reference temperature).
  • DP light is emitted from the projection optical system 11 for a predetermined time Te.
  • the emitted DP light is reflected by the reflection plane RS and enters the CMOS image sensor 124 of the light receiving optical system 12.
  • an electrical signal for each pixel is output from the CMOS image sensor 124.
  • the output electric signal value (pixel value) for each pixel is developed on the memory 25 of FIG.
  • a reference pattern area that defines the DP light irradiation area on the CMOS image sensor 124 is set as shown in FIG. 4B. Further, the reference pattern area is divided vertically and horizontally to set a segment area. As described above, each segment area is dotted with dots in a unique pattern. Therefore, the pixel value pattern of the segment area is different for each segment area. Each segment area has the same size as all other segment areas.
  • the reference template is configured by associating each segment area set on the CMOS image sensor 124 with the pixel value of each pixel included in the segment area.
  • the reference template includes information on the position of the reference pattern area on the CMOS image sensor 124, pixel values of all pixels included in the reference pattern area, and information for dividing the reference pattern area into segment areas. Contains.
  • the pixel values of all the pixels included in the reference pattern area correspond to the DP light dot pattern included in the reference pattern area.
  • the mapping area of the pixel values of all the pixels included in the reference pattern area into segment areas the pixel values of the pixels included in each segment area are acquired.
  • the reference template may further hold pixel values of pixels included in each segment area for each segment area.
  • the configured reference template is held in the memory 25 of FIG. 2 in an unerasable state.
  • the reference template thus stored in the memory 25 is referred to when calculating the distance from the projection optical system 11 to each part of the detection target object.
  • DP light corresponding to a predetermined segment area Sn on the reference pattern is reflected by the object, and the segment area Sn. It is incident on a different region Sn ′. Since the projection optical system 11 and the light receiving optical system 12 are adjacent to each other in the X-axis direction, the displacement direction of the region Sn ′ with respect to the segment region Sn is parallel to the X-axis. In the case shown in the figure, since the object is located at a position closer than the distance Ls, the region Sn 'is displaced in the X-axis positive direction with respect to the segment region Sn. If the object is at a position farther than the distance Ls, the region Sn ′ is displaced in the negative X-axis direction with respect to the segment region Sn.
  • the distance Lr from the projection optical system 11 to the portion of the object irradiated with DP light (DPn) is triangulated using the distance Ls. Calculated based on Similarly, the distance from the projection optical system 11 is calculated for the part of the object corresponding to another segment area.
  • FIG. 5 is a diagram for explaining such a detection technique.
  • FIG. 6A is a diagram showing the setting state of the reference pattern region and the segment region on the CMOS image sensor 124
  • FIG. 5B is a diagram showing a method for searching for the segment region during actual measurement
  • FIG. These are figures which show the collation method with the dot pattern of measured DP light, and the dot pattern contained in the segment area
  • the segment area S1 is one pixel in the X-axis direction in the range P1 to P2.
  • the matching degree between the dot pattern of the segment area S1 and the actually measured dot pattern of DP light is obtained.
  • the segment area S1 is sent in the X-axis direction only on the line L1 passing through the uppermost segment area group of the reference pattern area. This is because, as described above, each segment region is normally displaced only in the X-axis direction from the position set by the reference template at the time of actual measurement. That is, the segment area S1 is considered to be on the uppermost line L1.
  • the processing load for the search is reduced.
  • the segment area may protrude from the reference pattern area in the X-axis direction. Therefore, the ranges P1 and P2 are set wider than the width of the reference pattern area in the X-axis direction.
  • a region (comparison region) having the same size as the segment region S1 is set on the line L1, and the similarity between the comparison region and the segment region S1 is obtained. That is, the difference between the pixel value of each pixel in the segment area S1 and the pixel value of the corresponding pixel in the comparison area is obtained. A value Rsad obtained by adding the obtained difference to all the pixels in the comparison region is acquired as a value indicating the similarity.
  • the comparison area is sequentially set while being shifted by one pixel on the line L1. Then, the value Rsad is obtained for all the comparison regions on the line L1. A value smaller than the threshold value is extracted from the obtained value Rsad. If there is no value Rsad smaller than the threshold value, the search for the segment area S1 is regarded as an error. Then, it is determined that the comparison area corresponding to the extracted Rsad having the smallest value is the movement area of the segment area S1. The same search as described above is performed for the segment areas other than the segment area S1 on the line L1. Similarly, the segment areas on the other lines are searched by setting the comparison area on the lines as described above.
  • each dot of the dot pattern of DP light acquired at the time of actual measurement is not necessarily irradiated to the CMOS image sensor 124 so as to be within the area of each pixel on the CMOS image sensor 124. It can often occur that each dot is illuminated on the CMOS image sensor 124 across two or four pixels. Each dot shifts in the left-right direction (X-axis direction) depending on the distance to the detection target. Therefore, each dot may be irradiated onto the CMOS image sensor 124 across two pixels in the left-right direction (X-axis direction) as shown in FIG. Each dot does not usually straddle a pixel in the vertical direction (Y-axis direction).
  • each dot may shift in the vertical direction (Y-axis direction) due to a change in the characteristics of the DOE 114 or a change in the emission wavelength of the laser light source 111 based on a change in temperature. In such a case, each dot may straddle two pixels in the vertical direction (Y-axis direction).
  • FIG. 6 is a diagram showing a dot pattern setting example (comparative example).
  • the dot pattern can be changed by adjusting the diffraction pattern of the DOE 114.
  • one pixel corresponds to one cell.
  • the black circles in the upper diagrams indicate dots (light), and the intensity of the output value (pixel value) of each pixel is indicated by the filled state of the lower cells.
  • the pitch of each dot in the X-axis direction and the Y-axis direction is set to 2 pixels.
  • (A), (b), and (c) show the relationship between dots and pixels on the CMOS image sensor 124, respectively, and (d), (e), and (f) in FIG.
  • FIGS. 7B and 7E show the dot irradiation state and the pixel value state in the segment area at the time of generating the reference template.
  • FIGS. 7A and 7D and FIGS. f) shows the dot irradiation state and the pixel value state when the dot pattern of FIG. 5B is irradiated to a predetermined comparison area at the time of actual measurement.
  • FIG. 7 is a diagram showing another setting example (comparative example) of the dot pattern.
  • FIGS. 6A to 6F correspond to FIGS. 6A to 6F, respectively.
  • the dot size is smaller than the pixel area.
  • the pitch of each dot in the X-axis direction is set to 1 pixel or 2 pixels, and the pitch of each dot in the Y-axis direction is set to 2 pixels.
  • the dot pattern is shifted to the left by half a pixel (X-axis negative direction) with respect to the comparison area as shown in FIG.
  • the pixel patterns in the second, fourth, sixth, and eighth rows are divided as compared with the case of FIG. 6 (f), but the second, fourth, sixth, and eighth rows are compared with those in FIG. 7 (e).
  • the number of pixel pattern divisions is considerably smaller than in the case of FIG. For this reason, even if the pixel value patterns of FIG. 7E and FIG. 7F are compared, it is difficult to match between them.
  • FIG. 8 is a diagram showing a setting example of a dot pattern in the present embodiment. Also in this case, the dot pattern can be set as shown in the figure by adjusting the diffraction pattern of the DOE 114.
  • the dot size is smaller than the pixel area.
  • the pitch of each dot in the X-axis direction is set to 2.5 pixels, and the pitch of each dot in the Y-axis direction is set to 2 pixels.
  • the difference between the two is that the first, third, fifth, and seventh lines in FIGS. 6 (e) and (d).
  • the degree of difference is lower than the difference in pixel value pattern and the difference in pixel value patterns in the first, third, fifth and seventh rows of FIGS. Therefore, it is considered that the difference in pixel value patterns in the first, third, fifth, and seventh rows does not greatly affect the matching determination of the pixel value patterns in FIGS.
  • FIG. 9 is a diagram showing another setting example of the dot pattern in the present embodiment.
  • FIGS. 6A to 6F correspond to FIGS. 6A to 6F, respectively.
  • the dot size is smaller than the pixel area.
  • the pitch of each dot in the X-axis direction is set to 2.5 pixels, and the pitch of each dot in the Y-axis direction is also set to 2.5 pixels.
  • the difference between the two is the pixel value pattern in the first, third, fifth, and seventh lines in FIGS. 6 (e) and 6 (d).
  • the degree of difference is lower than the difference and the difference in pixel value patterns in the first, third, fifth, and seventh rows of FIGS. Therefore, it is considered that the difference in the pixel value patterns in the second and seventh rows does not greatly affect the matching determination of the pixel value patterns in FIGS.
  • the pixel value pattern is also divided in the Y-axis direction by the rows.
  • the number of divisions in the Y-axis direction is the same (three) in the diagrams (e), (d), and (f).
  • the positions of the divisions in the Y-axis direction are the same in FIGS. 9E and 9F, and are the same in FIGS. 9E and 9D, or there is only one pixel shift.
  • the pixel value pattern can be more easily matched, and the segment area search accuracy can be improved.
  • FIG. 10 is a diagram showing another setting example of the dot pattern in the present embodiment.
  • FIGS. 6A to 6F correspond to FIGS. 6A to 6F, respectively.
  • the dot size is smaller than the pixel area.
  • the pitch of each dot in the X-axis direction is set to 3 pixels
  • the pitch of each dot in the Y-axis direction is set to 2 pixels.
  • the pixel value patterns in the second, fourth, sixth, and eighth rows in FIG. 8E also have three divisions, and the number of divisions is between FIG. Are the same as each other.
  • the positions of the breaks in the second, fourth, sixth, and eighth lines in FIG. 8F are all included in the positions of the second, fourth, sixth, and eighth lines in FIG. Accordingly, the pixel value pattern in FIG. 8F is very similar to the pixel value pattern in FIG. For this reason, when the pixel value patterns in FIG. 5E and FIG. 8F are compared, matching between the two becomes easy.
  • the pixel value patterns in the second, fourth, sixth, and eighth rows in FIG. 8E also have three divisions, and the number of divisions is between that shown in FIGS. Are the same as each other.
  • the positions of the breaks in the second, fourth, sixth and eighth lines in FIG. 4D are all included in the positions of the second, fourth, sixth and eighth lines in FIG. Therefore, the pixel value pattern shown in FIG. 4D is very similar to the pixel value pattern shown in FIG.
  • the difference between the two is that the first, third, fifth, and seventh lines in FIGS. 6 (e) and (d).
  • the degree of difference is lower than the difference in pixel value pattern and the difference in pixel value patterns in the first, third, fifth and seventh rows of FIGS. Therefore, it is considered that the difference in the pixel value patterns in the first, third, fifth, and seventh rows does not greatly affect the matching determination of the pixel value patterns in FIGS. 10 (e) and 10 (d).
  • the number of pixels whose pixel values do not match each other is 5 in the 2nd row, 6 in the 4th row, 4 in the 6th row, 8 There are a total of 20 on the line.
  • the number of pixels whose pixel values do not match each other is six in the second row, six in the fourth row, and six in the sixth row. In the 8th row, there are 6 in total, 24 in total.
  • the number of pixels whose pixel values do not match is four less than the pixel value patterns of FIGS. 8E and 8F.
  • the difference between the pixel values of two pixels whose pixel values do not match is H / 2. Therefore, it can be said that the dot pattern of FIG. 10 has higher matching detection accuracy than the dot pattern of FIG. From this, it can be said that the pitch between dots is more preferably 3 pixels than 2.5 pixels.
  • FIG. 11 is a diagram showing still another setting example of the dot pattern in the present embodiment.
  • FIGS. 6A to 6F correspond to FIGS. 6A to 6F, respectively.
  • the dot size is smaller than the pixel area.
  • the pitch of each dot in the X-axis direction is set to 3.5 pixels
  • the pitch of each dot in the Y-axis direction is set to 2 pixels.
  • the matching degree of the pixel value pattern in FIGS. 11 (e) and 11 (f) is compared with the matching degree of the pixel value pattern in FIGS. 10 (e) and 10 (f), the matching degree of both is substantially the same. That is, in the pixel value patterns of FIGS. 11E and 11F, the number of pixels whose pixel values do not match each other is 5 in the 2nd row, 6 in the 4th row, 4 in the 6th row, 8 There are a total of 20 on the line. On the other hand, in the pixel value patterns of FIGS. 10E and 10F, the number of pixels whose pixel values do not match each other is five in the second row, six in the fourth row, and four in the sixth row.
  • the pixel value patterns in FIGS. 11 (e) and 11 (f) and the pixel value pattern in FIGS. 10 (e) and 10 (f) have the same number of pixels whose pixel values do not match,
  • the difference between the pixel values of two pixels whose pixel values do not match is H / 2. Therefore, it can be said that the dot detection pattern in FIG. 11 and the dot pattern in FIG. 10 have substantially the same matching detection accuracy.
  • the pitch between dots in the X-axis direction is desirably set to about 2.5 to 3.5 pixels, and more preferably about 3.0 pixels. In order to include as many dots as possible in one segment area, the pitch between dots in the X-axis direction is preferably set to 2.5 pixels.
  • each segment area are set so as not to overlap each other as shown in FIG. 4B, but each segment area may be set to partially overlap the upper and lower segment areas. good.
  • each segment area may be set so as to be partially overlapped with the left and right segment areas and arranged in a matrix.
  • the dots in each segment area are adjusted so that the pitch is 2.5 pixels or more.
  • the shape of the segment area may be other shapes such as a square as well as a rectangle as in the above embodiment.
  • the CMOS image sensor 124 is used as the light receiving element, but a CCD image sensor can be used instead.

Abstract

【課題】ドットパターンの検出精度を向上させることができる情報取得装置およびこれを搭載する物体検出装置を提供する。 【解決手段】情報取得装置1は、波長830nm程度のレーザ光を出射するレーザ光源111と、レーザ光を前記目標領域に向けて投射する投射光学系11と、前記目標領域からの反射光を受光して信号を出力するCMOSイメージセンサ124と、を備える。投射光学系11は、CMOSイメージセンサ124によって受光されるレーザ光の基準パターンのドットが、少なくともレーザ光源111とCMOSイメージセンサ124の並び方向において、2.5画素以上のピッチを持つように、レーザ光を目標領域に向けて投射する。

Description

物体検出装置および情報取得装置
 本発明は、目標領域に光を投射したときの反射光の状態に基づいて目標領域内の物体を検出する物体検出装置およびこれに用いて好適な情報取得装置に関する。
 従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、2次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。かかる物体検出装置では、レーザ光源やLED(Light Emitting Device)から、予め決められた波長帯域の光が目標領域に投射され、その反射光がCMOSイメージセンサ等の受光素子により受光される。距離画像センサとして、種々のタイプのものが知られている。
 所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサでは、目標領域から反射されたドットパターンをイメージセンサで受光し、イメージセンサ上におけるドットパターンの受光位置に基づいて、三角測量法を用いて、検出対象物体の各部までの距離が検出される(たとえば、非特許文献1)。
 この方式では、たとえば、レーザ光の照射部から所定の距離の位置に反射平面が配置された状態で、ドットパターンを持つレーザ光が出射され、そのときにイメージセンサ上に照射されたレーザ光のドットパターンがテンプレートとして保持される。そして、実測時にイメージセンサ上に照射されたレーザ光のドットパターンとテンプレートに保持されたドットパターンとが照合され、テンプレート上のドットパターンのセグメント領域が実測時のドットパターン上のどの位置に移動したかが検出される。この移動量に基づいて、各セグメント領域に対応する目標領域の各部までの距離が算出される。
第19回日本ロボット学会学術講演会(2001年9月18-20日)予稿集、P1279-1280
 上記物体検出装置では、実測時に、レーザ光の一つのドットが、イメージセンサ上の複数の画素に跨った状態で、イメージセンサに照射されることが起こり得る。この場合、一つのドットが同時に照射された、隣接する複数の画素からは、同時に信号が出力される。このため、イメージセンサの出力からドットパターンを把握する場合には、全体的にドット間の境界が無くなる状態が起こり得る。このため、実測時にイメージセンサ上に照射されたレーザ光のドットパターンとテンプレートに保持されたドットパターンとの照合を適正に行えず、検出対象物体の各部までの距離の検出精度が劣化するとの問題が生じる。
 本発明は、かかる問題を解消するためになされたものであり、ドットパターンの検出精度を向上させることができる情報取得装置およびこれを搭載する物体検出装置を提供することを目的とする。
 本発明の第1の態様は、光を用いて目標領域の情報を取得する情報取得装置に関する。この態様に係る情報取得装置は、所定波長帯域の光を出射する光源と、前記光源から出射された光を、所定のドットパターンでもって、前記目標領域に向けて投射する投射光学系と、前記目標領域から反射された反射光を受光して信号を出力する受光素子と、を備える。ここで、前記投射光学系は、前記受光素子によって受光される前記光の基準パターンのドットが、少なくとも前記光源と前記受光素子の並び方向において、2.5画素以上のピッチを持つように、前記光を前記目標領域に向けて投射する。
 本発明の第2の態様は、物体検出装置に関する。この態様に係る物体検出装置は、上記第1の態様に係る情報取得装置を有する。
 本発明によれば、ドットパターンの検出精度を向上させることができる情報取得装置およびこれを搭載する物体検出装置を提供することができる。
 本発明の特徴は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
実施の形態に係る物体検出装置の構成を示す図である。 実施の形態に係る情報取得装置と情報処理装置の構成を示す図である。 実施の形態に係る目標領域に対するレーザ光の照射状態とイメージセンサ上のレーザ光の受光状態を示す図である。 実施の形態に係る基準テンプレートの設定方法を説明する図である。 実施の形態に係る距離検出方法を説明する図である。 ドットのピッチが2画素であるときの問題を説明する図である。 ドットのピッチが2画素以下であるときの問題を説明する図である。 実施の形態に係るドットパターンの設定方法を示す図である。 実施の形態に係るドットパターンの他の設定方法を示す図である。 実施の形態に係るドットパターンのさらに他の設定方法を示す図である。 実施の形態に係るドットパターンのさらに他の設定方法を示す図である。
 以下、本発明の実施の形態につき図面を参照して説明する。本実施の形態は、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの情報取得装置に本発明を適用したものである。
 まず、図1に本実施の形態に係る物体検出装置の概略構成を示す。図示の如く、物体検出装置は、情報取得装置1と、情報処理装置2とを備えている。テレビ3は、情報処理装置2からの信号によって制御される。
 情報取得装置1は、目標領域全体に赤外光を投射し、その反射光をCMOSイメージセンサにて受光することにより、目標領域にある物体各部の距離(以下、「3次元距離情報」という)を取得する。取得された3次元距離情報は、ケーブル4を介して情報処理装置2に送られる。
 情報処理装置2は、たとえば、テレビ制御用のコントローラやゲーム機、パーソナルコンピュータ等である。情報処理装置2は、情報取得装置1から受信した3次元距離情報に基づき、目標領域における物体を検出し、検出結果に基づきテレビ3を制御する。
 たとえば、情報処理装置2は、受信した3次元距離情報に基づき人を検出するとともに、3次元距離情報の変化から、その人の動きを検出する。たとえば、情報処理装置2がテレビ制御用のコントローラである場合、情報処理装置2には、受信した3次元距離情報からその人のジェスチャを検出するとともに、ジェスチャに応じてテレビ3に制御信号を出力するアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定のジェスチャをすることにより、チャンネル切り替えやボリュームのUp/Down等、所定の機能をテレビ3に実行させることができる。
 また、たとえば、情報処理装置2がゲーム機である場合、情報処理装置2には、受信した3次元距離情報からその人の動きを検出するとともに、検出した動きに応じてテレビ画面上のキャラクタを動作させ、ゲームの対戦状況を変化させるアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定の動きをすることにより、自身がテレビ画面上のキャラクタとしてゲームの対戦を行う臨場感を味わうことができる。
 図2は、情報取得装置1と情報処理装置2の構成を示す図である。
 情報取得装置1は、光学系として、投射光学系11と受光光学系12とを備えている。投射光学系11と受光光学系12は、X軸方向に並ぶように、情報取得装置1に配置される。
 投射光学系11は、レーザ光源111と、コリメータレンズ112と、アパーチャ113と、回折光学素子(DOE:Diffractive Optical Element)114とを備えている。また、受光光学系12は、アパーチャ121と、撮像レンズ122と、フィルタ123と、CMOSイメージセンサ124とを備えている。この他、情報取得装置1は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、撮像信号処理回路23と、入出力回路24と、メモリ25を備えている。
 レーザ光源111は、波長830nm程度の狭波長帯域のレーザ光を出力する。コリメータレンズ112は、レーザ光源111から出射されたレーザ光を平行光に変換する。アパーチャ113は、レーザ光の光束断面を所定の形状に調整する。DOE114は、入射面に回折パターンを有する。この回折パターンによる回折作用により、アパーチャ113からDOE114に入射したレーザ光は、ドットパターンのレーザ光に変換されて、目標領域に照射される。
 目標領域から反射されたレーザ光は、アパーチャ121を介して撮像レンズ122に入射する。アパーチャ121は、撮像レンズ122のFナンバーに合うように、外部からの光に絞りを掛ける。撮像レンズ122は、アパーチャ121を介して入射された光をCMOSイメージセンサ124上に集光する。
 フィルタ123は、レーザ光源111の出射波長(830nm程度)を含む波長帯域の光を透過し、可視光の波長帯域をカットするバンドパスフィルタである。CMOSイメージセンサ124は、撮像レンズ122にて集光された光を受光して、画素毎に、受光光量に応じた信号(電荷)を撮像信号処理回路23に出力する。ここで、CMOSイメージセンサ124は、各画素における受光から高レスポンスでその画素の信号(電荷)を撮像信号処理回路23に出力できるよう、信号の出力速度が高速化されている。
 CPU21は、メモリ25に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU21には、レーザ光源111を制御するためのレーザ制御部21aと、3次元距離情報を生成するための3次元距離演算部21bの機能が付与される。
 レーザ駆動回路22は、CPU21からの制御信号に応じてレーザ光源111を駆動する。撮像信号処理回路23は、CMOSイメージセンサ124を制御して、CMOSイメージセンサ124で生成された各画素の信号(電荷)をライン毎に順次取り込む。そして、取り込んだ信号を順次CPU21に出力する。CPU21は、撮像信号処理回路23から供給される信号(撮像信号)をもとに、情報取得装置1から検出対象物の各部までの距離を、3次元距離演算部21bによる処理によって算出する。入出力回路24は、情報処理装置2とのデータ通信を制御する。
 情報処理装置2は、CPU31と、入出力回路32と、メモリ33を備えている。なお、情報処理装置2には、同図に示す構成の他、テレビ3との通信を行うための構成や、CD-ROM等の外部メモリに格納された情報を読み取ってメモリ33にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
 CPU31は、メモリ33に格納された制御プログラム(アプリケーションプログラム)に従って各部を制御する。かかる制御プログラムによって、CPU31には、画像中の物体を検出するための物体検出部31aの機能が付与される。かかる制御プログラムは、たとえば、図示しないドライブ装置によってCD-ROMから読み取られ、メモリ33にインストールされる。
 たとえば、制御プログラムがゲームプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動きを検出する。そして、検出された動きに応じてテレビ画面上のキャラクタを動作させるための処理が制御プログラムにより実行される。
 また、制御プログラムがテレビ3の機能を制御するためのプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動き(ジェスチャ)を検出する。そして、検出された動き(ジェスチャ)に応じて、テレビ3の機能(チャンネル切り替えやボリューム調整、等)を制御するための処理が制御プログラムにより実行される。
 入出力回路32は、情報取得装置1とのデータ通信を制御する。
 図3(a)は、目標領域に対するレーザ光の照射状態を模式的に示す図、図3(b)は、CMOSイメージセンサ124におけるレーザ光の受光状態を模式的に示す図である。なお、同図(b)には、便宜上、目標領域に平坦な面(スクリーン)が存在するときの受光状態が示されている。
 投射光学系11からは、ドットパターンを持ったレーザ光(以下、このパターンを持つレーザ光の全体を「DP光」という)が、目標領域に照射される。同図(a)には、DP光の光束領域が実線の枠によって示されている。DP光の光束中には、DOE114による回折作用によってレーザ光の強度が高められたドット領域(以下、単に「ドット」という)が、DOE114による回折作用によるドットパターンに従って点在している。
 なお、図3(a)では、便宜上、DP光の光束が、マトリックス状に並ぶ複数のセグメント領域に区分されている。各セグメント領域には、ドットが固有のパターンで点在している。一つのセグメント領域におけるドットの点在パターンは、他の全てのセグメント領域におけるドットの点在パターンと相違する。これにより、各セグメント領域は、ドットの点在パターンをもって、他の全てのセグメント領域から区別可能となっている。
 目標領域に平坦な面(スクリーン)が存在すると、これにより反射されたDP光の各セグメント領域は、同図(b)のように、CMOSイメージセンサ124上においてマトリックス状に分布する。たとえば、同図(a)に示す目標領域上におけるセグメント領域S0の光は、CMOSイメージセンサ124上では、同図(b)に示すセグメント領域Spに入射する。なお、図3(b)においても、DP光の光束領域が実線の枠によって示され、便宜上、DP光の光束が、マトリックス状に並ぶ複数のセグメント領域に区分されている。
 上記3次元距離演算部21bでは、CMOSイメージセンサ124上における各セグメント領域の位置が検出され、検出された各セグメント領域の位置から、三角測量法に基づいて、検出対象物体の各セグメント領域に対応する位置までの距離が検出される。かかる検出手法の詳細は、たとえば、上記非特許文献1(第19回日本ロボット学会学術講演会(2001年9月18-20日)予稿集、P1279-1280)に示されている。
 図4は、上記距離検出に用いられる基準テンプレートの生成方法を模式的に示す図である。
 図4(a)に示すように、基準テンプレートの生成時には、投射光学系11から所定の距離Lsの位置に、Z軸方向に垂直な平坦な反射平面RSが配置される。レーザ光源111の温度は、所定の温度(基準温度)に維持される。この状態で、投射光学系11からDP光が所定時間Teだけ出射される。出射されたDP光は、反射平面RSによって反射され、受光光学系12のCMOSイメージセンサ124に入射する。これにより、CMOSイメージセンサ124から、画素毎の電気信号が出力される。出力された画素毎の電気信号の値(画素値)が、図2のメモリ25上に展開される。
 こうしてメモリ25上に展開された画素値に基づいて、図4(b)に示すように、CMOSイメージセンサ124上におけるDP光の照射領域を規定する基準パターン領域が設定される。さらに、この基準パターン領域が、縦横に区分されてセグメント領域が設定される。上記のように、各セグメント領域には、固有のパターンでドットが点在する。よって、セグメント領域の画素値のパターンは、セグメント領域毎に異なっている。なお、各セグメント領域は、他の全てのセグメント領域と同じサイズである。
 基準テンプレートは、このようにCMOSイメージセンサ124上に設定された各セグメント領域に、そのセグメント領域に含まれる各画素の画素値を対応付けて構成される。
 具体的には、基準テンプレートは、CMOSイメージセンサ124上における基準パターン領域の位置に関する情報と、基準パターン領域に含まれる全画素の画素値と、基準パターン領域をセグメント領域に分割するための情報を含んでいる。基準パターン領域に含まれる全画素の画素値は、基準パターン領域に含まれるDP光のドットパターンに相応するものになる。また、基準パターン領域に含まれる全画素の画素値のマッピング領域をセグメント領域に区分することで、各セグメント領域に含まれる画素の画素値が取得される。なお、基準テンプレートは、さらに、各セグメント領域に含まれる画素の画素値を、セグメント領域毎に保持していても良い。
 構成された基準テンプレートは、図2のメモリ25に、消去不可能な状態で保持される。こうしてメモリ25に保持された基準テンプレートは、投射光学系11から検出対象物体の各部までの距離を算出する際に参照される。
 たとえば、図4(a)に示すように距離Lsよりも近い位置に物体がある場合、基準パターン上の所定のセグメント領域Snに対応するDP光(DPn)は、物体によって反射され、セグメント領域Snとは異なる領域Sn’に入射する。投射光学系11と受光光学系12はX軸方向に隣り合っているため、セグメント領域Snに対する領域Sn’の変位方向はX軸に平行となる。同図の場合、物体が距離Lsよりも近い位置にあるため、領域Sn’は、セグメント領域Snに対してX軸正方向に変位する。物体が距離Lsよりも遠い位置にあれば、領域Sn’は、セグメント領域Snに対してX軸負方向に変位する。
 セグメント領域Snに対する領域Sn’の変位方向と変位量をもとに、投射光学系11からDP光(DPn)が照射された物体の部分までの距離Lrが、距離Lsを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系11からの距離が算出される。
 かかる距離算出では、基準テンプレートのセグメント領域Snが、実測時においてどの位置に変位したかを検出する必要がある。この検出は、実測時にCMOSイメージセンサ124上に照射されたDP光のドットパターンと、セグメント領域Snに含まれるドットパターンとを照合することによって行われる。
 図5は、かかる検出の手法を説明する図である。同図(a)は、CMOSイメージセンサ124上における基準パターン領域とセグメント領域の設定状態を示す図、同図(b)は、実測時におけるセグメント領域の探索方法を示す図、同図(c)は、実測されたDP光のドットパターンと、基準テンプレートのセグメント領域に含まれるドットパターンとの照合方法を示す図である。
 たとえば、同図(a)のセグメント領域S1の実測時における変位位置を探索する場合、同図(b)に示すように、セグメント領域S1が、範囲P1~P2において、X軸方向に1画素ずつ送られ、各送り位置において、セグメント領域S1のドットパターンと、実測されたDP光のドットパターンのマッチング度合いが求められる。この場合、セグメント領域S1は、基準パターン領域の最上段のセグメント領域群を通るラインL1上のみをX軸方向に送られる。これは、上記のように、通常、各セグメント領域は、実測時において、基準テンプレートにより設定された位置からX軸方向にのみ変位するためである。すなわち、セグメント領域S1は、最上段のラインL1上にあると考えられるためである。このように、X軸方向にのみ探索を行うことで、探索のための処理負担が軽減される。
 なお、実測時には、検出対象物体の位置によっては、セグメント領域が基準パターン領域の範囲からX軸方向にはみ出すことが起こり得る。このため、範囲P1~P2は、基準パターン領域のX軸方向の幅よりも広く設定される。
 上記マッチング度合いの検出時には、ラインL1上に、セグメント領域S1と同じサイズの領域(比較領域)が設定され、この比較領域とセグメント領域S1との間の類似度が求められる。すなわち、セグメント領域S1の各画素の画素値と、比較領域の対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域の全ての画素について加算した値Rsadが、類似度を示す値として取得される。
 たとえば、図5(c)のように、一つのセグメント領域中に、m列×n行の画素が含まれている場合、セグメント領域のi列、j行の画素の画素値T(i,j)と、比較領域のi列、j行の画素の画素値I(i,j)との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、値Rsadが求められる。すなわち、値Rsadは、次式により算出される。
Figure JPOXMLDOC01-appb-M000001
 値Rsadが小さい程、セグメント領域と比較領域との間の類似度が高い。
 探索時には、比較領域が、ラインL1上を1画素ずつずらされつつ順次設定される。そして、ラインL1上の全ての比較領域について、値Rsadが求められる。求めた値Rsadの中から、閾値より小さいものが抽出される。閾値より小さい値Rsadが無ければ、セグメント領域S1の探索はエラーとされる。そして、抽出されたRsadの中で最も値が小さいものに対応する比較領域が、セグメント領域S1の移動領域であると判定される。ラインL1上のセグメント領域S1以外のセグメント領域も、上記と同様の探索が行われる。また、他のライン上のセグメント領域も、上記と同様、そのライン上に比較領域が設定されて、探索が行われる。
 こうして、実測時に取得されたDP光のドットパターンから、各セグメント領域の変位位置が探索されると、上記のように、その変位位置に基づいて、三角測量法により、各セグメント領域に対応する検出対象物体の部位までの距離が求められる。
 ところで、実測時に取得されたDP光のドットパターンの各ドットは、CMOSイメージセンサ124上の各画素の領域に収まるように、CMOSイメージセンサ124に照射されるとは限らない。各ドットが2つまたは4つの画素に跨ってCMOSイメージセンサ124上に照射されることが、しばしば起こり得る。各ドットは、検出対象物までの距離によって、左右方向(X軸方向)にシフトする。このため、各ドットは、図5(c)のように、左右方向(X軸方向)の2つの画素に跨ってCMOSイメージセンサ124上に照射されることがある。なお、各ドットは、通常、上下方向(Y軸方向)の画素には跨らない。しかしながら、DOE114の特性の変化や、温度変化に基づくレーザ光源111の出射波長の変動等によって、各ドットが上下方向(Y軸方向)にシフトすることが起こり得る。このような場合、各ドットが上下方向(Y軸方向)の2つの画素に跨ることが起こり得る。
 このように複数の画素にドットが跨ると、隣接する複数の画素から、同時に信号が出力される。このため、信号を出力する画素のパターンに区切りが無くなり、セグメント領域と比較領域とのマッチング精度が低下するとの問題が起こり得る。
 図6は、ドットパターンの設定例(比較例)を示す図である。ドットパターンは、DOE114の回折パターンを調節することにより、変更され得る。
 図6では、一つの画素が一つの升目に対応する。また、上段の各図における黒丸がドット(光)を示し、下段の升目の塗り潰し状態によって、各画素の出力値(画素値)の強度が示されている。下段の各図において、白の升目は、画素値がゼロ、黒の升目は、一つのドットが一つの画素にのみ入射するときの画素値(画素値=H)を示している。ドットのサイズは、一つの画素の領域よりも小さくなっている。
 同図の設定例では、X軸方向およびY軸方向における各ドットのピッチが、2画素に設定されている。同図(a)、(b)、(c)には、それぞれ、CMOSイメージセンサ124上におけるドットと画素の関係が示され、同図(d)、(e)、(f)には、それぞれ、同図(a)、(b)、(c)の状態でドットが照射されたときの、各画素の信号出力値(画素値)の状態が示されている。同図(b)、(e)には、基準テンプレート生成時のセグメント領域におけるドットの照射状態と画素値の状態が示され、同図(a)、(d)および同図(c)、(f)には、それぞれ、実測時において同図(b)のドットパターンが所定の比較領域に照射されたときの、ドットの照射状態と画素値の状態が示されている。
 同図(b)のように一つのドットが一つの画素に収まっている場合、同図(e)に示すように、対応する画素から画素値Hの信号が出力される。
 これに対し、実測時において、同図(c)のように、比較領域に対してドットパターンが半画素だけ左(X軸負方向)にずれると、同図(f)に示すように、上から2、4、6、8行目の画素の全てから画素値H/2の信号が出力される。この場合、上から2、4、6、8行目においては、信号を出力する画素のパターンに、区切り(画素値がゼロの画素)が無くなる。このため、同図(e)と同図(f)の画素値パターンを比較しても、両者の間でマッチングが取れにくくなる。
 また、実測時において、同図(a)のように、比較領域に対してドットパターンが半画素だけ左(X軸負方向)と上(Y軸正方向)にずれると、同図(d)に示すように、全ての画素から画素値H/4の信号が出力される。この場合、比較領域の全領域において、信号を出力する画素のパターンに区切りが無くなる。このため、同図(e)と同図(d)の画素値パターンを比較しても、両者の間でマッチングがさらに取れにくくなる。
 図7は、ドットパターンの他の設定例(比較例)を示す図である。同図(a)~(f)は、それぞれ、図6(a)~(f)に対応している。この設定例でも、ドットのサイズは、画素の領域よりも小さくなっている。また、この設定例では、X軸方向の各ドットのピッチは、1画素または2画素に設定され、Y軸方向における各ドットのピッチは、2画素に設定されている。
 実測時において、同図(c)のように、比較領域に対してドットパターンが半画素だけ左(X軸負方向)にずれると、同図(f)に示すように、上から2、4、6、8行目においては、それぞれ、一つの画素のみ画素値がHで、残りの画素は、全て画素値がH/2となる。この場合、図6(f)の場合に比べて、2、4、6、8行目の画素パターンに区切りが生じるものの、図7(e)に比べると、2、4、6、8行目の画素パターンの区切りの数は、図7(e)の場合に比べて、かなり少ない。このため、図7(e)と図7(f)の画素値パターンを比較しても、両者の間でマッチングは取られにくい。
 また、実測時において、同図(a)のように、比較領域に対してドットパターンが半画素だけ左(X軸負方向)と上(Y軸正方向)にずれると、同図(d)に示すように、各行においては、それぞれ、一つの画素のみ画素値がH/2で、残りの画素は、全て画素値がH/4となる。この場合、図6(d)の場合に比べて、各行の画素パターンに区切りが生じるものの、図7(e)に比べると、2、4、6、8行目の画素パターンの区切りの数がかなり少ない。また、図7(d)、(e)の上から1、3、5、7行目を比較すると、両者の画素値パターンは相違している。このため、図7(d)と図7(e)の画素値パターンを比較しても、両者の間でマッチングは取られにくい。
 図8は、本実施の形態におけるドットパターンの設定例を示す図である。この場合も、ドットパターンは、DOE114の回折パターンを調節することにより、同図のように設定され得る。
 同図(a)~(f)は、それぞれ、図6(a)~(f)に対応している。この設定例でも、ドットのサイズは、画素の領域よりも小さくなっている。また、この設定例では、X軸方向の各ドットのピッチは、2.5画素に設定され、Y軸方向における各ドットのピッチは、2画素に設定されている。
 実測時において、同図(c)のように、比較領域に対してドットパターンが半画素だけ左(X軸負方向)にずれると、同図(f)に示すように、上から2、4、6、8行目においては、画素値パターンに3つの区切りが生じる。これに対し、同図(e)における2、4、6、8行目の画素値パターンにも、3つの区切りが存在し、区切りの数は、同図(e)、(f)との間で互いに同じである。また、同図(e)、(f)を比べると、区切りの位置は、互いに一致するか、1画素程度のずれしかない。したがって、同図(f)の画素値パターンは、同図(e)の画素値パターンに類似するようになる。このため、同図(e)と同図(f)の画素値パターンを比較すると、両者の間でマッチングが取られ易くなる。
 また、実測時において、同図(a)のように、比較領域に対してドットパターンが半画素だけ左(X軸負方向)と上(Y軸正方向)にずれると、同図(d)に示すように、上から2、4、6、8行目においては、画素値パターンに3つの区切りが生じる。これに対し、同図(e)における2、4、6、8行目の画素値パターンにも、3つの区切りが存在し、区切りの数は、同図(e)、(d)との間で互いに同じである。また、同図(e)、(d)の2、4、6、8行目を比較すると、区切りの位置は、互いに一致するか、1画素程度のずれしかない。したがって、同図(d)の画素値パターンは、同図(e)の画素値パターンに類似するようになる。
 また、同図(e)、(d)の1、3、5、7行目を比較すると、両者の相違は、図6(e)、(d)の1、3、5、7行目の画素値パターンの相違や、図7(e)、(d)の1、3、5、7行目の画素値パターンの相違に比べて、相違の程度が低い。よって、1、3、5、7行目における画素値パターンの相違は、図8(e)、(d)の画素値パターンのマッチング判定において、大きくは影響しないものと考えられる。
 よって、この設定例では、比較領域に対してドットパターンが半画素だけ左(X軸負方向)と上(Y軸正方向)にずれた場合にも、同図(e)と同図(d)の画素値パターンの間で、マッチングが取られ易くなる。
 図9は、本実施の形態におけるドットパターンの他の設定例を示す図である。同図(a)~(f)は、それぞれ、図6(a)~(f)に対応している。この設定例でも、ドットのサイズは、画素の領域よりも小さくなっている。また、この設定例では、X軸方向の各ドットのピッチは、2.5画素に設定され、Y軸方向における各ドットのピッチも、2.5画素に設定されている。
 実測時において、同図(c)のように、比較領域に対してドットパターンが半画素だけ左(X軸負方向)にずれると、同図(f)に示すように、上から1、2、4、6、7行目においては、画素値パターンに3つの区切りが生じる。これに対し、同図(e)における1、2、4、6、7行目の画素値パターンにも、3つの区切りが存在し、区切りの数は、同図(e)、(f)との間で互いに同じである。また、同図(e)、(f)を比べると、区切りの位置は、互いに一致するか、1画素程度のずれしかない。したがって、同図(f)の画素値パターンは、同図(e)の画素値パターンに類似するようになる。このため、同図(e)と同図(f)の画素値パターンを比較すると、両者の間でマッチングが取られ易くなる。
 また、実測時において、同図(a)のように、比較領域に対してドットパターンが半画素だけ左(X軸負方向)と上(Y軸正方向)にずれると、同図(d)に示すように、上から1、4、6行目においては、画素値パターンに3つの区切りが生じる。これに対し、同図(e)における1、4、6行目の画素値パターンにも、3つの区切りが存在し、区切りの数は、同図(e)、(d)との間で互いに同じである。また、同図(e)、(d)の1、4、6行目を比較すると、区切りの位置は、互いに一致するか、1画素程度のずれしかない。また、同図(e)、(d)の5行目と8行目の画素値パターンは一致している。したがって、同図(d)の画素値パターンは、同図(e)の画素値パターンに類似するようになる。
 また、同図(e)、(d)の2、7行目を比較すると、両者の相違は、図6(e)、(d)の1、3、5、7行目の画素値パターンの相違や、図7(e)、(d)の1、3、5、7行目の画素値パターンの相違に比べて、相違の程度が低い。よって、2、7行目における画素値パターンの相違は、図9(e)、(d)の画素値パターンのマッチング判定において、大きくは影響しないものと考えられる。
 よって、この設定例では、比較領域に対してドットパターンが半画素だけ左(X軸負方向)と上(Y軸正方向)にずれた場合にも、図9(e)と同図(d)の画素値パターンの間で、マッチングが取られ易くなる。
 なお、図9の設定例では、同図(e)、(d)、(f)を参照して分かるとおり、全ての画素の画素値がゼロの行が3つまたは4つ存在し、これらの行によって、画素値パターンが、Y軸方向にも区切られている。ここで、Y軸方向の区切りの数は、同図(e)、(d)、(f)において同じ(3つ)である。また、Y軸方向の区切りの位置は、同図(e)、(f)において同じであり、同図(e)、(d)において同じか、1画素のズレしかない。このように画素値パターンがY軸方向にも区切られることにより、画素値パターンのマッチングがさらに取られ易くなり、セグメント領域の探索精度を高めることができる。
 図10は、本実施の形態におけるドットパターンの他の設定例を示す図である。同図(a)~(f)は、それぞれ、図6(a)~(f)に対応している。この設定例でも、ドットのサイズは、画素の領域よりも小さくなっている。また、この設定例では、X軸方向の各ドットのピッチは、3画素に設定され、Y軸方向における各ドットのピッチは、2画素に設定されている。
 実測時において、同図(c)のように、比較領域に対してドットパターンが半画素だけ左(X軸負方向)にずれていると、同図(f)に示すように、上から2、4、6、8行目においては、画素値パターンに3つの区切りが生じる。これに対し、同図(e)における2、4、6、8行目の画素値パターンにも、3つの区切りが存在し、区切りの数は、同図(e)、(f)との間で互いに同じである。また、同図(f)の2、4、6、8行目の区切りの位置は、全て、同図(e)の2、4、6、8行目の区切りの位置に含まれる。したがって、同図(f)の画素値パターンは、同図(e)の画素値パターンに極めて類似するようになる。このため、同図(e)と同図(f)の画素値パターンを比較すると、両者の間でマッチングが取られ易くなる。
 実測時において、同図(a)のように、比較領域に対してドットパターンが半画素だけ左(X軸負方向)と上(Y軸正方向)にずれていると、同図(d)に示すように、上から2、4、6、8行目においては、画素値パターンに3つの区切りが生じる。これに対し、同図(e)における2、4、6、8行目の画素値パターンにも、3つの区切りが存在し、区切りの数は、同図(e)、(d)との間で互いに同じである。また、同図(d)の2、4、6、8行目の区切りの位置は、全て、同図(e)の2、4、6、8行目の区切りの位置に含まれる。したがって、同図(d)の画素値パターンは、同図(e)の画素値パターンに極めて類似するようになる。
 また、同図(e)、(d)の1、3、5、7行目を比較すると、両者の相違は、図6(e)、(d)の1、3、5、7行目の画素値パターンの相違や、図7(e)、(d)の1、3、5、7行目の画素値パターンの相違に比べて、相違の程度が低い。よって、1、3、5、7行目における画素値パターンの相違は、図10(e)、(d)の画素値パターンのマッチング判定において、大きくは影響しないものと考えられる。
 よって、この設定例では、比較領域に対してドットパターンが半画素だけ左(X軸負方向)と上(Y軸正方向)にずれた場合にも、同図(e)と同図(d)の画素値パターンの間で、マッチングが取られ易くなる。
 なお、図10(e)、(f)の画素値パターンにおいて、画素値が互いに一致しない画素の数は、2行目に5個、4行目に6個、6行目に4個、8行目に5個の合計20個である。これに対し、図8(e)、(f)の画素値パターンにおいて、画素値が互いに一致しない画素の数は、2行目に6個、4行目に6個、6行目に6個、8行目に6個の合計24個である。このように、図10(e)、(f)の画素値パターンでは、図8(e)、(f)の画素値パターンよりも、画素値が一致しない画素の数が4個少ない。また、画素値が一致しない2つの画素の画素値の差は、何れもH/2である。よって、図10のドットパターンは、図8のドットパターンよりも、マッチングの検出精度が高いと言える。このことから、ドット間のピッチは、2.5画素よりも3画素の方が、さらに好ましいと言える。
 図11は、本実施の形態におけるドットパターンの更に他の設定例を示す図である。同図(a)~(f)は、それぞれ、図6(a)~(f)に対応している。この設定例でも、ドットのサイズは、画素の領域よりも小さくなっている。また、この設定例では、X軸方向の各ドットのピッチは、3.5画素に設定され、Y軸方向における各ドットのピッチは、2画素に設定されている。
 図11(e)、(f)の画素値パターンのマッチング度合いと、図10(e)、(f)の画素値パターンのマッチング度合いとを比較すると、両者のマッチング度合いは、略同じである。すなわち、図11(e)、(f)の画素値パターンにおいて、画素値が互いに一致しない画素の数は、2行目に5個、4行目に6個、6行目に4個、8行目に5個の合計20個である。これに対し、図10(e)、(f)の画素値パターンにおいて、画素値が互いに一致しない画素の数は、2行目に5個、4行目に6個、6行目に4個、8行目に5個の合計20個である。このように、図11(e)、(f)の画素値パターンと、図10(e)、(f)の画素値パターンとでは、画素値が一致しない画素の数が互いに同じであり、また、画素値が一致しない2つの画素の画素値の差は、何れもH/2である。よって、図11のドットパターンと図10のドットパターンとでは、マッチングの検出精度が略同じであると言える。
 このことから、X軸方向のドット間のピッチを3.5画素以上にしても、ドットパターンの探索精度は大きく変わらないものと思われる。むしろ、ドット間のピッチが広がると、一つのセグメント領域に含まれるドットの数が減少するため、類似度を示す値Rsadの(上記式(1)参照)に差が出にくくなり、ドットパターンの探索精度が低下する。したがって、X軸方向のドット間のピッチは、2.5~3.5画素程度に設定するのが望ましく、より好ましくは、3.0画素程度に設定するのが望ましい。1つのセグメント領域になるべく多くのドットを含めるには、X軸方向のドット間のピッチを2.5画素に設定すると良い。
 以上、本実施の形態によれば、ドットパターンの検出精度を向上させることができる情報取得装置およびこれを搭載する物体検出装置を実現することができる。また、この効果を、ドット間のピッチを調整するといった極めて簡単な手法で実現することができる。
 以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、また、本発明の実施の形態も上記の他に種々の変更が可能である。
 たとえば、上記実施の形態では、図4(b)に示すように各セグメント領域が互いに重なることなく設定されたが、各セグメント領域が、その上下のセグメント領域と一部重なるように設定されても良い。また、各セグメント領域が、その左右のセグメント領域と一部重なってマトリックス状に並ぶように設定されても良い。ただし、このような場合も、各セグメント領域内のドットは、ピッチが2.5画素以上となるように調整される。
 また、セグメント領域の形状は、上記実施の形態のように長方形である他、正方形等、他の形状であっても良い。
 さらに、上記実施の形態では、受光素子として、CMOSイメージセンサ124を用いたが、これに替えて、CCDイメージセンサを用いることもできる。
 本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
     1 情報取得装置
    11 投射光学系
   111 レーザ光源(光源)
   112 コリメータレンズ(投射光学系)
   113 アパーチャ(投射光学系)
   114 DOE(投射光学系)
   124 CMOSイメージセンサ(受光素子)

Claims (6)

  1.  光を用いて目標領域の情報を取得する情報取得装置において、
     所定波長帯域の光を出射する光源と、
     前記光源から出射された光を、所定のドットパターンでもって、前記目標領域に向けて投射する投射光学系と、
     前記目標領域から反射された反射光を受光して信号を出力する受光素子と、を備え、
     前記投射光学系は、前記受光素子によって受光される前記光の基準パターンのドットが、少なくとも前記光源と前記受光素子の並び方向において、2.5画素以上のピッチを持つように、前記光を前記目標領域に向けて投射する、
    ことを特徴とする情報取得装置。
  2.  請求項1に記載の情報取得装置において、
     前記投射光学系は、前記受光素子によって受光される前記光の基準パターンのドットが、前記光源と前記受光素子の並び方向と当該並び方向に垂直な方向において、2.5画素以上のピッチを持つように、前記光を前記目標領域に向けて投射する、
    ことを特徴とする情報取得装置。
  3.  請求項1または2に記載の情報取得装置において、
     前記並び方向における前記ピッチが、2.5~3.5画素に設定されている、
    ことを特徴とする情報取得装置。
  4.  請求項3に記載の情報取得装置において、
     前記並び方向における前記ピッチが、2.5画素に設定されている、
    ことを特徴とする情報取得装置。
  5.  請求項3に記載の情報取得装置において、
     前記並び方向における前記ピッチが、3.0画素に設定されている、
    ことを特徴とする情報取得装置。
  6.  請求項1ないし5の何れか一項に記載の情報取得装置を有する物体検出装置。
PCT/JP2011/062683 2010-09-28 2011-06-02 物体検出装置および情報取得装置 WO2012042976A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012536251A JP5138120B2 (ja) 2010-09-28 2011-06-02 物体検出装置および情報取得装置
CN2011800077794A CN102741648A (zh) 2010-09-28 2011-06-02 物体检测装置以及信息取得装置
US13/599,877 US8351042B1 (en) 2010-09-28 2012-08-30 Object detecting device and information acquiring device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-217975 2010-09-28
JP2010217975 2010-09-28
JP2011-116703 2011-05-25
JP2011116703 2011-05-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/599,877 Continuation US8351042B1 (en) 2010-09-28 2012-08-30 Object detecting device and information acquiring device

Publications (1)

Publication Number Publication Date
WO2012042976A1 true WO2012042976A1 (ja) 2012-04-05

Family

ID=45892457

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/062683 WO2012042976A1 (ja) 2010-09-28 2011-06-02 物体検出装置および情報取得装置

Country Status (4)

Country Link
US (1) US8351042B1 (ja)
JP (1) JP5138120B2 (ja)
CN (1) CN102741648A (ja)
WO (1) WO2012042976A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH085348A (ja) * 1994-06-20 1996-01-12 Matsushita Electric Ind Co Ltd 3次元形状検査方法
JPH0829129A (ja) * 1994-07-08 1996-02-02 Seiken:Kk 長さ測定装置
JP2005315728A (ja) * 2004-04-28 2005-11-10 Hiroshima Univ 表面形状計測装置、表面形状計測方法
JP2010091492A (ja) * 2008-10-10 2010-04-22 Fujifilm Corp 3次元形状計測用撮影装置および方法並びにプログラム
JP2010101683A (ja) * 2008-10-22 2010-05-06 Nissan Motor Co Ltd 距離計測装置および距離計測方法
JP2011007576A (ja) * 2009-06-24 2011-01-13 Canon Inc 測定システム及び測定処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453006B1 (en) * 2000-03-16 2002-09-17 Therma-Wave, Inc. Calibration and alignment of X-ray reflectometric systems
EP1962081B1 (de) * 2007-02-21 2016-09-14 Agfa HealthCare N.V. System zur optischen Kohärenztomographie
US8294762B2 (en) * 2008-10-10 2012-10-23 Fujifilm Corporation Three-dimensional shape measurement photographing apparatus, method, and program
CN101813462A (zh) * 2010-04-16 2010-08-25 天津理工大学 单处理器控制的三维形貌光学测量系统及测量方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH085348A (ja) * 1994-06-20 1996-01-12 Matsushita Electric Ind Co Ltd 3次元形状検査方法
JPH0829129A (ja) * 1994-07-08 1996-02-02 Seiken:Kk 長さ測定装置
JP2005315728A (ja) * 2004-04-28 2005-11-10 Hiroshima Univ 表面形状計測装置、表面形状計測方法
JP2010091492A (ja) * 2008-10-10 2010-04-22 Fujifilm Corp 3次元形状計測用撮影装置および方法並びにプログラム
JP2010101683A (ja) * 2008-10-22 2010-05-06 Nissan Motor Co Ltd 距離計測装置および距離計測方法
JP2011007576A (ja) * 2009-06-24 2011-01-13 Canon Inc 測定システム及び測定処理方法

Also Published As

Publication number Publication date
CN102741648A (zh) 2012-10-17
US8351042B1 (en) 2013-01-08
US20120327419A1 (en) 2012-12-27
JP5138120B2 (ja) 2013-02-06
JPWO2012042976A1 (ja) 2014-02-06

Similar Documents

Publication Publication Date Title
WO2012137674A1 (ja) 情報取得装置、投射装置および物体検出装置
WO2012147496A1 (ja) 物体検出装置および情報取得装置
JP5138116B2 (ja) 情報取得装置および物体検出装置
JP5143312B2 (ja) 情報取得装置、投射装置および物体検出装置
JP5214062B1 (ja) 情報取得装置および物体検出装置
JP2012237604A (ja) 情報取得装置、投射装置および物体検出装置
WO2013046927A1 (ja) 情報取得装置および物体検出装置
JP5138115B2 (ja) 情報取得装置及びその情報取得装置を有する物体検出装置
JP2014044113A (ja) 情報取得装置および物体検出装置
JP5143314B2 (ja) 情報取得装置および物体検出装置
WO2012144340A1 (ja) 情報取得装置および物体検出装置
JP2014052307A (ja) 情報取得装置および物体検出装置
WO2013015145A1 (ja) 情報取得装置および物体検出装置
JP5138120B2 (ja) 物体検出装置および情報取得装置
WO2013015146A1 (ja) 物体検出装置および情報取得装置
JP2014085257A (ja) 情報取得装置および物体検出装置
WO2013031447A1 (ja) 物体検出装置および情報取得装置
WO2013046928A1 (ja) 情報取得装置および物体検出装置
JP2014021017A (ja) 情報取得装置および物体検出装置
JP2014035304A (ja) 情報取得装置および物体検出装置
JP2014085282A (ja) 情報取得装置および物体検出装置
WO2013031448A1 (ja) 物体検出装置および情報取得装置
JP2014098585A (ja) 情報取得装置および物体検出装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180007779.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11828537

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012536251

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11828537

Country of ref document: EP

Kind code of ref document: A1