WO2012117614A1 - 情報取得装置及びその情報取得装置を有する物体検出装置 - Google Patents

情報取得装置及びその情報取得装置を有する物体検出装置 Download PDF

Info

Publication number
WO2012117614A1
WO2012117614A1 PCT/JP2011/075384 JP2011075384W WO2012117614A1 WO 2012117614 A1 WO2012117614 A1 WO 2012117614A1 JP 2011075384 W JP2011075384 W JP 2011075384W WO 2012117614 A1 WO2012117614 A1 WO 2012117614A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
segment
pattern
information acquisition
region
Prior art date
Application number
PCT/JP2011/075384
Other languages
English (en)
French (fr)
Inventor
武藤　裕之
Original Assignee
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三洋電機株式会社 filed Critical 三洋電機株式会社
Priority to JP2012525801A priority Critical patent/JP5138115B2/ja
Priority to CN2011800078301A priority patent/CN102782447A/zh
Priority to US13/599,904 priority patent/US20120326007A1/en
Publication of WO2012117614A1 publication Critical patent/WO2012117614A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Definitions

  • the present invention relates to an object detection apparatus that detects an object in a target area based on the state of reflected light when light is projected onto the target area, and an information acquisition apparatus suitable for use in the object detection apparatus.
  • An object detection device using light has been developed in various fields.
  • An object detection apparatus using a so-called distance image sensor can detect not only a planar image on a two-dimensional plane but also the shape and movement of the detection target object in the depth direction.
  • light in a predetermined wavelength band is projected from a laser light source or LED (Light-Emitting-Diode) onto a target area, and the reflected light is received by a light-receiving element such as a CMOS image sensor.
  • CMOS image sensor Light-Emitting-Diode
  • a distance image sensor of a type that irradiates a target area with laser light having a predetermined dot pattern the dot pattern reflected from the target area is received by the image sensor, and the triangle is based on the light receiving position of the dot pattern on the image sensor.
  • the distance to each part of the detection target object is detected using a surveying method (for example, Non-Patent Document 1).
  • laser light having a dot pattern is emitted in a state where a reflection plane is arranged at a predetermined distance from the laser light irradiation unit, and the laser light irradiated on the image sensor at that time is emitted.
  • a dot pattern is held as a template.
  • the dot pattern of the laser beam irradiated on the image sensor at the time of actual measurement is compared with the dot pattern held on the template, and the segment area of the dot pattern on the template has moved to any position on the dot pattern at the time of actual measurement. Is detected. Based on the amount of movement, the distance to each part of the target area corresponding to each segment area is calculated.
  • a diffractive optical element is used to generate a dot pattern laser beam.
  • the optical characteristics of the diffractive optical element depend on the wavelength of the laser light.
  • the wavelength of the laser beam is likely to change according to the temperature change of the light source. For this reason, when the wavelength of the laser beam changes due to a temperature change or the like, the dot pattern of the laser beam changes accordingly.
  • the dot pattern at the time of actual measurement and the dot pattern held in the template cannot be properly verified. As a result, the accuracy of detecting the distance to the detection target object is lowered.
  • the temperature of the laser light source can be adjusted so that the wavelength of the laser light does not change.
  • a Peltier element or the like is required for temperature adjustment, which causes an increase in cost.
  • the present invention has been made to solve such a problem, and even when the dot pattern of the laser beam generated by the diffractive optical element changes due to the change in the wavelength of the laser beam, the distance to the object to be detected. It is an object of the present invention to provide an information acquisition device capable of properly detecting the image and an object detection device equipped with the information acquisition device.
  • An information acquisition apparatus includes a light source that emits light in a predetermined wavelength band, a diffractive optical element that irradiates the target region with a predetermined dot pattern, and reflected light reflected from the target region.
  • a light receiving element that receives light and outputs a signal
  • a storage unit that holds a reference template in which a plurality of segment areas are set in a reference pattern of the light received by the light receiving element, and the light received by the light receiving element
  • An information acquisition unit that searches for a corresponding area corresponding to the segment area from an actually measured pattern, acquires three-dimensional information of an object existing in the target area based on the position of the searched corresponding area, and sets the reference pattern
  • a spread detection unit that detects a change in the spread of the light receiving region of the actual measurement pattern with respect to the region.
  • the information acquisition unit performs a search of the corresponding region with respect to the actual measurement pattern along a search line parallel to an arrangement direction of the light source and the light receiving element, and the extent of the extent detected by the extent detection unit.
  • the search line for each segment area is displaced from a reference position when there is no change in a direction perpendicular to the arrangement direction.
  • the second aspect of the present invention relates to an object detection apparatus.
  • the object detection apparatus according to this aspect includes the information acquisition apparatus according to the first aspect.
  • the information acquisition device capable of appropriately detecting the distance to the detection target object and the information acquisition device Can be provided.
  • the present invention is applied to an information acquisition apparatus of a type that irradiates a target area with laser light having a predetermined dot pattern.
  • FIG. 1 shows a schematic configuration of the object detection apparatus according to the present embodiment.
  • the object detection device includes an information acquisition device 1 and an information processing device 2.
  • the television 3 is controlled by a signal from the information processing device 2.
  • the information acquisition device 1 projects infrared light over the entire target area and receives the reflected light with a CMOS image sensor, whereby the distance between each part of the object in the target area (hereinafter referred to as “three-dimensional distance information”). To get.
  • the acquired three-dimensional distance information is sent to the information processing apparatus 2 via the cable 4.
  • the information processing apparatus 2 is, for example, a controller for TV control, a game machine, a personal computer, or the like.
  • the information processing device 2 detects an object in the target area based on the three-dimensional distance information received from the information acquisition device 1, and controls the television 3 based on the detection result.
  • the information processing apparatus 2 detects a person based on the received three-dimensional distance information and detects the movement of the person from the change in the three-dimensional distance information.
  • the information processing device 2 is a television control controller
  • the information processing device 2 detects the person's gesture from the received three-dimensional distance information and outputs a control signal to the television 3 in accordance with the gesture.
  • the application program to be installed is installed.
  • the user can cause the television 3 to execute a predetermined function such as channel switching or volume up / down by making a predetermined gesture while watching the television 3.
  • the information processing device 2 when the information processing device 2 is a game machine, the information processing device 2 detects the person's movement from the received three-dimensional distance information, and displays a character on the television screen according to the detected movement.
  • An application program that operates and changes the game battle situation is installed. In this case, the user can experience a sense of realism in which he / she plays a game as a character on the television screen by making a predetermined movement while watching the television 3.
  • FIG. 2 is a diagram showing the configuration of the information acquisition device 1 and the information processing device 2.
  • the information acquisition apparatus 1 includes a projection optical system 11 and a light receiving optical system 12 as optical systems.
  • the projection optical system 11 and the light receiving optical system 12 are arranged in the information acquisition device 1 so as to be aligned in the X-axis direction.
  • the projection optical system 11 includes a laser light source 111, a collimator lens 112, an aperture 113, a diffractive optical element (DOE: Diffractive Optical Element) 114, and a temperature sensor 115.
  • the light receiving optical system 12 includes an aperture 121, an imaging lens 122, a filter 123, and a CMOS image sensor 124.
  • the information acquisition device 1 includes a CPU (Central Processing Unit) 21, a laser driving circuit 22, an imaging signal processing circuit 23, an input / output circuit 24, and a memory 25 as a circuit unit.
  • CPU Central Processing Unit
  • the laser light source 111 outputs laser light in a narrow wavelength band with a wavelength of about 830 nm.
  • the collimator lens 112 converts the laser light emitted from the laser light source 111 into parallel light.
  • the aperture 113 adjusts the beam cross section of the laser light to a predetermined shape.
  • the DOE 114 has a diffraction pattern on the incident surface. Due to the diffraction effect of this diffraction pattern, the laser light that has entered the DOE 114 from the aperture 113 is converted into a laser light having a dot pattern and irradiated onto the target area.
  • the diffraction pattern has, for example, a structure in which a step type diffraction hologram is formed in a predetermined pattern. The diffraction hologram is adjusted in pattern and pitch so that the laser light converted into parallel light by the collimator lens 112 is converted into laser light having a dot pattern.
  • the DOE 114 irradiates the target region with the laser beam incident from the collimator lens 112 as a laser beam having a dot pattern that spreads radially.
  • the DOE 114 includes one optical element and includes only one surface having a diffraction pattern.
  • the temperature sensor 115 detects the temperature around the laser light source 111.
  • the laser light reflected from the target area is incident on the imaging lens 122 via the aperture 121.
  • the aperture 121 stops the light from the outside so as to match the F number of the imaging lens 122.
  • the imaging lens 122 condenses the light incident through the aperture 121 on the CMOS image sensor 124.
  • the filter 123 is a band-pass filter that transmits light in a wavelength band including the emission wavelength (about 830 nm) of the laser light source 111 and cuts the visible light wavelength band.
  • the CMOS image sensor 124 receives the light collected by the imaging lens 122 and outputs a signal (charge) corresponding to the amount of received light to the imaging signal processing circuit 23 for each pixel.
  • the output speed of the signal is increased so that the signal (charge) of the pixel can be output to the imaging signal processing circuit 23 with high response from light reception in each pixel.
  • the CPU 21 controls each unit according to a control program stored in the memory 25.
  • the CPU 21 is provided with the functions of a laser control unit 21a for controlling the laser light source 111, an update unit 21b described later, and a three-dimensional distance calculation unit 21c for generating three-dimensional distance information.
  • the laser drive circuit 22 drives the laser light source 111 according to a control signal from the CPU 21.
  • the imaging signal processing circuit 23 controls the CMOS image sensor 124 and sequentially takes in the signal (charge) of each pixel generated by the CMOS image sensor 124 for each line. Then, the captured signals are sequentially output to the CPU 21. Based on the signal (imaging signal) supplied from the imaging signal processing circuit 23, the CPU 21 calculates the distance from the information acquisition device 1 to each part of the detection target by processing by the three-dimensional distance calculation unit 21c.
  • the input / output circuit 24 controls data communication with the information processing apparatus 2.
  • the information processing apparatus 2 includes a CPU 31, an input / output circuit 32, and a memory 33.
  • the information processing apparatus 2 has a configuration for performing communication with the television 3 and for reading information stored in an external memory such as a CD-ROM and installing it in the memory 33.
  • an external memory such as a CD-ROM
  • the configuration of these peripheral circuits is not shown for the sake of convenience.
  • the CPU 31 controls each unit according to a control program (application program) stored in the memory 33.
  • a control program application program
  • the CPU 31 is provided with the function of the object detection unit 31a for detecting an object in the image.
  • a control program is read from a CD-ROM by a drive device (not shown) and installed in the memory 33, for example.
  • the object detection unit 31a detects a person in the image and its movement from the three-dimensional distance information supplied from the information acquisition device 1. Then, a process for operating the character on the television screen according to the detected movement is executed by the control program.
  • the object detection unit 31 a detects a person in the image and its movement (gesture) from the three-dimensional distance information supplied from the information acquisition device 1. To do. Then, processing for controlling functions (channel switching, volume adjustment, etc.) of the television 3 is executed by the control program in accordance with the detected movement (gesture).
  • the input / output circuit 32 controls data communication with the information acquisition device 1.
  • FIG. 3A is a diagram schematically showing the irradiation state of the laser light on the target region
  • FIG. 3B is a diagram schematically showing the light receiving state of the laser light in the CMOS image sensor 124.
  • FIG. 6B shows a light receiving state when a flat surface (screen) exists in the target area.
  • laser light having a dot pattern (hereinafter, the whole laser light having this pattern is referred to as “DP light”) is irradiated onto the target area.
  • DP light laser light having a dot pattern
  • the light flux region of DP light is indicated by a solid line frame.
  • dot regions (hereinafter simply referred to as “dots”) in which the intensity of the laser light is increased by the diffraction action by the DOE 114 are scattered according to the dot pattern by the diffraction action by the DOE 114.
  • the light beam of DP light is divided into a plurality of segment regions arranged in a matrix.
  • dots are scattered in a unique pattern.
  • the dot dot pattern in one segment area is different from the dot dot pattern in all other segment areas.
  • each segment area can be distinguished from all other segment areas with a dot dot pattern.
  • the segment areas of DP light reflected thereby are distributed in a matrix on the CMOS image sensor 124 as shown in FIG.
  • the light in the segment area S0 on the target area shown in FIG. 5A enters the segment area Sp shown in FIG.
  • the light flux region of DP light is indicated by a solid frame, and for convenience, the light beam of DP light is divided into a plurality of segment regions arranged in a matrix.
  • the three-dimensional distance calculation unit 21c detects the position of each segment area on the CMOS image sensor 124, and corresponds to each segment area of the detection target object from the detected position of each segment area based on the triangulation method. The distance to the position to be detected is detected. Details of such a detection technique are described in, for example, Non-Patent Document 1 (The 19th Annual Conference of the Robotics Society of Japan (September 18-20, 2001), Proceedings, P1279-1280).
  • FIG. 4 is a diagram schematically showing a method of generating a reference template used for the distance detection.
  • a flat reflection plane RS perpendicular to the Z-axis direction is arranged at a predetermined distance Ls from the projection optical system 11.
  • DP light is emitted from the projection optical system 11 for a predetermined time Te.
  • the emitted DP light is reflected by the reflection plane RS and enters the CMOS image sensor 124 of the light receiving optical system 12.
  • an electrical signal for each pixel is output from the CMOS image sensor 124.
  • the output electric signal value (pixel value) for each pixel is developed on the memory 25 of FIG.
  • description will be made based on the irradiation state of DP light irradiated on the CMOS image sensor 124 instead of the pixel values developed in the memory 25.
  • a reference pattern area that defines the DP light irradiation area on the CMOS image sensor 124 is set as shown in FIG. 4B. Further, the reference pattern area is divided vertically and horizontally to set a segment area. As described above, each segment area is dotted with dots in a unique pattern. Therefore, the pixel value pattern of the segment area is different for each segment area. Each segment area has the same size as all other segment areas.
  • the reference template is configured by associating each segment area set on the CMOS image sensor 124 with the pixel value of each pixel included in the segment area.
  • the reference template includes information on the position of the reference pattern area on the CMOS image sensor 124, pixel values of all pixels included in the reference pattern area, and information for dividing the reference pattern area into segment areas. Contains.
  • the pixel values of all the pixels included in the reference pattern area correspond to the DP light dot pattern included in the reference pattern area.
  • the mapping area of the pixel values of all the pixels included in the reference pattern area into segment areas the pixel values of the pixels included in each segment area are acquired.
  • the reference template may further hold pixel values of pixels included in each segment area for each segment area.
  • the reference template configured in this way is held in the memory 25 of FIG. 2 in an unerasable state.
  • the reference template held in the memory 25 is referred to when calculating the distance from the projection optical system 11 to each part of the detection target object.
  • DP light corresponding to a predetermined segment area Sn on the reference pattern is reflected by the object, and the segment area Sn. It is incident on a different region Sn ′. Since the projection optical system 11 and the light receiving optical system 12 are adjacent to each other in the X-axis direction, the displacement direction of the region Sn ′ with respect to the segment region Sn is parallel to the X-axis. In the case shown in the figure, since the object is located at a position closer than the distance Ls, the region Sn 'is displaced in the X-axis positive direction with respect to the segment region Sn. If the object is at a position farther than the distance Ls, the region Sn ′ is displaced in the negative X-axis direction with respect to the segment region Sn.
  • the distance Lr from the projection optical system 11 to the portion of the object irradiated with DP light (DPn) is triangulated using the distance Ls. Calculated based on Similarly, the distance from the projection optical system 11 is calculated for the part of the object corresponding to another segment area.
  • FIG. 5 is a diagram for explaining such a detection technique.
  • FIG. 4A is a diagram showing a setting state of the reference template TP (reference pattern region P0) on the CMOS image sensor 124
  • FIG. 4B is a diagram showing a segment region search method at the time of actual measurement.
  • (C) is a figure which shows the collation method with the dot pattern of measured DP light, and the dot pattern contained in the segment area
  • the segment area S1 is X in the range R1 to R2 on the CMOS image sensor 124.
  • Each pixel is sent in the axial direction, and the matching degree between the dot pattern of the segment area S1 and the actually measured dot pattern of the DP light is obtained at each feed position.
  • the segment area S1 is sent in the X-axis direction only on the line L1 passing through the uppermost segment area group of the reference template (reference pattern area P0).
  • each segment area is displaced only in the X-axis direction from the position on the reference pattern area P0 at the time of actual measurement. That is, the segment area S1 is considered to be on the uppermost line L1.
  • the processing load for the search is reduced.
  • the segment area may protrude from the range of the reference pattern area P0 of the reference template TP in the X-axis direction. Therefore, the ranges R1 and R2 are set wider than the width of the reference pattern region P0 in the X-axis direction.
  • a region (comparison region) having the same size as the segment region S1 is set on the line L1, and the similarity between the comparison region and the segment region S1 is obtained. That is, the difference between the pixel value of each pixel in the segment area S1 and the pixel value of the corresponding pixel in the comparison area is obtained. A value Rsad obtained by adding the obtained difference to all the pixels in the comparison region is acquired as a value indicating the similarity.
  • the comparison area is sequentially set while being shifted by one pixel on the line L1. Then, the value Rsad is obtained for all the comparison regions on the line L1. A value smaller than the threshold value is extracted from the obtained value Rsad. If there is no value Rsad smaller than the threshold value, the search for the segment area S1 is regarded as an error. Then, it is determined that the comparison area corresponding to the extracted Rsad having the smallest value is the movement area of the segment area S1. The same search as described above is performed for the segment areas other than the segment area S1 on the line L1. Similarly, the segment areas on the other lines are searched by setting the comparison area on the lines as described above.
  • the dot pattern of the DP light can change depending on the shape and position of the DOE 114 and the wavelength of the laser light emitted from the laser light source 111.
  • these factors are likely to change with temperature and may change over time.
  • the DOE 114 is formed of a resin material, the characteristics of the DOE 114 are likely to change depending on the temperature.
  • the dot pattern changes accordingly.
  • the dot pattern at the time of actual measurement and the dot pattern held in the reference template are not properly collated. As a result, there is a possibility that the accuracy of detecting the distance to the detection target object is lowered.
  • the diffraction angle ⁇ of the diffraction pattern is obtained by the following equation.
  • ⁇ is the wavelength of the laser beam and p is the pitch of the diffraction pattern. From this equation, the diffraction angle ⁇ increases as the wavelength ⁇ of the laser beam increases, and decreases as the pitch p of the diffraction pattern increases.
  • the DOE 114 used in the present embodiment is composed of one optical element and includes only one surface having a diffraction pattern.
  • the inventor of the present application measured how the dot pattern changed according to the change in the wavelength of the laser light.
  • 6A and 6B are diagrams showing measurement results when the wavelength of the laser light is increased by 2 nm and 4 nm from the reference wavelength, respectively.
  • a flat reflection plane was irradiated with a dot pattern held as a reference template.
  • the matching between the dot pattern irradiated on the CMOS image sensor 124 and the reference dot pattern was measured.
  • the matching is performed by calculating the value Rsad of the above formula 1 for the segment area and the comparison area while moving the comparison area to the right by one pixel at a time. This was done depending on whether a value smaller than the threshold was extracted. When this extraction could not be performed, the segment area was regarded as an error.
  • the moving range of the comparison region is a range of 60 pixels in the left-right direction centering on the position where the CMOS image sensor 124 is supposed to be irradiated when the dots of the corresponding segment region are reflected by the reflection plane. .
  • adjacent segment regions are segmented without overlapping each other, but in this measurement, for example, the next segment region on the right side of the segment region S1 in FIG. Is shifted to the right by one pixel, and the segment area S1 and the next segment area overlap each other.
  • Other segment areas also have areas overlapping with adjacent segment areas in the left-right direction.
  • segment areas adjacent in the vertical direction also have areas that overlap each other.
  • FIG. 6 (a) each show the matching result by the above measurement.
  • segment areas that cannot be matched are indicated by white dots.
  • the 6A is a measurement result when a region on the CMOS image sensor 124 to be a matching determination target (hereinafter referred to as “determination target region”) is a normal region.
  • the left and right screens of the center screen are measurement results when the determination target region is shifted by one pixel leftward and rightward from the normal region, respectively.
  • the two screens on the upper side of the center screen are measurement results when the determination target region is shifted by one pixel and two pixels upward from the normal region, respectively.
  • the two screens on the lower side of the central screen are measurement results when the determination target region is shifted by one pixel and two pixels downward from the normal region, respectively.
  • the dot pattern irradiated to the CMOS image sensor 124 does not change greatly. Specifically, it can be said that, in the entire reference pattern region, the amount of deviation of the vertical dot pattern due to wavelength variation is within a range where matching can be taken. Normally, matching can be taken if the amount of deviation in the vertical direction of the dot pattern is less than one pixel.
  • the dot pattern It is considered that the amount of deviation is within the range of one pixel. From this examination, it can be seen that when the wavelength of the laser light source 111 is 2 nm longer than the reference wavelength, the dot pattern irradiated to the CMOS image sensor 124 shifts upward as it goes upward from the center.
  • the dot pattern It is considered that the amount of deviation is within the range of one pixel. From this examination, it can be seen that when the wavelength of the laser light source 111 is 2 nm longer than the reference wavelength, the dot pattern irradiated to the CMOS image sensor 124 shifts downward as it goes downward from the center.
  • the inventors of the present application further photographed the behavior of the dot pattern irradiated onto the CMOS image sensor 124 while changing the wavelength of the laser light source 111. This imaging confirmed that the dot pattern irradiated on the CMOS image sensor 124 shifted from the center of the dot pattern region to the radiation due to the wavelength variation of the laser light source 111.
  • FIG. 7 is a diagram schematically showing how each segment region in the reference pattern region is displaced according to the wavelength based on the above measurement results.
  • FIGS. 4A to 4D only a part of the segment areas is shown for convenience.
  • FIG. 9A shows segment regions S1 to S8 in the case of wavelength ⁇ 1 (reference wavelength).
  • FIG. 4B shows segment regions S1 to S8 when the wavelength of the laser light is shifted to the longer wavelength side due to a temperature rise or the like and becomes wavelength ⁇ 2 ( ⁇ 1 ⁇ 2).
  • the segment areas S1 to S8 are radially shifted from the center of the reference pattern area to the outside as compared with the case of FIG.
  • the displacement amounts ⁇ Ds1 to Ds4 of the segment regions S1 to S4 close to the outer periphery of the reference pattern region are larger than the displacement amounts ⁇ Ds5 to ⁇ Ds8 of the segment regions S5 to S8 close to the center portion of the reference pattern region.
  • FIG. 4C shows segment regions S1 to S8 when the wavelength of the laser beam is further shifted to the longer wavelength side due to a further increase in temperature or the like and becomes wavelength ⁇ 3 ( ⁇ 1 ⁇ 2 ⁇ 3). ing.
  • the segment areas S1 to S8 are further shifted outside the reference pattern area as compared with the case of FIG. Therefore, the displacement amounts ⁇ Ds′1 to ⁇ Ds′8 of the segment areas S1 to S8 are larger than in the case of FIG.
  • the segment region shifts outward as the wavelength of the laser light shifts to the long wavelength side. Further, the closer to the outside of the reference pattern area, the larger the displacement amount of the segment area.
  • Each segment area is displaced approximately symmetrically (radially) with the center of the reference pattern area as the center.
  • the displacement amount of each segment area corresponds to the wavelength variation of the laser beam. Therefore, the position of each segment in the Y-axis direction can be calculated based on the wavelength of the laser beam. This characteristic appears in the same way if the layer on which the diffraction pattern is formed is a single DOE, and does not differ depending on the diffraction pattern of the DOE 114.
  • the amount of displacement in the Y-axis direction of the segment area is detected at the time of actual measurement, and the scanning line for searching the segment area is determined in the Y-axis direction according to the detected amount of displacement.
  • To offset Specifically, it is detected how much a predetermined segment area (reference segment area) of the standard template TP is displaced in the Y-axis direction, and the offset direction and amount are set according to the detection result.
  • FIG. 8 is a diagram showing an offset setting method.
  • the segment area S1 shown in FIG. 5B if the segment region S1 is displaced to the position of S1 ′ during actual measurement, the search line L1 of the uppermost segment region of the reference template TP is offset upward, and L1 'Is the search line. Further, the search line La of the segment area one level above the center line O is offset upward, and La ′ is set as the search line. Similarly, the search line Lb of the segment area one step below the center line O is offset downward to make Lb ′ the search line, and the search line Ln of the uppermost segment area is offset downward to make Ln ′ Is a search line.
  • the offset amount of the search line at each stage becomes larger as the distance from the center line.
  • the amount of offset of the search line at each stage is set so as to match the calculated amount of displacement by calculating the amount of displacement in the Y-axis direction of the segment area of each stage from the amount of displacement of the segment area S1.
  • the offset amounts of the search lines at the same distance from the center line in the vertical direction are equal to each other. Note that the same shift amount may be set for a plurality of stages adjacent vertically. However, also in this case, the offset amount is set to be larger as the distance from the center line increases.
  • FIG. 8C is a diagram showing an offset table Ot used for setting the offset of the search line.
  • the offset table Ot is stored in the memory 25 in advance.
  • the offset table Ot holds an offset pattern in association with the displacement amount ( ⁇ Di) in the Y-axis direction of the reference segment area.
  • the displacement amount ⁇ Di is for indicating whether the reference segment region is displaced from the position (reference position) defined by the reference template in the positive Y-axis direction (expansion direction) or the negative Y-axis direction (reduction direction).
  • the displacement amounts ⁇ D-1 to ⁇ D-n have negative signs, and the displacement amounts ⁇ D1 to ⁇ Dn have positive signs.
  • the offset pattern Pi holds the search line offset (offset amount and direction) applied to the segment area of each stage of the reference template TP at the corresponding displacement amount ⁇ Di.
  • FIG. 9 is a diagram showing processing at the time of template update.
  • the processing in FIG. 9 is performed by the updating unit 21b in FIG.
  • the updating unit 21b performs the process of FIG. 9 at predetermined time intervals during actual measurement.
  • the updating unit 21b determines that the difference between the temperature (previous temperature) acquired from the temperature sensor 115 during the previous update and the temperature (current temperature) detected by the current temperature sensor 115 is the threshold Ts. Is determined (S101). When the information acquisition apparatus 1 is activated, it is determined whether the difference between the reference temperature when the reference template TP is configured and the current temperature exceeds the threshold Ts.
  • the template is updated (S103). If the determination in S101 is NO, it is determined in the search for the segment area at the time of the latest measurement whether the ratio of the segment area in which the search is an error to the total segment area exceeds the threshold Es. If the determination in S102 is YES, the template is updated (S103), and if NO, the template update ends.
  • FIG. 9B is a flowchart showing the update process in S103 of FIG. 9A.
  • the process of FIG. 9B is performed with reference to the reference template TP previously stored in the memory 25 and the dot pattern information acquired at the time of actual measurement and developed in the memory 25.
  • the reference template TP includes information on the position of the reference pattern region P0, pixel values of all pixels included in the reference pattern region P0, and information for dividing the reference pattern region P0 into segment regions. Yes.
  • explanation is made based on a dot pattern.
  • the updating unit 21b first searches for a displacement position of a preset reference segment area from a dot pattern on the CMOS image sensor 124 of DP light at the time of actual measurement (S201).
  • the uppermost segment area of the standard pattern area P0 of the standard template TP is set as the reference segment areas Sr1 to Srn. It is searched at which position these reference segment areas Sr1 to Srn are in the search area MA shown in FIG.
  • the search area MA covers an area that largely surrounds only the uppermost portion of the light receiving area of the CMOS image sensor 124.
  • the search is performed by collating all of the search areas MA for each of the reference segment areas Sr1 to Srn. That is, after the search is performed on the uppermost stage of the search area MA, the search is performed on the next stage that is one pixel below the uppermost stage, and similarly, the search is performed on the lower stage. .
  • the update unit 21b obtains the acquired displacement amounts ⁇ d1 to ⁇ dn in the Y-axis direction. Based on the above, an average Y-axis displacement amount ⁇ d is calculated (S202).
  • the displacement amount of the segment area becomes larger as it is closer to the outside of the standard pattern area P0. Therefore, the reference segment areas Sr1 to Srn are set at the uppermost stage as in the present embodiment. Alternatively, it is desirable that the reference segment areas Sr1 to Srn are set at the bottom. Further, as shown in FIGS. 10C and 10D, the displacement amounts of the reference segment regions Sr1 to Srn may include an error due to disturbance components or the like, and therefore, a predetermined number as shown in S201 and S202. It is preferable that the Y-axis displacement amount of the reference segment region is acquired and the average value of these is used as the displacement amount in the Y-axis direction.
  • the updating unit 21b extracts the displacement amount ⁇ Di closest to the acquired average Y-axis displacement amount ⁇ d from the offset table Ot shown in FIG. 8C (S203). Then, the updating unit 21b sets the offset pattern Pi corresponding to the extracted displacement amount ⁇ Di as an offset pattern used during actual measurement (S204).
  • FIG. 11 is a diagram illustrating an example of offset processing.
  • FIG. 11A shows a case where the positions of the reference segment areas Sr1 to Srn searched in S201 of FIG. 10B are displaced from the reference position by an average displacement amount ⁇ d in the positive Y-axis direction.
  • the search line of each stage of the reference pattern region P0 is offset according to the offset pattern corresponding to the average displacement amount ⁇ d by S204 in FIG.
  • the uppermost segment region is searched along a search line L1 'offset from the uppermost position by an offset amount ⁇ LO1 in the positive Y-axis direction.
  • the search is performed along the search line Lj ′ offset from the position of the j-th stage in the Y-axis positive direction by the offset amount ⁇ LOj.
  • This offset amount ⁇ LOj is smaller than the offset amount ⁇ LO1.
  • the search is performed along the search line Ln ′ offset in the positive direction of the Y axis by the offset amount ⁇ LOn from the position of the lowermost stage.
  • This offset amount ⁇ LOn is a value comparable to the offset amount ⁇ LO1.
  • the search lines of all the stages are offset, and the search of each stage is performed according to the search lines L′ 1 to L′ n after the offset.
  • the search line of each segment region is offset based on the amount of displacement in the Y-axis direction when the reference segment region is actually measured, the dot pattern of the laser beam has the wavelength of the laser beam. Even if it changes due to fluctuations, the segment area can be searched appropriately. Therefore, the distance to the detection target object can be detected appropriately.
  • the distance to the detection object is accurately measured by updating the offset pattern according to the wavelength variation as needed without using a temperature control element such as a Bertier element to control the wavelength constant. can do.
  • a temperature control element such as a Bertier element to control the wavelength constant.
  • the reference template TP when the wavelength variation occurs, the reference template TP is not changed and the search line of the segment area of each stage of the reference template is offset. You may make it change according to a change.
  • an update table Tr in which the displacement amount ⁇ Di of the reference segment region is associated with the update template TP′i is held in the memory 25, and this update table Tr is used during actual operation.
  • the template to be used may be switched from the reference template TP to the update template TP′i.
  • the update template TP ′ is configured such that the segment area of each stage of the reference template TP shifts up or down (Y-axis positive / negative direction) according to the displacement amount ⁇ Di.
  • FIG. 12B is a flowchart showing template update processing in the present modification example. This process is performed in S103 of FIG.
  • S201 to S203 are the same as S201 to S203 in FIG.
  • the update template TP′i corresponding to the displacement amount ⁇ Di extracted in S203 is set as a template used during actual measurement.
  • the line corresponding to each stage of the update template TP′i is used as a search line.
  • a segment area search is performed.
  • the search line of each stage is displaced from the position (reference position) when the reference template TP is used.
  • the offset pattern is stored in advance in association with the displacement amount ⁇ Di.
  • the offset amount of the segment region of each stage of the reference template is obtained by calculation from the displacement amount of the reference segment region.
  • the measurement of the Y-axis displacement from the reference pattern region P0 is performed only for the segment region of the uppermost line, but the Y-axis displacement amount is also measured for the lowermost line and the center line. You may measure. Thereby, the detection accuracy of the Y-axis displacement amount can be improved.
  • the number of Y-axis displacements may be any number as long as it is one or more segment regions. For example, the Y-axis displacement amount may be measured only from the upper left and upper right segment regions.
  • only one reference template TP is prepared.
  • a plurality of reference templates TP may be prepared so as to suit different wavelengths.
  • a search error of the reference segment areas Sr1 to Srn occurred exceeding the threshold value.
  • the reference segment regions Sr1 to Srn may be searched using another reference template TP, and the reference template TP in which the search error is equal to or less than a threshold value may be used during actual measurement.
  • adjacent segment areas are segmented without overlapping each other, but a predetermined segment area and segment areas adjacent to the segment area vertically and horizontally may have overlapping areas. good.
  • the shape of the reference pattern region may be other shapes such as a square, etc., as well as a rectangle as in the above embodiment.
  • the shape of the update pattern area can be changed as appropriate.
  • the CMOS image sensor 124 is used as the light receiving element, but a CCD image sensor can be used instead.
  • Information Acquisition Device 111 Laser Light Source (Light Source) 114 DOE (Diffraction Optical Element) 124 CMOS image sensor (light receiving element) 21 CPU 21b Update unit (spreading detection unit, information acquisition unit) 21c 3D distance calculation unit (information acquisition unit) 25 Memory (storage unit)

Abstract

　レーザ光の波長の変化により、回折光学素子によって生成されるレーザ光のドットパターンが変化する場合においても、検出対象物体までの距離を適正に検出し得る情報取得装置およびこれを搭載する物体検出装置を提供する。情報取得装置（１）は、基準テンプレートＴＰのセグメント領域Ｓ１が、実測時に、Ｓ１'の位置に変位すると、その変位量Ｄｉに応じて、基準テンプレートＴＰの最上段の探索ラインＬ１をＬ１'にオフセットさせる。同様に、探索ラインＬａ、ＬｎをそれぞれＬａ'、Ｌｎ'にオフセットさせる。オフセットの量は、中心Ｏから上下に離れるに従って大きくなるように設定される。情報取得装置（１）は、変位量Ｄｉと、各探索ラインのオフセットパターンとを対応付けてオフセットテーブルＯｔを保持する。

Description

[規則37.2に基づきISAが決定した発明の名称]　情報取得装置及びその情報取得装置を有する物体検出装置
　本発明は、目標領域に光を投射したときの反射光の状態に基づいて目標領域内の物体を検出する物体検出装置およびこれに用い好適な情報取得装置に関する。
　従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、２次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。かかる物体検出装置では、レーザ光源やＬＥＤ（Light Emitting Diode）から、予め決められた波長帯域の光が目標領域に投射され、その反射光がＣＭＯＳイメージセンサ等の受光素子により受光される。距離画像センサとして、種々のタイプのものが知られている。
　所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサでは、目標領域から反射されたドットパターンをイメージセンサで受光し、イメージセンサ上におけるドットパターンの受光位置に基づいて、三角測量法を用いて、検出対象物体の各部までの距離が検出される（たとえば、非特許文献１）。
　この方式では、たとえば、レーザ光の照射部から所定の距離の位置に反射平面が配置された状態で、ドットパターンを持つレーザ光が出射され、そのときにイメージセンサ上に照射されたレーザ光のドットパターンがテンプレートとして保持される。そして、実測時にイメージセンサ上に照射されたレーザ光のドットパターンとテンプレートに保持されたドットパターンとが照合され、テンプレート上のドットパターンのセグメント領域が実測時のドットパターン上のどの位置に移動したかが検出される。この移動量に基づいて、各セグメント領域に対応する目標領域の各部までの距離が算出される。
第１９回日本ロボット学会学術講演会（２００１年９月１８－２０日）予稿集、Ｐ１２７９－１２８０
　上記物体検出装置では、ドットパターンのレーザ光を生成するために回折光学素子が用いられる。回折光学素子の光学的特性は、レーザ光の波長に依存する。他方、レーザ光の波長は、光源の温度変化等に応じて変化し易い。このため、温度変化等によってレーザ光の波長が変化すると、これに応じて、レーザ光のドットパターンが変化する。しかし、このようにドットパターンが変化すると、実測時のドットパターンとテンプレートに保持されたドットパターンとの照合が適正に行われなくなる。その結果、検出対象物体に対する距離の検出精度が低下する。
　この場合、レーザ光の波長が変わらないよう、レーザ光源の温度を調整する構成が取られ得る。しかし、こうすると、温度調整用にペルチェ素子等が必要となり、コストの上昇を招く。
　本発明は、かかる問題を解消するためになされたものであり、レーザ光の波長の変化により、回折光学素子によって生成されるレーザ光のドットパターンが変化する場合においても、検出対象物体までの距離を適正に検出し得る情報取得装置およびこれを搭載する物体検出装置を提供することを目的とする。
　本発明の第１の態様は、光を用いて目標領域の情報を取得する情報取得装置に関する。この態様に係る情報取得装置は、所定波長帯域の光を出射する光源と、前記光を所定のドットパターンにて前記目標領域に照射する回折光学素子と、前記目標領域から反射された反射光を受光して信号を出力する受光素子と、前記受光素子によって受光される前記光の基準パターンに複数のセグメント領域を設定した基準テンプレートを保持する記憶部と、前記受光素子によって受光された前記光の実測パターンから前記セグメント領域に対応する対応領域を探索し、探索した前記対応領域の位置に基づいて、前記目標領域に存在する物体の３次元情報を取得する情報取得部と、前記基準パターンの設定領域に対する前記実測パターンの受光領域の広がり具合の変化を検出する広がり検出部と、を備える。前記情報取得部は、前記光源と前記受光素子の並び方向に平行な探索ラインに沿って、前記実測パターンに対する前記対応領域の探索を実行し、前記広がり検出部によって検出される前記広がり具合の前記変化に応じて、前記各セグメント領域に対する前記探索ラインを、前記変化がないときの基準位置から、前記並び方向に垂直な方向に変位させる。
　本発明の第２の態様は、物体検出装置に関する。この態様に係る物体検出装置は、上記第１の態様に係る情報取得装置を備える。
　本発明によれば、レーザ光の波長の変化により、回折光学素子によって生成されるレーザ光のドットパターンが変化する場合においても、検出対象物体までの距離を適正に検出し得る情報取得装置およびこれを搭載する物体検出装置を提供することができる。
　本発明の特徴は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
実施の形態に係る物体検出装置の構成を示す図である。 実施の形態に係る情報取得装置と情報処理装置の構成を示す図である。 実施の形態に係る目標領域に対するレーザ光の照射状態とイメージセンサ上のレーザ光の受光状態を示す図である。 実施の形態に係る基準テンプレートの設定方法を説明する図である。 実施の形態に係る距離検出方法を説明する図である。 実施の形態に係る波長の変化によるドットパターンの変化の検証について説明する図である。 実施の形態に係る波長の変化によるドットパターンの変化を説明する図である。 実施の形態に係るオフセットの設定方法を示す図である。 実施の形態に係るオフセットの設定処理を示すフローチャートである。 実施の形態に係る参照セグメント領域の変位の検出方法を示す図である。 実施の形態に係るオフセットの処理の例を示す図である。 変更例に係る更新テーブルの構成と、テンプレートの更新処理を示すフローチャートである。
　以下、本発明の実施の形態につき図面を参照して説明する。本実施の形態は、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの情報取得装置に本発明を適用したものである。
　まず、図１に本実施の形態に係る物体検出装置の概略構成を示す。図示の如く、物体検出装置は、情報取得装置１と、情報処理装置２とを備えている。テレビ３は、情報処理装置２からの信号によって制御される。
　情報取得装置１は、目標領域全体に赤外光を投射し、その反射光をＣＭＯＳイメージセンサにて受光することにより、目標領域にある物体各部の距離（以下、「３次元距離情報」という）を取得する。取得された３次元距離情報は、ケーブル４を介して情報処理装置２に送られる。
　情報処理装置２は、たとえば、テレビ制御用のコントローラやゲーム機、パーソナルコンピュータ等である。情報処理装置２は、情報取得装置１から受信した３次元距離情報に基づき、目標領域における物体を検出し、検出結果に基づきテレビ３を制御する。
　たとえば、情報処理装置２は、受信した３次元距離情報に基づき人を検出するとともに、３次元距離情報の変化から、その人の動きを検出する。たとえば、情報処理装置２がテレビ制御用のコントローラである場合、情報処理装置２には、受信した３次元距離情報からその人のジェスチャを検出するとともに、ジェスチャに応じてテレビ３に制御信号を出力するアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ３を見ながら所定のジェスチャをすることにより、チャンネル切り替えやボリュームのＵｐ／Ｄｏｗｎ等、所定の機能をテレビ３に実行させることができる。
　また、たとえば、情報処理装置２がゲーム機である場合、情報処理装置２には、受信した３次元距離情報からその人の動きを検出するとともに、検出した動きに応じてテレビ画面上のキャラクタを動作させ、ゲームの対戦状況を変化させるアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ３を見ながら所定の動きをすることにより、自身がテレビ画面上のキャラクタとしてゲームの対戦を行う臨場感を味わうことができる。
　図２は、情報取得装置１と情報処理装置２の構成を示す図である。
　情報取得装置１は、光学系として、投射光学系１１と受光光学系１２とを備えている。投射光学系１１と受光光学系１２は、Ｘ軸方向に並ぶように、情報取得装置１に配置される。
　投射光学系１１は、レーザ光源１１１と、コリメータレンズ１１２と、アパーチャ１１３と、回折光学素子（ＤＯＥ：Diffractive Optical Element）１１４、温度センサ１１５とを備えている。また、受光光学系１２は、アパーチャ１２１と、撮像レンズ１２２と、フィルタ１２３と、ＣＭＯＳイメージセンサ１２４とを備えている。この他、情報取得装置１は、回路部の構成として、ＣＰＵ（Central Processing Unit）２１と、レーザ駆動回路２２と、撮像信号処理回路２３と、入出力回路２４と、メモリ２５を備えている。
　レーザ光源１１１は、波長８３０ｎｍ程度の狭波長帯域のレーザ光を出力する。コリメータレンズ１１２は、レーザ光源１１１から出射されたレーザ光を平行光に変換する。アパーチャ１１３は、レーザ光の光束断面を所定の形状に調整する。
　ＤＯＥ１１４は、入射面に回折パターンを有する。この回折パターンによる回折作用により、アパーチャ１１３からＤＯＥ１１４に入射したレーザ光は、ドットパターンのレーザ光に変換されて、目標領域に照射される。回折パターンは、たとえば、ステップ型の回折ホログラムが所定のパターンで形成された構造とされる。回折ホログラムは、コリメータレンズ１１２により平行光とされたレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。
　ＤＯＥ１１４は、コリメータレンズ１１２から入射されたレーザ光を、放射状に広がるドットパターンのレーザ光として、目標領域に照射する。ＤＯＥ１１４は、一つの光学素子からなり、回折パターンを持つ面を一つだけ備える。
　温度センサ１１５は、レーザ光源１１１の周囲の温度を検出する。
　目標領域から反射されたレーザ光は、アパーチャ１２１を介して撮像レンズ１２２に入射する。アパーチャ１２１は、撮像レンズ１２２のＦナンバーに合うように、外部からの光に絞りを掛ける。撮像レンズ１２２は、アパーチャ１２１を介して入射された光をＣＭＯＳイメージセンサ１２４上に集光する。
　フィルタ１２３は、レーザ光源１１１の出射波長（８３０ｎｍ程度）を含む波長帯域の光を透過し、可視光の波長帯域をカットするバンドパスフィルタである。ＣＭＯＳイメージセンサ１２４は、撮像レンズ１２２にて集光された光を受光して、画素毎に、受光光量に応じた信号（電荷）を撮像信号処理回路２３に出力する。ここで、ＣＭＯＳイメージセンサ１２４は、各画素における受光から高レスポンスでその画素の信号（電荷）を撮像信号処理回路２３に出力できるよう、信号の出力速度が高速化されている。
　ＣＰＵ２１は、メモリ２５に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ２１には、レーザ光源１１１を制御するためのレーザ制御部２１ａと、後述する更新部２１ｂと、３次元距離情報を生成するための３次元距離演算部２１ｃの機能が付与される。
　レーザ駆動回路２２は、ＣＰＵ２１からの制御信号に応じてレーザ光源１１１を駆動する。撮像信号処理回路２３は、ＣＭＯＳイメージセンサ１２４を制御して、ＣＭＯＳイメージセンサ１２４で生成された各画素の信号（電荷）をライン毎に順次取り込む。そして、取り込んだ信号を順次ＣＰＵ２１に出力する。ＣＰＵ２１は、撮像信号処理回路２３から供給される信号（撮像信号）をもとに、情報取得装置１から検出対象物の各部までの距離を、３次元距離演算部２１ｃによる処理によって算出する。入出力回路２４は、情報処理装置２とのデータ通信を制御する。
　情報処理装置２は、ＣＰＵ３１と、入出力回路３２と、メモリ３３を備えている。なお、情報処理装置２には、同図に示す構成の他、テレビ３との通信を行うための構成や、ＣＤ－ＲＯＭ等の外部メモリに格納された情報を読み取ってメモリ３３にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
　ＣＰＵ３１は、メモリ３３に格納された制御プログラム（アプリケーションプログラム）に従って各部を制御する。かかる制御プログラムによって、ＣＰＵ３１には、画像中の物体を検出するための物体検出部３１ａの機能が付与される。かかる制御プログラムは、たとえば、図示しないドライブ装置によってＣＤ－ＲＯＭから読み取られ、メモリ３３にインストールされる。
　たとえば、制御プログラムがゲームプログラムである場合、物体検出部３１ａは、情報取得装置１から供給される３次元距離情報から画像中の人およびその動きを検出する。そして、検出された動きに応じてテレビ画面上のキャラクタを動作させるための処理が制御プログラムにより実行される。
　また、制御プログラムがテレビ３の機能を制御するためのプログラムである場合、物体検出部３１ａは、情報取得装置１から供給される３次元距離情報から画像中の人およびその動き（ジェスチャ）を検出する。そして、検出された動き（ジェスチャ）に応じて、テレビ３の機能（チャンネル切り替えやボリューム調整、等）を制御するための処理が制御プログラムにより実行される。
　入出力回路３２は、情報取得装置１とのデータ通信を制御する。
　図３（ａ）は、目標領域に対するレーザ光の照射状態を模式的に示す図、図３（ｂ）は、ＣＭＯＳイメージセンサ１２４におけるレーザ光の受光状態を模式的に示す図である。なお、同図（ｂ）には、便宜上、目標領域に平坦な面（スクリーン）が存在するときの受光状態が示されている。
　投射光学系１１からは、ドットパターンを持ったレーザ光（以下、このパターンを持つレーザ光の全体を「ＤＰ光」という）が、目標領域に照射される。同図（ａ）には、ＤＰ光の光束領域が実線の枠によって示されている。ＤＰ光の光束中には、ＤＯＥ１１４による回折作用によってレーザ光の強度が高められたドット領域（以下、単に「ドット」という）が、ＤＯＥ１１４による回折作用によるドットパターンに従って点在している。
　なお、図３（ａ）では、便宜上、ＤＰ光の光束が、マトリックス状に並ぶ複数のセグメント領域に区分されている。各セグメント領域には、ドットが固有のパターンで点在している。一つのセグメント領域におけるドットの点在パターンは、他の全てのセグメント領域におけるドットの点在パターンと相違する。これにより、各セグメント領域は、ドットの点在パターンをもって、他の全てのセグメント領域から区別可能となっている。
　目標領域に平坦な面（スクリーン）が存在すると、これにより反射されたＤＰ光の各セグメント領域は、同図（ｂ）のように、ＣＭＯＳイメージセンサ１２４上においてマトリックス状に分布する。たとえば、同図（ａ）に示す目標領域上におけるセグメント領域Ｓ０の光は、ＣＭＯＳイメージセンサ１２４上では、同図（ｂ）に示すセグメント領域Ｓｐに入射する。なお、図３（ｂ）においても、ＤＰ光の光束領域が実線の枠によって示され、便宜上、ＤＰ光の光束が、マトリックス状に並ぶ複数のセグメント領域に区分されている。
　上記３次元距離演算部２１ｃでは、ＣＭＯＳイメージセンサ１２４上における各セグメント領域の位置が検出され、検出された各セグメント領域の位置から、三角測量法に基づいて、検出対象物体の各セグメント領域に対応する位置までの距離が検出される。かかる検出手法の詳細は、たとえば、上記非特許文献１（第１９回日本ロボット学会学術講演会（２００１年９月１８－２０日）予稿集、Ｐ１２７９－１２８０）に示されている。
　図４は、上記距離検出に用いられる基準テンプレートの生成方法を模式的に示す図である。
　図４（ａ）に示すように、基準テンプレートの生成時には、投射光学系１１から所定の距離Ｌｓの位置に、Ｚ軸方向に垂直な平坦な反射平面ＲＳが配置される。この状態で、投射光学系１１からＤＰ光が所定時間Ｔｅだけ出射される。出射されたＤＰ光は、反射平面ＲＳによって反射され、受光光学系１２のＣＭＯＳイメージセンサ１２４に入射する。これにより、ＣＭＯＳイメージセンサ１２４から、画素毎の電気信号が出力される。出力された画素毎の電気信号の値（画素値）が、図２のメモリ２５上に展開される。なお、以下では、便宜上、メモリ２５に展開された画素値に代えて、ＣＭＯＳイメージセンサ１２４上に照射されたＤＰ光の照射状態をもとに説明を行う。
　こうしてメモリ２５上に展開された画素値に基づいて、図４（ｂ）に示すように、ＣＭＯＳイメージセンサ１２４上におけるＤＰ光の照射領域を規定する基準パターン領域が設定される。さらに、この基準パターン領域が、縦横に区分されてセグメント領域が設定される。上記のように、各セグメント領域には、固有のパターンでドットが点在する。よって、セグメント領域の画素値のパターンは、セグメント領域毎に異なっている。なお、各セグメント領域は、他の全てのセグメント領域と同じサイズである。
　基準テンプレートは、このようにＣＭＯＳイメージセンサ１２４上に設定された各セグメント領域に、そのセグメント領域に含まれる各画素の画素値を対応付けて構成される。
　具体的には、基準テンプレートは、ＣＭＯＳイメージセンサ１２４上における基準パターン領域の位置に関する情報と、基準パターン領域に含まれる全画素の画素値と、基準パターン領域をセグメント領域に分割するための情報を含んでいる。基準パターン領域に含まれる全画素の画素値は、基準パターン領域に含まれるＤＰ光のドットパターンに相応するものになる。また、基準パターン領域に含まれる全画素の画素値のマッピング領域をセグメント領域に区分することで、各セグメント領域に含まれる画素の画素値が取得される。なお、基準テンプレートは、さらに、各セグメント領域に含まれる画素の画素値を、セグメント領域毎に保持していても良い。
　こうして構成された基準テンプレートは、図２のメモリ２５に、消去不可能な状態で保持される。メモリ２５に保持された基準テンプレートは、投射光学系１１から検出対象物体の各部までの距離を算出する際に参照される。
　たとえば、図４（ａ）に示すように距離Ｌｓよりも近い位置に物体がある場合、基準パターン上の所定のセグメント領域Ｓｎに対応するＤＰ光（ＤＰｎ）は、物体によって反射され、セグメント領域Ｓｎとは異なる領域Ｓｎ’に入射する。投射光学系１１と受光光学系１２はＸ軸方向に隣り合っているため、セグメント領域Ｓｎに対する領域Ｓｎ’の変位方向はＸ軸に平行となる。同図の場合、物体が距離Ｌｓよりも近い位置にあるため、領域Ｓｎ’は、セグメント領域Ｓｎに対してＸ軸正方向に変位する。物体が距離Ｌｓよりも遠い位置にあれば、領域Ｓｎ’は、セグメント領域Ｓｎに対してＸ軸負方向に変位する。
　セグメント領域Ｓｎに対する領域Ｓｎ’の変位方向と変位量をもとに、投射光学系１１からＤＰ光（ＤＰｎ）が照射された物体の部分までの距離Ｌｒが、距離Ｌｓを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系１１からの距離が算出される。
　かかる距離算出では、基準テンプレートのセグメント領域Ｓｎが、実測時においてどの位置に変位したかを検出する必要がある。この検出は、実測時にＣＭＯＳイメージセンサ１２４上に照射されたＤＰ光のドットパターンと、セグメント領域Ｓｎに含まれるドットパターンとを照合することによって行われる。
　図５は、かかる検出の手法を説明する図である。同図（ａ）は、ＣＭＯＳイメージセンサ１２４上における基準テンプレートＴＰ（基準パターン領域Ｐ０）の設定状態を示す図、同図（ｂ）は、実測時におけるセグメント領域の探索方法を示す図、同図（ｃ）は、実測されたＤＰ光のドットパターンと、基準テンプレートＴＰのセグメント領域に含まれるドットパターンとの照合方法を示す図である。
　たとえば、同図（ａ）のセグメント領域Ｓ１の実測時における変位位置を探索する場合、同図（ｂ）に示すように、セグメント領域Ｓ１が、ＣＭＯＳイメージセンサ１２４上の範囲Ｒ１～Ｒ２において、Ｘ軸方向に１画素ずつ送られ、各送り位置において、セグメント領域Ｓ１のドットパターンと、実測されたＤＰ光のドットパターンのマッチング度合いが求められる。この場合、セグメント領域Ｓ１は、基準テンプレート（基準パターン領域Ｐ０）の最上段のセグメント領域群を通るラインＬ１上のみをＸ軸方向に送られる。これは、上記のように、通常、各セグメント領域は、実測時において、基準パターン領域Ｐ０上の位置からＸ軸方向にのみ変位するためである。すなわち、セグメント領域Ｓ１は、最上段のラインＬ１上にあると考えられるためである。このように、Ｘ軸方向にのみ探索を行うことで、探索のための処理負担が軽減される。
　なお、実測時には、検出対象物体の位置によっては、セグメント領域が基準テンプレートＴＰの基準パターン領域Ｐ０の範囲からＸ軸方向にはみ出すことが起こり得る。このため、範囲Ｒ１～Ｒ２は、基準パターン領域Ｐ０のＸ軸方向の幅よりも広く設定される。
　上記マッチング度合いの検出時には、ラインＬ１上に、セグメント領域Ｓ１と同じサイズの領域（比較領域）が設定され、この比較領域とセグメント領域Ｓ１との間の類似度が求められる。すなわち、セグメント領域Ｓ１の各画素の画素値と、比較領域の対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域の全ての画素について加算した値Ｒｓａｄが、類似度を示す値として取得される。
　たとえば、図５（ｃ）のように、一つのセグメント領域中に、ｍ列×ｎ行の画素が含まれている場合、セグメント領域のｉ列、ｊ行の画素の画素値Ｔ（ｉ，ｊ）と、比較領域のｉ列、ｊ行の画素の画素値Ｉ（ｉ，ｊ）との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、値Ｒｓａｄが求められる。すなわち、値Ｒｓａｄは、次式により算出される。
Figure JPOXMLDOC01-appb-M000001
　値Ｒｓａｄが小さい程、セグメント領域と比較領域との間の類似度が高い。
　探索時には、比較領域が、ラインＬ１上を１画素ずつずらされつつ順次設定される。そして、ラインＬ１上の全ての比較領域について、値Ｒｓａｄが求められる。求めた値Ｒｓａｄの中から、閾値より小さいものが抽出される。閾値より小さい値Ｒｓａｄが無ければ、セグメント領域Ｓ１の探索はエラーとされる。そして、抽出されたＲｓａｄの中で最も値が小さいものに対応する比較領域が、セグメント領域Ｓ１の移動領域であると判定される。ラインＬ１上のセグメント領域Ｓ１以外のセグメント領域も、上記と同様の探索が行われる。また、他のライン上のセグメント領域も、上記と同様、そのライン上に比較領域が設定されて、探索が行われる。
　こうして、実測時に取得されたＤＰ光のドットパターンから、各セグメント領域の変位位置が探索されると、上記のように、その変位位置に基づいて、三角測量法により、各セグメント領域に対応する検出対象物体の部位までの距離が求められる。
　ところで、ＤＰ光のドットパターンは、ＤＯＥ１１４の形状や位置、および、レーザ光源１１１から出射されるレーザ光の波長に依存して変わり得る。しかしながら、これらの要素は、温度によって変化し易く、また、時間の経過によっても変化し得る。特に、ＤＯＥ１１４が樹脂材料により形成された場合には、温度によってＤＯＥ１１４の特性が変わり易い。このようにＤＯＥ１１４の特性が変化し、あるいは、レーザ光の波長が変化すると、これに伴い、ドットパターンが変化する。このようにドットパターンが変化すると、実測時のドットパターンと基準テンプレートに保持されたドットパターンとの照合が適正に行われなくなる。その結果、検出対象物体に対する距離の検出精度が低下する惧れがある。
　一般に、回折パターンの回折角θは、以下の式によって求まる。
　　θ＝ａｒｃｓｉｎ（λ／ｐ）　…（１）
　ここで、λはレーザ光の波長、ｐは回折パターンのピッチである。この式から、回折角θは、レーザ光の波長λが大きくなるほど大きくなり、回折パターンのピッチｐが大きくなるほど小さくなる。
　本実施の形態で用いるＤＯＥ１１４は、上記のように、一つの光学素子からなり、回折パターンを持つ面を一つだけ備える。本願の発明者は、このようにＤＯＥ１１４が構成される場合、レーザ光の波長の変化に応じてドットパターンがどのように変化するかを測定した。
　図６（ａ）、（ｂ）は、それぞれ、レーザ光の波長が基準波長から２ｎｍおよび４ｎｍ増加したときの測定結果を示す図である。これらの測定では、基準テンプレートとして保持されたドットパターンを平坦な反射平面に照射した。そして、このときにＣＭＯＳイメージセンサ１２４上に照射されたドットパターンと、基準ドットパターンとのマッチングを測定した。マッチングは、図５（ｂ）を参照して説明したように、比較領域を１画素ずつ右方向に移動させながら、セグメント領域と比較領域について上記数１の値Ｒｓａｄを求め、求めた値Ｒｓａｄから閾値より小さいものが抽出されたかによって行った。そして、この抽出が行えなかったときに、そのセグメント領域をエラーとした。
　なお、比較領域の移動範囲は、対応するセグメント領域のドットが反射平面により反射されたときにＣＭＯＳイメージセンサ１２４に照射されると想定される位置を中心として、左右方向に６０画素の範囲とした。
　また、図５（ａ）では、隣り合うセグメント領域が互いに重なることなく区分されたが、この測定では、たとえば、図５（ａ）のセグメント領域Ｓ１の右側の次のセグメント領域は、セグメント領域Ｓ１を右に１画素だけずらした領域であり、セグメント領域Ｓ１と次のセグメント領域は、互いに重なる領域を持っている。他のセグメント領域も、左右方向の隣のセグメント領域と重なる領域を持っている。同様に、上下に隣り合うセグメント領域も、互いに重なる領域を持っている。
　図６（ａ）の７つの画面は、それぞれ、上記測定によるマッチング結果を示している。基準テンプレートの基準パターン領域のうち、マッチングが取れなかったセグメント領域は白い点で示されている。
　図６（ａ）の中央の画面は、マッチング判定の対象とされるＣＭＯＳイメージセンサ１２４上の領域（以下、「判定対象領域」という）を、通常の領域としたときの測定結果である。中央の画面の左右の画面は、それぞれ、判定対象領域を通常の領域から左方向と右方向に１画素ずつずらしたときの測定結果である。中央の画面の上側の２つの画面は、それぞれ、判定対象領域を通常の領域から上方向に１画素および２画素ずらしたときの測定結果である。中央の画面の下側の２つの画面は、それぞれ、判定対象領域を通常の領域から下方向に１画素および２画素ずらしたときの測定結果である。
　図６（ａ）の中央の画面を参照すると、基準パターン領域の全ての領域について、略マッチングが取れていることが分かる。このことから、レーザ光源１１１の波長が基準波長から２ｎｍ程度変化しても、ＣＭＯＳイメージセンサ１２４に照射されるドットパターンは大きく変化しないことが分かる。具体的には、基準パターン領域の全領域において、波長変動による上下方向のドットパターンのズレ量は、マッチングが取られ得る範囲に収まっていると言える。なお、通常、ドットパターンの上下方向のズレ量が１画素未満であれば、マッチングが取られ得る。
　図６（ａ）の中央の画面の直上の画面を参照すると、判定対象領域を１画素上にずらした場合には、基準パターン領域の上下方向の中央の領域と、その下の領域では、マッチングが取れないことが分かる。これは、判定対象領域を中央の画面のときの状態から１画素上にずらしたことにより、これらの領域において、ドットパターンのズレ量が１画素以上になった為であると言える。これに対し、基準パターン領域の上下方向の中央の領域の上の領域では、上側に行くほどマッチングが取れていることが分かる。このことから、この領域では、同図中央の画面の状態においてドットパターンが１画素までの範囲で上にずれていたため、その状態から判定対象領域を上方向に１画素ずらしても、ドットパターンのズレ量が１画素までの範囲に収まっているものと考えられる。この検討から、レーザ光源１１１の波長が基準波長から２ｎｍ長くなると、ＣＭＯＳイメージセンサ１２４に照射されるドットパターンは、中央から上に向かう程、上方向にシフトすることが分かる。
　図６（ａ）の最も上側の画面を参照すると、判定対象領域を２画素上にずらした場合には、基準パターン領域の全ての領域において、マッチングが取れないことが分かる。このことから、基準パターン領域の上端部の領域においても、波長変動によるドットパターンのシフト量は、１画素の範囲であることが分かる。
　図６（ａ）の中央の画面の直下の画面を参照すると、判定対象領域を１画素下にずらした場合には、基準パターン領域の上下方向の中央の領域と、その上の領域では、マッチングが取れないことが分かる。これは、判定対象領域を中央の画面のときの状態から１画素下にずらしたことにより、これらの領域において、ドットパターンのズレ量が１画素を超えることになった為であると言える。これに対し、基準パターン領域の上下方向の中央の領域の下の領域では、下側に行くほどマッチングが取れていることが分かる。このことから、この領域では、同図中央の画面の状態においてドットパターンが１画素までの範囲で下にずれていたため、その状態から判定対象領域を下方向に１画素ずらしても、ドットパターンのズレ量が１画素までの範囲に収まっているものと考えられる。この検討から、レーザ光源１１１の波長が基準波長から２ｎｍ長くなると、ＣＭＯＳイメージセンサ１２４に照射されるドットパターンは、中央から下に向かう程、下方向にシフトすることが分かる。
　図６（ａ）の最も下側の画面を参照すると、判定対象領域を２画素下にずらした場合には、基準パターン領域の全ての領域において、マッチングが取れないことが分かる。このことから、基準パターン領域の下端部の領域においても、波長変動によるドットパターンのシフト量は、１画素の範囲であることが分かる。
　図６（ａ）の中央の画面の左右の画面を参照すると、判定対象領域を１画素左右にずらしても、基準パターン領域の全ての領域において、マッチングが取れていることが分かる。これは、比較領域を左右方向にずらしながらセグメント領域と比較領域とのマッチング判定が行われるため、波長変動によってドットパターンが左右方向にずれても、また、判定対象領域を左右方向に１画素程度ずらしても、マッチングが取られるためであると考えられる。よって、中央の画面の左右の画面からは、レーザ光源１１１の波長が基準波長から２ｎｍ長くなったことによって、ＣＭＯＳイメージセンサ１２４に照射されるドットパターンが左右方向にシフトするか否かは分からない。
　次に、図６（ｂ）の中央の画面を参照すると、基準パターン領域の上下方向の中央の領域では、略マッチングが取れており、中央の領域から上下に向かう程、マッチングが取られなくなることが分かる。このことから、レーザ光源１１１の波長が基準波長から４ｎｍ程度変化すると、上下に向かう程、ＣＭＯＳイメージセンサ１２４上のドットパターンが上下方向にシフトすることが分かる。また、この画面と、図６（ａ）の中央の画面とを比較すると、波長変動が大きくなる程、ＣＭＯＳイメージセンサ１２４上におけるドットパターンの上下方向のシフト量が大きくなることが分かる。
　図６（ｂ）の中央の画面の直上の画面を参照すると、判定対象領域を１画素上にずらした場合には、基準パターン領域の上下方向の中央の領域と、その下の領域では、マッチングが取れないことが分かる。これは、判定対象領域を中央の画面のときの状態から１画素上にずらしたことにより、これらの領域において、ドットパターンのズレ量が１画素を超えることになった為であると言える。これに対し、基準パターン領域の上側の領域では、同図中央の画面ではエラーとなっていたセグメント領域についてマッチングが取れていることが分かる。このことから、この領域では、ドットパターンのずれが、判定対象領域を上方向に１画素ずらすことにより、１画素以上のズレから１画素までのズレに収まったことが分かる。
　図６（ｂ）の最も上側の画面を参照すると、最上端の領域では、判定対象領域を２画素上にずらしても、未だマッチングが取れている。この画面と、その直下の画面とを比較すると、上側に向かう程、ＣＭＯＳイメージセンサ１２４上におけるドットパターンの上方向のズレ量が大きいことが分かる。
　図６（ｂ）の中央の画面の直下の画面を参照すると、判定対象領域を１画素下にずらした場合には、基準パターン領域の上下方向の中央の領域と、その上の領域では、マッチングが取れないことが分かる。これは、判定対象領域を中央の画面のときの状態から１画素下にずらしたことにより、これらの領域において、ドットパターンのズレ量が１画素を超えることになった為であると言える。これに対し、基準パターン領域の上側の領域では、同図中央の画面ではエラーとなっていたセグメント領域についてマッチングが取れていることが分かる。このことから、この領域では、ドットパターンのずれが、判定対象領域を上方向に１画素ずらすことにより、１画素以上のズレから半画素までのズレに収まったことが分かる。
　図６（ｂ）の最も下側の画面を参照すると、最下端の領域では、判定対象領域を２画素下にずらしても、未だマッチングが取れている。この画面と、その直上の画面とを比較すると、下側に向かう程、ＣＭＯＳイメージセンサ１２４上におけるドットパターンの下方向のズレ量が大きいことが分かる。
　以上の測定結果から、次のことが分かる。
　（１）波長が大きくなると、ＣＭＯＳイメージセンサ１２４上のドットパターンが上下方向にシフトする。
　（２）波長変動によるドットパターンのズレ量は、上下に向かう程大きくなる。
　上記測定からは、波長変動によるドットパターンの左右方向のずれは直接評価できなかった。しかし、回折パターンの特性上、左右方向にも、上下方向と同様の傾向があるものと考えられる。したがって、次のことも予測できる。
　（３）波長が大きくなると、ＣＭＯＳイメージセンサ１２４上のドットパターンが左右方向にシフトする。
　（４）波長変動によるドットパターンのズレ量は、左右に向かう程大きくなる。
　本願の発明者は、さらに、レーザ光源１１１の波長を変化させながら、ＣＭＯＳイメージセンサ１２４上に照射されるドットパターンの挙動を撮影した。この撮影により、ＣＭＯＳイメージセンサ１２４上に照射されるドットパターンは、レーザ光源１１１の波長変動により、ドットパターン領域の中心から放射上にシフトすることが確認された。
　図７は、以上の測定結果に基づき、波長によって、基準パターン領域内の各セグメント領域がどのように変位するかを模式的に示す図である。なお、同図（ａ）～（ｄ）には、便宜上、一部のセグメント領域のみが示されている。
　同図（ａ）には、波長λ１（基準波長）の場合のセグメント領域Ｓ１～Ｓ８が示されている。
　同図（ｂ）には、温度の上昇等により、レーザ光の波長が長波長側にシフトし、波長λ２（λ１＜λ２）になった場合のセグメント領域Ｓ１～Ｓ８が示されている。この場合、図６を参照して説明したように、セグメント領域Ｓ１～Ｓ８は、同図（ａ）の場合に比べ、基準パターン領域の中心から外側に放射状にシフトする。また、基準パターン領域の外周部に近いセグメント領域Ｓ１～Ｓ４の変位量ΔＤｓ１～Ｄｓ４は、基準パターン領域の中心部に近いセグメント領域Ｓ５～Ｓ８の変位量ΔＤｓ５～ΔＤｓ８よりも大きくなる。
　同図（ｃ）には、さらなる温度の上昇等により、レーザ光の波長がさらに長波長側にシフトし、波長λ３（λ１＜λ２＜λ３）となった場合のセグメント領域Ｓ１～Ｓ８が示されている。この場合、セグメント領域Ｓ１～Ｓ８は、同図（ｂ）の場合に比べ、さらに基準パターン領域の外側にシフトする。よって、セグメント領域Ｓ１～Ｓ８の変位量ΔＤｓ’１～ΔＤｓ’８は、同図（ｂ）の場合よりも大きくなる。
　このように、ＤＯＥ１１４を用いた場合、レーザ光の波長が長波長側にシフトするにしたがって、セグメント領域は、外側にシフトする。さらに、基準パターン領域の外側に近いほどセグメント領域の変位量は大きくなる。また、各セグメント領域は、基準パターン領域の中央を中心として、略対称（放射状）に変位する。
　各セグメント領域の変位量は、レーザ光の波長変動に応じたものである。よって、各セグメントのＹ軸方向の位置は、レーザ光の波長をもとに算出可能である。なお、この特性は、回折パターンが形成された層が単層の１枚のＤＯＥであれば同様に現れ、ＤＯＥ１１４の回折パターンによっては異ならない。
　本実施の形態では、上記の特性を利用し、実測時に、セグメント領域のＹ軸方向の変位量を検出し、検出した変位量に応じて、セグメント領域を探索する際の走査ラインをＹ軸方向にオフセットさせる。具体的には、基準テンプレートＴＰの所定のセグメント領域（参照セグメント領域）がＹ軸方向にどの程度変位したかを検出し、この検出結果に応じて、オフセットの方向と量が設定される。
　図８は、オフセットの設定方法を示す図である。
　たとえば、同図（ａ）に示すセグメント領域Ｓ１を参照セグメント領域とする。この場合、同図（ｂ）のように、実測時に、セグメント領域Ｓ１がＳ１’の位置に変位したとすると、基準テンプレートＴＰの最上段のセグメント領域の探索ラインＬ１が上方向にオフセットされ、Ｌ１’が探索ラインとされる。また、中心ラインＯから１段上のセグメント領域の探索ラインＬａが上方向にオフセットされ、Ｌａ’が探索ラインとされる。同様に、中心ラインＯから１段下のセグメント領域の探索ラインＬｂが下方向にオフセットされてＬｂ’が探索ラインとされ、最上段のセグメント領域の探索ラインＬｎが下方向にオフセットされてＬｎ’が探索ラインとされる。
　各段の探索ラインのオフセット量は、中心ラインから離れた段ほど大きくなる。各段の探索ラインのオフセット量は、セグメント領域Ｓ１の変位量から、各段のセグメント領域のＹ軸方向の変位量を算定し、算定した変位量に合うように設定される。中心ラインから上下に同じ距離だけ離れた段の探索ラインのオフセット量は、互いに等しい。なお、上下に隣り合う複数の段に対して、同じシフト量が設定されても良い。ただし、この場合も、オフセット量は、中心ラインから離れた段ほど大きく設定される。
　このように基準テンプレートの各段の探索ラインをシフトさせることにより、実測時にレーザ光に波長変動が生じ、ＣＭＯＳイメージセンサ１２４におけるドットパターンの照射領域が変化しても、各セグメント領域に対するマッチングがエラーとなり難くなる。よって、物体検出が円滑に行われるようになる。
　図８（ｃ）は、探索ラインのオフセットを設定するために用いられるオフセットテーブルＯｔを示す図である。かかるオフセットテーブルＯｔは、予め、メモリ２５に格納されている。
　オフセットテーブルＯｔには、参照セグメント領域のＹ軸方向の変位量（ΔＤｉ）に対応付けて、オフセットパターンが保持される。変位量ΔＤｉは、参照セグメント領域が、基準テンプレートにて規定された位置（基準位置）からＹ軸正方向（拡張方向）とＹ軸負方向（縮小方向）の何れに変位したかを示すために、正負の符号を持っている。この符号が正の場合、参照セグメント領域が基準位置からＹ軸正方向（拡張方向）に変位し、この符号が負の場合、参照セグメント領域が基準位置からＹ軸負方向（縮小方向）に変位することが示される。変位量ΔＤ－１からΔＤ－ｎは負の符号を持ち、変位量ΔＤ１からΔＤｎは正の符号を持つ。オフセットパターンＰｉには、対応する変位量ΔＤｉのときに基準テンプレートＴＰの各段のセグメント領域に適用される探索ラインのオフセット（オフセットの量と方向）が保持される。
　図９は、テンプレート更新時の処理を示す図である。図９の処理は、図２の更新部２１ｂによって行われる。更新部２１ｂは、実測時において、所定の時間間隔で、図９の処理を行う。
　図９（ａ）を参照して、更新部２１ｂは、前回の更新時に温度センサ１１５から取得した温度（前回温度）と現在温度センサ１１５により検出された温度（現在温度）との差分が閾値Ｔｓを超えるかを判定する（Ｓ１０１）。なお、情報取得装置１の起動時には、基準テンプレートＴＰを構成したときの基準温度と現在温度との差分が閾値Ｔｓを超えるかが判定される。
　Ｓ１０１の判定がＹＥＳであれば、テンプレートの更新が行われる（Ｓ１０３）。Ｓ１０１の判定がＮＯであれば、直近の実測時におけるセグメント領域の探索において、探索がエラーとなったセグメント領域の全セグメント領域に対する割合が閾値Ｅｓを超えるかが判定される。Ｓ１０２の判定がＹＥＳであれば、テンプレートの更新が行われ（Ｓ１０３）、ＮＯであれば、テンプレートの更新が終了する。
　図９（ｂ）は、図９（ａ）のＳ１０３における更新処理を示すフローチャートである。図９（ｂ）の処理は、メモリ２５に予め保持された上記基準テンプレートＴＰと、実測時に取得されメモリ２５に展開されたドットパターンの情報とを参照して行われる。基準テンプレートＴＰは、上記のように、基準パターン領域Ｐ０の位置に関する情報と、基準パターン領域Ｐ０に含まれる全画素の画素値と、基準パターン領域Ｐ０をセグメント領域に分割するための情報を含んでいる。以下では、説明の便宜上、ドットパターンをベースに、説明行う。
　図９（ｂ）を参照して、更新部２１ｂは、まず、実測時のＤＰ光のＣＭＯＳイメージセンサ１２４上のドットパターンから、予め設定された参照セグメント領域の変位位置を探索する（Ｓ２０１）。
　本実施の形態では、図１０（ａ）に示す如く、基準テンプレートＴＰの基準パターン領域Ｐ０の最上段のセグメント領域が、参照セグメント領域Ｓｒ１～Ｓｒｎとして設定されている。これら参照セグメント領域Ｓｒ１～Ｓｒｎが、図１０（ｂ）に示す探索領域ＭＡ内のどの位置にあるかが探索される。探索領域ＭＡは、ＣＭＯＳイメージセンサ１２４の受光領域のうち、最上段のみを大きく囲う領域をカバーする。また、探索は、参照セグメント領域Ｓｒ１～Ｓｒｎのそれぞれについて、探索領域ＭＡの全てを照合することにより行われる。すなわち、探索領域ＭＡの最上段に対して探索が行われた後、最上段よりも１画素だけ下にある次の段について探索が行われ、以下同様に、下の段へと探索が行われる。探索は、図５（ｃ）を参照して説明したと同様の方法で行われる。これにより、図１０（ｃ）または図１０（ｄ）に示すように、最上段の参照セグメント領域Ｓｒ１～ＳｒｎのＹ軸方向の変位量Δｄ１～Δｄｎが取得される。
　図９（ｂ）に戻り、Ｓ２０１において、参照セグメント領域Ｓｒ１～ＳｒｎのＹ軸方向の変位量Δｄ１～Δｄｎが取得されると、更新部２１ｂは、取得されたＹ軸方向の変位量Δｄ１～Δｄｎに基づいて、平均Ｙ軸変位量Δｄを算出する（Ｓ２０２）。
　なお、図７に示したように、セグメント領域の変位量は、基準パターン領域Ｐ０の外側に近いほど、大きくなるため、本実施の形態のように最上段に参照セグメント領域Ｓｒ１～Ｓｒｎが設定されるか、もしくは、最下段に参照セグメント領域Ｓｒ１～Ｓｒｎが設定されるのが望ましい。また、参照セグメント領域Ｓｒ１～Ｓｒｎの変位量は、図１０（ｃ）、（ｄ）に示すように、外乱成分等により、誤差を含む可能性があるため、Ｓ２０１、Ｓ２０２にように、所定数の参照セグメント領域のＹ軸変位量を取得し、これらを平均した値をＹ軸方向の変位量とするのが望ましい。
　次に、更新部２１ｂは、取得した平均Ｙ軸変位量Δｄに最も近い変位量ΔＤｉを、図８（ｃ）に示すオフセットテーブルＯｔから抽出する（Ｓ２０３）。そして、更新部２１ｂは、抽出した変位量ΔＤｉに対応するオフセットパターンＰｉを、実測時に用いるオフセットパターンとして設定する（Ｓ２０４）。
　図１１は、オフセット処理の例を示す図である。
　図１１（ａ）は、図１０（ｂ）のＳ２０１にて探索された参照セグメント領域Ｓｒ１～Ｓｒｎの位置が、基準位置からＹ軸正方向に平均変位量Δｄだけ変位した場合を示している。この場合、図１０（ｂ）のＳ２０４によって、平均変位量Δｄに対応するオフセットパターンに応じて、基準パターン領域Ｐ０の各段の探索ラインがオフセットされる。
　たとえば、図１１（ｂ）のように、最上段のセグメント領域は、最上段の位置からオフセット量ΔＬＯ１だけＹ軸正方向にオフセットされた探索ラインＬ１’に沿って探索される。また、上からｊ番目の段のセグメント領域Ｓｐｊを探索する際には、ｊ番目の段の位置からオフセット量ΔＬＯｊだけＹ軸正方向にオフセットされた探索ラインＬｊ’に沿って探索される。このオフセット量ΔＬＯｊは、オフセット量ΔＬＯ１よりも、小さい。また、最下段のセグメント領域Ｓｐｎを探索する際には、最下段の位置からオフセット量ΔＬＯｎだけＹ軸正方向にオフセットされた探索ラインＬｎ’に沿って探索される。このオフセット量ΔＬＯｎは、オフセット量ΔＬＯ１と同程度の値である。
　このように、全ての段の探索ラインがオフセットされ、オフセット後の探索ラインＬ’１～Ｌ’ｎに従って、各段の探索が行われる。これにより、波長が変化し、セグメント領域がＹ軸方向に変位した場合においても、ドットパターンを基準パターン領域Ｐ０の各セグメント領域と円滑に照合することができる。
　以上、本実施の形態によれば、参照セグメント領域の実測時におけるＹ軸方向の変位量に基づいて、各セグメント領域の探索ラインがオフセットされるため、レーザ光のドットパターンが、レーザ光の波長変動によって変化しても、適正に、セグメント領域の探索が行われ得る。よって、検出対象物体までの距離を適正に検出することができる。
　また、本実施の形態では、参照セグメント領域Ｓｒ１～ＳｒｎのＹ軸方向の変位量に応じて、オフセットパターンを抽出して設定するだけで良いため、レーザ光の波長変動に対応するための処理量を削減することができる。
　さらに、本実施の形態では、ベルチェ素子等の温度制御素子により、波長を一定に制御せずとも、適宜、波長変動に応じてオフセットパターンを更新することにより、検出物体までの距離を精度よく測定することができる。よって、物体検出装置のコストダウンと小型化を図ることができる。
　以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、他に種々の変更が可能である。
　たとえば、上記実施の形態では、波長変動が生じた場合に、基準テンプレートＴＰは変更せずに、基準テンプレートの各段のセグメント領域の探索ラインをオフセットさせるようにしたが、基準テンプレートＴＰを波長の変化に応じて変化させるようにしても良い。
　たとえば、図１２（ａ）のように、参照セグメント領域の変位量ΔＤｉと更新テンプレートＴＰ’ｉとを対応付けた更新テーブルＴｒをメモリ２５に保持し、この更新テーブルＴｒを用いて、実動作時に用いるテンプレートを基準テンプレートＴＰから更新テンプレートＴＰ’ｉに切り替えても良い。この場合、更新テンプレートＴＰ’は、基準テンプレートＴＰの各段のセグメント領域が、変位量ΔＤｉに応じて上または下（Ｙ軸正負の方向）にシフトするように構成されている。
　図１２（ｂ）は、本変更例におけるテンプレートの更新処理を示すフローチャートである。この処理は、図９（ａ）のＳ１０３において行われる。
　Ｓ２０１～Ｓ２０３は、図９のＳ２０１～Ｓ２０３と同じである。Ｓ２１０では、Ｓ２０３にて抽出された変位量ΔＤｉに対応する更新テンプレートＴＰ’ｉが、実測時に用いるテンプレートとして設定される。
　本変更例では、図１２（ｂ）のＳ２１０にて更新テンプレートＴＰ’ｉが実測時に用いるテンプレートとして設定されると、更新テンプレートＴＰ’ｉの各段に対応するラインを探索ラインとして、各段のセグメント領域の探索が行われる。これにより、各段の探索ラインが、基準テンプレートＴＰを用いる場合の位置（基準位置）から変位される。
　本変更例によっても、上記実施の形態と同様、レーザ光のドットパターンが、レーザ光の波長変動によって変化しても、適正に、セグメント領域の探索が行われ得る。よって、検出対象物体までの距離を適正に検出することができる。
　また、上記実施の形態では、あらかじめオフセットパターンを変位量ΔＤｉに対応付けて記憶するようにしたが、参照セグメント領域の変位量から、基準テンプレートの各段のセグメント領域のオフセット量を演算により求めるようにしても良い。
　また、上記実施の形態では、基準パターン領域Ｐ０からのＹ軸変位量の測定は、最上ラインのセグメント領域のみについて実施したが、最下ラインや中央のラインについても、あわせてＹ軸変位量を測定してもよい。これにより、Ｙ軸変位量の検出精度を向上させることができる。なお、Ｙ軸変位量の測定は、１つ以上のセグメント領域であればいくつでもよく、たとえば、左上と右上のセグメント領域のみからＹ軸変位量を測定してもよい。
　また、上記実施の形態では、基準テンプレートＴＰが一つだけ用意されたが、異なる波長に適するように基準テンプレートＴＰを複数用意するようにしても良い。この場合、所定の基準テンプレートＴＰについて、範囲ＭＡ（図１０（ｂ）参照）における参照セグメント領域Ｓｒ１～Ｓｒｎの探索を行った結果、参照セグメント領域Ｓｒ１～Ｓｒｎの探索エラーが閾値を超えて発生したような場合に、他の基準テンプレートＴＰを用いて参照セグメント領域Ｓｒ１～Ｓｒｎの探索を行い、探索エラーが閾値以下となった基準テンプレートＴＰを実測時に用いるようにしても良い。
　また、上記実施の形態では、隣り合うセグメント領域が互いに重なることなく区分されたが、所定のセグメント領域と、当該セグメント領域に対し上下左右に隣り合うセグメント領域が、互いに重なる領域を持っていても良い。
　また、基準パターン領域の形状は、上記実施の形態のように長方形である他、正方形等、他の形状であっても良い。また、更新パターン領域の形状も適宜変更可能である。
　さらに、上記実施の形態では、受光素子として、ＣＭＯＳイメージセンサ１２４を用いたが、これに替えて、ＣＣＤイメージセンサを用いることもできる。
　本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
　　　　　１　情報取得装置
　　　１１１　レーザ光源（光源）
　　　１１４　ＤＯＥ（回折光学素子）
　　　１２４　ＣＭＯＳイメージセンサ（受光素子）
　　　　２１　ＣＰＵ
　　　２１ｂ　更新部（広がり検出部、情報取得部）
　　　２１ｃ　３次元距離演算部（情報取得部）
　　　　２５　メモリ（記憶部）

Claims (6)

  1. 　光を用いて目標領域の情報を取得する情報取得装置において、
    　所定波長帯域の光を出射する光源と、
    　前記光を所定のドットパターンにて前記目標領域に照射する回折光学素子と、
    　前記目標領域から反射された反射光を受光して信号を出力する受光素子と、
    　前記受光素子によって受光される前記光の基準パターンに複数のセグメント領域を設定した基準テンプレートを保持する記憶部と、
    　前記受光素子によって受光された前記光の実測パターンから前記セグメント領域に対応する対応領域を探索し、探索した前記対応領域の位置に基づいて、前記目標領域に存在する物体の３次元情報を取得する情報取得部と、
    　前記基準パターンの設定領域に対する前記実測パターンの受光領域の広がり具合の変化を検出する広がり検出部と、を備え、
    　前記情報取得部は、前記光源と前記受光素子の並び方向に平行な探索ラインに沿って、前記実測パターンに対する前記対応領域の探索を実行し、前記広がり検出部によって検出される前記広がり具合の前記変化に応じて、前記各セグメント領域に対する前記探索ラインを、前記変化がないときの基準位置から、前記並び方向に垂直な方向に変位させる、
    ことを特徴とする情報取得装置。
  2. 　請求項１に記載の情報取得装置において、
    　前記情報取得部は、
    　前記基準パターンの受光領域よりも前記実測パターンの受光領域が広がった場合には、前記各セグメント領域を探索するための前記探索ラインを、前記並び方向に垂直な方向に前記設定領域の中心から離れるように、前記各セグメント領域に対する前記基準位置から変位させ、
    　前記基準パターンの受光領域よりも前記実測パターンの受光領域が狭くなった場合には、前記各セグメント領域を探索するための前記探索ラインを、前記並び方向に垂直な方向に前記設定領域の中心に近づくように、前記各セグメント領域に対する前記基準位置から変位させる、
    ことを特徴とする情報取得装置。
  3. 　請求項２に記載の情報取得装置において、
    　前記情報取得部は、前記設定領域の中心に近い前記セグメント領域よりも前記設定領域の中心から遠い前記セグメント領域の方が前記基準位置に対する前記探索ラインの変位量を大きく設定する、
    ことを特徴とする情報取得装置。
  4. 　請求項１ないし３の何れか一項に記載の情報取得装置において、
    　前記広がり検出部は、前記設定領域の中心から前記並び方向に垂直な方向に最も離れた前記セグメント領域が前記実測パターンにおいてどの位置にあるかを探索し、当該探索の結果に基づいて、前記基準パターンの前記設定領域に対する前記実測パターンの前記受光領域の前記広がり具合の変化を検出する、
    ことを特徴とする情報取得装置。
  5. 　請求項１ないし４の何れか一項に記載の情報取得装置において、
    　前記情報取得部は、前記各探索ラインのオフセットパターンを前記広がり具合の前記変化の大きさに対応づけたテーブルを保持し、実測時に、前記広がり検出部により検出された前記変化の大きさに対応する前記オフセットパターンに基づいて、前記各探索ラインを対応する前記基準位置からオフセットさせる、
    ことを特徴とする情報取得装置。
  6. 　請求項１ないし５の何れか一項に記載の情報取得装置を有する物体検出装置。
PCT/JP2011/075384 2011-03-03 2011-11-04 情報取得装置及びその情報取得装置を有する物体検出装置 WO2012117614A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012525801A JP5138115B2 (ja) 2011-03-03 2011-11-04 情報取得装置及びその情報取得装置を有する物体検出装置
CN2011800078301A CN102782447A (zh) 2011-03-03 2011-11-04 物体检测装置及信息取得装置
US13/599,904 US20120326007A1 (en) 2011-03-03 2012-08-30 Object detecting device and information acquiring device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-046852 2011-03-03
JP2011046852 2011-03-03
JP2011-116704 2011-05-25
JP2011116704 2011-05-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/599,904 Continuation US20120326007A1 (en) 2011-03-03 2012-08-30 Object detecting device and information acquiring device

Publications (1)

Publication Number Publication Date
WO2012117614A1 true WO2012117614A1 (ja) 2012-09-07

Family

ID=46757563

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/075384 WO2012117614A1 (ja) 2011-03-03 2011-11-04 情報取得装置及びその情報取得装置を有する物体検出装置

Country Status (4)

Country Link
US (1) US20120326007A1 (ja)
JP (1) JP5138115B2 (ja)
CN (1) CN102782447A (ja)
WO (1) WO2012117614A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018155198A1 (ja) * 2017-02-22 2018-08-30 ソニー株式会社 情報処理装置および方法
US10704904B2 (en) * 2018-03-20 2020-07-07 Pixart Imaging Inc. Distance detection device
CN109631755A (zh) * 2018-12-03 2019-04-16 成都理工大学 大型隧洞结构面迹线激光测量仪
JP7243527B2 (ja) * 2019-08-27 2023-03-22 セイコーエプソン株式会社 制御方法、検出装置および表示装置
CN113379652B (zh) * 2021-08-11 2021-10-22 深圳市先地图像科技有限公司 一种激光成像用的线形图像修正方法、系统及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01318905A (ja) * 1988-06-20 1989-12-25 Omron Tateisi Electron Co マルチ・ビーム・プロジェクタおよびそれを利用した形状認識装置
JPH07329636A (ja) * 1994-06-09 1995-12-19 Yazaki Corp 車両周辺監視装置
JP2004191092A (ja) * 2002-12-09 2004-07-08 Ricoh Co Ltd ３次元情報取得システム
JP2005246033A (ja) * 2004-02-04 2005-09-15 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2006322906A (ja) * 2005-05-20 2006-11-30 Sumitomo Osaka Cement Co Ltd 三次元位置測定装置及びソフトウエアプログラム
WO2008149923A1 (ja) * 2007-06-07 2008-12-11 The University Of Electro-Communications 物体検出装置とそれを適用したゲート装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006170740A (ja) * 2004-12-15 2006-06-29 Kenwood Corp 変位検出装置、マイクロフォン装置、および、変位検出方法
CN102859321A (zh) * 2011-04-25 2013-01-02 三洋电机株式会社 物体检测装置以及信息取得装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01318905A (ja) * 1988-06-20 1989-12-25 Omron Tateisi Electron Co マルチ・ビーム・プロジェクタおよびそれを利用した形状認識装置
JPH07329636A (ja) * 1994-06-09 1995-12-19 Yazaki Corp 車両周辺監視装置
JP2004191092A (ja) * 2002-12-09 2004-07-08 Ricoh Co Ltd ３次元情報取得システム
JP2005246033A (ja) * 2004-02-04 2005-09-15 Sumitomo Osaka Cement Co Ltd 状態解析装置
JP2006322906A (ja) * 2005-05-20 2006-11-30 Sumitomo Osaka Cement Co Ltd 三次元位置測定装置及びソフトウエアプログラム
WO2008149923A1 (ja) * 2007-06-07 2008-12-11 The University Of Electro-Communications 物体検出装置とそれを適用したゲート装置
JP2009014712A (ja) * 2007-06-07 2009-01-22 Univ Of Electro-Communications 物体検出装置とそれを適用したゲート装置
EP2161695A1 (en) * 2007-06-07 2010-03-10 The University of Electro-Communications Object detection device and gate device using the same

Also Published As

Publication number Publication date
US20120326007A1 (en) 2012-12-27
JPWO2012117614A1 (ja) 2014-07-07
CN102782447A (zh) 2012-11-14
JP5138115B2 (ja) 2013-02-06

Similar Documents

Publication Publication Date Title
WO2012137674A1 (ja) 情報取得装置、投射装置および物体検出装置
JP5138116B2 (ja) 情報取得装置および物体検出装置
JP5143312B2 (ja) 情報取得装置、投射装置および物体検出装置
JP5138119B2 (ja) 物体検出装置および情報取得装置
JP5138115B2 (ja) 情報取得装置及びその情報取得装置を有する物体検出装置
JP5214062B1 (ja) 情報取得装置および物体検出装置
JP2012237604A (ja) 情報取得装置、投射装置および物体検出装置
WO2014108976A1 (ja) 物体検出装置
JP5143314B2 (ja) 情報取得装置および物体検出装置
JP2014044113A (ja) 情報取得装置および物体検出装置
WO2012144340A1 (ja) 情報取得装置および物体検出装置
US20140132956A1 (en) Object detecting device and information acquiring device
JP2014052307A (ja) 情報取得装置および物体検出装置
US11575875B2 (en) Multi-image projector and electronic device having multi-image projector
JP2014085257A (ja) 情報取得装置および物体検出装置
WO2013046928A1 (ja) 情報取得装置および物体検出装置
JP5138120B2 (ja) 物体検出装置および情報取得装置
JP2013234956A (ja) 情報取得装置および物体検出装置
JP2014211305A (ja) 物体検出装置および情報取得装置
EP3637044A1 (en) Multi-image projector and electronic device having multi-image projector
WO2013031448A1 (ja) 物体検出装置および情報取得装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180007830.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2012525801

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11859896

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11859896

Country of ref document: EP

Kind code of ref document: A1