WO2019159769A1 - ３次元測定装置、３次元測定方法及びプログラム - Google Patents

３次元測定装置、３次元測定方法及びプログラム Download PDF

Info

Publication number
WO2019159769A1
WO2019159769A1 PCT/JP2019/004146 JP2019004146W WO2019159769A1 WO 2019159769 A1 WO2019159769 A1 WO 2019159769A1 JP 2019004146 W JP2019004146 W JP 2019004146W WO 2019159769 A1 WO2019159769 A1 WO 2019159769A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
pattern
unit
image
dimensional
Prior art date
Application number
PCT/JP2019/004146
Other languages
English (en)
French (fr)
Inventor
松本　慎也
康裕 大西
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to US16/963,245 priority Critical patent/US11321860B2/en
Priority to CN201980007538.6A priority patent/CN111566440B/zh
Priority to EP19754537.9A priority patent/EP3754296B1/en
Publication of WO2019159769A1 publication Critical patent/WO2019159769A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Definitions

  • Patent Document 1 an image in which a pattern is projected onto an object is acquired, a reference component is selected from the image, relative coordinates of pattern components other than the reference component are obtained, and linearity of relative coordinates based on a geometric model is obtained.
  • a method is described for determining the three-dimensional shape of an object that determines the relative depth of the position of the object by transformation.
  • Patent Document 2 captures a first image and a second image of an object projected with an encoded pattern, and searches for a pixel region of the first image along an epipolar line in the second image. A method for obtaining distance data from a two-dimensional image of an object is described.
  • Patent Documents 1 and 2 describe a technique for measuring a three-dimensional shape of a relatively large object such as a person.
  • 3 of the object is described.
  • Dimensional shapes need to be measured with higher resolution. Therefore, it is conceivable to project the pattern with a higher density pattern.
  • the pattern is projected on the slope of the target object and distorted. The inventor has found that there are cases where the contrast is lowered or the pattern is deformed due to the unevenness of the surface of the object, and it is sometimes difficult to measure the three-dimensional shape simply by making the pattern fine. That is, if the pattern is simply made fine, the robustness against fluctuations in imaging conditions is impaired.
  • the present invention provides a three-dimensional measurement apparatus, a three-dimensional measurement method, and a program capable of measuring a three-dimensional shape of an object with higher resolution while improving robustness against fluctuations in imaging conditions.
  • a three-dimensional measurement apparatus captures a light projecting unit that projects a pattern in which data is encoded by a two-dimensional structure on an object, and an image of the object on which the pattern is projected.
  • An imaging unit, and a calculation unit that extracts a feature point of the pattern and calculates a position of a three-dimensional point group representing a three-dimensional shape of the object based on the position of the feature point in the image and the decoded data;
  • the pattern represents at least 2 bits, includes a feature point, includes a plurality of unit patterns of a minimum unit used for calculating the position of the three-dimensional point group, and the unit pattern includes a first area and a first area And an area ratio obtained by dividing the area of the first region by the area of the second region is 0.3 or more and 0.9 or less.
  • the target object may be an arbitrary object, but may be, for example, parts stacked in bulk.
  • the two-dimensional structure of the pattern may be an arbitrary structure, but may be a structure in which unit patterns are laid out in a lattice pattern.
  • the feature point of the pattern may be the center point of the unit pattern, for example.
  • the unit pattern may be a pattern in which an arbitrary pattern is represented by a first area and a second area inside a square, for example.
  • the outer shape of the unit pattern may be a rectangle or a parallelogram.
  • the first area and the second area may be distinguished according to the pixel value of each pixel of the image captured by the imaging unit. For example, the first area and the second area may be distinguished based on the luminance value of the pixel, and the first area and the second area may be distinguished depending on whether the luminance value is equal to or higher than a threshold value.
  • the area ratio between the first region and the second region included in the unit pattern is not less than 0.3 and not more than 0.9.
  • the second region can be identified, feature points of the unit pattern can be extracted, and data represented by the unit pattern can be decoded. Therefore, it is possible to measure the three-dimensional shape of the object with higher resolution while improving the robustness against fluctuations in imaging conditions.
  • the unit pattern is a quadrilateral whose short side is 3 pixels or more and 10 pixels or less on the image.
  • the short side of the unit pattern may be the shortest side among the four sides of the unit pattern.
  • the area ratio of the first region and the second region included in the unit pattern is 0.3 or more and 0.9 or less, and the unit pattern is a quadrilateral whose short side is 3 pixels or more on the image.
  • the area ratio of the first region and the second region included in the unit pattern is 0.3 or more and 0.9 or less, and the unit pattern is a quadrangle having a short side of 10 pixels or less on the image.
  • the area ratio obtained by dividing the area of the first region by the area of the second region on the image may be 0.3 or more and 0.9 or less.
  • the area ratio obtained by dividing the area of the first region of the unit pattern projected by the light projecting unit by the area of the second region is not less than 0.3 and not more than 0.9, thereby improving the robustness against fluctuations in imaging conditions and measuring the three-dimensional shape of the object with higher resolution. can do.
  • the image forming apparatus may further include a setting unit that sets a range of the area ratio of the pattern projected by the light projecting unit according to the number of pixels on the short side of the unit pattern on the image.
  • the unit pattern on the image by setting the area ratio range of the first region and the second region included in the unit pattern according to the number of pixels on the short side of the unit pattern on the image, the unit pattern on the image.
  • the range of the area ratio between the first region and the second region can be set according to the density, and the balance between the resolution for measuring the three-dimensional shape of the object and the robustness against fluctuations in imaging conditions can be adjusted. .
  • the setting unit may set the range of the area ratio to be narrowed as the number of pixels on the short side of the unit pattern on the image decreases.
  • the area ratio range between the first region and the second region can be set to be narrowed, and the resolution for measuring the three-dimensional shape of the target object As the height increases, the range of the area ratio between the first region and the second region can be narrowed down to a range in which robustness against fluctuations in imaging conditions can be ensured. Therefore, it is possible to adjust the balance between the resolution for measuring the three-dimensional shape of the object and the robustness with respect to fluctuations in imaging conditions.
  • the first region and the second region may be distinguished by the brightness of light projected by the light projecting unit.
  • the pattern can be identified even in the imaging unit that captures a monochrome image, and the configuration of the imaging unit is simplified.
  • the cost of the three-dimensional measuring apparatus can be reduced.
  • the first region and the second region may be distinguished by the wavelength band of light projected by the light projecting unit.
  • the first region and the second region by distinguishing the first region and the second region by the wavelength band of light, even if the object is irradiated with white light such as ambient light, the first region and the second region It is difficult to change the difference between the first area and the second area.
  • the first region and the second region may be distinguished by the polarization of the light projected by the light projecting unit.
  • the difference between the first region and the second region is difficult to change, and it becomes easy to identify the first region and the second region.
  • the unit pattern may include a continuous two-dimensional shape without separating the first region.
  • the two-dimensional structure of the unit pattern can be simplified, and the first region and the second region can be easily identified.
  • the unit pattern may include a two-dimensional shape in which the first region is separated with the second region interposed therebetween.
  • various two-dimensional structures can be configured by the unit pattern, and the density of data encoded in the unit pattern can be improved. This can reduce the number of unit patterns that need to be decoded to identify the sequence of patterns, and can match the pattern on the image with the projected pattern with fewer operations.
  • the calculation load in image recognition for measuring the three-dimensional shape of an object can be reduced.
  • the pattern may include a unit pattern including a continuous two-dimensional shape in which the first region is not separated, and a unit pattern including a two-dimensional shape in which the first region is separated with the second region interposed therebetween. Good.
  • the unit pattern it is possible to increase the number of bits that can be represented by the unit pattern by increasing the variation of the two-dimensional structure of the unit pattern, and to improve the density of data encoded by the pattern. Therefore, it is possible to reduce the number of unit patterns that need to be decoded in order to identify the pattern sequence, and to match the pattern on the image with the projected pattern with fewer operations, It is possible to reduce the calculation load in image recognition for measuring the three-dimensional shape.
  • the first region may be separated into two in the unit pattern across the second region.
  • the two-dimensional structure of the unit pattern is made relatively simple, the first area and the second area are easily identified, the amount of data that can be represented by the unit pattern is increased, and the data is encoded by the pattern. Data density can be improved. Therefore, it is possible to reduce the number of unit patterns that need to be decoded in order to identify the pattern sequence, and to match the pattern on the image with the projected pattern with fewer operations, It is possible to reduce the calculation load in image recognition for measuring the three-dimensional shape.
  • the first region may be separated into three or more in the unit pattern with the second region interposed therebetween.
  • the two-dimensional structure of the unit pattern is made relatively complicated, the number of bits that can be represented by the unit pattern is increased, and the position of the unit pattern can be easily specified. Therefore, it is possible to reduce the calculation load in image recognition for measuring the three-dimensional shape of the target object by shortening the window matching processing time while ensuring the robustness with respect to the fluctuation of the imaging condition.
  • the light projecting unit may include a modulation element that modulates the size of the pattern to be projected.
  • the size of the pattern can be modulated in accordance with the unevenness and inclination of the object on which the pattern is projected, and robustness against fluctuations in imaging conditions can be ensured. Also, image recognition for measuring the three-dimensional shape of an object by reducing the number of three-dimensional point groups by increasing the number of short-side pixels on the image by modulating the pattern to increase The calculation load in can be reduced.
  • a three-dimensional measurement method projects a pattern in which data is encoded by a two-dimensional structure onto an object, and captures an image of the object on which the pattern is projected. Extracting a feature point of the pattern, and calculating a position of a three-dimensional point group representing a three-dimensional shape of the object based on the position of the feature point in the image and the decoded data, Represents at least 2 bits, includes feature points, and includes a plurality of unit patterns used to calculate the position of the three-dimensional point group.
  • the unit pattern has a short side of 3 pixels to 10 pixels on the image. It is a quadrilateral.
  • the unit pattern is a quadrilateral having a short side of 3 pixels or more on the image
  • the feature point of the unit pattern is extracted and represented by the unit pattern even when the imaging condition varies. Data can be decrypted.
  • the unit pattern is a quadrilateral with a short side of 10 pixels or less on the image
  • a two-dimensional structure in which data is encoded can be arranged at high density, and the density of extracted feature points is increased. Can be made. Therefore, it is possible to measure the three-dimensional shape of the object with higher resolution while improving the robustness against fluctuations in imaging conditions.
  • a three-dimensional measurement program captures an image of a light projecting unit that projects a pattern in which data is encoded by a two-dimensional structure on an object, and an image of the object on which the pattern is projected And a calculation unit provided in a three-dimensional measuring device including an imaging unit that extracts a feature point of a pattern and determines a three-dimensional shape of the target object based on the position of the feature point in the image and the decoded data.
  • the pattern is operated as a calculation unit that calculates the position of the three-dimensional point group to be expressed, the pattern represents at least 2 bits, includes a feature point, includes a plurality of unit patterns used to calculate the position of the three-dimensional point group, The pattern is a quadrilateral with 3 to 10 pixels on the short side on the image.
  • the unit pattern is a quadrilateral having a short side of 3 pixels or more on the image
  • the feature point of the unit pattern is extracted and represented by the unit pattern even when the imaging condition varies. Data can be decrypted.
  • the unit pattern is a quadrilateral with a short side of 10 pixels or less on the image
  • a two-dimensional structure in which data is encoded can be arranged at high density, and the density of extracted feature points is increased. Can be made. Therefore, it is possible to measure the three-dimensional shape of the object with higher resolution while improving the robustness against fluctuations in imaging conditions.
  • the present invention it is possible to provide a three-dimensional measurement apparatus, a three-dimensional measurement method, and a program capable of measuring a three-dimensional shape of an object with higher resolution while improving robustness against fluctuations in imaging conditions. .
  • FIG. 1 shows the example of the unit pattern comprised by the combination of the figure from which an encoding pattern differs by the light projection part of the three-dimensional measuring apparatus which concerns on this embodiment.
  • the figure which shows the other example of the pattern by which the light projection part of the three-dimensional measuring apparatus which concerns on this embodiment is comprised by the combination of the figure from which an encoding pattern differs, and the area ratio of a 1st area
  • region differs. is there. It is a flowchart of the measurement process of the three-dimensional shape of the target object performed by the three-dimensional measurement apparatus according to the present embodiment. It is a figure which shows the example of the unit pattern projected by the light projection part of the three-dimensional measuring apparatus which concerns on the 1st modification of this embodiment. It is a figure which shows the example of the unit pattern projected by the light projection part of the three-dimensional measuring apparatus which concerns on the 2nd modification of this embodiment.
  • FIG. 1 is a functional block diagram of a three-dimensional measurement apparatus 10 according to an embodiment of the present disclosure.
  • the three-dimensional measuring apparatus 10 captures an image of a light projecting unit 20 that projects a pattern in which data is encoded by a two-dimensional structure and an image of the target object on which the pattern is projected. Based on the three-dimensional point group and the control unit 40 that controls the imaging unit 30, the light projecting unit 20, and the imaging unit 30, and outputs a three-dimensional point group representing the three-dimensional shape of the object based on the captured image. And a recognition unit 50 for recognizing the three-dimensional shape of the object.
  • the three-dimensional measurement apparatus 10 does not necessarily include the recognition unit 50, and the recognition unit 50 may be configured as a separate device that can communicate with the three-dimensional measurement apparatus 10.
  • the target object may be, for example, parts stacked in bulk or an arbitrary object such as a flat part.
  • the light projecting unit 20 may project a pattern that represents at least 2 bits, includes feature points, and includes a plurality of unit patterns used to calculate the position of the three-dimensional point group.
  • the light projecting unit 20 may project a pattern in which quadrilateral unit patterns are laid out in a grid pattern onto an object.
  • the pattern may include a unit pattern having an arbitrary shape.
  • the pattern may include a unit pattern having at least one of a circular shape, a curved surface, a random dot, a grid shape, and a wave shape.
  • the unit patterns may be arranged such that the lattice columns can be specified according to the arrangement order of the unit patterns.
  • the quadrilateral unit pattern may be an arbitrary pattern represented inside a square, for example, but the outer shape of the unit pattern may be a rectangle or a parallelogram.
  • the imaging unit 30 is arranged at a predetermined distance and angle with respect to the light projecting unit 20, and captures an image of an object on which the pattern is projected. In the image, a pattern deformed according to the state of the object such as the position and orientation is captured.
  • the imaging unit 30 may be a single unit, and only needs to capture one image in order to measure the three-dimensional shape of the object.
  • the three-dimensional measuring apparatus 10 may include a plurality of imaging units.
  • the imaging unit 30 may capture one image of the target object or may capture a plurality of images.
  • the control unit 40 extracts the feature points of the pattern, and calculates the position of the three-dimensional point group representing the three-dimensional shape of the target object based on the position of the feature points in the image and the decoded data.
  • the control unit 40 extracts the center of the unit pattern as a feature point, and decodes data represented by the unit pattern based on the two-dimensional shape of the first area and the second area included in the unit pattern.
  • the first region and the second region of the unit pattern are regions that can be distinguished from each other, and may be, for example, regions that are distinguished by the brightness of the projected light.
  • the first area and the second area on the image may be distinguished according to the pixel value of each pixel of the image captured by the imaging unit 30.
  • the first area and the second area may be distinguished based on the luminance value of the pixel, and the first area and the second area may be distinguished depending on whether the luminance value is equal to or higher than a threshold value.
  • the second region is defined as a region having a larger area than the first region.
  • the definitions of the first region and the second region may be reversed, and the first region may be defined as a region having a larger area than the second region.
  • the control unit 40 only needs to extract feature points for the pattern projected within the depth of field of the imaging unit 30, and the feature points for the pattern projected out of depth of field and blurred. It is not necessary to extract. That is, when the distinction between the first area and the second area becomes ambiguous due to the influence of blur, the unit pattern does not have to be used for calculating the position of the three-dimensional point group.
  • control unit 40 decodes the data represented by the adjacent unit pattern for the column to which the pixel of interest belongs on the image, and the column to which the pixel of interest belongs is projected by the light projecting unit 20 based on the data arrangement order. Specify which column of the illuminated pattern corresponds to.
  • the pattern row projected by the light projecting unit 20 is specified, the plane passing through the target through the specified column and the light source of the light projecting unit 20 is specified. Further, a straight line passing through the pixel of interest on the image and the unit pattern corresponding to the pixel of interest among the patterns projected onto the object is specified.
  • the control unit 40 can calculate the position of one point of the three-dimensional point group representing the three-dimensional shape of the object from one unit pattern.
  • the control unit 40 may specify a plurality of unit patterns included in the pattern by window matching, and calculate the position of the three-dimensional point group for each of the specified unit patterns.
  • the control part 40 is good also as specifying not only the row
  • unit patterns encoded with data In order to measure the three-dimensional shape of an object with higher resolution, it is conceivable to arrange unit patterns encoded with data at a higher density and project the pattern onto the object.
  • the size of the unit pattern there is a restriction caused by the resolution of the imaging unit 30, that is, the density of the light receiving elements included in the imaging unit 30. If unit patterns encoded with data are arranged with higher density and the short side of the unit pattern on the image is less than 3 pixels, feature points of the unit pattern are extracted based on the image, It becomes difficult to identify the first area and the second area of the unit pattern, and it becomes difficult to measure the three-dimensional shape. Therefore, the size of the unit pattern is desirably 3 pixels or more on the short side on the image.
  • the short side of the unit pattern is 3 pixels or more on the image, for example, the first region and the second region can be identified by the brightness of the pixel, and the feature point of the unit pattern and the data represented by the unit pattern are decoded. Can do.
  • the short side may be the shortest side among the four sides of the unit pattern.
  • unit patterns encoded with data are arranged with high density, so that the three-dimensional shape of the object can be obtained with higher resolution. Can be measured.
  • the size of the unit pattern on the image may be 9 pixels or less on the short side or 8 pixels or less.
  • the image captured by the imaging unit 30 of the three-dimensional measurement apparatus 10 is a pattern that includes a plurality of unit patterns that are quadrilaterals having a short side of 3 pixels to 10 pixels on the image. It may be an image projected on an object.
  • the inventor increases the density of unit patterns and simply makes the pattern finer when the pattern contrast decreases due to the influence of ambient light or the like, or when the pattern is distorted by being projected onto a slope. It has been found that it is difficult to measure the three-dimensional shape of the object. That is, if the pattern is simply made fine, the robustness against fluctuations in imaging conditions is impaired. In contrast, the inventor has variously changed the shapes of the first region and the second region included in the unit pattern, and verified the robustness with respect to fluctuations in imaging conditions. If the area ratio obtained by dividing the area of the first region by the area of the second region is 0.3 or more and 0.9 or less, the feature points are extracted from the unit pattern even when the imaging condition changes.
  • the area ratio obtained by dividing the area of the first region included in the unit pattern by the area of the second region may be 0.3 or more and 0.9 or less in the pattern projected by the light projecting unit 20, Even on the image picked up by the image pickup unit 30, it may be 0.3 or more and 0.9 or less.
  • noise is added to the first region or the second region, and the area ratio obtained by dividing the area of the first region by the area of the second region is 0.3 or more and 0.9 or less.
  • the noise may be a second region included in the first region of the projected pattern, and may be a second region that is so small that it is not recognized as one pixel on the captured image. Further, the opposite may be applied, that is, the noise is a first region included in the second region of the projected pattern and is so small that it is not recognized as one pixel on the captured image. It may be the first region.
  • the area ratio of the first region and the second region included in the unit pattern is 0.3 or more and 0.9 or less, and the unit pattern has a short side on the image. Since the quadrilateral has three or more pixels, the first area and the second area can be identified even when the imaging condition changes, the feature points of the unit pattern are extracted, and the data represented by the unit pattern Can be decrypted.
  • the area ratio of the first region and the second region included in the unit pattern is 0.3 or more and 0.9 or less, and the unit pattern is a quadrangle having a short side of 10 pixels or less on the image. 2 can be arranged with high density, and the density of extracted feature points and the amount of data to be encoded can be increased. Therefore, it is possible to measure the three-dimensional shape of the object with higher resolution while improving the robustness against fluctuations in imaging conditions.
  • the light projecting unit 20 projects a pattern in which data is encoded by a two-dimensional structure onto an object, and any pattern can be used as the light projecting pattern. A specific example of the pattern will be described in detail later with reference to FIG.
  • the pattern projected by the light projecting unit 20 may be a pattern in which a plurality of unit patterns having a quadrilateral shape are spread, and the unit pattern may include a first area and a second area.
  • the first area and the second area may be distinguished by the brightness of the light projected by the light projecting unit 20.
  • the first region may be defined as a bright region irradiated with light
  • the second region may be defined as a dark region not irradiated with light, or vice versa.
  • the first region and the second region of the unit pattern may be distinguished by the wavelength band of the light projected by the light projecting unit 20.
  • the first region may be defined as a region irradiated with blue light having a wavelength band of about 450 nm
  • the second region may be defined as a region irradiated with red light having a wavelength band of about 650 nm, and vice versa. It may be.
  • the first region is defined as a region irradiated with blue light having a wavelength band of about 450 nm
  • the second region is defined as a region irradiated with yellow light having a wavelength band of about 580 nm. Well, or vice versa.
  • the first region is defined as a region irradiated with blue light having a wavelength band of about 450 nm
  • the second region is defined as a region irradiated with infrared light having a wavelength band of about 1 ⁇ m.
  • the first region and the second region It is difficult to change the difference between the first area and the second area.
  • a combination of wavelength bands in which the difference between the first area and the second area of the unit pattern becomes significant may be selected to identify the first area and the second area.
  • a combination of wavelength bands that makes the difference between the first region and the second region of the unit pattern significant is selected, and the first region and the second region are selected. It is good also as identifying.
  • the first region and the second region of the unit pattern may be distinguished by the polarization of the light projected by the light projecting unit 20.
  • the first region is defined as a region irradiated with light linearly polarized in the first direction
  • the second region is irradiated with light linearly polarized in a second direction orthogonal to the first direction. It may be defined as a region that has been made, and vice versa.
  • the first region is defined as a region irradiated with light that is circularly polarized clockwise with respect to the traveling direction of light, and the second region is opposed to the traveling direction of light. It may be defined as a region irradiated with light that is circularly polarized clockwise, and vice versa.
  • a combination of polarized light that makes the difference between the first region and the second region of the unit pattern become remarkable is selected to identify the first region and the second region. Also good.
  • the polarization of light for example, when the object is irradiated with light such as ambient light on the object such as a black body or a transparent body.
  • the light projecting unit 20 may be a projector that projects an arbitrary fixed pattern, or may be a projector that projects one fixed pattern per unit time by MEMS (Micro Electro-Mechanical Systems) or the like. .
  • the light projecting unit 20 may include a modulation element that modulates the size of the pattern to be projected.
  • the size of the pattern to be projected may be modulated according to the unevenness or inclination of the object. By modulating the size of the pattern according to the state of the object, it is possible to ensure robustness against fluctuations in imaging conditions. Also, image recognition for measuring the three-dimensional shape of an object by reducing the number of three-dimensional point groups by increasing the number of short-side pixels on the image by modulating the pattern to increase The calculation load in can be reduced.
  • the imaging unit 30 captures an image of the object on which the pattern is projected, and may output the captured image to the control unit 40 or to another device.
  • the imaging unit 30 may be disposed at a predetermined distance and angle with the light projecting unit 20.
  • the light projecting direction by the light projecting unit 20 and the imaging direction of the image capturing unit 30 are substantially the same, and are predetermined on the same plane. May be arranged at a distance of.
  • the control unit 40 includes an image input unit 41, an image recording unit 42, a calculation unit 43, a three-dimensional point group output unit 44, and a setting unit 45.
  • the image input unit 41 acquires an image captured by the imaging unit 30 from the imaging unit 30 and inputs the acquired image to the image recording unit 42.
  • the image recording unit 42 records the image captured by the imaging unit 30 in a memory.
  • the calculation unit 43 extracts feature points of the imaged pattern.
  • the calculation unit 43 may extract a feature point for each unit pattern included in the pattern. For example, the calculation unit 43 may extract the center of the unit pattern as the feature point.
  • the calculation unit 43 decodes data represented by the unit pattern based on the two-dimensional shape of the first area and the second area included in the unit pattern. Then, the calculation unit 43 calculates the position of the three-dimensional point group representing the three-dimensional shape of the target object based on the position of the feature point in the image and the decoded data. More specifically, for the unit pattern of interest and the unit pattern adjacent to the unit pattern of interest, the data represented by the unit pattern is decoded, and the column to which the unit pattern of interest belongs is specified based on the data arrangement order.
  • the distance to the object is calculated by triangulation based on the position of the feature point extracted from the unit pattern of interest on the image and the identified column.
  • the calculation unit 43 may specify not only the column to which the unit pattern of interest belongs, but also the row to which the unit pattern of interest belongs, using epipolar constraints. In this manner, the positions of a plurality of points representing the three-dimensional shape of the object can be calculated for a plurality of unit patterns, and the three-dimensional shape of the object can be represented.
  • the 3D point cloud output unit 44 outputs the calculated 3D point cloud data to the recognition unit 50.
  • the three-dimensional point group output unit 44 may output the data of the three-dimensional point group to the display unit or may output the data to an apparatus other than the three-dimensional measurement apparatus 10.
  • the setting unit 45 may set a pattern to be projected by the light projecting unit 20, or may set an aperture, an exposure time, and the like of the imaging unit 30.
  • the setting unit 45 sets the range of the area ratio between the first region and the second region of the unit pattern included in the pattern projected by the light projecting unit 20 according to the number of pixels on the short side of the unit pattern on the image. It's okay. That is, the setting unit 45 sets the area ratio of the first region and the second region to a range of 0.3 or more and 0.9 or less according to the number of pixels on the short side of the unit pattern on the image, It may be narrower than the range of 0.9 or less.
  • the range of the area ratio between the first region and the second region included in the unit pattern according to the number of pixels on the short side of the unit pattern on the image, the density of the unit pattern on the image is increased. Accordingly, the range of the area ratio between the first region and the second region can be set, and the balance between the resolution for measuring the three-dimensional shape of the object and the robustness against the fluctuation of the imaging condition can be adjusted.
  • the setting unit 45 may set the area ratio range of the first region and the second region to be narrowed as the number of pixels on the short side of the unit pattern on the image decreases. For example, when the number of pixels on the short side of the unit pattern on the image is 10, the area ratio between the first region and the second region is set to a range of 0.3 or more and 0.9 or less, and the short of the unit pattern on the image. As the number of pixels on the side becomes smaller than 10 pixels, the area ratio between the first region and the second region may be set to be narrower than the range of 0.3 or more and 0.9 or less.
  • the area ratio range of the first region and the second region can be set to be narrowed, and the resolution for measuring the three-dimensional shape of the object increases. Accordingly, the range of the area ratio between the first region and the second region can be narrowed down to a range in which robustness against fluctuations in imaging conditions can be ensured. Therefore, it is possible to adjust the balance between the resolution for measuring the three-dimensional shape of the object and the robustness with respect to fluctuations in imaging conditions.
  • the recognition unit 50 includes a CAD model storage unit 51, a CAD matching calculation unit 52, and a CAD matching output unit 53.
  • the CAD model storage unit 51 may store a three-dimensional CAD model of the object.
  • the CAD matching calculation unit 52 may perform matching between the three-dimensional point group acquired from the three-dimensional point group output unit 44 and the three-dimensional CAD model of the object stored in the CAD model storage unit 51. Matching between the three-dimensional point group and the three-dimensional CAD model may be performed by an arbitrary algorithm.
  • the CAD matching output unit 53 may output the matching result calculated by the CAD matching calculation unit 52 to a display unit or another device.
  • the light projecting unit 20 may include a light source and a photomask for generating light having a pattern.
  • the light projecting unit 20 may include a laser light source and a diffractive optical element.
  • the light projecting unit 20 includes an optical element that forms a fixed pattern, and DLP (Digital Light Processing), LCD (Liquid Crystal Display), LCOS (Liquid Crystal On Silicon), or MEMS (Micro Electro-Mechanical Systems). ) And the like, and may include a modulation element that modulates the size of the pattern to be projected.
  • the light projecting unit 20 may be configured to cause light from a laser light source to enter a diffractive optical element and generate light having a two-dimensional structure by a diffraction pattern formed on the surface of the diffractive optical element.
  • the light projecting unit 20 may include an arbitrary optical member such as a lens, and the wavelength band of light emitted from the light source is not limited to the visible region, and may be a wavelength region in the infrared region or the ultraviolet region. Good.
  • the imaging unit 30 may be a camera that includes at least a light receiving element that detects light projected by the light projecting unit 20.
  • the imaging unit 30 may include an arbitrary optical member such as a filter that separates wavelengths, a filter that separates polarized light, and other lenses.
  • FIG. 2 is a diagram illustrating a physical configuration of the control unit 40 and the recognition unit 50 of the three-dimensional measurement apparatus 10 according to the present embodiment.
  • the three-dimensional measuring apparatus 10 includes a CPU (Central Processing Unit) 10a corresponding to a calculation unit, a RAM (Random Access Memory) 10b corresponding to a storage unit, and a ROM (Read only Memory) 10c corresponding to a storage unit, It has a unit 10d, an input unit 10e, and a display unit 10f. Each of these components is connected to each other via a bus so that data can be transmitted and received.
  • the three-dimensional measuring apparatus 10 is configured by one computer will be described.
  • the three-dimensional measuring apparatus 10 may be realized by using a plurality of computers.
  • the CPU 10a is a control unit that performs control related to execution of a program stored in the RAM 10b or the ROM 10c, and calculates and processes data.
  • the CPU 10a calculates the position of a three-dimensional point group representing the three-dimensional shape of the target object based on the image of the target object on which the pattern is projected, and performs matching between the three-dimensional point group and the three-dimensional CAD model It is a calculating part which performs (three-dimensional measurement program).
  • the CPU 10a receives various input data from the input unit 10e and the communication unit 10d, and displays the calculation result of the input data on the display unit 10f or stores it in the RAM 10b or the ROM 10c.
  • machine learning related to measurement of a three-dimensional shape is performed by a unit that performs parallel arithmetic processing such as ASIC (Application Specific Specific Integrated Circuit) such as GPU (Graphical Processing Unit) and TPU (Tensor Processing Unit). An operation may be performed.
  • ASIC Application Specific Specific Integrated Circuit
  • GPU Graphics Processing Unit
  • TPU Transistor Processing Unit
  • the RAM 10b can rewrite data in the storage unit, and may be composed of, for example, a semiconductor storage element.
  • the RAM 10b may store data such as a three-dimensional measurement program executed by the CPU 10a, an image of an object acquired from the imaging unit 30, data relating to a calculated three-dimensional point group, and a three-dimensional CAD model of the object. These are examples, and the RAM 10b may store data other than these, or some of them may not be stored.
  • the ROM 10c is capable of reading data out of the storage unit, and may be composed of, for example, a semiconductor storage element.
  • the ROM 10c may store, for example, a three-dimensional measurement program or data that is not rewritten.
  • the communication unit 10d is an interface for connecting the three-dimensional measuring apparatus 10 to other devices.
  • the communication unit 10d is connected to the light projecting unit 20 and the image capturing unit 30 via, for example, a LAN (Local Area Network), and transmits information related to the setting of the pattern to the light projecting unit 20. Information regarding settings such as time or shutter speed may be transmitted.
  • the communication unit 10d may receive an image of the object from the imaging unit 30.
  • the communication unit 10d may be connected to a communication network such as the Internet.
  • the field-programmable gate array (FPGA) controls the light projecting time of the light projecting unit 20, the light modulation element of the light projecting unit 20, and the exposure time and shutter speed of the imaged object 30. You may do it.
  • FPGA field-programmable gate array
  • the input unit 10e receives data input from the user, and may include, for example, a keyboard, a mouse, and a touch panel.
  • the display unit 10f visually displays the calculation result by the CPU 10a, and may be configured by, for example, an LCD (Liquid Crystal Display).
  • the display unit 10f displays, for example, an image of an object captured by the imaging unit 30, displays a calculated three-dimensional point group, or displays a three-dimensional CAD model matched with the three-dimensional point group. You can do it.
  • the three-dimensional measurement program may be provided by being stored in a computer-readable storage medium such as the RAM 10b or the ROM 10c, or may be provided via a communication network connected by the communication unit 10d.
  • various operations described with reference to FIG. 1 are realized by the CPU 10 a executing the three-dimensional measuring program.
  • these physical structures are illustrations, Comprising: It does not necessarily need to be an independent structure.
  • the three-dimensional measuring apparatus 10 may include an LSI (Large-Scale Integration) in which the CPU 10a, the RAM 10b, and the ROM 10c are integrated.
  • FIG. 3 is a diagram illustrating an example of a pattern projected by the light projecting unit 20 of the three-dimensional measurement apparatus 10 according to the present embodiment.
  • the pattern projected by the light projecting unit 20 includes unit patterns U arranged in a grid of N ⁇ M (N and M are arbitrary natural numbers), and n ⁇ m (n is a natural number smaller than N, m includes a coding region A in which unit patterns U arranged in a lattice pattern of a natural number smaller than M are grouped.
  • unit patterns U arranged in a 2 ⁇ 2 lattice form together constitute one coding area A, and one data is decoded from one coding area A.
  • the adjacent coding area A may include the unit pattern U in an overlapping manner.
  • FIG. 4 is a diagram illustrating an example of a unit pattern projected by the light projecting unit 20 of the three-dimensional measurement apparatus 10 according to the present embodiment.
  • a first unit pattern U1, a second unit pattern U2, a third unit pattern U3, and a fourth unit pattern U4 are illustrated.
  • the first unit pattern U1, the second unit pattern U2, the third unit pattern U3, and the fourth unit pattern U4 are patterns including the first region S1 and the second region S2, and are lattice patterns configured by relatively large squares. It has a two-dimensional structure in which one relatively small square is arranged in the center of each.
  • the first unit pattern U1 includes a white first region S1 in the lower left and upper right, and includes a black second region S2 from the upper left to the lower right.
  • the second unit pattern U2 includes a white first region S1 in the upper left and lower right, and includes a black second region S2 from the lower left to the upper right.
  • the third unit pattern U3 includes a black first region S1 in the upper left and lower right, and includes a white second region S2 from the lower left to the upper right.
  • the fourth unit pattern U4 includes a black first region S1 at the lower left and upper right, and includes a white second region S2 from the upper left to the lower right.
  • the area shown in white may be a bright area irradiated with light, and the area shown in black may be a dark area not irradiated with light.
  • the area shown in white may be a dark area where light is not irradiated
  • the area shown in black may be a bright area where light is irradiated.
  • the region shown in white may be, for example, a region irradiated with blue light, and the region shown in black may be a region irradiated with red light, or may be shown in white.
  • the region may be a region irradiated with light linearly polarized in the first direction, and the region shown in black is a region irradiated with light linearly polarized in the second direction orthogonal to the first direction. It may be.
  • the first unit pattern U1, the second unit pattern U2, the third unit pattern U3, and the fourth unit pattern U4 include a two-dimensional shape in which the first region S1 is separated with the second region S2 interposed therebetween. Further, the first unit pattern U1 and the second unit pattern U2 have a shape rotated by 90 °, and the third unit pattern U3 and the fourth unit pattern U4 have a shape rotated by 90 ° with each other. U1 and the fourth unit pattern U4 have shapes reversed from each other in black and white, and the second unit pattern U2 and the third unit pattern U3 have shapes reversed from each other in black and white.
  • the first region S1 is separated with the second region S2 in between, various two-dimensional structures can be formed by the unit pattern, and the density of data encoded in the unit pattern can be improved. it can. This can reduce the number of unit patterns that need to be decoded to identify the sequence of patterns, and can match the pattern on the image with the projected pattern with fewer operations.
  • the calculation load in image recognition for measuring the three-dimensional shape of an object can be reduced.
  • the first region S1 is separated into two in the first unit pattern U1, the second unit pattern U2, the third unit pattern U3, and the fourth unit pattern U4 with the second region S2 in between.
  • the first region S1 is separated from the first unit pattern U1, the second unit pattern U2, the third unit pattern U3, and the fourth unit pattern U4 across the second region S2, but the second region It is not separated into three or more across S2.
  • the two-dimensional structure of the unit pattern can be made relatively simple, and the first region S1 and the second region S2 can be easily identified.
  • the amount of data that can be represented by a unit pattern can be increased, and the density of data encoded by the pattern can be improved. Therefore, it is possible to reduce the number of unit patterns that need to be decoded in order to identify the pattern sequence, and to match the pattern on the image with the projected pattern with fewer operations, It is possible to reduce the calculation load in image recognition for measuring the three-dimensional shape.
  • FIG. 5 is a diagram illustrating an example of patterns that are projected by the light projecting unit 20 of the three-dimensional measurement apparatus 10 according to the present embodiment and that have different area ratios between the first region and the second region.
  • the first pattern P1, the second pattern P2, the third pattern P3, the fourth pattern P4, and the fifth pattern P5 in which the area ratio of the second region is changed are illustrated.
  • the outer shape of the unit pattern is a square, and the lengths of the four sides of the unit pattern are equal.
  • a unit pattern U and feature points F extracted from the unit pattern U are illustrated.
  • the first pattern P1, the second pattern P2, the third pattern P3, the fourth pattern P4, and the fifth pattern P5 are illustrated by enlarging a part of the pattern. Further, although the unit pattern U and the feature point F are illustrated for the first pattern P1, the unit pattern is similarly included for the second pattern P2, the third pattern P3, the fourth pattern P4, and the fifth pattern P5, Feature points are extracted from the unit pattern.
  • the second pattern P2 is an example in which the area ratio obtained by dividing the area of the first region included in the unit pattern by the area of the second region is 21 / 29 ⁇ 0.724.
  • the fourth pattern P4 is an example in which the area ratio obtained by dividing the area of the first region included in the unit pattern by the area of the second region is 5 / 13 ⁇ 0.385.
  • the fifth pattern P5 is an example in which the area ratio obtained by dividing the area of the first region included in the unit pattern by the area of the second region is 0.2.
  • FIG. 6 is a diagram illustrating an example of a pattern disturbed due to a change in imaging conditions.
  • the length of the short side of the unit pattern on the image is 4, 5, and 6 pixels, the contrast of the image is changed, noise is added to the image, the image is smoothed, and the image is affine transformed.
  • variation of imaging conditions is shown.
  • the affine transformation includes enlargement, reduction, and shear deformation of an image related to a specific direction.
  • the first line in FIG. 6, which indicates “no change”, shows a pattern in the case where there is no change in the imaging condition for each of the case where the short side length of the unit pattern on the image is 4 pixels, 5 pixels, and 6 pixels. An example is shown.
  • the pattern shown in the first line includes the four types of unit patterns shown in FIG.
  • This is a condition for adding noise to an image based on the distribution and smoothing the image based on a Gaussian distribution with a standard deviation of 1. From the pattern shown in the third row, the image is disturbed under the second condition, so that it is more difficult to distinguish the first region and the second region than in the case of no variation shown in the first row. Can be confirmed.
  • the third condition is that noise is added to the image based on a Gaussian distribution with a standard deviation of 5
  • the image is smoothed based on a Gaussian distribution with a standard deviation of 1, and 20% expansion is performed in the x-axis direction.
  • This is a condition for performing 30 ° shear deformation in the direction in which the pattern extends. From the pattern shown in the fourth line, the image is disturbed under the third condition, so that it is more difficult to distinguish the first area and the second area than in the case of no change shown in the first line. Can be confirmed.
  • the third condition is that noise is added to the image based on a Gaussian distribution with a standard deviation of 5
  • the image is smoothed based on a Gaussian distribution with a standard deviation of 1, and the image is reduced by 20% in the x-axis direction.
  • This is a condition for performing 30 ° shear deformation in the direction in which the pattern shrinks. From the pattern shown in the fifth row, the image is disturbed under the fourth condition, so that it is more difficult to distinguish the first region and the second region than in the case of no variation shown in the first row. Can be confirmed.
  • FIG. 7 is a graph showing the relationship between the area ratio of the first region and the second region and the success rate when data is decoded from the pattern for the pattern disturbed in the first mode.
  • the case where the short side length of the unit pattern on the image is 10 pixels is indicated by a solid line graph G11
  • the case where the short side length of the unit pattern on the image is 8 pixels is indicated by a broken line graph G12.
  • the length of the short side of the unit pattern on the image is 6 pixels, it is indicated by a one-dot chain line graph G13
  • the length of the short side of the unit pattern on the image is 5 pixels
  • a two-dot chain line graph G14 is shown.
  • the dotted line graph G15 shows the case where the length of the short side of the unit pattern on the image is 4 pixels.
  • This is a pattern obtained by adding noise to an image based on a certain Gaussian distribution and smoothing the image based on a Gaussian distribution having a standard deviation of 1. That is, the pattern disturbed in the first aspect is a pattern that reproduces the case where the image is disturbed due to a decrease in the contrast of the image due to ambient light or the like and the addition of noise to the image sensor of the imaging unit 30.
  • the area ratio of the first region and the second region of the unit pattern is 0.3. It can be seen that the success rate of decoding is 50% or more. Further, the area ratio of the first region and the second region of the unit pattern is approximately in the range of 0.4 to 0.8 regardless of the short side length of the unit pattern from 4 to 10 pixels. , It can be seen that the decoding success rate is 80% or more. In addition, when the length of the short side of the unit pattern is 6 to 10 pixels, if the area ratio of the first region and the second region of the unit pattern is approximately in the range of 0.4 to 0.9, decoding is performed. It can be seen that the success rate is 90% or more.
  • the setting unit 45 changes the range of the area ratio of the first region and the second region of the unit pattern from about 0.4 to 0.9.
  • the area ratio range of the first region and the second region of the unit pattern is set to be narrowed from about 0.4 to 0.8. It is good to do.
  • the area ratio of the first region and the second region included in the unit pattern is 0.3 or more and 0.9 or less, and the unit pattern is a quadrilateral whose short side is 3 pixels or more and 10 pixels or less on the image.
  • the first region and the second region can be identified even when the contrast of the image is reduced due to ambient light or the like, and noise is added to the image pickup device of the image pickup unit 30, and the feature of the unit pattern A point can be extracted and data represented by the unit pattern can be decoded. Therefore, according to the three-dimensional measuring apparatus 10 according to the present embodiment, it is possible to measure the three-dimensional shape of the object with higher resolution while improving the robustness against the fluctuation of the imaging condition.
  • FIG. 8 is a graph showing the relationship between the area ratio of the first region and the second region and the success rate when data is decoded from the pattern for the pattern disturbed in the second mode.
  • the case where the short side length of the unit pattern on the image is 10 pixels is indicated by a solid line graph G21
  • the case where the short side length of the unit pattern on the image is 8 pixels is indicated by a broken line graph G22.
  • the length of the short side of the unit pattern on the image is 6 pixels, it is shown by a one-dot chain line graph G23, and when the length of the short side of the unit pattern on the image is 5 pixels, a two-dot chain line graph G24 is shown.
  • the dotted line graph G25 shows a case where the length of the short side of the unit pattern on the image is 4 pixels.
  • the pattern disturbed in the second mode adds noise to the image based on a Gaussian distribution with a standard deviation of 5, smooths the image based on a Gaussian distribution with a standard deviation of 1, and is 20% in the x-axis direction.
  • This pattern reproduces the case where the image is disturbed by enlarging and performing 20 ° shear deformation in the direction in which the pattern extends. That is, in the pattern disturbed in the second mode, the contrast of the image is lowered by ambient light or the like, noise is added to the image pickup device of the image pickup unit 30, and the pattern is projected on the slope of the object or the background to be distorted. This is a pattern that reproduces the case where the image is disturbed.
  • the area ratio between the first region and the second region of the unit pattern is 0.3. It can be seen that the success rate of decoding is 50% or more. In addition, the area ratio of the first region and the second region of the unit pattern is approximately in the range of 0.4 to 0.9 regardless of the length of the short side of the unit pattern from 4 pixels to 10 pixels. , It can be seen that the success rate of decoding is 70% or more. Further, when the length of the short side of the unit pattern is 5 to 10 pixels, if the area ratio of the first region and the second region of the unit pattern is in the range of about 0.4 to 0.9, decoding is performed. It can be seen that the success rate is 80% or more.
  • the area ratio of the first region and the second region included in the unit pattern is 0.3 or more and 0.9 or less, and the unit pattern is a quadrilateral whose short side is 3 pixels or more and 10 pixels or less on the image.
  • the unit pattern is a quadrilateral whose short side is 3 pixels or more and 10 pixels or less on the image.
  • FIG. 9 is a graph showing the relationship between the area ratio of the first region and the second region and the success rate when data is decoded from the pattern for the pattern disturbed in the third mode.
  • the case where the short side length of the unit pattern on the image is 10 pixels is indicated by a solid line graph G31
  • the case where the short side length of the unit pattern on the image is 8 pixels is indicated by a broken line graph G32.
  • the length of the short side of the unit pattern on the image is 6 pixels, it is shown by a one-dot chain line graph G33, and when the length of the short side of the unit pattern on the image is 5 pixels, a two-dot chain line graph G34 is shown.
  • the dotted line graph G35 shows the case where the length of the short side of the unit pattern on the image is 4 pixels.
  • the pattern disturbed in the third aspect adds noise to the image based on a Gaussian distribution with a standard deviation of 5, smooths the image based on a Gaussian distribution with a standard deviation of 1, and is 20% in the x-axis direction.
  • This is a pattern that reproduces the case where the image is disturbed by performing reduction and performing 20 ° shear deformation in the direction in which the pattern shrinks. That is, in the pattern disturbed in the third mode, the contrast of the image decreases due to ambient light or the like, noise is added to the image sensor of the imaging unit 30, and the pattern is projected on the slope of the object or the background to distort the pattern. This is a pattern that reproduces the case where the image is disturbed.
  • the success rate of decoding is 50% or more.
  • the area ratio of the first region and the second region of the unit pattern is approximately in the range of 0.6 to 0.7 regardless of the length of the short side of the unit pattern from 4 pixels to 10 pixels.
  • the decoding success rate is 90% or more.
  • the length of the short side of the unit pattern is 5 to 10 pixels, if the area ratio of the first region and the second region of the unit pattern is in the range of about 0.4 to 0.8, decoding is performed. It can be seen that the success rate is 90% or more.
  • the area ratio of the first region and the second region included in the unit pattern is 0.3 or more and 0.9 or less, and the unit pattern is a quadrilateral whose short side is 3 pixels or more and 10 pixels or less on the image.
  • the unit pattern is a quadrilateral whose short side is 3 pixels or more and 10 pixels or less on the image.
  • FIG. 10 is a diagram illustrating an example of a unit pattern composed of a combination of figures with different encoding patterns projected by the light projecting unit 20 of the three-dimensional measurement apparatus 10 according to the present embodiment.
  • a fifth unit pattern U11, a sixth unit pattern U12, a seventh unit pattern U13, and an eighth unit pattern U14 are illustrated.
  • the fifth unit pattern U11, the sixth unit pattern U12, the seventh unit pattern U13, and the eighth unit pattern U14 are patterns including the first region S1 and the second region S2, and are composed of combinations of figures having different encoding patterns. As described above, it has a two-dimensional structure configured by combining a rectangular lattice pattern and a circle.
  • the fifth unit pattern U11 includes a white first region S1 at the lower left and upper right, and includes a black second region S2 from the upper left to the lower right.
  • the sixth unit pattern U12 includes a white first region S1 in the upper left and lower right, and includes a black second region S2 from the lower left to the upper right.
  • the seventh unit pattern U13 includes a black first region S1 at the upper left and the lower right, and includes a white second region S2 from the lower left to the upper right.
  • the eighth unit pattern U14 includes a black first region S1 on the lower left and upper right, and includes a white second region S2 from the upper left to the lower right.
  • the area shown in white may be a bright area irradiated with light, and the area shown in black may be a dark area not irradiated with light.
  • the area shown in white may be a dark area where light is not irradiated
  • the area shown in black may be a bright area where light is irradiated.
  • the region shown in white may be, for example, a region irradiated with blue light, and the region shown in black may be a region irradiated with red light, or may be shown in white.
  • the region may be a region irradiated with light linearly polarized in the first direction, and the region shown in black is a region irradiated with light linearly polarized in the second direction orthogonal to the first direction. It may be.
  • FIG. 11 shows a pattern of light that is projected by the light projecting unit 20 of the three-dimensional measuring apparatus 10 according to the present embodiment, is configured by a combination of figures having different encoding patterns, and has a different area ratio between the first region and the second region. It is a figure which shows an example.
  • the figure includes the fifth unit pattern U11, the sixth unit pattern U12, the seventh unit pattern U13, and the eighth unit pattern U14 shown in FIG. 10, without changing the length of the four sides of the unit pattern,
  • the seventh pattern P11, the eighth pattern P12, the ninth pattern P13, and the tenth pattern P14 in which the area ratio of the second region is changed are illustrated. Further, for the seventh pattern P11, a unit pattern U and feature points F extracted from the unit pattern U are illustrated.
  • the seventh pattern P11, the eighth pattern P12, the ninth pattern P13, and the tenth pattern P14 are illustrated by enlarging a part of the pattern.
  • the unit pattern U and the feature point F are illustrated for the seventh pattern P11, the unit pattern is similarly included in the eighth pattern P12, the ninth pattern P13, and the tenth pattern P14. Is extracted.
  • the eighth pattern P12 is an example in which the area ratio obtained by dividing the area of the first region included in the unit pattern by the area of the second region is 21 / 29 ⁇ 0.724.
  • the tenth pattern P14 is an example in which the area ratio obtained by dividing the area of the first region included in the unit pattern by the area of the second region is 5 / 13 ⁇ 0.385.
  • FIG. 12 shows another example pattern including a plurality of unit patterns each having a two-dimensional structure configured by combining a grid pattern configured by a rectangle and a circle so that encoded patterns are configured by a combination of different figures. It is a graph which shows the relationship between the area ratio of the 1st field and the 2nd field, and the success rate at the time of decoding data from a pattern in the case of being disturbed in the 1st mode.
  • the case where the short side length of the unit pattern on the image is 10 pixels is indicated by a solid line graph G41
  • the case where the short side length of the unit pattern on the image is 8 pixels is indicated by a broken line graph G42.
  • the length of the short side of the unit pattern on the image is 6 pixels, it is shown by a one-dot chain line graph G43, and when the length of the short side of the unit pattern on the image is 5 pixels, a two-dot chain line graph G44 is shown.
  • the dotted line graph G45 shows a case where the length of the short side of the unit pattern on the image is 4 pixels.
  • This is a pattern obtained by adding noise to an image based on a certain Gaussian distribution and smoothing the image based on a Gaussian distribution having a standard deviation of 1. That is, the pattern disturbed in the first aspect is a pattern that reproduces the case where the image is disturbed due to a decrease in the contrast of the image due to ambient light or the like and the addition of noise to the image sensor of the imaging unit 30.
  • the area ratio of the first region and the second region of the unit pattern is 0.3. It can be seen that the success rate of decoding is 50% or more. In addition, the area ratio of the first region and the second region of the unit pattern is approximately in the range of 0.4 to 0.7 regardless of the length of the short side of the unit pattern from 4 pixels to 10 pixels. , It can be seen that the decoding success rate is 80% or more. Further, when the length of the short side of the unit pattern is 5 to 10 pixels, if the area ratio of the first region and the second region of the unit pattern is in the range of about 0.4 to 0.8, decoding is performed. It can be seen that the success rate is 90% or more.
  • the setting unit 45 changes the range of the area ratio of the first region and the second region of the unit pattern from about 0.4 to 0.8. If the length of the short side of the unit pattern is 4 pixels, the range of the area ratio of the first region and the second region of the unit pattern is set to be narrowed from about 0.4 to 0.7. Also good.
  • the area ratio of the first region and the second region included in the unit pattern is 0.3 or more and 0.9 or less, and the unit pattern is a quadrilateral whose short side is 3 pixels or more and 10 pixels or less on the image.
  • the first region and the second region can be identified even when the contrast of the image is reduced due to ambient light or the like, and noise is added to the image pickup device of the image pickup unit 30, and the feature of the unit pattern A point can be extracted and data represented by the unit pattern can be decoded. Therefore, according to the three-dimensional measuring apparatus 10 according to the present embodiment, it is possible to measure the three-dimensional shape of the object with higher resolution while improving the robustness against the fluctuation of the imaging condition.
  • FIG. 13 shows another example pattern including a plurality of unit patterns having a two-dimensional structure configured by combining a grid pattern configured by a rectangle and a circle so that encoded patterns are configured by a combination of figures. It is a graph which shows the relationship between the area ratio of a 1st area
  • the case where the short side length of the unit pattern on the image is 10 pixels is shown by a solid line graph G51
  • the case where the short side length of the unit pattern on the image is 8 pixels is shown by a broken line graph G52.
  • a case where the short side length of the unit pattern on the image is 6 pixels is indicated by a one-dot chain line graph G53, and a case where the short side length of the unit pattern on the image is 5 pixels is indicated by a two-dot chain line graph G54.
  • the dotted line graph G55 shows the case where the length of the short side of the unit pattern on the image is 4 pixels.
  • the pattern disturbed in the second mode adds noise to the image based on a Gaussian distribution with a standard deviation of 5, smooths the image based on a Gaussian distribution with a standard deviation of 1, and is 20% in the x-axis direction.
  • This pattern reproduces the case where the image is disturbed by enlarging and performing 20 ° shear deformation in the direction in which the pattern extends. That is, in the pattern disturbed in the second mode, the contrast of the image is lowered by ambient light or the like, noise is added to the image pickup device of the image pickup unit 30, and the pattern is projected on the slope of the object or the background to be distorted. This is a pattern that reproduces the case where the image is disturbed.
  • the area ratio between the first region and the second region of the unit pattern is 0.3. It can be seen that the success rate of decoding is 50% or more. In addition, the area ratio of the first region and the second region of the unit pattern is approximately in the range of 0.4 to 0.7 regardless of the length of the short side of the unit pattern from 4 pixels to 10 pixels. , It can be seen that the decoding success rate is almost 100%. Further, when the length of the short side of the unit pattern is 5 to 10 pixels, if the area ratio of the first region and the second region of the unit pattern is in the range of about 0.4 to 0.9, decoding is performed. It can be seen that the success rate is almost 100%.
  • the area ratio of the first region and the second region included in the unit pattern is 0.3 or more and 0.9 or less, and the unit pattern is a quadrilateral whose short side is 3 pixels or more and 10 pixels or less on the image.
  • the unit pattern is a quadrilateral whose short side is 3 pixels or more and 10 pixels or less on the image.
  • FIG. 14 shows another example pattern including a plurality of unit patterns each having a two-dimensional structure configured by combining a grid pattern configured by a rectangle and a circle so that encoded patterns are configured by a combination of different figures. It is a graph which shows the relationship between the area ratio of a 1st area
  • the case where the short side length of the unit pattern on the image is 10 pixels is shown by a solid line graph G61
  • the case where the short side length of the unit pattern on the image is 8 pixels is shown by a broken line graph G62.
  • the length of the short side of the unit pattern on the image is 6 pixels, it is shown by a one-dot chain line graph G63, and when the length of the short side of the unit pattern on the image is 5 pixels, a two-dot chain line graph G64 is shown.
  • the dotted line graph G65 shows a case where the short side length of the unit pattern on the image is 4 pixels.
  • the pattern disturbed in the third aspect adds noise to the image based on a Gaussian distribution with a standard deviation of 5, smooths the image based on a Gaussian distribution with a standard deviation of 1, and is 20% in the x-axis direction.
  • This is a pattern that reproduces the case where the image is disturbed by performing reduction and performing 20 ° shear deformation in the direction in which the pattern shrinks. That is, in the pattern disturbed in the third mode, the contrast of the image decreases due to ambient light or the like, noise is added to the image sensor of the imaging unit 30, and the pattern is projected on the slope of the object or the background to distort the pattern. This is a pattern that reproduces the case where the image is disturbed.
  • the area ratio of the first region and the second region of the unit pattern is 0.3. It can be seen that the success rate of decoding is 50% or more. In addition, the area ratio of the first region and the second region of the unit pattern is approximately in the range of 0.4 to 0.7 regardless of the length of the short side of the unit pattern from 4 pixels to 10 pixels. , It can be seen that the decoding success rate is 90% or more. Further, when the length of the short side of the unit pattern is 5 to 10 pixels, if the area ratio of the first region and the second region of the unit pattern is in the range of about 0.4 to 0.8, decoding is performed. It can be seen that the success rate is almost 100%.
  • the area ratio of the first region and the second region included in the unit pattern is 0.3 or more and 0.9 or less, and the unit pattern is a quadrilateral whose short side is 3 pixels or more and 10 pixels or less on the image.
  • the unit pattern is a quadrilateral whose short side is 3 pixels or more and 10 pixels or less on the image.
  • Any of the patterns and other example patterns including a plurality of unit patterns having a two-dimensional structure configured by combining a lattice pattern composed of rectangles and circles shown in FIG. 11 are included in the unit pattern If the area ratio between the first area and the second area is 0.3 to 0.9 and the unit pattern is a quadrilateral with a short side of 3 pixels to 10 pixels on the image, data is decoded from the pattern. The success rate when doing so is high enough.
  • the success rate at the time of decoding data from the pattern does not depend on the pattern constituting the two-dimensional structure of the unit pattern, and the area ratio between the first region and the second region included in the unit pattern and the unit on the image The number of pixels on the short side of the pattern is considered important.
  • FIG. 15 is a pattern of light that is projected by the light projecting unit 20 of the three-dimensional measurement apparatus 10 according to the present embodiment, is configured by a combination of graphics with different encoding patterns, and has a different area ratio between the first region and the second region. It is the figure which enumerated the example. In the same figure, the area of the first region when the figure arranged in the center of the unit pattern is “square” for each of the case where the short side length of the unit pattern on the image is 6 pixels, 5 pixels and 4 pixels.
  • the first region is obtained when the figure arranged in the center of the unit pattern is “circular” for each of the cases where the short side length of the unit pattern on the image is 6, 5, and 4 pixels.
  • the area ratio “S1 / S2” obtained by dividing the area of the second area by the area of the second region is changed to “4/5”, “21/29”, “3/5”, and “5/13”. An example is shown.
  • the area ratio S1 / S2 obtained by dividing the area of the first region of the unit pattern by the area of the second region is 0.3 or more and 0.9 or less.
  • the short side is a quadrilateral with 3 to 10 pixels.
  • FIG. 16 is a flowchart of the measurement process of the three-dimensional shape of the object executed by the three-dimensional measurement apparatus 10 according to the present embodiment.
  • the light projecting unit 20 and the image capturing unit 30 may be calibrated prior to the measurement process of the three-dimensional shape of the object.
  • the light projecting unit 20 projects a test pattern, and the image capturing unit 30 performs the calibration.
  • the test pattern is imaged, and the size of the unit pattern included in the test pattern is confirmed on the image, and the amount of light projected by the light projecting unit 20, the aperture of the image capturing unit 30, and the exposure time are adjusted. Or you may.
  • the three-dimensional measurement apparatus 10 sets an area ratio range obtained by dividing the area of the first region of the unit pattern by the area of the second region according to the number of pixels on the short side of the unit pattern on the image (S10).
  • the range of the area ratio may be set so that the range becomes narrower as the number of pixels on the short side of the unit pattern on the image is smaller.
  • the three-dimensional measuring apparatus 10 applies a pattern having a two-dimensional structure in which unit patterns including a first area and a second area having an area ratio included in a set range are laid out in a lattice shape to an object by the light projecting unit 20.
  • the light is projected (S11).
  • the three-dimensional measuring apparatus 10 captures an image of the object on which the pattern is projected by the imaging unit 30 (S12).
  • the imaging unit 30 may capture one image of the object on which the pattern is projected.
  • the three-dimensional measuring apparatus 10 extracts feature points for each unit pattern included in the pattern, and decodes data encoded by the two-dimensional structure of the unit pattern (S13). Then, the three-dimensional measuring apparatus 10 calculates the position of the three-dimensional point group based on the position of the feature point in the image and the decoded data (S14).
  • the three-dimensional measuring apparatus 10 performs matching between the three-dimensional point group and the CAD model (S15). Finally, the three-dimensional measuring apparatus 10 outputs the matched result (S16). The three-dimensional shape measurement process is thus completed. Note that the matching between the three-dimensional point group and the CAD model and the output of the result may be omitted, and the three-dimensional measuring apparatus 10 outputs the calculated three-dimensional point group position to measure the three-dimensional shape. May end.
  • FIG. 17 is a diagram illustrating an example of a unit pattern projected by the light projecting unit 20 of the three-dimensional measurement apparatus 10 according to the first modification of the present embodiment.
  • a first unit pattern group U20 including examples of eight unit patterns and a second unit pattern group U30 including examples of eight unit patterns are shown.
  • the first region S1 and the second region S2 are illustrated for the example of the unit pattern shown in the upper left of the first unit pattern group U20. As illustrated, the first region S1 may be separated into three or more in the unit pattern with the second region S2 interposed therebetween.
  • the area ratio obtained by dividing the area of the first region S1 by the area of the second region S2 may be 0.3 or more and 0.9 or less.
  • first region S1 and the second region S2 are illustrated for the example of the unit pattern shown in the upper left of the second unit pattern group U30. As illustrated, the first region S1 may be separated into three or more in the unit pattern with the second region S2 interposed therebetween.
  • the area ratio obtained by dividing the area of the first region S1 by the area of the second region S2 may be 0.3 or more and 0.9 or less.
  • the number of bits that can be represented by a unit pattern by relatively complicating the two-dimensional structure of the unit pattern by separating the first region S1 into three or more with the second region S2 in between in the unit pattern And the position of the unit pattern can be easily specified. Therefore, it is possible to reduce the number of unit patterns that need to be decoded in order to identify a pattern row, while ensuring robustness against fluctuations in imaging conditions, shorten the window matching processing time, It is possible to reduce a calculation load in image recognition for measuring a three-dimensional shape.
  • FIG. 18 is a diagram illustrating an example of a unit pattern projected by the light projecting unit 20 of the three-dimensional measurement apparatus 10 according to the second modification of the present embodiment.
  • a third unit pattern group U40 including an example of 13 unit patterns is shown.
  • the first region S1 and the second region S2 are illustrated for the example of the unit pattern shown in the upper left of the third unit pattern group U40.
  • the unit pattern may include a continuous two-dimensional shape without separation of the first region S1.
  • the first region S1 is a region surrounded by the second region S2.
  • the area ratio obtained by dividing the area of the first region S1 by the area of the second region S2 may be 0.3 or more and 0.9 or less.
  • the two-dimensional structure of the unit pattern can be simplified and the first region S1 and the second region S2 can be easily identified.
  • first region S1 and the second region S2 are illustrated for the example of the unit pattern shown in the lower left of the third unit pattern group U40. As illustrated, the first region S1 may be separated into three or more in the unit pattern with the second region S2 interposed therebetween.
  • the area ratio obtained by dividing the area of the first region S1 by the area of the second region S2 may be 0.3 or more and 0.9 or less.
  • the number of bits that can be represented by a unit pattern by relatively complicating the two-dimensional structure of the unit pattern by separating the first region S1 into three or more with the second region S2 in between in the unit pattern And the density of the data encoded by the pattern can be further improved. Therefore, it is possible to reduce the number of unit patterns that need to be decoded in order to identify a pattern sequence while ensuring robustness against fluctuations in imaging conditions, and to perform image recognition for measuring the three-dimensional shape of an object.
  • the calculation load in can be reduced.
  • the pattern projected onto the object by the light projecting unit 20 includes a unit pattern including a continuous two-dimensional shape without separating the first region, and the first region, And a unit pattern including a two-dimensional shape separated across the second region.
  • the pattern it is possible to increase the number of bits that can be represented by the unit pattern by increasing the variation of the two-dimensional structure of the unit pattern, and to improve the density of the data encoded by the pattern. Therefore, it is possible to reduce the number of unit patterns that need to be decoded in order to identify the pattern sequence, and to match the pattern on the image with the projected pattern with fewer operations, It is possible to reduce the calculation load in image recognition for measuring the three-dimensional shape.
  • FIG. 19 is a diagram illustrating an example of a pattern projected by the light projecting unit 20 of the three-dimensional measurement apparatus 10 according to the third modification of the present embodiment.
  • the coding area A is configured by arranging unit patterns U51, unit patterns U52, and unit patterns U53 in a 2 ⁇ 2 lattice pattern,
  • the pattern U54, the unit pattern U55, and the unit pattern U56 are arranged in a 2 ⁇ 2 lattice pattern.
  • One piece of data may be decoded from one coding area A, and 4-bit information can be represented by the four coding areas A shown in this example.
  • the first area S1 and the second area S2 are illustrated for the unit pattern U51 shown in the upper left of the encoding area A.
  • the unit pattern may include a continuous two-dimensional shape without separation of the first region S1.
  • the area ratio obtained by dividing the area of the first region S1 by the area of the second region S2 may be 0.3 or more and 0.9 or less.
  • FIG. 20 is a diagram illustrating an example of a pattern projected by the light projecting unit 20 of the three-dimensional measurement apparatus 10 according to the fourth modification example of the present embodiment.
  • the coding area A is configured by arranging unit patterns U61, unit patterns U62, and unit patterns U63 in a 2 ⁇ 2 grid, Pattern U64, unit pattern U62, and unit pattern U63 are arranged in a 2 ⁇ 2 grid, or unit pattern U65, unit pattern U62, and unit pattern U63 are arranged in a 2 ⁇ 2 grid.
  • the unit pattern U66, the unit pattern U62, and the unit pattern U63 are arranged in a 2 ⁇ 2 lattice pattern.
  • One piece of data may be decoded from one coding area A, and 4-bit information can be represented by the four coding areas A shown in this example.
  • the first area S1 and the second area S2 are illustrated for the unit pattern U61 shown in the upper left of the encoding area A.
  • the unit pattern may include a continuous two-dimensional shape without separation of the first region S1.
  • the area ratio obtained by dividing the area of the first region S1 by the area of the second region S2 may be 0.3 or more and 0.9 or less.
  • FIG. 21 is a diagram illustrating an example of a unit pattern projected by the light projecting unit 20 of the three-dimensional measurement apparatus 10 according to the fifth modification example of the present embodiment.
  • the unit pattern U70 and the unit pattern U71 include a grid-like lattice pattern, and the thicknesses of the lattices are different.
  • the area ratio obtained by dividing the area of the first region S1 by the area of the second region S2 is changed by changing the thickness of the lattice.
  • the first region S1 is divided into three or more, specifically, nine in the unit pattern U70 and the unit pattern U71 with the second region S2 in between. Also in this example, the area ratio obtained by dividing the area of the first region S1 by the area of the second region S2 may be 0.3 or more and 0.9 or less.
  • the number of bits that can be represented by a unit pattern by relatively complicating the two-dimensional structure of the unit pattern by separating the first region S1 into three or more with the second region S2 in between in the unit pattern And the density of the data encoded by the pattern can be further improved. Therefore, it is possible to reduce the number of unit patterns that need to be decoded in order to identify a pattern sequence while ensuring robustness against fluctuations in imaging conditions, and to perform image recognition for measuring the three-dimensional shape of an object.
  • the calculation load in can be reduced.
  • the pattern represents at least 2 bits, includes the feature points, and includes a plurality of minimum unit patterns used to calculate the position of the three-dimensional point group,
  • the unit pattern includes a first region and a second region which is distinguished from the first region and has a larger area than the first region,
  • the area ratio obtained by dividing the area of the first region by the area of the second region is not less than 0.3 and not more than 0.9.
  • the unit pattern is a quadrilateral having a short side of 3 pixels or more and 10 pixels or less on the image.
  • the three-dimensional measuring apparatus (10) according to appendix 1.
  • the three-dimensional measuring apparatus (10) according to any one of appendices 1 to 3.
  • the setting unit (45) sets the range of the area ratio to be narrowed as the number of pixels on the short side of the unit pattern on the image decreases.
  • the three-dimensional measuring apparatus (10) according to appendix 4.
  • the first area and the second area are distinguished by light and darkness of light projected by the light projecting unit (20).
  • the three-dimensional measuring apparatus (10) according to any one of appendices 1 to 5.
  • the first region and the second region are distinguished by a wavelength band of light projected by the light projecting unit (20).
  • the three-dimensional measuring apparatus (10) according to any one of appendices 1 to 5.
  • the first region and the second region are distinguished by the polarization of light projected by the light projecting unit (20).
  • the three-dimensional measuring apparatus (10) according to any one of appendices 1 to 5.
  • the unit pattern includes a continuous two-dimensional shape in which the first region is not separated.
  • the three-dimensional measuring apparatus (10) according to any one of appendices 1 to 8.
  • the unit pattern includes a two-dimensional shape in which the first region is separated with the second region interposed therebetween.
  • the three-dimensional measuring apparatus (10) according to any one of appendices 1 to 8.
  • the pattern includes the unit pattern including a continuous two-dimensional shape without separation of the first region, and the unit pattern including a two-dimensional shape of the first region separated across the second region. Including, The three-dimensional measuring apparatus (10) according to any one of appendices 1 to 8.
  • the light projecting unit (20) includes a modulation element that modulates the size of the pattern to be projected.
  • the three-dimensional measuring device (10) according to any one of appendices 1 to 13.
  • the pattern represents at least 2 bits, includes the feature points, and includes a plurality of minimum unit patterns used to calculate the position of the three-dimensional point group,
  • the unit pattern includes a first region and a second region which is distinguished from the first region and has a larger area than the first region,
  • the area ratio obtained by dividing the area of the first region by the area of the second region is not less than 0.3 and not more than 0.9. 3D measurement program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)

Abstract

撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することのできる３次元測定装置等を提供する。３次元測定装置は、対象物に、データが符号化されたパターンを投光する投光部と、パターンが投光された対象物の画像を撮像する撮像部と、特徴点の位置及び復号されたデータに基づいて、３次元点群の位置を算出する算出部と、を備え、パターンは、少なくとも２ビットを表し、３次元点群の位置を算出するために用いられる単位パターンを複数含み、単位パターンは、第１領域と、第１領域よりも面積の大きい第２領域とを含み、第１領域と第２領域の面積比は、０．３以上０．９以下である。

Description

３次元測定装置、３次元測定方法及びプログラム
　３次元測定装置、３次元測定方法及びプログラムに関する。
　近年、対象物に符号化されたパターンやランダムドットパターンを投光し、当該パターンが投光された対象物を撮像した画像を解析することにより、対象物の３次元形状を測定するシステムが用いられている。
　下記特許文献１には、オブジェクトにパターンが投光された画像を取得し、画像から基準成分を選択して、基準成分以外のパターン成分の相対座標を求め、幾何学モデルに基づく相対座標の線形変換によりオブジェクトの位置の相対的な深さを決定する、オブジェクトの３次元形状を決定する方法が記載されている。
　下記特許文献２には、符号化されたパターンが投光されたオブジェクトの第１画像及び第２画像を撮像し、第２画像におけるエピポーラ線に沿って第１画像の画素領域を探索することで、オブジェクトの２次元画像から距離データを取得する方法が記載されている。
米国特許第６５１０２４４号明細書 米国特許第８２０８７１９号明細書
　特許文献１及び２では、人物等の比較的大きな対象物の３次元形状を測定する技術が記載されているが、比較的小さな対象物の３次元形状を測定する場合には、対象物の３次元形状をより高解像度で測定する必要がある。そこで、パターンをより高密度として対象物に投光することが考えられる。しかしながら、バラ積みされた部品等の比較的小さな対象物の３次元形状を測定する場合、パターンが対象物の斜面に投光されて歪んだり、環境光等や対象物のテクスチャの影響によりパターンのコントラストが低下したり、対象物の表面の凹凸によりパターンが変形したりすることがあり、パターンを単に細かくするだけでは３次元形状の測定が困難な場合があることを発明者は見出した。すなわち、パターンを単に細かくするだけでは、撮像条件の変動に対するロバスト性が損なわれてしまう。
　そこで、本発明は、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することのできる３次元測定装置、３次元測定方法及びプログラムを提供する。
　本開示の一態様に係る３次元測定装置は、対象物に、２次元構造によってデータが符号化されたパターンを投光する投光部と、パターンが投光された対象物の画像を撮像する撮像部と、パターンの特徴点を抽出して、画像における特徴点の位置及び復号されたデータに基づいて、対象物の３次元形状を表す３次元点群の位置を算出する算出部と、を備え、パターンは、少なくとも２ビットを表し、特徴点を含み、３次元点群の位置を算出するために用いられる最小単位の単位パターンを複数含み、単位パターンは、第１領域と、第１領域と区別され、第１領域よりも面積の大きい第２領域とを含み、第１領域の面積を第２領域の面積で割った面積比は、０．３以上０．９以下である。ここで、対象物は、任意の物体であってよいが、例えばバラ積みされた部品であってよい。また、パターンの２次元構造は、任意の構造であってよいが、単位パターンが格子状に敷き詰められた構造であってよい。パターンの特徴点は、例えば単位パターンの中心点であってよい。また、単位パターンは、例えば正方形の内部に第１領域と第２領域によって任意の模様が表されたものであってよい。なお、単位パターンの外形は長方形であったり、平行四辺形であったりしてもよい。また、第１領域及び第２領域は、撮像部により撮像された画像の各画素の画素値に応じて区別されてよい。例えば、画素の輝度値によって第１領域及び第２領域を区別してよく、輝度値が閾値以上であるか否かによって、第１領域及び第２領域を区別してよい。
　この態様によれば、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であることで、撮像条件が変動した場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。そのため、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。
　上記態様において、単位パターンは、画像上で、短辺が３画素以上１０画素以下の四辺形である。ここで、単位パターンの短辺は、単位パターンの四辺のうち最も短い辺であってよい。
　この態様によれば、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上の四辺形であることで、撮像条件が変動した場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。また、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が１０画素以下の四辺形であることで、データが符号化された２次元構造を高密度で配列することができ、抽出される特徴点の密度を増大させることができる。そのため、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。
　上記態様において、画像上で、第１領域の面積を第２領域の面積で割った面積比は、０．３以上０．９以下であってよい。
　この態様によれば、投光部により投光される単位パターンの第１領域の面積を第２領域の面積で割った面積比のみならず、撮像部により撮像される単位パターンにおいて第１領域の面積を第２領域の面積で割った面積比が、０．３以上０．９以下であることで、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。
　上記態様において、画像上における単位パターンの短辺の画素数に応じて、投光部により投光するパターンの面積比の範囲を設定する設定部をさらに備えてもよい。
　この態様によれば、画像上における単位パターンの短辺の画素数に応じて、単位パターンに含まれる第１領域と第２領域の面積比の範囲を設定することで、画像上における単位パターンの密度に応じて第１領域と第２領域の面積比の範囲を設定することができ、対象物の３次元形状を測定する解像度と、撮像条件の変動に対するロバスト性のバランスを調整することができる。
　上記態様において、設定部は、画像上における単位パターンの短辺の画素数が少なくなるに従って、面積比の範囲を狭めるように設定してもよい。
　この態様によれば、画像上における単位パターンの密度が高くなるに従って、第１領域と第２領域の面積比の範囲を狭めるように設定することができ、対象物の３次元形状を測定する解像度が高くなるに従って、第１領域と第２領域の面積比の範囲を撮像条件の変動に対するロバスト性が確保できるような範囲に絞っていくことができる。そのため、対象物の３次元形状を測定する解像度と、撮像条件の変動に対するロバスト性のバランスを調整することができる。
　上記態様において、第１領域及び第２領域は、投光部により投光される光の明暗で区別されてもよい。
　この態様によれば、光の明暗で第１領域及び第２領域を区別することで、モノクロの画像を撮像する撮像部であってもパターンを識別することができ、撮像部の構成を簡素化して３次元測定装置のコストを低減することができる。
　上記態様において、第１領域及び第２領域は、投光部により投光される光の波長帯で区別されてもよい。
　この態様によれば、光の波長帯で第１領域及び第２領域を区別することで、環境光等の白色光が対象物に照射された場合であっても、第１領域及び第２領域の差が変化しづらく、第１領域及び第２領域を識別することが容易となる。
　上記態様において、第１領域及び第２領域は、投光部により投光される光の偏光で区別されてもよい。
　この態様によれば、光の偏光で第１領域及び第２領域を区別することで、環境光等の光が対象物に照射された場合であっても、第１領域及び第２領域の差が変化しづらく、第１領域及び第２領域を識別することが容易となる。
　上記態様において、単位パターンは、第１領域が分離せず連続した２次元形状を含んでもよい。
　この態様によれば、単位パターンの２次元構造を単純化して、第１領域及び第２領域の識別を容易とすることができる。
　上記態様において、単位パターンは、第１領域が、第２領域を挟んで分離した２次元形状を含んでもよい。
　この態様によれば、単位パターンによって様々な２次元構造を構成することができ、単位パターンに符号化されたデータの密度を向上させることができる。これにより、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、より少ない演算で画像上のパターンと投光されたパターンとのマッチングをすることができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。
　上記態様において、パターンは、第１領域が分離せず連続した２次元形状を含む単位パターンと、第１領域が、第２領域を挟んで分離した２次元形状を含む単位パターンと、を含んでもよい。
　この態様によれば、単位パターンの２次元構造のバリエーションを増加させて、単位パターンによって表すことのできるビット数を増やし、パターンによって符号化されたデータの密度を向上させることができる。そのため、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、より少ない演算で画像上のパターンと投光されたパターンとのマッチングをすることができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。
　上記態様において、第１領域は、単位パターンにおいて、第２領域を挟んで２つに分離していてもよい。
　この態様によれば、単位パターンの２次元構造を比較的単純にして、第１領域及び第２領域の識別を容易としつつ、単位パターンによって表すことのできるデータ量を増やし、パターンによって符号化されたデータの密度を向上させることができる。そのため、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、より少ない演算で画像上のパターンと投光されたパターンとのマッチングをすることができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。
　上記態様において、第１領域は、単位パターンにおいて、第２領域を挟んで３つ以上に分離していてもよい。
　この態様によれば、単位パターンの２次元構造を比較的複雑にして、単位パターンによって表すことのできるビット数が増え、単位パターンの位置の特定が容易になる。そのため、撮像条件の変動に対するロバスト性を確保しながら、ウィンドウマッチングの処理時間を短くして、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。
　上記態様において、投光部は、投光するパターンの大きさを変調させる変調素子を含んでよい。
　この態様によれば、パターンが投光される対象物の凹凸や傾きに応じてパターンの大きさを変調し、撮像条件の変動に対するロバスト性を確保することができる。また、パターンを大きくするように変調して、画像上における短辺の画素数を大きくすることで、３次元点群の数を少なくして、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。
　本開示の他の態様に係る３次元測定方法は、対象物に、２次元構造によってデータが符号化されたパターンを投光することと、パターンが投光された対象物の画像を撮像することと、パターンの特徴点を抽出して、画像における特徴点の位置及び復号されたデータに基づいて、対象物の３次元形状を表す３次元点群の位置を算出することと、を含み、パターンは、少なくとも２ビットを表し、特徴点を含み、３次元点群の位置を算出するために用いられる単位パターンを複数含み、単位パターンは、画像上で、短辺が３画素以上１０画素以下の四辺形である。
　この態様によれば、単位パターンが画像上において短辺が３画素以上の四辺形であることで、撮像条件が変動した場合であっても、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。また、単位パターンが画像上において短辺が１０画素以下の四辺形であることで、データが符号化された２次元構造を高密度で配列することができ、抽出される特徴点の密度を増大させることができる。そのため、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。
　本開示の他の態様に係る３次元測定プログラムは、対象物に、２次元構造によってデータが符号化されたパターンを投光する投光部と、パターンが投光された対象物の画像を撮像する撮像部と、を備える３次元測定装置に備えられた演算部を、パターンの特徴点を抽出して、画像における特徴点の位置及び復号されたデータに基づいて、対象物の３次元形状を表す３次元点群の位置を算出する算出部として動作させ、パターンは、少なくとも２ビットを表し、特徴点を含み、３次元点群の位置を算出するために用いられる単位パターンを複数含み、単位パターンは、画像上で、短辺が３画素以上１０画素以下の四辺形である。
　この態様によれば、単位パターンが画像上において短辺が３画素以上の四辺形であることで、撮像条件が変動した場合であっても、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。また、単位パターンが画像上において短辺が１０画素以下の四辺形であることで、データが符号化された２次元構造を高密度で配列することができ、抽出される特徴点の密度を増大させることができる。そのため、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。
　本発明によれば、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することのできる３次元測定装置、３次元測定方法及びプログラムを提供することができる。
本開示の実施形態に係る３次元測定装置の機能ブロック図である。 本実施形態に係る３次元測定装置の制御部及び認識部の物理的構成を示す図である。 本実施形態に係る３次元測定装置の投光部により投光されるパターンの一例を示す図である。 本実施形態に係る３次元測定装置の投光部により投光される単位パターンの例を示す図である。 本実施形態に係る３次元測定装置の投光部により投光される、第１領域及び第２領域の面積比が異なるパターンの例を示す図である。 撮像条件の変動により乱れたパターンの例を示す図である。 第１態様で乱されたパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。 第２態様で乱されたパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。 第３態様で乱されたパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。 本実施形態に係る３次元測定装置の投光部により投光される、符号化パターンが異なる図形の組み合わせで構成される単位パターンの例を示す図である。 本実施形態に係る３次元測定装置の投光部により投光され、符号化パターンが異なる図形の組み合わせで構成され、第１領域及び第２領域の面積比が異なるパターンの他の例を示す図である。 第１態様で乱された他の例のパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。 第２態様で乱された他の例のパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。 第３態様で乱された他の例のパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。 本実施形態に係る３次元測定装置の投光部により投光され、符号化パターンが異なる図形の組み合わせで構成され、第１領域及び第２領域の面積比が異なるパターンの例を列挙した図である。 本実施形態に係る３次元測定装置により実行される対象物の３次元形状の測定処理のフローチャートである。 本実施形態の第１変形例に係る３次元測定装置の投光部により投光される単位パターンの例を示す図である。 本実施形態の第２変形例に係る３次元測定装置の投光部により投光される単位パターンの例を示す図である。 本実施形態の第３変形例に係る３次元測定装置の投光部により投光されるパターンの例を示す図である。 本実施形態の第４変形例に係る３次元測定装置の投光部により投光されるパターンの例を示す図である。 本実施形態の第５変形例に係る３次元測定装置の投光部により投光される単位パターンの例を示す図である。
　以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
　§１　適用例
　まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本開示の実施形態に係る３次元測定装置１０の機能ブロック図である。本実施形態に係る３次元測定装置１０は、対象物に、２次元構造によってデータが符号化されたパターンを投光する投光部２０と、パターンが投光された対象物の画像を撮像する撮像部３０と、投光部２０及び撮像部３０を制御し、撮像された画像に基づいて対象物の３次元形状を表す３次元点群を出力する制御部４０と、３次元点群に基づいて、対象物の３次元形状を認識する認識部５０とを備える。なお、３次元測定装置１０は、必ずしも認識部５０を備えなくてもよく、認識部５０は、３次元測定装置１０と通信可能な別体の装置で構成されてもよい。また、対象物は、例えばバラ積みされた部品であってよいし、平置きされた部品等の任意の物であってよい。
　投光部２０は、少なくとも２ビットを表し、特徴点を含み、３次元点群の位置を算出するために用いられる単位パターンを複数含むパターンを対象物に投光してよい。投光部２０は、例えば、四辺形の単位パターンが格子状に敷き詰められたパターンを対象物に投光してよい。もっとも、パターンは任意の形状の単位パターンを含んでよく、例えば、円形、曲面、ランダムドット、グリッド状及び波状のうち少なくともいずれかの形状の単位パターンを含んでもよい。また、単位パターンは、単位パターンの並び順によって格子の列を特定可能に配列されていてよい。四辺形の単位パターンは、また、例えば正方形の内部に任意の模様が表されたものであってよいが、単位パターンの外形は長方形であったり、平行四辺形であったりしてもよい。
　撮像部３０は、投光部２０に対して所定の距離及び角度で配置され、パターンが投光された対象物の画像を撮像する。画像には、対象物の位置や方位等の状態に応じて変形したパターンが撮像される。撮像部３０は、一台であってよく、対象物の３次元形状を測定するために一枚の画像を撮像すればよい。もっとも、３次元測定装置１０は、複数の撮像部を備えるものであってもよい。また、撮像部３０は、対象物の画像を１枚撮像するものであってもよいし、複数枚撮像するものであってもよい。
　制御部４０は、パターンの特徴点を抽出して、画像における特徴点の位置及び復号されたデータに基づいて、対象物の３次元形状を表す３次元点群の位置を算出する。本実施形態では、制御部４０は、単位パターンの中心を特徴点として抽出し、単位パターンに含まれる第１領域及び第２領域の２次元形状に基づいて、単位パターンが表すデータを復号する。ここで、単位パターンの第１領域及び第２領域は、互いに区別可能な領域であり、例えば、投光される光の明暗によって区別される領域であってよい。また、画像上の第１領域及び第２領域は、撮像部３０により撮像された画像の各画素の画素値に応じて区別されてよい。例えば、画素の輝度値によって第１領域及び第２領域を区別してよく、輝度値が閾値以上であるか否かによって、第１領域及び第２領域を区別してよい。本実施形態では、第２領域は、第１領域よりも面積の大きい領域であると定義する。なお、第１領域及び第２領域の定義は逆であってもよく、第１領域が、第２領域よりも面積の大きい領域であると定義してもよい。なお、制御部４０は、撮像部３０の被写界深度内に投影されたパターンについて特徴点を抽出すればよく、被写界深度外に投影されてボケて撮像されたパターンについては特徴点を抽出しなくてもよい。すなわち、ボケの影響によって第１領域と第２領域の区別が曖昧となる場合には、その単位パターンを３次元点群の位置の算出に用いなくてよい。
　制御部４０は、例えば、画像上の注目する画素が属する列について、隣接する単位パターンが表すデータを復号し、データの並び順に基づいて、注目する画素が属する列が、投光部２０により投光されたパターンのいずれの列に対応するか特定する。投光部２０により投光されたパターンの列が特定されると、特定された列と投光部２０の光源とを通り、対象物を貫く平面が特定される。また、画像上の注目する画素と、対象物に投光されたパターンのうち注目する画素に対応する単位パターンとを通る直線が特定される。ここで、投光部２０と撮像部３０との間の距離及び角度が既知であれば、投光部２０を通る平面と撮像部３０を通る直線との交点から３次元測定装置１０までの距離、すなわち対象物までの距離を三角測量の方法で算出することができる。このようにして、制御部４０は、１つの単位パターンから対象物の３次元形状を表す３次元点群の１つの点の位置を算出することができる。また、制御部４０は、パターンに含まれる複数の単位パターンをウィンドウマッチングにより特定して、特定された複数の単位パターンそれぞれについて３次元点群の位置を算出してよい。なお、制御部４０は、エピポーラ制約を用いて、投光部２０により投光されたパターンの列のみならず、行も特定することとしてもよい。
　対象物の３次元形状をより高解像度で測定するために、データが符号化された単位パターンをより高密度に配列してパターンを対象物に投光することが考えられる。単位パターンの大きさについては、撮像部３０の解像度、すなわち撮像部３０が有する受光素子の密度に起因する制約が存在する。仮に、データが符号化された単位パターンをより高密度に配列し、画像上における単位パターンの短辺が３画素未満となってしまうと、画像に基づいて単位パターンの特徴点を抽出したり、単位パターンの第１領域と第２領域を識別したりすることが困難となり、３次元形状の測定が困難となる。そこで、単位パターンの大きさは、画像上で、短辺が３画素以上であることが望まれる。単位パターンの短辺が画像上で３画素以上であれば、例えば画素の明暗によって第１領域と第２領域を識別することができ、単位パターンの特徴点及び単位パターンが表すデータを復号することができる。なお、短辺とは、単位パターンの四辺のうち最も短い辺であってよい。
　また、単位パターンの画像上における大きさを、短辺が１０画素以下とすることで、データが符号化された単位パターンを高密度に配列して、対象物の３次元形状をより高解像度で測定することができる。なお、単位パターンの画像上における大きさは、短辺が９画素以下であったり、８画素以下であったりしてもよい。
　まとめると、本実施形態に係る３次元測定装置１０の撮像部３０により撮像される画像は、画像上で、短辺が３画素以上１０画素以下の四辺形である単位パターンを複数含むパターンが対象物に投光された画像であってよい。
　発明者は、単位パターンを配列する密度を上げて、パターンを単に細かくするだけでは、環境光等の影響によりパターンのコントラストが低下した場合や、斜面に投光されてパターンが歪んだ場合等に、対象物の３次元形状の測定が困難となることを見出した。すなわち、パターンを単に細かくするだけでは、撮像条件の変動に対するロバスト性が損なわれてしまう。これに対して、発明者は、単位パターンに含まれる第１領域及び第２領域の形状を様々に変更して、撮像条件の変動に対するロバスト性を検証した。そして、第１領域の面積を第２領域の面積で割った面積比が、０．３以上０．９以下であれば、撮像条件が変動した場合であっても、単位パターンから特徴点を抽出したり、単位パターンが表すデータを復号したりすることができるようになることを見出した。ここで、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比は、投光部２０により投光されるパターンにおいて０．３以上０．９以下であってよく、撮像部３０により撮像される画像上でも、０．３以上０．９以下であってよい。なお、投光部２０により投光されるパターンにおいて第１領域又は第２領域にノイズ加えられて第１領域の面積を第２領域の面積で割った面積比が０．３以上０．９以下の範囲から僅かに外れたとしても、撮像部３０により撮像される画像上で、第１領域の面積を第２領域の面積で割った面積比が０．３以上０．９以下であれば、撮像条件が変動した場合であっても、単位パターンから特徴点を抽出したり、単位パターンが表すデータを復号したりすることができる。ここで、ノイズとは、投光されたパターンの第１領域中に含まれる第２領域であって、撮像された画像上で１画素と認識されない程度に微小な第２領域であってよい。また、その逆であってもよく、すなわち、ノイズとは、投光されたパターンの第２領域中に含まれる第１領域であって、撮像された画像上で１画素と認識されない程度に微小な第１領域であってもよい。
　本実施形態に係る３次元測定装置１０によれば、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上の四辺形であることで、撮像条件が変動した場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。また、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が１０画素以下の四辺形であることで、データが符号化された２次元構造を高密度で配列することができ、抽出される特徴点の密度及び符号化されるデータ量を増大させることができる。そのため、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。
　§２　構成例
　［機能構成］
　＜投光部＞
　投光部２０は、対象物に、２次元構造によってデータが符号化されたパターンを投光するものであり、投光するパターンは任意のものを用いることができる。パターンの具体例については、図３等を用いて後に詳細に説明する。
　投光部２０により投光されるパターンは、四辺形の複数の単位パターンが敷き詰められたものであってよく、単位パターンは、第１領域及び第２領域を含んでよい。ここで、第１領域及び第２領域は、投光部２０により投光される光の明暗で区別されてよい。例えば、第１領域を光が照射されている明るい領域と定義して、第２領域を光が照射されず暗い領域と定義してよいし、その逆であってもよい。光の明暗で第１領域及び第２領域を区別することで、モノクロの画像を撮像する撮像部３０であってもパターンを識別することができ、撮像部３０の構成を簡素化して３次元測定装置１０のコストを低減することができる。
　また、単位パターンの第１領域及び第２領域は、投光部２０により投光される光の波長帯で区別されてもよい。例えば、第１領域を波長帯が４５０ｎｍ程度の青い光が照射されている領域と定義して、第２領域を波長帯が６５０ｎｍ程度の赤い光が照射さている領域と定義してよく、その逆であってもよい。他の例として、第１領域を波長帯が４５０ｎｍ程度の青い光が照射されている領域と定義して、第２領域を波長帯が５８０ｎｍ程度の黄色い光が照射されている領域と定義してよく、その逆であってもよい。さらに他の例として、第１領域を波長帯が４５０ｎｍ程度の青い光が照射されている領域と定義して、第２領域を波長帯が１μｍ程度の赤外線が照射されている領域と定義してよく、その逆であってもよい。このように、照射する光の波長帯で第１領域及び第２領域を区別することで、環境光等の白色光が対象物に照射された場合であっても、第１領域及び第２領域の差が変化しづらく、第１領域及び第２領域を識別することが容易となる。なお、対象物の吸光度に応じて、単位パターンの第１領域及び第２領域の差異が顕著となるような波長帯の組み合わせを選択して、第１領域及び第２領域を識別することとしてもよい。また、撮像部３０の撮像素子の分光感度に応じて、単位パターンの第１領域及び第２領域の差異が顕著となるような波長帯の組み合わせを選択して、第１領域及び第２領域を識別することとしてもよい。
　また、単位パターンの第１領域及び第２領域は、投光部２０により投光される光の偏光で区別されてもよい。例えば、第１領域を第１方向に直線偏光している光が照射されている領域と定義して、第２領域を、第１方向と直交する第２方向に直線偏光している光が照射されている領域と定義してよく、その逆であってもよい。また、他の例として、第１領域を光の進行方向に対して時計回りに円偏光している光が照射されている領域と定義して、第２領域を光の進行方向に対して反時計回りに円偏光している光が照射されている領域と定義してよく、その逆であってもよい。なお、対象物の偏光における吸光度に応じて、単位パターンの第１領域及び第２領域の差異が顕著となるような偏光の組み合わせを選択して、第１領域及び第２領域を識別することとしてもよい。このように、光の偏光で第１領域及び第２領域を区別することで、例えば、黒体や透明体といった対象物に対して、環境光等の光が対象物に照射された場合であっても、第１領域及び第２領域の差が変化しづらく、第１領域及び第２領域を識別することが容易となる。
　投光部２０は、任意の固定パターンを投光するプロジェクタであってもよいし、ＭＥＭＳ（Micro Electro-Mechanical Systems）等によって単位時間あたりに１つの固定パターンを投光するプロジェクタであってもよい。投光部２０は、投光するパターンの大きさを変調させる変調素子を含んでもよく、例えば、対象物の凹凸や傾きに応じて投光するパターンの大きさを変調させてよい。パターンの大きさを対象物の状態に応じて変調することで、撮像条件の変動に対するロバスト性を確保することができる。また、パターンを大きくするように変調して、画像上における短辺の画素数を大きくすることで、３次元点群の数を少なくして、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。
　＜撮像部＞
　撮像部３０は、パターンが投光された対象物の画像を撮像するものであり、撮像した画像を制御部４０に出力したり、他の機器に出力したりするものであってよい。撮像部３０は、投光部２０と所定の距離及び角度で配置されてよく、例えば、投光部２０による投光方向と、撮像部３０の撮像方向が略同一であり、同一平面上に所定の距離で配置されてよい。
　＜制御部＞
　制御部４０は、画像入力部４１、画像記録部４２、算出部４３、３次元点群出力部４４及び設定部４５を含む。画像入力部４１は、撮像部３０により撮像された画像を撮像部３０から取得し、画像記録部４２に入力する。画像記録部４２は、撮像部３０により撮像された画像をメモリに記録する。
　算出部４３は、撮像されたパターンの特徴点を抽出する。算出部４３は、パターンに含まれる単位パターン毎に特徴点を抽出してよく、例えば、単位パターンの中心を特徴点として抽出してよい。また、算出部４３は、単位パターンに含まれる第１領域及び第２領域の２次元形状に基づいて、単位パターンが表すデータを復号する。そして、算出部４３は、画像における特徴点の位置及び復号されたデータに基づいて、対象物の３次元形状を表す３次元点群の位置を算出する。より具体的には、注目する単位パターン及び注目する単位パターンに隣接する単位パターンについて、単位パターンが表すデータを復号し、データの並び順から注目する単位パターンが属する列を特定する。そして、注目する単位パターンから抽出された特徴点の画像上における位置と、特定された列とに基づいて、三角測量により対象物までの距離を算出する。なお、算出部４３は、エピポーラ制約を用いて、注目する単位パターンが属する列のみならず、注目する単位パターンが属する行も特定することとしてもよい。このようにして、複数の単位パターンに対し対象物の３次元形状を表す複数の点の位置を算出し、対象物の３次元形状を表すことができる。
　３次元点群出力部４４は、算出された３次元点群のデータを認識部５０に出力する。３次元点群出力部４４は、３次元点群のデータを表示部に出力したり、３次元測定装置１０以外の装置に出力したりしてもよい。
　設定部４５は、投光部２０により投光するパターンを設定したり、撮像部３０の絞りや露光時間等を設定したりしてよい。設定部４５は、画像上における単位パターンの短辺の画素数に応じて、投光部２０により投光するパターンに含まれる単位パターンの第１領域と第２領域の面積比の範囲を設定してよい。すなわち、設定部４５は、画像上における単位パターンの短辺の画素数に応じて、第１領域と第２領域の面積比を、０．３以上０．９以下の範囲としたり、０．３以上０．９以下の範囲より狭めたりしてよい。このように、画像上における単位パターンの短辺の画素数に応じて、単位パターンに含まれる第１領域と第２領域の面積比の範囲を設定することで、画像上における単位パターンの密度に応じて第１領域と第２領域の面積比の範囲を設定することができ、対象物の３次元形状を測定する解像度と、撮像条件の変動に対するロバスト性のバランスを調整することができる。
　また、設定部４５は、画像上における単位パターンの短辺の画素数が少なくなるに従って、第１領域と第２領域の面積比の範囲を狭めるように設定してよい。例えば、画像上における単位パターンの短辺の画素数が１０画素の場合、第１領域と第２領域の面積比を、０．３以上０．９以下の範囲として、画像上における単位パターンの短辺の画素数が１０画素より少なくなるに従って、第１領域と第２領域の面積比を、０．３以上０．９以下の範囲より狭くなるように設定してよい。これにより、画像上における単位パターンの密度が高くなるに従って、第１領域と第２領域の面積比の範囲を狭めるように設定することができ、対象物の３次元形状を測定する解像度が高くなるに従って、第１領域と第２領域の面積比の範囲を撮像条件の変動に対するロバスト性が確保できるような範囲に絞っていくことができる。そのため、対象物の３次元形状を測定する解像度と、撮像条件の変動に対するロバスト性のバランスを調整することができる。
　＜認識部＞
　認識部５０は、ＣＡＤモデル記憶部５１、ＣＡＤマッチング計算部５２及びＣＡＤマッチング出力部５３を含む。ＣＡＤモデル記憶部５１は、対象物の３次元ＣＡＤモデルを記憶してよい。ＣＡＤマッチング計算部５２は、３次元点群出力部４４より取得した３次元点群と、ＣＡＤモデル記憶部５１に記憶された対象物の３次元ＣＡＤモデルとのマッチングを行ってよい。３次元点群と３次元ＣＡＤモデルとのマッチングは、任意のアルゴリズムにより行われてよい。ＣＡＤマッチング出力部５３は、ＣＡＤマッチング計算部５２により計算されたマッチングの結果を、表示部や他の機器に出力してよい。
　［ハードウェア構成］
　＜投光部＞
　次に、本実施形態に係る３次元測定装置１０のハードウェア構成の一例を説明する。投光部２０は、光源と、パターンを有する光を生成するためのフォトマスクとを含むものであってよく、例えば、レーザ光源と、回折光学素子とを含むものであってよい。また、投光部２０は、固定パターンを形成する光学素子と、光変調素子としてＤＬＰ（Digital Light Processing）、ＬＣＤ（Liquid Crystal Display）、ＬＣＯＳ（Liquid Crystal On Silicon）又はＭＥＭＳ（Micro Electro-Mechanical Systems）等を有するプロジェクタであってよく、投光するパターンの大きさを変調させる変調素子を含んでよい。投光部２０は、レーザ光源からの光を回折光学素子に入射させ、回折光学素子の表面に形成された回折パターンによって２次元構造を有する光を生成するものであってよい。なお、投光部２０は、レンズ等の任意の光学部材を含んでよいし、光源から出射される光の波長帯は可視領域に限られず、赤外領域や紫外領域の波長帯であってもよい。
　＜撮像部＞
　撮像部３０は、少なくとも投光部２０により投光された光を検出する受光素子を含むカメラであってよい。撮像部３０は、波長を分離するフィルタや偏光を分離するフィルタやその他レンズ等の任意の光学部材を含んでよい。
　＜制御部及び認識部＞
　図２は、本実施形態に係る３次元測定装置１０の制御部４０及び認識部５０の物理的構成を示す図である。３次元測定装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では３次元測定装置１０が一台のコンピュータで構成される場合について説明するが、３次元測定装置１０は、複数のコンピュータを用いて実現されてもよい。
　ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、パターンが投光された対象物の画像に基づいて、対象物の３次元形状を表す３次元点群の位置を算出し、３次元点群と３次元ＣＡＤモデルとのマッチングを行うプログラム（３次元測定プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々の入力データを受け取り、入力データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。なお、図２では記載しないが、ＧＰＵ（Graphical Processing Unit）、ＴＰＵ（Tensor Processing Unit）等のＡＳＩＣ（Application Specific Integrated Circuit）等の並列演算処理を行うユニットによって、３次元形状の測定に関する機械学習の演算を行ってもよい。
　ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行する３次元測定プログラムや、撮像部３０から取得した対象物の画像、算出した３次元点群に関するデータ、対象物の３次元ＣＡＤモデルといったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
　ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば３次元測定プログラムや、書き換えが行われないデータを記憶してよい。
　通信部１０ｄは、３次元測定装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、投光部２０及び撮像部３０と、例えばＬＡＮ（Local Area Network）により接続されて、投光部２０に対しパターンの設定に関する情報を送信し、撮像部３０に対し絞り、露光時間又はシャッタースピード等の設定に関する情報を送信してよい。また、通信部１０ｄは、撮像部３０から対象物の画像を受信してよい。また、通信部１０ｄは、インターネット等の通信ネットワークに接続されてもよい。さらに、ＦＰＧＡ（Field-Programmable Gate Array）によって、投光部２０の投光時間を制御したり、投光部２０の光変調素子を制御したり、撮像物３０の露光時時間やシャッタースピードを制御したりしてもよい。
　入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード、マウス及びタッチパネルを含んでよい。
　表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば撮像部３０により撮像された対象物の画像を表示したり、算出された３次元点群を表示したり、３次元点群とマッチングされた３次元ＣＡＤモデルを表示したりしてよい。
　３次元測定プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。３次元測定装置１０では、ＣＰＵ１０ａが３次元測定プログラムを実行することにより、図１を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、３次元測定装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。
　§３　動作例
　図３は、本実施形態に係る３次元測定装置１０の投光部２０により投光されるパターンの一例を示す図である。同図では、投光部２０により投光されるパターンの一部を拡大して図示している。投光部２０により投光されるパターンは、Ｎ×Ｍ（Ｎ及びＭは任意の自然数）の格子状に配列された単位パターンＵを含み、ｎ×ｍ（ｎはＮより小さい自然数であり、ｍはＭより小さい自然数）の格子状に配列された単位パターンＵがひとまとまりとなった符号化領域Ａを含む。本例のパターンでは、２×２の格子状に配列された単位パターンＵがひとまとまりとなって１つの符号化領域Ａを構成し、１つの符号化領域Ａから１つのデータが復号される。隣接する符号化領域Ａは、単位パターンＵを重複して含んでもよい。
　図４は、本実施形態に係る３次元測定装置１０の投光部２０により投光される単位パターンの例を示す図である。同図では、第１単位パターンＵ１、第２単位パターンＵ２、第３単位パターンＵ３及び第４単位パターンＵ４を図示している。第１単位パターンＵ１、第２単位パターンＵ２、第３単位パターンＵ３及び第４単位パターンＵ４は、第１領域Ｓ１と第２領域Ｓ２を含むパターンであり、比較的大きな正方形で構成される格子模様の中央に１つの比較的小さな正方形を配置した２次元構造を有する。
　第１単位パターンＵ１は、左下と右上に白色の第１領域Ｓ１を含み、左上から右下にかけて黒色の第２領域Ｓ２を含む。第２単位パターンＵ２は、左上と右下に白色の第１領域Ｓ１を含み、左下から右上にかけて黒色の第２領域Ｓ２を含む。第３単位パターンＵ３は、左上と右下に黒色の第１領域Ｓ１を含み、左下から右上にかけて白色の第２領域Ｓ２を含む。第４単位パターンＵ４は、左下と右上に黒色の第１領域Ｓ１を含み、左上から右下にかけて白色の第２領域Ｓ２を含む。
　ここで、白色で示した領域は、光が照射されている明るい領域であってよく、黒色で示した領域は、光が照射されていない暗い領域であってよい。もっとも、白色で示した領域が、光が照射されていない暗い領域であり、黒色で示した領域が、光が照射されている明るい領域であってもよい。また、白色で示した領域は、例えば青色の光が照射されている領域であってよく、黒色で示した領域は、赤色の光が照射されている領域であってもよいし、白色で示した領域は、第１方向に直線偏光した光が照射されている領域であってよく、黒色で示した領域は、第１方向と直交する第２方向に直線偏光した光が照射されている領域であってもよい。
　第１単位パターンＵ１、第２単位パターンＵ２、第３単位パターンＵ３及び第４単位パターンＵ４は、第１領域Ｓ１が、第２領域Ｓ２を挟んで分離した２次元形状を含んでいる。また、第１単位パターンＵ１と第２単位パターンＵ２は、互いに９０°回転した形状であり、第３単位パターンＵ３と第４単位パターンＵ４は、互いに９０°回転した形状であり、第１単位パターンＵ１と第４単位パターンＵ４は、互いに白黒反転した形状であり、第２単位パターンＵ２と第３単位パターンＵ３は、互いに白黒反転した形状である。
　第１領域Ｓ１が、第２領域Ｓ２を挟んで分離していることで、単位パターンによって様々な２次元構造を構成することができ、単位パターンに符号化されたデータの密度を向上させることができる。これにより、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、より少ない演算で画像上のパターンと投光されたパターンとのマッチングをすることができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。
　また、第１領域Ｓ１は、第１単位パターンＵ１、第２単位パターンＵ２、第３単位パターンＵ３及び第４単位パターンＵ４において、第２領域Ｓ２を挟んで２つに分離している。言い換えると、第１領域Ｓ１は、第１単位パターンＵ１、第２単位パターンＵ２、第３単位パターンＵ３及び第４単位パターンＵ４において、第２領域Ｓ２を挟んで分離しているものの、第２領域Ｓ２を挟んで３つ以上に分離していない。第１領域Ｓ１の分離数を２つに抑えることで、単位パターンの２次元構造を比較的単純にして、第１領域Ｓ１及び第２領域Ｓ２の識別を容易とすることができる。また、単位パターンによって表すことのできるデータ量を増やし、パターンによって符号化されたデータの密度を向上させることができる。そのため、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、より少ない演算で画像上のパターンと投光されたパターンとのマッチングをすることができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。
　図５は、本実施形態に係る３次元測定装置１０の投光部２０により投光される、第１領域及び第２領域の面積比が異なるパターンの例を示す図である。同図では、図４に示す第１単位パターンＵ１、第２単位パターンＵ２、第３単位パターンＵ３及び第４単位パターンＵ４を含み、単位パターンの四辺の長さを変えずに、第１領域及び第２領域の面積比を変化させた第１パターンＰ１、第２パターンＰ２、第３パターンＰ３、第４パターンＰ４及び第５パターンＰ５を図示している。なお、本例では単位パターンの外形は正方形であり、単位パターンの四辺の長さはそれぞれ等しい。また、第１パターンＰ１について、単位パターンＵと、単位パターンＵから抽出された特徴点Ｆとを図示している。なお、第１パターンＰ１、第２パターンＰ２、第３パターンＰ３、第４パターンＰ４及び第５パターンＰ５は、パターンの一部を拡大して図示したものである。また、第１パターンＰ１について単位パターンＵと特徴点Ｆを図示しているが、第２パターンＰ２、第３パターンＰ３、第４パターンＰ４及び第５パターンＰ５についても同様に単位パターンが含まれ、単位パターンから特徴点が抽出される。
　第１パターンＰ１は、単位パターンＵに含まれる第１領域の面積を第２領域の面積で割った面積比が、４／５＝０．８である例である。第２パターンＰ２は、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、２１／２９≒０．７２４である例である。第３パターンＰ３は、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、３／５＝０．６である例である。第４パターンＰ４は、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、５／１３≒０．３８５である例である。第５パターンＰ５は、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、０．２である例である。
　図６は、撮像条件の変動により乱れたパターンの例を示す図である。同図では、画像上における単位パターンの短辺の長さが４画素、５画素及び６画素の場合それぞれについて、画像のコントラストの変更、画像へのノイズ付加、画像の平滑化及び画像のアフィン変換によって、撮像条件の変動を再現したパターンの例を示している。ここで、アフィン変換は、特定方向に関する画像の拡大、縮小、せん断変形を含む。なお、同図では、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、３／５＝０．６であるパターンの例を示している。
　「変動無し」と示した図６の１行目には、画像上における単位パターンの短辺の長さが４画素、５画素及び６画素の場合それぞれについて、撮像条件の変動が無い場合におけるパターンの例を示している。１行目に示したパターンには、図４に示した４種類の単位パターンが含まれている。
　「第１条件」と示した図６の２行目には、画像上における単位パターンの短辺の長さが４画素、５画素及び６画素の場合それぞれについて、第１条件で変動されたパターンの例を示している。ここで、第１条件は、最も明るい画素の輝度をＭと表し、最も暗い画素の輝度をＬと表すとき、Ｍ－Ｌ＝３０となるようにコントラストを低下させる条件である。２行目に示したパターンから、第１条件で画像が乱されることで、１行目に示した無変動の場合よりも第１領域と第２領域の識別が困難となっていることが確認できる。
　「第２条件」と示した図６の３行目には、画像上における単位パターンの短辺の長さが４画素、５画素及び６画素の場合それぞれについて、第２条件で変動されたパターンの例を示している。ここで、第２条件は、最も明るい画素の輝度をＭと表し、最も暗い画素の輝度をＬと表すとき、Ｍ－Ｌ＝３０となるようにコントラストを低下させ、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化する条件である。３行目に示したパターンから、第２条件で画像が乱されることで、１行目に示した無変動の場合よりも第１領域と第２領域の識別がさらに困難となっていることが確認できる。
　「第３条件」と示した図６の４行目には、画像上における単位パターンの短辺の長さが４画素、５画素及び６画素の場合それぞれについて、第３条件で変動されたパターンの例を示している。ここで、第３条件は、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化し、ｘ軸方向について２割の拡大を行い、パターンが伸びる方向に３０°のせん断変形を行う条件である。４行目に示したパターンから、第３条件で画像が乱されることで、１行目に示した無変動の場合よりも第１領域と第２領域の識別がさらに困難となっていることが確認できる。
　「第４条件」と示した図６の５行目には、画像上における単位パターンの短辺の長さが４画素、５画素及び６画素の場合それぞれについて、第３条件で変動されたパターンの例を示している。ここで、第３条件は、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化し、ｘ軸方向について２割の縮小を行い、パターンが縮む方向に３０°のせん断変形を行う条件である。５行目に示したパターンから、第４条件で画像が乱されることで、１行目に示した無変動の場合よりも第１領域と第２領域の識別がさらに困難となっていることが確認できる。
　図７は、第１態様で乱されたパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。同図では、画像上における単位パターンの短辺の長さが１０画素の場合を実線のグラフＧ１１で示し、画像上における単位パターンの短辺の長さが８画素の場合を破線のグラフＧ１２で示し、画像上における単位パターンの短辺の長さが６画素の場合を一点鎖線のグラフＧ１３で示し、画像上における単位パターンの短辺の長さが５画素の場合を二点鎖線のグラフＧ１４で示し、画像上における単位パターンの短辺の長さが４画素の場合を点線のグラフＧ１５で示している。
　第１態様で乱されたパターンは、最も明るい画素の輝度をＭと表し、最も暗い画素の輝度をＬと表すとき、Ｍ－Ｌ＝３０となるようにコントラストを低下させ、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化したパターンである。すなわち、第１態様で乱されたパターンは、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わることで画像が乱れた場合を再現したパターンである。
　グラフＧ１１～Ｇ１５によれば、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が０．３の場合に、復号の成功率が５０％以上となることがわかる。また、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．８の範囲にあれば、復号の成功率が８０％以上であることがわかる。また、単位パターンの短辺の長さが６画素から１０画素の場合に、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．９の範囲にあれば、復号の成功率が９０％以上であることがわかる。
　設定部４５は、例えば、単位パターンの短辺の長さが６画素から１０画素の場合、単位パターンの第１領域及び第２領域の面積比の範囲を、おおよそ０．４から０．９に設定して、単位パターンの短辺の長さが４画素又は５画素の場合、単位パターンの第１領域及び第２領域の面積比の範囲を、おおよそ０．４から０．８に狭めて設定することとしてもよい。
　このように、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上１０画素以下の四辺形であることで、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わった場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。そのため、本実施形態に係る３次元測定装置１０によれば、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。
　図８は、第２態様で乱されたパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。同図では、画像上における単位パターンの短辺の長さが１０画素の場合を実線のグラフＧ２１で示し、画像上における単位パターンの短辺の長さが８画素の場合を破線のグラフＧ２２で示し、画像上における単位パターンの短辺の長さが６画素の場合を一点鎖線のグラフＧ２３で示し、画像上における単位パターンの短辺の長さが５画素の場合を二点鎖線のグラフＧ２４で示し、画像上における単位パターンの短辺の長さが４画素の場合を点線のグラフＧ２５で示している。
　第２態様で乱されたパターンは、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化し、ｘ軸方向について２割の拡大を行い、パターンが伸びる方向に２０°のせん断変形を行うことで画像が乱れた場合を再現したパターンである。すなわち、第２態様で乱されたパターンは、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪むことで画像が乱れた場合を再現したパターンである。
　グラフＧ２１～Ｇ２５によれば、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が０．３の場合に、復号の成功率が５０％以上となることがわかる。また、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．９の範囲にあれば、復号の成功率が７０％以上であることがわかる。また、単位パターンの短辺の長さが５画素から１０画素の場合に、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．９の範囲にあれば、復号の成功率が８０％以上であることがわかる。
　このように、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上１０画素以下の四辺形であることで、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪んだ場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。そのため、本実施形態に係る３次元測定装置１０によれば、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。
　図９は、第３態様で乱されたパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。同図では、画像上における単位パターンの短辺の長さが１０画素の場合を実線のグラフＧ３１で示し、画像上における単位パターンの短辺の長さが８画素の場合を破線のグラフＧ３２で示し、画像上における単位パターンの短辺の長さが６画素の場合を一点鎖線のグラフＧ３３で示し、画像上における単位パターンの短辺の長さが５画素の場合を二点鎖線のグラフＧ３４で示し、画像上における単位パターンの短辺の長さが４画素の場合を点線のグラフＧ３５で示している。
　第３態様で乱されたパターンは、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化し、ｘ軸方向について２割の縮小を行い、パターンが縮む方向に２０°のせん断変形を行うことで画像が乱れた場合を再現したパターンである。すなわち、第３態様で乱されたパターンは、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪むことで画像が乱れた場合を再現したパターンである。
　グラフＧ３１～Ｇ３５によれば、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が０．３５の場合に、復号の成功率が５０％以上となることがわかる。また、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．６から０．７の範囲にあれば、復号の成功率が９０％以上であることがわかる。また、単位パターンの短辺の長さが５画素から１０画素の場合に、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．８の範囲にあれば、復号の成功率が９０％以上であることがわかる。
　このように、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上１０画素以下の四辺形であることで、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪んだ場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。そのため、本実施形態に係る３次元測定装置１０によれば、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。
　図１０は、本実施形態に係る３次元測定装置１０の投光部２０により投光される、符号化パターンが異なる図形の組み合わせで構成される単位パターンの例を示す図である。同図では、第５単位パターンＵ１１、第６単位パターンＵ１２、第７単位パターンＵ１３及び第８単位パターンＵ１４を図示している。第５単位パターンＵ１１、第６単位パターンＵ１２、第７単位パターンＵ１３及び第８単位パターンＵ１４は、第１領域Ｓ１と第２領域Ｓ２を含むパターンであり、符号化パターンが異なる図形の組み合わせで構成されるように、矩形で構成される格子模様と円を組み合わせて構成された２次元構造を有する。
　第５単位パターンＵ１１は、左下と右上に白色の第１領域Ｓ１を含み、左上から右下にかけて黒色の第２領域Ｓ２を含む。第６単位パターンＵ１２は、左上と右下に白色の第１領域Ｓ１を含み、左下から右上にかけて黒色の第２領域Ｓ２を含む。第７単位パターンＵ１３は、左上と右下に黒色の第１領域Ｓ１を含み、左下から右上にかけて白色の第２領域Ｓ２を含む。第８単位パターンＵ１４は、左下と右上に黒色の第１領域Ｓ１を含み、左上から右下にかけて白色の第２領域Ｓ２を含む。
　ここで、白色で示した領域は、光が照射されている明るい領域であってよく、黒色で示した領域は、光が照射されていない暗い領域であってよい。もっとも、白色で示した領域が、光が照射されていない暗い領域であり、黒色で示した領域が、光が照射されている明るい領域であってもよい。また、白色で示した領域は、例えば青色の光が照射されている領域であってよく、黒色で示した領域は、赤色の光が照射されている領域であってもよいし、白色で示した領域は、第１方向に直線偏光した光が照射されている領域であってよく、黒色で示した領域は、第１方向と直交する第２方向に直線偏光した光が照射されている領域であってもよい。
　図１１は、本実施形態に係る３次元測定装置１０の投光部２０により投光され、符号化パターンが異なる図形の組み合わせで構成され、第１領域及び第２領域の面積比が異なるパターンの例を示す図である。同図では、図１０に示す第５単位パターンＵ１１、第６単位パターンＵ１２、第７単位パターンＵ１３及び第８単位パターンＵ１４を含み、単位パターンの四辺の長さを変えずに、第１領域及び第２領域の面積比を変化させた第７パターンＰ１１、第８パターンＰ１２、第９パターンＰ１３及び第１０パターンＰ１４を図示している。また、第７パターンＰ１１について、単位パターンＵと、単位パターンＵから抽出された特徴点Ｆとを図示している。なお、第７パターンＰ１１、第８パターンＰ１２、第９パターンＰ１３及び第１０パターンＰ１４は、パターンの一部を拡大して図示したものである。また、第７パターンＰ１１について単位パターンＵと特徴点Ｆを図示しているが、第８パターンＰ１２、第９パターンＰ１３及び第１０パターンＰ１４についても同様に単位パターンが含まれ、単位パターンから特徴点が抽出される。
　第７パターンＰ１１は、単位パターンＵに含まれる第１領域の面積を第２領域の面積で割った面積比が、４／５＝０．８である例である。第８パターンＰ１２は、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、２１／２９≒０．７２４である例である。第９パターンＰ１３は、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、３／５＝０．６である例である。第１０パターンＰ１４は、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、５／１３≒０．３８５である例である。
　図１２は、符号化パターンが異なる図形の組み合わせで構成されるように、矩形で構成される格子模様と円を組み合わせて構成された２次元構造を有する単位パターンを複数含む他の例のパターンが第１態様で乱された場合における、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。同図では、画像上における単位パターンの短辺の長さが１０画素の場合を実線のグラフＧ４１で示し、画像上における単位パターンの短辺の長さが８画素の場合を破線のグラフＧ４２で示し、画像上における単位パターンの短辺の長さが６画素の場合を一点鎖線のグラフＧ４３で示し、画像上における単位パターンの短辺の長さが５画素の場合を二点鎖線のグラフＧ４４で示し、画像上における単位パターンの短辺の長さが４画素の場合を点線のグラフＧ４５で示している。
　第１態様で乱されたパターンは、最も明るい画素の輝度をＭと表し、最も暗い画素の輝度をＬと表すとき、Ｍ－Ｌ＝３０となるようにコントラストを低下させ、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化したパターンである。すなわち、第１態様で乱されたパターンは、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わることで画像が乱れた場合を再現したパターンである。
　グラフＧ４１～Ｇ４５によれば、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が０．３の場合に、復号の成功率が５０％以上となることがわかる。また、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．７の範囲にあれば、復号の成功率が８０％以上であることがわかる。また、単位パターンの短辺の長さが５画素から１０画素の場合に、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．８の範囲にあれば、復号の成功率が９０％以上であることがわかる。
　設定部４５は、例えば、単位パターンの短辺の長さが５画素から１０画素の場合、単位パターンの第１領域及び第２領域の面積比の範囲を、おおよそ０．４から０．８に設定して、単位パターンの短辺の長さが４画素の場合、単位パターンの第１領域及び第２領域の面積比の範囲を、おおよそ０．４から０．７に狭めて設定することとしてもよい。
　このように、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上１０画素以下の四辺形であることで、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わった場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。そのため、本実施形態に係る３次元測定装置１０によれば、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。
　図１３は、符号化パターンが異なる図形の組み合わせで構成されるように、矩形で構成される格子模様と円を組み合わせて構成された２次元構造を有する単位パターンを複数含む他の例のパターンが第２態様で乱された場合における、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。同図では、画像上における単位パターンの短辺の長さが１０画素の場合を実線のグラフＧ５１で示し、画像上における単位パターンの短辺の長さが８画素の場合を破線のグラフＧ５２で示し、画像上における単位パターンの短辺の長さが６画素の場合を一点鎖線のグラフＧ５３で示し、画像上における単位パターンの短辺の長さが５画素の場合を二点鎖線のグラフＧ５４で示し、画像上における単位パターンの短辺の長さが４画素の場合を点線のグラフＧ５５で示している。
　第２態様で乱されたパターンは、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化し、ｘ軸方向について２割の拡大を行い、パターンが伸びる方向に２０°のせん断変形を行うことで画像が乱れた場合を再現したパターンである。すなわち、第２態様で乱されたパターンは、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪むことで画像が乱れた場合を再現したパターンである。
　グラフＧ５１～Ｇ５５によれば、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が０．３の場合に、復号の成功率が５０％以上となることがわかる。また、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．７の範囲にあれば、復号の成功率がほぼ１００％であることがわかる。また、単位パターンの短辺の長さが５画素から１０画素の場合に、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．９の範囲にあれば、復号の成功率がほぼ１００％であることがわかる。
　このように、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上１０画素以下の四辺形であることで、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪んだ場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。そのため、本実施形態に係る３次元測定装置１０によれば、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。
　図１４は、符号化パターンが異なる図形の組み合わせで構成されるように、矩形で構成される格子模様と円を組み合わせて構成された２次元構造を有する単位パターンを複数含む他の例のパターンが第３態様で乱された場合における、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。同図では、画像上における単位パターンの短辺の長さが１０画素の場合を実線のグラフＧ６１で示し、画像上における単位パターンの短辺の長さが８画素の場合を破線のグラフＧ６２で示し、画像上における単位パターンの短辺の長さが６画素の場合を一点鎖線のグラフＧ６３で示し、画像上における単位パターンの短辺の長さが５画素の場合を二点鎖線のグラフＧ６４で示し、画像上における単位パターンの短辺の長さが４画素の場合を点線のグラフＧ６５で示している。
　第３態様で乱されたパターンは、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化し、ｘ軸方向について２割の縮小を行い、パターンが縮む方向に２０°のせん断変形を行うことで画像が乱れた場合を再現したパターンである。すなわち、第３態様で乱されたパターンは、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪むことで画像が乱れた場合を再現したパターンである。
　グラフＧ６１～Ｇ６５によれば、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が０．３の場合に、復号の成功率が５０％以上となることがわかる。また、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．７の範囲にあれば、復号の成功率が９０％以上であることがわかる。また、単位パターンの短辺の長さが５画素から１０画素の場合に、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．８の範囲にあれば、復号の成功率がほぼ１００％であることがわかる。
　このように、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上１０画素以下の四辺形であることで、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪んだ場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。そのため、本実施形態に係る３次元測定装置１０によれば、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。
　図７～９及び図１２～１４によれば、図４に示した比較的大きな正方形で構成される格子模様の中央に１つの比較的小さな正方形を配置した２次元構造を有する単位パターンを複数含むパターンと、図１１に示した矩形で構成される格子模様と円を組み合わせて構成された２次元構造を有する単位パターンを複数含む他の例のパターンとのいずれを用いても、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上１０画素以下の四辺形であれば、パターンからデータを復号する際の成功率が十分に高くなる。従って、パターンからデータを復号する際の成功率は、単位パターンの２次元構造を構成する模様に左右されず、単位パターンに含まれる第１領域と第２領域の面積比と、画像上における単位パターンの短辺の画素数とが重要であると考えられる。
　図１５は、本実施形態に係る３次元測定装置１０の投光部２０により投光され、符号化パターンが異なる図形の組み合わせで構成され、第１領域及び第２領域の面積比が異なるパターンの例を列挙した図である。同図では、画像上における単位パターンの短辺の長さが６画素、５画素及び４画素の場合それぞれについて、単位パターンの中央に配置された図形が「正方形」の場合に第1領域の面積を第２領域の面積で割った面積比「Ｓ１／Ｓ２」を「４／５」、「２１／２９」、「３／５」及び「５／１３」と変化させた場合のパターンの例を示している。また、同図では、画像上における単位パターンの短辺の長さが６画素、５画素及び４画素の場合それぞれについて、単位パターンの中央に配置された図形が「円形」の場合に第1領域の面積を第２領域の面積で割った面積比「Ｓ１／Ｓ２」を「４／５」、「２１／２９」、「３／５」及び「５／１３」と変化させた場合のパターンの例を示している。
　図１５に示したパターンは、いずれも単位パターンの第１領域の面積を第２領域の面積で割った面積比Ｓ１／Ｓ２が０．３以上０．９以下であり、単位パターンは、画像上で、短辺が３画素以上１０画素以下の四辺形となっている。このようなパターンを用いることで、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。
　図１６は、本実施形態に係る３次元測定装置１０により実行される対象物の３次元形状の測定処理のフローチャートである。なお、対象物の３次元形状の測定処理に先立って、投光部２０及び撮像部３０のキャリブレーションが行われてもよく、投光部２０によってテストパターンを投光して、撮像部３０によりテストパターンを撮像し、テストパターンに含まれる単位パターンが画像上でどの程度の大きさとなるか確認したり、投光部２０により投光する光量や撮像部３０の絞り及び露光時間の調整を行ったりしてもよい。
　３次元測定装置１０は、画像上における単位パターンの短辺の画素数に応じて、単位パターンの第１領域の面積を第２領域の面積で割った面積比の範囲を設定する（Ｓ１０）。ここで、面積比の範囲は、画像上における単位パターンの短辺の画素数が少ないほど範囲が狭まるように設定されてよい。
　３次元測定装置１０は、設定された範囲に含まれる面積比の第１領域及び第２領域を含む単位パターンを格子状に敷き詰めた２次元構造を有するパターンを、投光部２０により対象物に投光する（Ｓ１１）。３次元測定装置１０は、パターンが投光された対象物の画像を撮像部３０により撮像する（Ｓ１２）。ここで、撮像部３０は、パターンが投光された対象物の画像を一枚撮像すればよい。
　３次元測定装置１０は、パターンに含まれる単位パターン毎に特徴点を抽出し、単位パターンの２次元構造によって符号化されたデータを復号する（Ｓ１３）。そして、３次元測定装置１０は、画像における特徴点の位置及び復号されたデータに基づいて、３次元点群の位置を算出する（Ｓ１４）。
　その後、３次元測定装置１０は、３次元点群とＣＡＤモデルとのマッチングを行う（Ｓ１５）。最後に、３次元測定装置１０は、マッチングした結果を出力する（Ｓ１６）。以上で３次元形状の測定処理が終了する。なお、３次元点群とＣＡＤモデルとのマッチング及びその結果の出力は、省略されてもよく、３次元測定装置１０は、算出した３次元点群の位置を出力して３次元形状の測定処理が終了してもよい。
　§４　変形例
　＜４．１＞
　図１７は、本実施形態の第１変形例に係る３次元測定装置１０の投光部２０により投光される単位パターンの例を示す図である。同図では、８つの単位パターンの例を含む第１単位パターン群Ｕ２０と、８つの単位パターンの例を含む第２単位パターン群Ｕ３０とを示している。
　第１単位パターン群Ｕ２０のうち左上に示した単位パターンの例について、第１領域Ｓ１及び第２領域Ｓ２を図示している。例示するように、第１領域Ｓ１は、単位パターンにおいて、第２領域Ｓ２を挟んで３つ以上に分離していてよい。また、第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比は、０．３以上０．９以下であってよい。
　また、第２単位パターン群Ｕ３０のうち左上に示した単位パターンの例について、第１領域Ｓ１及び第２領域Ｓ２を図示している。例示するように、第１領域Ｓ１は、単位パターンにおいて、第２領域Ｓ２を挟んで３つ以上に分離していてよい。また、第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比は、０．３以上０．９以下であってよい。
　第１領域Ｓ１が、単位パターンにおいて、第２領域Ｓ２を挟んで３つ以上に分離していることで、単位パターンの２次元構造を比較的複雑にして、単位パターンによって表すことのできるビット数が増え、単位パターンの位置の特定が容易になる。そのため、撮像条件の変動に対するロバスト性を確保しながら、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、ウィンドウマッチングの処理時間を短くして、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。
　＜４．２＞
　図１８は、本実施形態の第２変形例に係る３次元測定装置１０の投光部２０により投光される単位パターンの例を示す図である。同図では、１３の単位パターンの例を含む第３単位パターン群Ｕ４０を示している。
　第３単位パターン群Ｕ４０のうち左上に示した単位パターンの例について、第１領域Ｓ１及び第２領域Ｓ２を図示している。例示するように、単位パターンは、第１領域Ｓ１が分離せず連続した２次元形状を含んでよい。本例において、第１領域Ｓ１は、第２領域Ｓ２に囲まれた領域である。また、第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比は、０．３以上０．９以下であってよい。
　第１領域Ｓ１が分離せず連続した２次元形状であることで、単位パターンの２次元構造を単純化して、第１領域Ｓ１及び第２領域Ｓ２の識別を容易とすることができる。
　また、第３単位パターン群Ｕ４０のうち左下に示した単位パターンの例について、第１領域Ｓ１及び第２領域Ｓ２を図示している。例示するように、第１領域Ｓ１は、単位パターンにおいて、第２領域Ｓ２を挟んで３つ以上に分離していてよい。また、第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比は、０．３以上０．９以下であってよい。
　第１領域Ｓ１が、単位パターンにおいて、第２領域Ｓ２を挟んで３つ以上に分離していることで、単位パターンの２次元構造を比較的複雑にして、単位パターンによって表すことのできるビット数を増やし、パターンによって符号化されたデータの密度をさらに向上させることができる。そのため、撮像条件の変動に対するロバスト性を確保しながら、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。
　第３単位パターン群Ｕ４０として例示するように、投光部２０により対象物に投光されるパターンは、第１領域が分離せず連続した２次元形状を含む単位パターンと、第１領域が、第２領域を挟んで分離した２次元形状を含む単位パターンと、を含んでもよい。このようにして、単位パターンの２次元構造のバリエーションを増加させて、単位パターンによって表すことのできるビット数を増やし、パターンによって符号化されたデータの密度を向上させることができる。そのため、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、より少ない演算で画像上のパターンと投光されたパターンとのマッチングを行うことができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。
　＜４．３＞
　図１９は、本実施形態の第３変形例に係る３次元測定装置１０の投光部２０により投光されるパターンの例を示す図である。同図では、４つの符号化領域Ａの例を示しており、符号化領域Ａは、単位パターンＵ５１、単位パターンＵ５２及び単位パターンＵ５３が２×２の格子状に配列されて構成されたり、単位パターンＵ５４、単位パターンＵ５５及び単位パターンＵ５６が２×２の格子状に配列されて構成されたりしている。１つの符号化領域Ａから１つのデータが復号されてよく、本例に示す４つの符号化領域Ａによって４ビットの情報を表すことができる。
　符号化領域Ａのうち左上に示した単位パターンＵ５１について、第１領域Ｓ１及び第２領域Ｓ２を図示している。例示するように、単位パターンは、第１領域Ｓ１が分離せず連続した２次元形状を含んでよい。また、第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比は、０．３以上０．９以下であってよい。
　＜４．４＞
　図２０は、本実施形態の第４変形例に係る３次元測定装置１０の投光部２０により投光されるパターンの例を示す図である。同図では、４つの符号化領域Ａの例を示しており、符号化領域Ａは、単位パターンＵ６１、単位パターンＵ６２及び単位パターンＵ６３が２×２の格子状に配列されて構成されたり、単位パターンＵ６４、単位パターンＵ６２及び単位パターンＵ６３が２×２の格子状に配列されて構成されたり、単位パターンＵ６５、単位パターンＵ６２及び単位パターンＵ６３が２×２の格子状に配列されて構成されたり、単位パターンＵ６６、単位パターンＵ６２及び単位パターンＵ６３が２×２の格子状に配列されて構成されたりしている。１つの符号化領域Ａから１つのデータが復号されてよく、本例に示す４つの符号化領域Ａによって４ビットの情報を表すことができる。
　符号化領域Ａのうち左上に示した単位パターンＵ６１について、第１領域Ｓ１及び第２領域Ｓ２を図示している。例示するように、単位パターンは、第１領域Ｓ１が分離せず連続した２次元形状を含んでよい。また、第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比は、０．３以上０．９以下であってよい。
　＜４．５＞
　図２１は、本実施形態の第５変形例に係る３次元測定装置１０の投光部２０により投光される単位パターンの例を示す図である。同図では、単位パターンＵ７０及び単位パターンＵ７１の例を示している。単位パターンＵ７０及び単位パターンＵ７１は、グリッド状の格子パターンを含み、それぞれ格子の太さが異なっている。単位パターンＵ７０及び単位パターンＵ７１では、格子の太さを変更することで第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比を変更している。
　第１領域Ｓ１は、単位パターンＵ７０及び単位パターンＵ７１において、第２領域Ｓ２を挟んで３つ以上に分離しており、具体的には９つに分離している。本例の場合も、第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比は、０．３以上０．９以下であってよい。
　第１領域Ｓ１が、単位パターンにおいて、第２領域Ｓ２を挟んで３つ以上に分離していることで、単位パターンの２次元構造を比較的複雑にして、単位パターンによって表すことのできるビット数を増やし、パターンによって符号化されたデータの密度をさらに向上させることができる。そのため、撮像条件の変動に対するロバスト性を確保しながら、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。
　以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
　［付記１］
　対象物に、２次元構造によってデータが符号化されたパターンを投光する投光部（２０）と、
　前記パターンが投光された前記対象物の画像を撮像する撮像部（３０）と、
　前記パターンの特徴点を抽出して、前記画像における前記特徴点の位置及び復号された前記データに基づいて、前記対象物の３次元形状を表す３次元点群の位置を算出する算出部（４３）と、を備え、
　前記パターンは、少なくとも２ビットを表し、前記特徴点を含み、前記３次元点群の位置を算出するために用いられる最小単位の単位パターンを複数含み、
　前記単位パターンは、第１領域と、前記第１領域と区別され、前記第１領域よりも面積の大きい第２領域とを含み、
　前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
　３次元測定装置（１０）。
　［付記２］
　前記単位パターンは、前記画像上で、短辺が３画素以上１０画素以下の四辺形である、
　付記１に記載の３次元測定装置（１０）。
　［付記３］
　前記画像上で、前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
　付記１又は２に記載の３次元測定装置（１０）。
　［付記４］
　前記画像上における前記単位パターンの短辺の画素数に応じて、前記投光部（２０）により投光する前記パターンの前記面積比の範囲を設定する設定部（４５）をさらに備える、
　付記１から３のいずれか一項に記載の３次元測定装置（１０）。
　［付記５］
　前記設定部（４５）は、前記画像上における前記単位パターンの短辺の画素数が少なくなるに従って、前記面積比の範囲を狭めるように設定する、
　付記４に記載の３次元測定装置（１０）。
　［付記６］
　前記第１領域及び前記第２領域は、前記投光部（２０）により投光される光の明暗で区別される、
　付記１から５のいずれか一項に記載の３次元測定装置（１０）。
　［付記７］
　前記第１領域及び前記第２領域は、前記投光部（２０）により投光される光の波長帯で区別される、
　付記１から５のいずれか一項に記載の３次元測定装置（１０）。
　［付記８］
　前記第１領域及び前記第２領域は、前記投光部（２０）により投光される光の偏光で区別される、
　付記１から５のいずれか一項に記載の３次元測定装置（１０）。
　［付記９］
　前記単位パターンは、前記第１領域が分離せず連続した２次元形状を含む、
　付記１から８のいずれか一項に記載の３次元測定装置（１０）。
　［付記１０］
　前記単位パターンは、前記第１領域が、前記第２領域を挟んで分離した２次元形状を含む、
　付記１から８のいずれか一項に記載の３次元測定装置（１０）。
　［付記１１］
　前記パターンは、前記第１領域が分離せず連続した２次元形状を含む前記単位パターンと、前記第１領域が、前記第２領域を挟んで分離した２次元形状を含む前記単位パターンと、を含む、
　付記１から８のいずれか一項に記載の３次元測定装置（１０）。
　［付記１２］
　前記第１領域は、前記単位パターンにおいて、前記第２領域を挟んで２つに分離している、
　付記１０又は１１に記載の３次元測定装置（１０）。
　［付記１３］
　前記第１領域は、前記単位パターンにおいて、前記第２領域を挟んで３つ以上に分離している、
　付記１０又は１１に記載の３次元測定装置（１０）。
　［付記１４］
　前記投光部（２０）は、投光する前記パターンの大きさを変調させる変調素子を含む、
　付記１から１３のいずれか一項に記載の３次元測定装置（１０）。
　［付記１５］
　対象物に、２次元構造によってデータが符号化されたパターンを投光することと、
　前記パターンが投光された前記対象物の画像を撮像することと、
　前記パターンの特徴点を抽出して、前記画像における前記特徴点の位置及び復号された前記データに基づいて、前記対象物の３次元形状を表す３次元点群の位置を算出することと、を含み、
　前記パターンは、少なくとも２ビットを表し、前記特徴点を含み、前記３次元点群の位置を算出するために用いられる最小単位の単位パターンを複数含み、
　前記単位パターンは、第１領域と、前記第１領域と区別され、前記第１領域よりも面積の大きい第２領域とを含み、
　前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
　３次元測定方法。
　［付記１６］
　対象物に、２次元構造によってデータが符号化されたパターンを投光する投光部（２０）と、前記パターンが投光された前記対象物の画像を撮像する撮像部（３０）と、を備える３次元測定装置（１０）に備えられた演算部を、
　前記パターンの特徴点を抽出して、前記画像における前記特徴点の位置及び復号された前記データに基づいて、前記対象物の３次元形状を表す３次元点群の位置を算出する算出部（４３）として動作させ、
　前記パターンは、少なくとも２ビットを表し、前記特徴点を含み、前記３次元点群の位置を算出するために用いられる最小単位の単位パターンを複数含み、
　前記単位パターンは、第１領域と、前記第１領域と区別され、前記第１領域よりも面積の大きい第２領域とを含み、
　前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
　３次元測定プログラム。

Claims (16)

  1. 　対象物に、２次元構造によってデータが符号化されたパターンを投光する投光部と、
    　前記パターンが投光された前記対象物の画像を撮像する撮像部と、
    　前記パターンの特徴点を抽出して、前記画像における前記特徴点の位置及び復号された前記データに基づいて、前記対象物の３次元形状を表す３次元点群の位置を算出する算出部と、を備え、
    　前記パターンは、少なくとも２ビットを表し、前記特徴点を含み、前記３次元点群の位置を算出するために用いられる最小単位の単位パターンを複数含み、
    　前記単位パターンは、第１領域と、前記第１領域と区別され、前記第１領域よりも面積の大きい第２領域とを含み、
    　前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
    　３次元測定装置。
  2. 　前記単位パターンは、前記画像上で、短辺が３画素以上１０画素以下の四辺形である、
    　請求項１に記載の３次元測定装置。
  3. 　前記画像上で、前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
    　請求項１又は２に記載の３次元測定装置。
  4. 　前記画像上における前記単位パターンの短辺の画素数に応じて、前記投光部により投光する前記パターンの前記面積比の範囲を設定する設定部をさらに備える、
    　請求項１から３のいずれか一項に記載の３次元測定装置。
  5. 　前記設定部は、前記画像上における前記単位パターンの短辺の画素数が少なくなるに従って、前記面積比の範囲を狭めるように設定する、
    　請求項４に記載の３次元測定装置。
  6. 　前記第１領域及び前記第２領域は、前記投光部により投光される光の明暗で区別される、
    　請求項１から５のいずれか一項に記載の３次元測定装置。
  7. 　前記第１領域及び前記第２領域は、前記投光部により投光される光の波長帯で区別される、
    　請求項１から５のいずれか一項に記載の３次元測定装置。
  8. 　前記第１領域及び前記第２領域は、前記投光部により投光される光の偏光で区別される、
    　請求項１から５のいずれか一項に記載の３次元測定装置。
  9. 　前記単位パターンは、前記第１領域が分離せず連続した２次元形状を含む、
    　請求項１から８のいずれか一項に記載の３次元測定装置。
  10. 　前記単位パターンは、前記第１領域が、前記第２領域を挟んで分離した２次元形状を含む、
    　請求項１から８のいずれか一項に記載の３次元測定装置。
  11. 　前記パターンは、前記第１領域が分離せず連続した２次元形状を含む前記単位パターンと、前記第１領域が、前記第２領域を挟んで分離した２次元形状を含む前記単位パターンと、を含む、
    　請求項１から８のいずれか一項に記載の３次元測定装置。
  12. 　前記第１領域は、前記単位パターンにおいて、前記第２領域を挟んで２つに分離している、
    　請求項１０又は１１に記載の３次元測定装置。
  13. 　前記第１領域は、前記単位パターンにおいて、前記第２領域を挟んで３つ以上に分離している、
    　請求項１０又は１１に記載の３次元測定装置。
  14. 　前記投光部は、投光する前記パターンの大きさを変調させる変調素子を含む、
    　請求項１から１３のいずれか一項に記載の３次元測定装置。
  15. 　対象物に、２次元構造によってデータが符号化されたパターンを投光することと、
    　前記パターンが投光された前記対象物の画像を撮像することと、
    　前記パターンの特徴点を抽出して、前記画像における前記特徴点の位置及び復号された前記データに基づいて、前記対象物の３次元形状を表す３次元点群の位置を算出することと、を含み、
    　前記パターンは、少なくとも２ビットを表し、前記特徴点を含み、前記３次元点群の位置を算出するために用いられる最小単位の単位パターンを複数含み、
    　前記単位パターンは、第１領域と、前記第１領域と区別され、前記第１領域よりも面積の大きい第２領域とを含み、
    　前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
    　３次元測定方法。
  16. 　対象物に、２次元構造によってデータが符号化されたパターンを投光する投光部と、前記パターンが投光された前記対象物の画像を撮像する撮像部と、を備える３次元測定装置に備えられた演算部を、
    　前記パターンの特徴点を抽出して、前記画像における前記特徴点の位置及び復号された前記データに基づいて、前記対象物の３次元形状を表す３次元点群の位置を算出する算出部として動作させ、
    　前記パターンは、少なくとも２ビットを表し、前記特徴点を含み、前記３次元点群の位置を算出するために用いられる最小単位の単位パターンを複数含み、
    　前記単位パターンは、第１領域と、前記第１領域と区別され、前記第１領域よりも面積の大きい第２領域とを含み、
    　前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
    　３次元測定プログラム。
PCT/JP2019/004146 2018-02-14 2019-02-06 ３次元測定装置、３次元測定方法及びプログラム WO2019159769A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/963,245 US11321860B2 (en) 2018-02-14 2019-02-06 Three-dimensional measurement apparatus, three-dimensional measurement method and non-transitory computer readable medium
CN201980007538.6A CN111566440B (zh) 2018-02-14 2019-02-06 三维测定装置、三维测定方法以及三维测定存储介质
EP19754537.9A EP3754296B1 (en) 2018-02-14 2019-02-06 Three-dimensional measurement apparatus and three-dimensional measurement method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018023606A JP6880512B2 (ja) 2018-02-14 2018-02-14 ３次元測定装置、３次元測定方法及び３次元測定プログラム
JP2018-023606 2018-02-14

Publications (1)

Publication Number Publication Date
WO2019159769A1 true WO2019159769A1 (ja) 2019-08-22

Family

ID=67619866

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/004146 WO2019159769A1 (ja) 2018-02-14 2019-02-06 ３次元測定装置、３次元測定方法及びプログラム

Country Status (5)

Country Link
US (1) US11321860B2 (ja)
EP (1) EP3754296B1 (ja)
JP (1) JP6880512B2 (ja)
CN (1) CN111566440B (ja)
WO (1) WO2019159769A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6880512B2 (ja) * 2018-02-14 2021-06-02 オムロン株式会社 ３次元測定装置、３次元測定方法及び３次元測定プログラム
US20220092805A1 (en) * 2020-09-23 2022-03-24 Smith & Nephew, Inc. Optical caliper for 3-d endoscopic imaging and measurement
WO2022065302A1 (ja) * 2020-09-28 2022-03-31 ファナック株式会社 撮像条件調整装置、及び撮像条件調整方法
US20220230335A1 (en) * 2021-01-20 2022-07-21 Nicolae Paul Teodorescu One-shot high-accuracy geometric modeling of three-dimensional scenes
WO2023182237A1 (ja) * 2022-03-24 2023-09-28 パナソニックＩｐマネジメント株式会社 距離測定装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6510244B2 (en) 1996-06-13 2003-01-21 K. U. Leuven Research & Development Method and system for acquiring a three-dimensional shape description
JP2011028042A (ja) * 2009-07-27 2011-02-10 Sony Corp 検出システムおよび検出方法
US8208719B2 (en) 2006-11-21 2012-06-26 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
JP2012177671A (ja) * 2011-02-27 2012-09-13 Plex International Design Co Ltd 微細非周期パターン投影装置および方法とそれを用いた三次元計測装置
US20150103358A1 (en) * 2012-03-09 2015-04-16 Galil Soft Ltd. System and method for non-contact measurement of 3d geometry
US20160050401A1 (en) * 2014-08-12 2016-02-18 Mantisvision Ltd. System, method and computer program product to project light pattern
WO2016199323A1 (ja) * 2015-06-09 2016-12-15 三菱電機株式会社 画像生成装置、画像生成方法、及びパターン光生成装置
JP2016540189A (ja) * 2013-10-23 2016-12-22 オキュラス ブイアール，エルエルシー 動的構造化光を用いた三次元深度マッピング
WO2018070210A1 (ja) * 2016-10-14 2018-04-19 オムロン株式会社 ３次元測定装置および３次元測定方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195455B1 (en) * 1998-07-01 2001-02-27 Intel Corporation Imaging device orientation information through analysis of test images
US7146036B2 (en) * 2003-02-03 2006-12-05 Hewlett-Packard Development Company, L.P. Multiframe correspondence estimation
US7164789B2 (en) * 2003-08-11 2007-01-16 Palo Alto Research Center Incorporated Three-dimensional active vision with glyph address carpet
IL157877A0 (en) * 2003-09-11 2004-03-28 Imagine It S Happening Ltd Color edge based 3d scanner
CN1266452C (zh) 2004-12-31 2006-07-26 深圳大学 复合编码多分辨三维数字成像方法
JP5317169B2 (ja) * 2008-06-13 2013-10-16 洋 川崎 画像処理装置、画像処理方法およびプログラム
CN102203551B (zh) * 2008-10-06 2015-02-11 曼蒂斯影像有限公司 用于提供三维和距离面间判定的方法和系统
CN102472613B (zh) * 2009-07-29 2014-07-09 佳能株式会社 测量设备和测量方法
JP5631025B2 (ja) * 2010-03-10 2014-11-26 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
JP5462093B2 (ja) * 2010-07-05 2014-04-02 株式会社トプコン 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
DE112011102991B4 (de) * 2010-09-08 2016-09-22 Canon Kabushiki Kaisha Verfahren und Vorrichtung zur 3D-Vermessung durch Erfassung eines vorbestimmten Musters
EP2643659B1 (en) * 2010-11-19 2019-12-25 Apple Inc. Depth mapping using time-coded illumination
JP6023415B2 (ja) * 2011-10-17 2016-11-09 キヤノン株式会社 三次元計測装置、三次元計測装置の制御方法およびプログラム
JP2013124884A (ja) * 2011-12-13 2013-06-24 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
WO2015034048A1 (ja) 2013-09-05 2015-03-12 アルプス電気株式会社 ３次元形状計測方法及び３次元形状計測装置
CN103512558B (zh) 2013-10-08 2016-08-17 北京理工大学 一种锥形目标双目视频位姿测量方法及靶标图案
JP6468802B2 (ja) * 2014-01-20 2019-02-13 キヤノン株式会社 三次元計測装置、三次元計測方法及びプログラム
JP6434788B2 (ja) * 2014-03-06 2018-12-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 計測システム、計測方法およびビジョンチップ
JP6465682B2 (ja) * 2014-03-20 2019-02-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20150347833A1 (en) * 2014-06-03 2015-12-03 Mark Ries Robinson Noncontact Biometrics with Small Footprint
CN104197861B (zh) * 2014-08-25 2017-03-01 深圳大学 基于结构光灰度向量的三维数字成像方法
US20160094830A1 (en) * 2014-09-26 2016-03-31 Brown University System and Methods for Shape Measurement Using Dual Frequency Fringe Patterns
US10250833B2 (en) * 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
CN107615019B (zh) 2015-05-21 2019-11-05 富士胶片株式会社 红外线摄像装置及基于红外线摄像装置的信号校正方法
US9769618B1 (en) * 2016-03-09 2017-09-19 Google Inc. On-demand mobile device location polling
US11345296B2 (en) * 2016-07-13 2022-05-31 Perry Ponder Side underride guard
CN107202554B (zh) 2017-07-06 2018-07-06 杭州思看科技有限公司 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
JP6879168B2 (ja) 2017-11-01 2021-06-02 オムロン株式会社 ３次元測定装置、３次元測定方法及びプログラム
JP6880512B2 (ja) * 2018-02-14 2021-06-02 オムロン株式会社 ３次元測定装置、３次元測定方法及び３次元測定プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6510244B2 (en) 1996-06-13 2003-01-21 K. U. Leuven Research & Development Method and system for acquiring a three-dimensional shape description
US8208719B2 (en) 2006-11-21 2012-06-26 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
JP2011028042A (ja) * 2009-07-27 2011-02-10 Sony Corp 検出システムおよび検出方法
JP2012177671A (ja) * 2011-02-27 2012-09-13 Plex International Design Co Ltd 微細非周期パターン投影装置および方法とそれを用いた三次元計測装置
US20150103358A1 (en) * 2012-03-09 2015-04-16 Galil Soft Ltd. System and method for non-contact measurement of 3d geometry
JP2016540189A (ja) * 2013-10-23 2016-12-22 オキュラス ブイアール，エルエルシー 動的構造化光を用いた三次元深度マッピング
US20160050401A1 (en) * 2014-08-12 2016-02-18 Mantisvision Ltd. System, method and computer program product to project light pattern
WO2016199323A1 (ja) * 2015-06-09 2016-12-15 三菱電機株式会社 画像生成装置、画像生成方法、及びパターン光生成装置
WO2018070210A1 (ja) * 2016-10-14 2018-04-19 オムロン株式会社 ３次元測定装置および３次元測定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3754296A4

Also Published As

Publication number Publication date
EP3754296A1 (en) 2020-12-23
US11321860B2 (en) 2022-05-03
CN111566440A (zh) 2020-08-21
EP3754296A4 (en) 2021-11-10
JP2019138817A (ja) 2019-08-22
JP6880512B2 (ja) 2021-06-02
EP3754296B1 (en) 2024-01-10
CN111566440B (zh) 2021-09-21
US20210358147A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
WO2019159769A1 (ja) ３次元測定装置、３次元測定方法及びプログラム
EP3480556B1 (en) Three-dimensional measurement apparatus, three-dimensional measurement method and program
JP6370777B2 (ja) 能動奥行き検知のためのアフィン不変空間マスクの受信
Farid Image forgery detection
JP5830546B2 (ja) 対象物のモデル変換に基づくモデルパラメータの決定
US9530215B2 (en) Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
US8855398B2 (en) Method of identifying a counterfeit bill using a portable terminal
Brauers et al. Direct PSF estimation using a random noise target
US20130057707A1 (en) Image projecting device, image processing device, image projecting method, and computer-readable recording medium
US20130088575A1 (en) Method and apparatus for obtaining depth information using optical pattern
US20120048950A1 (en) Two-Dimensional Code Generation Method, Two-Dimensional Code, Two-Dimensional Code Recognition Method, and Image Recognition Device
CN106960427A (zh) 二维码图像处理的方法和装置
US11073689B2 (en) Method and system for calibrating a wearable heads-up display to produce aligned virtual images in an eye space
JP2015060012A (ja) 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム
US10068338B2 (en) Active sensing spatial resolution improvement through multiple receivers and code reuse
US20210025699A1 (en) Control method for projector and projector
Pistellato et al. Deep demosaicing for polarimetric filter array cameras
JP6088864B2 (ja) キャリブレーションシステム、およびキャリブレーション方法
CN116157652A (zh) 为主动深度感测解码图像以应对光学失真
Li et al. Extended Depth-of
Li et al. Extended depth-of-field projector using learned diffractive optics
Xiang et al. Dual-color space color correction and histogram segmentation optimized strategy for underwater image enhancement
JP6006676B2 (ja) マーカ埋め込み装置、マーカ検出装置、マーカ埋め込み方法、マーカ検出方法、及びプログラム
KR101460350B1 (ko) 마커 인식 장치 및 방법
Saragadam et al. Programmable Spectral Filter Arrays using Phase Spatial Light Modulators

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19754537

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019754537

Country of ref document: EP

Effective date: 20200914