WO2019177066A1 - ３次元形状計測装置、３次元形状計測方法、プログラム及び記録媒体 - Google Patents

３次元形状計測装置、３次元形状計測方法、プログラム及び記録媒体 Download PDF

Info

Publication number
WO2019177066A1
WO2019177066A1 PCT/JP2019/010414 JP2019010414W WO2019177066A1 WO 2019177066 A1 WO2019177066 A1 WO 2019177066A1 JP 2019010414 W JP2019010414 W JP 2019010414W WO 2019177066 A1 WO2019177066 A1 WO 2019177066A1
Authority
WO
WIPO (PCT)
Prior art keywords
light pattern
measured
image
projected
dimensional shape
Prior art date
Application number
PCT/JP2019/010414
Other languages
English (en)
French (fr)
Inventor
坂本　静生
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/980,978 priority Critical patent/US20200408512A1/en
Priority to JP2020506629A priority patent/JP6994165B2/ja
Priority to EP19767084.7A priority patent/EP3767227B1/en
Publication of WO2019177066A1 publication Critical patent/WO2019177066A1/ja
Priority to JP2021198212A priority patent/JP7274111B2/ja
Priority to US17/591,020 priority patent/US20220155056A1/en
Priority to US17/591,923 priority patent/US20220155058A1/en
Priority to US17/591,910 priority patent/US20220155057A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded

Definitions

  • the present invention relates to a three-dimensional shape measuring apparatus, a three-dimensional shape measuring method, a program, and a recording medium.
  • Patent Documents 1 to 6 describe the use of a sine wave pattern as the light pattern projected onto the object to be measured.
  • a sine wave pattern as the light pattern projected onto the measurement object
  • the position on the measurement object can be specified using the phase (luminance) of the projected light as a clue, and the three-dimensional shape of the measurement object can be accurately determined. Can be detected well.
  • the conventional method for eliminating the ambiguity by projecting two types of sine wave patterns with different periods has a problem that the time required for measurement becomes longer because the projection time of the optical pattern is doubled.
  • An object of the present invention is to provide a three-dimensional shape measurement apparatus, a three-dimensional shape measurement method, a program, and a recording medium that can measure a three-dimensional shape of an object with high accuracy and in a short time with a simpler system.
  • a first light pattern whose luminance changes in a first cycle and a second luminance whose luminance changes in a second cycle longer than the first cycle are measured on the measurement object.
  • One projection device that projects a light pattern an imaging device that obtains an image of the measurement object on which the first light pattern or the second light pattern is projected, and the imaging device that has acquired the imaging device.
  • An image processing device that processes an image, and the image processing device applies a luminance value to each pixel of the image of the object to be measured on which the first light pattern is projected.
  • a relative phase value calculator that calculates a relative phase value in each part of the corresponding object to be measured; a luminance value and a relative phase value in each pixel of the image of the object to be measured on which the second light pattern is projected; Corresponding to each of the pixels An absolute phase value calculation unit for calculating an absolute phase value in each part of the measured object, and a three-dimensional coordinate in each part of the measured object corresponding to each pixel based on the absolute phase value 3 There is provided a three-dimensional shape measuring apparatus having a dimensional coordinate calculation unit.
  • a first light pattern whose luminance changes in a first cycle is projected onto the object to be measured, and the object to be measured on which the first light pattern is projected.
  • the projection device that is the same as the projection device used for projecting the first light pattern causes the object to be measured to change in luminance at a second period longer than the first period. Projecting two light patterns to obtain an image of the object to be measured on which the second light pattern has been projected; and each pixel of the image of the object to be measured onto which the first light pattern has been projected.
  • a three-dimensional shape measuring method including a step of calculating coordinates.
  • the computer controls one projection device, and the first light pattern whose luminance changes in a first cycle on the object to be measured, or the first Means for projecting a second light pattern whose luminance changes in a second period longer than one period, an image of the measurement object on which the first light pattern is projected, and the second light pattern are projected Means for acquiring the measured image of the measured object, and the measured object corresponding to each pixel based on a luminance value in each pixel of the image of the measured object projected with the first light pattern Means for calculating a relative phase value in each part of the image, and based on a luminance value and a relative phase value in each pixel of the image of the object to be measured on which the second light pattern is projected, and corresponding to each pixel
  • the program to function as a unit, for calculating the three-dimensional coordinates in the respective portions of the object to be measured corresponding to
  • the three-dimensional shape of the object to be measured can be measured with high accuracy and in a short time with a simpler system.
  • FIG. 1 is a schematic diagram showing a configuration example of a three-dimensional shape measuring apparatus according to the first embodiment of the present invention.
  • FIG. 2A is a diagram illustrating an example of a short-period light pattern used in the three-dimensional shape measurement method according to the first embodiment of the present invention.
  • FIG. 2B is a diagram illustrating an example of a short-period light pattern used in the three-dimensional shape measurement method according to the first embodiment of the present invention.
  • FIG. 2C is a diagram illustrating an example of a short-period light pattern used in the three-dimensional shape measurement method according to the first embodiment of the present invention.
  • FIG. 2A is a diagram illustrating an example of a short-period light pattern used in the three-dimensional shape measurement method according to the first embodiment of the present invention.
  • FIG. 2B is a diagram illustrating an example of a short-period light pattern used in the three-dimensional shape measurement method according to the first embodiment of the present invention.
  • FIG. 2C is
  • FIG. 2D is a diagram illustrating an example of a short-period light pattern used in the three-dimensional shape measurement method according to the first embodiment of the present invention.
  • FIG. 3A is a diagram illustrating an example of a long-period light pattern used in the three-dimensional shape measurement method according to the first embodiment of the present invention.
  • FIG. 3B is a diagram illustrating an example of a long-period light pattern used in the three-dimensional shape measurement method according to the first embodiment of the present invention.
  • FIG. 4 is a graph showing an absolute phase value calculation method in the three-dimensional shape measurement method according to the first embodiment of the present invention.
  • FIG. 5 is a flowchart showing a three-dimensional shape measuring method according to the first embodiment of the present invention.
  • FIG. 6A is a diagram illustrating an example of a long-period light pattern used in the three-dimensional shape measurement method according to the second embodiment of the present invention.
  • FIG. 6B is a diagram illustrating an example of a long-period light pattern used in the three-dimensional shape measurement method according to the second embodiment of the present invention.
  • FIG. 7 is a graph showing an absolute phase value calculation method in the three-dimensional shape measurement method according to the second embodiment of the present invention.
  • FIG. 8 is a flowchart showing a three-dimensional shape measurement method according to the second embodiment of the present invention.
  • FIG. 9A is a graph showing the results of verifying the effects of the present invention by computer simulation.
  • FIG. 9B is a graph showing the results of verifying the effects of the present invention by computer simulation.
  • FIG. 9A is a graph showing the results of verifying the effects of the present invention by computer simulation.
  • FIG. 10 is a schematic diagram illustrating a configuration example of a three-dimensional shape measurement apparatus according to the third embodiment of the present invention.
  • FIG. 11A is a diagram illustrating an example of a light pattern according to a modification of the embodiment of the present invention.
  • FIG. 11B is a diagram illustrating an example of a light pattern according to a modification of the embodiment of the present invention.
  • FIG. 1 is a schematic diagram illustrating a configuration example of a three-dimensional shape measuring apparatus according to the present embodiment.
  • 2A to 2D are diagrams illustrating examples of short-period light patterns used in the three-dimensional shape measurement method according to the present embodiment.
  • 3A and 3B are diagrams illustrating an example of a long-period light pattern used in the three-dimensional shape measurement method according to the present embodiment.
  • FIG. 4 is a graph showing an absolute phase value calculation method in the three-dimensional shape measurement method according to the present embodiment.
  • FIG. 5 is a flowchart showing the three-dimensional shape measuring method according to the present embodiment.
  • the three-dimensional shape measurement apparatus 100 includes a projection apparatus 20, an imaging apparatus 30, and an image processing apparatus 40 as shown in FIG.
  • the image processing device 40 includes a projection pattern control unit 42, an image acquisition unit 44, a relative phase value calculation unit 46, an absolute phase value calculation unit 48, a three-dimensional coordinate calculation unit 50, and a control unit 52. .
  • the projection device 20 is a device that projects a predetermined light pattern onto the object to be measured 10 which is a three-dimensional shape measurement target.
  • the projection device 20 is not particularly limited, and examples thereof include a DLP (Digital Light Processing) projector and a liquid crystal projector.
  • a DLP projector or a liquid crystal projector can project an arbitrary light pattern at high speed, which is preferable for shortening the three-dimensional shape measurement. Shortening the measurement time is particularly suitable for measuring the three-dimensional shape of a moving object (moving object), such as when performing face authentication of a person.
  • the details of the light pattern projected on the measurement object 10 will be described later.
  • the object to be measured 10 may include a person's face, head, finger, fingerprint, fingerprint ridge, and other body parts, but is not limited thereto.
  • the imaging device 30 is a device that captures an image of the measurement object 10 onto which the light pattern emitted from the projection device 20 is projected.
  • the imaging device 30 includes a solid-state imaging device such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor.
  • the imaging device 30 also includes an optical system that forms an image of a subject on the imaging surface of the solid-state imaging device, a signal processing circuit that obtains a luminance value for each pixel by performing signal processing on the output of the solid-state imaging device.
  • the image processing apparatus 40 may be configured by a general-purpose information processing apparatus (computer) including a CPU (Central Processing Unit), a storage device such as a memory, a display, and a hard disk, and various interfaces for input / output. Further, the image processing apparatus 40 includes a program for causing the information processing apparatus to execute a three-dimensional shape measurement method described later, and the functions of the respective units of the image processing apparatus 40 are realized by the CPU executing the program. Is possible.
  • a general-purpose information processing apparatus computer
  • CPU Central Processing Unit
  • storage device such as a memory, a display, and a hard disk
  • various interfaces for input / output.
  • the image processing apparatus 40 includes a program for causing the information processing apparatus to execute a three-dimensional shape measurement method described later, and the functions of the respective units of the image processing apparatus 40 are realized by the CPU executing the program. Is possible.
  • the projection pattern control unit 42 has a function of generating a light pattern to be projected onto the measurement object 10 and storing the light pattern in advance in a storage device.
  • the projection pattern control unit 42 has a function of transmitting the light pattern data stored in the storage device to the projection device 20 via a general-purpose display interface such as DVI (Digital Visual Interface).
  • the projection pattern control unit 42 has a function of controlling the operation of the projection apparatus 20 (lighting on / off of the light source, light amount adjustment, etc.) via a general-purpose communication interface such as RS232C or USB (Universal Serial Bus).
  • the image acquisition unit 44 has a function of acquiring image data captured by the imaging device 30 and storing it in a memory. In addition, the image acquisition unit 44 has a function of controlling the operation (imaging timing, etc.) of the imaging device 30 via a general-purpose communication interface such as RS232C or USB. The image acquisition unit 44 has a function of instructing the projection pattern control unit 42 to project a light pattern onto the projection device 20.
  • the relative phase value calculation unit 46 has a function of calculating a phase value (phase values ⁇ and ⁇ , which will be described later) corresponding to a luminance value for each pixel based on an image captured by the imaging device 30. The details of the phase value calculation method will be described later.
  • the absolute phase value calculation unit 48 has a function of calculating an absolute phase value (absolute phase value ⁇ described later) for each pixel based on the phase value calculated by the relative phase value calculation unit 46. The details of the phase value calculation method will be described later.
  • the three-dimensional coordinate calculation unit 50 projects the projection point P (X on the object to be measured 10 corresponding to the point p (x, y) on the image.
  • Y, Z has a function for obtaining the three-dimensional coordinates by calculation.
  • the control unit 52 has a function of comprehensively controlling these units of the image processing apparatus 40.
  • a sine wave grating-like light pattern (hereinafter referred to as a sine wave pattern) as shown in FIGS. 2A to 2D is projected onto the object to be measured 10 while gradually shifting the phase.
  • This is a method for specifying the three-dimensional shape based on the photographed image of the measurement object 10 that is projected.
  • FIG. 2A to FIG. 2D show four sine wave patterns with phases shifted by 1/4 wavelength as an example.
  • Each of FIGS. 2A to 2D represents the luminance in the projection area of the light pattern in gray scale.
  • the luminance changes in a sine wave shape along the vertical direction of the drawings.
  • variable t is described as “time”, and the explanation was made assuming that the amplitude of luminance is modulated. In terms of mounting, this represents the amount of phase shift in the vertical direction when the light pattern in FIG. 2A is used as a reference, and the projection timing of the light pattern can be changed regardless of the actual time. The same applies to FIGS. 3A and 3B described later.
  • the luminance value I (x, y, t) at the time t in the (x, y) coordinates of the obtained image represents the amplitude of the sine wave.
  • the phase value is ⁇
  • the bias (center value of the sine wave) is B
  • the light pattern projected by the projection device 20 has a different phase value ⁇ for each angle viewed from the projection device 20, if the phase value ⁇ at the coordinates (x, y) can be obtained, the coordinates (x, A three-dimensional position corresponding to y) can be determined.
  • the phase value ⁇ can be calculated if there are at least three light pattern projection images. When four or more light pattern projection images are taken, the phase value ⁇ can be calculated with higher accuracy by the least square method or the like.
  • the sine wave phase shift method can obtain a resolution of about 1/200 of the depth corresponding to one period. In one example, an accuracy of about 100 ⁇ m to 200 ⁇ m is actually obtained. .
  • the obtained phase value ⁇ is in the range of ⁇ to ⁇ ( ⁇ ⁇ ⁇ ⁇ ⁇ ). Accordingly, there may be points having the same phase value ⁇ as many as the number of periods included in the projection area of the light pattern, and the coordinates cannot be uniquely determined from the obtained phase value ⁇ . Although this uncertainty can be eliminated by using a sine wave pattern in which the entire screen of the image to be photographed has one cycle, there is a trade-off relationship that the depth measurement accuracy deteriorates accordingly. For this reason, conventionally, a so-called multi-lens sinusoidal grating phase shift method has been used which eliminates this uncertainty using images acquired by two imaging devices. However, since the multi-lens sine wave grating phase shift method uses a plurality of projectors or a plurality of imaging devices, there are problems such as a complicated system configuration and control.
  • the three-dimensional shape measurement method according to the present embodiment two types of light patterns are used as light patterns projected onto the measurement object 10. These two types of light patterns are periodic light patterns with different numbers of repetition periods, and here, these are distinguished as short-period light patterns and long-period light patterns. That is, the three-dimensional shape measurement method according to the present embodiment adds the phase value using the long-period light pattern to the measurement of the phase value using the short-period light pattern similar to the measurement using the sine wave phase shift method described above. Is to measure.
  • a sine wave pattern is used as both the short-period light pattern and the long-period light pattern.
  • the short period light pattern is a light pattern that determines the resolution of measurement. The greater the number of short-period light patterns included in the entire screen of the image captured by the imaging device 30, the higher the measurement resolution. Therefore, it is desirable that the short-period light pattern is a light pattern including a pattern of a plurality of periods on the entire screen of an image to be captured, for example, as illustrated in FIGS. 2A to 2D. The number of short-period light patterns included in the entire screen can be set as appropriate according to the resolution required for measurement.
  • the long-period light pattern is a light pattern for specifying the absolute phase value ⁇ , and is preferably a light pattern including a pattern of one cycle or less on the entire screen of an image photographed by the imaging device 30.
  • FIGS. 3A and 3B As the long-period light pattern, for example, as shown in FIGS. 3A and 3B, a light pattern including a one-cycle pattern can be applied to the entire screen of a captured image.
  • FIGS. 3A and 3B represents the brightness in the projection area of the light pattern in gray scale, as in FIGS. 2A to 2D.
  • the luminance changes in a sine wave shape along the vertical direction of the drawings.
  • the luminance value I (x, y, t) at the time t in the (x, y) coordinates of the obtained image has an amplitude of A
  • the phase value is ⁇ and the bias is B
  • the luminance value J (x, y, t) at time t in the (x, y) coordinates of the obtained image has an amplitude. If A ′, the phase value is ⁇ , and the bias is B ′, the following equation (9) is obtained.
  • the sine wave grating phase shift method can obtain a resolution of about 1/200 of the depth corresponding to the width of one cycle.
  • the design guideline is that the absolute phase can be determined with high confidence, the relative phase obtained from about ⁇ 3 ⁇ , that is, (6/200) ⁇ 1 , that is, about 33 sine waves that repeat.
  • the absolute phase value can be determined from the value.
  • the projection device 20 when a projector capable of projecting an arbitrary light pattern, such as a liquid crystal projector or a DLP projector, is used as the projection device 20, the short-period light pattern and the long-period light pattern are switched at high speed by one projection device 20. Can be projected. And when projecting the short period light pattern and long period light pattern which were produced
  • the equation (9) can be rewritten as the following equations (18) and (19), and the unknowns are not three of the amplitude A ′, the phase value ⁇ , and the bias B ′, but the phase value ⁇ It becomes only one.
  • the phase value ⁇ can be obtained.
  • the short-period light pattern and the long-period light pattern emitted from one projection device 20 are configured to be projected onto the measurement object 10, and projected onto the measurement object 10.
  • the phase value ⁇ can be calculated while reducing the number of times. Thereby, the three-dimensional shape of the DUT 10 can be measured in a short time.
  • the uncertainty of the phase value ⁇ obtained by the equations (19) and (22) is not an integer of 2 ⁇ , but an integer of ⁇ (the obtained phase
  • the range of the value ⁇ is 0 ⁇ ⁇ ⁇ ⁇ ). That is, it is necessary to project a sine wave in which the entire image has a half cycle instead of one cycle. This means that the relative error of the phase value ⁇ is doubled.
  • the phase value ⁇ By obtaining the phase value ⁇ from the equations (23) and (24) by the least square method, the following equation (25) is obtained.
  • the uncertainty of the phase value ⁇ thus obtained is an integer of 2 ⁇ (the range of the phase value ⁇ obtained is ⁇ ⁇ ⁇ ⁇ ⁇ ).
  • phase value of the long-period light pattern to be projected changes gently on the entire screen, so it can be assumed that the compatibility with noise removal such as smoothing and median filter is good.
  • the phase value ⁇ is a value for each cycle of the short-period light pattern, that is, a value of ⁇ to ⁇ . Therefore, in order to obtain an absolute phase value in an optical pattern projected for a plurality of periods, a pattern of order n (a value indicating whether it is the nth period counted from one end to the other end) A process for estimating the position on the image is necessary.
  • the phase value ⁇ is used for estimating the order n of the short-period light pattern.
  • FIG. 4 shows the relationship between the relative phase value (phase value ⁇ , phase value ⁇ ) and the order n of the short cycle light pattern when the short cycle light pattern in the screen is 10 cycles and the long cycle light pattern is 1 cycle. It is a graph which shows an example of a relationship.
  • the order n of the short-period light pattern can be uniquely determined according to the value of the phase value ⁇ .
  • the order n of the short-period light pattern is 2 when the phase value ⁇ is in the range of ⁇ / 5 to 2 ⁇ / 5
  • the order of the short-period light pattern is when the phase value ⁇ is in the range of ⁇ 4 ⁇ / 5 to ⁇ 3 ⁇ / 5.
  • n is 7.
  • a line (equal phase line) obtained by connecting points having the same absolute phase value ⁇ on the photographed image represents the shape of a cross section obtained by cutting the object to be measured 10 along a certain plane in the same manner as the cutting line by the optical cutting method. Yes.
  • the three-dimensional shape (height information at each point of the image) of the object to be measured 10 can be measured by the principle of triangulation.
  • the projection point on the object to be measured corresponding to each pixel on the image in the three-dimensional space is determined according to the principle of triangulation.
  • the three-dimensional shape of the measurement object 10 can be specified.
  • the imaging time is longer than when one type of light pattern is used.
  • the absolute time can be sufficiently shortened by using a DLP projector, a liquid crystal projector, or the like for the projection of the light pattern.
  • the positional relationship between the left and right cameras and the projector is out of order, which is a disadvantage of the multi-lens sine wave grating phase shift method described above, and the calculation time of the three-dimensional coordinates is long. It can be expected to solve the problem of being unable to measure.
  • the conventional method when two light patterns of a short-period light pattern and a long-period light pattern are used, it is necessary to project and shoot the light pattern a total of six times at least three times for each.
  • the three-dimensional shape measurement method according to the present embodiment projection and photographing of the light pattern are performed a total of four times, at least three times using the short-period light pattern and once using the long-period light pattern. Just do it. Therefore, according to the three-dimensional shape measuring method according to the present embodiment, the number of projections can be reduced, and the photographing time can be shortened.
  • the measurement using the short period light pattern is performed first, and the amplitude A and the bias B are calculated.
  • the measurement using the long period light pattern is performed first, and the amplitude A ′ and the bias B ′ are calculated. You may make it calculate.
  • the three-dimensional shape measurement method according to the present embodiment can be executed, for example, according to steps S101 to S116 shown in FIG.
  • the amplitude A, the bias B, and the phase value ⁇ are calculated from the image of the measurement object 10 onto which the first light pattern that is a short-period light pattern is projected, and the second light pattern that is a long-period light pattern.
  • a case where the phase value ⁇ is calculated from the image of the measurement object 10 that has been projected will be described as an example.
  • the amplitude A ′, the bias B ′, and the phase value ⁇ are calculated from the image of the object to be measured 10 onto which the first light pattern that is a long-period light pattern is projected, and the second light pattern that is a short-period light pattern is calculated.
  • the phase value ⁇ may be calculated from the projected image of the measured object 10.
  • the projection of the second light pattern may be performed prior to the projection of the first light pattern.
  • the number L of projections of the first light pattern is set.
  • the measurement using the first light pattern is for determining the amplitude A, the bias B, and the phase value ⁇ , and the number of projections L is 3 or more.
  • the number of projections L is 4 or more.
  • the number L of projections of the first light pattern is four.
  • step S102 under the control of the projection pattern control unit 42, the projection device 20 projects the first light pattern onto the measurement object 10 to be measured.
  • a first light pattern that is a short-period light pattern is projected onto the measurement object 10.
  • the short period light pattern for example, the pattern of FIG. 2A can be applied.
  • step S ⁇ b> 103 under the control of the image acquisition unit 44, the imaging device 30 captures an image of the measurement object 10 on which the first light pattern is projected.
  • step S104 the number L of projections of the first light pattern is reduced by one.
  • the number of projections L represents the remaining number of projections of the first light pattern.
  • step S105 it is determined whether or not the number of projections L of the first light pattern is 0, that is, whether or not the first light pattern has been projected and photographed by the number of projections L set in step S101.
  • step S105 If the number of projections L is not 0 as a result of the determination in step S105 (“No” in step S105), the phase of the first light pattern projected on the measurement object 10 is shifted in step S106, and the process returns to step S102. .
  • the projection pattern control unit 42 sequentially prepares data of short-period light patterns (see FIGS. 2B, 2C, and 2D) that are shifted in phase by 1 ⁇ 4 wavelength, Transmit to the projection device 20.
  • step S105 If the number of times of projection L is 0 as a result of the determination in step S105 (“Yes” in step S105), the process proceeds to step S107.
  • step S107 the relative phase value calculator 46 calculates the amplitude A, the bias B, and the phase value ⁇ based on the luminance value I of each pixel of the L images taken in step S103.
  • the amplitude A, the bias B, and the phase value ⁇ can be calculated based on, for example, the equations (6) to (8).
  • step S108 the number M of projections of the second light pattern is set.
  • the measurement using the second light pattern is for determining the phase value ⁇ , and the number of projections M is one or more.
  • the number M of projections is two or more.
  • it is assumed that the number M of projections of the second light pattern is two.
  • step S109 under the control of the projection pattern control unit 42, the projection device 20 projects the second light pattern onto the measurement object 10 to be measured.
  • the projection device 20 projects the second light pattern onto the measurement object 10 to be measured.
  • a second light pattern that is a long-period light pattern is projected onto the measurement object 10.
  • the long-period light pattern for example, the pattern of FIG. 3A can be applied.
  • step S110 the object to be measured 10 on which the second light pattern is projected is imaged by the imaging device 30 under the control of the image acquisition unit 44.
  • step S111 the number M of projections of the second light pattern is reduced by one.
  • the number of projections M represents the remaining number of projections of the second light pattern.
  • step S112 it is determined whether or not the number of projections M of the second light pattern is 0, that is, whether or not the second light pattern has been projected and photographed by the number of projections M set in step S108.
  • step S113 the phase of the second pattern projected onto the measurement object 10 is shifted, and the process returns to step S109.
  • the projection pattern control unit 42 prepares data of a long-period light pattern (see FIG. 3B) whose phase is shifted by 1 ⁇ 4 wavelength and transmits the data to the projection device 20.
  • step S112 If the number of projections M is 0 as a result of the determination in step S112 ("Yes" in step S112), the process proceeds to step S114.
  • step S114 the relative phase value calculator 46 calculates the phase value ⁇ based on the amplitude A and the bias B calculated in step S107 and the luminance value J of each pixel of the M images captured in step S110. Calculate each.
  • the phase value ⁇ can be calculated based on, for example, Expression (25).
  • step S115 the absolute phase value calculator 48 calculates the absolute phase value ⁇ based on the phase value ⁇ calculated in step S107 and the phase value ⁇ calculated in step S114.
  • step S116 the three-dimensional coordinate calculation unit 50, based on the absolute phase value ⁇ calculated in step S115, in the three-dimensional space of the projection point on the measured object 10 corresponding to each pixel on the photographed image. Calculate absolute coordinate values. Thereby, the three-dimensional shape of the DUT 10 can be specified.
  • the three-dimensional measurement method according to the present embodiment performs projection and photographing of the light pattern four times in total, that is, three times using the short-period light pattern and once using the long-period light pattern.
  • the three-dimensional shape of the object to be measured can be measured. Therefore, the three-dimensional measurement method according to the present embodiment requires a minimum of three times of projection and photographing of the light pattern, three times using the short-period light pattern and three times using the long-period light pattern.
  • the number of projections can be reduced, and the measurement time can be shortened.
  • the three-dimensional measurement method according to the present embodiment capable of performing high-accuracy measurement in a shorter measurement time is extremely useful for performing, for example, face authentication with a moving image with high accuracy.
  • the projection of the short-period light pattern and the projection of the long-period pattern are performed by one projection device, and the imaging of the light pattern projected on the measurement object is performed by one imaging device. Is possible. Therefore, the three-dimensional measuring apparatus according to the present embodiment can simplify the system configuration and control as compared with the conventional method using a plurality of projection apparatuses and imaging apparatuses.
  • FIGS. 6A to 9B A three-dimensional shape measurement apparatus and a three-dimensional shape measurement method according to a second embodiment of the present invention will be described with reference to FIGS. 6A to 9B. Constituent elements similar to those of the three-dimensional shape measuring apparatus according to the first embodiment are denoted by the same reference numerals, and description thereof is omitted or simplified.
  • FIGS. 6A and 6B are diagrams illustrating an example of a long-period light pattern used in the three-dimensional shape measurement method according to the present embodiment.
  • FIG. 7 is a graph showing an absolute phase value calculation method in the three-dimensional shape measurement method according to the present embodiment.
  • FIG. 8 is a flowchart showing the three-dimensional shape measuring method according to the present embodiment.
  • 9A and 9B are graphs showing the results of verifying the effects of the present invention by computer simulation.
  • the sine wave pattern is used as the short period light pattern and the long period light pattern.
  • the short period light pattern and the long period light pattern are not necessarily a sine wave pattern. There may be.
  • various periodic patterns can be applied.
  • a sine wave pattern is used as a short period light pattern and a luminance gradient pattern is used as a long period light pattern will be described.
  • the sine wave is likely to project substantially the same luminance value at adjacent angles.
  • 640 pixels which is the size of a general camera image
  • 256 which is a general luminance quantization level of a camera or projector
  • the number of projections of a light pattern is set as in the present invention. By reducing it, the error near the maximum and minimum values of the sine wave increases.
  • a luminance gradient pattern in which the differential value is a constant value, that is, the luminance value linearly changes at a constant rate. Therefore, in this embodiment, a luminance gradient pattern is applied as the long-period light pattern.
  • FIG. 6A and 6B show an example of the luminance gradient pattern.
  • FIG. 6A shows a luminance gradient pattern in which the luminance increases from top to bottom at a constant rate
  • FIG. 6B shows a luminance gradient pattern in which the luminance decreases at a constant rate from top to bottom.
  • the brightness value K (x, y, t) at time t in the (x, y) coordinates of the obtained image is expressed by the following equation (26).
  • a ′′ is the amplitude
  • B ′′ is the bias
  • ⁇ is a variable whose value changes linearly in the range of ⁇ 1 ⁇ ⁇ ⁇ 1.
  • the luminance value K (x, y, t) and the variable ⁇ are expressed by the equations (28) and ( 29).
  • variable ⁇ changes gently on the entire screen, it can be assumed that it is compatible with noise removal such as smoothing and median filter. It is considered that the demerit caused by reducing the number of sheets can be canceled out by designing so as to have the same absolute phase determination accuracy as in the case of projecting four sheets. Further, unlike the phase value, it is not strictly periodic, and thus a classic noise removal process can be used as it is.
  • FIG. 7 shows the relative phase value (phase value ⁇ ), the variable ⁇ , and the short-period light pattern when the short-period light pattern in the screen is 10 periods and the long-period light pattern (luminance gradient pattern) is one period. It is a graph which shows the relationship with order n.
  • the order n of the short-period light pattern can be uniquely determined according to the value of the variable ⁇ .
  • the order n of the short-period light pattern is 2 when the variable ⁇ is in the range of ⁇ 0.8 to ⁇ 0.6, and the order n of the short-period light pattern is within the range of the variable ⁇ is 0.2 to 0.4. 7.
  • a line (equal phase line) obtained by connecting points having the same absolute phase value ⁇ on the photographed image represents the shape of a cross section obtained by cutting the object to be measured 10 along a certain plane in the same manner as the cutting line by the optical cutting method. Yes.
  • the three-dimensional shape (height information at each point of the image) of the object to be measured 10 can be measured by the principle of triangulation.
  • the projection point on the object to be measured corresponding to each pixel on the image in the three-dimensional space is determined according to the principle of triangulation.
  • the three-dimensional shape of the measurement object 10 can be specified.
  • the three-dimensional shape measurement method according to the present embodiment can be executed, for example, according to steps S201 to S216 shown in FIG.
  • the amplitude A, the bias B, and the phase value ⁇ are calculated from the image of the measurement object 10 onto which the first light pattern that is a short-period light pattern is projected, and the second light pattern that is a long-period light pattern.
  • a case where the phase value ⁇ is calculated from the image of the measurement object 10 that has been projected will be described as an example.
  • the amplitude A ′, the bias B ′, and the phase value ⁇ are calculated from the image of the object to be measured 10 onto which the first light pattern that is a long-period light pattern is projected, and the second light pattern that is a short-period light pattern is calculated.
  • the phase value ⁇ may be calculated from the projected image of the measured object 10.
  • the projection of the second light pattern may be performed prior to the projection of the first light pattern.
  • Steps S101 to S107 of the three-dimensional shape measurement method according to the first embodiment measurement using the first light pattern (short-period light pattern) is performed.
  • the amplitude A, the bias B, and the phase value ⁇ are calculated based on the luminance value I of each pixel of the L captured images (steps S201 to S207).
  • step S208 the number M of projections of the second light pattern (luminance gradient pattern) is set.
  • the measurement using the second light pattern is for determining the variable ⁇ , and the number of projections M is one or more.
  • the number M of projections is two or more.
  • it is assumed that the number M of projections of the second light pattern is two.
  • step S209 under the control of the projection pattern control unit 42, the projection device 20 projects a second light pattern that is a luminance gradient pattern onto the measurement object 10.
  • a luminance gradient pattern for example, the pattern shown in FIG. 6A can be applied.
  • step S ⁇ b> 210 the measurement object 10 onto which the second light pattern is projected is imaged by the imaging device 30 under the control of the image acquisition unit 44.
  • step S211 the number of times M of projecting the second light pattern is reduced by one.
  • the number of projections M represents the remaining number of projections of the second light pattern.
  • step S212 it is determined whether or not the number of projections M of the second light pattern is 0, that is, whether or not the second light pattern has been projected and photographed by the number of projections M set in step S208.
  • step S212 If the number of projections M is not 0 as a result of the determination in step S212 (“No” in step S212), the phase of the second pattern projected on the measurement object 10 is shifted in step S213, and the process returns to step S209.
  • the projection pattern control unit 42 sequentially prepares data of a luminance gradient pattern (see FIG. 6B) with the luminance gradient inverted, and transmits the data to the projection device 20.
  • step S212 If the number of projections M is 0 as a result of the determination in step S212 (“Yes” in step S212), the process proceeds to step S214.
  • step S214 the relative phase value calculation unit 46 sets the variable ⁇ based on the amplitude A and the bias B calculated in step S207 and the luminance value K of each pixel of the M images captured in step S210. calculate.
  • the variable ⁇ can be calculated based on, for example, the equation (32).
  • step S215 the absolute phase value calculator 48 calculates the absolute phase value ⁇ based on the phase value ⁇ calculated in step S207 and the variable ⁇ calculated in step S214.
  • step S216 the three-dimensional coordinate calculation unit 50, based on the absolute phase value ⁇ calculated in step S215, in the three-dimensional space of the projection point on the measurement object 10 corresponding to each pixel on the photographed image. Calculate absolute coordinate values. Thereby, the three-dimensional shape of the DUT 10 can be specified.
  • FIG. 9A and 9B show the results of verifying the effects of the present invention by computer simulation.
  • FIG. 9A shows the case of the first embodiment using a sine wave pattern as a short period light pattern and a long period light pattern
  • FIG. 9B shows a luminance gradient pattern as a long period light pattern using a sine wave pattern as a short period light pattern. This is the case of this embodiment used. In any case, the number of projections of the long-period light pattern is assumed to be two.
  • the sine wave for shape measurement was a pattern of 10 repetitions (see FIGS. 2A to 2D), and the sine wave for absolute phase determination was a half cycle pattern.
  • the x-plot is a short-period light pattern and is shown with error bars in the range of standard deviation ⁇ .
  • a plot of ⁇ is a long-period light pattern, which is shown with error bars in the range of three times the standard deviation ⁇ .
  • the luminance gradient pattern is used as the long-period light pattern, as shown in FIG. 9B, the accuracy related to the determination of the absolute phase value is constant without depending on the location, and compared with the case of FIG. 9A as a whole. It can be seen that it can be greatly improved.
  • ⁇ 3
  • the maximum value of the 6-fold range of the phase estimation accuracy by the long-period sine wave grating is 4.5%, and it can be seen that the short-period sine wave grating can be increased to about 20 periods in the screen.
  • the luminance gradient pattern as the long-period light pattern, the projection angle dependency of the measurement error can be reduced, and more accurate measurement can be performed.
  • the luminance gradient pattern is used as the long-period light pattern. Therefore, the measurement is performed in comparison with the three-dimensional measurement method according to the first embodiment that uses the sine wave pattern as the long-period pattern. The error can be reduced. Thereby, in addition to the effect produced by the first embodiment, the measurement accuracy can be further improved.
  • FIG. 10 is a schematic diagram illustrating a configuration example of the three-dimensional shape measurement apparatus according to the present embodiment.
  • the three-dimensional shape measuring apparatus can be configured as shown in FIG. 10, for example. That is, the three-dimensional shape measuring apparatus 100 according to the present embodiment has the first light pattern whose luminance changes in the first cycle and the luminance in the second cycle longer than the first cycle. One projection device 20 that projects the second light pattern that changes is provided.
  • the three-dimensional shape measurement apparatus 100 includes an imaging device 30 that acquires an image of the measurement object 10 on which the first light pattern or the second light pattern is projected, and an image that processes the image acquired by the imaging device 30. And a processing device 40.
  • the image processing device 40 calculates a relative phase value in each part of the measurement object 10 corresponding to each pixel based on the luminance value in each pixel of the image of the measurement object 10 onto which the first light pattern is projected.
  • a relative phase value calculator 46 is provided. Further, the image processing device 40 is configured to detect the luminance value and the relative phase value in each pixel of the image of the measurement object 10 on which the second light pattern is projected, in each unit of the measurement object 10 corresponding to each pixel.
  • An absolute phase value calculation unit 48 for calculating an absolute phase value is included.
  • the image processing apparatus 40 includes a three-dimensional coordinate calculation unit 50 that calculates three-dimensional coordinates in each part of the measurement object 10 corresponding to each pixel based on the absolute phase value.
  • an example in which a part of the configuration of any embodiment is added to another embodiment, or an example in which a part of the configuration of another embodiment is replaced is also an embodiment of the present invention.
  • the sine wave pattern is exemplified as the periodic light pattern.
  • the periodic light pattern is not limited to the sine wave pattern.
  • the periodic light pattern may be a sawtooth wave pattern as shown in FIG. 11A or a triangular wave pattern as shown in FIG. 11B.
  • the luminance gradient pattern shown in the second embodiment is a waveform corresponding to one cycle of the sawtooth wave pattern shown in FIG. 11A or a waveform corresponding to a half cycle of the triangular wave pattern shown in FIG. 11B. From this point of view, in this specification, the luminance gradient pattern is treated as one of periodic light patterns.
  • the three-dimensional shape measuring method and apparatus as described in the said embodiment are applicable to the measurement of the shape of various objects.
  • the measured object 10 is not limited to a moving object.
  • the recording medium for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, and a ROM can be used.
  • the embodiment is not limited to the processing executed by a single program recorded in the recording medium, and the embodiments that execute processing by operating on the OS in cooperation with other software and the function of the expansion board are also described in each embodiment. Included in the category.
  • a projection device One that projects a first light pattern whose luminance changes in a first cycle and a second light pattern whose luminance changes in a second cycle longer than the first cycle on the object to be measured
  • a projection device An imaging device that acquires an image of the measurement object onto which the first light pattern or the second light pattern is projected;
  • An image processing device that processes the image acquired by the imaging device;
  • the image processing apparatus includes: Relative phase value calculation for calculating a relative phase value in each part of the measurement object corresponding to each pixel based on a luminance value in each pixel of the image of the measurement object on which the first light pattern is projected And Based on the luminance value and the relative phase value in each pixel of the image of the object to be measured on which the second light pattern is projected, the absolute phase value in each part of the object to be measured corresponding to each pixel is obtained.
  • a three-dimensional shape measurement apparatus comprising: a three-dimensional coordinate calculation unit that calculates a three-dimensional coordinate in each
  • the imaging apparatus captures at least three images captured by changing the phase of the first light pattern projected on the measurement object, and one imaged of the measurement object on which the second light pattern is projected.
  • the three-dimensional shape measuring apparatus according to appendix 1, wherein an image or two images captured by changing the phase of the second light pattern projected onto the object to be measured is acquired.
  • Appendix 3 The three-dimensional shape measuring apparatus according to appendix 1 or 2, wherein the first light pattern is a sine wave pattern.
  • Appendix 4 The three-dimensional shape measuring apparatus according to any one of appendices 1 to 3, wherein the second light pattern is a sine wave pattern.
  • Appendix 7 The three-dimensional shape measurement according to any one of appendices 1 to 6, wherein the projection device generates the first light pattern and the second light pattern from light emitted from the same light source. apparatus.
  • Appendix 8 The three-dimensional shape measurement apparatus according to any one of appendices 1 to 7, wherein the projection apparatus is a DLP projector or a liquid crystal projector.
  • Appendix 10 The three-dimensional shape measurement apparatus according to appendix 9, wherein the moving object is a human face.
  • Appendix 13 The three-dimensional shape measurement method according to appendix 11 or 12, wherein the first light pattern is a sine wave pattern.
  • Appendix 14 The three-dimensional shape measurement method according to any one of appendices 11 to 13, wherein the second light pattern is a sine wave pattern.
  • Appendix 16 The three-dimensional shape measuring method according to appendix 14 or 15, wherein the second light pattern is a pattern having one cycle in the entire screen of the image.
  • Appendix 17 The three-dimensional shape measurement according to any one of appendices 11 to 16, wherein the projection device generates the first light pattern and the second light pattern from light emitted from the same light source. Method.
  • Appendix 18 The three-dimensional shape measurement method according to any one of appendices 11 to 17, wherein the projection device is a DLP projector or a liquid crystal projector.
  • Appendix 20 The three-dimensional shape measurement method according to appendix 19, wherein the moving object is a human face.
  • (Appendix 21) Computer By controlling one projection device, the first light pattern whose luminance changes in the first cycle on the object to be measured, or the second whose luminance changes in the second cycle longer than the first cycle Means for projecting the light pattern of Means for obtaining an image of the measurement object on which the first light pattern is projected and an image of the measurement object on which the second light pattern is projected; Means for calculating a relative phase value in each part of the measurement object corresponding to each pixel based on a luminance value in each pixel of the image of the measurement object on which the first light pattern is projected; Based on the luminance value and the relative phase value in each pixel of the image of the object to be measured on which the second light pattern is projected, the absolute phase value in each part of the object to be measured corresponding to each pixel is obtained. Means for calculating, Means for calculating a three-dimensional coordinate in each part of the object to be measured corresponding to each pixel based on the absolute phase value; Program to function as.
  • the means for acquiring the image captures at least three images captured by changing the phase of the first light pattern projected on the object to be measured, and the object to be measured on which the second light pattern is projected.
  • Appendix 23 A computer-readable recording medium on which the program according to appendix 21 or 22 is recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

３次元形状計測装置は、被計測物に、第１の周期で輝度が変化する第１の光パターンと、第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンと、を投射する１つの投影装置と、第１又は第２の光パターンが投影された被計測物の画像を取得する撮像装置と、撮像装置が取得した画像を処理する画像処理装置と、を有する。画像処理装置は、第１の光パターンが投影された被計測物の画像の輝度値に基づき、被計測物の各部における相対位相値を算出する相対位相値演算部と、第２の光パターンが投影された被計測物の画像の輝度値及び相対位相値に基づき、被計測物の各部における絶対位相値を算出する絶対位相値演算部と、絶対位相値に基づき、被計測物の各部における３次元座標を算出する３次元座標演算部と、を有する。

Description

３次元形状計測装置、３次元形状計測方法、プログラム及び記録媒体
　本発明は、３次元形状計測装置、３次元形状計測方法、プログラム及び記録媒体に関する。
　従来、物体の３次元形状を計測する様々な方法が提案されている。例えば、複数のカメラを用いて被計測物を撮影し、三角測量の原理で立体形状を特定する方法や、被計測物に所定の光パターンを投射し、投影された光パターンを計測することにより立体形状を特定する方法が知られている。特許文献１乃至６には、被計測物に投射する光パターンとして正弦波パターンを用いることが記載されている。被計測物に投射する光パターンに正弦波パターンを用いることにより、投射される光の位相（輝度）を手がかりに被計測物上における位置を特定することができ、被計測物の立体形状を精度よく検出することができる。ただし、被計測物に投射する光パターンとして正弦波パターンのような周期性をもつ光パターンを用いる場合、その性質上、Ｎ周期シフトした点も候補となり得ることから、一意に立体形状を定めることが困難である。
　そこで、特許文献１等においては、光パターンを投射するプロジェクタ又は被計測物を撮影するカメラを１つ以上追加することで上記の曖昧性を解消し、立体形状を一意に定めることが行われていた。また、特許文献６等においては、周期の異なる２種類の正弦波パターンをそれぞれ投射することで上記の曖昧性を解消し、立体形状を一意に定めることが行われていた。
特開２００１－０１２９２５号公報 特開２００３－２６９９２８号公報 特開２００６－２１４７８５号公報 特開２００８－００９８０７号公報 特開２００９－１１５６１２号公報 特開２０１０－２８１１７８号公報
　周期の異なる２種類の正弦波パターンをそれぞれ投射することにより上記の曖昧性を解消する従来の方法は、光パターンの投射時間が倍になるため計測に要する時間が長くなるという問題があった。
　本発明の目的は、より簡便なシステムで物体の立体形状を高精度且つ短時間で計測しうる３次元形状計測装置、３次元形状計測方法、プログラム及び記録媒体を提供することにある。
　本発明の一観点によれば、被計測物に、第１の周期で輝度が変化する第１の光パターンと、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンと、を投射する１つの投影装置と、前記第１の光パターン又は前記第２の光パターンが投影された前記被計測物の画像を取得する撮像装置と、前記撮像装置が取得した前記画像を処理する画像処理装置と、を有し、前記画像処理装置は、前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出する相対位相値演算部と、前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出する絶対位相値演算部と、前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出する３次元座標演算部と、を有する３次元形状計測装置が提供される。
　また、本発明の他の一観点によれば、被計測物に、第１の周期で輝度が変化する第１の光パターンを投射し、前記第１の光パターンが投影された前記被計測物の画像を取得するステップと、前記第１の光パターンの投射に用いる投影装置と同じ投影装置により、前記被計測物に、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンを投射し、前記第２の光パターンが投影された前記被計測物の画像を取得するステップと、前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出するステップと、前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出するステップと、前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出するステップとを有する３次元形状計測方法が提供される。
　また、本発明の更に他の一観点によれば、コンピュータを、１つの投影装置を制御して、被計測物に、第１の周期で輝度が変化する第１の光パターン、又は、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンを投射させる手段、前記第１の光パターンが投影された前記被計測物の画像及び前記第２の光パターンが投影された前記被計測物の画像を取得する手段、前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出する手段、前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出する手段、前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出する手段、として機能させるプログラムが提供される。
　本発明によれば、より簡便なシステムで被計測物の立体形状を高精度且つ短時間で計測することができる。
図１は、本発明の第１実施形態による３次元形状計測装置の構成例を示す概略図である。 図２Ａは、本発明の第１実施形態による３次元形状計測方法に用いる短周期光パターンの一例を示す図である。 図２Ｂは、本発明の第１実施形態による３次元形状計測方法に用いる短周期光パターンの一例を示す図である。 図２Ｃは、本発明の第１実施形態による３次元形状計測方法に用いる短周期光パターンの一例を示す図である。 図２Ｄは、本発明の第１実施形態による３次元形状計測方法に用いる短周期光パターンの一例を示す図である。 図３Ａは、本発明の第１実施形態による３次元形状計測方法に用いる長周期光パターンの一例を示す図である。 図３Ｂは、本発明の第１実施形態による３次元形状計測方法に用いる長周期光パターンの一例を示す図である。 図４は、本発明の第１実施形態による３次元形状計測方法における絶対位相値の算出方法を示すグラフである。 図５は、本発明の第１実施形態による３次元形状計測方法を示すフローチャートである。 図６Ａは、本発明の第２実施形態による３次元形状計測方法に用いる長周期光パターンの一例を示す図である。 図６Ｂは、本発明の第２実施形態による３次元形状計測方法に用いる長周期光パターンの一例を示す図である。 図７は、本発明の第２実施形態による３次元形状計測方法における絶対位相値の算出方法を示すグラフである。 図８は、本発明の第２実施形態による３次元形状計測方法を示すフローチャートである。 図９Ａは、本発明の効果をコンピュータシミュレーションにより検証した結果を示すグラフである。 図９Ｂは、本発明の効果をコンピュータシミュレーションにより検証した結果を示すグラフである。 図１０は、本発明の第３実施形態による３次元形状計測装置の構成例を示す概略図である。 図１１Ａは、本発明の実施形態の変形例による光パターンの例を示す図である。 図１１Ｂは、本発明の実施形態の変形例による光パターンの例を示す図である。
　［第１実施形態］
　本発明の第１実施形態による３次元形状計測装置及び３次元形状計測方法について、図１乃至図５を用いて説明する。
　図１は、本実施形態による３次元形状計測装置の構成例を示す概略図である。図２Ａ乃至図２Ｄは、本実施形態による３次元形状計測方法に用いる短周期光パターンの一例を示す図である。図３Ａ及び図３Ｂは、本実施形態による３次元形状計測方法に用いる長周期光パターンの一例を示す図である。図４は、本実施形態による３次元形状計測方法における絶対位相値の算出方法を示すグラフである。図５は、本実施形態による３次元形状計測方法を示すフローチャートである。
　本実施形態による３次元形状計測装置１００は、図１に示すように、投影装置２０と、撮像装置３０と、画像処理装置４０と、を含む。画像処理装置４０は、投影パターン制御部４２と、画像取得部４４と、相対位相値演算部４６と、絶対位相値演算部４８と、３次元座標演算部５０と、制御部５２と、を含む。
　投影装置２０は、３次元形状の計測対象である被計測物１０に、所定の光パターンを投射する装置である。投影装置２０は、特に限定されるものではないが、例えば、ＤＬＰ（Digital　Light　Processing）プロジェクタや液晶プロジェクタ等が挙げられる。ＤＬＰプロジェクタや液晶プロジェクタは、任意の光パターンを高速に投射することが可能であり、立体形状計測の短時間化を図るうえで好ましい。計測時間の短時間化は、特に、人物の顔認証を行う場合など、動きのある物体（動体）の立体形状を計測するうえで好適である。なお、被計測物１０に投射する光パターンの詳細については後述する。被計測物１０は、人物の顔、頭部、指、指紋、指紋の隆線、その他身体の一部を含むものであってもよいが、これに限定されない。
　撮像装置３０は、投影装置２０から発せられた光パターンが投影された被計測物１０の画像を撮影する装置である。撮像装置３０は、ＣＣＤ（Charge　Coupled　Device）イメージセンサやＣＭＯＳ（Complementary　Metal-Oxide-Semiconductor）イメージセンサ等の固体撮像素子を含む。また、撮像装置３０は、被写体の像を固体撮像素子の撮像面に結像させる光学系、固体撮像素子の出力を信号処理して画素毎の輝度値を得る信号処理回路等を含む。
　画像処理装置４０は、ＣＰＵ（Central　Processing　Unit）、メモリ、ディスプレイ、ハードディスク等の記憶装置、入出力用の各種インターフェース等を備える汎用の情報処理装置（コンピュータ）により構成され得る。また、画像処理装置４０は、後述する３次元形状計測方法を情報処理装置に実行させるためのプログラムを備えており、ＣＰＵが当該プログラムを実行することにより、画像処理装置４０の各部の機能を実現可能である。
　投影パターン制御部４２は、被計測物１０に投射する光パターンを生成し、記憶装置に予め記憶する機能を有する。また、投影パターン制御部４２は、記憶装置に記憶された光パターンのデータを、ＤＶＩ（Digital　Visual　Interface）等の汎用のディスプレイ用インターフェースを介して投影装置２０へと伝送する機能を有する。また、投影パターン制御部４２は、ＲＳ２３２ＣやＵＳＢ（Universal　Serial　Bus）等の汎用の通信インターフェースを介して投影装置２０の動作（光源の点灯・消灯や光量調整等）を制御する機能を有する。
　画像取得部４４は、撮像装置３０が撮影した画像データを取得しメモリに記憶する機能を有する。また、画像取得部４４は、ＲＳ２３２ＣやＵＳＢ等の汎用の通信インターフェースを介して撮像装置３０の動作（撮像のタイミング等）を制御する機能を有する。また、画像取得部４４は、投影パターン制御部４２に対して投影装置２０に光パターンを投射するように指示をする機能を有する。
　相対位相値演算部４６は、撮像装置３０が撮影した画像に基づき、輝度値に応じた位相値（後述する位相値θ，φ）を画素毎に算出する機能を有する。なお、位相値の算出方法の詳細については、後述する。
　絶対位相値演算部４８は、相対位相値演算部４６が算出した位相値に基づき、絶対位相値（後述する絶対位相値Θ）を画素毎に算出する機能を有する。なお、位相値の算出方法の詳細については、後述する。
　３次元座標演算部５０は、絶対位相値演算部４８が算出した各画素の絶対位相値に基づき、画像上の点ｐ（ｘ，ｙ）に対応する被計測物１０上の投影点Ｐ（Ｘ，Ｙ，Ｚ）の３次元座標を演算により求める機能を有する。
　制御部５２は、画像処理装置４０のこれら各部を統括的に制御する機能を有する。
　次に、本実施形態による３次元形状計測方法を具体的に説明する前に、正弦波格子位相シフト法を用いた３次元形状計測方法の基本的な原理について説明する。
　正弦波格子位相シフト法とは、図２Ａ乃至図２Ｄに示すような正弦波格子状の光パターン（以下、正弦波パターン）を、少しずつ位相をずらしながら被計測物１０に投射し、光パターンを投影した被計測物１０の撮影画像をもとにその立体形状を特定する方法である。
　図２Ａ乃至図２Ｄには一例として、１／４波長ずつ位相をずらした４つの正弦波パターンを示している。図２Ａ乃至図２Ｄの各図は、光パターンの投射領域における輝度をグレースケールで表している。図２Ａ乃至図２Ｄの各図に示す正弦波パターンでは、図面の縦方向に沿って輝度が正弦波状に変化している。図２Ａは時刻ｔ＝０のときに投射する光パターンであり、図２Ｂは時刻ｔ＝π／２のときに投射する光パターンであり、図２Ｃは時刻ｔ＝πのときに投射する光パターンであり、図２Ｄは時刻ｔ＝３π／２のときに投射する光パターンである。
　なお、ここでは変数ｔを「時刻」と表記し、輝度の振幅を変調することを想定して説明した。実装上では、図２Ａにおける光パターンを基準としたときの、縦方向の位相のずれ量を表していて、実際の時刻とは関係なく光パターンの投影タイミングを変更することもできる。後述する図３Ａ及び図３Ｂについても同様である。
　正弦波パターンを投影した被計測物１０を撮像装置３０で撮影したとき、得られる画像の（ｘ，ｙ）座標における時刻ｔの輝度値Ｉ（ｘ，ｙ，ｔ）は、正弦波の振幅をＡ、位相値をθ、バイアス（正弦波の中心値）をＢとして、以下の式（１）のように表される。
Figure JPOXMLDOC01-appb-M000001
　投影装置２０により投射される光パターンは、投影装置２０から見た角度毎に位相値θが異なっていることから、座標（ｘ，ｙ）における位相値θを求めることができれば、座標（ｘ，ｙ）に対応する３次元的な位置を定めることができる。
　式（１）における未知数は振幅Ａ、位相値θ及びバイアスＢの３つであることから、最少で３枚の光パターン投影画像があれば位相値θを算出することができる。光パターン投影画像を４枚以上撮影した場合には、最小二乗法などにより、より高精度に位相値θを算出することができる。
　ここで、時刻ｔ＝０、時刻ｔ＝π／２、時刻ｔ＝π、時刻ｔ＝３π／２における画像をそれぞれ取得したとすると、各時刻における座標（ｘ，ｙ）の輝度値Ｉ（ｘ，ｙ，ｔ）は、以下の式（２）～式（５）のように表される。
Figure JPOXMLDOC01-appb-M000002
　式（２）～式（５）から最小二乗法により振幅Ａ、位相値θ及びバイアスＢを求めることにより、以下の式（６）～式（８）が得られる。
Figure JPOXMLDOC01-appb-M000003
　一般に、正弦波格子位相シフト法では、一周期に相当する奥行の１／２００程度の分解能が得られることが経験的に判っており、一例では１００μｍ～２００μｍ程度の精度が実際に得られている。
　ただし、正弦波は繰り返し関数のため、得られる位相値θは－πからπの範囲（－π≦θ≦π）である。したがって、光パターンの投射領域に含まれる周期の数だけ同じ位相値θを示す点が存在する可能性があり、得られた位相値θから一意に座標を定めることはできない。撮影する画像の画面全体が１周期となるような正弦波パターンを用いればこの不確定性を解消することはできるが、奥行き計測精度がその分だけ悪化するというトレードオフの関係が存在する。そのため従来は、２つの撮像装置で取得した画像を利用してこの不確定性を解消する、いわゆる多眼正弦波格子位相シフト法を用いていた。しかしながら、多眼正弦波格子位相シフト法は、複数のプロジェクタ或いは複数の撮像装置を用いるため、システム構成や制御が複雑化する等の課題がある。
　本実施形態による３次元形状計測方法では、被計測物１０に投射する光パターンとして、２種類の光パターンを用いる。これら２種類の光パターンは、繰り返し周期の数が互いに異なる周期的な光パターンであり、ここではこれらを短周期光パターン及び長周期光パターンとして区別するものとする。すなわち、本実施形態による３次元形状計測方法は、上述した正弦波位相シフト法による計測と同様の短周期光パターンを用いた位相値の計測に追加して、長周期光パターンを用いた位相値の計測を行うものである。
　本実施形態では、短周期光パターン及び長周期光パターンとして、いずれも正弦波パターンを用いる。短周期光パターンは、計測の分解能を決定する光パターンである。撮像装置３０により撮影する画像の画面全体に含まれる短周期光パターンの周期の数が多いほど、計測の分解能は高くなる。そのため、短周期光パターンは、例えば図２Ａ乃至図２Ｄに示すように、撮影する画像の画面全体に複数周期のパターンを含む光パターンであることが望ましい。画面全体に含まれる短周期光パターンの周期の数は、計測に必要とされる分解能に応じて適宜設定することができる。長周期光パターンは、絶対位相値Θを特定するための光パターンであり、撮像装置３０により撮影する画像の画面全体に１周期以下のパターンを含む光パターンであることが望ましい。
　長周期光パターンは、例えば図３Ａ及び図３Ｂに示すように、撮影する画像の画面全体に１周期のパターンを含む光パターンを適用可能である。図３Ａ及び図３Ｂの各図は、図２Ａ乃至図２Ｄと同様、光パターンの投射領域における輝度をグレースケールで表したものである。図３Ａ及び図３Ｂに示す正弦波パターンにおいても、図面の縦方向に沿って輝度が正弦波状に変化している。図３Ａは時刻ｔ＝０のときに投射する光パターンであり、図３Ｂは時刻ｔ＝π／２のときに投射する光パターンである。
　短周期光パターンを投影した被計測物１０を撮像装置３０で撮影したとき、得られる画像の（ｘ，ｙ）座標における時刻ｔの輝度値Ｉ（ｘ，ｙ，ｔ）は、振幅をＡ、位相値をθ、バイアスをＢとすると、上述の式（１）のように表される。
　ここで、時刻ｔ＝０、時刻ｔ＝π／２、時刻ｔ＝π、時刻ｔ＝３π／２における画像をそれぞれ得たとすると、座標（ｘ，ｙ）における輝度値Ｉ（ｘ，ｙ，ｔ）は、上述の式（２）～式（５）のように表される。また、式（２）～式（５）から最小二乗法により振幅Ａ、位相値θ及びバイアスＢを求めることにより、上述の式（６）～式（８）が得られる。
　一方、長周期光パターンを投影した被計測物１０を撮像装置３０で撮影したとき、得られる画像の（ｘ，ｙ）座標における時刻ｔの輝度値Ｊ（ｘ，ｙ，ｔ）は、振幅をＡ′、位相値をφ、バイアスをＢ′とすると、以下の式（９）のように表される。
Figure JPOXMLDOC01-appb-M000004
　ここで、時刻ｔ＝０、時刻ｔ＝π／２、時刻ｔ＝π、時刻ｔ＝３π／２における画像をそれぞれ得たとすると、座標（ｘ，ｙ）における輝度値Ｊ（ｘ，ｙ，ｔ）は、以下の式（１０）～式（１３）のように表される。
Figure JPOXMLDOC01-appb-M000005
　式（１０）～式（１３）から最小二乗法により振幅Ａ′、位相値φ及びバイアスＢ′を求めることにより、以下の式（１４）～式（１６）が得られる。
Figure JPOXMLDOC01-appb-M000006
　一般に、正弦波格子位相シフト法では、１周期の幅に相当する奥行の１／２００程度の分解能が得られることが経験的に判っている。上述のような４回撮像の場合、絶対位相を高い確信度で決定できることを設計指針とすると、±３σ程度、すなわち（６／２００）－１、つまり３３本程度繰り返す正弦波から求めた相対位相値から、その絶対位相値を決定できることとなる。
　ここで、投影装置２０として、液晶プロジェクタやＤＬＰプロジェクタなど、任意の光パターンの投影が可能なプロジェクタを用いた場合、１つの投影装置２０により短周期光パターンと長周期光パターンとを高速に切り替えて投射することが可能である。そして、１つの投影装置２０により同じ光源から発せられた光をもとに生成した短周期光パターン及び長周期光パターンを投射する場合、これら光パターンの投射時における投影装置２０の基本的な物理特性は同一であると仮定することができる。すなわち、短周期光パターン及び長周期光パターンの被計測物１０への投影を同じ投影装置２０を用いて行う場合、以下の式（１７）が成立するものと考えられる。
　　Ａ＝Ａ′，Ｂ＝Ｂ′　　…(17)
　したがって、式（９）は、以下の式（１８）及び式（１９）のように書き換えることができ、未知数は、振幅Ａ′、位相値φ及びバイアスＢ′の３つではなく、位相値φの１つだけとなる。これにより、長周期光パターンを投影した被計測物１０を最少で１回だけ撮影すれば、位相値φを求めることが可能となる。
Figure JPOXMLDOC01-appb-M000007
　このような観点から、本実施形態においては、１つの投影装置２０から発せられる短周期光パターンと長周期光パターンとを被計測物１０に投射するように構成し、被計測物１０への投影回数を減らしつつ位相値φを算出することを可能としている。これにより、被計測物１０の立体形状を短時間で計測することができる。
　長周期光パターンを投影した被計測物１０の撮影を２回行い最小二乗法により位相値φを求めることにより、位相値φの計測精度を向上することも可能である。この場合においても、最少３回の撮影が必要であった従来法と比較して撮影回数は減るため、被計測物１０の立体形状の計測時間を短縮することができる。
　半周期ずらして２回の撮影を行う場合、すなわち、時刻ｔ＝０、時刻ｔ＝πにおける画像をそれぞれ得たとすると、座標（ｘ，ｙ）における輝度値Ｊ（ｘ，ｙ，ｔ）は、以下の式（２０）及び式（２１）のように表される。
Figure JPOXMLDOC01-appb-M000008
　式（２０）及び式（２１）から最小二乗法により位相値φを求めることにより、以下の式（２２）が得られる。
Figure JPOXMLDOC01-appb-M000009
　ただし、式（１９）及び式（２２）により得られる位相値φの不確定性は、いずれも、２πの整数分ではなく、πの整数分となることに注意が必要である（得られる位相値φの範囲は、０≦φ≦π）。つまり、画像全体が１周期ではなく半周期となるような正弦波を投影しなければならない。これは、位相値φの相対的な誤差が２倍になることを意味する。
　位相値φを２πの範囲で利用できるようにするためには、位相値φを求める式（１９）或いは式（２２）を、余弦関数ではなく正接関数の逆関数となるように書き換えればよい。１／４周期ずらす、すなわち、時刻ｔ＝０、時刻ｔ＝π／２の２回撮影を想定すると、座標（ｘ，ｙ）における輝度値Ｊ（ｘ，ｙ，ｔ）は、以下の式（２３）及び式（２４）のように表される。
Figure JPOXMLDOC01-appb-M000010
　式（２３）及び式（２４）から最小二乗法により位相値φを求めることにより、以下の式（２５）が得られる。これにより得られる位相値φの不確定性は、２πの整数分となる（得られる位相値φの範囲は、－π≦ψ≦π）。
Figure JPOXMLDOC01-appb-M000011
　なお、投影する長周期光パターンの位相値は全画面でなだらかに変化することから、平滑化やメディアンフィルタといったノイズ除去との相性がよいと想定できる。４回撮影時と同様の絶対位相決定精度となるように設計することで、撮影回数を減らしたことによるデメリットを打ち消すことが可能となる。
　位相値θは、短周期光パターンの１周期毎の値、すなわち－π～πの値となる。したがって、複数周期分が投影された光パターンにおける絶対位相値を求めるためには、次数ｎ（一端から他端に向かって数えてｎ周期目であるかを示す値）のパターンが、撮影した各画像上でどの位置にあるかを推定する処理が必要である。本実施形態では、短周期光パターンの次数ｎの推定に、位相値φを用いる。
　図４は、画面内の短周期光パターンが１０周期であり長周期光パターンが１周期である場合における、相対位相値（位相値θ、位相値φ）と短周期光パターンの次数ｎとの関係の一例を示すグラフである。
　図４に示すように、短周期光パターンの次数ｎは、位相値φの値に応じて一意に定めることができる。例えば、位相値φがπ／５～２π／５の範囲において短周期光パターンの次数ｎは２であり、位相値φが－４π／５～－３π／５の範囲において短周期光パターンの次数ｎは７である。
　短周期光パターンの次数ｎが求まれば、位相値θと次数ｎから、絶対位相値Θ（＝θ＋２π（ｎ－１））を算出することができる。撮影した画像上において絶対位相値Θが等しい点を連結して得られる線（等位相線）は、光切断法による切断線と同じく被計測物１０をある平面で切断した断面の形状を表している。この絶対位相値Θをもとに三角測量の原理により被計測物１０の３次元形状（画像各点での高さ情報）を計測することができる。すなわち、絶対位相値Θ及び投影装置２０と撮像装置３０との光学的な配置に基づき、三角測量の原理により画像上の各画素に対応する被計測物上の投影点の３次元空間での絶対的な座標値を求めることにより、被計測物１０の３次元形状を特定することができる。
　本実施形態による３次元形状計測方法は、短周期光パターン及び長周期光パターンの２つの光パターンを用いるため、１種類の光パターンを用いる場合と比較すると撮影時間は長くなる。しかしながら、光パターンの投射にＤＬＰプロジェクタや液晶プロジェクタ等を用いることで、絶対時間としては十分に短くすることができる。また、本実施形態による３次元形状計測方法によれば、前述の多眼正弦波格子位相シフト法のデメリットである、３次元座標の計算時間が長い、左右のカメラとプロジェクタとの位置関係が狂うと計測ができなくなる、という課題を解消することが期待できる。
　また、従来法において、短周期光パターン及び長周期光パターンの２つの光パターンを用いる場合、それぞれについて最少３回、計６回の光パターンの投射及び撮影が必要であった。これに対し、本実施形態による３次元形状計測方法では、最少で、短周期光パターンを用いて３回、長周期光パターンを用いて１回、計４回の光パターンの投射及び撮影を行えばよい。したがって、本実施形態による３次元形状計測方法によれば、投影枚数を削減することができ、撮影時間を短くすることができる。
　なお、上記説明では、短周期光パターンを用いた計測を先に行い、振幅Ａ及びバイアスＢを算出したが、長周期光パターンを用いた計測を先に行い、振幅Ａ′及びバイアスＢ′を算出するようにしてもよい。
　本実施形態による３次元形状計測方法は、例えば図５に示すステップＳ１０１からステップＳ１１６に従って実行することができる。なお、ここでは、短周期光パターンである第１の光パターンを投射した被計測物１０の画像から振幅Ａ、バイアスＢ、位相値θを算出し、長周期光パターンである第２の光パターンを投射した被計測物１０の画像から位相値φを算出する場合を例にして説明する。ただし、長周期光パターンである第１の光パターンを投射した被計測物１０の画像から振幅Ａ′、バイアスＢ′、位相値φを算出し、短周期光パターンである第２の光パターンを投射した被計測物１０の画像から位相値θを算出するようにしてもよい。第２の光パターンの投射は、第１の光パターンの投射よりも先に行ってもよい。
　まず、ステップＳ１０１において、第１の光パターンの投影回数Ｌを設定する。第１の光パターンを用いた計測は、振幅Ａ、バイアスＢ、位相値θを決定するためのものであり、投影回数Ｌは３回以上となる。最小二乗法等を用いてより高精度の計測を行うためには、投影回数Ｌは４回以上であることが望ましい。ここでは一例として、第１の光パターンの投影回数Ｌは、４回であるものとする。
　次いで、ステップＳ１０２において、投影パターン制御部４２による制御のもと、投影装置２０により、計測対象の被計測物１０に第１の光パターンを投射する。ここでは一例として、被計測物１０に、短周期光パターンである第１の光パターンを投射するものとする。短周期光パターンとしては、例えば図２Ａのパターンを適用可能である。
　次いで、ステップＳ１０３において、画像取得部４４による制御のもと、撮像装置３０により、第１の光パターンを投影した被計測物１０の画像を撮影する。
　次いで、ステップＳ１０４において、第１の光パターンの投影回数Ｌを１減じる。投影回数Ｌは、第１の光パターンの残りの投影回数を表す。
　次いで、ステップＳ１０５において、第１の光パターンの投影回数Ｌが０であるかどうか、すなわちステップＳ１０１で設定した投影回数Ｌだけ第１の光パターンの投影及び撮影を行ったかどうかを判定する。
　ステップＳ１０５における判定の結果、投影回数Ｌが０でなければ（ステップＳ１０５の「Ｎｏ」）、ステップＳ１０６において、被計測物１０に投射する第１の光パターンの位相をずらし、ステップＳ１０２へと戻る。例えば、投影回数Ｌが４回の場合、投影パターン制御部４２は、１／４波長ずつ位相をずらした短周期光パターン（図２Ｂ、図２Ｃ及び図２Ｄを参照）のデータを順次用意し、投影装置２０へと伝送する。
　ステップＳ１０５における判定の結果、投影回数Ｌが０であれば（ステップＳ１０５の「Ｙｅｓ」）、ステップＳ１０７に移行する。
　次いで、ステップＳ１０７において、相対位相値演算部４６は、ステップＳ１０３において撮影したＬ枚の画像の各画素の輝度値Ｉに基づき、振幅Ａ、バイアスＢ、位相値θをそれぞれ算出する。振幅Ａ、バイアスＢ、位相値θは、例えば式（６）～式（８）に基づいて算出することができる。
　次いで、ステップＳ１０８において、第２の光パターンの投影回数Ｍを設定する。第２の光パターンを用いた計測は、位相値φを決定するためのものであり、投影回数Ｍは１回以上となる。最小二乗法等を用いてより高精度の計測を行うためには、投影回数Ｍは２回以上であることが望ましい。ここでは一例として、第２の光パターンの投影回数Ｍは、２回であるものとする。
　次いで、ステップＳ１０９において、投影パターン制御部４２による制御のもと、投影装置２０により、計測対象の被計測物１０に第２の光パターンを投射する。ここでは一例として、被計測物１０に、長周期光パターンである第２の光パターンを投射するものとする。長周期光パターンとしては、例えば図３Ａのパターンを適用可能である。
　次いで、ステップＳ１１０において、画像取得部４４による制御のもと、撮像装置３０により、第２の光パターンを投影した被計測物１０を撮影する。
　次いで、ステップＳ１１１において、第２の光パターンの投影回数Ｍを１減じる。投影回数Ｍは、第２の光パターンの残りの投影回数を表す。
　次いで、ステップＳ１１２において、第２の光パターンの投影回数Ｍが０であるかどうか、すなわちステップＳ１０８で設定した投影回数Ｍだけ第２の光パターンの投影及び撮影が行ったかどうかを判定する。
　ステップＳ１１２における判定の結果、投影回数Ｍが０でなければ（ステップＳ１１２の「Ｎｏ」）、ステップＳ１１３において、被計測物１０に投射する第２のパターンの位相をずらし、ステップＳ１０９へと戻る。例えば、投影回数Ｍが２回の場合、投影パターン制御部４２は、位相を１／４波長ずらした長周期光パターン（図３Ｂを参照）のデータを用意し、投影装置２０へと伝送する。
　ステップＳ１１２における判定の結果、投影回数Ｍが０であれば（ステップＳ１１２の「Ｙｅｓ」）、ステップＳ１１４に移行する。
　次いで、ステップＳ１１４において、相対位相値演算部４６は、ステップＳ１０７において算出した振幅Ａ及びバイアスＢ、並びに、ステップＳ１１０において撮影したＭ枚の画像の各画素の輝度値Ｊに基づき、位相値φをそれぞれ算出する。位相値φは、例えば式（２５）に基づいて算出することができる。
　次いで、ステップＳ１１５において、絶対位相値演算部４８は、ステップＳ１０７において算出した位相値θ及びステップＳ１１４において算出した位相値φに基づき、絶対位相値Θを算出する。
　次いで、ステップＳ１１６において、３次元座標演算部５０は、ステップＳ１１５において算出した絶対位相値Θに基づき、撮影した画像上の各画素に対応する被計測物１０上の投影点の３次元空間での絶対的な座標値を算出する。これにより、被計測物１０の３次元形状を特定することができる。
　このように、本実施形態による３次元計測方法は、最少で、短周期光パターンを用いて３回、長周期光パターンを用いて１回、計４回の光パターンの投射及び撮影を行うことにより、被計測物の立体形状を計測することができる。したがって、本実施形態による３次元計測方法は、最少で、短周期光パターンを用いて３回、長周期光パターンを用いて３回、計６回の光パターンの投射及び撮影が必要であった従来法と比較して投影枚数を削減することができ、ひいては計測時間を短縮することができる。動きのある計測対象の立体形状を計測する場合、例えば人物の顔認証を行う場合などにおいては特に、短時間で計測を終えることが求められる。より短い計測時間で高精度の計測が可能な本実施形態による３次元計測方法は、例えば動画での顔認証を高精度で実施するうえで極めて有用である。
　また、本実施形態による３次元計測方法は、短周期光パターンの投射と長周期パターンの投射とを１つの投影装置により行い、被計測物に投影された光パターンの撮影を１つの撮像装置により行うことが可能である。したがって、本実施形態による３次元計測装置は、複数の投影装置や撮像装置を用いる従来法と比較して、システム構成や制御を簡略化することができる。
　したがって、本実施形態によれば、より簡便なシステムで物体の立体形状を高精度且つ短時間で計測しうる３次元形状計測方法及び装置を実現することができる。
　［第２実施形態］
　本発明の第２実施形態による３次元形状計測装置及び３次元形状計測方法について、図６Ａ乃至図９Ｂを用いて説明する。第１実施形態による３次元形状計測装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
　図６Ａ及び図６Ｂは、本実施形態による３次元形状計測方法に用いる長周期光パターンの一例を示す図である。図７は、本実施形態による３次元形状計測方法における絶対位相値の算出方法を示すグラフである。図８は、本実施形態による３次元形状計測方法を示すフローチャートである。図９Ａ及び図９Ｂは、本発明の効果をコンピュータシミュレーションにより検証した結果を示すグラフである。
　第１実施形態では、短周期光パターン及び長周期光パターンとして正弦波パターンを用いたが、短周期光パターン及び長周期光パターンは、必ずしも正弦波パターンである必要はなく、その他の周期パターンであってもよい。特に、長周期光パターンは、前画面上で場所が一意に定められれば十分であることから、種々の周期パターンを適用可能である。本実施形態では、その一例として、短周期光パターンとして正弦波パターンを用い、長周期光パターンとして輝度傾斜パターンを用いた例を説明する。
　正弦波は、最大値・最小値付近の微分値が０に近いため、隣り合った角度において実質的に同じ輝度値を投影してしまう可能性が高い。実際、一般的なカメラ映像の大きさである６４０画素をカメラやプロジェクタの一般的な輝度量子化レベルである２５６のレベルで投影することを考えると、本発明のように光パターンの投射枚数を減らすことで正弦波の最大値・最小値付近での誤差が大きくなる。
　このような問題を回避し、投射角度に依存しないようにするためには、微分値が一定値、すなわち輝度値が一定の割合で線形的に変化する輝度傾斜パターンを用いることが有効である。そこで、本実施形態においては、長周期光パターンとして、輝度傾斜パターンを適用する。図６Ａ及び図６Ｂに、輝度傾斜パターンの一例を示す。図６Ａは上から下に向かって輝度が一定の割合で明るくなる輝度傾斜パターンであり、図６Ｂは上から下に向かって輝度が一定の割合で暗くなる輝度傾斜パターンである。
　輝度傾斜パターンを投影した被計測物１０を撮像装置３０で撮影したとき、得られる画像の（ｘ，ｙ）座標における時刻ｔの輝度値Ｋ（ｘ，ｙ，ｔ）は、以下の式（２６）のように表される。ここで、Ａ″は振幅、Ｂ″はバイアス、ωは－１≦ω≦１の範囲で線形的に値が変化する変数である。
Figure JPOXMLDOC01-appb-M000012
　輝度傾斜パターンを用いる場合においても、短周期光パターン及び長周期光パターンの投射に同じ投影装置２０を用いる場合、以下の式（２７）が成立する。したがって、長周期光パターンを投影した被計測物１０を最少で１回だけ撮影すれば、位相値φを求めることが可能となる。
　　Ａ＝Ａ″，Ｂ＝Ｂ″　　…(27)
　第１実施形態の場合と同様、輝度傾斜パターンを投影した被計測物１０の撮影を１回だけ行う場合、輝度値Ｋ（ｘ，ｙ，ｔ）及び変数ωは、式（２８）及び式（２９）のように表される。
Figure JPOXMLDOC01-appb-M000013
　また、輝度傾斜パターンを投影した被計測物１０の撮影を２回行い、最少二乗法により変数ωを求めることもできる。すなわち、時刻ｔ＝０、時刻ｔ＝１における画像をそれぞれ得たとすると、座標（ｘ，ｙ）における輝度値Ｋ（ｘ，ｙ，ｔ）は、以下の式（３０）及び式（３１）のように表される。そして、変数ωは、以下の式（３２）のように表される。
Figure JPOXMLDOC01-appb-M000014
　変数ωは、全画面でなだらかに変化することから、平滑化やメディアンフィルタといったノイズ除去との相性がよいと想定できる。４枚投影時と同様の絶対位相決定精度となるように設計することで、枚数を減らしたことによるデメリットを打ち消すことができるものと思われる。また、位相値とは異なり、厳密には周期的なものではないため、古典的なノイズ除去処理がそのまま利用可能である。
　図７は、画面内の短周期光パターンが１０周期であり長周期光パターン（輝度傾斜パターン）が１周期である場合における、相対位相値（位相値θ）及び変数ωと短周期光パターンの次数ｎとの関係を示すグラフである。
　図７に示すように、短周期光パターンの次数ｎは、変数ωの値に応じて一意に定めることができる。例えば、変数ωが－０．８～－０．６の範囲において短周期光パターンの次数ｎは２であり、変数ωが０．２～０．４の範囲において短周期光パターンの次数ｎは７である。
　短周期光パターンの次数ｎが求まれば、位相値θと次数ｎから、絶対位相値Θ（＝θ＋２π（ｎ－１））を算出することができる。撮影した画像上において絶対位相値Θが等しい点を連結して得られる線（等位相線）は、光切断法による切断線と同じく被計測物１０をある平面で切断した断面の形状を表している。この絶対位相値Θをもとに三角測量の原理により被計測物１０の３次元形状（画像各点での高さ情報）を計測することができる。すなわち、絶対位相値Θ及び投影装置２０と撮像装置３０との光学的な配置に基づき、三角測量の原理により画像上の各画素に対応する被計測物上の投影点の３次元空間での絶対的な座標値を求めることにより、被計測物１０の３次元形状を特定することができる。
　本実施形態による３次元形状計測方法は、例えば図８に示すステップＳ２０１からステップＳ２１６に従って実行することができる。なお、ここでは、短周期光パターンである第１の光パターンを投射した被計測物１０の画像から振幅Ａ、バイアスＢ、位相値θを算出し、長周期光パターンである第２の光パターンを投射した被計測物１０の画像から位相値φを算出する場合を例にして説明する。ただし、長周期光パターンである第１の光パターンを投射した被計測物１０の画像から振幅Ａ′、バイアスＢ′、位相値φを算出し、短周期光パターンである第２の光パターンを投射した被計測物１０の画像から位相値θを算出するようにしてもよい。第２の光パターンの投射は、第１の光パターンの投射よりも先に行ってもよい。
　まず、第１実施形態による３次元形状計測方法のステップＳ１０１からステップＳ１０７と同様にして、第１の光パターン（短周期光パターン）を用いた計測を行う。これにより、撮影したＬ枚の画像の各画素の輝度値Ｉに基づき、振幅Ａ、バイアスＢ、位相値θをそれぞれ算出する（ステップＳ２０１～ステップＳ２０７）。
　次いで、ステップＳ２０８において、第２の光パターン（輝度傾斜パターン）の投影回数Ｍを設定する。第２の光パターンを用いた計測は、変数ωを決定するためのものであり、投影回数Ｍは１回以上となる。最小二乗法等を用いてより高精度の計測を行うためには、投影回数Ｍは２回以上であることが望ましい。ここでは一例として、第２の光パターンの投影回数Ｍは、２回であるものとする。
　次いで、ステップＳ２０９において、投影パターン制御部４２による制御のもと、投影装置２０により、被計測物１０に、輝度傾斜パターンである第２の光パターンを投射する。輝度傾斜パターンとしては、例えば図６Ａのパターンを適用可能である。
　次いで、ステップＳ２１０において、画像取得部４４による制御のもと、撮像装置３０により、第２の光パターンを投影した被計測物１０を撮影する。
　次いで、ステップＳ２１１において、第２の光パターンの投影回数Ｍを１減じる。投影回数Ｍは、第２の光パターンの残りの投影回数を表す。
　次いで、ステップＳ２１２において、第２の光パターンの投影回数Ｍが０であるかどうか、すなわちステップＳ２０８で設定した投影回数Ｍだけ第２の光パターンの投影及び撮影を行ったかどうかを判定する。
　ステップＳ２１２における判定の結果、投影回数Ｍが０でなければ（ステップＳ２１２の「Ｎｏ」）、ステップＳ２１３において、被計測物１０に投射する第２のパターンの位相をずらし、ステップＳ２０９へと戻る。例えば、投影回数Ｍが２回の場合、投影パターン制御部４２は、輝度傾斜を反転した輝度傾斜パターン（図６Ｂ参照）のデータを順次用意し、投影装置２０へと伝送する。
　ステップＳ２１２における判定の結果、投影回数Ｍが０であれば（ステップＳ２１２の「Ｙｅｓ」）、ステップＳ２１４へ移行する。
　次いで、ステップＳ２１４において、相対位相値演算部４６は、ステップＳ２０７において算出した振幅Ａ及びバイアスＢ、並びに、ステップＳ２１０において撮影したＭ枚の画像の各画素の輝度値Ｋに基づき、変数ωをそれぞれ算出する。変数ωは、例えば式（３２）に基づいて算出することができる。
　次いで、ステップＳ２１５において、絶対位相値演算部４８は、ステップＳ２０７において算出した位相値θ及びステップＳ２１４において算出した変数ωに基づき、絶対位相値Θを算出する。
　次いで、ステップＳ２１６において、３次元座標演算部５０は、ステップＳ２１５において算出した絶対位相値Θに基づき、撮影した画像上の各画素に対応する被計測物１０上の投影点の３次元空間での絶対的な座標値を算出する。これにより、被計測物１０の３次元形状を特定することができる。
　図９Ａ及び図９Ｂに、本発明の効果をコンピュータシミュレーションにより検証した結果を示す。図９Ａは短周期光パターン及び長周期光パターンとして正弦波パターンを用いた第１実施形態の場合であり、図９Ｂは短周期光パターンとして正弦波パターンを用い長周期光パターンとして輝度傾斜パターンを用いた本実施形態の場合である。いずれの場合も、長周期光パターンの投射回数は２回を想定している。
　コンピュータシミュレーションは、４８０×６４０画素の画像を対象として振幅Ａ＝６４、バイアスＢ＝１２７の正弦波パターン又は輝度傾斜パターンを生成した後、平均０、標準偏差σ＝３の正規ノイズを重畳させ、０～２５５の範囲で量子化した。形状計測用の正弦波は１０回の繰り返しパターン（図２Ａ乃至図２Ｄ参照）、絶対位相決定用の正弦波は半周期のパターンとした。図において、×のプロットが短周期光パターンであり、標準偏差σの範囲のエラーバーとともに示している。また、□のプロットが長周期光パターンであり、標準偏差σの３倍の範囲のエラーバーとともに示している。
　長周期光パターンとして正弦波パターンを用いた場合、図９Ａに示すように、長周期光パターンの微分値が０付近で、絶対位相値の決定に関わる精度が大きく落ちていることが判る。σが３のとき、長周期正弦波格子による位相推定精度の６倍範囲最大値は３３．０％となり、短周期正弦波格子は画面内で３周期程度まで落とさないと絶対位相の決定が難しくなることが判る。前述のように、正弦波は、最大値・最小値付近の微分値が０に近いため、隣り合った角度において実質的に同じ輝度値を投影してしまう可能性が高い。本発明のように光パターンの投射枚数を減らすことで正弦波の最大値・最小値付近での誤差が大きくなる。
　一方、長周期光パターンとして輝度傾斜パターンを用いた場合、図９Ｂに示すように、絶対位相値の決定に関わる精度は場所に依存せず一定であり、図９Ａの場合と比較して全体で大きく改善できることが判る。σが３のとき、長周期正弦波格子による位相推定精度の６倍範囲最大値は４．５％となり、短周期正弦波格子は画面内で２０周期程度まで増やせることが判る。このように、長周期光パターンとして輝度傾斜パターンを適用することで、計測誤差の投射角度依存性を低減することができ、より高精度の計測が可能となる。
　このように、本実施形態による３次元計測方法では、長周期光パターンとして輝度傾斜パターンを用いるため、長周期パターンとして正弦波パターンを用いる第１実施形態による３次元計測方法と比較して、計測誤差を低減することができる。これにより、第１実施形態により奏される効果に加え、計測精度を更に向上することができる。
　したがって、本実施形態によれば、より簡便なシステムで物体の立体形状を高精度且つ短時間で計測しうる３次元形状計測方法及び装置を実現することができる。
　［第３実施形態］
　本発明の第３実施形態による３次元形状計測装置について、図１０を用いて説明する。第１及び第２実施形態による３次元形状計測装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図１０は、本実施形態による３次元形状計測装置の構成例を示す概略図である。
　第１及び第２実施形態による３次元形状計測装置は、例えば図１０のように構成することも可能である。すなわち、本実施形態による３次元形状計測装置１００は、被計測物１０に、第１の周期で輝度が変化する第１の光パターンと、第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンと、を投射する１つの投影装置２０を有する。また、３次元形状計測装置１００は、第１の光パターン又は第２の光パターンが投影された被計測物１０の画像を取得する撮像装置３０と、撮像装置３０が取得した画像を処理する画像処理装置４０と、を有する。画像処理装置４０は、第１の光パターンが投影された被計測物１０の画像の各々の画素における輝度値に基づき、各々の画素に対応する被計測物１０の各部における相対位相値を算出する相対位相値演算部４６を有する。また、画像処理装置４０は、第２の光パターンが投影された被計測物１０の画像の各々の画素における輝度値及び相対位相値に基づき、各々の画素に対応する被計測物１０の各部における絶対位相値を算出する絶対位相値演算部４８を有する。また、画像処理装置４０は、絶対位相値に基づき、各々の画素に対応する被計測物１０の各部における３次元座標を算出する３次元座標演算部５０を有する。
　このように構成することにより、より簡便なシステムで物体の立体形状を高精度且つ短時間で計測しうる３次元形状計測方法及び装置を実現することができる。
　［変形実施形態］
　本発明は、上記実施形態に限らず種々の変形が可能である。
　例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
　また、上記第１及び第２実施形態では、周期的な光パターンとして正弦波パターンを例示したが、周期的な光パターンは正弦波パターンに限定されるものではない。例えば、周期的な光パターンは、図１１Ａに示すようなのこぎり波パターンであってもよいし、図１１Ｂに示すような三角波パターンであってもよい。第２実施形態で示した輝度傾斜パターンは、図１１Ａに示すのこぎり波パターンの１周期分の波形、或いは、図１１Ｂに示す三角波パターンの半周期分の波形であるとも言える。かかる観点から、本明細書では、輝度傾斜パターンを、周期的な光パターンの一つとして扱うものとする。
　また、上記実施形態では、被計測物１０の一例として動きのある物体を例示したが、上記実施形態に記載の３次元形状計測方法及び装置は、種々の物体の形状の計測に適用可能であり、被計測物１０は動体に限定されるものではない。
　また、上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
　該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
　なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　被計測物に、第１の周期で輝度が変化する第１の光パターンと、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンと、を投射する１つの投影装置と、
　前記第１の光パターン又は前記第２の光パターンが投影された前記被計測物の画像を取得する撮像装置と、
　前記撮像装置が取得した前記画像を処理する画像処理装置と、を有し、
　前記画像処理装置は、
　　前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出する相対位相値演算部と、
　　前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出する絶対位相値演算部と、
　　前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出する３次元座標演算部と、を有する
　ことを特徴とする３次元形状計測装置。
（付記２）
　前記撮像装置は、前記被計測物に投射する前記第１の光パターンの位相を変えて撮影した少なくとも３つの画像と、前記第２の光パターンが投影された前記被計測物を撮影した１つの画像、又は、前記被計測物に投射する前記第２の光パターンの位相を変えて撮影した２つの画像と、を取得する
　ことを特徴とする付記１記載の３次元形状計測装置。
（付記３）
　前記第１の光パターンは、正弦波パターンである
　ことを特徴とする付記１又は２記載の３次元形状計測装置。
（付記４）
　前記第２の光パターンは、正弦波パターンである
　ことを特徴とする付記１乃至３のいずれか１項に記載の３次元形状計測装置。
（付記５）
　前記第２の光パターンは、輝度が線形的に変化する輝度傾斜パターンである
　ことを特徴とする付記１乃至３のいずれか１項に記載の３次元形状計測装置。
（付記６）
　前記第２の光パターンは、前記画像の画面全体が１周期となるパターンである
　ことを特徴とする付記４又は５記載の３次元形状計測装置。
（付記７）
　前記投影装置は、同じ光源から発せられた光から前記第１の光パターン及び前記第２の光パターンを生成する
　ことを特徴とする付記１乃至６のいずれか１項に記載の３次元形状計測装置。
（付記８）
　前記投影装置は、ＤＬＰプロジェクタ又は液晶プロジェクタである
　ことを特徴とする付記１乃至７のいずれか１項に記載の３次元形状計測装置。
（付記９）
　前記被計測物は、動体である
　ことを特徴とする付記１乃至８のいずれか１項に記載の３次元形状計測装置。
（付記１０）
　前記動体は、人物の顔である
　ことを特徴とする付記９記載の３次元形状計測装置。
（付記１１）
　被計測物に、第１の周期で輝度が変化する第１の光パターンを投射し、前記第１の光パターンが投影された前記被計測物の画像を取得するステップと、
　前記第１の光パターンの投射に用いる投影装置と同じ投影装置により、前記被計測物に、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンを投射し、前記第２の光パターンが投影された前記被計測物の画像を取得するステップと、
　前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出するステップと、
　前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出するステップと、
　前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出するステップと
　を有することを特徴とする３次元形状計測方法。
（付記１２）
　前記第１の光パターンが投影された前記被計測物の画像を取得するステップでは、前記被計測物に投射する前記第１の光パターンの位相を変えて撮影した少なくとも３つの画像を取得し、
　前記第２の光パターンが投影された前記被計測物の画像を取得するステップでは、前記第２の光パターンが投影された前記被計測物を撮影した１つの画像、又は、前記被計測物に投射する前記第２の光パターンの位相を変えて撮影した２つの画像を取得する
　ことを特徴とする付記１１記載の３次元形状計測方法。
（付記１３）
　前記第１の光パターンは、正弦波パターンである
　ことを特徴とする付記１１又は１２記載の３次元形状計測方法。
（付記１４）
　前記第２の光パターンは、正弦波パターンである
　ことを特徴とする付記１１乃至１３のいずれか１項に記載の３次元形状計測方法。
（付記１５）
　前記第２の光パターンは、輝度が線形的に変化する輝度傾斜パターンである
　ことを特徴とする付記１１乃至１３のいずれか１項に記載の３次元形状計測方法。
（付記１６）
　前記第２の光パターンは、前記画像の画面全体において１周期となるパターンである
　ことを特徴とする付記１４又は１５記載の３次元形状計測方法。
（付記１７）
　前記投影装置は、同じ光源から発せられた光から前記第１の光パターン及び前記第２の光パターンを生成する
　ことを特徴とする付記１１乃至１６のいずれか１項に記載の３次元形状計測方法。
（付記１８）
　前記投影装置は、ＤＬＰプロジェクタ又は液晶プロジェクタである
　ことを特徴とする付記１１乃至１７のいずれか１項に記載の３次元形状計測方法。
（付記１９）
　前記被計測物は、動体である
　ことを特徴とする付記１０乃至１７のいずれか１項に記載の３次元形状計測方法。
（付記２０）
　前記動体は、人物の顔である
　ことを特徴とする付記１９記載の３次元形状計測方法。
（付記２１）
　コンピュータを、
　　１つの投影装置を制御して、被計測物に、第１の周期で輝度が変化する第１の光パターン、又は、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンを投射させる手段、
　　前記第１の光パターンが投影された前記被計測物の画像及び前記第２の光パターンが投影された前記被計測物の画像を取得する手段、
　　前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出する手段、
　　前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出する手段、
　　前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出する手段、
　として機能させるプログラム。
（付記２２）
　前記画像を取得する手段は、前記被計測物に投射する前記第１の光パターンの位相を変えて撮影した少なくとも３つの画像と、前記第２の光パターンが投影された前記被計測物を撮影した１つの画像、又は、前記被計測物に投射する前記第２の光パターンの位相を変えて撮影した２つの画像と、を取得する
　ことを特徴とする付記２１記載のプログラム。
（付記２３）
　付記２１又は２２記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
　この出願は、２０１８年３月１６日に出願された日本出願特願２０１８－０４９５４６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０…被計測物
２０…投影装置
３０…撮像装置
４０…画像処理装置
４２…投影パターン制御部
４４…画像取得部
４６…相対位相演算部
４８…絶対位相演算部
５０…３次元座標演算部

Claims (23)

  1. 　被計測物に、第１の周期で輝度が変化する第１の光パターンと、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンと、を投射する１つの投影装置と、
    　前記第１の光パターン又は前記第２の光パターンが投影された前記被計測物の画像を取得する撮像装置と、
    　前記撮像装置が取得した前記画像を処理する画像処理装置と、を有し、
    　前記画像処理装置は、
    　　前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出する相対位相値演算部と、
    　　前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出する絶対位相値演算部と、
    　　前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出する３次元座標演算部と、を有する
    　ことを特徴とする３次元形状計測装置。
  2. 　前記撮像装置は、前記被計測物に投射する前記第１の光パターンの位相を変えて撮影した少なくとも３つの画像と、前記第２の光パターンが投影された前記被計測物を撮影した１つの画像、又は、前記被計測物に投射する前記第２の光パターンの位相を変えて撮影した２つの画像と、を取得する
    　ことを特徴とする請求項１記載の３次元形状計測装置。
  3. 　前記第１の光パターンは、正弦波パターンである
    　ことを特徴とする請求項１又は２記載の３次元形状計測装置。
  4. 　前記第２の光パターンは、正弦波パターンである
    　ことを特徴とする請求項１乃至３のいずれか１項に記載の３次元形状計測装置。
  5. 　前記第２の光パターンは、輝度が線形的に変化する輝度傾斜パターンである
    　ことを特徴とする請求項１乃至３のいずれか１項に記載の３次元形状計測装置。
  6. 　前記第２の光パターンは、前記画像の画面全体が１周期となるパターンである
    　ことを特徴とする請求項４又は５記載の３次元形状計測装置。
  7. 　前記投影装置は、同じ光源から発せられた光から前記第１の光パターン及び前記第２の光パターンを生成する
    　ことを特徴とする請求項１乃至６のいずれか１項に記載の３次元形状計測装置。
  8. 　前記投影装置は、ＤＬＰプロジェクタ又は液晶プロジェクタである
    　ことを特徴とする請求項１乃至７のいずれか１項に記載の３次元形状計測装置。
  9. 　前記被計測物は、動体である
    　ことを特徴とする請求項１乃至８のいずれか１項に記載の３次元形状計測装置。
  10. 　前記動体は、人物の顔である
    　ことを特徴とする請求項９記載の３次元形状計測装置。
  11. 　被計測物に、第１の周期で輝度が変化する第１の光パターンを投射し、前記第１の光パターンが投影された前記被計測物の画像を取得するステップと、
    　前記第１の光パターンの投射に用いる投影装置と同じ投影装置により、前記被計測物に、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンを投射し、前記第２の光パターンが投影された前記被計測物の画像を取得するステップと、
    　前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出するステップと、
    　前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出するステップと、
    　前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出するステップと
    　を有することを特徴とする３次元形状計測方法。
  12. 　前記第１の光パターンが投影された前記被計測物の画像を取得するステップでは、前記被計測物に投射する前記第１の光パターンの位相を変えて撮影した少なくとも３つの画像を取得し、
    　前記第２の光パターンが投影された前記被計測物の画像を取得するステップでは、前記第２の光パターンが投影された前記被計測物を撮影した１つの画像、又は、前記被計測物に投射する前記第２の光パターンの位相を変えて撮影した２つの画像を取得する
    　ことを特徴とする請求項１１記載の３次元形状計測方法。
  13. 　前記第１の光パターンは、正弦波パターンである
    　ことを特徴とする請求項１１又は１２記載の３次元形状計測方法。
  14. 　前記第２の光パターンは、正弦波パターンである
    　ことを特徴とする請求項１１乃至１３のいずれか１項に記載の３次元形状計測方法。
  15. 　前記第２の光パターンは、輝度が線形的に変化する輝度傾斜パターンである
    　ことを特徴とする請求項１１乃至１３のいずれか１項に記載の３次元形状計測方法。
  16. 　前記第２の光パターンは、前記画像の画面全体において１周期となるパターンである
    　ことを特徴とする請求項１４又は１５記載の３次元形状計測方法。
  17. 　前記投影装置は、同じ光源から発せられた光から前記第１の光パターン及び前記第２の光パターンを生成する
    　ことを特徴とする請求項１１乃至１６のいずれか１項に記載の３次元形状計測方法。
  18. 　前記投影装置は、ＤＬＰプロジェクタ又は液晶プロジェクタである
    　ことを特徴とする請求項１１乃至１７のいずれか１項に記載の３次元形状計測方法。
  19. 　前記被計測物は、動体である
    　ことを特徴とする請求項１１乃至１８のいずれか１項に記載の３次元形状計測方法。
  20. 　前記動体は、人物の顔である
    　ことを特徴とする請求項１９記載の３次元形状計測方法。
  21. 　コンピュータを、
    　　１つの投影装置を制御して、被計測物に、第１の周期で輝度が変化する第１の光パターン、又は、前記第１の周期よりも長い第２の周期で輝度が変化する第２の光パターンを投射させる手段、
    　　前記第１の光パターンが投影された前記被計測物の画像及び前記第２の光パターンが投影された前記被計測物の画像を取得する手段、
    　　前記第１の光パターンが投影された前記被計測物の画像の各々の画素における輝度値に基づき、前記各々の画素に対応する前記被計測物の各部における相対位相値を算出する手段、
    　　前記第２の光パターンが投影された前記被計測物の画像の各々の画素における輝度値及び前記相対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における絶対位相値を算出する手段、
    　　前記絶対位相値に基づき、前記各々の画素に対応する前記被計測物の前記各部における３次元座標を算出する手段、
    　として機能させるプログラム。
  22. 　前記画像を取得する手段は、前記被計測物に投射する前記第１の光パターンの位相を変えて撮影した少なくとも３つの画像と、前記第２の光パターンが投影された前記被計測物を撮影した１つの画像、又は、前記被計測物に投射する前記第２の光パターンの位相を変えて撮影した２つの画像と、を取得する
    　ことを特徴とする請求項１９記載のプログラム。
  23. 　請求項２１又は２２記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
PCT/JP2019/010414 2018-03-16 2019-03-13 ３次元形状計測装置、３次元形状計測方法、プログラム及び記録媒体 WO2019177066A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US16/980,978 US20200408512A1 (en) 2018-03-16 2019-03-13 Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium
JP2020506629A JP6994165B2 (ja) 2018-03-16 2019-03-13 ３次元形状計測装置、３次元形状計測方法及びプログラム
EP19767084.7A EP3767227B1 (en) 2018-03-16 2019-03-13 Three-dimensional shape measuring device, three-dimensional shape measuring method, program, and recording medium
JP2021198212A JP7274111B2 (ja) 2018-03-16 2021-12-07 ３次元形状計測装置、３次元形状計測方法、プログラム及び記録媒体
US17/591,020 US20220155056A1 (en) 2018-03-16 2022-02-02 Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium
US17/591,923 US20220155058A1 (en) 2018-03-16 2022-02-03 Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium
US17/591,910 US20220155057A1 (en) 2018-03-16 2022-02-03 Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018049546 2018-03-16
JP2018-049546 2018-03-16

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US16/980,978 A-371-Of-International US20200408512A1 (en) 2018-03-16 2019-03-13 Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium
US17/591,020 Continuation US20220155056A1 (en) 2018-03-16 2022-02-02 Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium
US17/591,910 Continuation US20220155057A1 (en) 2018-03-16 2022-02-03 Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium
US17/591,923 Continuation US20220155058A1 (en) 2018-03-16 2022-02-03 Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium

Publications (1)

Publication Number Publication Date
WO2019177066A1 true WO2019177066A1 (ja) 2019-09-19

Family

ID=67908282

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/010414 WO2019177066A1 (ja) 2018-03-16 2019-03-13 ３次元形状計測装置、３次元形状計測方法、プログラム及び記録媒体

Country Status (4)

Country Link
US (4) US20200408512A1 (ja)
EP (1) EP3767227B1 (ja)
JP (2) JP6994165B2 (ja)
WO (1) WO2019177066A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022113583A1 (ja) * 2020-11-30 2022-06-02 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001012925A (ja) 1999-04-30 2001-01-19 Nec Corp 三次元形状計測方法及び装置並びに記録媒体
JP2001124534A (ja) * 1999-10-26 2001-05-11 Matsushita Electric Works Ltd ３次元形状計測方法
JP2001283198A (ja) * 2000-03-31 2001-10-12 Nec Corp 特徴点採取方法と特徴点採取装置と記録媒体
JP2003269928A (ja) 2002-03-12 2003-09-25 Nec Corp ３次元形状計測方法および装置ならびにプログラム
JP2006214785A (ja) 2005-02-02 2006-08-17 Nec Engineering Ltd 三次元形状計測システム及び計測方法
JP2008009807A (ja) 2006-06-30 2008-01-17 Sanyo Electric Co Ltd 映像データベース構築装置、映像検索装置及び不明語検索装置
JP2009115612A (ja) 2007-11-06 2009-05-28 Panasonic Electric Works Co Ltd ３次元形状計測装置及び３次元形状計測方法
JP2010281178A (ja) 2009-06-08 2010-12-16 Inax Corp 保水構造体
JP2014025782A (ja) * 2012-07-26 2014-02-06 Toyota Central R&D Labs Inc 形状測定装置
JP2018049546A (ja) 2016-09-23 2018-03-29 富士通エフ・アイ・ピー株式会社 Ｖｍ環境コマンド実行管理プログラム、ｖｍ環境コマンド実行管理方法、ｖｍ環境コマンド実行管理装置およびｖｍ環境コマンド実行管理システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005249684A (ja) * 2004-03-05 2005-09-15 Ym Systems Kk ３次元形状測定装置、３次元形状測定方法および３次元形状測定プログラム
JP4889373B2 (ja) * 2006-05-24 2012-03-07 ローランドディー．ジー．株式会社 ３次元形状測定方法およびその装置
JP5123522B2 (ja) * 2006-12-25 2013-01-23 パナソニック株式会社 ３次元計測方法及びそれを用いた３次元形状計測装置
JP4830871B2 (ja) * 2007-01-26 2011-12-07 パナソニック電工株式会社 ３次元形状計測装置及び３次元形状計測方法
JP5480479B2 (ja) * 2008-08-04 2014-04-23 株式会社ミツトヨ 形状測定装置および形状測定装置の校正方法
JP2010175554A (ja) * 2010-03-26 2010-08-12 Nec Engineering Ltd 三次元形状計測装置及び三次元形状計測方法
JP5709009B2 (ja) * 2011-11-17 2015-04-30 Ckd株式会社 三次元計測装置
FI125320B (en) * 2012-01-05 2015-08-31 Helmee Imaging Oy ORGANIZATION AND SIMILAR METHOD FOR OPTICAL MEASUREMENTS
JP5816773B2 (ja) * 2012-06-07 2015-11-18 ファロ テクノロジーズ インコーポレーテッド 取り外し可能なアクセサリーを備える座標測定マシン
JP5971050B2 (ja) * 2012-09-18 2016-08-17 富士通株式会社 形状計測装置及び形状計測方法
JP6109255B2 (ja) * 2015-07-14 2017-04-05 Ckd株式会社 三次元計測装置
JP2017110991A (ja) * 2015-12-16 2017-06-22 セイコーエプソン株式会社 計測システム、計測方法、ロボット制御方法、ロボット、ロボットシステムおよびピッキング装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001012925A (ja) 1999-04-30 2001-01-19 Nec Corp 三次元形状計測方法及び装置並びに記録媒体
JP2001124534A (ja) * 1999-10-26 2001-05-11 Matsushita Electric Works Ltd ３次元形状計測方法
JP2001283198A (ja) * 2000-03-31 2001-10-12 Nec Corp 特徴点採取方法と特徴点採取装置と記録媒体
JP2003269928A (ja) 2002-03-12 2003-09-25 Nec Corp ３次元形状計測方法および装置ならびにプログラム
JP2006214785A (ja) 2005-02-02 2006-08-17 Nec Engineering Ltd 三次元形状計測システム及び計測方法
JP2008009807A (ja) 2006-06-30 2008-01-17 Sanyo Electric Co Ltd 映像データベース構築装置、映像検索装置及び不明語検索装置
JP2009115612A (ja) 2007-11-06 2009-05-28 Panasonic Electric Works Co Ltd ３次元形状計測装置及び３次元形状計測方法
JP2010281178A (ja) 2009-06-08 2010-12-16 Inax Corp 保水構造体
JP2014025782A (ja) * 2012-07-26 2014-02-06 Toyota Central R&D Labs Inc 形状測定装置
JP2018049546A (ja) 2016-09-23 2018-03-29 富士通エフ・アイ・ピー株式会社 Ｖｍ環境コマンド実行管理プログラム、ｖｍ環境コマンド実行管理方法、ｖｍ環境コマンド実行管理装置およびｖｍ環境コマンド実行管理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022113583A1 (ja) * 2020-11-30 2022-06-02 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体

Also Published As

Publication number Publication date
US20220155056A1 (en) 2022-05-19
EP3767227B1 (en) 2022-05-04
US20220155058A1 (en) 2022-05-19
JP7274111B2 (ja) 2023-05-16
US20200408512A1 (en) 2020-12-31
US20220155057A1 (en) 2022-05-19
JP2022022326A (ja) 2022-02-03
EP3767227A1 (en) 2021-01-20
JPWO2019177066A1 (ja) 2021-01-14
JP6994165B2 (ja) 2022-01-14
EP3767227A4 (en) 2021-04-07

Similar Documents

Publication Publication Date Title
KR101461068B1 (ko) 삼차원 계측장치, 삼차원 계측방법 및 기억매체
US9098909B2 (en) Three-dimensional distance measurement apparatus, three-dimensional distance measurement method, and non-transitory computer-readable storage medium
JP6420572B2 (ja) 計測装置およびその方法
JP5032943B2 (ja) ３次元形状計測装置及び３次元形状計測方法
JP5517829B2 (ja) 三次元計測装置及び三次元計測方法
US9074879B2 (en) Information processing apparatus and information processing method
JP4830871B2 (ja) ３次元形状計測装置及び３次元形状計測方法
KR102149707B1 (ko) 3차원 형상 계측 장치, 3차원 형상 계측 방법 및 프로그램
US20120089364A1 (en) Three-dimensional measurement apparatus, three-dimensional measurement method, and computer-readable medium storing control program
KR102170029B1 (ko) 3차원 형상 계측 장치, 3차원 형상 계측 방법 및 프로그램
JP2008157797A (ja) ３次元計測方法及びそれを用いた３次元形状計測装置
JP4255865B2 (ja) 非接触三次元形状測定方法及び装置
JP2015184056A (ja) 計測装置、方法及びプログラム
JP6104662B2 (ja) 計測装置、方法及びプログラム
JP7274111B2 (ja) ３次元形状計測装置、３次元形状計測方法、プログラム及び記録媒体
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
CN112747686B (zh) 三维形貌测量装置
JP6590489B2 (ja) 情報処理装置および方法
KR100714821B1 (ko) 단일영상을 이용한 거리영상 획득방법
JP2018063161A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
Bräuer-Burchardt et al. Fringe code reduction for 3D measurement systems using epipolar geometry
JP2018132452A (ja) 画像処理装置、画像処理方法及びプログラム
CN117956126A (zh) 图案图像的输出方法、投影仪以及记录介质
JP6884393B2 (ja) 射影変換を用いて変形格子を長方形格子や正方形格子に変換して位相解析を行なう方法および装置
JP2012127742A (ja) ３次元形状測定装置、３次元形状測定方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19767084

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020506629

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019767084

Country of ref document: EP